CN110148157A - 画面目标跟踪方法、装置、存储介质及电子设备 - Google Patents

画面目标跟踪方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110148157A
CN110148157A CN201910391497.7A CN201910391497A CN110148157A CN 110148157 A CN110148157 A CN 110148157A CN 201910391497 A CN201910391497 A CN 201910391497A CN 110148157 A CN110148157 A CN 110148157A
Authority
CN
China
Prior art keywords
image frame
target area
feature vector
tracking
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910391497.7A
Other languages
English (en)
Other versions
CN110148157B (zh
Inventor
孙冲
孙宇轩
卢湖川
沈小勇
戴宇榮
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910391497.7A priority Critical patent/CN110148157B/zh
Publication of CN110148157A publication Critical patent/CN110148157A/zh
Priority to EP20805061.7A priority patent/EP3968280A4/en
Priority to PCT/CN2020/087041 priority patent/WO2020228522A1/zh
Priority to JP2021536748A priority patent/JP7125562B2/ja
Application granted granted Critical
Publication of CN110148157B publication Critical patent/CN110148157B/zh
Priority to US17/365,893 priority patent/US11610321B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种画面目标跟踪方法，其包括：获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域；对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；根据相关滤波算法以及平均池化约束条件，计算跟踪目标区域的输入特征图对应的权重滤波器；使用权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算第n+1个画面帧的输出响应，并根据第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；直至获取所有连续的画面帧的跟踪目标区域。本发明还提供一种画面目标跟踪装置，本发明提高了画面目标跟踪的精度以及有效性。

Description

画面目标跟踪方法、装置、存储介质及电子设备
技术领域
本发明涉及图像数据处理领域，特别是涉及一种画面目标跟踪方法、装置、存储介质及电子设备。
背景技术
画面目标跟踪是在视频的连续帧中，对人工指定的目标对象进行定位操作。近几十年来，画面目标跟踪在自动驾驶、人机交互以及行为识别领域得到广泛的应用。但是由于有限的训练数据，画面目标跟踪仍然是一项非常具有挑战性的任务。
基于相关滤波的画面目标跟踪算法是目前最主流的目标跟踪方法之一，通过循环卷积快速获取样本是相关滤波(Correlation Filters)的特点。2015年Danelljan等人提出将滤波器上加入正则化项，抑制边缘信息，促进滤波器学习目标中心区域，有效解决边界效应。2017年BACF(Learning Background-Aware Correlation Filters for VisualTracking))算法为解决边界效应提供了另一种可行的方法，产生真实的训练样本，大大提高了学习滤波器的识别能力。
但是现有的基于相关滤波的画面目标跟踪算法中复杂的公式需要引入大量的参数，有限的样本数可能无法进行匹配操作，从而造成参数过拟合；如使用普通池化操作进行参数减少操作，同样也会对样本数进行缩减，依然不能有效解决参数与样本数不平衡的技术问题。
发明内容
本发明提供一种既不会造成参数过拟合、又能增加对应的相关滤波模型的鲁棒性的画面目标跟踪方法以及画面目标跟踪装置，从而提高了画面目标跟踪的精度以及有效性；有效的解决了现有的画面目标跟踪方法以及画面目标跟踪装置中容易造成参数过拟合或跟踪精度较低的技术问题。
本发明实施例提供一种画面目标跟踪方法，其包括：
获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n＝1；
对所述第n个画面帧的跟踪目标区域进行特征提取操作，以获取所述跟踪目标区域的输入特征图；其中所述输入特征图包括多个特征通道；
根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；其中所述权重滤波器包括所述第n个画面帧的输入特征图中各个特征通道对应的滤波权重；
使用所述权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算所述第n+1个画面帧的输出响应，并根据所述第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；
n＝n+1,并返回计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤，直至获取所有连续的画面帧的跟踪目标区域。
本发明实施例还提供一种画面目标跟踪装置，其包括：
跟踪目标区域设置模块，用于获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n＝1；
特征提取模块，用于对所述第n个画面帧的跟踪目标区域进行特征提取操作，以获取所述跟踪目标区域的输入特征图；其中所述输入特征图包括多个特征通道；
权重滤波器计算模块，用于根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；其中所述权重滤波器包括所述第n个画面帧的输入特征图中各个特征通道对应的滤波权重；
跟踪目标区域确认模块，用于使用所述权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算所述第n+1个画面帧的输出响应，并根据所述第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；
计数模块，用于对特征提取操作进行计数操作。
在本发明所述的画面目标跟踪装置中，相关滤波模型创建单元包括：
二值化掩膜设置子单元，用于对所述跟踪目标区域的输入特征图对应的滤波器权重设置二值化掩膜，以减小所述跟踪目标区域外对应的权重滤波器的滤波权重。
在本发明所述的画面目标跟踪装置中，相关滤波模型创建单元包括：
正则化权重设置子单元，用于对所述跟踪目标区域的输入特征图对应的权重滤波器设置正则化权重，以提高所述跟踪目标区域对应的权重滤波器在所述跟踪目标区域的中心部分的滤波权重。
本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述画面目标跟踪方法。
本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行上述画面目标跟踪方法。
相较于现有技术，本发明的画面目标跟踪方法、装置、存储介质及电子设备通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了画面目标跟踪的精度以及有效性；有效的解决了现有的画面目标跟踪方法以及画面目标跟踪装置中容易造成参数过拟合或跟踪精度较低的技术问题。
附图说明
图1为本发明的画面目标跟踪方法的第一实施例的流程图；
图2a为本发明的画面目标跟踪方法的第一实施例的步骤S103的流程图；
图2b为具有约束条件的相关滤波模型对画面帧的跟踪目标区域的处理过程示意图；
图2c为本发明的画面目标跟踪方法的第一实施例的画面帧特征变化示意图；
图3为本发明的画面目标跟踪装置的第一实施例的结构示意图；
图4为本发明的画面目标跟踪装置的第一实施例的权重滤波器计算模块的结构示意图；
图5为本发明的画面目标跟踪装置的第一实施例的权重滤波计算模块的相关滤波模型创建单元的结构示意图；
图6a为本发明的画面目标跟踪方法及画面目标跟踪装置的画面目标跟踪示意图；
图6b是本发明的画面目标跟踪方法及画面目标跟踪装置的画面目标跟踪流程图；
图7为本发明的画面目标跟踪装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一个适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的画面目标跟踪方法及画面目标跟踪装置可设置在任何电子设备中，用于对视频画面中的指定物体或特定物体进行跟踪操作。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为画面处理终端或画面处理服务器，用户通过该电子设备可对视频的连续画面帧中的指定物体或特定物体进行准确确认，从而对视频中的指定物体或特定物体进行高精度的有效跟踪。
请参照图1，图1为本发明的画面目标跟踪方法的第一实施例的流程图。本实施例的画面目标跟踪方法可使用上述的电子设备进行实施，本实施例的画面目标跟踪方法包括：
步骤S101，获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n＝1；
步骤S102，对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；其中输入特征图包括多个特征通道；
步骤S103，根据相关滤波算法以及平均池化约束条件，计算跟踪目标区域的输入特征图对应的权重滤波器；其中权重滤波器包括所述输入特征图中各个特征通道对应的滤波权重；
步骤S104，使用权重滤波器以及多个连续的画面帧中的第n+1画面帧的输入特征图，计算n+1个画面帧的输出相应，并根据n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；
步骤S105，n＝n+1，并返回步骤S102，直至获取所有连续的画面帧的跟踪目标区域。
下面详细说明本实施例的画面目标跟踪方法的各步骤的具体流程。
在步骤S101中，电子设备(如画面处理服务器)获取目标视频的多个连续的画面帧；为了便于对目标视频中的特定物体或指定物体进行跟踪操作，这里人为设置多个连续的画面帧中的第一个画面帧的跟踪目标区域。
这里的跟踪目标区域即特定物体或指定物体在画面帧中的画面区域，这里的特定物体或指定物体可为预先设定的人物、动物、交通工具或任何运动物体，这样可根据第一个画面帧中的跟踪目标区域的特征，在后续的其他画面帧中查找到对应的跟踪目标区域。
在步骤S102中，电子设备对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图，这里的n＝1。
具体的，这里可将第n个画面帧的跟踪目标区域划分为a*a尺寸的网格区域，然后用d种不同的b*b尺寸的卷积核(其中b小于a)，对上述a*a尺寸的网格区域进行卷积抽样操作，从而获取具有d个特征通道的跟踪目标区域的输入特征图。
在步骤S103中，电子设备根据相关滤波算法以及平均池化约束条件，计算第一个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，其中权重滤波器包括输入特征图中各个特征通道对应的滤波权重。
具体请参照图2a，图2a为本发明的画面目标跟踪方法的第一实施例的步骤S103的流程图。该步骤S103包括：
步骤S201，电子设备基于岭回归判别函数，创建跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型，且设置池化区域中的特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
具体的，电子设备基于岭回归判别函数，创建跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型为：
其中y为跟踪目标区域的期望输出响应，xd为跟踪目标区域的特征通道d的输入特征图，ωd为跟踪目标区域的特征通道d的输入特征图对应的滤波权重，D为特征通道的数量，pd为跟踪目标区域的特征通道d对应的滤波器权重的二值化掩膜，gd为跟踪目标区域的特征通道d对应的滤波器权重的正则化权重。
输出响应为画面帧中跟踪目标区域与背景区域的深度网络提取的卷积特征在对应权重滤波器作用下的目标响应，其中期望输出响应为用户预设的能够较好的区分出画面帧的跟踪目标区域与背景区域的输出响应，该期望输出响应应满足高斯分布，即越接近跟踪目标区域的区域特征对应的目标响应越大。
其中二值化掩膜可有效的减小跟踪目标区域外对应的权重滤波器的滤波权重，从而减少后续背景区域对跟踪目标区域的判定影响；即如判断输入特征图对应的区域为跟踪目标区域外的背景区域，则通过二值化掩膜减小相关权重滤波器的滤波权重。用户可根据自身的要求选择是否使用上述二值化掩膜。
正则化权重则可有效的提高跟踪目标区域对应的权重滤波器在跟踪目标区域的中心部分的滤波权重，即直接对跟踪目标区域的中心部分的滤波权重进行增加。一般跟踪目标区域的中心部分的画面特征重要度最大，因此增加跟踪目标区域的中心部分的滤波权重可进一步加大跟踪目标区域的识别的准确性。用户可根据自身的要求选择是否使用上述正则化权重。
随后电子设备设置池化区域中的同一特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
ωd(iη)＝ωd(jη),(iη,jη)∈P,η＝1,…，K；
其中P为对应的池化区域，K为权重相等等式约束个数，如池化区域中输入特征图的特征数量为k，则K＝Ck 2，i，j为池化区域中输入特征图对应的位置。
这里的池化区域为预先在跟踪目标区域中进行范围大小的设置(如设置2*2或3*3的像素尺寸大小)，并且相邻池化区域可共用边界，但相邻池化区域的范围不重叠。这样可快速对池化区域进行设定，且可有效的减少相关滤波模型中的算法参数，避免了参数过拟合的产生，提高了画面目标跟踪的精度。
上述具有约束条件的相关滤波模型对画面帧的跟踪目标区域的处理过程如图2b所示，相当于：将跟踪目标区域通过卷积抽样进行裁剪操作，随后对裁剪后的特征图内相邻区域进行池化操作，即通过对池化区域内的滤波权重进行设置完成了裁剪后的相邻区域的池化操作，随后得到对应的输入特征图。
由于没有对原画面帧直接进行池化操作(即没有缩小原画面帧的尺寸)，使得裁剪后的样本数量较多，同时对每个裁剪后的画面区域的相邻区域进行池化操作，又减少了相关滤波模型中的算法参数，因此可有效的避免参数过拟合的产生。
步骤S202，电子设备使用增广拉格朗日乘子法对步骤S201获取的具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型。
首先基于帕斯瓦尔定理，上述的相关滤波模型以及对应的约束条件进行傅里叶变换，变换后的相关滤波模型为：
其中Fd为傅里叶变换矩阵，为傅里叶逆变化矩阵，为跟踪目标区域的输出响应的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜的傅里叶系数构造的托普利茨矩阵，为跟踪目标区域的特征通道d的输入特征图对应的滤波权重的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图对应的正则化权重的傅里叶系数构造的托普利茨矩阵。
其中和为以1或0为条目的索引矩阵，其中
上述变换后的相关滤波模型可简化为：
其中为一对角矩阵，
随后电子设备使用增广拉格朗日乘子法对简化后的相关滤波模型以及约束条件进行转化，生成区域池化相关滤波模型，具体为：
其中ξd为跟踪目标区域的特征通道d对应的拉格朗日乘子，Υd为惩罚参数。
步骤S203，电子设备使用共轭梯度下降法，对步骤S202获取的区域池化相关滤波模型进行优化，以获取跟踪目标区域的输入特征图对应的权重滤波器。
这里使用交替方向乘子法来交替获取区域池化相关滤波模型中优化后的拉格朗日乘子以及滤波权重。当拉格朗日乘子为固定的时候，可使用共轭梯度下降法来计算对应的滤波权重，即计算上述区域池化相关滤波模型中关于滤波权
重的目标函数的梯度，并在设置梯度为零矢量时，获取一组线性方程：
其中E＝[E1，E2，…，ED]，
当滤波权重被计算出来，ξd可通过下式进行优化：
其中使用表示第i次迭代运算中的拉格朗日乘子ξd。
同时对惩罚参数Υd进行优化，
其中i表示迭代次数。
通过上述迭代优化运算，最终可获取跟踪目标区域的输入特征图对应的权重滤波器
这样即完成了根据第1个画面帧的跟踪目标区域的输入特征图以及跟踪目标区域的期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的过程。
具体的，当人工设置第1个画面帧的跟踪目标区域的输入特征图以及输出响应时(用户手动设置画面帧中的特定物体作为跟踪目标区域的中心)，电子设备直接根据上述相关滤波算法以及平均池化约束条件，使用第1个画面帧的跟踪目标区域的输入特征图以及期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
当随后获取第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则电子设备可根据相关滤波算法以及平均池化约束条件，使用第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器(即第n-1个画面帧的踪目标区域的输入特征图对应的权重滤波器)，计算所述第n个画面帧的输出响应。
随后电子设备根据第n个画面帧的输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个画面帧的跟踪目标区域的输入特征图。即电子设备将输出响应最大的点作为第n个画面帧的跟踪目标区域的中心，从而确定第n个画面帧的跟踪目标区域的输入特征图。
然后电子设备可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个画面帧的跟踪目标区域的输入特征图，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。具体和上述的计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的过程相似。
为了进一步提高计算出的第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的准确性。电子设备可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
具体的，电子设备根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和所n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每帧图像相关滤波损失函数线性加权融合，得到基于多帧的相关滤波模型；
即获取以下基于多帧的相关滤波模型：
μt为每个样本t，即第t个画面帧的权重。
第n个画面帧之前的画面帧的数量少于等于50帧，则可取所有的第n个画面帧之前的画面帧的输入特征图进行第n个画面帧的权重滤波器的计算；如第n个画面帧之前的画面帧的数量多于50帧，则可将第n个画面帧之前的画面帧进行融合，生成50帧融合后的画面帧，并根据融合后的50个画面帧的输入特征图进行第n个画面帧的权重滤波器的计算。
一般而言，距离第n个画面帧越近的画面帧对应的权重越大。
在步骤S104中，电子设备对多个连续的画面帧中的第n+1个画面帧进行特征提取，以得到多个连续的画面帧中的第n+1个画面帧的输入特征图。这里n+1＝2。
随后电子设备使用步骤S103获取的权重滤波器计算第二个画面帧的输入特征图对应的输出响应，并使用第二个画面帧的输出响应与步骤S102中的输出响应进行对比，将最接近步骤S102中的输出响应(一般为最大的输出响应)对应的画面帧区域确认为第二个画面帧的跟踪目标区域。
在步骤S105中，对特征提取操作进行计数操作，即n＝n+1，并返回步骤S103，计算第二个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，直至在步骤S104中获取目标视频的所有连续的画面帧的跟踪目标区域。
电子设备即可根据所有连续的画面帧的跟踪目标区域，对目标视频中的指定物体或特定物体进行有效跟踪操作。
这样即完成了本实施例的画面目标跟踪方法的对目标视频中指定物体或特定物体的跟踪过程。
图2c为本发明的画面目标跟踪方法的第一实施例的画面帧特征变化示意图；其中曲线2c1为现有的画面目标跟踪方法的第一帧与其他各帧同一区域特征差值的L2范数距离的变化曲线，曲线2c2为本实施例的画面目标跟踪方法的第一帧与其他各帧同一区域特征差值的L2范数距离的变化曲线。从图中可以看出本实施例的画面目标跟踪方法中的L2范数距离的变化幅度较小，即同一特征区域在不同画面帧中的特征差异较小，这样可以更好的实现对目标视频中的指定物体或特定物体进行有效跟踪操作。
本实施例的画面目标跟踪方法通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了画面目标跟踪的精度以及有效性。
本发明还提供一种画面目标跟踪装置，请参照图3，图3为本发明的画面目标跟踪装置的第一实施例的结构示意图，本实施例的画面目标跟踪装置可使用上述的画面目标跟踪方法的第一实施例进行实施，本实施例的画面目标跟踪装置30包括跟踪目标区域设置模块31、特征提取模块32、权重滤波器计算模块33、跟踪目标区域确认模块34、计数模块35以及模型设置模块36。
跟踪目标区域设置模块31用于获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区；特征提取模块32用于对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；权重滤波器计算模块33用于根据相关滤波算法以及平均池化约束条件，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；跟踪目标区域确认模块34用于使用权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算第n+1个画面帧的输出响应，并根据第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；计数模块35用于对特征提取操作进行计数操作；模型设置模块36用于预先对跟踪目标区域的池化区域的范围进行设置。
请参照图4，图4为本发明的画面目标跟踪装置的第一实施例的权重滤波器计算模块的结构示意图。该权重滤波器计算模块33包括相关滤波模型创建单元41、区域池化相关滤波模型生成单元42以及模型优化单元43。
相关滤波模型创建单元41用于基于岭回归判别函数，创建跟踪目标区域的输入特征图的对应的权重滤波器的相关滤波模型，且设置池化区域中的特征通道对应的滤波权重相等作为相关滤波模型的约束条件；区域池化相关滤波模型生成单元42用于使用增广拉格朗日乘子法对约束条件进行转化，生成区域池化相关滤波模型；模型优化单元43用于使用共轭梯度下降法，对区域池化相关滤波模型进行优化，以获取跟踪目标区域的输入特征图对应的权重滤波器。
请参照图5，图5为本发明的画面目标跟踪装置的第一实施例的权重滤波计算模块的相关滤波模型创建单元的结构示意图。该相关滤波模型创建单元41包括二值化掩膜设置子单元51以及正则化权重设置子单元52。
二值化掩膜设置子单元51用于对跟踪目标区域的输入特征图设置二值化掩膜，以减小跟踪目标区域外对应的权重滤波器的滤波权重。正则化权重设置子单元52用于对跟踪目标区域的输入特征图对应的权重滤波器设置正则化权重，以提高跟踪目标区域对应的权重滤波器在跟踪目标区域的中心部分的滤波权重。
本实施例的画面目标跟踪装置30使用时，首先跟踪目标区域设置模块31获取目标视频的多个连续的画面帧；为了便于对目标视频中的特定物体或指定物体进行跟踪操作，这里人为设置多个连续的画面帧中的第一个画面帧的跟踪目标区域。
这里的跟踪目标区域即特定物体或指定物体在画面帧中的画面区域，这里的特定物体或指定物体可为预先设定的人物、动物、交通工具或任何运动物体，这样可根据第一个画面帧中的跟踪目标区域的特征，在后续的其他画面帧中查找到对应的跟踪目标区域。
随后特征提取模块32对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图，这里的n＝1。
具体的，特征提取模块32可将第n个画面帧的跟踪目标区域划分为a*a尺寸的网格区域，然后用d种不同的b*b尺寸的卷积核(其中b小于a)，对上述a*a尺寸的网格区域进行卷积抽样操作，从而获取具有d个特征通道的跟踪目标区域的输入特征图。
然后权重滤波器计算模块33根据相关滤波算法以及平均池化约束条件，计算第一个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，其中权重滤波器包括输入特征图中各个特征通道对应的滤波权重。
具体包括：
权重滤波器计算模块33的相关滤波模型创建单元41基于岭回归判别函数，创建跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型，且设置池化区域中的特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
具体的，相关滤波模型创建单元41基于岭回归判别函数，创建跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型为：
其中y为跟踪目标区域的期望输出响应，xd为跟踪目标区域的特征通道d的输入特征图，ωd为跟踪目标区域的特征通道d的输入特征图对应的滤波权重，D为特征通道的数量，pd为相关滤波模型创建单元41的二值化掩膜设置子单元51设置的跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜，gd为相关滤波模型创建单元41的正则化权重设置子单元52设置的跟踪目标区域的特征通道d的输入特征图对应的正则化权重。
输出响应为画面帧中跟踪目标区域与背景区域的深度网络提取的卷积特征在对应权重滤波器作用下的目标响应，其中期望输出响应为用户预设的能够较好的区分出画面帧的跟踪目标区域与背景区域的输出响应，该期望输出响应应满足高斯分布，即越接近跟踪目标区域的区域特征对应的目标响应越大。
其中二值化掩膜可有效的减小跟踪目标区域外对应的权重滤波器的滤波权重，从而减少后续背景区域对跟踪目标区域的判定影响；即如判断输入特征图对应的区域为跟踪目标区域外的背景区域，则通过二值化掩膜减小相关权重滤波器的滤波权重。用户可根据自身的要求选择是否使用上述二值化掩膜。
正则化权重则可有效的提高跟踪目标区域对应的权重滤波器在跟踪目标区域的中心部分的滤波权重，即直接对跟踪目标区域的中心部分的滤波权重进行增加。一般跟踪目标区域的中心部分的画面特征重要度最大，因此增加跟踪目标区域的中心部分的滤波权重可进一步加大跟踪目标区域的识别的准确性。用户可根据自身的要求选择是否使用上述正则化权重。
随后相关滤波模型创建单元41设置池化区域中的特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
ωd(iη)＝ωd(jη),(iη,jη)∈P,η＝1,…，K；
其中P为对应的池化区域，K为池化区域中输入特征图的特征数量，i，j为池化区域中输入特征图对应的位置。
这里的池化区域为模型设置模块36预先在跟踪目标区域中进行范围大小的设置(如设置2*2或3*3的像素尺寸大小)，并且相邻池化区域可共用边界，但相邻池化区域的范围不重叠。这样可快速对池化区域进行设定，且可有效的减少相关滤波模型中的算法参数，避免了参数过拟合的产生，提高了画面目标跟踪的精度。
权重滤波器计算模块33的区域池化相关滤波模型生成单元42使用增广拉格朗日乘子法对获取的具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型。
首先区域池化相关滤波模型生成单元42基于帕斯瓦尔公式，上述的相关滤波模型以及对应的约束条件进行傅里叶变换，变换后的相关滤波模型为：
其中Fd为傅里叶变换矩阵，为傅里叶逆变化矩阵，为跟踪目标区域的输出响应的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜的傅里叶系数构造的托普利茨矩阵，为跟踪目标区域的特征通道d的输入特征图对应的滤波权重的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图的傅里叶系数，为跟踪目标区域的特征通道d的输入特征图对应的正则化权重的傅里叶系数构造的托普利茨矩阵。
其中和为以1或0为条目的索引矩阵，其中
因此上述变换后的相关滤波模型可简化为：
其中为一对角线矩阵，
随后区域池化相关滤波模型生成单元42使用增广拉格朗日乘子法对简化后的相关滤波模型以及约束条件进行转化，生成区域池化相关滤波模型，具体为：
其中ξd为跟踪目标区域的特征通道d的拉格朗日乘子，Υd为惩罚参数。
权重滤波器计算模块33的模型优化单元43使用共轭梯度下降法，对获取的区域池化相关滤波模型进行优化，以获取跟踪目标区域的输入特征图对应的权重滤波器。
这里使用交替方向乘子法来交替获取区域池化相关滤波模型中优化后的拉格朗日乘子以及滤波权重。当拉格朗日乘子为固定的时候，可使用共轭梯度下降法来计算对应的滤波权重，即计算上述区域池化相关滤波模型中关于滤波权重的目标函数的梯度，并在设置梯度为零矢量时，获取一组线性方程：
其中E＝[E1，E2，…，ED]，
当滤波权重被计算出来，ξd可通过下式进行优化：
其中使用表示第i次迭代运算中的拉格朗日乘子ξd。
同时对惩罚参数Υd进行优化，
其中i表示迭代次数。
通过上述迭代优化运算，最终可获取跟踪目标区域的输入特征图对应的权重滤波器
这样即完成了根据第1个画面帧的跟踪目标区域的输入特征图以及跟踪目标区域的期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的过程。
具体的，当人工设置第1个画面帧的跟踪目标区域的输入特征图以及输出响应时(用户手动设置画面帧中的特定物体作为跟踪目标区域的中心)，权重滤波器计算模块33直接根据上述相关滤波算法以及平均池化约束条件，使用第1个画面帧的跟踪目标区域的输入特征图以及期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
当随后获取第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器(即第n-1个画面帧的踪目标区域的输入特征图对应的权重滤波器)，计算所述第n个画面帧的输出响应。
随后权重滤波器计算模块33根据第n个画面帧的输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个画面帧的跟踪目标区域的输入特征图。即权重滤波器计算模块33将输出响应最大的点作为第n个画面帧的跟踪目标区域的中心，从而确定第n个画面帧的跟踪目标区域的输入特征图。
然后权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个画面帧的跟踪目标区域的输入特征图，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。具体和上述的计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的过程相似。
为了进一步提高计算出的第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的准确性。权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
具体的，权重滤波器计算模块33根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和所n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每帧图像相关滤波损失函数线性加权融合，得到基于多帧的相关滤波模型；
即获取以下基于多帧的相关滤波模型：
μt为每个样本t，即第t个画面帧的权重。
第n个画面帧之前的画面帧的数量少于等于50帧，则可取所有的第n个画面帧之前的画面帧的输入特征图进行第n个画面帧的权重滤波器的计算；如第n个画面帧之前的画面帧的数量多于50帧，则可将第n个画面帧之前的画面帧进行融合，生成50帧融合后的画面帧，并根据融合后的50个画面帧的输入特征图进行第n个画面帧的权重滤波器的计算。
一般而言，距离第n个画面帧越近的画面帧对应的权重越大。
随后跟踪目标区域确认模块34对多个连续的画面帧中的第n+1个画面帧进行特征提取，以得到多个连续的画面帧中的第n+1个画面帧的输入特征图。这里n+1＝2。
随后跟踪目标区域确认模块34使用获取的权重滤波器计算第二个画面帧的输入特征图对应的输出响应，并使用第二个画面帧的输出响应与特征提取模块的输出响应进行对比，将最接近特征提取模块的输出响应(一般为最大的输出响应)对应的画面帧区域确认为第二个画面帧的跟踪目标区域。
最后计数模块35对特征提取操作进行计数操作，即n＝n+1，并返回权重滤波器计算模块33计算第二个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，直至跟踪目标区域确认模块34获取目标视频的所有连续的画面帧的跟踪目标区域。
画面目标跟踪装置30即可根据所有连续的画面帧的跟踪目标区域，对目标视频中的指定物体或特定物体进行有效跟踪操作。
这样即完成了本实施例的画面目标跟踪装置30的对目标视频中指定物体或特定物体的跟踪过程。
本实施例的画面目标跟踪装置通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了画面目标跟踪的精度以及有效性。
下面通过一具体实施例说明本发明的画面目标跟踪方法及画面目标跟踪装置的详细工作原理。请参照图6a和图6b，图6a为本发明的画面目标跟踪方法及画面目标跟踪装置的画面目标跟踪示意图，图6b是本发明的画面目标跟踪方法及画面目标跟踪装置的画面目标跟踪流程图。
本具体实施例中，通过摄像头61获取特定物体的动态视频，随后画面处理服务器62对该动态视频中的特定物体进行画面目标跟踪操作，从而获取特定物体在动态视频中的运动轨迹。本具体实施例的画面目标跟踪的流程包括：
步骤S601，摄像头61获取特定物体的动态视频,，并将该动态视频发送至画面处理服务器62。
步骤S602，画面处理服务器62将动态视频转换为多个连续的画面帧，并获取多个连续的画面帧中的第一个画面帧。
步骤S603，用户设定第一个画面帧中的跟踪目标区域，即图6a中的汽车区域601。
步骤S604，画面处理服务器62对第一个画面帧中的跟踪目标区域进行特征提取操作，即通过设定尺寸的卷积核对跟踪目标区域进行卷积特征提取操作，从而获取跟踪目标区域的输入特征图。
步骤S605，画面处理服务器62根据相关滤波算法以及平均池化约束条件，基于步骤S604获取的输入特征图以及预设期望输出响应，获取该输入特征图对应的权重滤波器。
步骤S606，画面处理服务器62使用步骤S605获取的权重滤波器以及后续画面帧的输入特征图，逐一依次计算后续画面帧的输出响应，并基于输出响应不断对后续画面帧的跟踪目标区域的输入特征图进行修正。
随后使用修正后的后续画面帧的跟踪目标区域的输入特征图以及预设期望输出响应，不断对后续画面的权重滤波器进行修正。这样可根据后续画面帧的输出响应确定后续画面帧的跟踪目标区域，即图6a中的汽车区域602、603以及604。
步骤S607，画面处理服务器62根据动态视频中所有画面帧的跟踪目标区域，获取对应特定物体在动态视频中的运动轨迹；并基于特定物体的运动轨迹控制摄像头61的后续拍摄方向，以便摄像头61可继续对特定物体进行运动轨迹捕捉操作。
这样即完成了本具体实施例的画面目标跟踪方法及画面目标跟踪装置的画面目标跟踪流程。
本发明的画面目标跟踪方法及画面目标跟踪装置通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，解决了相关滤波算法的原生性缺陷，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，增强了相关算法的鲁棒性。提高了画面目标跟踪的精度以及有效性；有效的解决了现有的画面目标跟踪方法以及画面目标跟踪装置中容易造成参数过拟合或跟踪精度较低的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图7和随后的讨论提供了对实现本发明所述的视频画面渲染装置所在的电子设备的工作环境的简短、概括的描述。图7的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图7图示了包括本发明的画面目标跟踪装置中的一个或多个实施例的电子设备712的实例。在一种配置中，电子设备712包括至少一个处理单元716和存储器718。根据电子设备的确切配置和类型，存储器718可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图7中由虚线714图示。
在其他实施例中，电子设备712可以包括附加特征和/或功能。例如，设备712还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图7中由存储装置720图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置720中。存储装置720还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器718中由例如处理单元716执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器718和存储装置720是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备712访问的任何其他介质。任意这样的计算机存储介质可以是电子设备712的一部分。
电子设备712还可以包括允许电子设备712与其他设备通信的通信连接726。通信连接726可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备712连接到其他电子设备的其他接口。通信连接726可以包括有线连接或无线连接。通信连接726可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备712可以包括输入设备724，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备712中也可以包括输出设备722，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备724和输出设备722可以经由有线连接、无线连接或其任意组合连接到电子设备712。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备712的输入设备724或输出设备722。
电子设备712的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备712的组件可以通过网络互连。例如，存储器718可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络728访问的后台服务器730可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备712可以访问后台服务器730并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备712可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备712处执行并且一些指令可以在后台服务器730处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (15)

1.一种画面目标跟踪方法，其特征在于，包括：
获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n＝1；
对所述第n个画面帧的跟踪目标区域进行特征提取操作，以获取所述跟踪目标区域的输入特征图；其中所述输入特征图包括多个特征通道；
根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；其中所述权重滤波器包括所述第n个画面帧的输入特征图中各个特征通道对应的滤波权重；
使用所述权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算所述第n+1个画面帧的输出响应，并根据所述第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；
n＝n+1,并返回计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤，直至获取所有连续的画面帧的跟踪目标区域。
2.根据权利要求1所述的画面目标跟踪方法，其特征在于，所述方法根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤包括：
基于岭回归判别函数，创建所述跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型，且设置池化区域中的特征通道对应的滤波权重相等作为所述相关滤波模型的约束条件；
使用增广拉格朗日乘子法对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
使用共轭梯度下降法，对所述区域池化相关滤波模型进行优化，以获取所述跟踪目标区域的输入特征图对应的权重滤波器。
3.根据权利要求2所述的画面目标跟踪方法，其特征在于，所述画面目标跟踪方法还包括：
预先对所述跟踪目标区域的多个池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
4.根据权利要求1所述的画面目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤包括：
当获取所述第1个画面帧的跟踪目标区域的输入特征图时，则根据相关滤波算法以及平均池化约束条件，使用第1个画面帧的跟踪目标区域的输入特征图以及跟踪目标区域的期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；
当获取所述第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及平均池化约束条件，使用所述第n个画面帧的输入特征图以及所述第n-1个画面帧的权重滤波器，计算所述第n个画面帧的输出响应；
根据所述第n个画面帧的输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个画面帧的跟踪目标区域的输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及所述第n个画面帧的跟踪目标区域的输入特征图，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
5.根据权利要求1所述的画面目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤包括：
当获取所述第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及平均池化约束条件，使用所述第n个画面帧的输入特征图以及所述第n-1个画面帧的权重滤波器，计算所述第n个画面帧的输出响应；
根据所述第n个画面帧的输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个画面帧的跟踪目标区域的输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
6.根据权利要求5所述的画面目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的预设输出响应，所述第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器的步骤包括：
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每帧图像相关滤波损失函数线性加权融合，得到基于多帧的相关滤波模型；
对所述基于多帧的相关滤波模型进行计算，得到所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
7.根据权利要求1所述的画面目标跟踪方法，其特征在于，所述基于岭回归判别函数，创建所述跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型的步骤包括：
对所述跟踪目标区域的输入特征图对应的滤波器权重设置二值化掩膜，以减小所述跟踪目标区域外对应的权重滤波器的滤波权重。
8.根据权利要求1所述的画面目标跟踪方法，其特征在于，所述基于岭回归判别函数，创建所述跟踪目标区域的输入特征图对应的权重滤波器的相关滤波模型的步骤包括：
对所述跟踪目标区域的输入特征图对应的权重滤波器设置正则化权重，以提高所述跟踪目标区域对应的权重滤波器在所述跟踪目标区域的中心部分的滤波权重。
9.一种画面目标跟踪装置，其特征在于，包括：
跟踪目标区域设置模块，用于获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n＝1；
特征提取模块，用于对所述第n个画面帧的跟踪目标区域进行特征提取操作，以获取所述跟踪目标区域的输入特征图；其中所述输入特征图包括多个特征通道；
权重滤波器计算模块，用于根据相关滤波算法以及平均池化约束条件，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；其中所述权重滤波器包括所述第n个画面帧的输入特征图中各个特征通道对应的滤波权重；
跟踪目标区域确认模块，用于使用所述权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算所述第n+1个画面帧的输出响应，并根据所述第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；
计数模块，用于对特征提取操作进行计数操作。
10.根据权利要求9所述的画面目标跟踪装置，其特征在于，所述权重滤波器计算模块包括：
相关滤波模型创建单元，用于基于岭回归判别函数，创建所述跟踪目标区域的输入特征图的对应的权重滤波器的相关滤波模型，且设置池化区域中的特征通道对应的滤波权重相等作为所述相关滤波模型的约束条件；
区域池化相关滤波模型生成单元，用于使用增广拉格朗日乘子法对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
模型优化单元，用于使用共轭梯度下降法，对所述区域池化相关滤波模型进行优化，以获取所述跟踪目标区域的输入特征图对应的权重滤波器。
11.根据权利要求9所述的画面目标跟踪装置，其特征在于，所述画面目标跟踪装置还包括：
模型设置模块，用于预先对所述跟踪目标区域的池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
12.根据权利要求8所述的画面目标跟踪装置，其特征在于，所述权重滤波器计算模块用于当获取所述第1个画面帧的跟踪目标区域的输入特征图时，则根据相关滤波算法以及平均池化约束条件，使用第1个画面帧的跟踪目标区域的输入特征图以及跟踪目标区域的期望输出响应，计算第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；
当获取所述第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及平均池化约束条件，使用所述第n个画面帧的输入特征图以及所述第n-1个画面帧的权重滤波器，计算所述第n个画面帧的输出响应；
根据所述第n个画面帧的输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个画面帧的跟踪目标区域的输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及所述第n个画面帧的跟踪目标区域的输入特征图，计算所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
13.根据权利要求8所述的画面目标跟踪装置，其特征在于，所述权重滤波器计算模块用于当获取所述第n个画面帧的输入特征图以及第n-1个画面帧的权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及平均池化约束条件，使用所述第n个画面帧的输入特征图以及所述第n-1个画面帧的权重滤波器，计算所述第n个画面帧的输出响应；
根据所述第n个画面帧的输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个画面帧的跟踪目标区域的输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个画面帧以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每帧图像相关滤波损失函数线性加权融合，得到基于多帧的相关滤波模型；
对所述基于多帧的相关滤波模型进行计算，得到所述第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
14.一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1至8中任一的画面目标跟踪方法。
15.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至8中任一的画面目标跟踪方法。
CN201910391497.7A 2019-05-10 2019-05-10 画面目标跟踪方法、装置、存储介质及电子设备 Active CN110148157B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910391497.7A CN110148157B (zh) 2019-05-10 2019-05-10 画面目标跟踪方法、装置、存储介质及电子设备
EP20805061.7A EP3968280A4 (en) 2019-05-10 2020-04-26 TARGET TRACKING METHOD AND APPARATUS, STORAGE MEDIA AND ELECTRONIC DEVICE
PCT/CN2020/087041 WO2020228522A1 (zh) 2019-05-10 2020-04-26 目标跟踪方法、装置、存储介质及电子设备
JP2021536748A JP7125562B2 (ja) 2019-05-10 2020-04-26 目標追跡方法、コンピュータプログラム、及び電子機器
US17/365,893 US11610321B2 (en) 2019-05-10 2021-07-01 Target tracking method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391497.7A CN110148157B (zh) 2019-05-10 2019-05-10 画面目标跟踪方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110148157A true CN110148157A (zh) 2019-08-20
CN110148157B CN110148157B (zh) 2021-02-02

Family

ID=67595267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391497.7A Active CN110148157B (zh) 2019-05-10 2019-05-10 画面目标跟踪方法、装置、存储介质及电子设备

Country Status (5)

Country Link
US (1) US11610321B2 (zh)
EP (1) EP3968280A4 (zh)
JP (1) JP7125562B2 (zh)
CN (1) CN110148157B (zh)
WO (1) WO2020228522A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
WO2020228522A1 (zh) * 2019-05-10 2020-11-19 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
WO2021036318A1 (zh) * 2019-08-31 2021-03-04 华为技术有限公司 一种视频图像处理方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102504321B1 (ko) * 2020-08-25 2023-02-28 한국전자통신연구원 온라인 행동 탐지 장치 및 방법
CN113393493B (zh) * 2021-05-28 2024-04-05 京东科技信息技术有限公司 目标对象的跟踪方法及装置
CN113344973B (zh) * 2021-06-09 2023-11-24 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN113808171A (zh) * 2021-09-27 2021-12-17 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法
CN116051385A (zh) * 2021-10-28 2023-05-02 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及存储介质
CN114596337B (zh) * 2022-03-03 2022-11-25 捻果科技(深圳)有限公司 一种基于多摄像机位联动性的自识别目标追踪方法及系统
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备
CN116863342B (zh) * 2023-09-04 2023-11-21 江西啄木蜂科技有限公司 一种基于大尺度遥感影像的松材线虫病死木提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913453A (zh) * 2016-04-01 2016-08-31 海信集团有限公司 一种目标跟踪方法和装置
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN108550126A (zh) * 2018-04-18 2018-09-18 长沙理工大学 一种自适应相关滤波器目标跟踪方法及系统
US20190114804A1 (en) * 2017-10-13 2019-04-18 Qualcomm Incorporated Object tracking for neural network systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
KR101953626B1 (ko) * 2017-06-29 2019-03-06 서강대학교산학협력단 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
CN109448024B (zh) * 2018-11-06 2022-02-11 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
CN109543615B (zh) * 2018-11-23 2022-10-28 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN110148157B (zh) * 2019-05-10 2021-02-02 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913453A (zh) * 2016-04-01 2016-08-31 海信集团有限公司 一种目标跟踪方法和装置
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
US20190114804A1 (en) * 2017-10-13 2019-04-18 Qualcomm Incorporated Object tracking for neural network systems
CN108550126A (zh) * 2018-04-18 2018-09-18 长沙理工大学 一种自适应相关滤波器目标跟踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID S.BOLME ETC.: ""Visual Object Tracking using Adaptive Correlation Filters"", 《2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
卢湖川等: ""目标跟踪算法综述"", 《模式识别与人工智能》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228522A1 (zh) * 2019-05-10 2020-11-19 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
US11610321B2 (en) 2019-05-10 2023-03-21 Tencent Technology (Shenzhen) Company Limited Target tracking method and apparatus, storage medium, and electronic device
WO2021036318A1 (zh) * 2019-08-31 2021-03-04 华为技术有限公司 一种视频图像处理方法及装置
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法

Also Published As

Publication number Publication date
EP3968280A1 (en) 2022-03-16
JP2022516055A (ja) 2022-02-24
EP3968280A4 (en) 2022-06-22
JP7125562B2 (ja) 2022-08-24
WO2020228522A1 (zh) 2020-11-19
US20210327076A1 (en) 2021-10-21
US11610321B2 (en) 2023-03-21
CN110148157B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110148157A (zh) 画面目标跟踪方法、装置、存储介质及电子设备
Yu et al. Path-restore: Learning network path selection for image restoration
CN105512723B (zh) 一种用于稀疏连接的人工神经网络计算装置和方法
CN110660037B (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Fan et al. A general decoupled learning framework for parameterized image operators
CN109255769A (zh) 图像增强网络的训练方法和训练模型、及图像增强方法
CN106485773B (zh) 一种用于生成动画数据的方法和装置
CN110599491B (zh) 基于先验信息的眼部图像分割方法、装置、设备及介质
CN109840477A (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN109146924A (zh) 一种基于热力图的目标跟踪方法及装置
CN114611720B (zh) 联邦学习模型训练方法、电子设备及存储介质
CN110210524A (zh) 一种图像增强模型的训练方法、图像增强方法及装置
CN109816098A (zh) 神经网络的处理方法及评估方法、数据分析方法及装置
CN109410253A (zh) 用于生成信息的方法和装置
Li et al. Attention-based adaptive feature selection for multi-stage image dehazing
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
Almeida et al. Deep networks for human visual attention: A hybrid model using foveal vision
Wu et al. Hprn: Holistic prior-embedded relation network for spectral super-resolution
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Cazorla et al. JavaVis: An integrated computer vision library for teaching computer vision
Zhang et al. Lightweight single-image super-resolution via multi-scale feature fusion cnn and multiple attention block
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
Ding et al. Cross-view image synthesis with deformable convolution and attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant