CN110751671A - 一种基于核相关滤波与运动估计的目标跟踪方法 - Google Patents

一种基于核相关滤波与运动估计的目标跟踪方法 Download PDF

Info

Publication number
CN110751671A
CN110751671A CN201810814493.0A CN201810814493A CN110751671A CN 110751671 A CN110751671 A CN 110751671A CN 201810814493 A CN201810814493 A CN 201810814493A CN 110751671 A CN110751671 A CN 110751671A
Authority
CN
China
Prior art keywords
target
kernel
response
filtering
motion estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810814493.0A
Other languages
English (en)
Other versions
CN110751671B (zh
Inventor
戴伟聪
金龙旭
李国宁
程博阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201810814493.0A priority Critical patent/CN110751671B/zh
Publication of CN110751671A publication Critical patent/CN110751671A/zh
Application granted granted Critical
Publication of CN110751671B publication Critical patent/CN110751671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种基于核相关滤波与运动估计的目标跟踪方法。该目标跟踪方法在核相关滤波器的基础上，引入跟踪响应为高斯分布的设想，采用贝叶斯优化对核相关滤波器进行处理；并且加权结合抑制背景的贝叶斯分类器的响应与核相关滤波的响应；最后基于运动估计对目标运动方向进行预测，在跟踪失败时在预测的位置上检测目标以实现重检测。本发明实施例所提出的目标跟踪方法在OTB2013测试集上与现有的其他目标跟踪方法进行了对比，对比结果表明本发明实施例所提出的目标跟踪算法性能优异，且具有高达42帧每秒的运行速度，具有良好的实用性和准确度。

Description

一种基于核相关滤波与运动估计的目标跟踪方法
技术领域
本发明涉及计算机图像处理的技术领域，具体涉及一种基于核相关滤波与运动估计的目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域中一个基础的研究问题，目标跟踪在机器人、视频监控、无人机等领域内广泛应用。目前，基于检测的目标跟踪方法已经成为目标跟踪中的研究热点技术。基于检测的目标跟踪方法是将目标跟踪问题理解成一个在线的物体检测问题，从而极大地提升了目标跟踪的准确性。进一步地，相关滤波器引入目标跟踪后，由于相关滤波器具有高效率和高准确性的特点，目标跟踪的应用更为广泛。
相关滤波器由Bolme等人在2010年引入目标跟踪领域，Bolme等人提出了一种运行速度高达数百帧每秒的MOSSE目标跟踪方法。Henriques等人在MOSSE的基础上，使用循环矩阵进行循环采样并引入核技巧，提出了CSK目标跟踪方法。进一步地，Henriques等人在CSK的基础，将使用单通道灰度特征的CSK，扩展为使用多通道特征的方向梯度直方图特征(HOG)的KCF/DCF目标跟踪方法。考虑到颜色信息在视频图像中的重要性，Denelljan等人提出位置相关滤波器，在位置相关滤波器中使用颜色属性(CN)作为特征，并采用自适应降维方法将10维的颜色属性(CN)压缩为2维。在原有位置相关滤波器的基础上，Danelljan等人提出DSST目标跟踪方法，DSST目标跟踪方法通过构建尺度金字塔训练一个处理尺度变化的尺度相关滤波器以适应目标的尺度变化。Li等人提出了另一种计算量较大但更为准确的尺度自适应SAMF目标跟踪方法，SAMF目标跟踪方法通过使用位置相关滤波器在多个尺寸图像块上进行搜索，选取响应最大的为当前位置及对应尺寸。
由于上述的目标跟踪方法中，相关滤波器普遍采用梯度直方图特征(HOG)作为特征，从而，相关滤波器难以处理低分辨率、旋转或变形等情况下的目标。进一步地，由于上述的目标跟踪方法中的模型更新策略存在高风险，若目标遭遇遮挡后，目标跟踪方法将失效。
因此，针对现有的采用相关滤波器的目标跟踪方法存在的问题，需要提供一种能够适应目标存在低分辨率、旋转或变形情况，且能在跟踪失效时再重新检测目标的目标跟踪方法。
发明内容
针对现有采用相关滤波器的目标跟踪方法存在的问题，本发明实施例提出一种基于核相关滤波与运动估计的目标跟踪方法。该方法在核相关滤波过程中引入贝叶斯优化，并且使用高斯函数抑制背景的颜色概率，使得目标跟踪方法有效地适应低分辨率、背景斑杂、旋转或变形的情况。进一步地，当目标跟踪失败时，该方法采用基于运动估计进行重检测，有效地避免了跟踪失败的情况。
该基于核相关滤波与运动估计的目标跟踪方法的具体方案如下：一种基于核相关滤波与运动估计的目标跟踪方法，包括步骤S1：根据初始图像帧，获取目标初始信息；步骤S2：在目标区域附近提取颜色直方图，并且初始化贝叶斯分类器；步骤S3：在核相关滤波区域中提取前第一阈值维数的梯度直方图特征，第二阈值维数的颜色属性特征，并采用所述贝叶斯分类器计算所述核相关滤波区域中像素级的颜色概率图，再从所述像素级的颜色概率图中提取前第三阈值维数的梯度直方图特征；步骤S4：假定核相关滤波在目标跟踪时的响应为高斯函数，并将所述高斯函数作为约束条件加入岭回归的求解过程；步骤S5：初始化尺度滤波器，并且训练所述尺度滤波器；步骤S6：在目标区域中提取颜色直方图，训练贝叶斯分类器；步骤S7：采用所述贝叶斯分类器检测目标，获得颜色响应概率图；步骤S8：在核相关滤波区域检测目标，获得核相关滤波响应图；步骤S9：集成所述颜色响应概率图和所述核相关滤波响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；步骤S10：在所述目标的新位置处，调用所述尺度滤波器，并选取响应最大的尺度作为新的尺度，更新目标尺寸及所述尺度相关滤波器；步骤S11：根据核相关滤波的平均峰值相关能量与核相关滤波响应图中最大响应值判断目标跟踪是否失败，若目标跟踪失败，则基于运动估计进行重检测；步骤S12：更新所述相关滤波器和所述贝叶斯分类器；步骤S13：获得下一帧图像，重复步骤S7、S8、S9、S10、S11、S12，直至视频结束。
优选地，所述目标初始信息包括目标位置、目标长度和目标宽度。
优选地，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值维数为28维。
优选地，在步骤S9中采用加权平均的方法集成所述颜色响应概率图和所述核相关滤波响应图。
优选地，所述核相关滤波的表达式为：minw∑i(f(xi)-yi)2+λ||w||2，
其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，y为样本的回归值，λ是正则化系数。
优选地，岭回归过程中的松弛变量ξi满足下式：
Figure BDA0001740015150000031
约束条件包括下列三个条件：
Figure BDA0001740015150000032
其中，w为核相关滤波器，y为样本的回归值，B为常数，为核相关滤波在目标跟踪时的高斯响应。
优选地，所述贝叶斯分类器的具体实现过程表达式如下所示：
Figure BDA0001740015150000034
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表示像素x属于RGB颜色直方图的第c条柱。
优选地，步骤S11中具体的判断条件为：当同时满足APCE＜ω1*MAPCE与Rmmax＜ω2*Rmean时，判断目标跟踪失败；否则，目标跟踪成功；其中，APCE为核相关滤波的平均峰值相关能量，MAPCE为APCE的历史平均值，Rmmax为核相关滤波的响应峰值，Rmean是响应峰值的历史平均值。
优选地，基于运动估计进行重检测的包括步骤：
步骤S111：在以目标为圆心的半径为r的圆上取点，半径r的表达式如下：
Figure BDA0001740015150000035
其中，H为目标高度，W为目标宽度，Rmax为核相关滤波的响应峰值；
步骤S112：假定目标的运动方向与上一帧的方向变化不剧烈，目标上一帧的运动方向的表达式为：
Figure BDA0001740015150000041
步骤S113：以上一帧的目标运动方向为中心，以的弧度为间隔，选取
Figure BDA0001740015150000043
Figure BDA0001740015150000044
五个方向作为目标的预测方向。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供一种基于核相关滤波与运动估计的目标跟踪方法。该方法的具体试试过程包括在核相关滤波器的基础上，引入跟踪响应为高斯分布的设想，使用贝叶斯优化对核相关滤波器进行处理，并且使用高斯函数抑制背景的颜色概率；跟踪失败时对目标运动方向进行预测，在预测的位置上检测目标以实现重检测。该方法在核相关滤波过程中引入贝叶斯优化，并且使用高斯函数抑制背景的颜色概率，使得目标跟踪方法有效地适应低分辨率、背景斑杂、旋转或变形的情况。进一步地，当目标跟踪失败时，该方法采用基于运动估计进行重检测，有效地避免了跟踪失败的情况。
附图说明
图1为本发明实施例提供的基于核相关滤波与运动估计的目标跟踪方法的流程示意图；
图2为图1所示实施例的一种简化流程示意图；
图3为本发明实施例所提供的基于核相关滤波和运动估计的目标跟踪方法的跟踪性能在OTB2013测试集上的结果示意图；
图4为本发明实施例所提供的基于核相关滤波和运动估计的目标跟踪方法(实线)与目标跟踪方法KCF(点划线)，Staple(虚线)在视频序列Jogging1、Skiing、Shaking上的定性比较图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明实施例基于核相关滤波与运动估计的目标跟踪方法包括十三个步骤。具体如下所示：
步骤S1：根据初始图像帧，获取目标初始信息。在该实施例中，目标初始信息包括目标位置、目标的长度、目标的宽度。获取目标初始信息后，对基于核相关滤波与运动估计的目标跟踪方法中的参数进行初始化，以及对区域进行初始化。
步骤S2：在目标区域附近提取颜色直方图，并且初始化贝叶斯分类器。
步骤S3：在核相关滤波区域中提取前第一阈值维数的梯度直方图特征，第二阈值维数的颜色属性特征，并采用所述贝叶斯分类器计算所述核相关滤波区域中像素级的颜色概率图，再从所述像素级的颜色概率图中提取前第三阈值维数的梯度直方图特征。在该实施例中，第一阈值维数为28维，第二阈值维数为10维，第三阈值维数为28维。在其他实施例中，第一阈值维数、第二阈值维数及第三阈值维数也可以取其他数值，可根据目标的不同或跟踪精度的要求不同而自行设定。
在该实施例中，核相关滤波通过循环矩阵，在图像x内进行循环采样获得循环样本xi，将样本特征通过核技巧
Figure BDA0001740015150000051
映射到高维空间，结合高斯回归值y训练岭回归分类器。核相关滤波的表达式如公式1所示：
minw∑i(f(xi)-yi)2+λ||w||2 (公式1)
其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，y为样本的回归值，λ是正则化系数。w表示为一系列训练样本
Figure BDA0001740015150000061
的加权和，具体的表达式如公式2所示：
其中，系数α可利用循环矩阵的性质求解。系数α在频域的表达式如公式3所示：
Figure BDA0001740015150000063
其中，
Figure BDA0001740015150000064
为核相关向量，^表示对应符号的傅里叶变换。
步骤S4：假定核相关滤波在目标跟踪时的响应为高斯函数，并将所述高斯函数作为约束条件进行岭回归的求解。假定核相关滤波在目标跟踪时的响应为高斯函数，具体表现为：在第t帧中，核相关滤波的响应的满足下述表达式：
Figure BDA0001740015150000065
岭回归过程中的松弛变量ξi满足公式4：
Figure BDA0001740015150000066
公式4的约束条件包括下列三个条件：
Figure BDA0001740015150000067
||w||≤B，
Figure BDA0001740015150000068
其中，w为核相关滤波器，y为样本的回归值，B为常数，
Figure BDA0001740015150000069
为核相关滤波在目标跟踪时的高斯响应。
在该过程中，高斯先验问题可以转化为最小化
Figure BDA00017400151500000610
即最小化
Figure BDA00017400151500000611
由于两相邻帧之间目标的变化很小，因此的最小化问题可以转化为最小化||wt-wt-1||2。对于原始核相关滤波器：
Figure BDA00017400151500000613
Figure BDA00017400151500000614
对ζ和w求偏导，得到两个KKT条件，具体表达式如公式5所示：
Figure BDA0001740015150000071
使用拉格朗日乘子法，上述问题可以简化成公式6：
Figure BDA0001740015150000072
由于公式6可写成公式7：
Figure BDA0001740015150000074
对公式7进行傅里叶变换并且整理后得到公式8：
Figure BDA0001740015150000075
公式8即为核相关滤波器的更新公式，即当
Figure BDA0001740015150000076
以学习率更新时，可以使输出保持高斯形状。
步骤S5：初始化尺度滤波器，并且训练所述尺度滤波器。
步骤S6：在目标区域中提取颜色直方图，训练贝叶斯分类器。
步骤S7：采用所述贝叶斯分类器检测目标，获得颜色响应概率图。在该实施例中，通过贝叶斯法则构造一个判别式模型去跟踪目标。为了使分类器能将物体O从图像I中分辨出，我们在位置x构造一个基于RGB颜色直方图的贝叶斯分类器以获得像素的颜色概率响应。贝叶斯分类器的具体实现过程表达式如公式9所示：
Figure BDA0001740015150000078
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表示像素x属于RGB颜色直方图的第c条柱(bins)。
Figure BDA0001740015150000079
表示在区域A∈I中属于RGB颜色直方图的第c条直方柱(bin)中的像素总数。
为了简化计算，本实施例采用从RGB颜色直方图中估计像素x属于目标的概率，公式9可以改写成公式10：
Figure BDA0001740015150000081
由于对于目标而言，距离目标中心较远的像素极有可能为干扰项或背景。出于对背景进行抑制的思想，本发明通过使用一个与像素x相对目标中心的坐标(x1，x2)相关的高斯函数g(x1，x2)对边缘像素进行抑制：
Figure BDA0001740015150000082
Figure BDA0001740015150000083
颜色概率响应图response_p可以从通过在像素级的颜色概率响应图上应用积分图获得。如果视频为灰度视频序列，则将颜色直方图设置为一维。
步骤S8：在核相关滤波区域检测目标，获得核相关滤波响应图。在核相关滤波检测阶段，检测过程满足公式13：
其中，z为待检测的图像块，f(z)为检测结果，⊙表示矩阵点乘，α满足公式12：
α＝(K+λ1I)-1y (公式14)
在该检测过程中，本实施例采用高斯核函数，具体表达式如公式15所示：
Figure BDA0001740015150000085
步骤S9：集成所述颜色响应概率图和所述核相关滤波响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置。在该实施例中，采用加权平均的方法集成所述颜色响应概率图和所述核相关滤波响应图。在加权平均集成相关滤波与贝叶斯分类器两个分类器的响应，获得融合算法的响应，响应最大值处即为目标位置，具体的表达式如公式16所示：
response＝(1-α)response_cf+α·response_p (公式16)
其中，response为融合后的响应，response_cf为颜色响应概率图，response_p为核相关滤波响应，α为融合系数。在该实施例中，融合系数α可以取值为0.25。
步骤S10：在所述目标的新位置处，调用所述尺度滤波器，并选取响应最大的尺度作为新的尺度，更新目标尺寸及所述尺度相关滤波器。在该实施例中，通过以上一帧确定的目标位置为中心，提取一系列不同尺度的图像块特征，构建特征金字塔。以H×W为目标尺寸，则在目标位置附近提取总数为S个大小为anH×anW的图像块，a表示尺度系数；
Figure BDA0001740015150000091
在本实施例中，令S＝17，尺度相关滤波器中使用线性核。快速尺度相关滤波器通过使用主成分分析对包含31维方向梯度直方图特征(HOG)的33层特征金字塔进行压缩，使总特征从接近1000维被压缩为17维。最后将输出的17个响应插值为33个响应。在目标跟踪过程中，快速尺度相关滤波器在跟踪结果附近采样预测尺度，并通过线性插值更新模型。
步骤S11：
在目标跟踪过程中，当核相关滤波器准确跟踪时，响应为单峰，形状与高斯函数相似；而当跟踪失败或遭遇严重遮挡时，响应为多峰。优选地，在目标跟踪过程中引入一个平均峰值相关能量(APCE)，作为目标状态判据。APCE具体表达式如公式17所示：
Figure BDA0001740015150000092
其中，R为核相关滤波的响应，Rmax为核相关滤波的响应峰值，Rmin为核相关滤波的响应最小值。
根据核相关滤波的平均峰值相关能量(APCE)与核相关滤波响应图中最大响应值判断目标跟踪是否失败，若目标跟踪失败，则基于运动估计进行重检测。在本实施例中，使用核相关滤波的APCE与最大响应值Rmax判断目标跟踪是否失败，具体的判断条件为：当同时满足APCE＜ω1*MAPCE与Rmmax＜ω2*Rmean时，判断目标跟踪失败；否则，目标跟踪成功；其中，APCE为核相关滤波的平均峰值相关能量，MAPCE为APCE的历史平均值，Rmax为核相关滤波的响应峰值，Rmean是响应峰值的历史平均值。
本发明实施例提出一种基于运动估计的重检测，将重检测问题转化为在失败时扩展目标检测范围的问题。当目标跟踪失败时，进行基于运动估计的重检测。基于运动估计进行重检测的包括步骤：
步骤S111：在以目标为圆心的半径为r的圆上取点，半径r的表达式如公式16所示：
其中，H为目标高度，W为目标宽度，Rmax为核相关滤波的响应峰值；
步骤S112：假定目标的运动方向与上一帧的方向变化不剧烈，目标上一帧的运动方向的表达式如公式17所示：
Figure BDA0001740015150000102
其中，目标具体的方向可以由
Figure BDA0001740015150000103
的符号判断。
步骤S113：以上一帧的目标运动方向为中心，以
Figure BDA0001740015150000104
的弧度为间隔，选取
Figure BDA0001740015150000105
Figure BDA0001740015150000106
五个方向作为目标的预测方向。根据确定的五个方向，再采用目标跟踪方法进行再次跟踪。针对于上一帧时目标没有移动的情况，该方法在0到2π之间以π/4的角度为间隔在r上取点，即目标的运动估计方向随机；检测后结合最初的检测结果，选取所有响应中值最大的点作为目标所在位置。
步骤S12：更新所述相关滤波器和所述贝叶斯分类器。更新核相关滤波器的表达式如公式18和公式19所示：
Figure BDA0001740015150000107
Figure BDA0001740015150000108
贝叶斯分类器中的颜色直方图的更新表达式如公式20和公式21所示：
Figure BDA0001740015150000109
Figure BDA00017400151500001010
在该步骤中，优选值ηcf＝0.02，ηp＝0.04。
步骤S13：获得下一帧图像，重复步骤S7、S8、S9、S10、S11、S12，直至视频结束。
在该实施例中，有关核相关滤波器滤波、贝叶斯分类器分类及尺度相关滤波器的操作步骤可以进行顺序互换或者并列执行，因为这三个步骤执行并未有结果依赖关系。
如图2所示，为图1所示实施例的一种简化流程示意图。在该图中，图像为初始帧。基于初始帧，分别训练核相关滤波器与贝叶斯分类器，其中核相关滤波器使用贝叶斯优化进行优化；在对下一帧进行检测，对相关滤波器的响应与贝叶斯分类器的响应采用加权平均的方法获得最终响应；通过对核相关滤波结果的评估，判断是否需要进行重检测，若需要重检测则采用基于运动估计的重检测方法，获得重检测结果；在输出结果上使用尺度相关滤波器检测尺度变化；重复上述步骤，直至视频结束。
在该实施例中，目标跟踪方法在核相关滤波过程中引入贝叶斯优化，并且使用高斯函数对背景的颜色概率进行了抑制，使得目标跟踪方法有效地适应低分辨率、背景斑杂、旋转或变形的情况。进一步地，当目标跟踪失败时，该方法采用基于运动估计进行重检测，有效地避免了跟踪失败的情况。
如图3所示，本发明实施例所提出的基于核相关滤波和运动估计的目标跟踪方法的跟踪性能在OTB2013测试集上的结果。OTB2013测试集是近几年中提出的最权威的目标跟踪测试集之一，其评价标准有精度(precision)和成功率(success rate)。精度是指算法估计的目标中心与标注的中心间的欧式距离小于20像素的帧数的比例；成功率是指成功率曲线下的面积，而成功率曲线的分数由交叠比
Figure BDA0001740015150000111
确定，其中bt为算法确定的目标框，bb为人工标注的跟踪框。如图3所示，本发明实施例所提出的跟踪方法(BRCF曲线)在成功率和精度上都由于现有的目标跟踪方法。本发明实施例所提出的跟踪方法(BRCF曲线)在图3a和图3b的曲线图中分别达到了精度0.888与成功率0.656的优异成绩，相对与其基础算法KCF，在精度和成功率上分别提升了20％和27.6％。本发明实施例所提出的跟踪方法(BRCF曲线)在OTB2013上的平均运行速度达到42FPS，可以满足实时应用的要求。
如表1所示，本发明实施例所提出的基于核相关滤波和运动估计的目标跟踪方法的跟踪性能在OTB2013测试集与其他跟踪方法的定量比较参数表。OTB2013测试集中的所有视频序列均用11种属性标注，分别是尺度变化(scale variation)、移出视野(out ofview)、遮挡(occlusion)、低分辨率(low resolution)、背景斑杂(background clutter)、平面内旋转(in-plane rotation)、平面外旋转(out-of-plane rotation)、变形(deformation)、运动模糊(motion blur)、快速移动(fast motion)、光照变化(illumination variation)。如表1所示，本发明实施例所提出的跟踪方法(BRCF曲线)与其他5种算法在上述11种属性的成功率参数值，表中属性名称后的数字代表拥有该属性的视频序列总数。从表中可以看出，本发明实施例所提出的跟踪方法(BRCF曲线)在上述11种属性中都具有优秀的表现。
表1
属性 BRCF DCF Staple SAMF fDSST DSST
快速移动 0.547 0.440 0.501 0.497 0.556 0.405
背景斑杂 0.628 0.522 0.557 0.512 0.617 0.498
运动模糊 0.557 0.469 0.526 0.493 0.593 0.423
变形 0.704 0.531 0.607 0.623 0.564 0.478
光照变化 0.625 0.481 0.561 0.523 0.597 0.504
低分辨率 0.505 0.278 0.396 0.297 0.325 0.356
遮挡 0.638 0.502 0.585 0.611 0.558 0.478
平面外旋转 0.643 0.488 0.569 0.548 0.572 0.492
移出视野 0.566 0.542 0.518 0.560 0.555 0.465
尺度变化 0.597 0.416 0.545 0.505 0.571 0.447
平面内旋转 0.621 0.487 0.576 0.509 0.584 0.520
如图4所示，本发明实施例所提出的基于核相关滤波和运动估计的目标跟踪方法(实线)与目标跟踪方法KCF(点划线)，Staple(虚线)在视频序列Jogging1、Skiing、Shaking上的定性比较。
视频序列Jogging1中包含平面外旋转、遮挡以及变形共三种具有挑战性的属性。在视频序列Jogging1中，在第78帧时，在目标遭遇严重遮挡时，仅有本发明实施例所提出的跟踪方法(实线)因为使用了基于运动估计的重检测方法，能通过目标的位置变化信息，对目标进行有效的重检测，所以在目标丢失后能够重新寻回目标。
视频序列Skinging中包含的具有挑战性的属性有光照变化、平面外旋转、尺度变化、变形、低分辨率、平面内旋转。在视频序列Skiing中，在前10帧内，Staple就已经无法跟上目标，KCF在15帧时开始跟丢，本发明实施例所提出的跟踪方法(实线)则可以全程准确跟踪目标，虽然对于尺度变化仍然难以完美适应，其原因主要是使用了基于贝叶斯分类器的HOG特征，该特征使算法可以跟上小目标以及与缺少纹理特征的目标。
视频序列Shaking包含光照变化、平面外旋转、尺度变化、背景斑杂以及平面内旋转共5种挑战性属性。在Shaking序列中，仅有本发明实施例所提出的跟踪方法(实线)能准确跟踪目标，其主要原因是使用了背景抑制的贝叶斯分类器，有效处理背景斑杂的情况。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于核相关滤波与运动估计的目标跟踪方法，其特征在于，所述方法包括步骤：
步骤S1：根据初始图像帧，获取目标初始信息；
步骤S2：在目标区域附近提取颜色直方图，并且初始化贝叶斯分类器；
步骤S3：在核相关滤波区域中提取前第一阈值维数的梯度直方图特征，第二阈值维数的颜色属性特征，并采用所述贝叶斯分类器计算所述核相关滤波区域中像素级的颜色概率图，再从所述像素级的颜色概率图中提取前第三阈值维数的梯度直方图特征；
步骤S4：假定核相关滤波在目标跟踪时的响应为高斯函数，并将所述高斯函数作为约束条件进行岭回归的求解；
步骤S5：初始化尺度滤波器，并且训练所述尺度滤波器；
步骤S6：在目标区域中提取颜色直方图，训练贝叶斯分类器；
步骤S7：采用所述贝叶斯分类器检测目标，获得颜色响应概率图；
步骤S8：在核相关滤波区域检测目标，获得核相关滤波响应图；
步骤S9：集成所述颜色响应概率图和所述核相关滤波响应图，获得最终响应图，在所述最终响应图中响应最大值处为所述目标的新位置；
步骤S10：在所述目标的新位置处，调用所述尺度滤波器，并选取响应最大的尺度作为新的尺度，更新目标尺寸及所述尺度相关滤波器；
步骤S11：根据核相关滤波的平均峰值相关能量与核相关滤波响应图中最大响应值判断目标跟踪是否失败，若目标跟踪失败，则基于运动估计进行重检测；
步骤S12：更新所述核相关滤波器和所述贝叶斯分类器；
步骤S13：获得下一帧图像，重复步骤S7、S8、S9、S10、S11、S12，直至视频结束。
2.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，所述目标初始信息包括目标位置、目标长度和目标宽度。
3.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，所述第一阈值维数为28维，第二阈值维数为10维，第三阈值维数为28维。
4.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，在步骤S9中采用加权平均的方法集成所述颜色响应概率图和所述核相关滤波响应图。
5.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，所述核相关滤波的表达式为：
minw∑i(f(xi)-yi)2+λ||w||2，
其中，f(x)＝wTx，x为样本特征，w为核相关滤波器，y为样本的回归值，λ是正则化系数。
6.根据权利要求5所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，岭回归过程中的松弛变量ξi满足下式：
Figure FDA0001740015140000021
约束条件包括下列三个条件：其中，w为核相关滤波器，y为样本的回归值，B为常数，
Figure FDA0001740015140000023
为核相关滤波在目标跟踪时的高斯响应。
7.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，所述贝叶斯分类器的具体实现过程表达式如下所示：
其中，F表示围绕目标的矩形前景区域，B表示包含目标的矩形背景区域，cx表示像素x属于RGB颜色直方图的第c条柱。
8.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，步骤S11中具体的判断条件为：当同时满足APCE＜ω1*MAPCE与Rmax＜ω2*Rmean时，判断目标跟踪失败；否则，目标跟踪成功；其中，APCE为核相关滤波的平均峰值相关能量，MAPCE为APCE的历史平均值，Rmax为核相关滤波的响应峰值，Rmean是响应峰值的历史平均值。
9.根据权利要求1所述的基于核相关滤波与运动估计的目标跟踪方法，其特征在于，基于运动估计进行重检测的包括步骤：
步骤S111：在以目标为圆心的半径为r的圆上取点，半径r的表达式如下：
Figure FDA0001740015140000031
其中，H为目标高度，W为目标宽度，Rmax为核相关滤波的响应峰值；
步骤S112：假定目标的运动方向与上一帧的方向变化不剧烈，目标上一帧的运动方向的表达式为：
Figure FDA0001740015140000032
步骤S113：以上一帧的目标运动方向为中心，以
Figure FDA0001740015140000033
的弧度为间隔，选取
Figure FDA0001740015140000034
Figure FDA0001740015140000035
五个方向作为目标的预测方向。
CN201810814493.0A 2018-07-23 2018-07-23 一种基于核相关滤波与运动估计的目标跟踪方法 Active CN110751671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810814493.0A CN110751671B (zh) 2018-07-23 2018-07-23 一种基于核相关滤波与运动估计的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810814493.0A CN110751671B (zh) 2018-07-23 2018-07-23 一种基于核相关滤波与运动估计的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110751671A true CN110751671A (zh) 2020-02-04
CN110751671B CN110751671B (zh) 2022-08-19

Family

ID=69275160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810814493.0A Active CN110751671B (zh) 2018-07-23 2018-07-23 一种基于核相关滤波与运动估计的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110751671B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739066A (zh) * 2020-07-27 2020-10-02 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005029109A1 (ja) * 2003-09-22 2005-03-31 Riken ３次元異種核相関ｎｍｒスペクトルにおけるノイズフィルター装置、ノイズフィルター方法、およびノイズフィルタープログラム
US20050179784A1 (en) * 2004-02-13 2005-08-18 Yingyong Qi Adaptive image stabilization
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103179397A (zh) * 2013-03-04 2013-06-26 中国科学院长春光学精密机械与物理研究所 一种高光谱图像压缩与重构装置及方法
CN103745203A (zh) * 2014-01-15 2014-04-23 南京理工大学 基于视觉注意和均值漂移的目标检测与跟踪方法
CN105844665A (zh) * 2016-03-21 2016-08-10 清华大学 视频对象追踪方法及装置
CN106296733A (zh) * 2016-08-04 2017-01-04 中国科学院长春光学精密机械与物理研究所 一种图像中目标跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005029109A1 (ja) * 2003-09-22 2005-03-31 Riken ３次元異種核相関ｎｍｒスペクトルにおけるノイズフィルター装置、ノイズフィルター方法、およびノイズフィルタープログラム
US20050179784A1 (en) * 2004-02-13 2005-08-18 Yingyong Qi Adaptive image stabilization
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103179397A (zh) * 2013-03-04 2013-06-26 中国科学院长春光学精密机械与物理研究所 一种高光谱图像压缩与重构装置及方法
CN103745203A (zh) * 2014-01-15 2014-04-23 南京理工大学 基于视觉注意和均值漂移的目标检测与跟踪方法
CN105844665A (zh) * 2016-03-21 2016-08-10 清华大学 视频对象追踪方法及装置
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
CN106296733A (zh) * 2016-08-04 2017-01-04 中国科学院长春光学精密机械与物理研究所 一种图像中目标跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN107239762A (zh) * 2017-06-06 2017-10-10 电子科技大学 一种基于视觉的公交车内乘客人数统计方法
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田浩: "基于核函数的目标跟踪算法研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739066A (zh) * 2020-07-27 2020-10-02 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质
CN111739066B (zh) * 2020-07-27 2020-12-22 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质
WO2022021661A1 (zh) * 2020-07-27 2022-02-03 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法

Also Published As

Publication number Publication date
CN110751671B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN108346159B (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
CN110135500B (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
US8989442B2 (en) Robust feature fusion for multi-view object tracking
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108573499B (zh) 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN111260688A (zh) 一种孪生双路目标跟踪方法
CN110728697A (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN110717934B (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN109325966B (zh) 一种通过时空上下文进行视觉跟踪的方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN110555870A (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
Du et al. Spatial–temporal adaptive feature weighted correlation filter for visual tracking
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant