CN109859243A - 一种基于尺度自适应块粒子的运动目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于尺度自适应块粒子的运动目标跟踪方法，属于计算机视觉领域。本发明首先在第一帧图像中，首先初始化目标区域，利用被跟踪目标的局部结构，并将跟踪目标看成块粒子。在序列蒙特卡方法下，构建块粒子置信函数和相似性函数,并且利用尺度池方法以选择最佳尺度获得最佳响应位置和尺度。本发明使用局部化方法可以更全面和具体的描述被跟踪目标，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。其次通过尺度池方法更新目标尺度。最后利用响应图的峰值旁瓣比选择最佳目标，提高了模型的有效性。

Description

一种基于尺度自适应块粒子的运动目标跟踪方法

技术领域

本发明公开了一种基于尺度自适应块粒子的运动目标跟踪方法，属于计算机视觉领域。

背景技术

目标跟踪是计算机视觉领域的一个热点，被广泛应用于视频监控、机器人学习、工业智能化等方面。其本质是在一段连续视频序列图像中找到目标的位置和状态。虽然目前目标跟踪已经取得很大进展，但因受到遮挡、光照变化和尺度变化等众多因素影响，它仍然是一个具有挑战性的问题。

目前大多数目标跟踪方法通常使用边界框表示被跟踪目标的范围。但是大多数被跟踪目标都不是严格意义上的矩形形状，因此边界框表示跟踪目标时，通常都会把多余的背景信息加入到模型中，背景信息过多的情况下可能会降低跟踪器的整体性能。因此，矩形边界框不是表示非矩形形状目标的最佳方式。现在的跟踪技术为了更准确的进行跟踪目标的中的形状，已经探索出基于分割方法为无模型目标建立准确的方法。尽管视频分割技术已经在视频目标跟踪中有了很大的进展，但是基于分割的方法处理杂乱的背景和遮挡也很具有挑战性，这通常会导致不稳定的结果。

另一类对遮挡和变形比较稳健的跟踪方法是基于目标关键点的跟踪方法，它们通过一组显著点(如SIFT特征或SURF特征)表示目标对象。然而，基于关键点的跟踪方法很难仅通过使用局部点获取跟踪目标的全局信息，特别是对于跟踪目标和背景信息同质的情况下。

目前随着深度学习的兴起，一种结构推理网络的理论被应用于运动目标的跟踪，这种方法将物体检测问题形式化为图结构推理，采用细节特征、场景上下文、以及物体之间关系的图结构，采用循环单元的消息传递机制对目标进行联合推理，不过综合性能取决于数据模型的大小。

发明内容

本发明要解决的技术问题是提供一种基于尺度自适应的运动目标跟踪方法，用以解决现有描述目标时，无法全面的表达目标，在不同目标尺度和场景下跟踪性能差异较大的缺陷，容易将错误信息加到目标模型中而导致跟踪失败的问题。

本发明采用的技术方案是：一种基于尺度自适应块粒子的运动目标跟踪方法，初始化目标区域，针对目前运动目标方法在跟踪目标时候会考虑目标框中整体信息，但是被跟踪目标外形具有多变性，导致跟踪方法鲁棒性和精准度不高的问题。本发明利用被跟踪目标的局部结构，并将跟踪目标看成块粒子。在序列蒙特卡方法下，构建块粒子置信函数和相似性函数,并且利用尺度池方法以选择最佳尺度获得最佳响应位置和尺度。

所述方法的具体步骤如下：

Step1、初始化目标并选取目标区域；根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块X作为目标区域。

Step2、根据蒙特卡洛方法把目标区域即被跟踪目标表示为一组块粒子：vo_t为输入图像第t帧的跟踪目标，为vo_t的第i个块粒子的表示形式， 代表块粒子在一定时间内的轨迹，代表块粒子的标签，取1代表块粒子对跟踪起积极作用，取-1代表块粒子对跟踪目标起消极作用，代表的是被跟踪目标的最终位置。

Step3、基于KCF的跟踪方法提取块粒子的HOG特征；

Step4、在KCF中加入尺度自适应方法，得到步骤Step3中响应最大的HOG响应图的最佳尺度并更新，定义一个尺度模板类型为s_D＝(s_x,s_y)和一个尺度池S＝{s₁,s₂,L,s_m}，设原始的尺度大小为S_c，对于当前的样本，我们在尺度池中设置m个尺度以适应最佳尺度，因此最大响应为：

F^-1代表傅里叶的逆变换，代表的是对式(10)中f(z^c)的离散傅里叶变换，f(z^c)表示步骤Step3中所得到的结果，c∈S＝{s₁,s₂,L,s_m}；

对于尺度的更新，采用将新滤波器和旧的滤波器线性组合：

T＝θT_new+(1-θ)T

其中，T表示模板，T_new表示新的模板，θ表示学习速率。

Step5、计算有效跟踪块的可观测似然值即有效跟踪块的置信度：

p_t(z_t|x_t)＝s(X_t)^λ

p_t(z_t|x_t)表示第t帧图像z_t中块粒子x_t是否可靠，λ代表的是用于权衡可能性贡献系数，块跟踪置信度函数μ_Φ和σ_Φ分别表示旁瓣区域Φ的均值和标准差，以R(X)峰值为中心，以一定大小的边界框对R(X)划分区域，边界框以外的为旁瓣区域Φ，R(X)是图像块X的响应函数：

其中d表示模板T和图像块X之间的欧氏距离，f(x)表示图像特征提取函数。

Step6、计算有效跟踪块在被跟踪目标上的概率

其中u是平衡对象概率贡献的系数，l(X_t)代表的是t帧图像的l(x)范数，

每一个块的相对轨迹：

其中v_t是相对运动矢量，k为相对运动矢量的个数，将边界框上和边界框内的块粒子标记为正，而将外部的块粒子标记为负：其中y_t∈{+1,-1}代表的是图像块X_i的标签，Ω⁺代表的是积极块粒子的集合，Ω^-代表的是消极块粒子的集合，q代表的是Ω^-中的数，r代表的是Ω⁺的数，N⁺和N^-分别表示为正响应集和负响应集的大小。

Step7、基于投票更新被跟踪目标的最终位置，将块粒子的权重作为被跟踪目标块的置信度值，投票到被跟踪目标的最终位置：

Step8、更新被跟踪目标模型：

Step9、重复步骤2至8直到跟踪结束，算法运行至此，第二帧运行结束，目标位置、尺度以及所有模型都已经更新完成，下一帧重复运行步骤3至8直至视频结束。

本发明的有益效果是：

使用局部目标更新模型策略实现目标的跟踪

本发明以相关滤波器目标跟踪算法为基础，目前运动目标方法在跟踪目标时候会考虑目标框中整体信息，但是被跟踪目标外形具有多变性，导致跟踪方法鲁棒性和精准度不高的问题。为了提高跟踪性能，本发明把被跟踪目标表示为有效的块粒子，用以解决多样化的目标模型。

使用尺度自适应的运动目标跟踪方法

KCF是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。由于依赖循环矩阵，对于多尺度的目标跟踪效果并不理想，本发明使用尺度池的技术，使相关滤波器跟踪方法能够处理尺度变化。

总之，基于尺度自适应目标跟踪方法，综合了尺度池与目标局部化的方法，使用一系列的局部目标来表示整体目标，最后达到更新最终目标的方法。首先使用局部化方法可以更全面和具体的描述被跟踪目标，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。其次通过尺度池方法更新目标尺度。最后利用响应图的峰值旁瓣比选择最佳目标，提高了模型的有效性。

附图说明

图1为本发明方法的流程图；

图2为实施例中快速移动精度图；

图3为实施例中快速移动成功图；

图4为实施例中尺度变化精度图；

图5为实施例中尺度变化成功图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的说明。

实施例1：如图1所示，基于尺度自适应块粒子的运动目标跟踪方法，所述方法的具体步骤如下：

Step1、初始化目标并选取目标区域；根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块X作为目标区域。

Step2、根据蒙特卡洛方法把目标区域即被跟踪目标表示为一组块粒子：

Step2.1、从贝叶斯理论可知，假设已知t-1时刻的概率密度函数为:p(x_t-1|z_1:t-1)，那么在预测时，由上一时刻的概率密度p(x_t-1|z_1:t-1)就可以得到p(x_t|z_1:t-1)。因此我们可以把t时刻z_t中块粒子x_t是否可靠的概率密度函数表示为:

p(x_t|z_1:t-1)＝∫p(x_t|x_1:t-1)p(x_t-1|z_1:t-1) ⑴

其中p(x_t|z_1:t-1)为概率密度函数，

Step2.2、式(1)在进行更新时由p(x_t|z_1:t-1)得到后验概率p(x_t|z_1:t)。因此后验概率p(x_t|z_1:t)可以被表示为：

p(x_t|z_1:t)＝p(z_t|x_t)p(x_t|z_1:t-1)/p(z_t|z_1:t-1) ⑵

其中的p(z_t|x_t)为观测似然值，p(x_t|x_t-1)表示为过渡密度函数，是一个一阶马尔科夫模型，也就是说x_t的状态只与上一时刻的x_t-1有关。

Step2.3、我们选取G作为高斯分布，那么p(x_t|x_t-1)就可以被表示为:

p(x_t|x_t-1)＝G(x_t；x_t-1,H(x_t-1)) ⑶

其中H(x)＝[0,E]x是一个选择图像坐标的函数,E代表的是一个2×2的单位矩阵，那么可观测的似然值p(z_t|x_t)就可以被表示为：

p(z_t|x_t)＝p_t(z_t|x_t)p_o(z_t|x_t) ⑷

其中p_t(z_t|x_t)表示有效跟踪块的置信度，而p_o(z_t|x_t)表示块在被跟踪目标上的概率。

Step2.4、由于变量x数据太大而无法直接计算，我们采用粒子滤波器估计后验p(x_t|z_1:t-1)的值，那么第i块粒子权重就可以通过下式计算：

ω代表权重。

Step2.5、在本发明中被跟踪目标框表示为其中代表的是块粒子在一定时间内的轨迹，代表的是块粒子的标签，取1表示图像块对跟踪起积极作用，取-1代表对跟踪目标起消极作用。跟踪目标表示成块粒子的集合，那么跟踪目标可以表示为：

其中代表的是最终目标跟踪状态。

Step3、基于KCF的跟踪方法提取块粒子的HOG特征；

Step3.1、在KCF中，一维数据x＝[x₁,x₂,L,x_n]，那么x的循环移位Px＝[x_n,x₁,x₂,Lx_n-1]^T，{P^ux|u＝0,1,L,n-1}中u代表移位的个数，在这个式子中每乘一次P，则代表着x中的元素就循环偏移一位，并且把循环矩阵表示为：

其中F代表的是离散傅里叶变换(DFT),F^H是F的共轭转置矩阵，代表对x进行离散傅里叶变换，diag表示向量对角化。

Step3.2、在KCF中线性脊岭回归的目标函数可以被表示为：

λ是控制过度拟合的正则化参数，其中λ||ω||²为正则化项。y_i代表回归标签。

Step3.3、脊岭回归具有完全封闭的解，因此最终我们可以得到：

^代表对数据进行离散傅里叶变换，*代表对数据进行复共轭变换。

Step3.4、而在非线性回归的情况下，一种核技巧被应用于解决非线性问题：

其中α是系数矩阵，对于上式的核函数，使用KCF中循环矩阵技巧。因此式(10)中就可以用求解。K^XX＝κ(x,x)表示循环矩阵的第一行向量，通过上面的方法可以得到α，相当于线性回归方程中的ω。

Step4、在KCF中加入尺度自适应方法，得到步骤Step3中响应最大的HOG响应图的最佳尺度并更新

Step4.1、我们定义一个尺度模板类型为s_D＝(s_x,s_y)和一个尺度池S＝{s₁,s₂,L,s_m}，设原始的尺度大小为S_c，对于当前的样本，用式(11)计算最大响应位置：

F^-1则代表傅里叶的逆变换，代表的是对式(10)中f函数的离散傅里叶变换，其中d∈S＝{s₁,s₂,L,s_m}。

Step4.2、对于尺度的更新，我们采用和KCF算法一样的，采用将新滤波器和旧的滤波器线性组合：

T＝θT_new+(1-θ)T ⑿

其中，T表示模板，T_new表示新的模板，θ表示学习速率，本发明中θ＝0.01。

Step5、计算有效跟踪块的可观测似然值即有效跟踪块的置信度：

Step5.1、R(X)是图像块的响应函数，响应函数R(X)可以被表示成：

其中d表示模板T和图像块X之间的欧氏距离，f(x)表示图像特征提取函数。由于响应函数R(X)与模板T和采样图像块之间的距离成反比，所以块跟踪置信度函数s(X)值越大，样板T和图像块X之间的距离越近，反之亦然。

Step5.2、我们采用Peak-to-Sidelobe Ratio(PSR)作为置信度，作为块跟踪的置信度函数，判断块粒子是否对跟踪起积极的作用：

以R(X)峰值为中心，15×15像素为边界框对R(X)划分区域，边界框以外的为旁瓣区域Φ，μ_Φ和σ_Φ分别表示旁瓣区域Φ的均值和标准差，从式(14)可以看出，响应函数R(X)的峰值越大，s(X)就会越大，因此s(X)可以作为图像块的置信函数，用来衡量图像块是否对跟踪起积极作用。

Step5.3、因此可跟踪有效块的观测似然值就可以被表述为：

p_t(z_t|x_t)＝s(X_t)^λ ⒂

其中λ代表的是用于权衡可能性贡献系数，在本发明里我们设置λ＝2。

Step6、计算有效跟踪块在被跟踪目标上的概率

Step6.1、为计算有效跟踪块在被跟踪目标上的概率，我们需要跟踪前景和后景块粒子，并记录每一个块的相对轨迹：

其中的v_t＝ψ₂(x_t-x_t-1)是相对运动矢量。由于块粒子的位移可能对应于不同的物体，我们记录k个相对运动矢量以使轨迹信息更加稳定。

Step6.2、我们使用L2范数公式测量轨迹之间的距离，将边界框上和边界框内的块粒子标记为正，而将外部的块粒子标记为负：

其中y_t∈{+1,-1}代表的是图像块X_i的标签，Ω⁺代表的是积极块粒子的集合，Ω^-代表的是消极块粒子的集合，q代表的是Ω^-中的数，r代表的是Ω⁺的数。N⁺和N^-分别表示为正响应集和负响应集的大小。

Step6.3、计算有效跟踪块在被跟踪目标上的概率：

其中u是平衡对象概率贡献的系数，本发明里我们设置μ＝2。e代表指数函数。

Step7、基于投票更新被跟踪目标的最终位置，将块粒子的权重作为被跟踪目标块的置信度值，投票到被跟踪目标的最终位置：

Step8、更新被跟踪目标模型：

Step9、重复步骤2至8直到跟踪结束，算法运行至此，第二帧运行结束，目标位置、尺度以及所有模型都已经更新完成，下一帧重复运行步骤3至8直至视频结束。

本发明以有效块粒子和尺度自适应将这两种方法融合起来描述目标模型，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。同时根据每帧最终目标响应图的峰值旁瓣比，减小了遮挡对目标跟踪的影响，从而提高了算法的稳定性。

实施例2：本实施例中将本方法与其他方法进行对比，其结果如图2-4以及表1-2所示。图2和图3表示的是对于被跟踪目标快速移动的因素，在目标移动较快的时候，本算法比其他算法有更好的效果；图4和图5表示表示的是对于被跟踪目标尺度变化的因素，在目标由远及近或由近及远的时候，目标尺度会发生变化，本算法比其他算法有更好的效果。

本发明采用平均跟踪误差Center Location Error(CLE)和重叠率Pascal VOCOverlap Ratio(VOR)来评估本算法和其他比较算法。CLE是指目标框的中心与目标真实位置中心之间的偏差。中心误差越小，则算法性能越高，重叠率越大，则算法性能越高。具体见表1和表2：

表1平均跟踪误差(CLE)

表2重叠率(VOR)

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于尺度自适应块粒子目标跟踪方法，其特征在于：包括如下具体步骤：

Step1、初始化目标并选取目标区域；

Step2、根据蒙特卡洛方法把目标区域即被跟踪目标表示为一组块粒子；

Step3、基于KCF的跟踪方法提取块粒子的HOG特征；

Step4、在KCF中加入尺度自适应方法，得到步骤Step3中响应最大的HOG响应图的最佳尺度并更新；

Step5、计算有效跟踪块的可观测似然值；

Step6、计算有效跟踪块在被跟踪目标上的概率；

Step7、基于投票更新被跟踪目标的最终位置；

Step8、更新被跟踪目标模型；

Step9、重复步骤2至8直到跟踪结束。

2.根据权利要求1所述的基于尺度自适应块粒子的运动目标跟踪方法，所述步骤Step1的具体方法如下：根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块X作为目标区域。

3.根据权利要求1所述的基于尺度自适应块粒子运动目标跟踪方法，所述步骤Step2中跟踪目标表示为：vo_t为输入图像第t帧的跟踪目标，代表的是被跟踪目标的最终位置，为vo_t的第i个块粒子的表示形式， 代表块粒子在一定时间内的轨迹，代表块粒子的标签，取1代表块粒子对跟踪起积极作用，取-1代表块粒子对跟踪目标起消极作用。

4.根据权利要求1所述的基于尺度自适应块粒子运动目标跟踪方法，所述步骤Step4的具体过程为：

定义一个尺度模板类型为s_D＝(s_x,s_y)和一个尺度池S＝{s₁,s₂,L,s_m}，设原始的尺度大小为S_c，对于当前的样本，我们在尺度池中设置m个尺度以适应最佳尺度，因此最大响应为：

F^-1代表傅里叶的逆变换，代表的是对式(10)中f(z^c)的离散傅里叶变换，f(z^c)表示步骤Step3中所得到的结果，c∈S＝{s₁,s₂,L,s_m}；

对于尺度的更新，采用将新滤波器和旧的滤波器线性组合：

T＝θT_new+(1-θ)T

其中，T表示模板，T_new表示新的模板，θ表示学习速率。

5.根据权利要求1所述的基于尺度自适应块粒子运动目标跟踪方法，所述步骤Step5的具体过程为：计算有效跟踪块的可观测似然值即有效跟踪块的置信度：

p_t(z_t|x_t)＝s(X_t)^λ

p_t(z_t|x_t)表示第t帧图像z_t中块粒子x_t是否可靠，λ代表的是用于权衡可能性贡献系数，块跟踪置信度函数μ_Φ和σ_Φ分别表示旁瓣区域Φ的均值和标准差，以R(X)峰值为中心，以一定大小的边界框对R(X)划分区域，边界框以外的为旁瓣区域Φ，R(X)是图像块X的响应函数：

其中d表示模板T和图像块X之间的欧氏距离，f(x)表示图像特征提取函数。

6.根据权利要求1所述的基于尺度自适应块粒子运动目标跟踪方法，所述步骤Step6的具体过程为：计算有效跟踪块在被跟踪目标上的概率：

其中u是平衡对象概率贡献的系数，l(X_t)代表的是t帧图像的l(x)范数，

每一个块的相对轨迹：

其中v_t是相对运动矢量，k为相对运动矢量的个数，将边界框上和边界框内的块粒子标记为正，而将外部的块粒子标记为负：其中y_t∈{+1,-1}代表的是图像块X_i的标签，Ω⁺代表的是积极块粒子的集合，Ω^-代表的是消极块粒子的集合，q代表的是Ω^-中的数，r代表的是Ω⁺的数，N⁺和N^-分别表示为正响应集和负响应集的大小。

7.根据权利要求1所述的基于尺度自适应块粒子的运动目标跟踪方法，所述Step7的具体步骤为：

将块粒子的权重作为被跟踪目标块的置信度值，投票到被跟踪目标的最终位置

8.根据权利要求1所述的基于尺度自适应块粒子的运动目标跟踪方法，所述Step8中更新的被跟踪目标模型为：