CN107169994A - 基于多特征融合的相关滤波跟踪方法 - Google Patents

Abstract

本发明提供了一种基于多特征融合的相关滤波跟踪方法，包括以下步骤：读取t‑1时刻图像以目标块的目标位置及大小；在图像中，提取以目标位置为中心的目标区域，并计算目标区域的HOG特征，深度颜色特征及深度运动特征；根据HOG特征，深度颜色特征及深度运动特征构建滤波器；读取t时刻的图像的数据，并在该图像中以t‑1时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；在t时刻的图像中，以t时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；根据t时刻的HOG特征，深度颜色特征及深度运动特征更新滤波器。该方法是鲁棒的目标跟踪方法。

Description

基于多特征融合的相关滤波跟踪方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于多特征融合的相关滤波跟踪方法。

背景技术

目标跟踪是计算机视觉中的一个基础问题，跟踪的目的是用来确定我们感兴趣的目标在视频序列中位置，即获取运动目标的运动参数，如位置、速度、加速度以及运动轨迹等，从而进行进一步的处理和分析，实现对运动目标的行为分析与理解，以完成更高级的任务。其可广泛应用于自动监控、人机交互、军事侦察、交通监视等领域。近年来，经过各国学者的努力和研究的广泛开展，一些先进的思想、方法和技术相继被提出，但由于部分遮挡、变形、运动模糊、快速运动、光照变化、背景杂乱、尺度变化等原因使得其在实际应用中仍然面临许多挑战，因此仍然是计算机视觉中最活跃的研究领域之一。

近年来，基于相关滤波(Correlation Filter，CF)的跟踪方法由于其在跟踪性能和计算效率上的出色表现已经成为目标跟踪领域的研究热点。Bolme等提出了一种在灰度图像上学习一个最小输出平方误差和(MOSSE)相关滤波器的跟踪算法，通过离散傅里叶变换将目标与所有候选区域之间的相似度计算转换到频域，显著地提升了跟踪方法的运行速度。Henriques等提出了循环结构的检测跟踪(CSK)算法，该算法对训练本进行循环移位，可近似看成对目标的密集采样，从而得到大量训练样本的训练分类器。Henriques等在CSK的基础上提出核相关滤波器(KCF)跟踪算法，使用方向梯度直方图(HOG)特征代替原来的灰度值特征，将相关滤波器中的单通道扩展到多通道，提升了跟踪性能。最近从卷积神经网络中提取的深度颜色特征也已经成功应用于跟踪。

但是，上述方法只捕捉了目标的外观信息，对目标跟踪仍缺乏准确性及运动适应性。

发明内容

本发明的目的在于提供一种基于多特征融合的相关滤波跟踪方法，以解决现有的目标跟踪仍然停留在仅仅根据目标外观信息进行跟踪，而缺乏准确性及运动适应性的问题。

为实现上述目的，本发明提供了一种基于多特征融合的相关滤波跟踪方法，包括以下步骤：

S1：读取t-1时刻图像的数据以及目标块在所述图像中目标位置及大小；

S2：在t-1时刻图像的数据中，提取以所述目标位置为中心的目标区域，并计算该目标区域的HOG特征，深度颜色特征及深度运动特征；

S3：根据所述HOG特征，深度颜色特征及深度运动特征构建滤波器；

S4：读取t时刻的图像的数据，并在该图像中以t-1时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征，；

S5：在t时刻的图像中，以t时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；

S6：根据t时刻的HOG特征，深度颜色特征及深度运动特征更新滤波器；

S7：重复步骤S4～S7至全部时刻的图像数据处理完成；

其中，所述候选区域与目标区域的大小相同。

较佳地，步骤S4后还包括：

首先，根据步骤S4得到的候选区域的HOG特征z_1,t，深度颜色特征z_2,t及深度运动特征z_3,t计算置信图s_j,t：

其中，F^-1表示傅立叶逆变换，j∈{1,2,3}，候选区域的宽度为w*(1+padding)，候选区域的高度为h*(1+padding)，其中，w为目标宽度，h为目标高度，padding为用户预先设置的参数，一般情况下可以设置为1；

然后，在置信图s_j,t上进行分别采样，得到sn_j,t，采样后的矩阵宽度为w*(1+padding)，高度为h*(1+padding)；

再计算特征融合后置信图ssum_t，

最后，利用所述特征融合后置信图ssum_t,根据下述式子，得到t时刻目标位置(cm_t,cn_t)：

cm_t＝cm_t-1+dm-0.5*w*(1+padding)，

cn_t＝cn_t-1+dn-0.5*h*(1+padding)。

较佳地，所述步骤S3中构建的滤波器为：

其中，λ为调整参数，y_j是由高斯函数采样得到的二维矩阵，x_j,t-1的大小为w_j×h_j×d_j，d_j为通道数，w_j×h_j为空间分辨率，其中，x_1,t-1表示t-1时刻图像的HOG特征，x_2,t-1表示t-1时刻图像的深度颜色特征，x_3,t-1表示t-1时刻图像的深度运动特征；

则步骤S6中更新的滤波器为：

其中，

较佳地，所述HOG特征的计算方法包括如下步骤：

A)对图像进行灰度化处理得到灰度图像；

B)对灰度图像进行颜色空间标准化处理；

C)计算图像中每个像素的梯度；

D)将图像划分为S*S的小区，其中，S为像素数；

E)统计每个小区中的梯度直方图，形成每个小区的描述符；

F)将每s*s个小区组成一个块，将该图像中属于一个块内的全部描述符串联起来得到该块的HOG特征描述符，其中，s为正整数且S为s的整数倍；

G)将图像中全部的块的HOG特征描述符串联，得到该图像的HOG特征。

较佳地，所述深度颜色特征按下述步骤计算得到：

首先，将当前时刻的图像的整幅图像的数据输入到CNN M 2048网络；

然后，提取网络中第一个卷积层的输出作为整幅图像的深度颜色信息；

最后，从所述深度颜色信息中提取与所述目标区域或候选区域对应的数据得到深度颜色特征。

较佳地，所述深度运动特征按下述步骤计算得到：

首先，计算图像区域的光流信号；

其次，将所述光流信号输入运动卷积网络；

最后，使用所述运动卷积网络的第7个全连接层的输入作为所述深度运动特征。

本发明具有以下有益效果：

相关滤波器有着诸如移不变性、噪声鲁棒性、良好退化性等特点，在模式识别领域有着许多成功应用。相关滤波器最大的特点是可以利用快速傅里叶变换使得计算速度加快，使用跟踪的速度可以达到实时跟踪的要求。鉴于HOG特征和颜色特征在检测等方面有着成功应用，本发明中将上述特征应用于目标跟踪，以提高跟踪性能。此外，本发明充分利用了运动相关信息，因为运行线索可以提供与外观信息互补的辨别性信息。本发明将相关滤波器中最初的像素值特征扩展到多通道非线性特征空间，利用HOG特征、深度颜色和深度运动特征等性能优良的特征，在保持计算速度较快的前提下，提高了跟踪精度。有效避免了传统方法仅根据目标外观信息进行跟踪，而缺乏准确性及运动适应性的问题。

附图说明

图1为本发明方法整体流程图；

图2为本发明优选实施例的HOG特征的计算流程图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。

如图1所示，本实施例提供的基于多特征融合的相关滤波跟踪方法，包括以下步骤：

S1：读取t-1时刻图像的数据以及目标块在所述图像中目标位置及大小；

S2：在t-1时刻图像的数据中，提取以所述目标位置为中心的目标区域，并计算该目标区域的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，深度颜色特征及深度运动特征；

S3：根据所述HOG特征，深度颜色特征及深度运动特征构建滤波器；

S4：读取t时刻的图像的数据，并在该图像中以t-1时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；

S5：在t时刻的图像中，以t时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；

S6：根据t时刻的HOG特征，深度颜色特征及深度运动特征更新滤波器；

S7：重复步骤S4～S7至全部时刻的图像数据处理完成；

其中，所述候选区域与目标区域的大小相同。

进一步的，上述的步骤S4后还包括：

首先，根据步骤S4得到的候选区域的HOG特征z_1,t，深度颜色特征z_2,t及深度运动特征z_3,t计算置信图s_j,t：

其中，F^-1表示傅立叶逆变换，j∈{1,2,3}，候选区域的宽度为w*(1+padding)，候选区域的高度为h*(1+padding)，其中，w为目标的宽度，h为目标的高度，padding为用户根据需要预先设置的参数，一般情况下可以设置为1；

然后，在置信图s_j,t上进行分别采样，得到sn_j,t，采样后的矩阵宽度为w*(1+padding)，高度为h*(1+padding)；

再计算特征融合后置信图ssum_t，

最后，利用所述特征融合后置信图ssum_t,根据下述式子，得到t时刻目标位置(cm_t,cn_t)：

cm_t＝cm_t-1+dm-0.5*w*(1+padding)，

cn_t＝cn_t-1+dn-0.5*h*(1+padding)。

本实施例中步骤S3中构建的滤波器为：

其中，λ为调整参数，y_j是由高斯函数采样得到的二维矩阵，x_j,t-1的大小为w_j×h_j×d_j，d_j为通道数，w_j×h_j为空间分辨率，其中，x_1,t-1表示t-1时刻图像的HOG特征，x_2,t-1表示t-1时刻图像的深度颜色特征，x_3,t-1表示t-1时刻图像的深度运动特征；

则步骤S6中更新的滤波器为：

其中，

在一优选实施例中，上述的HOG特征的计算方法参考图2，具体包括如下步骤：

A)对图像进行灰度化处理得到灰度图像；

B)对灰度图像进行颜色空间标准化处理，这里采用Gamma校正法进行标准化(归一化)处理，目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

C)计算图像中每个像素的梯度(包括大小和方向)，主要是为了捕获轮廓信息，同时进一步弱化光照的干扰；

D)将图像划分为S*S的小区(cells)，其中，S为像素数；

E)统计每个小区中的梯度直方图(不同梯度的个数)，形成每个小区的描述符(descriptor)；

F)将每s*s个小区组成一个块(block)，将该图像中属于一个块内的全部描述符串联起来得到该块的HOG特征描述符，其中，s为正整数且S为s的整数倍；本实施例中，S值为6，则上述小区为6*6像素/cell，s值为3，则为3*3个cell/block，则共有(6/3)*(6/3)＝4个块。

G)将图像中全部的块的HOG特征描述符串联，得到该图像的HOG特征。

在另一优选实施例中，深度颜色特征按下述步骤计算得到：

首先，将当前时刻的图像的整幅图像的数据输入到一卷积网络：CNN M2048网络；

然后，提取网络中第一个卷积层的输出作为整幅图像的深度颜色信息；

最后，从所述深度颜色信息中提取与所述目标区域或候选区域对应的数据得到深度颜色特征。

在另一优选实施例中，深度运动特征按下述步骤计算得到：

首先，计算图像区域的光流信号(optical flow signal)；

其次，将所述光流信号输入运动卷积网络(motion-CNN)；

最后，使用所述运动卷积网络的第7个全连接层的输入作为所述深度运动特征。

以下结合一具体实例说明上述的基于多特征融合的相关滤波跟踪方法方法的执行过程，具体如下：

步骤1，读取第一帧图像数据以及目标块在第一帧图像中的位置(cm₀,cn₀)和大小(w,h)。其中，cm₀，cn₀分别表示目标中心的横坐标和纵坐标；w，h分别表示目标块的宽和高。

步骤2，在第一帧图像数据中，以位置(cm₀,cn₀)为中心，提取宽度为w*(1+padding)、高度为h*(1+padding)的目标区域。计算该目标区域的HOG特征x_1,0、深度颜色特征x_2,0和深度运动特征x_3,0。其中，x_j,0的大小为w_j×h_j×d_j，d_j为通道数，w_j×h_j为空间分辨率，j∈{1,2,3}。

步骤3，采用上述几种特征x_j,0，j∈{1,2,3}，按照下列式子，构建滤波器j∈{1,2,3}，l∈{1,...,d_j}。

其中，变量上的尖头帽代表求2维DFT变化，变量上一横代表复数的共轭，两个变量之间的点表示点乘，λ为调整参数，y_j是二维矩阵，由高斯函数采样得到。

步骤4，在下一帧t时刻的图像中，以前一帧中t-1时刻目标的位置(cm_t-1,cn_t-1)为中心，提取宽度为w*(1+padding)、高度为h*(1+padding)的候选区域。计算该候选区域的HOG特征z_1,t、深度颜色特征z_2,t和深度运动特征z_3,t。

步骤5，采用上述几种特征z_j,t，按照下列式子，计算置信图s_j,t。

其中，F^-1表示傅立叶逆变换，j∈{1,2,3}。

步骤6，将上述几种置信图s_j,t上采样得到sn_j,t，使得上采样之后的矩阵宽度为w*(1+padding)，高度为h*(1+padding)。按照下式，计算特征融合之后的置信图ssum_t,

步骤7，利用置信图ssum_t,根据下列式子，定位t时刻的目标位置(cm_t,cn_t)：

cm_t＝cm_t-1+dm-0.5*w*(1+padding)，

cn_t＝cn_t-1+dn-0.5*h*(1+padding)，

步骤8，在t时刻的图像中，以t时刻目标的位置(cm_t,cn_t)为中心，提取宽度为w*(1+padding)、高度为h*(1+padding)的候选区域。计算该候选区域的HOG特征x_1,t、深度颜色特征x_2,t和深度运动特征x_3,t。

步骤9，采用上述几种特征x_j,t，j∈{1,2,3}，按照下列式子，更新滤波器j∈{1,2,3}，l∈{1,...,d_j}。

其中，变量上的尖头帽代表求2维DFT变化，变量上一横代表复数的共轭，两个变量之间的点表示点乘，λ为调整参数，y_j是二维矩阵，由高斯函数采样得到，γ为学习速率。

步骤10，判断是否处理完所有图像，若没有，则转到步骤4继续；若处理完，则结束。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何本领域的技术人员在本发明揭露的技术范围内，对本发明所做的变形或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述的权利要求的保护范围为准。

Claims (6)

1.一种基于多特征融合的相关滤波跟踪方法，其特征在于，包括以下步骤：

S1：读取t-1时刻图像的数据以及目标块在所述图像中目标位置及大小；

S2：在t-1时刻图像的数据中，提取以所述目标位置为中心的目标区域，并计算该目标区域的HOG特征，深度颜色特征及深度运动特征；

S3：根据所述HOG特征，深度颜色特征及深度运动特征构建滤波器；

S4：读取t时刻的图像的数据，并在该图像中以t-1时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征，；

S5：在t时刻的图像中，以t时刻的目标位置为中心提取候选区域，并计算该候选区域的HOG特征，深度颜色特征及深度运动特征；

S6：根据t时刻的HOG特征，深度颜色特征及深度运动特征更新滤波器；

S7：重复步骤S4～S7至全部时刻的图像数据处理完成；

其中，所述候选区域与目标区域的大小相同。

2.根据权利要求1所述的基于多特征融合的相关滤波跟踪方法，其特征在于，所述步骤S4后还包括：

首先，根据步骤S4得到的候选区域的HOG特征z_1,t，深度颜色特征z_2,t及深度运动特征z_3,t计算置信图s_j,t：

<mrow> <msub> <mi>s</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>=</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>{</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>d</mi> <mi>j</mi> </msub> </munderover> <msubsup> <mover> <mover> <mi>f</mi> <mo>^</mo> </mover> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mover> <mi>z</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> <mi>l</mi> </msubsup> <mo>}</mo> <mo>,</mo> </mrow>

其中，F^-1表示傅立叶逆变换，j∈{1,2,3}，候选区域的宽度为w*(1+padding)，候选区域的高度为h*(1+padding)，其中，w为目标宽度，h为目标高度，padding为预先设置的参数；

然后，在置信图s_j,t上进行分别采样，得到sn_j,t，采样后的矩阵宽度为w*(1+padding)，高度为h*(1+padding)；

再计算特征融合后置信图ssum_t，

<mrow> <msub> <mi>ssum</mi> <mi>t</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>sn</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>;</mo> </mrow>

最后，利用所述特征融合后置信图ssum_t,根据下述式子，得到t时刻目标位置(cm_t,cn_t)：

<mrow> <mo>(</mo> <mi>d</mi> <mi>m</mi> <mo>,</mo> <mi>d</mi> <mi>n</mi> <mo>)</mo> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>d</mi> <mi>m</mi> <mo>,</mo> <mi>d</mi> <mi>n</mi> </mrow> </munder> <mo>{</mo> <msub> <mi>ssum</mi> <mi>t</mi> </msub> <mo>(</mo> <mi>d</mi> <mi>m</mi> <mo>,</mo> <mi>d</mi> <mi>n</mi> <mo>)</mo> <mo>}</mo> <mo>,</mo> </mrow>

cm_t＝cm_t-1+dm-0.5*w*(1+padding)，

cn_t＝cn_t-1+dn-0.5*h*(1+padding)。

3.根据权利要求1或2所述的基于多特征融合的相关滤波跟踪方法，其特征在于，

所述步骤S3中构建的滤波器为：

<mrow> <msubsup> <mover> <mi>f</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>=</mo> <msubsup> <mover> <mi>g</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>/</mo> <msub> <mover> <mi>h</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> </mrow>

其中，j∈{1,2,3}，l∈{1,...,d_j}，λ为调整参数，y_j是由高斯函数采样得到的二维矩阵，x_j,t-1的大小为w_j×h_j×d_j，d_j为通道数，w_j×h_j为空间分辨率，其中，x_1,t-1表示t-1时刻图像的HOG特征，x_2,t-1表示t-1时刻图像的深度颜色特征，x_3,t-1表示t-1时刻图像的深度运动特征；

则步骤S6中更新的滤波器为：

<mrow> <msubsup> <mover> <mi>f</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> <mi>l</mi> </msubsup> <mo>=</mo> <msubsup> <mover> <mi>g</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> <mi>l</mi> </msubsup> <mo>/</mo> <msub> <mover> <mi>h</mi> <mo>^</mo> </mover> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>,</mo> </mrow>

其中，

4.根据权利要求1所述的基于多特征融合的相关滤波跟踪方法，其特征在于，所述HOG特征的计算方法包括如下步骤：

A)对图像进行灰度化处理得到灰度图像；

B)对灰度图像进行颜色空间标准化处理；

C)计算图像中每个像素的梯度；

D)将图像划分为S*S的小区，其中，S为像素数；

E)统计每个小区中的梯度直方图，形成每个小区的描述符；

F)将每s*s个小区组成一个块，将该图像中属于一个块内的全部描述符串联起来得到该块的HOG特征描述符，其中，s为正整数且S为s的整数倍；

G)将图像中全部的块的HOG特征描述符串联，得到该图像的HOG特征。

5.根据权利要求1所述的基于多特征融合的相关滤波跟踪方法，其特征在于，所述深度颜色特征按下述步骤计算得到：

首先，将当前时刻的图像的整幅图像的数据输入到CNN M 2048网络；

然后，提取网络中第一个卷积层的输出作为整幅图像的深度颜色信息；

最后，从所述深度颜色信息中提取与所述目标区域或候选区域对应的数据得到深度颜色特征。

6.根据权利要求1所述的基于多特征融合的相关滤波跟踪方法，其特征在于，所述深度运动特征按下述步骤计算得到：

首先，计算图像区域的光流信号；

其次，将所述光流信号输入运动卷积网络；

最后，使用所述运动卷积网络的第7个全连接层的输入作为所述深度运动特征。