CN107452022A - 一种视频目标跟踪方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种视频目标跟踪方法。发明采用融合的HOG、LBP特征作为相关滤波跟踪的输入，相比传统的单纯以灰度值、HOG为特征，融合的特征能更好的描述目标。使用HOG特征能更好的描述图像的边缘等特征，使用LBP特征能更好的描述图像的纹理特征，克服噪声影响。二者的结合能使跟踪更稳定。

Description

一种视频目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种视频目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究领域，它涉及了模式识别、图像处理、人工智能等多方面的知识。其在智能监控、视频编码、交通控制和军事目标制导等许多领域都有着广泛应用。近些年来，目标跟踪技术一直是人们研究的热点问题，一些新方法、新理论也在不断涌现。尽管如此，视觉目标跟踪依然面临着一些固有问题，例如光照变化、目标尺度变化、噪声干扰以及跟踪的实时性与精度等。

各国的研究者都在从不同角度对视觉跟踪进行研究和改进，目标跟踪的方法也在不断地改变。总的来说，主要从目标的特征表示、搜索机制、评估机制、模型更新等方面下手进行改进。目标跟踪最初采用模板匹配，其缺点是计算量大、对尺度形变敏感等。

近些年来，目标跟踪算法一直在不断发展，粒子滤波(PF)跟踪被广泛研究，相关滤波(CF)跟踪也凭借速度快的特点成为研究热点。TLD跟踪算法的提出突破了传统的跟踪模式，将跟踪与检测结合起来，取得了很好的效果，受到了广泛关注。

相关滤波跟踪是近年来被广泛关注和研究的算法，其特点是跟踪速度快。但是在跟踪精度和尺度变化等方面有一定缺点。

发明内容

针对上述现有技术的缺点，本发明的目的在于提供一种视频目标跟踪方法，采用目标的融合的HOG、LBP特征对目标特征进行描述，实现快速、鲁棒的跟踪效果。

为达到上述目的，本发明采用如下技术方案予以实现。

一种视频目标跟踪方法，所述方法包括如下步骤：

步骤1，获取视频图像中的当前帧图像，在所述当前帧图像中人为确定要跟踪的目标区域图像；

步骤2，提取所述目标区域图像的HOG特征和所述目标区域图像的LBP特征；并将所述目标区域图像的HOG特征和LBP特征组成为目标区域图像的d维特征；

步骤3，确定位置相关滤波器的期望输出，根据所述位置相关滤波器的期望输出以及目标区域图像的d维特征，得到位置相关滤波器；

步骤4，对所述目标区域图像进行多尺度采样，得到N个具有不同尺度的样本图像；

步骤5，分别提取所述N个具有不同尺度的样本图像的HOG特征和LBP特征，分别得到N个具有不同尺度的样本图像的d维特征；

步骤6，确定多尺度滤波器的期望输出，根据所述多尺度滤波器的期望输出以及N个具有不同尺度的样本图像的d维特征，得到多尺度滤波器；

步骤7，获取视频图像的下一帧图像，以所述当前帧图像的目标区域图像为中心，在所述视频图像的下一帧图像中获取所述目标区域图像2倍大小的待跟踪样本图像；

步骤8，提取所述待跟踪样本图像的HOG特征和LBP特征，得到所述待跟踪样本图像的d维特征；将所述待跟踪样本图像的d维特征与所述位置相关滤波器依次进行频域相乘以及逆傅里叶变换，得到逆傅里叶变换后的响应图；确定所述逆傅里叶变换后的响应图中最大值的位置，并将所述最大值的位置作为待跟踪样本图像中目标的中心位置；

步骤9，对所述待跟踪样本图像进行多尺度采样，得到N个具有不同尺度的待跟踪样本图像；分别提取所述N个具有不同尺度的待跟踪样本图像的HOG特征和LBP特征，分别得到N个具有不同尺度的待跟踪样本图像的d维特征；将所述N个具有不同尺度的待跟踪样本图像的d维特征与所述多尺度相关滤波器依次进行频域相乘以及逆傅里叶变换，得到逆傅里叶变换后的响应图；确定所述逆傅里叶变换后的响应图中最大值对应的目标尺度，并将最大值对应的目标尺度作为待跟踪样本图像的最佳采样尺度；

步骤10，在所述待跟踪样本图像中，以步骤8中求得的待跟踪样本图像中目标的中心位置为中心，以步骤9中求得的待跟踪样本图像的最佳采样尺度进行采样，得到下一帧图像中要跟踪的目标区域图像，并将所述下一帧图像中要跟踪的目标区域图像作为新的当前帧图像中要跟踪的目标区域图像；

步骤11，对所述位置相关滤波器进行更新；

步骤12，对所述多尺度相关滤波器进行更新；

步骤13，重复执行步骤7至步骤12，直到获取视频图像中每一帧图像的目标区域图像。

本发明技术方案的特点和进一步的改进为：

(1)步骤3具体包括如下子步骤：

(3a)确定位置相关滤波器的期望输出为二维高斯核函数g；

(3b)根据所述位置相关滤波器的期望输出g以及目标区域图像的d维特征f＝[f¹，…，f^l，…，f^d]，其中，f^l表示目标区域图像的d维特征中的第l维特征；l＝1，...，d；

(3c)采用代价函数求解位置相关滤波器h的第l维滤波器h^l；其中，h^l表示位置相关滤波器的第l维滤波器，λ表示正则项系数，||·||²表示求模值平方，表示卷积操作，表示求使得最小时的h^l的值；

(3d)在频域求解所述代价函数，得到位置相关滤波器h的第l维滤波器h^l的频域表达式：其中，表示二维高斯核函数g转换到频域并取共轭后的值，F₁ ^l表示目标区域图像的d维特征中的第l维特征f^l转换到频域后的值，表示目标区域图像的d维特征中的第k维特征f^k转换到频域后的值，表示F^k ₁的共轭，⊙表示点乘操作；

(3e)令l分别取1，...，d，重复执行子步骤(3c)和(3d)分别得到位置相关滤波器h的每一维滤波器的频域表达式。

(2)步骤4具体包括如下子步骤：

记所述目标区域图像的宽为W，所述目标区域图像的高为Y，则得到的具有不同尺度的样本图像的大小为a^mW×a^mY，其中，a为尺度因子，m为尺度指数，且m分别取从而得到N个具有不同尺度的样本图像。

(3)步骤6具体包括如下子步骤：

(6a)确定多尺度相关滤波器的期望输出为一维高斯核函数；

(6b)根据所述多尺度滤波器的期望输出的频域表示G₂以及N个具有不同尺度的样本图像的d维特征，得到多尺度滤波器的频域表示其中，为所述多尺度滤波器的期望输出的频域表示G₂的共轭，F₂表示N个具有不同尺度的样本图像的d维特征组成的目标区域的一维尺度特征，且每个d维特征记为一层特征，F₂中共包含N层特征，Fⁱ ₂表示F₂中的第i层特征，表示Fⁱ ₂的共轭。

(4)步骤11具体为：

(11a)位置相关滤波器h的第l维滤波器h^l的频域表达式：记

(11b)按照下式对位置相关滤波器进行更新：

其中，α表示学习速率；表示二维高斯核函数g转换到频域并取共轭后的值，F₁ ^l表示目标区域图像的d维特征中的第l维特征f^l转换到频域后的值，F^k ₁表示目标区域图像的d维特征中的第k维特征f^k转换到频域后的值，表示F^k ₁的共轭，A^l(t)表示当前帧图像所采用的位置相关滤波器的分子，A^l(t+1)表示下一帧图像所采用的位置相关滤波器的分子，B(t)表示当前帧图像所采用的位置相关滤波器的部分分母，B(t+1)表示下一帧图像所采用的位置相关滤波器的部分分母，t表示处理当前帧图像的时刻，t+1表示处理下一帧图像的时刻。

(5)步骤12具体为：

(12a)多尺度滤波器的频域表示记

(12b)按照下式对多尺度相关滤波器进行更新：

其中，α表示学习速率；为所述多尺度滤波器的期望输出的频域表示G₂的共轭，F₂表示N个具有不同尺度的样本图像的d维特征组成的目标区域的一维尺度特征，且每个d维特征记为一层特征，F₂中共包含N层特征，Fⁱ ₂表示F₂中的第i层特征，表示Fⁱ ₂的共轭，A_s(t)表示当前帧图像所采用的多尺度相关滤波器的分子，A_s(t+1)表示下一帧图像所采用的多尺度相关滤波器的分子，B_s(t)表示当前帧图像所采用的多尺度相关滤波器的部分分母，B_s(t+1)表示下一帧图像所采用的多尺度相关滤波器的部分分母，t表示处理当前帧图像的时刻，t+1表示处理下一帧图像的时刻。

在视频目标跟踪中，目标的特征表示是决定跟踪效果的至关重要的因素。本发明使用目标的融合的HOG、LBP特征，利用相关滤波跟踪技术，实现快速、鲁棒的跟踪效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的提取图像的HOG特征的流程示意图；

图2为本发明实施例提供的提取图像的LBP特征的示意图；

图3为本发明实施例提供的一种目标跟踪方法的流程示意图；

图4为本发明实施例的仿真结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先介绍与本发明有关的几个技术：

相关滤波跟踪：相关滤波应用在跟踪方面的思想：两个信号越相似，那么其相关值就越高。相关滤波应用于跟踪中，就是指需要求出一个滤波模板，当它作用于跟踪目标时，得到的响应最大。

HOG特征：HOG(Histogram of Oriented Gradient)特征是一种利用梯度信息来描述目标的特征描述子。具体实现方法是首先把待检测图像分割成小块，然后采集每个块内各像素点的梯度信息并进行梯度方向的加权统计，组成方向直方图。最后把所有块的直方图连接起来就形成了整个图像的HOG特征，其实现流程图见图1。本发明使用的是经过改造的HOG特征，具体方法可参见：Pedro F.Felzenszwalb，Ross B.Girshick，DavidMcAllester，Deva Ramanan.Object Detection with Discriminatively Trained Part-Based Models//IEEE Transactionson Pattern Analysis andMachineIntelligence.IEEE，2009，9：1627-1645。

LBP特征：LBP(Local Binary Pattern)特征是一种描述图像局部纹理特征的算子，改进的LBP特征具有旋转不变性和灰度不变性等优点。原始的LBP特征提取原理如图2所示。图中左侧为一3*3的图像灰度值，以中心点像素为阈值，将周围的8个像素的灰度值与其进行比较，若其灰度值大于中心的灰度值，则该像素点位置被标记为1，否则则标记为0，然后将生成的各点的值组合成一个8位2进制数，可换算成10进制，即可得到此中心点的LBP值。最后处理整幅图像即可得到图像的LBP特征。对于边缘的像素，可对图像进行适当拓展，拓展的区域像素值取零。

参照图3，以下是本发明涉及的具体实施步骤：

第一步：提取目标区域的特征。

在视频的当前帧中选取要跟踪的目标，并适当拓展目标区域，接下来对选取的目标区域进行特征的提取，具体包括HOG特征和LBP特征的提取和融合。本发明使用经过改造的HOG特征和LBP特征进行融合，组成目标区域的特征描述。融合是指将多维的HOG特征与LBP特征进行连接，组成一个总维度为d的特征，得到的特征f＝[f¹，f²，…，f^d]。

第二步：获取位置相关滤波器。

将上述融合后的特征作为输入，采用下面的代价函数：

其中l为特征的某一维度，λ为正则项系数。

h^l为要求的h的某一维度滤波器，f^l是输入f的某一维特征，g是目标输出，本发明实施例采用二维的高斯核函数。

通过最小化ε来求得h。为使上式最小化，可在频域进行求解，得到下面的频率域相关滤波器：其中F^l为输入的频域转换，为高斯核函数的频域转换的共轭。

由此即求出了频域要求的滤波器H的每一维。

第三步：获取多尺度相关滤波器。

对目标区域进行多尺度采样，尺度采样的原则按如下公式进行：

W、Y分别是目标在上一帧的宽与高。a为尺度因子，N为多尺度采样的总个数。

通过取不同m即可获得不同尺度的图像。

利用采样得到的不同尺度的样本训练出多尺度相关滤波器。具体是：提取每个尺度样本的d维特征，连接此d维特征向量作为此尺度样本的一维特征f。利用N个不同尺度的特征样本作为输入构建一维尺度滤波器：

其中为一维高斯函数的频域表示的共轭。接下来，就可以进行目标的跟踪。

第四步：目标的跟踪阶段。

新的一帧到来时，以上一帧目标位置为中心，采集一个目标区域2倍大小的样本，提取特征并进行融合得到输入f，将其与位置相关滤波器进行频率域的相乘，并进行逆傅里叶变换，得到响应最大值在响应图中位置，作为新的目标位置。即：

其中A、B分别为位置相关滤波器的分子与分母， 即求得max(y)对应的位置。

由上确定目标的中心位置后，对目标区域进行多尺度采样，提取特征作为输入，将其与第三步得到的多尺度滤波器进行频域相乘，并进行逆傅里叶变换，得到响应最大处对应的目标尺度，以此尺度作为跟踪目标的最佳尺度。

即：

其中A_s、B_s分别为多尺度相关滤波器的分子与分母，

至此，针对新一帧的跟踪完成。

第五步：模型参数的更新。

为了适应目标外观的变化，获得更加鲁棒的效果，对滤波模型进行更新。采取对滤波器分子、分母分别进行更新：

对位置相关滤波器进行更新：

对多尺度相关滤波器进行更新：

其中α为学习速率。

本发明采用融合的HOG、LBP特征作为相关滤波跟踪的输入，相比传统的单纯以灰度值、HOG为特征，融合的特征能更好的描述目标。使用HOG特征能更好的描述图像的边缘等特征，使用LBP特征能更好的描述图像的纹理特征，克服噪声影响。二者的结合能使跟踪更稳定。

由效果图4可以看出当目标发生形变、尺度变化时，跟踪框能很好地跟踪目标，由于尺度滤波器的作用，目标框也能适应目标的尺度变化。以上效果图4是以Matlab R2012a为平台，运行环境为Intel Core i5-3210CPU，主频2.5GHz，4G内存，且实验中参数设置为：a取1.03，N取33，α取0.02。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种视频目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤1，获取视频图像中的当前帧图像，在所述当前帧图像中人为确定要跟踪的目标区域图像；

步骤2，提取所述目标区域图像的HOG特征和所述目标区域图像的LBP特征；并将所述目标区域图像的HOG特征和LBP特征组成为目标区域图像的d维特征；

步骤3，确定位置相关滤波器的期望输出，根据所述位置相关滤波器的期望输出以及目标区域图像的d维特征，得到位置相关滤波器；

步骤4，对所述目标区域图像进行多尺度采样，得到N个具有不同尺度的样本图像；

步骤5，分别提取所述N个具有不同尺度的样本图像的HOG特征和LBP特征，分别得到N个具有不同尺度的样本图像的d维特征；

步骤6，确定多尺度滤波器的期望输出，根据所述多尺度滤波器的期望输出以及N个具有不同尺度的样本图像的d维特征，得到多尺度滤波器；

步骤7，获取视频图像的下一帧图像，以所述当前帧图像的目标区域图像为中心，在所述视频图像的下一帧图像中获取所述目标区域图像2倍大小的待跟踪样本图像；

步骤8，提取所述待跟踪样本图像的HOG特征和LBP特征，得到所述待跟踪样本图像的d维特征；将所述待跟踪样本图像的d维特征与所述位置相关滤波器依次进行频域相乘以及逆傅里叶变换，得到逆傅里叶变换后的响应图；确定所述逆傅里叶变换后的响应图中最大值的位置，并将所述最大值的位置作为待跟踪样本图像中目标的中心位置；

步骤9，对所述待跟踪样本图像进行多尺度采样，得到N个具有不同尺度的待跟踪样本图像；分别提取所述N个具有不同尺度的待跟踪样本图像的HOG特征和LBP特征，分别得到N个具有不同尺度的待跟踪样本图像的d维特征；将所述N个具有不同尺度的待跟踪样本图像的d维特征与所述多尺度相关滤波器依次进行频域相乘以及逆傅里叶变换，得到逆傅里叶变换后的响应图；确定所述逆傅里叶变换后的响应图中最大值对应的目标尺度，并将最大值对应的目标尺度作为待跟踪样本图像的最佳采样尺度；

步骤10，在所述待跟踪样本图像中，以步骤8中求得的待跟踪样本图像中目标的中心位置为中心，以步骤9中求得的待跟踪样本图像的最佳采样尺度进行采样，得到下一帧图像中要跟踪的目标区域图像，并将所述下一帧图像中要跟踪的目标区域图像作为新的当前帧图像中要跟踪的目标区域图像；

步骤11，对所述位置相关滤波器进行更新；

步骤12，对所述多尺度相关滤波器进行更新；

步骤13，重复执行步骤7至步骤12，直到获取视频图像中每一帧图像的目标区域图像。

2.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，步骤3具体包括如下子步骤：

(3a)确定位置相关滤波器的期望输出为二维高斯核函数g；

(3b)根据所述位置相关滤波器的期望输出g以及目标区域图像的d维特征f＝[f¹,…,f^l,…,f^d]，其中，f^l表示目标区域图像的d维特征中的第l维特征；l＝1,...,d；

(3c)采用代价函数求解位置相关滤波器h的第l维滤波器h^l；其中，h^l表示位置相关滤波器的第l维滤波器，λ表示正则项系数，||·||²表示求模值平方，表示卷积操作，表示求使得最小时的h^l的值；

(3d)在频域求解所述代价函数，得到位置相关滤波器h的第l维滤波器h^l的频域表达式：其中，表示二维高斯核函数g转换到频域并取共轭后的值，F₁ ^l表示目标区域图像的d维特征中的第l维特征f^l转换到频域后的值，F^k ₁表示目标区域图像的d维特征中的第k维特征f^k转换到频域后的值，表示F^k ₁的共轭，⊙表示点乘操作；

(3e)令l分别取1,...,d，重复执行子步骤(3c)和(3d)分别得到位置相关滤波器h的每一维滤波器的频域表达式。

3.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，步骤4具体包括如下子步骤：

记所述目标区域图像的宽为W，所述目标区域图像的高为Y，则得到的具有不同尺度的样本图像的大小为a^mW×a^mY，其中，a为尺度因子，m为尺度指数，且m分别取从而得到N个具有不同尺度的样本图像。

4.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，步骤6具体包括如下子步骤：

(6a)确定多尺度相关滤波器的期望输出为一维高斯核函数；

(6b)根据所述多尺度滤波器的期望输出的频域表示G₂以及N个具有不同尺度的样本图像的d维特征，得到多尺度滤波器的频域表示其中，为所述多尺度滤波器的期望输出的频域表示G₂的共轭，F₂表示N个具有不同尺度的样本图像的d维特征组成的目标区域的一维尺度特征，且每个d维特征记为一层特征，F₂中共包含N层特征，Fⁱ ₂表示F₂中的第i层特征，表示Fⁱ ₂的共轭，λ表示正则项系数。

5.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，步骤11具体为：

(11a)位置相关滤波器h的第l维滤波器h^l的频域表达式：记λ表示正则项系数；

(11b)按照下式对位置相关滤波器进行更新：

其中，α表示学习速率；表示二维高斯核函数g转换到频域并取共轭后的值，F₁ ^l表示目标区域图像的d维特征中的第l维特征f^l转换到频域后的值，F^k ₁表示目标区域图像的d维特征中的第k维特征f^k转换到频域后的值，表示F^k ₁的共轭，A^l(t)表示当前帧图像所采用的位置相关滤波器的分子，A^l(t+1)表示下一帧图像所采用的位置相关滤波器的分子，B(t)表示当前帧图像所采用的位置相关滤波器的部分分母，B(t+1)表示下一帧图像所采用的位置相关滤波器的部分分母，t表示处理当前帧图像的时刻，t+1表示处理下一帧图像的时刻。

6.根据权利要求1所述的一种视频目标跟踪方法，其特征在于，步骤12具体为：

(12a)多尺度滤波器的频域表示记 λ表示正则项系数；

(12b)按照下式对多尺度相关滤波器进行更新：

其中，α表示学习速率；为所述多尺度滤波器的期望输出的频域表示G₂的共轭，F₂表示N个具有不同尺度的样本图像的d维特征组成的目标区域的一维尺度特征，且每个d维特征记为一层特征，F₂中共包含N层特征，Fⁱ ₂表示F₂中的第i层特征，表示Fⁱ ₂的共轭，A_s(t)表示当前帧图像所采用的多尺度相关滤波器的分子，A_s(t+1)表示下一帧图像所采用的多尺度相关滤波器的分子，B_s(t)表示当前帧图像所采用的多尺度相关滤波器的部分分母，B_s(t+1)表示下一帧图像所采用的多尺度相关滤波器的部分分母，t表示处理当前帧图像的时刻，t+1表示处理下一帧图像的时刻。