CN110111362A - 一种局部特征块相似匹配目标跟踪方法 - Google Patents

Abstract

本发明提供一种局部特征块相似匹配目标跟踪方法，涉及计算机视觉技术领域。该方法读取待跟踪视频图像序列，将第一帧待跟踪视频图像序列作为训练图像，并建立待跟踪视频图像的初始目标模型；然后读取待跟踪视频图像序列的第t帧作为当前帧图像，在当前帧中，根据第一帧圈定的初始目标区域的中心和对角线长度得到当前帧的匹配前景区域；利用陆地移动距离模型匹配算法进行目标检测，确定匹配到的跟踪目标；利用阈值决策方法判断目标模型T中各个局部特征块是否发生严重遮挡，并对当前待跟踪视频图像的目标模型T进行更新；对所有待跟踪视频图像序列进行目标检测，得到待跟踪视频图像序列的跟踪结果。本发明方法能够准确的匹配到目标，匹配结果更鲁棒。

Description

一种局部特征块相似匹配目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种局部特征块相似匹配目标跟踪方法。

背景技术

近年来，目标跟踪技术成为无人机应用研发中具有代表性的研究子课题，该技术涵盖了计算机视觉、机器学习、图像识别、信号处理、电子通信等多个领域的关键技术。目标跟踪的主要任务是对感兴趣物体位置以及运动轨迹进行估计，在已知上一时刻的目标运动状态，通过跟踪算法来计算当前时刻目标的运动位置，并对下一时刻目标的运动参数进行预测估计，从而获得感兴趣物体的形态、位置、轮廓等信息。目标跟踪的具体过程为通过摄像机或其他终端设备采集图像或视频信息，经过计算机模拟人类或其他生物的视觉分析处理获取相应的场景信息。然后通过对采集到的图像信息进行实时的分析、处理实现对场景中的目标进行检测、分类、识别，进而确定要跟踪的目标，并对选定的模型进行更新。随着近些年科学技术的快速发展，高性能计算机的不断涌现，现有视频采集设备获取视频能力的不断提升，目标跟踪技术也取得了长足的进步。目前，目标跟踪技术在军事和民用领域都得到了较为广泛的应用。

通过对目标的外观特征进行相似性分析，许多研究人员通过建立鲁棒外观模型的匹配方法进行目标的提取、跟踪。近年来，相继出现了许多基于建立鲁棒初始模型的跟踪方法。例如，Zhong等人提出稀疏协作模型的鲁棒跟踪算法，它由稀疏判别分类器(SparseDiscriminative Classifier，SDC)和稀疏生成模型(sparse generative model，SGM)两部分构成。在SDC分类器中，利用目标的整体模型对场景的前景与背景分离。然后在SGM模型中，利用目标的局部空间信息进行匹配跟踪。该算法可以有效地处理外观变化，并减轻跟踪漂移问题。王美华等人利用部件库的特征和置信度建立初始表观模型，并基于贝叶斯框架计算候选样本的置信度，从而获得目标区域。Yang等人提出相似约束的多核鲁棒目标跟踪方法。该方法通过将多核学习框架扩展到Boosting中，以优化特征和内核的组合，从而有效地和有效地促进复杂场景中的鲁棒视觉跟踪。朱书军等人提出标签随机有限级框架的可分辨跟踪算法，利用邻接矩阵对群目标进行动态建模，利用广义标签多伯努利滤波估计目标个数、状态。Jin等人提出基于量子遗传的跟踪算法。该算法利用量子遗传的全局优化能力，在量子遗传算法的框架中，将像素的位置作为种群中的个体，通过预定义的遗传目标函数计算个体的适应度值，当搜索具有最大适应值的像素点并返回其对应位置，从而实现视觉跟踪。但当目标所处的背景比较复杂时，特别是背景中包含相似物体干扰时，这些方法由于不能识别而丢失目标。

但上述几种方法存在以下几点问题：

背景杂波问题：基于模型匹配的目标跟踪方法通过对模型中的目标进行特征提取和特征分析，并利用匹配技术在图像中搜寻、确定目标。然而在实际跟踪中，图像包含的背景信息非常复杂，一些背景信息与前景目标信息极为相似，从特征角度分析一般很难区分，在利用特定的目标选取方式建立目标模板时，通常会造成跟踪漂移甚至跟错目标的情况，这也加大了跟踪目标的难度。

目标形变问题：实际跟踪时目标通常为非刚性物体，随着跟踪的不断深入目标自身形态发生变化，目标跟踪以目标的识别和匹配为前提，当目标处于形变状态时能否重新识别目标是一个需要解决的问题。若识别失败则很难再准确匹配目标特征，直接导致目标丢失。一般来说，目标的形变较为复杂、没有规律性，给跟踪带来一定程度的困难。

目标遮挡问题：在目标跟踪的过程中，当目标受到局部、持续遮挡时，如果不及时地进行模型更新，很容易导致跟踪漂移。甚至在实际跟踪中，若存在目标与遮挡物的表观特征相似情况，跟踪方法会将遮挡物同样作为目标被标定，当遮挡物运动远离目标时，跟踪方法往往会丢失目标。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种局部特征块相似匹配目标跟踪方法，实现对视频图像中的目标进行跟踪。

为解决上述技术问题，本发明所采取的技术方案是：一种局部特征块相似匹配目标跟踪方法，包括以下步骤：

步骤1：读取待跟踪视频图像序列，将第一帧待跟踪视频图像序列作为训练图像；

步骤2：建立待跟踪视频图像的初始目标模型T，具体方法为：

步骤2.1：标定出当前训练图像第一帧中的初始目标区域；

步骤2.2：将初始目标区域的长、宽分别进行N等分，获得N²个大小相同的局部特征块；

步骤2.3：将这些局部特征块进行整合，得到包含局部特征块的待跟踪视频图像的初始目标模型T；

步骤3：读取待跟踪视频图像序列的第t帧作为当前帧图像，其中，t＝2，...，t_n，n为待跟踪视频图像序列个数；

步骤4：在当前帧中，以第一帧圈定的初始目标区域的中心为中心点，以第一帧圈定的初始目标区域对角线长度的1.5倍作为新的对角线长度，得到当前帧的匹配前景区域；

步骤5：利用陆地移动距离模型匹配算法进行目标检测，通过计算当前帧前景区域中的局部特征块与建立的初始目标模型T之间的相似性，确定匹配到的跟踪目标；

步骤5.1：将当前帧的前景区域分割成若干个与初始目标模型T中的局部特征块大小相同的局部匹配块；

步骤5.2：选择初始目标模型T中的第一个局部特征块的像素集与当前帧前景区域的局部匹配块进行陆地移动距离模型匹配，获得与当前帧的前景区域中的最优匹配特征块其中a_i、a′_i为特征块中的像素点；

步骤5.2.1：计算初始目标模型T中的局部特征块的像素集A与当前帧的前景区域中的特征像素集之间的相似距离d(a_i，b_i)，如下公式所示：

d(a_i，b_j)＝-logp(a_i|b_j，θ)

其中，p()表示集合A与B之间的匹配概率，b_j表示当前帧的前景区域中待测局部特征块中的像素点，模型参数θ＝(σ_D，σ_RGB)表示b_j→a_i的概率，即集合A中的元素与B中的元素之间存在映射关系，σ_D为基于距离度量的高斯噪声参数，σ_RGB为基于颜色特征度量的高斯噪声参数；

步骤5.2.2：利用欧式距离与颜色特征RGB计算集合A与B之间的匹配概率，如下公式所示：

p(a_i|b_j，θ)＝p(a_i|b_j，θ_D，θ_RGB)＝p(a_i ^D|b_j ^D，θ_D)×p(a_i ^RGB|b_j ^RGB，θ_RGB) (8)

p(a_i ^D|b_j ^D)～N(0，∑_D＝σ_D·I)

p(a_i ^RGB|b_j ^RGB)～N(0，∑_RGB＝σ_RGB·I)

其中，I为单位矩阵，D表示欧式距离，RGB表示颜色特征，N()表示高斯噪声模型；

步骤5.2.3：利用高斯对集合A与B之间的匹配概率进行求解，如下公式所示：

步骤5.2.4：进而得到集合A与B之间的相似匹配距离，如下公式所示：

步骤5.2.5：计算集合A与B之间的最优相似匹配距离，如下公式所示：

步骤5.3：重复步骤5.2，直到初始目标模型T中的所有N²个局部特征块匹配完全；

步骤5.4：整合匹配到的所有N²个局部特征块，从而得到当前帧匹配到的目标区域T′；

步骤5.5：判断当前帧数是否大于5，若当前帧数大于5帧，执行步骤6，否则，执行步骤8；

步骤6：利用阈值决策方法判断目标模型T中各个局部特征块是否发生严重遮挡，并对当前待跟踪视频图像的目标模型T进行更新；

步骤6.1：利用阈值决策方法判断初始目标模型T中各个局部特征块是否发生严重遮挡，若发生严重遮挡，执行步骤6.2，否则，执行步骤6.3；

所述阈值决策方法的判断公式如下所示：

δ_t＝S_t/mean(S_t，S_t-1，...，S_t-4)

其中，δ_t表示局部特征块的遮挡程度，mean()表示取平均值的函数；

判断方式为：如果δ_t＞δ₀，则局部特征块没发生严重遮挡，否则，局部特征块发生严重遮挡，δ₀为预先设定的遮挡阈值；

步骤6.2：根据当前帧所匹配到的目标区域T′和当前目标模型T进行加权融合，得到更新后的目标模型，如下公式所示：

T′_update＝λT′+(1-λ)T；

其中，T′为当前帧所匹配到的目标区域，T为当前目标模型，T′_update为更新后的目标模型，λ为更新权重；

步骤6.3：将当前待跟踪视频图像的目标模型作为更新后的待跟踪视频图像的目标模型；

步骤7：判断当前图像帧数t是否达到待跟踪视频图像序列个数t_n，若是，执行步骤9，否则，执行步骤8；

步骤8：令t＝t+1作为当前第t帧图像，返回步骤3；

步骤9：得到待跟踪视频图像序列的跟踪结果。

采用上述技术方案所产生的有益效果在于：本发明提供的一种局部特征块相似匹配目标跟踪方法，建立局部特征块组成的目标模型，防止目标在发生形变、局部遮挡时因目标特征匹配不完全而导致跟踪偏移问题。在模型匹配过程中，先对图像帧中的前景信息进行估计判别，约束相似匹配过程，只在前景区域匹配，避免背景信息的干扰，保证匹配到的目标更准确。然后利用目标的颜色、位置特征进行相似性匹配，使得特征匹配结果更鲁棒。在模型更新中提出一种在线模型更新算法，保证目标外观模型的准确性，使得模型对目标的描述更充分。

附图说明

图1为本发明实施例提供的一种局部特征块相似匹配目标跟踪方法的框架图；

图2为本发明实施例提供的待跟踪视频图像；

图3为本发明实施例提供的初始目标区域及含局部特征块的目标模型示意图，其中，(a)为初始目标区域，(b)为包含局部特征块的初始目标模型；

图4为本发明实施例提供的最优匹配像素点的效果图；

图5为本发明实施例提供的本发明方法跟踪在基准库中与其他跟踪方法在时间鲁棒性上的对比示意图；

图6为本发明实施例提供的本发明方法跟踪在基准库中与其他跟踪方法在空间鲁棒性上的对比示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例的计算机环境：CPU为Intel Core i7，内存为16GB。

本实施例中，一种局部特征块相似匹配目标跟踪方法，如图1所示，包括以下步骤：

步骤1：读取待跟踪视频图像序列，将第一帧待跟踪视频图像序列作为训练图像。

本实施例中，读取待跟踪视频图像如图2所示。

步骤2：建立待跟踪视频图像的初始目标模型T；

步骤2.1：标定出当前训练图像第一帧中的初始目标区域；

步骤2.2：将初始目标区域的长、宽分别进行N等分，获得N²个大小相同的局部特征块；

本实施例中，选取N＝5。

步骤2.3：将这些局部特征块进行整合，得到包含局部特征块的待跟踪视频图像的初始目标模型T；

本实施例中，得到待跟踪视频图像的初始目标模型T如图3所示。

步骤3：读取待跟踪视频图像序列的第t帧作为当前帧图像，其中，t＝2，...，t_n，n为待跟踪视频图像序列个数；

步骤4：在当前帧中，以第一帧圈定的初始目标区域的中心为中心点，以第一帧圈定的初始目标区域对角线长度的1.5倍作为新的对角线长度，得到当前帧的匹配前景区域。

步骤5：利用陆地移动距离模型匹配算法进行目标检测，通过计算当前帧前景区域中的局部特征块与建立的初始目标模型T之间的相似性，确定匹配到的跟踪目标；

步骤5.1：将当前帧的前景区域分割成若干个与初始目标模型T中的局部特征块大小相同的局部匹配块；

步骤5.2：选择初始目标模型T中的第一个局部特征块的像素集与当前帧前景区域的局部匹配块进行陆地移动距离模型(Earth Mover`s Distance，即EMD)匹配，获得与当前帧的前景区域中的最优匹配特征块其中a_i、a′_i为特征块中的像素点；

步骤5.2.1：计算目标模型T中的局部特征块的像素集A与当前帧的前景区域中的特征像素集之间的相似距离d(a_i，b_j)，如下公式所示：

d(a_i，b_j)＝-logp(a_i|b_j，θ)

其中，p()表示集合A与B之间的匹配概率，b_j表示当前帧的前景区域中待测局部特征块中的像素点，模型参数θ＝(σ_D，σ_RGB)表示b_j→a_i的概率，即集合A中的元素与B中的元素之间存在映射关系，σ_D为基于距离度量的高斯噪声参数，σ_RGB为基于颜色特征度量的高斯噪声参数；

步骤5.2.2：利用欧式距离与颜色特征RGB计算集合A与B之间的匹配概率，如下公式所示：

p(a_i|b_j，θ)＝p(a_i|b_j，θ_D，θ_RGB)＝p(a_i ^D|b_j ^D，θ_D)×p(a_i ^RGB|b_j ^RGB，θ_RGB) (8)

p(a_i ^D|b_j ^D)～N(0，∑_D＝σ_D·I)

p(a_i ^RGB|b_j ^RGB)～N(0，∑_RGB＝σ_RGB·I)

其中，I为单位矩阵，D表示欧式距离，RGB表示颜色特征，N()表示高斯噪声模型；

步骤5.2.3：利用高斯对集合A与B之间的匹配概率进行求解，如下公式所示：

步骤5.2.4：进而得到集合A与B之间的相似匹配距离，如下公式所示：

步骤5.2.5：计算集合A与B之间的最优相似匹配距离，如下公式所示：

本实施例中，θ＝(σ_D，σ_RGB)＝(0.4，0.6)。

步骤5.3：重复步骤5.2，直到初始目标模型T中的所有N²个局部特征块匹配完全。

步骤5.4：整合匹配到的所有N²个局部特征块，从而得到当前帧匹配到的目标区域T′；本实施方式中，得到待跟踪视频图像的最优相似匹配的效果如图4所示。

步骤5.5：判断当前帧数是否大于5，若当前帧数大于5帧，执行步骤6，否则，执行步骤8；

步骤6：利用阈值决策方法判断目标模型T中各个局部特征块是否发生严重遮挡，并对当前待跟踪视频图像的目标模型T进行更新；

步骤6.1：利用阈值决策方法判断初始目标模型T中各个局部特征块是否发生严重遮挡，若发生严重遮挡，执行步骤6.2，否则，执行步骤6.3；

所述阈值决策方法的判断公式如下所示：

δ_t＝S_t/mean(S_t，S_t-1，...，S_t-4)

其中，δ_t表示局部特征块的遮挡程度，mean()表示取平均值的函数；

判断方式为：如果δ_t＞δ₀，则局部特征块没发生严重遮挡，否则，局部特征块发生严重遮挡，δ₀为预先设定的遮挡阈值；

步骤6.2：根据当前帧所匹配到的目标区域T′和当前目标模型T进行加权融合，得到更新后的目标模型，如下公式所示：

T′_update＝λT′+(1-λ)T；

其中，T′为当前帧所匹配到的目标区域，T为当前目标模型，T′_update为更新后的目标模型，λ为更新权重，本实施例中，λ＝0.6。

步骤6.3：将当前待跟踪视频图像的目标模型作为更新后的待跟踪视频图像的目标模型；

步骤7：判断当前图像帧数t是否达到待跟踪视频图像序列个数t_n，若是，执行步骤9，否则，执行步骤8；

步骤8：令t＝t+1作为当前第t帧图像，返回步骤3；

步骤9：得到待跟踪视频图像序列的跟踪结果。

本实施例中，在基准库中将采用本发明方法得到的跟踪结果与其他成熟跟踪方法在时间鲁棒性、空间鲁棒性上的进行对比，对比结果如图5、6所示。

为进一步证明本发明的有效性，本实施例分别与当前较为流行的4种跟踪算法在8组视频序列进行对比实验。8个图像序列分别是Bird2、Deer、Football、Lemming、David1、Walking2、Bolt、以及Basketball频序列，这些图像序列基本涵盖了局部遮挡、目标形变、背景杂波、相似物体干扰等影响因素。4个跟踪算法分别为LOT(Local Orderless Tracker)，SCM(Sparsity-based Collaborative Model)，KCF(Kernelized Correlation Filters)和DLT(Deep Learning Tracking)。4种跟踪方法在8个图像序列上平均中心误差ACE、跟踪重叠率OR如表1所示。

表1 5种跟踪算法的对比

从表1中的实验统计结果可以看出，在大部分实验序列中，本发明方法优于同类方法(SCM、LOT)。不仅如此，与其他2种跟踪方法相比，本发明方法也具有较大优势，而且在所有图像序列上的平均中心误差及跟踪重叠率均是优秀的。这表明本发明方法是合理有效的，达到甚至超过了当前主流方法的跟踪效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (5)

1.一种局部特征块相似匹配目标跟踪方法，其特征在于：包括以下步骤：

步骤1：读取待跟踪视频图像序列，将第一帧待跟踪视频图像序列作为训练图像；

步骤2：建立待跟踪视频图像的初始目标模型T；

步骤3：读取待跟踪视频图像序列的第t帧作为当前帧图像，其中，t＝2，...，t_n，n为待跟踪视频图像序列个数；

步骤4：在当前帧中，以第一帧圈定的初始目标区域的中心为中心点，以第一帧圈定的初始目标区域对角线长度的1.5倍作为新的对角线长度，得到当前帧的匹配前景区域；

步骤5：利用陆地移动距离模型匹配算法进行目标检测，通过计算当前帧前景区域中的局部特征块与建立的初始目标模型T之间的相似性，确定匹配到的跟踪目标；

步骤6：利用阈值决策方法判断目标模型T中各个局部特征块是否发生严重遮挡，并对当前待跟踪视频图像的目标模型T进行更新；

步骤7：判断当前图像帧数t是否达到待跟踪视频图像序列个数t_n，若是，执行步骤9，否则，执行步骤8；

步骤8：令t＝t+1作为当前第t帧图像，返回步骤3；

步骤9：得到待跟踪视频图像序列的跟踪结果。

2.根据权利要求1所述的一种局部特征块相似匹配目标跟踪方法，其特征在于：所述步骤2的具体方法为：

步骤2.1：标定出当前训练图像第一帧中的初始目标区域；

步骤2.2：将初始目标区域的长、宽分别进行N等分，获得N²个大小相同的局部特征块；

步骤2.3：将这些局部特征块进行整合，得到包含局部特征块的待跟踪视频图像的初始目标模型T。

3.根据权利要求2所述的一种局部特征块相似匹配目标跟踪方法，其特征在于：所述步骤5的具体方法为：

步骤5.1：将当前帧的前景区域分割成若干个与初始目标模型T中的局部特征块大小相同的局部匹配块；

步骤5.2：选择初始目标模型T中的第一个局部特征块的像素集与当前帧前景区域的局部匹配块进行陆地移动距离模型匹配，获得与当前帧的前景区域中的最优匹配特征块其中a_i、a′_i为特征块中的像素点；

步骤5.3：重复步骤5.2，直到初始目标模型T中的所有N²个局部特征块匹配完全；

步骤5.4：整合匹配到的所有N²个局部特征块，从而得到当前帧匹配到的目标区域T′；

步骤5.5：判断当前帧数是否大于5，若当前帧数大于5帧，执行步骤6，否则，执行步骤8。

4.根据权利要求3所述的一种局部特征块相似匹配目标跟踪方法，其特征在于：所述步骤5.2的具体方法为：

步骤5.2.1：计算初始目标模型T中的局部特征块的像素集A与当前帧的前景区域中的特征像素集之间的相似距离d(a_i，b_j)，如下公式所示：

d(a_i，b_j)＝-logp(a_i|b_j，θ)

其中，p()表示集合A与B之间的匹配概率，b_j表示当前帧的前景区域中待测局部特征块中的像素点，模型参数θ＝(σ_D，σ_RGB)表示b_j→a_i的概率，即集合A中的元素与B中的元素之间存在映射关系，σ_D为基于距离度量的高斯噪声参数，σ_RGB为基于颜色特征度量的高斯噪声参数；

步骤5.2.2：利用欧式距离与颜色特征RGB计算集合A与B之间的匹配概率，如下公式所示：

p(a_i|b_j，θ)＝p(a_i|b_j，θ_D，θ_RGB)＝p(a_i ^D|b_j ^D，θ_D)×p(a_i ^RGB|b_j ^RGB，θ_RGB) (8)

p(a_i ^D|b_j ^D)～N(0，∑_D＝σ_D·I)

p(a_i ^RGB|b_j ^RGB)～N(0，∑_RGB＝σ_RGB·I)

其中，/为单位矩阵，D表示欧式距离，RGB表示颜色特征，N()表示高斯噪声模型；

步骤5.2.3：利用高斯对集合A与B之间的匹配概率进行求解，如下公式所示：

步骤5.2.4：进而得到集合A与B之间的相似匹配距离，如下公式所示：

步骤5.2.5：计算集合A与B之间的最优相似匹配距离，如下公式所示：

5.根据权利要求4所述的一种局部特征块相似匹配目标跟踪方法，其特征在于：所述步骤6的具体方法为：

步骤6.1：利用阈值决策方法判断初始目标模型T中各个局部特征块是否发生严重遮挡，若发生严重遮挡，执行步骤6.2，否则，执行步骤6.3；

所述阈值决策方法的判断公式如下所示：

δ_t＝S_t/mean(S_t，S_t-1，...，S_t-4)

其中，δ_t表示局部特征块的遮挡程度，mean()表示取平均值的函数；

判断方式为：如果δ_t＞δ₀，则局部特征块没发生严重遮挡，否则，局部特征块发生严重遮挡，δ₀为预先设定的遮挡阈值；

步骤6.2：根据当前帧所匹配到的目标区域T′和当前目标模型T进行加权融合，得到更新后的目标模型，如下公式所示：

T′_update＝λT′+(1-λ)T；

其中，T′为当前帧所匹配到的目标区域，T为当前目标模型，T′_update为更新后的目标模型，λ为更新权重；

步骤6.3：将当前待跟踪视频图像的目标模型作为更新后的待跟踪视频图像的目标模型。