CN107609571B - 一种基于lark特征的自适应目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于LARK特征的自适应目标跟踪方法；本发明方法利用LARK(Locally Adaptive Regression Kernels)特征对细微、弱小结构变化敏感且能够抗光照、噪声干扰的优势，联合颜色信息和空间结构特征，提出基于全局LARK特征匹配和CAMSHIFT(Continuously Adaptive Mean‑SHIFT)的跟踪框架，记为GLMT，削弱背景干扰，能够进行复杂背景下的目标跟踪。

Description

一种基于LARK特征的自适应目标跟踪方法

技术领域

本发明属于红外及可见光图像目标跟踪领域，具体设计一种基于空间结构特征和灰度信息的目标跟踪方法。

背景技术

近年来，许多目标跟踪算法逐步被提出，Bradski提出的CAMSHIFT算法是以颜色直方图为目标模式的目标跟踪算法，可以有效的解决目标变形和尺寸缩放的问题，且运算效率较高，但其对快速运动的目标以及背景较复杂时跟踪效果不好。在此基础上，许多提出的改进CAMSHIFT跟踪算法在不同程度上提高跟踪的稳定性，但这些算法需要保证目标颜色的独特性，对视频图像的质量要求较高，且比较适合简单背景下的目标跟踪。对于背景较复杂的实际场景，现已经有很多流行的基于在线学习的跟踪算法，压缩跟踪(CT)算法及其改进算法利用在线学习更新分类器和简单的贝叶斯分类器获得目标的最优位置，该算法实时性好，对目标遮挡和外观变化均具有一定的鲁棒性，但跟踪过程中目标窗尺度固定，因此当目标外观变化较快时，其分类器的更新速度明显延迟，容易引起跟踪漂移。基于时空上下文信息进行视觉跟踪的STC算法及其改进算法使用了相关性滤波处理，处理速度非常快，但是其选取较简单的特征得到目标与周围区域的统计相关性，缺少可靠性，且在目标运动过快或被遮挡时也会出现误跟踪。由于红外图像的对比度低、色彩信息匮乏且灰度级动态范围小，使得红外图像的跟踪也成为跟踪研究领域的热点。经典的均值漂移跟踪算法利用目标灰度信息进行目标建模，能够实时的跟踪目标，但易受到相似灰度信息背景干扰，且在跟踪时窗口大小不能随着实际目标大小变化，导致跟踪失败。使用灰度似然比加权核直方图的方法，以及亮度-距离空间下表示红外目标模型的方法来改进经典均值漂移跟踪算法，可以很好地跟踪刚性的红外目标，解决了在复杂背景下目标的表示不够准确的问题，但对于人和动物等非刚性目标的形变会出现跟丢或误跟踪的现象。此外融合SURF特征的均值漂移算法在理想状态下可以解决目标尺度变化的跟踪问题，但在目标较小或纹理单一的情况下，提取的SURF特征点较少或匹配的特征点对数近似为零，导致无法进行跟踪。

为了解决上述问题，本文提供一种一种基于LARK特征的自适应目标跟踪方法。

发明内容

本发明提供一种基于LARK特征的自适应目标跟踪方法，本发明基于特征匹配以及均值漂移理论，研究出了一种基于全局LARK特征匹配和CAMSHIFT的跟踪模型，并提出一种局部LARK特征统计匹配模型，结合图像的彩色或灰度信息，对紧凑型和非紧凑型的目标跟踪都具有很好地鲁棒性。

本发明为解决现有技术问题的技术方案是：首先对模板图像和待处理图像进行LARK特征提取，并做适当的去冗余处理，然后根据本发明提出的局部特征统计匹配方法，结合图像灰度直方图统计概率，有效区分背景和目标，得到目标概率分布图，最后利用MeanShift算法得到准确目标位置和大小。

本发明与现有技术相比，其显著优点为：

1)能有效区分复杂场景下的目标与背景。本发明算法利用的LARK特征对图片中灰度梯度的变化和细微结构的变化较敏感，结合LARK特征匹配和灰度直方图统计，在红外或可见光场景中存在颜色相似物体时，可以得到准确的目标区域。

2)可以跟踪形变较大的非紧凑型目标。目标发生形变时，存在与模板图像相似的局部特征，对相似局部特征统计匹配，可以很好地跟踪到目标。

下面结合附图对本发明作进一步详细叙述。

附图说明

图1是GLMT算法的流程图。

图2是LLSMT算法的流程图。

图3是GLMT算法与其他跟踪算法的实验效果图。

图4是LLSMT算法与GLMT算法和经典CAMSHIFT的实验效果图。

具体实施方式

图1为基于LARK特征匹配和CAMSHIFT的跟踪模型，图2为基于局部LARK特征统计匹配的跟踪模型，本发明提出的一种基于LARK特征的自适应目标跟踪方法具体如下：

步骤一：结合LARK特征匹配和CAMSHIFT算法的跟踪框架

对于场景中存在与目标颜色灰度相似的物体，本发明首先利用颜色特征和LARK结构特征统计匹配，得到待处理图像中目标概率分布图，然后利用Mean Shift迭代搜索概率分布图，可得搜索窗口质心收敛位置和大小作为目标中心和大小，并作为下一帧的初始搜索窗口。为了缩短匹配计算时间，每一帧跟踪处理图像只提取上一帧目标周围2倍大的区域。如图1所示，具体过程如下：

1、首先手动选取跟踪目标作为模板，根据局部核值的计算原理，得到模板图像中每一点的归一化局部核，将其按列排序，即为模板的LARK权值矩阵W_Q，如式(1)。

2、提取跟踪目标周围2倍大的区域作为待处理图像；据上述方法计算待处理图像的LARK权值矩阵W_T；为了降低特征匹配的计算量，用PCA方法对W_Q进行降维，只保留主成分的前d项较明显的特征，其构成一个矩阵接着根据A_Q计算模板图像与待处理图像的特征矩阵F_Q和F_T，计算公式如下：

3、RGB空间转HSV空间，利用H空间分量计算原始概率图；对原始概率图中非零像素处，进行LARK特征匹配，得到结构相似度图，并进行归一化；与原始概率分布图加权融合后得到加权融合目标概率图。

4、对加权融合目标概率图进行自适应均值迭代搜索目标位置；最后循环第二步到第四步，实现跟踪。

步骤二：基于LARK局部特征统计匹配的目标跟踪

在跟踪发生随机形变的非紧凑型目标时，本发明提出将特征整体匹配转化为局部匹配，对局部匹配相似结构的个数统计分析，如图2所示。具体局部特征统计匹配跟踪的过程如下：

1、首先根据其灰度值统计直方图，计算原始概率图。

2、为了避免了模板图像中原有相似结构对统计匹配的影响，将提取的LARK特征矩阵F_Q使用余弦相似度量进行去冗余，得到去冗余后的特征矩阵其中n<N。

3、计算F_T中每个列向量与F_Q‘中每个列向量/>的夹角余弦值，表示这两列向量的相似度，也反映了两列向量所对应局部结构的匹配度，以此建立余弦相似矩阵ρ_L。

4、对矩阵ρ_L每行取最大值(相当于待处理图像中每个局部结构与模板图像的最大相似度)，并在索引矩阵index_L中保存最大值对应的列向量在F_Q‘中的位置。

index_L＝[x₁,x₂,…,x_M]^Tx₁,x₂,…,x_M∈[1,2,…,n] 式(6)

然后设置相似度阈值t2，将ρ_L′的每个元素与其进行比较，对低于阈值的元素，在index_L中相应位置的索引值设为0，减少一些相似度较低的局部结构干扰。

5、最后选取固定大小的局部窗口遍历index_L矩阵，若原始目标概率图中该窗口位置内非0像素的个数大于某一阈值，统计该窗口内不重复的索引值个数，否则直接记录该窗口内索引值个数为0，构建统计索引值个数的矩阵R_n。将该矩阵的像素归一化后得到统计匹配图，将其与原始概率图加权融合后得到待处理图像中目标概率分布图，可通过自适应均值漂移算法能够准确地搜索目标。

为说明本发明在复杂场景下的目标跟踪，将本发明方法用于场景中存在与目标颜色相似物体的人脸跟踪，并与其他跟踪算法比较，显示本发明方法的有效性，如图3所示。为说明本发明的局部特征统计匹配的跟踪模型比全局特征匹配的跟踪模型更适用于发生形变的非紧凑型目标跟踪，将本发明方法用于一组红外序列的行人跟踪，并与经典的CAMSHIFT算法比较，凸显本发明方法的优越性，如图4所示。

Claims (1)

1.一种基于LARK特征的自适应目标跟踪方法，其特征在于，包括以下步骤：

步骤一：利用颜色特征和LARK结构特征统计匹配方法得到待处理图像中目标概率分布图；所述的颜色特征和LARK结构特征统计匹配方法，包括以下步骤：

1)手动选取跟踪目标作为模板，根据局部核值的计算原理，得到模板图像中每一点的归一化局部核，将其按列排序，即为模板的LARK权值矩阵W_Q，如下式所示：

式中w_i表示图像中某一点的归一化局部核按列排列的列向量，N为图像中总像素数，P²为局部窗口中像素数；

2)提取跟踪目标周围2倍大的区域作为待处理图像；计算待处理图像的LARK权值矩阵W_T；用PCA方法对W_Q进行降维，只保留主成分的前d项较明显的特征，其构成一个矩阵接着根据A_Q计算模板图像与待处理图像的特征矩阵F_Q和F_T，计算公式如下式所示：

式中和/>分别代表模板和待处理图像中降维后的特征向量，/>表示矩阵A_Q的转置矩阵，N和M分别为模板图像和待处理图像的总像素数；

3)将RGB空间转HSV空间，利用H空间分量计算原始概率图；对原始概率图中非零像素处，进行LARK特征匹配，得到结构相似度图，并进行归一化处理；将其与原始概率分布图加权融合后得到加权融合目标概率图；

4)对加权融合目标概率图进行自适应均值迭代搜索目标位置；最后循环第二步到第四步，实现跟踪；

步骤二：利用Mean Shift算法迭代搜索概率分布图，得到搜索窗口质心收敛位置和大小作为目标中心和大小，并作为下一帧的初始搜索窗口，且每一帧跟踪处理图像只提取上一帧目标周围2倍大的区域；

步骤三，利用基于LARK局部特征统计匹配的目标跟踪方法将特征整体匹配转化为局部特征匹配，对局部匹配相似结构的个数统计分析；所述局部特征匹配包括以下步骤：

1)根据其灰度值统计直方图，计算原始概率图；

2)将提取的LARK特征矩阵F_Q使用余弦相似度量进行去冗余，得到去冗余后的特征矩阵，如下式所示：

其中n＜N；

式中代表去冗余后的特征向量；

3)计算F_T中每个列向量与F_Q‘中每个列向量/>的夹角余弦值，并以此建立余弦相似矩阵ρ_L，如下式所示：

式中ρ_ij为待处理图像特征矩阵F_T的第i列与模板目标图像特征矩阵F_Q‘的第j列的夹角余弦值，ρ<，>代表夹角余弦值的函数表示；

4)对矩阵ρ_L每行取最大值，并在索引矩阵index_L中保存最大值对应的列向量在F_Q‘中的位置，如下式所示：

index_L＝[x₁，x₂，…，x_M]^Tx₁，x₂，…，x_M∈[1，2，…，n]

式中代表矩阵ρ_L第i行的最大值在第k_i列，ρ_L′为所有行的最大值组成的矩阵，x_i与k_i有相同含义；

之后设置相似度阈值t2，将ρ_L′的每个元素与其进行比较，对低于阈值的元素，在index_L中相应位置的索引值设为0；

5)选取固定大小的局部窗口遍历index_L矩阵，若原始目标概率图中该窗口位置内非0像素的个数大于某一阈值，统计该窗口内不重复的索引值个数，否则直接记录该窗口内索引值个数为0，构建统计索引值个数的矩阵R_n；将该矩阵的像素归一化后得到统计匹配图，将其与原始概率图加权融合后得到待处理图像中目标概率分布图。