CN108961307A - 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法 - Google Patents

Abstract

本发明公开了一种基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，首先，输入图像，调整图像的分辨率；其次，通过核相关滤波跟踪模型预测当前目标的跟踪区域；然后，根据目标区域获取自适应阈值集，获取目标边缘有效特征点并进行边缘拟合并修正跟踪区域位置及图像分辨率；最后，更新核相关滤波跟踪模型，进行下一次预测。本发明改进了核相关滤波跟踪的圆形目标尺度不能自适应改变的问题；提高跟踪模型的可靠性；提升了目标模型的在线训练速度以及检测速度，提升了跟踪的实时性。

Description

基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法

技术领域

本发明属于图像目标跟踪领域，具体涉及一种基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法。

背景技术

目标跟踪是对检测到目标区域进行特征建模，预测目标下一时刻的位置，进而更新跟踪目标模型，并继续预测目标下一时刻位置的过程。好的目标跟踪方法重点在于提高目标跟踪模型的鲁棒性、快速性以及准确性。

基于核相关滤波的目标跟踪方法具有跟踪速度快、跟踪精度高的特点，然而对于某些场景下，核相关滤波跟踪存在着较为明显的缺点：1、对于目标尺度变化较大的场景，跟踪效果较差，原因在于核相关滤波跟踪的跟踪窗口尺寸不变，若目标尺度变小，使得跟踪区域中引入大量背景干扰信息，污染跟踪模型；若目标尺度变大，使得跟踪区域中丢失目标部分信息，破坏跟踪模型，导致跟踪失败；2、无法判断跟踪失败，对于核相关滤波跟踪，由于采用在线训练建模的方式，无法判断当前模型是否正确，因而对于跟踪积累误差导致的跟踪失败现象无法判断；3、无法消除跟踪积累误差，易产生跟踪漂移，最终跟丢目标。另一方面针对空中加油的高动态、高危险性要求锥套目标的跟踪必须有很高的要求，要求锥套目标的跟踪可靠性要极高，对于目标跟踪处理时间要尽可能少，以保证很高的实时性，相比跟踪鲁棒性较高的TLD跟踪算法，核相关滤波跟踪的处理速度具有极为明显的优势，处理速度在ms级，而TLD处理速度在几十ms以上。

发明内容

发明目的：本发明提供一种基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，该方法自适应性强、可靠性高且处理时间短。

技术方案：本发明所述的一种基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，包括以下步骤：

(1)输入图像，并调整图像的分辨率；

(2)通过核相关滤波跟踪模型预测当前目标的跟踪区域；

(3)根据跟踪区域获取自适应候选阈值集；

(4)根据候选阈值进行跟踪有效性确认，并对目标边缘有效特征点进行边

缘拟合；

(5)修正跟踪区域位置及图像分辨率；

(6)更新核相关滤波跟踪模型，行进下一次预测。

所述步骤(3)包括以下步骤：

(31)获取跟踪区域的灰度直方图，并对其进行平滑处理；

(32)求取平滑后灰度直方图的一阶导数图；

(33)根据灰度直方图的一阶导数图选取局部极小值作为候选阈值；

(34)满足步骤(33)所述的阈值t_i为有效阈值。

所述步骤(4)包括以下步骤：

(41)根据候选阈值集中的阈值对跟踪区域图像进行阈值分割，并进行形态学处理，去除掉噪声点的影响；

(42)通过提取阈值分割后的区域轮廓信息确定对应区域的边界信息和面积信息，进行形状、位置的有效性检验，将满足形状、位置条件检验的候选目标中面积最大区域作为最终拟合目标：

长宽比：面积比：

偏移度：

尺度比：

其中，w_i、h_i、s_i、x_max、x_min、y_max、y_min为阈值i对应的目标区域的宽度、高度、面积、右边界横坐标、左边界横坐标、下边界横坐标、上边界横坐标，且x_i＝(x_max+x_min)/2,y_i＝(y_max+y_min)/2；

(43)对跟踪区域进行梯度边缘提取，对目标区域轮廓边界处进行边缘检验：

其中，为轮廓边界坐标值的集合，edge为跟踪区域边缘幅值图；

(44)对内部无边缘区域进行有效性检验：

error_p＝{edge(x_i,y_i)|edge(x_i,y_i)＞30}

size of error_p＜10

其中(x_i,y_i)位于内部无边缘区域；

(45)对外部边缘区域进行有效性检验：

其中(x_i,y_i)为外部边缘区域的边缘点坐标，(c_x,c_y)为区域中心坐标，θ为边缘点对应的相位；

(46)采用迭代最小二乘椭圆拟合的方式对所有有效边缘点进行拟合，得到准确的目标尺寸及中心位置：(a b x₀ y₀)。

所述步骤(5)包括以下步骤：

(51)根据拟合的目标尺寸位置信息进行图像分辨率调整：

(52)修正预测窗口的中心位置：

win_cx＝x₀grate_x

win_cy＝y₀grate_y。

有益效果：与现有技术相比，本发明的有益效果：1、改进了核相关滤波跟踪的圆形目标尺度不能自适应改变的问题；2、分析加油锥套图像特点，通过设置多种圆形目标的有效性检验指标，大大提高跟踪模型的可靠性；3、采用基于循环矩阵特性的核相关滤波跟踪，大大提升了目标模型的在线训练速度以及检测速度，提升了跟踪的实时性。

附图说明

图1为本发明流程图；

图2为图8场景下跟踪精确度图；

图3为图9场景下跟踪精确度图；

图4为图10场景下跟踪精确度图；

图5为图8场景下跟踪成功率图；

图6为图9场景下跟踪成功率图；

图7为图10场景下跟踪成功率图；

图8为侧光条件下背景较为复杂的场景；

图9为正对阳光的条件下背景较为简单的场景；

图10为背光的条件下背景较为复杂的场景；

图11为图8场景下算法处理耗时图；

图12为图9场景下算法处理耗时图；

图13为图10场景下算法处理耗时图。

具体实施方式

目标跟踪是一项对于实时性与可靠性要求极高的技术，本发明基于KCF跟踪算法进行改进，采用可靠性较高的基于检测的跟踪方式，即对目标进行特征提取并建模，影响该跟踪方式实时性的因素在于目标特征提取与建模的速度，其中最为重要的是训练模型所用的时间长短，选用特征提取较快且鲁棒性较高的HOG特征，分类模型选用简单且高效的岭回归模型，模型的训练采用循环矩阵快速求逆的特性进行正负样本的训练建模。

基于KCF跟踪目标的算法对于目标的尺度变换没有做出相应的处理，虽然具有很高的实时性，但是对于跟踪目标发生较大尺度变化的情况，跟踪效果不理想，需要针对尺度自适应问题做出相应的改进，本发明在其基础上加入跟踪锁定反馈阶段，用于解决目标尺度变化带来的影响。

鉴于跟踪目标在短时间内不会发生较大的尺度变化，采取逐帧检测矫正的方法解决尺度变化问题。关键问题在于如何选择矫正的准则。本发明采用锥套目标的内圆尺寸与跟踪窗口尺寸比值作为矫正的准则。跟踪窗口的尺寸在整个跟踪过程中保持不变，通过改变整体图像的分辨率保证目标相对于跟踪窗口尺寸不变，进而解决了目标在跟踪过程中的尺寸变化问题。

下面结合附图对本发明作进一步详细说明。

图1为本发明的流程图，主要包括以下步骤：

1、输入图像并调整图像的分辨率。

2、通过核相关滤波跟踪模型预测当前目标的跟踪区域。

跟踪目标的训练样本由目标样本x＝[x₁ x₂ L x_n]^T循环移位得到：

设训练样本集为(x_i,y_i)，其回归函数为f(x_i)＝ω^Tx_i，得到岭回归模型的目标为：

其中y＝[y₁ y₂ L y_n]^T为特征X每行对应的标签值，由循环矩阵的性质得：

进而得

其中e为向量对应元素相乘。

上述考虑的模型为线性模型，考虑到目标分类常常是一个非线性问题，因此引入核空间函数将非线性空间的特征x映射到线性空间Φ(x)，线性回归模型转换为f(x_i)＝ω^TΦ(x_i)，以便利用上述推导的快速模型进行求解分类。

训练集是由目标区域和其移位得到的若干样本组成，对应的标签是根据移位距离越小正样本可能性越大的准则赋值；待分类样本集即待检测样本集是由预测区域和其移位得到的样本集合：Z＝[z₁ z₂ L z_n]，最终的预测目标区域选择f(z_j)＝ω^TΦ(z_j)最大的样本作为检测出的新目标区域，由z_j确定目标移动的位置。

3、根据跟踪区域获取自适应候选阈值集。

提取跟踪区域的灰度直方图，并对灰度直方图进行平滑处理，求取平滑后直方图的一阶导数图。鉴于灰度直方图包含图像区域灰度分布情况，因此灰度直方图曲线中斜率变化较大的地方必然引入(或去掉)了较多的相似灰度值，而出现这种情况可能的原因会是引入(或去掉)了一个灰度值相似的区域，因此需要求取直方图一阶导数图，即灰度直方图的斜率变化图。求取方法：由于图像灰度直方图是根据图像中区域的灰度分布而定的，不存在固定的函数关系，因此不能对其直接进行求函数导数的方法求取一阶导数，此处采用的方法是：设当前灰度值i(1<i<255)在灰度直方图中对应的数值为y(i)，则i的导数＝(y(i+1)-y(i-1))/2。通过此方法对所有的灰度值进行一阶导数的求解，同时，将所求得的导数值取绝对值后作为下一步与之选择的依据图，原因是对于正负斜率较大的地方均可能为合适的分割阈值，得到灰度直方图的一阶导数图，根据灰度直方图一阶导数图转换为阈值选择图；对灰度直方图的一阶导数图中求取局部极小值区域。对于局部极小值为：左右各取5个相邻阈值点进行一阶导数的求和，对于左右导数值均大于设定阈值的点，即为一阶导数的局部极小值点。最终选择阈值图中的局部极小值作为候选阈值，得到该区域的自适应阈值集T＝{t₁ t₂ L t_m}。

4、根据候选阈值进行跟踪有效性确认，并对目标边缘有效特征点进行边缘拟合。

依此用阈值集中的t₁,t₂,L,t_m对跟踪区域进行阈值有效性判断，直至获取到有效目标拟合信息为止。

阈值的有效性判断是指对跟踪区域以该阈值进行图像分割，对分割后的区域进行形态学处理，去除掉噪声点的影响；提取剩余有效区域轮廓信息，通过轮廓信息确定对应区域的边界信息和面积信息，进行形状、位置的有效性检验：

长宽比：面积比：

偏移度：

尺度比：

其中，w_i、h_i、s_i、x_max、x_min、y_max、y_min为阈值i对应的目标区域的宽度、高度、面积、右边界横坐标、左边界横坐标、下边界横坐标、上边界横坐标，且x_i＝(x_max+x_min)/2,y_i＝(y_max+y_min)/2。将满足形状、位置条件检验的候选目标中面积最大区域作为最终拟合目标。

对跟踪区域进行梯度边缘提取，获得边缘幅值、相位图，在上述选定的目标区域轮廓边界处进行边缘检验：目标区域轮廓边界信息为一个二维数组即轮廓边界坐标值的集合，检验指标如下：

其中，edge为跟踪区域边缘幅值图，满足上述的阈值t_i为有效阈值。

根据有效阈值获取到的目标区域尺寸信息，将跟踪区域分为内部无边缘区域和外部边缘区域，首先对内部无边缘区域进行有效性检验：

error_p＝{edge(x_i,y_i)|edge(x_i,y_i)＞30}

size of error_p＜10

其中(x_i,y_i)位于内部无边缘区域，满足上述关系的目标区域进行最终的目标外边缘有效点提取及拟合。有效边缘点准则为：

其中(x_i,y_i)为外部边缘区域的边缘点坐标，(c_x,c_y)为区域中心坐标，θ为边缘点对应的相位，满足上述条件的边缘点为有效边缘点。采用迭代最小二乘椭圆拟合的方式对所有有效边缘点进行拟合，得到准确的目标尺寸及中心位置：(a b x₀ y₀)。

5、修正跟踪区域位置及图像分辨率。

随着相机或锥套的运动，其在图像中的尺寸和位置也会发生着相应的变化，在跟踪窗口尺寸不变的情况下，目标的尺寸变大或变小会使跟踪模型丢失部分目标特征或者引入错误的背景特征，同时由于位置的变化，导致跟踪必须在下一时刻预测出目标的运动位置，由于预测位置总会存在误差，随着误差的逐步积累，会产生跟踪漂移现象，导致跟踪失败。本发明采用目标内圆中心实时校正法对跟踪误差进行修正，并实时调整图像分辨率，使锥套目标在图像中的尺寸相对跟踪窗口保持不变，从而保证了跟踪模型的正确性，防止预测积累误差的产生。

依据拟合的目标尺寸位置信息进行图像分辨率调整，调整准则如下：

经上述分辨率的调整，得到图像I′，修正预测窗口的中心位置为W＝(win_cx,win_cy)：

win_cx＝x₀grate_x

win_cy＝y₀grate_y

将窗口W对应图像I′的区域I′(W)用于跟踪模型的更新，消除跟踪积累误差的同时保证了模型最新性

6、更新核相关滤波跟踪模型，行进下一次预测。

本发明使用精度、成功率以及实时性对跟踪算法做定量分析，其中精度通过精度图显示出跟踪中心误差从0像素到50像素变化时，低于给定中心误差的帧数占总帧数的百分比，跟踪中心误差被定义为跟踪目标的中心位置和手工标定的准确位置之间的欧氏距离；成功率被定义为跟踪区域与手工标定区域的重叠情况，成功率图给出了重叠率从0到1变化时，高于给定重叠率的帧数占总帧数的百分比。

根据上文提出的跟踪阶段策略，经过实际运行得到各个环节的图像处理结果。本发明将目标锁定、跟踪修正以及分辨率调整三个环节引入跟踪框架中，大大降低了跟踪累计误差的产生，从而使得跟踪模型不易于退化；将本发明提出的跟踪算法与目前较为流行且性能优异的跟踪算法进行定量分析比较，结果如图3所示。

如图2至图7所示，分别为图8至图10场景下(其中图8是在侧光条件下同时背景较为复杂的场景；图9是在正对阳光的条件下，背景比图8较简单；图10是在背光的条件下，背景较为复杂的场景)进行实验得出的跟踪算法的跟踪精度图与跟踪成功率图。针对KCF算法的跟踪结果图，可以发现其跟踪的精度相比TLD算法要高，然而跟踪的成功率较低，对于目标的尺度变化适应性较差，不能较为准确的跟踪目标尺度的变化情况，造成的结果便是引入背景干扰数据或者丢失部分目标特征数据，从而导致跟踪误差积累使得跟踪区域漂移。TLD算法对于相机运动、目标静止的情况，跟踪效果较差，同时实时性相对于KCF算法相差较大。

本发明改进的跟踪算法对于锥套目标的跟踪具有较高的鲁棒性以及准确性，在光照不同、背景不同、距离不同的情况下进行了大量的实验测试，结果显示跟踪的准确性以及鲁棒性均在较高的水平。

在跟踪实时性方面，本发明改进跟踪算法达到了较高的水平，平均每帧图像的处理耗时在5ms以内，满足高动态、高频率输出要求的场合，具体各个实验中的算法耗时情况如图11-13所示。

Claims (4)

1.一种基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，其特征在于，包括以下步骤：

(1)输入图像，并调整图像的分辨率；

(2)通过核相关滤波跟踪模型预测当前目标的跟踪区域；

(3)根据跟踪区域获取自适应候选阈值集；

(4)根据候选阈值进行跟踪有效性确认，并对目标边缘有效特征点进行边缘拟合；

(5)修正跟踪区域位置及图像分辨率；

(6)更新核相关滤波跟踪模型，行进下一次预测。

2.根据权利要求1所述的基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，其特征在于，所述步骤(3)包括以下步骤：

(31)获取跟踪区域的灰度直方图，并对其进行平滑处理；

(32)求取平滑后灰度直方图的一阶导数图；

(33)根据灰度直方图的一阶导数图选取局部极小值作为候选阈值；

(34)满足步骤(33)所述的阈值t_i为有效阈值。

3.根据权利要求1所述的基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，其特征在于，所述步骤(4)包括以下步骤：

(41)根据候选阈值集中的阈值对跟踪区域图像进行阈值分割，并进行形态学处理，去除掉噪声点的影响；

(42)通过提取阈值分割后的区域轮廓信息确定对应区域的边界信息和面积信息，进行形状、位置的有效性检验，将满足形状、位置条件检验的候选目标中面积最大区域作为最终拟合目标：

长宽比：面积比：

偏移度：

尺度比：

其中，w_i、h_i、s_i、x_max、x_min、y_max、y_min为阈值i对应的目标区域的宽度、高度、面积、右边界横坐标、左边界横坐标、下边界横坐标、上边界横坐标，且x_i＝(x_max+x_min)/2,y_i＝(y_max+y_min)/2；

(43)对跟踪区域进行梯度边缘提取，对目标区域轮廓边界处进行边缘检验：

其中，为轮廓边界坐标值的集合，edge为跟踪区域边缘幅值图；

(44)对内部无边缘区域进行有效性检验：

error_p＝{edge(x_i,y_i)|edge(x_i,y_i)＞30}

size of error_p＜10

其中(x_i,y_i)位于内部无边缘区域；

(45)对外部边缘区域进行有效性检验：

其中(x_i,y_i)为外部边缘区域的边缘点坐标，(c_x,c_y)为区域中心坐标，θ为边缘点对应的相位；

(46)采用迭代最小二乘椭圆拟合的方式对所有有效边缘点进行拟合，得到准确的目标尺寸及中心位置：(a b x₀ y₀)。

4.根据权利要求1所述的基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法，其特征在于，所述步骤(5)包括以下步骤：

(51)根据拟合的目标尺寸位置信息进行图像分辨率调整：

(52)修正预测窗口的中心位置：

win_cx＝x₀grate_x

win_cy＝y₀grate_y。