CN106886748B - 一种基于tld的适用于无人机的变尺度目标跟踪方法 - Google Patents

Abstract

本发明属于图像处理、计算机视觉领域，具体涉及一种基于TLD的适用于无人机的变尺度目标跟踪方法。采用跟踪‑学习‑检测框架的设计思路，跟踪器采用中值光流跟踪器，检测器采用归一化相关检测器，学习器则采用改进的kNN检测器。基于无人机侦查视频序列的特点和难点，统筹算法的性能和适应性，融合中值光流法以及相关跟踪算法的优点，提出一种基于TLD框架下的适用于无人机的目标跟踪算法，解决了无人机视频处理系统目标跟踪的在目标给定不明确时目标鲁棒跟踪问题、待跟踪目标像素数较少，纹理不明显、目标外形姿态角度及尺度变化明显和跟踪处理的实时性问题。

Description

一种基于TLD的适用于无人机的变尺度目标跟踪方法

技术领域

本发明主要属于图像处理、计算机视觉领域，具体涉及一种基于TLD的适用于无人机的变尺度目标跟踪方法。

背景技术

目标跟踪技术在军用无人机作战侦察，精确打击领域均有广泛的应用，也为目标定位，毁伤评估等情报处理功能提供技术支持。准确性强，鲁棒性高的目标跟踪算法，可以有效减轻地面操作人员的负担，提高快速响应作战能力以及系统侦查能力。

目前工程运用中，运用最多的即为相关跟踪算法，该算法易于硬件实现，简单有效，处理速度也很可观，但算法鲁棒性不强，且不能对目标尺度变化及遮挡情况进行判断和捕捉。此外一些其他的较为常用的目标跟踪算法有中值光流法，TLD(Tracking-Learning-Detection)算法，LCT(Long-term Correlation Tracking)算法等。中值光流法是对传统LK光流法的改进，通过正反双向应用光流法提高光流跟踪的精度，但在视频抖动时误差较大。TLD算法通过在线学习的方式，采用PN学习的策略结合中值光流法和在线级联分类器，可实现长时间目标跟踪，但跟踪效率低，320*240分辨率大小的图像在后期的处理速度仅为5fps。LCT算法通过在高速相关跟踪的基础上，通过设立外观模型进行遮挡判断检测，在线SVM分类器进行目标重捕，也可实现对目标的长时间跟踪，目标丢失后的重捕准确率较TLD算法不足，实时性有所提高，每秒可达10fps左右。

以上算法在日常监控领域均取得了很好的跟踪效果，但是在无人机侦查处理系统中，由于航拍时种种条件的限制无法获得较好的推广和应用。

在无人机视频处理系统中目标跟踪技术主要面临以下问题：

1)目标指定方式，无人机侦察时往往操作时只能点选目标的大概位置，无法给定准确的目标矩形框；

2)无人机航拍视频中，目标所占像素数不足，且在整个画面中比例较小，纹理特征不明显；

3)无人机航拍视频中，由于拍摄图像受载荷及飞机姿态的影响，导致目标角度尺度变化明显。

4)在现有硬件处理基础上，如何保证跟踪实时性；

发明内容

基于上述问题，本发明提供一种基于TLD框架下的适用于无人机的目标跟踪方法，基于无人机侦查视频序列的特点和难点，统筹算法的性能和适应性，融合中值光流法以及相关跟踪算法的优点，解决了无人机视频处理系统目标跟踪的诸多问题。

本发明是通过以下技术方案实现的：

一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器，学习器基于kNN分类器；所述目标跟踪方法包括以下步骤：

(1)初始化跟踪器、检测器及学习器；

(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果，跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败；

(3)检测器采用以目标为模板，利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；

(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标进行匹配得出归一化相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；

(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；

(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪。

进一步地，步骤(3)具体为：

对模板图像进行延拓、滤波，再将其与输入图像做卷积运算，卷积计算结果做逆傅里叶变换，利用归一化相关算法获得整幅图像各个点的归一化相关系数，最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果；

对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致。

进一步地，步骤(5)具体为：

将每帧目标最终结果作为正样本模型，将所有正样本模型的图像大小缩放至同一大小；

同时分别设立不同角度的正样本模型，即以初始帧为0度，对正样本模型进行放射变换，每隔θ度为一组，得到360/θ组正样本模型；θ为360的约数；优选地，θ为30。

选取上一帧远离目标区域的N个图像块作为负样本模型，同样将负样本模型的图像大小缩放至与正样品模型的图像大小一致；N取150-300；优选地，N取200；

所述学习器基于kNN分类器,计算待比对图像同正样本模型和负样本模型的归一化相关系数,依据归一化相关系数排序，取其中最高的k个样本模型，k为奇数；

如果样品类别中正样本模型数目大于负样本模型数目，则表明待检测图像为目标，否则认为待检测图像为干扰区域；

在确定待检测图像为目标后，比对相邻两组正样本模型，计算其归一化相关系数，选择归一化相关系数最大者组别的角度定为目标当前旋转角度；

以待检测图像中心为中心，分别取大小为待检测图像不同倍数(γ₁，γ₂，γ₃)区域作为新的待检测图像计算其在正样本模型中的归一化相关系数，选择归一化相关系数最大者作为最终结果，并获得此时倍数γ作为目标缩放系数，γ为γ₁、γ₂、γ₃其中之一；γ₁、γ₂、γ₃分别取1.05～1.2、1、0.8～0.95。优选地，γ₁、γ₂、γ₃分别取1.1、1、0.9。

进一步地，步骤(4)具体为：

若跟踪器和检测器均成功，判断两者跟踪结果是否近似相同；

所述近似相同是指目标跟踪结果的矩形框与目标检测结果的矩形框的重载率>a或两矩形框的中心点距离小于d；所述重载率即两矩形框的重载率为其交集与其并集的比；

学习器根据kNN分类器计算待匹配样本同正样本模型中的最大相关系数即匹配率，同时判断是否发生遮挡；

若近似相同，取匹配率较高的结果作为目标最终结果，同时更新最近邻检测器；

若重载率<b，则认为两者检测结果不同，此时取匹配率较高同时kNN分类器判断未被遮挡的结果为目标最终结果；

若重载率大于b但小于a时，取目标跟踪结果与目标检测结果的均值作为目标最终结果；

若跟踪器和检测器仅有一个成功，则使用kNN分类器对结果判断，未被遮挡则作为目标最终结果；

其中，a取0.5-0.8；b取0.2-0.4；d取3-6个像素。优选地，a取0.7，b取0.4，d取4个像素。

进一步地，步骤(2)具体为：

在图像中生成一系列待跟踪点，首先进行一次金字塔光流跟踪；

再生成目标跟踪点后，再将当前帧作为初始帧，反向跟踪；

取所有跟踪点的位置与原始跟踪点的位置偏差的均值为middleError,如果得到跟踪点的位置与原始跟踪点偏差>middleError则认为跟踪不准确，将跟踪准确的跟踪点组合到一起，并由初始位置预测得到当前帧目标的位置即目标跟踪结果；

当跟踪准确点的数目小于所有跟踪点数目的一半时，则判断跟踪失败。

进一步地，归一化相关系数的计算公式如下：

其中：

T'(x',y')＝T(x',y')-1/(w·h)·∑_x”y”T(x”,y”)

I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑_x”y”I(x+x”,y+y”)；

w和h分别表示模板图像的宽和高，R(x,y)为模板图像在(x,y)位置的归一化相关系数，且0≤R(x,y)≤1；

若检测区域内最大归一化相关系数R_max(x,y)<0.5，则认为检测失败。

本发明的有益技术效果：

1)本发明运行效率高，在i7-4790处理器，8GB内存条件下，运行速度可达15ms/帧～50ms/帧，可以进行实时处理。

2)本发明通过融合归一化相关检测算法，有效避免了因初始目标框给定不准确时得到跟踪结果易漂移的问题。

3)本发明通过引入中值光流法，有效的解决了在目标角度和尺度变化时跟踪结果易漂移的问题。

4)本发明通过融合算法的有效性，有效融合跟踪器和检测器的结果，保证了跟踪的稳定性。

附图说明

图1、TLD框架下的算法工作框图；

图2、检测器相关检测算法示意图；

图3、重载率示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器；所述目标跟踪方法包括以下步骤：

(1)初始化跟踪器、检测器及学习器；

(2)跟踪器在图像中生成一系列待跟踪点，首先进行一次金字塔光流跟踪；

再生成目标跟踪点后，再将当前帧作为初始帧，反向跟踪；

取所有跟踪点的位置与原始跟踪点的位置偏差的均值为middleError,如果得到跟踪点的位置与原始跟踪点偏差>middleError，则认为跟踪不准确，将跟踪准确的跟踪点组合到一起，并由初始位置预测得到当前帧目标的位置即目标跟踪结果；

当跟踪准确点的数目小于所有跟踪点数目的一半时，则判断跟踪失败。

(3)检测器采用以目标为模板，对搜索区域进行相关运算，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；

对模板图像进行延拓、滤波，再将其与输入图像做卷积运算，卷积计算结果做逆傅里叶变换，利用归一化相关算法获得整幅图像各个点的归一化相关系数，最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果；

对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致。

(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标进行匹配得出相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；

若跟踪器和检测器均成功，判断两者跟踪结果是否近似相同；

所述近似相同是指目标跟踪结果的矩形框与目标检测结果的矩形框的重载率>0.7或两矩形框的中心点距离小于4个像素；所述重载率即两矩形框的重载率为其交集与其并集的比；

根据kNN分类器计算待匹配样本同正样本模型中的最大相关系数(匹配率)，同时判断是否发生遮挡。

若近似相同，取匹配率较高的结果作为目标最终结果，同时更新最近邻检测器；

若重载率<0.4，则认为两者检测结果不同，此时取匹配率较高同时kNN分类器判断未被遮挡的结果为目标最终结果；

若重载率大于0.4但小于0.7时，取目标跟踪结果与目标检测结果的均值作为目标最终结果；

若跟踪器和检测器仅有一个成功，则使用kNN分类器对结果判断，未被遮挡则作为目标最终结果。

归一化相关系数的计算公式如下：

其中：

T'(x',y')＝T(x',y')-1/(w·h)·∑_x”y”T(x”,y”)

I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑_x”y”I(x+x”,y+y”)；

w和h分别表示模板图像的宽和高，R(x,y)为模板图像在(x,y)位置的归一化相关系数表征模板图像同匹配区域的相关程度，且0≤R(x,y)≤1；，T(x',y')表示模板图像在(x',y')的像素值，I(x,y)表示输入图像在(x,y)位置的像素值。

(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；

将每帧目标最终结果作为正样本模型，将正样本模型的图像大小归一化至15*15；

同时分别设立不同角度的正样本模型，即以初始帧为0度，对正样本模型进行放射变换，每隔30度为一组，得到12组正样本模型；

选取上一帧远离目标区域的200个图像块作为负样本模型，同样将负样本模型的图像大小归一化至15*15；

计算待比对图像同正样本模型和负样本模型的归一化相关系数，取其中最高的k个，如果其中正样本模型数目大于负样本模型数目，则表明待检测图像为目标，否则认为待检测图像为干扰区域；

在确定待检测图像为目标后，比对相邻两组正样本模型，计算其归一化相关系数，选择归一化相关系数最大者组别的角度定为目标当前旋转角度；

以待检测图像中心为中心，分别取大小为待检测图像1.1、1或0.9倍数区域作为新的待检测图像计算其在正样本模型中的归一化相关系数，选择归一化相关系数最大者作为最终结果，并获得此时倍数作为目标缩放系数。

归一化相关算法的计算公式如下：

其中：

T'(x',y')＝T(x',y')-1/(w·h)·∑_x”y”T(x”,y”)

I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑_x”_y”I(x+x”,y+y”)；

w和h分别表示模板图像的宽和高，R(x,y)为模板图像在(x,y)位置的归一化相关系数，且0≤R(x,y)≤1；

若检测区域内最大归一化相关系数R_max(x,y)<0.5，则认为检测失败。

(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪。

模板更新时，以学习器整合得到的最终精确结果进行更新，如下式所示：

T_new＝α·T_old·γ+(1-α)·Result；

其中T_new表示最新相关检测应用的模板，T_old表示上一时刻模板，γ表示由学习器得到的缩放倍率，Result表示当前跟踪结果。α表示更新速率。

Claims (7)

1.一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器，所述学习器基于kNN分类器；其特征在于，所述目标跟踪方法包括以下步骤：

(1)初始化跟踪器、检测器及学习器；

(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果，跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败；

(3)检测器采用以目标为模板，利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；

(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标利用归一化相关算法进行匹配得出归一化相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；

(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；

(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪；

步骤(3)具体为：

对模板图像进行延拓、滤波，再将其与输入图像做卷积运算，卷积计算结果做逆傅里叶变换，进而获得整幅图像各个点的归一化相关系数，所述归一化相关系数通过计算归一化相关算法获得；

最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果；

对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致；

步骤(5)具体为：

将每帧目标最终结果作为正样本模型，将正样本模型的所有图像的大小缩放至大小一致；

同时分别设立不同角度的正样本模型，即以初始帧为0度，对正样本模型进行放射变换，每隔θ度为一组，得到360/θ组正样本模型；

θ取360的约数，θ越大则角度处理效果越差，越小则实时性越差；

选取上一帧远离目标区域的N个图像块作为负样本模型，同样将负样本模型的图像大小缩放至与正样品模型图像的大小一致；N取150-300；

所述学习器基于kNN分类器,计算待比对图像同正样本模型和负样本模型的归一化相关系数,依据归一化相关系数排序，取其中最高的k个样本模型，k为奇数；

如果k个样本模型中正样本模型数目大于负样本模型数目，则表明待检测图像为目标，否则认为待检测图像为干扰区域；

在确定待检测图像为目标后，比对相邻两组正样本模型，计算其归一化相关系数，选择归一化相关系数最大者组别的角度定为目标当前旋转角度；

以待检测图像中心为中心，分别取大小为待检测图像不同倍数γ1、γ2、γ3区域作为新的待检测图像计算其在正样本模型中的归一化相关系数，选择归一化相关系数最大者作为最终结果，并获得此时倍数γ作为目标缩放系数，γ为γ1、γ2、γ3其中之一；

γ1、γ2、γ3分别取1.05～1.2、1、0.8～0.95。

2.如权利要求1所述目标跟踪方法，其特征在于，步骤(4)具体为：

若跟踪器和检测器均成功，判断两者跟踪结果是否近似相同；

所述近似相同是指目标跟踪结果的矩形框与目标检测结果的矩形框的重载率>a或两矩形框的中心点距离小于d；

所述重载率即两矩形框的重载率为其交集与其并集的比；

学习器根据kNN分类器计算待匹配样本同正样本模型中的最大相关系数，所述最大相关系数即为匹配率，同时判断是否发生遮挡；

若近似相同，取匹配率较高的结果作为目标最终结果，同时更新最近邻检测器；

若重载率<b，则认为两者检测结果不同，此时取匹配率较高同时kNN分类器判断未被遮挡的结果为目标最终结果；

若重载率大于b但小于a时，取目标跟踪结果与目标检测结果的均值作为目标最终结果；

若跟踪器和检测器仅有一个成功，则使用kNN分类器对结果判断，未被遮挡则作为目标最终结果；

其中，a取0.5-0.8；b取0.2-0.4；d取3-6个像素。

3.如权利要求1所述目标跟踪方法，其特征在于，步骤(2)具体为：

在图像中生成一系列待跟踪点，首先进行一次金字塔光流踪；

再生成目标跟踪点后，再将当前帧作为初始帧，反向跟踪；

取所有跟踪点的位置与原始跟踪点的位置偏差的均值为middleError，如果得到跟踪点的位置与原始跟踪点偏差>middleError，则认为跟踪不准确，将跟踪准确的跟踪点组合到一起，并由初始位置预测得到当前帧目标的位置即目标跟踪结果；

当跟踪准确点的数目小于所有跟踪点数目的一半时，则判断跟踪失败。

4.如权利要求1所述目标跟踪方法，其特征在于，归一化相关算法的计算公式如下：

其中：

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑x″y″T(x″，y″)

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑x″y″I(x+x″，y+y″)；

w和h分别表示模板图像的宽和高，T(x′，y′)表示模板图像在(x',y')的像素值，I(x,y)表示输入图像在(x,y)位置的像素值，R(x,y)为模板图像在(x,y)位置的归一化相关系数，表征模板图像同匹配区域的相关程度即匹配率，且0≤R(x,y)≤1；

若检测区域内最大归一化相关系数R max(x,y)＜0.5，则认为检测失败。

5.如权利要求1所述目标跟踪方法，其特征在于，γ1、γ2、γ3分别取1.1、1、0.9。

6.如权利要求1所述目标跟踪方法，其特征在于，θ为30。

7.如权利要求2所述目标跟踪方法，其特征在于，a取0.7；b取0.4；d取4。

Images