CN108961311A - 一种双模式的旋翼飞行器目标跟踪方法 - Google Patents

Abstract

本发明公开了一种双模式的旋翼飞行器目标跟踪方法。本发明所设计的系统具有两种跟踪模式，第一种跟踪模式是基于电子标签的追踪模式，在这种模式下，旋翼飞行器能够从较远的范围获取到目标的信息，从而执行跟踪任务，第二种跟踪模式是是基于视觉的追踪模式，旋翼飞行器通过视觉系统获取目标的位置信息，然后通过图像中目标的位置信息计算出目标相对于旋翼飞行器的距离，从而更精准地完成追踪任务。这种双模式跟踪方法与系统采用的目标跟踪算法具有很好的鲁棒性，对于飞行器飞行过程中所产生的抖动以及背景变化具有很好的抵抗效果。通过两种跟踪模式的配合使用，提高了该系统在飞行器目标跟踪领域的实用性。

Description

一种双模式的旋翼飞行器目标跟踪方法

技术领域

本发明涉及旋翼飞行器地面机动目标跟踪领域，具体涉及一种双模式的旋翼飞行器目标跟踪方法。

技术背景

旋翼飞行器是无人飞行器(UAV)的一种，目前已经被广泛地应用在侦察、抢险救灾以及航拍等等任务中。而无人机的智能化是无人机的重要发展方向，无论是在抗灾救援的第一线，无人机到达救援人员难以到达的地方，率先开始搜救任务；还是在滑雪速降的雪道上，无人机跟踪拍摄，记录下完整的过程，无人机都能够更为自主地完成这些困难的任务。所以，本课题对于无人机移动目标追踪问题的研究具有很重要的现实意义。

目前的旋翼飞行器目标跟踪方法的研究，主要集中在基于图像的方面，但是基于图像的追踪，目标必须处在相机的视野内才能够开启追踪，具有应用范围较为狭窄这样的缺陷。如专利CN201710631781.8公布了一种长时稳定无人机目标跟踪方法，但是并没有考虑到目标丢失以及目标不在视野范围内的情况。

而对于图像追踪算法部分，大部分的视觉追踪算法都是在相机静止条件下进行运行，而对于旋翼飞行器的目标跟踪，相机会随时出现晃动，并且还会出现各种的干扰，这种情况下的图像跟踪就会非常困难，对于算法的鲁棒性提出了很高的要求。如CN201710322060.9公布的无人机目标跟踪方法就没有考虑飞行过程中出现背景干扰以及相机晃动带来的问题。

发明内容

为解决现有技术中旋翼飞行器地面机动目标跟踪范围小，且跟踪算法鲁棒性弱的问题，本发明提供一种双模式跟踪的方法，旋翼飞行器在距离目标较远时就能够开始追踪，当目标进入到飞行器所携带的相机载荷的视野范围内时，启用视觉追踪算法，由于算法具有较强的鲁棒性，能够完成很高效的追踪。

为了达到上述目的，本发明采用如下技术方案：

第一步，当旋翼式飞行器在远处开始目标追踪时，开启第一种跟踪模式，通过地面机动目标所携带的电子标签中的GPS定位模块对机动目标的位置进行采集，通过电子标签中的数据处理模块对定位信息进行处理，转化为绝对的经纬度值，再通过无线传输模块将位置信息发送给多旋翼飞行器。

第二步，多旋翼飞行器通过无线接收模块接收到电子标签传送来的地面机动目标的位置信息U(LonU，LatU)，然后在机载信息处理模块中，将位置信息与自身所携带的GPS定位模块解算所得到的经纬度值T(LonT，LatT)进行比对做差。

其中，LonU为目标的经度值，LatU为目标的纬度值，LonT为多旋翼飞行器的经度值，LatT为多旋翼飞行器的纬度值。

第三步，将上一步中最后得到的经纬度差值进行转换计算，最后转换为实际的距离值，转换计算公式为：

将计算所得距离值作为旋翼飞行器的输入值x和y，控制旋翼飞行器朝向目标位置飞行；

第四步，在追踪过程中，相机载荷一直采集图像，并将图像同步传输给机载图像处理模块和地面PC端，通过地面PC端进行人为检查目标是否进入相机视野范围内；

第五步，在目标进入相机视野范围内后，人为通过地面PC端将地面机动目标在图像中框选出来，选框操作完成后，开启第二种跟踪模式。

第六步，在选择框所在的第一帧图像中，在选择框所在的第一帧图像中，将目标区域的数据进行一个循环移位操作，设目标区域中的一个图像单元为X，将其分别向下以及向右平移a和b个单位，从而得到如下移位操作过的的X₁。

X₁＝P^aXP^b

其中，

通过循环移位操作，选择目标区域周围的区域，从而得到搜索区域，这个区域也就是下一帧图像所要进行搜索的范围，a和b根据图像分辨率取值，最终选取目标周围2.5倍的区域作为搜索区域；

然后要对当前帧图像中目标区域进行HOG特征的提取，提取到的特征矩阵为x1，并对特征矩阵x1进行离散傅里叶变换，获得目标在离散傅里叶域下的外观模型x′_t。

x′_t＝F(x₁)

其中，F(x₁)是对x₁进行离散傅里叶变换。

计算目标外观模型的核自相关性K，K＝K(x′_t，x′_t)，计算过程中所使用的核函数为高斯核函数，具体形式为：

其中是的共轭矩阵，是x′_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ²是高斯核带宽，取值为0.5。

利用非线性回归模型，计算滤波参数

α′_t＝(K+λI)^-1y

其中，K＝κ(x′_t，x′_t)，λ是正则化参数，用来防止函数过拟合，y是由对应每个样本的回归值y_i(i＝1，2，3，4，5，6……)组成的列向量，y_i是预先给定的样本回归目标值，是将预先选定的目标位置作为我们的样本回归目标值，来作为回归计算的比较值，也就是上一帧图像中目标所在位置，I是单位矩阵；

更新目标的位置以及滤波参数：

其中，α_t为第t帧图像所对应的时刻的滤波函数，x_t为第t帧图像所对应的时刻的目标位置，β是预设的学习更新参数，决定着对于上一时刻数据的依赖程度，β的取值范围是[0，1]，通常取值0.02，α_t-1为上一时刻的滤波参数，x_t-1为上一时刻目标位置。所述上一时刻即上一帧图像所对应的时刻；对于第一帧图像所对应的来说，α₁根据人为选择的目标区域位置然后带入滤波参数计算公式所得到；x_t为人为选择的目标区域位置；

当下一帧图像进入计算时，通过前一帧图像所在位置确定的搜索区域，在区域内提取HOG特征，提取到的特征矩阵为x₂，对得到特征矩阵x₂进行离散傅里叶变换，获得当前时刻目标的外观模型Z_t；

Z_t＝F(x₂)

其中，F(x₂)是对_x2进行离散傅里叶变换。

计算当前时刻目标的外观模型Zt与上一时刻外观模型x′_t之间的核相关性K^xz＝κ(x′_t，Z_t)。

其中，是的共轭矩阵，是Z_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ是高斯核带宽，取值为0.5。

根据之前所得到的滤波参数计算如下的响应回归函数：

其中，是核相关性K^xz矩阵的第一行元素，F(x)是对x进行离散傅里叶变换。

当前帧目标位置设定为响应函数值中幅值最大的区域，然后根据当前位置，将该位置作为目标中心，重新将目标区域周围选取为下一帧的搜索区域，并且更新滤波参数，然后重复之前的流程。

当目标运动超出图像采集模块视野范围外时，切换到第一种跟踪模式进行跟踪，然后当目标再次进入图像采集模块视野范围内时，重新进行选框操作，再执行第二种跟踪模式。

附图说明

图1是旋翼飞行器地面机动目标跟踪系统的整体结构图；

图2是第一种跟踪模式下的旋翼飞行器地面机动目标跟踪结果图；

图3是视觉追踪算法的算法流程图

图4(a)～图4(i)是第二种跟踪模式下的旋翼飞行器地面机动目标跟踪结果图。

具体实施方案

以下进一步说明本发明的具体内容和其实施方式：

如图1所示，本发明提供的旋翼飞行器地面机动目标跟踪系统包括以下四个主要部分，电子标签，旋翼无人飞行器，PC机以及遥控器。

其中，电子标签包括了无线传输模块1，定位信息处理单元以及GPS；旋翼飞行器上主要搭载了机载信息处理模块，图像采集模块，图像处理模块以及飞行控制模块；PC机上通过无线传输模块3通过无线传输模块4与图像处理模块连接，从而实时与地面PC端传输图像信息；遥控器与飞行控制模块直接相连，遥控器是最高控制权，保证飞行的稳定性。

第一步，当旋翼飞行器在远处开始目标追踪时，开启第一种跟踪模式，通过地面机动目标所携带的电子标签中的GPS定位模块对机动目标的位置进行采集，通过电子标签中的数据处理模块对定位信息进行处理，转化为绝对的经纬度值，再通过无线传输模块1将位置信息发送给多旋翼飞行器。

第二步，多旋翼飞行器通过无线接收模块2接收到电子标签传送来的地面机动目标的位置信息U(LonU，LatU)，然后在机载信息处理模块中，将位置信息与自身所携带的GPS定位模块解算所得到的经纬度值T(LonT，LatT)进行比对做差。

其中，LonU为目标的经度值，LatU为目标的纬度值，LonT为多旋翼飞行器的经度值，LatT为多旋翼飞行器的纬度值。

第三步，将上一步中最后得到的经纬度差值进行转换计算，最后转换为实际的距离值，转换计算公式为：

将计算所得距离值作为旋翼飞行器的输入值x和y，控制旋翼飞行器朝向目标位置飞行；其中第一种跟踪模式下的地面移动目标跟结果如图2所示。

第四步，在追踪过程中，旋翼飞行器上所搭载的图像采集模块也会一直采集图像，并将图像传输给图像处理模块，另一方面，通过无线传输模块4传输给地面PC端，PC端通过无线传输模块3进行接收，而地面监控人员通过人为检查目标是否进入图像采集模块视野范围内。

第五步，在目标进入图像采集模块视野范围内后，人为通过PC端将地面机动目标在图像中框选出来，如图4(a)所示，选框操作完成后，开启第二种跟踪模式。

目标跟踪算法流程参考图3所示。

第六步，在选择框所在的第一帧图像中，在选择框所在的第一帧图像中，将目标区域的数据进行一个循环移位操作，设目标区域中的一个图像单元为X，将其分别向下以及向右平移a和b个单位，从而得到如下移位操作过的的X₁。

X₁＝P^aXP^b

其中，

通过循环移位操作，选择目标区域周围的区域，从而得到搜索区域，这个区域也就是下一帧图像所要进行搜索的范围，a和b根据图像分辨率取值，最终选取目标周围2.5倍的区域作为搜索区域；如图4(a)所示，白色框为目标所在位置，黑色框为搜索区域。并且，将选定的目标区域作为正样本，搜索区域内的其他区域作为负样本。

然后要对当前帧图像中目标区域进行HOG特征的提取，提取到的特征矩阵为x₁，并对特征矩阵x₁进行离散傅里叶变换，获得目标在离散傅里叶域下的外观模型x′_t。

x′_t＝F(x₁)

其中，F(x₁)是对x₁进行离散傅里叶变换。

计算目标外观模型的核自相关性K，K＝κ(x′_t，x′_t)，计算过程中所使用的核函数为高斯核函数，具体形式为：

其中是的共轭矩阵，是x′_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ²是高斯核带宽，取值为0.5。

利用非线性回归模型，计算滤波参数

α′_t＝(K+λI)^-1y

其中，K＝κ(x′_t，x′_t)，λ是正则化参数，用来防止函数过拟合，y是由对应每个样本的回归值y_i(i＝1，2，3，4，5，6……)组成的列向量，y_i是预先给定的样本回归目标值，是将预先选定的目标位置作为我们的样本回归目标值，来作为回归计算的比较值，也就是上一帧图像中目标所在位置，I是单位矩阵；

更新目标的位置以及滤波参数：

其中，α_t为第t帧图像所对应的时刻的滤波函数，x_t为第t帧图像所对应的时刻的目标位置，β是预设的学习更新参数，决定着对于上一时刻数据的依赖程度，β的取值范围是[0，1]，通常取值0.02，α_t-1为上一时刻的滤波参数，x_t-1为上一时刻目标位置。所述上一时刻即上一帧图像所对应的时刻；对于第一帧图像所对应的来说，α₁根据人为选择的目标区域位置然后带入滤波参数计算公式所得到；x_t为人为选择的目标区域位置；

当下一帧图像进入计算时，通过前一帧图像所在位置确定的搜索区域，在区域内提取HOG特征，提取到的特征矩阵为x₂，对得到特征矩阵x₂进行离散傅里叶变换，获得当前时刻目标的外观模型Z_t；

Z_t＝F(x₂)

其中，F(x₂)是对x₂进行离散傅里叶变换。

计算当前时刻目标的外观模型Z_t与上一时刻外观模型x′_t之间的核相关性K^xz＝κ(x′_t，Z_t)。

其中，是的共轭矩阵，是Z_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ是高斯核带宽，取值为0.5。

根据之前所得到的滤波参数计算如下的响应回归函数：

其中，是核相关性K^xz矩阵的第一行元素，F(x)是对x进行离散傅里叶变换。

当前帧目标位置设定为响应函数值中幅值最大的区域，然后根据当前位置，将该位置作为目标中心，重新将目标区域周围选取为下一帧的搜索区域，并且更新滤波参数，然后重复之前的流程。

当目标运动超出图像采集模块视野范围外时，切换到第一种跟踪模式进行跟踪，然后当目标再次进入图像采集模块视野范围内时，重新进行选框操作，再执行第二种跟踪模式。第二种跟踪模式下的跟踪结果如图4(a)-4(i)。

图4(a)-4(i)表明第二种跟踪模式能够很好的完成对于目标的跟踪任务，并且对于旋翼飞行器晃动等干扰能够有很好的抑制效果。从图4(g)-4(i)可以看出，在背景出现干扰，且干扰进入搜索区域时，算法仍然能够保持很好的跟踪效果。

当目标运动超出图像采集模块视野范围外时，切换到第一种跟踪模式进行跟踪，然后当目标再次进入图像采集模块视野范围内时，重新进行选框操作，再执行第二种跟踪模式。

Claims (4)

1.一种双模式的旋翼飞行器目标跟踪方法，具体步骤如下：

第一步，当旋翼式飞行器在远处开始目标追踪时，开启第一种跟踪模式，通过地面机动目标所携带的电子标签中的GPS定位模块对机动目标的位置进行采集，通过电子标签中的数据处理模块对定位信息进行处理，转化为绝对的经纬度值，再通过无线传输模块将位置信息发送给多旋翼飞行器。

第二步，多旋翼飞行器通过无线接收模块接收到电子标签传送来的地面机动目标的位置信息U(LonU，LatU)，然后在机载信息处理模块中，将位置信息与自身所携带的GPS定位模块解算所得到的经纬度值T(LonT，LatT)进行比对做差。

其中，LonU为目标的经度值，LatU为目标的纬度值，LonT为多旋翼飞行器的经度值，LatT为多旋翼飞行器的纬度值。

第三步，将上一步中最后得到的经纬度差值进行转换计算，最后转换为实际的距离值，转换计算公式为：

将计算所得距离值作为旋翼飞行器的输入值x和y，控制旋翼飞行器朝向目标位置飞行；

第四步，在追踪过程中，相机载荷一直采集图像，并将图像同步传输给机载图像处理模块和地面PC端，通过地面PC端进行人为检查目标是否进入相机视野范围内；

第五步，在目标进入相机视野范围内后，人为通过地面PC端将地面机动目标在图像中框选出来，选框操作完成后，开启第二种跟踪模式。

第六步，

1)在选择框所在的第一帧图像中，在选择框所在的第一帧图像中，将目标区域的数据进行一个循环移位操作，最终选取目标周围2.5倍的区域作为搜索区域；

2)对当前帧图像中目标区域进行HOG特征的提取，提取到的特征矩阵为x₁，并对特征矩阵x₁进行离散傅里叶变换，获得目标在离散傅里叶域下的外观模型x＇_t；

x＇_t＝F(x₁)

其中，F(x₁)是对x₁进行离散傅里叶变换；

3)计算目标外观模型的核自相关性K

4)利用非线性回归模型，计算滤波参数

α＇_t＝(K+λI)^-1y

其中，K＝κ(x＇_t,x＇_t)，λ是正则化参数，用来防止函数过拟合，y是由对应每个样本的回归值y_i(i＝1，2，3，4，5，6……)组成的列向量，y_i是预先给定的样本回归目标值，是将预先选定的目标位置作为我们的样本回归目标值，来作为回归计算的比较值，也就是上一帧图像中目标所在位置，I是单位矩阵；

5)更新目标的位置以及滤波参数：

其中，α_t为第t帧图像所对应的时刻的滤波函数，x_t为第t帧图像所对应的时刻的目标位置，β是预设的学习更新参数，决定着对于上一时刻数据的依赖程度，β的取值范围是[0,1]，通常取值0.02，α_t-1为上一时刻的滤波参数，x_t-1为上一时刻目标位置。所述上一时刻即上一帧图像所对应的时刻；对于第一帧图像所对应的来说，α₁根据人为选择的目标区域位置然后带入滤波参数计算公式所得到；x_t为人为选择的目标区域位置；

6)当下一帧图像进入计算时，通过前一帧图像所在位置确定的搜索区域，在区域内提取HOG特征，提取到的特征矩阵为x₂，对得到特征矩阵x₂进行离散傅里叶变换，获得当前时刻目标的外观模型Z_t；

Z_t＝F(x₂)

其中，F(x₂)是对x₂进行离散傅里叶变换；

7)计算当前时刻目标的外观模型Z_t与上一时刻外观模型x_t＇之间的核相关性K^xz；

8)根据之前所得到的滤波参数计算如下的响应回归函数：

其中，是核相关性K^xz矩阵的第一行元素，F(x)是对x进行离散傅里叶变换；

9)当前帧目标位置设定为响应函数值中幅值最大的区域，然后根据当前位置，将该位置作为目标中心，重新将目标区域周围选取为下一帧的搜索区域，并且更新滤波参数，然后重复之前的流程。

10)当目标运动超出图像采集模块视野范围外时，切换到第一种跟踪模式进行跟踪，然后当目标再次进入图像采集模块视野范围内时，重新进行选框操作，再执行第二种跟踪模式。

2.根据权利要求1所述的一种双模式的旋翼飞行器目标跟踪方法，其特征在于，第六步中在选择框所在的第一帧图像中，在选择框所在的第一帧图像中，将目标区域的数据进行一个循环移位操作，设目标区域中的一个图像单元为X，将其分别向下以及向右平移a和b个单位，从而得到如下移位操作过的的X₁。

X₁＝P^aXP^b

其中，

通过循环移位操作，选择目标区域周围的区域，从而得到搜索区域，这个区域也就是下一帧图像所要进行搜索的范围，a和b根据图像分辨率取值，最终选取目标周围2.5倍的区域作为搜索区域。

3.根据权利要求1所述的一种双模式的旋翼飞行器目标跟踪方法，其特征在于，第六步中计算目标外观模型的核自相关性K方法如下：

K＝κ(x＇_t,x＇_t)，计算过程中所使用的核函数为高斯核函数，具体形式为：

其中是的共轭矩阵，是x＇_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ²是高斯核带宽，取值为0.5。

4.根据权利要求1所述的一种双模式的旋翼飞行器目标跟踪方法，其特征在于，第六步中计算时刻目标的外观模型Z_t与上一时刻外观模型x＇_t之间的核相关性K^xz的计算过程中所使用的核函数为高斯核函数，具体形式为：

其中，是的共轭矩阵，是Z_t经过离散傅里叶变换得到的，F^-1是离散傅里叶逆变换，σ是高斯核带宽，取值为0.5。