CN108958296A - 一种无人机自主跟踪方法 - Google Patents

Abstract

本发明涉及一种无人机自主跟踪方法,确保了跟踪的有效性和稳定性。实现了无人机的自主跟踪功能。其基于视觉的无人机跟踪主要需要保证的就是实时性和鲁棒性，实时性是为了确保算法运行速度，保证可以及时提供相关信息控制无人机跟踪目标，鲁棒性是为了保证适应环境的变化，目标外观变化等非固定因素可能造成的跟踪的不利影响。本发明方法图像感知的方式信息采集丰富，具有较大计算量，该发明提供的跟踪算法，完全可以满足无人机跟踪移动目标的实时性要求。同时基于视觉的跟踪对复杂背景，光照变化，以及目标的视角转换等具有良好的适应性，满足无人机跟踪移动目标的鲁棒性要求。

Description

一种无人机自主跟踪方法

技术领域

本发明涉及目标跟踪领域，具体涉及一种无人机自主跟踪方法。

背景技术

四旋翼无人机具有结构简单，成本低廉，灵活机动性好，环境适应能力强，目前应用于众多领域，如：环境监测，军事打击，安保防卫等。在实际应用中，无人机对地面的目标跟踪是无人机的常见任务之一，如利用无人机对犯罪分子进行跟踪监控，跟踪管道监视管道安全等。但是目前无人机的跟踪方法一般是将图像传至地面工作站，地面工作站担任着跟踪，姿态解算等任务，然后将飞行信息传给无人机，使实现对地面目标的跟随飞行。然而这种方法存在着智能性不足，跟踪不稳定。特别是通信网络时延大时，跟踪任务基本宣告失败。因此，为了进一步扩大无人机跟踪应用领域，研究其自主跟踪是尤为必要的。

无人机自主跟踪方式，是地面站确定无人机跟踪目标后，无人机对目标进行自主跟踪。

无人机跟踪方法一般运用的是计算机视觉技术，利用图像传感器进行图像信息的采集，利用计算机视觉技术，对图像进行处理，解算位姿信息，控制无人机进行飞行。但现有的自主跟踪方式存在着下述的问题：1、虽然可以排除网络时延的干扰，但是一般跟踪任务中，跟踪目标通常是运动，因此基于计算机视觉的目标跟踪算法，需要较好的实时性，以保证无人机可以实时的进行飞行跟踪，但是现有算法有些是采用的颜色特征或者形状特征，在背景复杂的环境中，对移动目标的跟踪效果较差，或生成伪目标影响目标跟踪。2、在跟踪过程中，无人机飞行跟踪的过程中，可能出现的目标部分遮挡，光照变化等干扰因素。

发明内容

本发明要提供一种无人机自主跟踪方法，以克服现有技术存在的对移动目标的跟踪效果较差、易生成伪目标影响目标，同时跟踪算法漂移导致最终跟踪失败的问题。

一种无人机自主跟踪方法，包括下述步骤：

步骤一、对采集到的图像进行处理，运用目标跟踪算法对图像进行处理，所述目标跟踪算法的步骤如下：

(1)、算法初始化，初始化分类器和跟踪目标窗口；在此过程中对目标进行正负样本采集，样本的表达形式为一种灰度差异性特征，特征采集表示为：

(2)、对下一帧图像进行样本正负样本采集，利用分类器进行目标和背景的判别，使用kalman滤波器校正目标位置，Kalman滤波器结合现在目标的预测位置和现在目标的测量值，计算可知目标所在位置的最优估算值X(k|k)；

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1)

式中，K_g(k)为Kalman增益。通过Kalman滤波器得到的预测位置后，计算每一个样本与预测位置的距离，将位置距离信息变换为位置权系数加入到分类器中；

(3)、对目标进行第二次尺度变换的正负样本采集，在此位置上进行多个尺度模板的采集，利用分类器再次进行分类，得到最大响应值，更新分类器；

(4)、得到尺度改变后的目标位置后，再次采集正负样本用于更新分类器参数。

步骤二、对连续图像序列上计算目标跟踪目标和图像中心点的像素位置差；

步骤三、通过计算出的图像的位置差按照相应的映射关系计算无人机与目标在真实三维空间中的相对位移：在计算无人机与目标在真实三维空间中的相对位移式，所使用的相机标定坐标系包括：像素坐标系：原点O在图像的左上角，设定原点向右方向为U轴，原点向下放下为V轴；成像平面坐标系：设定坐标系原点O_R为图像中心，即相机的光轴与成像平面的交点，向右为X_R轴，向下为Y_R轴；相机坐标系：坐标系原点O_C为相机光心，X_C轴与Y_C轴平面与镜头面重合且平行于成像平面坐标系与像素坐标系，Z_C轴与光轴方向重合；惯性坐标系：原点O_W为四旋翼无人机云台位置在地面上的投影，机头方向为X_I轴方向，以右手准则确定Y_I轴方向，Z_I轴垂直于地面；坐标系间的坐标转换方法是：利用成像平面坐标系作为转换过程的中间条件，从像素坐标系先转换到成像平面坐标系，然后转换到相机坐标系，最后推导得出惯性坐标系中的坐标；

步骤四、计算出的相对位移相关信息提供给飞行控制模块，进而调整无人机的飞行姿态，最后实现飞行跟随。

上述步骤一，

(1)中，利用压缩感知矩阵对特征维度进行压缩；

式中，y表示标号，y＝1代表正样本即目标，y＝0代表负样本即背景。数学上可证高维的随机向量的随机投影总是符合高斯分布的，因此在分类器H(v)中的条件分布p(v_i|y＝1)和p(v_i|y＝0)符合高斯分布：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，则H(v)最大响应值位置即为理论认为最可能的目标位置；

(2)中，此时分类器表达为：

为了减少误差因素影响，其位置权系数做tanh归一化处理；

(3)中，分类器更新表达为：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，λ为学习速率，λ＞0且为常数，新的学习速率由下式可得：

λ'＝λ/L

式中，L为上一帧和当前帧处理结果的Bhattacharyya距离。

本发明的有益效果：

本发明提供了一种保证实时性的同时具有较好鲁棒性的跟踪算法。确保了跟踪的有效性和稳定性。实现了无人机的自主跟踪功能。基于视觉的无人机跟踪主要需要保证的就是实时性和鲁棒性，实时性是为了确保算法运行速度，保证可以及时提供相关信息控制无人机跟踪目标，鲁棒性是为了保证适应环境的变化，目标外观变化等非固定因素可能造成的跟踪的不利影响。图像感知的方式信息采集丰富，具有较大计算量，该发明提供的跟踪算法，完全可以满足无人机跟踪移动目标的实时性要求。同时基于视觉的跟踪对复杂背景，光照变化，以及目标的视角转换等具有良好的适应性，满足无人机跟踪移动目标的鲁棒性要求。

附图说明

图1是步骤一(1)中利用压缩感知矩阵对特征维度进行压缩的原理示意；

图2是步骤三的坐标系示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

无人机自主跟踪方法流程通常包括下述步骤：无人机采用机载CCD相机进行目标的图像采集，并且通过视觉模块进行无线传输到地面工作站，然后地面工作站在传来的图像中选中图像上要跟踪的目标，接下来由无人机自主飞行跟随目标。

本发明提供的一种无人机自主跟踪方法，包括下述步骤：

步骤一：对采集到的图像进行处理，运用目标跟踪算法对图像进行处理，所述目标跟踪算法的步骤如下：

(1)算法初始化，初始化分类器和跟踪目标窗口；在此过程中对目标进行正负样本采集，样本的表达形式为一种类haar-like特征的CT特征，本质上为一种灰度差异性特征。特征采集可以表示为：

其本质是利用不同长宽的矩形框对图像进行卷积操作；

为了减少计算量，利用压缩感知矩阵对特征维度进行压缩。压缩原理参见图1：图中网格代表随机感知矩阵，黑色块代表矩阵中元素为1，灰色块代表矩阵元素为-1，白色代表矩阵元素为0。降维的结果V是每一个元素是原始特征的的线性组合，物理含义就是不同尺度下的矩阵特征之和。在工程应用中为了进一步加速计算，采用积分图方式计算。利用采集到的并已经进行降维后的特征进行分类器的初始化。分类器基于贝叶斯分类器在线学习思想；

式中，y表示标号，y＝1代表正样本即目标，y＝0代表负样本即背景。数学上可证高维的随机向量的随机投影总是符合高斯分布的，因此在分类器H(v)中的条件分布p(v_i|y＝1)和p(v_i|y＝0)符合高斯分布：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，则H(v)最大响应值位置即为理论认为最可能的目标位置。

(2)对下一帧图像进行样本正负样本采集，利用分类器进行目标和背景的判别，为了进一步提高准确率，减少背景误差引入，使用kalman滤波器校正目标位置。Kalman滤波器结合现在目标的预测位置和现在目标的测量值，计算可知目标所在位置的最优估算值X(k|k)。

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1)

式中K_g(k)为Kalman增益。通过Kalman滤波器得到的预测位置后，计算每一个样本与预测位置的距离，将位置距离信息变换为位置权系数加入到分类器中。此时分类器可表达为：

为了减少误差因素影响，其位置权系数做tanh归一化处理；

对目标进行第二次尺度变换的正负样本采集，此次采集主要是在此位置上进行多个尺度模板的采集，利用分类器再次进行分类。得到最大响应值，即为尺度变换的结果。更新分类器，分类器更新可表达为：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，λ为学习速率，λ＞0且为常数，其大小反应参数更新速度的快慢。为了进一步避免背景误差引入，新的学习速率由下式可得：

λ'＝λ/L

式中，L为上一帧和当前帧处理结果的Bhattacharyya距离。L越大表明两种结果相似，此时需要小的学习速率，L越小表明两种结果差别较大，此时需要大的学习速率。

(4)得到尺度改变后的目标位置后，再次采集正负样本用于更新分类器参数，更新方式如上文所示。

步骤二、对连续图像序列上计算目标跟踪目标和图像中心点的像素位置差；

步骤三、通过计算出的图像的位置差按照相应的映射关系计算无人机与目标在真实三维空间中的相对位移：在计算无人机与目标在真实三维空间中的相对位移式，所使用的相机标定坐标系包括：像素坐标系：原点O在图像的左上角，设定原点向右方向为U轴，原点向下放下为V轴；成像平面坐标系：设定坐标系原点O_R为图像中心，即相机的光轴与成像平面的交点，向右为X_R轴，向下为Y_R轴；相机坐标系：坐标系原点O_C为相机光心，X_C轴与Y_C轴平面与镜头面重合且平行于成像平面坐标系与像素坐标系，Z_C轴与光轴方向重合；惯性坐标系：原点O_W为四旋翼无人机云台位置在地面上的投影，机头方向为X_I轴方向，以右手准则确定Y_I轴方向，Z_I轴垂直于地面；坐标系间的坐标转换方法是：利用成像平面坐标系作为转换过程的中间条件，从像素坐标系先转换到成像平面坐标系，然后转换到相机坐标系，最后推导得出惯性坐标系中的坐标。

步骤四、计算出的相对位移相关信息提供给飞行控制模块，进而调整无人机的飞行姿态，最后实现飞行跟随。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (2)

1.一种无人机自主跟踪方法，其特征在于，包括下述步骤：

步骤一、对采集到的图像进行处理，运用目标跟踪算法对图像进行处理，所述目标跟踪算法的步骤如下：

(1)、算法初始化，初始化分类器和跟踪目标窗口；在此过程中对目标进行正负样本采集，样本的表达形式为一种灰度差异性特征，特征采集表示为：

(2)、对下一帧图像进行样本正负样本采集，利用分类器进行目标和背景的判别，使用kalman滤波器校正目标位置，Kalman滤波器结合现在目标的预测位置和现在目标的测量值，计算可知目标所在位置的最优估算值X(k|k)；

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1)

式中，K_g(k)为Kalman增益。通过Kalman滤波器得到的预测位置后，计算每一个样本与预测位置的距离，将位置距离信息变换为位置权系数加入到分类器中；

(3)、对目标进行第二次尺度变换的正负样本采集，在此位置上进行多个尺度模板的采集，利用分类器再次进行分类，得到最大响应值，更新分类器；

(4)、得到尺度改变后的目标位置后，再次采集正负样本用于更新分类器参数。

步骤二、对连续图像序列上计算目标跟踪目标和图像中心点的像素位置差；

步骤三、通过计算出的图像的位置差按照相应的映射关系计算无人机与目标在真实三维空间中的相对位移：在计算无人机与目标在真实三维空间中的相对位移式，所使用的相机标定坐标系包括：像素坐标系：原点O在图像的左上角，设定原点向右方向为U轴，原点向下放下为V轴；成像平面坐标系：设定坐标系原点O_R为图像中心，即相机的光轴与成像平面的交点，向右为X_R轴，向下为Y_R轴；相机坐标系：坐标系原点O_C为相机光心，X_C轴与Y_C轴平面与镜头面重合且平行于成像平面坐标系与像素坐标系，Z_C轴与光轴方向重合；惯性坐标系：原点O_W为四旋翼无人机云台位置在地面上的投影，机头方向为X_I轴方向，以右手准则确定Y_I轴方向，Z_I轴垂直于地面；坐标系间的坐标转换方法是：利用成像平面坐标系作为转换过程的中间条件，从像素坐标系先转换到成像平面坐标系，然后转换到相机坐标系，最后推导得出惯性坐标系中的坐标；

步骤四、计算出的相对位移相关信息提供给飞行控制模块，进而调整无人机的飞行姿态，最后实现飞行跟随。

2.根据权利要求1所述无人机自主跟踪方法，其特征在于，

上述步骤一，

(1)中，利用压缩感知矩阵对特征维度进行压缩；

式中，y表示标号，y＝1代表正样本即目标，y＝0代表负样本即背景。数学上可证高维的随机向量的随机投影总是符合高斯分布的，因此在分类器H(v)中的条件分布p(v_i|y＝1)和p(v_i|y＝0)符合高斯分布：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，则H(v)最大响应值位置即为理论认为最可能的目标位置；

(2)中，此时分类器表达为：

为了减少误差因素影响，其位置权系数做tanh归一化处理；

(3)中，分类器更新表达为：

式中，表示正样本的第i个特征的均值和，表示正样本的第i个特征的标准差，表示为负样本的第i个特征的均值，表示为负样本的第i个特征的标准差，λ为学习速率，λ＞0且为常数，新的学习速率由下式可得：

λ'＝λ/L

式中，L为上一帧和当前帧处理结果的Bhattacharyya距离。