CN109584264A - 一种基于深度学习的无人机视觉引导空中加油方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机视觉引导空中加油方法，属于导航定位与控制的技术领域。本方法包括如下步骤：一：采用帧间差分方法，根据目标相对背景移动识别并跟踪动目标；二：采用深度学习目标检测Faster RCNN方法，根据目标相对背景移动识别并跟踪动目标；三：驱动云台跟踪目标，使目标一直处于图像的中心。本发明通过帧间差分与改进的目标检测算法Faster RCNN相结合的方式来对无人机进行跟踪，针对原有算法框架进行了改进，提高了检测精度与测试速度，实现空中加油过程对加油机和锥套的快速检测与跟踪。

Description

一种基于深度学习的无人机视觉引导空中加油方法

技术领域

本发明公开了一种基于深度学习的无人机视觉引导空中加油方法，属于导航定位与控制技术领域。

背景技术

空中加油技术是增大飞机作战半径、提高载弹量、解决起飞重量与飞行性能矛后的重要手段，历来受到航空发达国家的高度重视。自上世纪五十年代首次提出空中加油以来，人工操纵的空中加油技术已比较成熟，但人工操纵的空中加油技术效率较低、对飞行员的驾驶技术要求很高，易受驾驶员心理、生理以及技术战术状态的影响，迫切需要开展自动空中加油技术的研究。

空中加油技术主要分为两种，分别为软管锥套式空中加油(Probe and DrogueRefueling，PDR)和硬管式空中加油(Flying Boom Refueling，FBR)，而在最终的进近对接段都需要精度高和更新速率快的传感器获得加油机与受油机的相对位置。诸如激光、雷达、GPS等传感器已经被应用于自主空中加油系统中，但都或多或少的存在着缺陷，单一的传感器很难满足空中加油对接段的要求。例如，GPS信号并不能覆盖世界的各个角落，且当加油机与受油机对接时，锥套与加油机的相对位置不固定，锥套的下垂高度与加油机飞行速度有关，并且加油锥套和加油软管均受到气流的干扰，而真实的加油锥套上无法安装GPS天线，此外GPS系统的带宽不一定能满足高速对接下的频率要求；激光和雷达容易受到外界环境的干扰，获得的信号可靠性不足。因此需要通过其他传感器测量方式获得受油机与加油锥套的准确相对位置。

计算机视觉技术是一种先进的被动式测量或感知技术，无需在测量目标上安装传感器实物或天线，仅需要将标定过的相机安装在受油机上，通过一定的计算机视觉处理便可以得到受油机与加油锥套的精确相对位置信息。

发明内容

为了解决现有的无人机空中加油引导方法所存在的一些不足，本发明提出了一种基于深度学习的无人机视觉引导空中加油方法，通过帧间差分与改进的目标检测算法Faster RCNN相结合的方式，依靠视觉传感器检测加油无人机和加油锥套，提高了检测精度与测试速度，实现空中加油过程对受油管和锥套的快速检测与跟踪。

本发明为解决其技术问题采用如下技术方案：

一种基于深度学习的无人机视觉引导空中加油方法，包括如下步骤：

步骤一：采用帧间差分方法，根据目标相对背景移动识别并跟踪动目标；

步骤二：采用深度学习目标检测Faster RCNN方法，根据目标相对背景移动识别并跟踪动目标；

步骤三：驱动云台跟踪目标，使目标一直处于图像的中心。

步骤一的具体过程如下：

当加油机刚进入相机视野中时，目标较小，取图像的上半部分将地面的复杂背景去除，在作差之后，采用膨胀操作增强目标。

步骤二的具体过程如下：

步骤2.1：利用Focal loss(焦点损失)改进Faster RCNN算法；

步骤2.2：针对单目标识别算法改进实时性；

步骤2.3：切换跟踪对像。

步骤2.2的具体过程如下：

(1)我们根据实际的使用场景改进Faster RCNN算法

我们识别的目标是单目标，只取置信度最高的bounding box为目标；

(2)设定感兴趣区域

当检测算法连续5帧正确的识别到目标，则根据当前帧中目标的位置设定下一帧的ROI；

利用运动的连续性，我们将当前帧ROI的中心设置在上一帧bounding box的左上角。

步骤三的具体过程如下：

云台搭载摄像机放置在受油机前端，相机捕捉到图像后发送给导航计算机解算，根据解算值驱动云台跟踪目标，使目标一直处于图像的中心；根据云台的俯仰角、航向角和云台间的距离，经过几何关系解析确定无人机和理想加油点的空间相对位置关系，将位置信息通过数传模块发送给飞控系统，最终引导无人机沿着期望轨迹完成对接。

本发明的有益效果如下：

本发明提出一种帧间差分算法与改进的目标检测Faster-RCNN(Faster-Regionswith Convolution Neural Network Features,基于区域的卷积神经网络)算法相结合的方式，利用视觉传感器增强加油过程的抗干扰性。在无人机较远时，目标背景单一，目标较小，采用相对简单的帧间差分算法可以有效的跟踪无人机。当无人机接近后，采用深度学习检测算法Faster-RCNN目标检测算法对无人机进行跟踪，提高了空中加油过程中检测的精度和实时性。

附图说明

图1为本发明整体实现流程图。

图2为本发明帧间差分算法检测目标的流程图。

图3为本发明搜索当前帧的邻域搜索示意图。

图4为本发明表示切换期望跟踪目标示意图。

图5为本发明视觉导航系统工作流程。

图6为本发明像素坐标系与图像坐标系示意图。

图7为本发明相机坐标系与世界坐标系示意图。

图8为本发明相机成像模型示意图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

图1为本发明整体实现流程图。

步骤1：采用帧间差分方法，根据目标相对背景移动识别并跟踪动目标。

当加油机刚进入相机视野中时，目标较小，使用基于特征提取的目标检测算法很困难，而此时背景单一，只有天空，取图像的上半部分可以将地面的复杂背景去除，帧间差分阶段检测出来的目标较小，所以在作差之后，目标需要被增强。采用膨胀操作来增强目标。膨胀是图像形态学的一种操作，它将图像整体或其中的一个区域用一个独特设计的核以卷积的方式进行运算。核可以有任意设计,多数情况下为实心正方形或圆形。通过卷积运算，可以将卷积核中的像素最大值赋值给选定的图像区域，从而使得选定区域中高亮区域得到扩张。

图2为帧间差分算法检测目标的流程图。

步骤2：采用深度学习目标检测Faster RCNN方法，根据目标相对背景移动识别并跟踪动目标。

一旦Faster RCNN正确识别到目标(连续5帧两个算法检测的目标中心在一定的阈值内)则将识别算法的决定权交给Faster RCNN。

步骤2.1：针对单目标识别算法改进实时性

(1)空中加油属于基于视频的阶段性单目标识别/跟踪问题。我们根据实际的使用场景改进Faster RCNN算法。

Faster RCNN可以识别多目标，因此在输出图片中会看到多个bounding box(包围框)。此处需要解释源码中的一个参数：CONF_THRESH，这个参数是输出bounding box的得分阈值，即只有bounding box的得分超过此阈值，才认为是目标。由于我们识别的目标是单目标，所以只取置信度最高的bounding box为目标。如果当前帧没有找到，则使用上一帧目标。

(2)设定感兴趣区域

真实世界中的物体在空间中总是倾向于连续运动的。这意味着一个跟踪器可以根据之前的结果来预测当前目标的大致位置。这个思想对于视频序列的目标跟踪尤为重要。当检测算法连续5帧正确的识别到目标，则根据当前帧中目标的位置设定下一帧的ROI(Region of Interest，感兴趣区域)。

利用运动的连续性，我们将当前帧ROI的中心设置在上一帧bounding box的左上角:

ROI＝frame[y-kh:y+kh,x-kw,x+kw] (1)

其中w和h是上一帧bounding box的宽和高，k为比例因子，x为上一帧boundingbox的左上角的横坐标，y为为上一帧bounding box的左上角的纵坐标，frame[]表示对上一帧图像进行且裁剪,可以得到下一帧搜索的ROI区域。参数k可以根据目标的尺寸设定，可以是一个变量。在我们的实验中，设定k＝4。如果当前帧在ROI区域内没有找到，下一帧则搜索全图。如图3所示，下一帧只需搜索当前帧的邻域，即图中右边的ROI区域。

步骤2.2：切换跟踪对像

空中加油过程是一个由远及近的过程。对接初期，视野前方加油机在图像中所占区域小，加油机形状完整，容易识别。随着对接距离的缩短，加油机在图像中只有局部画面，此时加油机上的锥套形状完整，容易识别。故在加油过程中需要切换期望跟踪目标。图4表示切换期望跟踪目标示意图。

步骤3：驱动云台跟踪目标，使目标一直处于图像的中心。

云台搭载摄像机放置在受油机前端，相机捕捉到图像后发送给导航计算机解算，根据解算值驱动云台跟踪目标，使目标一直处于图像的中心。根据云台的俯仰角、航向角和云台间的距离，经过几何关系解析确定无人机和理想加油点的空间相对位置关系，将位置信息通过数传模块发送给飞控系统，最终引导无人机沿着期望轨迹完成对接。图5表示视觉导航系统工作流程。

为描述云台的跟踪控制，定义如下四个坐标系：像素坐标系、图像坐标系、相机坐标系和世界坐标系。

(1)像素坐标系与图像坐标系

如图6所示，O₀-uv为像素坐标系，左上角为原点，横坐标u代表像素所在的列数，纵坐标v表示了像素所在的行数。(u,v)代表的是像素在图像数组中行列数，没有物理单位，因此建立图像坐标系O₁-xy。将相机光轴与图像平面的交点定义为该坐标的原点O₁，即主点。图像中的每个像素在图像坐标系和像素坐标系中的转化关系如下：

其中，u代表像素所在的列数，v表示了像素所在的行数，x₁表示图像坐标系下的横坐标，y₁表示图像坐标系下的纵坐标。dx与dy分别表示每个像素在横轴和纵y上的物理尺寸，u₀代表u-v坐标系下的中心点的横坐标，v₀表示u-v坐标系下的中心点的纵坐标，

将上式用齐次坐标与矩阵形式表示为：

(2)相机坐标系

摄像机坐标系O-X_cY_cZ_c如图7所示，相机的光心O作为坐标原点，Zc为相机的光轴，通过图像坐标系的原点O₁点，OO₁为摄像机的焦距。X_c、Y_c分别平行于图像坐标系中的x轴和y轴。

(3)世界坐标系

世界坐标系是为了描述物体与相机的位置而被引入的，如图7中坐标系O_wX_wY_wZ_w为世界坐标系。公式(5)表示相机坐标系与世界坐标系的转化关系，其中t为平移矩阵，R为旋转矩阵。假设空间点P在世界坐标系下的齐次坐标系是(X_w,Y_w,Z_w,1)^T，在相机坐标系下的齐次坐标是(X_c,Y_c,Z_c,1)^T,则存在如下关系。R是3*3的正交单位矩阵(旋转矩阵)，t是三维的平移向量。

其中：X_c为相机坐标系下X轴的坐标，Y_c为相机坐标系下Y轴坐标，Z_c为相机坐标系下Z轴坐标，为1*3的零向量，X_w为世界坐标系下X轴的坐标，Y_w为世界坐标系下Y轴坐标，Z_w为世界坐标系下Z轴坐标。

按线性点来处理成像模型，如图8所示，uO₀v为成像平面，O_l和O_r分别为左右相机的光心，相机光轴垂直于成像平面，并通过平面中心。

无人机为图8中的P点，根据几何解算可得到云台偏转角度。例如在左相机中，中心O₁点的坐标为(x₀,y₀)，目标中心在图像的坐标为(x_u,y_u)，根据公式(6)解算出为使无人机始终保持在图像的正中心出云台需要转动的俯仰角α_l1和航向角β_l1。

其中：x₀为相机中心在图像坐标系下的横坐标，y₀为相机中心在图像坐标系下的纵坐标，x_u为目标中心在图像坐标系下的横坐标，y_u为相机中心在图像坐标系下的纵坐标，f为相机焦距。

云台当前的俯仰角α_l2和航向角β_l2可由云台中传感器测量输出，根据计算，云台转动后的俯仰角α_l和航向角β_l为

其中：α_l1为需要转动的俯仰角，β_l1为需要转动的航向角。

根据解算出的角度控制云台，使被跟踪物体始终保持在画面中央。

Claims (5)

1.一种基于深度学习的无人机视觉引导空中加油方法，其特征在于，包括如下步骤：

步骤一：采用帧间差分方法，根据目标相对背景移动识别并跟踪动目标；

步骤二：采用深度学习目标检测Faster RCNN方法，根据目标相对背景移动识别并跟踪动目标；

步骤三：驱动云台跟踪目标，使目标一直处于图像的中心。

2.根据权利要求1所述的一种基于深度学习的无人机视觉引导空中加油方法，其特征在于，步骤一的具体过程如下：

当加油机刚进入相机视野中时，目标较小，取图像的上半部分将地面的复杂背景去除，在作差之后，采用膨胀操作增强目标。

3.根据权利要求1所述的一种基于深度学习的无人机视觉引导空中加油方法，其特征在于，步骤二的具体过程如下：

步骤2.1：利用Focal loss改进Faster RCNN算法；

步骤2.2：针对单目标识别算法改进实时性；

步骤2.3：切换跟踪对像。

4.根据权利要求3所述的一种基于深度学习的无人机视觉引导空中加油方法，其特征在于，步骤2.2的具体过程如下：

（1）我们根据实际的使用场景改进Faster RCNN算法

我们识别的目标是单目标，只取置信度最高的bounding box为目标；

（2）设定感兴趣区域

当检测算法连续5帧正确的识别到目标，则根据当前帧中目标的位置设定下一帧的ROI；

利用运动的连续性，我们将当前帧ROI的中心设置在上一帧bounding box的左上角。

5.根据权利要求1所述的一种基于深度学习的无人机视觉引导空中加油方法，其特征在于，步骤三的具体过程如下：

云台搭载摄像机放置在受油机前端，相机捕捉到图像后发送给导航计算机解算，根据解算值驱动云台跟踪目标，使目标一直处于图像的中心；根据云台的俯仰角、航向角和云台间的距离，经过几何关系解析确定无人机和理想加油点的空间相对位置关系，将位置信息通过数传模块发送给飞控系统，最终引导无人机沿着期望轨迹完成对接。