CN104015931B - 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台 - Google Patents

Abstract

一种无人机自动加油盲区视觉定位测控方法，利用机器视觉检测方法对输油无人机上的输油锥套进行模式识别计算定位，得到加油管和输油锥套之间相对位置；将定位数据传输至地面站；地面站对数据进行滤波并通过控制算法计算控制指令；将控制指令发送至飞行器端对飞行器进行控制，达到自动加油的目的，本发明同时提供了相应的定位测控系统和实验平台，本发明核心思想是受油无人机使用可调焦相机采集输油锥套目标图像，采用投影方法和模式识别算法计算出目标在视野中的相对位置和尺寸，进而计算出受油管和输油锥套间相对位置，由地面站控制无人机对接实施加油，本发明盲区视觉定位测控方法快速稳定，精度高，可达到无人机自动加油盲区定位的应用需求。

Description

一种无人机自动加油盲区视觉定位测控方法、系统及实验平台

技术领域

本发明属于机器视觉图像测量与自动控制领域，特别涉及一种无人机自动加油盲区视觉定位测控方法、系统及实验平台。

背景技术

空中加油技术是各国空军在全球范围内作战的主要保障，战斗机、轰炸机、侦察机和运输机都可以通过空中加油从而增大航程。虽然无人机在军事作战领域的应用越来越广，但是现在的无人机都没有空中加油的设计。无人机的续航能力不强，需要降落在地面进行加油，在战时将大大影响其作战能力，因此开发出无人机空中加油的技术是十分必要而迫切的。鉴于无人机加油在战场上的战术优势，世界主要军事大国都对其非常重视，投入了大量的人力、物力和财力进行研究。美国军方和多家研究机构正致力于AAR技术的实用化研究，并已取得阶段性研究成果。我国目前也有许多院校对无人机加油问题从不同的角度进行了研究，但是我国的研究进展与美国相去甚远。无人机加油主要的难点是跟踪油管的精确位置，需要受油管与输油锥套的相对位置在最后的对接中达到厘米级精度。雷达和GPS辅助的惯性导航系统存在盲区，当两架飞机距离拉近时(一般为30米)将不能起到定位作用。为了解决无人机自动加油盲区，受油机的探管与输油锥套的配合需要通过光学跟踪系统来进行。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种无人机自动加油盲区视觉定位测控方法、系统及实验平台，实现了对目标(输油锥套)的精确定位并自动控制两架六旋翼飞行器进行模拟加油。

为了实现上述目的，本发明采用的技术方案是：

一种无人机自动加油盲区视觉定位测控方法，包括如下步骤：

利用机器视觉检测方法对输油无人机上的输油锥套进行模式识别计算定位，得到加油管和输油锥套之间相对位置；

将定位数据传输至地面站；

地面站对数据进行滤波并通过控制算法计算控制指令；

将控制指令发送至飞行器端对飞行器进行控制，达到自动加油的目的，其中所述飞行器包括受油无人机和输油无人机。

其中所述机器视觉检测方法包括如下步骤：

离线采集输油锥套的图像作为模板图像，将其转换为HSV模型空间的图像并提取其Hue分量，计算并存储Hue分量的颜色概率分布；

利用安装于受油无人机上的可调焦相机实时获取包含输油锥套的图像，获取图像的Hue分量后根据模板中的目标颜色概率分布计算图像在目标颜色上的投影；

对于投影图，利用CamShift算法获取目标，同时更新搜索窗口；

根据目标在相机视野中的位置计算受油管和输油锥套水平方向和垂直方向的相对位置；

根据目标的大小和相机的焦距计算受油管和输油锥套之间的距离并自动调节相机的焦距。

所述自动调节相机的焦距的方法是：当目标在远处的时候使用长焦距，在近处的时候使用短焦距。具体地，可以使用目标面积占视野面积的比例P这一个指标来指示是否变焦距，其上下界分别U和D，即P>U时将焦距调大；P<U时将焦距调小，将焦距的量程分为8个级别，每次只改变一个焦距级别，通过控制电机的速度和旋转时间来完成焦距的改变。

所述控制算法包括如下步骤：地面站首先对获取的定位数据进行卡尔曼滤波以降低随机误差得到有效数据，然后通过这些数据判断飞行器相对目标所处的方位和移动的方向，针对不同的方位和移动方向分区域使用PID控制计算飞行器的控制指令，控制受油无人机跟踪接近输油无人机进行加油。具体地，判断飞行器相对目标所处的方位和移动的方向中，每次取10帧数据计算数据梯度，通过统计梯度的大小判断飞行器的飞行方向，而水平和垂直方向的相对坐标表明了飞行器相对目标所处的位置和偏移，根据飞行器所处的区域、飞行方向以及偏移量执行不同的PID控制。

本发明同时提供了一种无人机自动加油盲区视觉定位测控系统，包括：

安装于受油无人机上的用于采集输油锥套图像的可调焦相机与图像采集卡；

安装于受油无人机上的用于运行机器视觉检测方法以获取受油管和输油锥套定位数据的工控机；

安装于受油无人机上并连接工控机以将其获取数据传输至地面站的无线发射接收单元；

设置于地面站的用于同输油无人机和受油无人机进行无线通信的无线接收单元与无线发射单元；

设置于地面站的用于对接收的定位数据执行控制算法并发出控制指令的远程控制器。

为了对上述方法进行验证，本发明还提供了一种无人机自动加油盲区视觉定位测控实验平台，采用两架带有WKM飞控的六旋翼飞行器分别作为受油无人机和输油无人机，利用利用地面站对二者进行自动控制，两台飞行器上均安装有无线接收单元、遥控接收单元、控制转换单元和自动手动切换单元，受油无人机上安装有用于采集输油锥套图像的可调焦相机与图像采集卡、用于运行机器视觉检测方法以获取受油管和输油锥套定位数据的工控机以及用于将工控机获取数据传输至地面站的无线发射接收单元，在地面站设置有用于同输油无人机和受油无人机进行无线通信的无线接收单元与无线发射单元、用于对接收的定位数据执行控制算法并发出控制指令的远程控制器以及用于发送遥控信号的遥控器；受油无人机和输油无人机通过无线接收单元接收来自地面站的控制指令并经控制转换单元转换为WKM飞控可识别的信号，自动手动切换单元在自动控制发生危险时切换为手动控制，通过遥控接收单元接收来自地面站的遥控信号，保障飞行安全。

与现有技术相比，本发明采用机载图像采集处理系统对视野内图像进行分析处理，定位目标(输油锥套)位置，根据定位结果控制无人机运动。实现了动态背景下目标识别与定位、单目视觉测量距离、动态焦距调整、飞行器与地面站通信、计算机程序自动控制无人机飞行。其中图像采集速度为25帧/秒，工控机的图像处理速度可达16～18帧/秒，数据的无线传输和控制指令的计算速度为13～15帧/秒。由于图像处理算法在进行目标拟合时会出现小幅度的偏差，对目标中心定位的精度约为1～2个像素点。在进行距离测量时，采用简化的成像模型，以便对距离进行测量，在无人机飞行时由于微小的机械震动会造成图像采集系统所采集图像变模糊的现象，图像处理算法在处理该图像时对目标尺寸的测量有一定的误差，约为0.3～0.6m。而该误差随着距离的减小而减小，在远距离处距离值作为参考量，其误差影响较小，近距离处误差较小不会影响对接结果，同时使用卡尔曼滤波对数据进行处理可有效降低随机噪声的影响。

附图说明

图1为本发明的实验平台系统结构框图。

图2为发明中受油无人机3D示意图。

图3为本发明的盲区视觉定位实时检测流程图。

图4为本发明的计算目标距离的方法示意图。

图5为本发明的距离测量结果与滤波效果图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明无人机自动加油盲区视觉定位测控方法主要是利用机器视觉检测方法对加油探管和输油锥套进行模式识别计算定位；然后将定位数据传输至地面站由地面站对数据进行滤波并通过控制算法计算控制指令；最终将控制指令发送至飞行器端对飞行器(受油无人机和输油无人机)进行控制，达到自动加油的目的。

本发明搭建如下实验平台对该方法的可行性进行验证。

本发明使用两架S800六旋翼飞行器分别作为受油无人机和输油无人机，使用便携式计算机作为地面站，对两台飞行器进行控制，系统结构如图1所示。

对于两架无人机，机上带有惯性测量单元和GPS指南针单元，使用WKM飞控工作在GPS模式来保障飞行器的稳定飞行，然后在受油无人机和输油无人机上加装支架并分别安装模拟受油杆和模拟输油锥套(红色圆盘)。对于受油无人机，如图2所示，在支架上安装可调焦相机1、图像采集卡2、工控机3、ATX电源板4、控制信号处理板和无线收发模块。其中可调焦相机1用于在加油盲区采集包含有输油锥套的图像。图像采集卡2连接可调焦相机1并通过USB接口与工控机3主板相连，用于将相机采集的模拟信号转换为数字信号以供工控机3处理。工控机3运行无人机自动加油盲区定位检测方法计算目标的相对位置，并通过RS485接口与相机的调焦控制接口互连以实现相机的自动调焦，通过RS232接口连接至无线发射模块以将处理结果发送至地面站。ATX电源板4与飞行器共用锂电池作为运行电源，将电池的电压转换为3V、5V、12V电压为相机1、工控机3和无线收发模块提供稳定电源。控制信号处理板使用两片芯片作为处理器分别实现控制信号至PWM信号的转换和自动手动切换两个功能，无线接收模块通过串口与其中一块处理器连接，该处理器利用接收的控制信号调制PWM信号进行输出。另一处理器接收摇控接收机的一路PWM信号输出，不断判断信号的变化，针对该信号的值选择将控制信号或摇控信号输出至WKM控制器以达到自动手动切换的目的。对于输油无人机，仅在支架上安装控制信号处理板和无线收发模块。

地面站以便携式计算机为主体，运行无人机加油自动控制算法，使用USB接口连接无线收发模块实现飞行器端与地面站的相互通信。

基于该实验平台，如图3所示，机器视觉盲区定位方法如下：

在相似的环境下使用机载相机离线采集包含输油锥套的图像，截取仅有输油锥套的部分作为模板，将模板图像转换为HSV模型空间的图像并提取其HUE分量，对提取出的Hue分量计算该图像的直方图，然后进行归一化处理并存储处理结果。在进行实时盲区定位时，将采集的每帧图像转换至HSV模型空间并提取出其Hue分量，利用模板图像的直方图得到采集图像的颜色投影图。由于在加油的过程中图像背景单一，输油锥套图像的Hue分量与背景图像反差较大，可知计算出的颜色投影图中目标区域比背景区域的值大出很多。利用CamShift算法来获取该区域在视野中的坐标和尺寸。

在系统启动后，对于计算出的目标图像的颜色投影图，选取图像中心点作为当前点，选取图像全部作为当前搜索窗口；首先计算出当前搜索窗口所在重心，计算窗口中心点与重心之间的欧式距离：如果此欧氏距离大于设定阈值，将搜索窗口设为当前窗口，并移动该窗口中心至前一次搜索窗口重心，再一次计算该窗口的重心，并计算与窗口中心的欧氏距离，继续进行阈值判定；如果此欧氏距离小于设定阈值或达到最大迭代次数，迭代终止退出。此时认为该窗口即为包含目标的窗口，然后放大目标窗口，由窗口获得子图并计算子图的零阶距、一阶距和二阶距，重新计算目标中心，并根据该帧图像计算出下一幅图像的初始搜索窗口的宽和高，计算方法为：

对于图像I(x,y)(反向投影图)来说，图像的零阶矩为：

$M_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y)$

图像的一阶矩为：

$M_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y),M_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y)$

图像的二阶矩为：

$M_{20}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^{2}I(x,y),M_{02}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{y}^{2}I(x,y)$

目标主轴方向角为：

$\mathrm{\&theta;}=\frac{\arctan \left(\frac{b}{a-c}\right)}{2}$

其中：

$a=\frac{M_{20}}{M_{00}}-X_c^2,b=2(\frac{M_{11}}{M_{00}}-X_c{Y}_c),c=\frac{M_{02}}{M_{00}}-Y_c^2$

$X_c=\frac{M_{10}}{M_{00}},Y_c=\frac{M_{01}}{M_{00}}$

(X_c,Y_c)即为目标中心。

自适应计算出的下一次搜索窗口的高h和宽w分别为：

$h=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}$

在计算出目标在当前图像中的中心位置和尺寸后，便可计算出受油管和输油锥套之间相对位置。

根据简化的视觉成像模型，建立加油管和输油锥套之间相对位置的计算方法。在测量距离时，如图4所示存在有如下关系：

$\frac{R}{r}\&ap;\frac{D}{f}$

其中：R表示目标直径，r表示目标在图像中的直径，f表示焦距，D表示所要测量的目标距离。

在误差允许范围内，可以认为

$\frac{R}{r}=\frac{D}{f}$

于是

$D=\frac{R}{r}\&CenterDot;f$

即可以计算出目标距离。同理，在水平方向上，存在如下关系

$\frac{X}{x}\&ap;\frac{D}{f}$

其中X表示实际的水平距离，x表示图像中的水平距离，D为测量出的目标距离，f表示焦距。

于是有

$\frac{X}{x}\&ap;\frac{R}{r}$

在误差允许范围内，可以得出

$X\&ap;\frac{R}{r}\&CenterDot;x.$

为了兼顾近距离和远距离的识别精度，本发明使用可变焦相机来采集图像，当目标在远处的时候使用长焦距，在近处的时候使用短焦距。使用目标面积占视野面积的比例P这一个指标来指示是否变焦距，其上下界分别U和D，即P>U的时候说明视野中目标过大，需要将焦距调大；P<U的时候说明视野中目标过小，需要将焦距调小。将焦距的量程分为8个级别，每次只改变一个焦距级别。焦距的改变是通过控制电机的速度和旋转时间来完成的。

根据以上得到的数据，本发明无人机加油自动控制的过程如下：

无人机加油自动控制受油无人机向输油无人机接近，保证水平方向和垂直方向在允许的偏差范围内。在地面站接收到受油无人机处理后的图像数据后对数据进行卡尔曼滤波得到随机误差较小的测量值，即有效数据，然后通过这些数据判断飞行器相对目标所处的方位和移动的方向，针对不同的方位和移动方向分区域使用PID控制计算飞行器的控制指令，控制受油无人机跟踪接近输油无人机进行加油，当目标不断接近时测量结果与滤滤结果如图5所示。具体地，每次可取10帧数据计算数据梯度，通过统计梯度的大小判断飞行器的飞行方向，而水平和垂直方向的相对坐标表明了飞行器相对目标所处的位置和偏移，根据飞行器所处的区域、飞行方向以及偏移量执行不同的PID控制。比如飞行器处于目标位置的右侧而正在向左飞行时，不控制飞行器的水平移动，而如果在右侧同时又向右飞行时，需要根据偏移量的大小发送不同的控制量使飞行器向左飞行。

通过以上的步骤，可实现在无人加油机盲区的精确定位和自动控制。

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。

Claims (9)

1.一种无人机自动加油盲区视觉定位测控方法，其特征在于，包括如下步骤：

利用机器视觉检测方法对输油无人机上的输油锥套进行模式识别计算定位，得到加油管和输油锥套之间相对位置；

将定位数据传输至地面站；

地面站对数据进行滤波并通过控制算法计算控制指令；

将控制指令发送至飞行器端对飞行器进行控制，达到自动加油的目的，其中所述飞行器包括受油无人机和输油无人机。

2.根据权利要求1所述的无人机自动加油盲区视觉定位测控方法，其特征在于，所述机器视觉检测方法包括如下步骤：

离线采集输油锥套的图像作为模板图像，将其转换为HSV模型空间的图像并提取其Hue分量，计算并存储Hue分量的颜色概率分布；

利用安装于受油无人机上的可调焦相机实时获取包含输油锥套的图像，获取图像的Hue分量后根据模板中的目标颜色概率分布计算图像在目标颜色上的投影；

对于投影图，利用CamShift算法获取目标，同时更新搜索窗口；

根据目标在相机视野中的位置计算受油管和输油锥套水平方向和垂直方向的相对位置；

根据目标的大小和相机的焦距计算受油管和输油锥套之间的距离并自动调节相机的焦距。

3.根据权利要求2所述的无人机自动加油盲区视觉定位测控方法，其特征在于，对于计算出的图像在目标颜色上的投影即目标图像的颜色投影图，选取图像中心点作为当前点，选取图像全部作为当前搜索窗口；首先计算出当前搜索窗口所在重心，计算窗口中心点与重心之间的欧式距离：如果此欧氏距离大于设定阈值，将搜索窗口设为当前窗口，并移动该窗口中心至前一次搜索窗口重心，再一次计算该窗口的重心，并计算与窗口中心的欧氏距离，继续进行阈值判定；如果此欧氏距离小于设定阈值或达到最大迭代次数，迭代终止退出；此时认为该窗口即为包含目标的窗口，然后放大目标窗口，由窗口获得子图并计算子图的零阶距、一阶距和二阶距，重新计算目标中心，并根据该帧图像计算出下一幅图像的初始搜索窗口的宽和高，其中：

对于反向投影图图像I(x,y)来说，图像的零阶矩为：

$M_{00}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}I(x,y)$

图像的一阶矩为：

$M_{10}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xI}(x,y),$ $M_{01}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yI}(x,y)$

图像的二阶矩为：

$M_{20}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^{2}I(x,y),$ $M_{02}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{y}^{2}I(x,y)$

目标主轴方向角为：

$\mathrm{\&theta;}=\frac{\arctan \left(\frac{b}{a-c}\right)}{2}$

其中：

$a=\frac{M_{20}}{M_{00}}-X_c^2,$ $b=2(\frac{M_{11}}{M_{00}}-X_c{Y}_c),$ $c=\frac{M_{02}}{M_{00}}-Y_c^2$

$X_c=\frac{M_{10}}{M_{00}},$ $Y_c=\frac{M_{01}}{M_{00}}$

(X_c,Y_c)即为目标中心；

自适应计算出的下一次搜索窗口的高h和宽w分别为：

$h=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}$

在计算出目标在当前图像中的中心位置和尺寸后，即可计算出加油管和输油锥套之间相对位置。

4.根据权利要求3所述的无人机自动加油盲区视觉定位测控方法，其特征在于，根据简化的视觉成像模型，建立加油管和输油锥套之间相对位置的计算方法，在测量距离时，存在有如下关系：

$\frac{R}{r}\&ap;\frac{D}{f}$

其中：R表示目标直径，r表示目标在图像中的直径，f表示焦距，D表示所要测量的目标距离；

在误差允许范围内，可以认为

$\frac{R}{r}=\frac{D}{f}$

于是

$D=\frac{R}{r}\&CenterDot;f$

即可以计算出目标距离，同理，在水平方向上，存在如下关系

$\frac{X}{x}\&ap;\frac{D}{f}$

其中X表示实际的水平距离，x表示图像中的水平距离，D表示测量出的目标距离，f表示焦距；

于是有

$\frac{X}{x}\&ap;\frac{R}{r}$

在误差允许范围内，可以得出

$X\&ap;\frac{R}{r}\&CenterDot;x.$

5.根据权利要求2所述的无人机自动加油盲区视觉定位测控方法，其特征在于，所述自动调节相机的焦距的方法是：当目标在远处的时候使用长焦距，在近处的时候使用短焦距。

6.根据权利要求5所述的无人机自动加油盲区视觉定位测控方法，其特征在于，使用目标面积占视野面积的比例P这一个指标来指示是否变焦距，其上下界分别U和D，即P>U时将焦距调大；P<U时将焦距调小，将焦距的量程分为8个级别，每次只改变一个焦距级别，通过控制电机的速度和旋转时间来完成焦距的改变。

7.根据权利要求1所述的无人机自动加油盲区视觉定位测控方法，其特征在于，所述控制算法包括如下步骤：地面站首先对获取的定位数据进行卡尔曼滤波以降低随机误差得到有效数据，然后通过这些数据判断飞行器相对目标所处的方位和移动的方向，针对不同的方位和移动方向分区域使用PID控制计算飞行器的控制指令，控制受油无人机跟踪接近输油无人机进行加油。

8.根据权利要求7所述的无人机自动加油盲区视觉定位测控方法，其特征在于，所述判断飞行器相对目标所处的方位和移动的方向中，每次取10帧数据计算数据梯度，通过统计梯度的大小判断飞行器的飞行方向，而水平和垂直方向的相对坐标表明了飞行器相对目标所处的位置和偏移，根据飞行器所处的区域、飞行方向以及偏移量执行不同的PID控制。

9.一种无人机自动加油盲区视觉定位测控系统，其特征在于，包括：

安装于受油无人机上的用于采集输油锥套图像的可调焦相机与图像采集卡；

安装于受油无人机上的用于运行机器视觉检测方法以获取受油管和输油锥套定位数据的工控机；

安装于受油无人机上并连接工控机以将其获取数据传输至地面站的无线发射接收单元；

设置于地面站的用于同输油无人机和受油无人机进行无线通信的无线接收单元与无线发射单元；

设置于地面站的用于对接收的定位数据执行控制算法并发出控制指令的远程控制器。