CN106934809A - 基于双目视觉的无人机空中自主加油快速对接导航方法 - Google Patents

Abstract

基于双目视觉的无人机空中自主加油快速对接导航方法，涉及机器视觉与图像处理。利用带有滤光片的双目摄像机系统对带有光学标志灯的加油锥套同时进行拍摄，获得左右两幅图像；对左右两幅图像分别依次进行灰度化、二值化、中值滤波处理后，采用区域生长法查找并标记左右两幅图像中的所有连通区域，再求取每个连通区域质心作为特征点；采用改进haar小波变换对所有特征点进行描述，获得所有特征点的描述向量，再采用最小欧氏距离法对左右图像的特征点进行匹配，得左右图像的特征点对；利用双目视觉原理计算特征点的三维坐标，并采用最小二乘法对三维坐标进行空间圆的拟合，获得加油锥套的端面圆曲线，再通过计算获得该圆的圆心、法向量和半径。

Description

基于双目视觉的无人机空中自主加油快速对接导航方法

技术领域

本发明涉及机器视觉与图像处理，尤其是涉及基于双目视觉的无人机空中自主加油快速对接导航方法。

背景技术

近年来，随着无人机的应用越来越广泛，尤其是在军事领域，无人机已经成为了各国争相配备的装备，随之而来的增加无人机航程的需求使无人机自主空中加油技术应运而生。无人机自主空中加油可以延长无人机空中飞行时间，使无人机的续航时间增加30％～40％，同时也可以增加载重量。因此，无人机自主空中加油技术使得无人机在未来空中作战、防御以及侦察等方面具有非常广阔的前景。

空中加油的关键在对接阶段，需要实时测量加油机加油锥套和受油机的相对位置，对加油锥套进行位姿估计。当加油机和受油机距离较远时(10m以上)，通过GPS的导航就能够满足导航需要，但是当二者进入对接阶段时，GPS导航精度很难达到对接所需的要求，因此，在近距离对接时，通常采用基于机器视觉的技术来完成精准对接。

基于机器视觉的导航系统进行位姿估计分为3个步骤：(1)特征提取；(2)特征点匹配；(3)相对位姿估计。传统的特征点的提取和匹配方法有很多，比如SIFT算法，SURF算法，这些算法都能够快速的提取图像中的特征点并进行匹配，但是，这两种算法都有一个缺点，就是SIFT和SURF是无差别地提取整个图像中的特征点，即只要满足该算法所规定的特征点的像素点都会被认为是特征点，这些特征点不一定在加油锥套上，对于空中加油来说这些特征点就是无用的。还有一些专门用于特征点匹配的方法，比如说极线匹配方法，该方法是在将特征点提取出来后，才用来进行匹配的。极线匹配只是将匹配维度从二维缩小到了一维，因此，匹配的准确率有待提高。

参考文献：

[1]赵高长,张磊,武风波.改进的中值滤波算法在图像去噪中的应用[J].应用光学,2011,32(4):678-682.

[2]陈柏生.一种二值图像连通区域标记的新方法[J].计算机工程与应用,2006,25:46-47.

[3]张锐娟,张建奇,杨翠.基于SURF的图像配准方法研究[J].红外与激光工程,2009,38(1):160-165.

[4]解洪文,王宏伦.基于双目视觉的自动空中加油近距导航方法[J].北京航空航天大学学报,2011,37(2):206-209.

发明内容

本发明的目的在于克服现有技术中存在的上述缺陷，提供基于双目视觉的无人机空中自主加油快速对接导航方法。

本发明包括以下步骤：

1)利用带有滤光片的双目摄像机系统对带有光学标志灯的加油锥套同时进行拍摄，获得左右两幅图像；

2)对左右两幅图像分别依次进行灰度化、二值化、中值滤波处理^[1]后，采用区域生长法查找并标记左右两幅图像中的所有连通区域^[2]，再求取每个连通区域质心作为特征点；

3)采用改进haar小波变换对所有特征点进行描述^[3]，获得所有特征点的描述向量，再采用最小欧氏距离法对左右图像的特征点进行匹配，获得左右图像的特征点对；

4)利用双目视觉原理计算特征点的三维坐标^[4]，并采用最小二乘法对三维坐标进行空间圆的拟合，获得加油锥套的端面圆曲线，再通过计算获得该圆的圆心、法向量和半径。

在步骤1)中，所述利用带有滤光片的双目摄像机系统对带有光学标志灯的加油锥套同时进行拍摄，获得左右两幅图像的具体方法可为：

(1)将相同型号的两台摄像机分别固定在无人机的左右两侧，调整好角度，组成双目视觉系统，并对该双目视觉系统采用张正友标定法进行标定，得到该双目视觉系统的内部参数和外部参数，然后分别在左右摄像机的镜头上安装只允许单一颜色通过的滤光片；

(2)在加油机加油锥套的圆周边上安装光学标志灯，该光学标志灯的发光颜色与安装在摄像机上的滤光片所允许通过的颜色相同；

(3)用步骤(1)中所述的双目视觉系统对步骤(2)中所述的加油锥套进行拍照，获得左右两幅图像。

在步骤2)中，所述对左右两幅图像分别依次进行灰度化、二值化、中值滤波处理^[1]后，采用区域生长法查找并标记左右两幅图像中的所有连通区域^[2]，再求取每个连通区域质心作为特征点的具体方法可为：

(1)对步骤1)第(3)部分中所获得的左右两幅图像分别依次进行灰度化、二值化及中值滤波等图像处理；

(2)对经过步骤(2)后的二值图像采用区域生长法进行连通区域查找及标记，具体方法流程见图2，然后计算所有连通区域的质心，计算方法如下：

其中，P_i为连通区域像素点的像素值，x_i,y_i连通区域像素点的像素坐标，X_c,Y_c为连通区域的质心坐标，连通区域的质心即为特征点的坐标。

在步骤3)中，所述采用改进haar小波变换对所有特征点进行描述，获得所有特征点的描述向量，再采用最小欧氏距离法对左右图像的特征点进行匹配，获得左右图像的特征点对的具体方法可为：

(1)对步骤2)第(2)部分中所获得的左右图像特征点进行改进的haar小波变换，即以特征点为中心取一个正方形区域，将该正方形区域划分为大小均匀的16个小正方形区域，再以小正方形区域的大小为haar小波模板的大小，对这16个小正方形区域进行水平方向上和垂直方向上的haar小波变换，然后将haar小波变换的水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，组成一个4×16＝64维的描述向量，参考图3。

(2)对描述后的左右图像特征点进行匹配，即对左图像中的每个特征点的描述向量与右图像中的每个特征点描述向量进行欧氏距离的计算，将具有最小欧式距离的两个特征点作为一对特征点对。欧式距离计算公式如下：

在步骤4)中，所述利用双目视觉原理计算特征点的三维坐标，并采用最小二乘法对三维坐标进行空间圆的拟合，获得加油锥套的端面圆曲线，再通过计算获得该圆的圆心、法向量和半径的具体方法可为：

(1)利用步骤1)第(1)部分中获得的双目视觉系统的内部参数矩阵、外部参数矩阵及双目视觉原理求取加油锥套上光学标志灯的三维坐标；求取公式如下：

设双目摄像机系统的内部参数分别为A_l,A_r外部参数为M_l,M_r，其中

设某成像特征点的世界坐标系为(x_w y_w z_w)，则由投影原理可得：

令投影矩阵H_l＝A_l*M_l,H_r＝A_r*M_r，则

其中，H_l,H_r中的所有分量均为已知量，则经过展开消去z_l,z_r可得：

令

则可得

所以，最后求得三维坐标为

(2)对步骤(1)中求得的三维坐标采用最小二乘法进行空间圆的拟合，拟合得到的空间圆曲线就是加油锥套端面圆曲线，然后利用端面圆曲线求得端面圆的圆心三维坐标、法向量、半径。

本发明先通过光学标志灯和滤光片，过滤掉图像中一些不必要的场景信息，再通过图像灰度化、二值化、中值滤波等图像处理突出光学标志灯在图像中成像的连通区域，然后通过求取图像中连通区域的质心作为特征点，并对特征点采用改进haar小波变换进行描述，得到特征点的描述向量，再利用最小欧式距离进行匹配，得到匹配点对，最后利用双目视觉原理计算加油锥套上光学标志灯的三维坐标。本发明提取的特征点准确且有用，匹配准确率也极高，因此可以快速准确地确定加油锥套的位置信息。

由此可见，与现有技术相比，本发明具有如下有益效果：

1)在双目摄像机镜头上安装滤光片和在加油追安装滤光片允许通过颜色的光学标志灯，能够很好的过滤掉一些不必要的场景信息，使得特征点的提取更加简单和准确。

2)先准确提取特征点，即先提取图片中的加油锥套上的光学标志灯的质心坐标。SIFT算法和SURF算法是盲目地在整张图片中无差别提取特征点，这些特征点大多不在加油锥管上，所以是无用的，提高匹配的错误率也增加计算量。而本发明提取特征点的方法提取的特征点数量有限且都在加油椎管上，这样就更加准确的提取到了有用的特征点，减少了特征点的数量，缩小了匹配的范围。

3)采用改进haar小波变换对特征点进行描述，即以特征点为中心取一个正方形区域，将该正方形区域划分为大小均匀的16个小正方形区域，再以小正方形区域的大小为haar小波模板的大小，对这16个小正方形区域进行水平方向上和垂直方向上的haar小波变换，然后将haar小波变换的水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，组成一个4×16＝64维的描述向量，参考图3。而原始的haar小波变换只用一个模板对特征点进行描述，只有4个维度，描述不够详细，不够准确，会使匹配的误差变大。本发明采用改进的haar小波变换对特征点进行描述，可以得到的维度更高的描述向量，描述会更加准确，也就使得特征点的匹配更加准确。匹配的准确率越高，三维坐标的计算结果也就越精确。

4)本发明提取的特征点准确且有限，因此采用全局搜索匹配，可有效提高匹配的准确率。而且即使是全局搜索，整个过程用时也不到0.3s，完全能够满足快速地实时检测需求。

附图说明

图1为本发明的整体流程图。

图2为本发明中区域生长法查找标记二值图像中连通区域的流程图。

图3为本发明中改进haar小波变换示意图。

图4为本发明中的双目视觉成像原理图。

具体实施方式

本发明提供的一种基于双目视觉的无人机空中自主加油快速对接导航方法，参见图1，具体步骤如下：

步骤1.1：将相同型号的两台摄像机分别固定在无人机的左右两侧，调整好角度，组成双目视觉系统，并对该双目视觉系统采用张正友标定法进行标定，得到该双目视觉系统的内部参数和外部参数，然后分别在左右摄像机的镜头上安装只允许单一颜色通过的滤光片。

步骤1.2：在加油机加油锥套的圆周边上安装光学标志灯，该光学标志灯的发光颜色与安装在摄像机上的滤光片所允许通过的颜色相同。

步骤1.3：用步骤1.1中所述的双目视觉系统对步骤1.2中所述的加油锥套进行拍照，获得左右两幅图像。

步骤2.1：对步骤1.3中所获得的左右两幅图像分别依次进行灰度化、二值化及中值滤波等图像处理。

步骤2.2：对经过步骤2.1后的二值图像采用区域生长法进行连通区域查找及标记，具体方法流程见图2。然后计算所有连通区域的质心，计算方法如下：

其中，P_i为连通区域像素点的像素值，x_i,y_i连通区域像素点的像素坐标，X_c,Y_c为连通区域的质心坐标。连通区域的质心即为特征点的坐标。

步骤3.1：对步骤2.2中所获得的左右图像特征点进行改进的haar小波变换，即以特征点为中心取一个正方形区域，将该正方形区域划分为大小均匀的16个小正方形区域，再以小正方形区域的大小为haar小波模板的大小，对这16个小正方形区域进行水平方向上和垂直方向上的haar小波变换，然后将haar小波变换的水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，组成一个4×16＝64维的描述向量，参考图3。

步骤3.2：对描述后的左右图像特征点进行匹配，即对左图像中的每个特征点的描述向量与右图像中的每个特征点描述向量进行欧氏距离的计算，将具有最小欧式距离的两个特征点作为一对特征点对。欧式距离计算公式如下：

步骤4.1：利用步骤1.1中获得的双目视觉系统的内部参数矩阵、外部参数矩阵及双目视觉原理求取加油锥套上光学标志灯的三维坐标。

步骤4.2：对步骤4.1中求得的三维坐标采用最小二乘法进行空间圆的拟合，拟合得到的空间圆曲线就是加油锥套端面圆曲线，然后利用端面圆曲线求得端面圆的圆心三维坐标、法向量、半径。

本发明中的双目视觉成像原理图参见图4。

本发明适用于无人机空中自主加油的对接导航阶段，在对接时可以对加油机的加油锥套进行实时的位置估计，具有现实的使用意义。

Claims (5)

1.基于双目视觉的无人机空中自主加油快速对接导航方法，其特征在于包括以下步骤：

1)利用带有滤光片的双目摄像机系统对带有光学标志灯的加油锥套同时进行拍摄，获得左右两幅图像；

2)对左右两幅图像分别依次进行灰度化、二值化、中值滤波处理后，采用区域生长法查找并标记左右两幅图像中的所有连通区域，再求取每个连通区域质心作为特征点；

3)采用改进haar小波变换对所有特征点进行描述，获得所有特征点的描述向量，再采用最小欧氏距离法对左右图像的特征点进行匹配，获得左右图像的特征点对；

4)利用双目视觉原理计算特征点的三维坐标，并采用最小二乘法对三维坐标进行空间圆的拟合，获得加油锥套的端面圆曲线，再通过计算获得该圆的圆心、法向量和半径。

2.如权利要求1所述基于双目视觉的无人机空中自主加油快速对接导航方法，其特征在于在步骤1)中，所述利用带有滤光片的双目摄像机系统对带有光学标志灯的加油锥套同时进行拍摄，获得左右两幅图像的具体方法为：

(1)将相同型号的两台摄像机分别固定在无人机的左右两侧，调整好角度，组成双目视觉系统，并对该双目视觉系统采用张正友标定法进行标定，得到该双目视觉系统的内部参数和外部参数，然后分别在左右摄像机的镜头上安装只允许单一颜色通过的滤光片；

(2)在加油机加油锥套的圆周边上安装光学标志灯，该光学标志灯的发光颜色与安装在摄像机上的滤光片所允许通过的颜色相同；

(3)用步骤(1)中所述的双目视觉系统对步骤(2)中所述的加油锥套进行拍照，获得左右两幅图像。

3.如权利要求1所述基于双目视觉的无人机空中自主加油快速对接导航方法，其特征在于在步骤2)中，所述对左右两幅图像分别依次进行灰度化、二值化、中值滤波处理后，采用区域生长法查找并标记左右两幅图像中的所有连通区域，再求取每个连通区域质心作为特征点的具体方法为：

(1)对步骤1)第(3)部分中所获得的左右两幅图像分别依次进行灰度化、二值化及中值滤波等图像处理；

(2)对经过步骤(2)后的二值图像采用区域生长法进行连通区域查找及标记，然后计算所有连通区域的质心，计算方法如下：

$X_c=\frac{{\mathrm{\ΣP}}_i{x}_i}{{\mathrm{\ΣP}}_i},Y_c=\frac{{\mathrm{\ΣP}}_i{y}_i}{{\mathrm{\ΣP}}_i}$

其中，P_i为连通区域像素点的像素值，x_i,y_i连通区域像素点的像素坐标，X_c,Y_c为连通区域的质心坐标，连通区域的质心即为特征点的坐标。

4.如权利要求1所述基于双目视觉的无人机空中自主加油快速对接导航方法，其特征在于在步骤3)中，所述采用改进haar小波变换对所有特征点进行描述，获得所有特征点的描述向量，再采用最小欧氏距离法对左右图像的特征点进行匹配，获得左右图像的特征点对的具体方法为：

(1)对步骤2)第(2)部分中所获得的左右图像特征点进行改进的haar小波变换，即以特征点为中心取一个正方形区域，将该正方形区域划分为大小均匀的16个小正方形区域，再以小正方形区域的大小为haar小波模板的大小，对这16个小正方形区域进行水平方向上和垂直方向上的haar小波变换，然后将haar小波变换的水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，组成一个4×16＝64维的描述向量；

(2)对描述后的左右图像特征点进行匹配，即对左图像中的每个特征点的描述向量与右图像中的每个特征点描述向量进行欧氏距离的计算，将具有最小欧式距离的两个特征点作为一对特征点对，欧式距离计算公式如下：

$d_{12}=\sqrt{\underset{k=1}{\overset{n}{\Σ}}{(x_{1k}-x_{2k})}^2}.$

5.如权利要求1所述基于双目视觉的无人机空中自主加油快速对接导航方法，其特征在于在步骤4)中，所述利用双目视觉原理计算特征点的三维坐标，并采用最小二乘法对三维坐标进行空间圆的拟合，获得加油锥套的端面圆曲线，再通过计算获得该圆的圆心、法向量和半径的具体方法为：

(1)利用步骤1)第(1)部分中获得的双目视觉系统的内部参数矩阵、外部参数矩阵及双目视觉原理求取加油锥套上光学标志灯的三维坐标；求取公式如下：

设双目摄像机系统的内部参数分别为A_l,A_r外部参数为M_l,M_r，其中

$A_l=\left[\begin{array}{ccc}{f}_{xl}& s_l& u_{l0}\\ 0& f_{yl}& v_{l0}\\ 0& 0& 1\end{array}\right],A_r=\left[\begin{array}{ccc}{f}_{xr}& s_r& u_{r0}\\ 0& f_{yr}& v_{r0}\\ 0& 0& 1\end{array}\right]$

$M_l=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],M_r=\[\begin{array}{cc}R& T\end{array}\]$

设某成像特征点的世界坐标系为(x_w y_w z_w)，则由投影原理得：

$z_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=A_l*M_l*\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]$

$z_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=A_r*M_r*\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]$

令投影矩阵H_l＝A_l*M_l,H_r＝A_r*M_r，则

$H_l=\left[\begin{array}{cccc}{h}_{l11}& h_{l12}& h_{l13}& h_{l14}\\ h_{l21}& h_{l22}& h_{l23}& h_{l24}\\ h_{l31}& h_{l32}& h_{l33}& h_{l34}\end{array}\right]$

$H_r=\left[\begin{array}{cccc}{h}_{r11}& h_{r12}& h_{r13}& h_{r14}\\ h_{r21}& h_{r22}& h_{r23}& h_{r24}\\ h_{r31}& h_{r32}& h_{r33}& h_{r34}\end{array}\right]$

其中，H_l,H_r中的所有分量均为已知量，则经过展开消去z_l,z_r得：

$\left\{\begin{array}{c}(u_l{h}_{l31}-h_{l11})*x_w+(u_l{h}_{32}-h_{l12})*y_w+(u_l{h}_{l33}-h_{l13})*z_w=h_{l14}-u_l{h}_{l34}\\ (v_l{h}_{l31}-h_{l21})*x_w+(v_l{h}_{l32}-h_{l22})*y_w+(v_l{h}_{l33}-h_{l23})*z_w=h_{l24}-v_l{h}_{l34}\\ (u_r{h}_{r31}-h_{r11})*x_w+(u_r{h}_{32}-h_{r12})*y_w+(u_r{h}_{r33}-h_{r13})*z_w=h_{r14}-u_r{h}_{r34}\\ (v_r{h}_{r31}-h_{r21})*x_w+(v_r{h}_{r32}-h_{r22})*y_w+(v_r{h}_{r33}-h_{r23})*z_w=h_{r24}-v_r{h}_{r34}\end{array}\right.$

令

$M=\left[\begin{array}{ccc}{u}_l{h}_{l31}-h_{l11}& u_l{h}_{32}-h_{l12}& u_l{h}_{l33}-h_{l13}\\ v_l{h}_{l31}-h_{l21}& v_l{h}_{l32}-h_{l22}& v_l{h}_{l33}-h_{l23}\\ u_r{h}_{r31}-h_{r11}& u_r{h}_{32}-h_{r12}& u_r{h}_{r33}-h_{r13}\\ v_r{h}_{r31}-h_{r21}& v_r{h}_{r32}-h_{r22}& v_r{h}_{r33}-h_{r23}\end{array}\right],U=\left[\begin{array}{c}{h}_{l14}-u_l{h}_{l34}\\ h_{l24}-v_l{h}_{l34}\\ h_{r14}-u_r{h}_{r34}\\ h_{r24}-v_r{h}_{r34}\end{array}\right]$

则得

$M\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]=U$

所以，最后求得三维坐标为

$\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]={(M^{\′}*M)}^{-1}*M^{\′}*U$

(2)对步骤(1)中求得的三维坐标采用最小二乘法进行空间圆的拟合，拟合得到的空间圆曲线就是加油锥套端面圆曲线，然后利用端面圆曲线求得端面圆的圆心三维坐标、法向量、半径。