CN104133480A - 一种基于机器视觉的空中受油引导控制方法 - Google Patents

Abstract

本发明属于飞行控制技术领域，具体涉及到一种基于机器视觉引导的空中受油引导控制方法。本发明是针对为拓宽作战范围为提高成功回收的几率，具有加受油功能的飞机。其特征在于，实现空中加油的关键在于准确测量加油锥管和受油机之间的相对位置，以及对受油机实施有效的引导和控制。对于视觉引导系统来说，可以分为视觉导航与引导控制两个主要组成部分。假定加油机进行定高匀速直线平飞，在加油机的加油锥管上安装辅助光学标记，受油机上安装摄像机，采用视觉测量技术实时测量加油锥管的位置和姿态，设计适当的飞行控制率对受油机进行引导，完成加油对接。本发明适应受油任务特点、降低受油任务过程中飞行员操纵负担，大大提高受油任务成功率。

Description

一种基于机器视觉的空中受油引导控制方法

技术领域

本发明属于航空飞行控制技术领域，具体涉及到一种基于机器视觉引导的空中受油引导控制方法。 

背景技术

空中加油技术简单地说，就是在空中一架航空器给另一架或数架航空器（或直升机）加注燃油，使其航程加大，续航时间增长的技术。 

传统的加油方法有软管-浮锚式加油方法、飞桁式（硬管）加油方法，还有一种方式是将上述两种方法结合起来的混合式。不论空中加油机是采用上述任一种的空中加油设备或作业方式，其过程都大致如下：首先是加油机和受油机必须依照预定时间在预定地点会合，才能进行空中加油作业。然后受油机和加油机实施衔接，衔接成功之后加油系统依据信号自动接通油路。加油完毕后，受油机依据加油机的指挥进行脱离，整个加油过程便顺利完成。 

在此过程中，在导航方法的选取上，当加\受油机距离较远的情况下（大概3.2km左右），传统的惯导和GPS导航往往用于引导受油机靠近加油机，组成精确的加油编队；在两机距离比较近时(一般100m以内)，GPS已经不能满足自动空中加油的精度要求，现代化的空中加油作业仍然需要飞行员正确且细心的操作，需要加油机与受油机的配合协调，才能安全完成加油任务。这样加重了驾驶员的操纵负担并且成功率不高。 

发明内容

本发明的目的是：本发明主要针对空中受油任务，提供一种基于机器视觉引导的空中受油引导控制方法。 

本发明的技术方案：一种基于机器视觉引导的空中受油引导控制方法，其特征在于，包括如下步骤： 

第一，定义加油机、受油机、加油锥、摄像头所在的坐标系，通过各个坐标系之间的变换来描述几何位姿关系，视觉测量系统的功能就是求解加油锥坐标系的中心到摄像机坐标系中心（加油探头）的距离；第二，对摄像头采集图像进行彩色空间（RGB）到色相、饱和度和明度（HSV）化处理，H、S、V三个通道的图像，选取其中的H、S通道图像进行给定阈值分割，此时，可以得到二值化的图像；二值化图像存在噪声，用腐蚀，膨胀等形态处理，把噪声去掉，对两个通道的二值图像进行融合，然后检测到LED光点，并为最后加油锥与摄像机相对位姿测量做准备。RGB到HSV的变换的数学公式如下式所示： 

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.$

由于检测对象是加油锥上的红色LED点，通过RGB颜色空间到HSV空间的变换，得到三个通道H、S、V的值，然后对S通道的图像进行阈值分割，可以检测到目标点。 

第三，进行对应点匹配，即匹配标记连续帧图像对应特征点的位置；之前已经采集到加油锥特征点P_j在图像上的投影方程，假定投影点集为从摄像机采集图像提取特征点得到的观测点集为{p₁，p₂，...p_n}，其中p_j＝(u_j,v_j)是图像坐标，而对应的投影点集为 其中是利用针孔投影成像模型计算得到的图像坐标。对于点集计算它们之间的欧式距离矩阵Err，矩阵大小为m×n： 

$\mathrm{Err}=\left[\begin{array}{cccc}d({\hat{p}}_1,p_1)& d({\hat{p}}_1,p_2)& ...& d({\hat{p}}_1,p_n)\\ d({\hat{p}}_2,p_1)& d({\hat{p}}_2,p_2)& ...& d({\hat{p}}_2,p_n)\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ d({\hat{p}}_m,p_1)& d({\hat{p}}_m,p_2)& ...& d({\hat{p}}_m,p_n)\end{array}\right]$

上述公式可以用以下图示和一个矩阵来加以说明,点集对应的问题可以用经典的数学指派问题来描述，其数学模型如下： 

假设有两个点集A,B,s_ik表示集合A中的点i与集合B中的点k之间的欧式距离，那么要建立A、B两个点集之间的一一对应的关系，即转化为如下公式： 

$\left\{\begin{array}{c}\min {\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{k=1}^N{s}_{\mathrm{ik}}{x}_{\mathrm{ik}}\\ {\mathrm{\Σ}}_{i=1}^N{x}_{\mathrm{ik}}=1k=1...N\\ {\mathrm{\Σ}}_{i=1}^N{x}_{\mathrm{ik}}=1i=1...N\\ s_{\mathrm{ik}}>0\\ x_{\mathrm{ik}}\∈\left\{\mathrm{0,1}\right\}\end{array}\right.$

其中S={s_ij|s_ij＝dist(a_i，b_j)，a_i∈A，b_j∈B，i=1...N，j＝1...M}。 

我们可以测量得到LED点在图像上的位置信息，然后与加油锥上的标记点对应起来，对应点标记可转化为上述数学指派问题。 

P表示LED点在加油锥上的位置: 

P＝{p₁，...，p_N} 

A表示点集P通过旋转矩阵R和转移向量t以及摄像机投影变换到图像坐标系的点集: 

A＝{a₁，...，a_N} 

$p_i\stackrel{R,t}{\→}{a}_i$

B表示图像检测得到的特征点集: 

B＝{b₁...，b_M} 

C表示点集A与点集B对应点匹配，定义如下: 

C＝{(a_i,b_j)|a_i∈A,b_j∈B} 

第四，在特征点匹配后，进行位姿计算，加油锥图像特征点2D到3D的转化，通过旋转、缩放矩阵R和平移向量T的几何变化，获得加油锥到摄像机坐标系的相对距离信息，然后转化得到相对于受油机坐标系的位置信息[x_drogue y_drogue z_drogue]。已知受油机加油管在受油机坐标系的位置信息[x_probe y_probe z_probe]，那么空中加油的控制输入为： 

$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{drogue}}-x_{\mathrm{probe}}\\ y_{\mathrm{drogue}}-y_{\mathrm{probe}}\\ z_{\mathrm{drogue}}-z_{\mathrm{probe}}\end{array}\right]$

现在主要有GLSDC，LHM两种算法来估计摄像机坐标系下加油锥的位 置和Euler角姿态 $\left[\begin{array}{cccccc}{x}_t^c& y_t^c& z_t^c& {\mathrm{\ψ}}_t^c& {\mathrm{\θ}}_t^c& {\mathrm{\φ}}_t^c\end{array}\right].$

在机器视觉测量系统获取受油机上授油锥的姿态和位置信息后传给受油机的控制系统；控制系统根据受油机自身的姿态、位置信息与从机器视觉测量系统获取的授油锥的信息进行结算，得到受油机与授油锥之间的相对距离矢量r_d；r_d与期望相对距离r相减得到误差信号e；e通过控制器模块产生控制指令u以控制受油机。 

本发明的优点是： 

本发明主要应用于空中受油任务，该引导控制方法可以解决在空中受油任务两机对接过程中，由于两机较近所带来传统惯导和GPS导航精度不满足要求的问题。大大降低了飞行员的操纵负担，使空中受油任务的成功率大大提高。 

附图说明

图1是各坐标系的定义示意图。 

图2是目标（LED点）检测算法处理框图。 

图3是加油机的控制模块。 

具体实施方式

下面通过具体的控制策略并结合附图对本发明作进一步详细的描述。 

假定加油机进行定高匀速直线平飞，在加油机的加油锥管上安装辅助光学标记，受油机上安装摄像机。 

首先是定义加油机、受油机、加油锥、摄像头所在的坐标系，通过各个坐标系之间的变换来描述几何位姿关系，设置视景加油锥的相对距离为：X=-1.4m，Y=0.5m，Z=5.6米，如图1所示。通过对摄像 头采集图像进行彩色空间（RGB）到色相、饱和度和明度（HSV）化处理，H、S、V三个通道的图像，选取其中的H、S通道图像进行给定阈值分割，可以检测到目标点。然后，进行对应点匹配，即匹配标记连续帧图像对应特征点的位置。在特征点匹配后，就要进行位姿计算。在通过加油锥图像特征点2D到3D的转化，通过旋转、缩放矩阵R和平移向量T的几何变化，获得加油锥到摄像机坐标系的相对距离为：X=1.4647m，Y=0.570米，Z=5.7724米，误差在允许范围内。 

然后经过控制律的控制，使得X、Y、Z三轴的误差逐渐减小，当检测到的加油锥到摄像机坐标系的相对距离为：X=0m，Y=0米，Z=0米时，即加油锥套与加油锥重叠，加油成功，视景加油锥的相对距离为：X=-0.055m，Y=0.-0.005m，Z=0.02米，均在误差允许范围内。 

Claims (1)

1.一种基于机器视觉引导的空中受油引导控制方法，其特征在于，包括如下步骤：

第一，定义加油机、受油机、加油锥、摄像头所在的坐标系，通过各个坐标系之间的变换来描述几何位姿关系，求解加油锥坐标系的中心到摄像机坐标系中心（加油探头）的距离；

第二，对摄像头采集图像进行彩色空间（RGB）到色相、饱和度和明度（HSV）化处理，H、S、V三个通道的图像，选取其中的H、S通道图像进行给定阈值分割，此时，得到二值化的图像；二值化图像存在噪声，用腐蚀，膨胀等形态处理，将噪声去掉，对两个通道的二值图像进行融合，然后检测到LED光点，并为最后加油锥与摄像机相对位姿测量做准备；RGB到HSV的变换的数学公式如下式所示：

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.$

由于检测对象是加油锥上的红色LED点，通过RGB颜色空间到HSV空间的变换，得到三个通道H、S、V的值，然后对S通道的图像进行阈值分割，可以检测到目标点；

第三，进行对应点匹配，即匹配标记连续帧图像对应特征点的位置；之前已经采集到加油锥特征点P_j在图像上的投影方程，假定投影点集为从摄像机采集图像提取特征点得到的观测点集为{p₁，p₂，...p_n}，其中p_j＝(u_j,v_j)是图像坐标，而对应的投影点集为其冲是利用针孔投影成像模型计算得到的图像坐标；对于点集计算两者之间的欧式距离矩阵Err，矩阵大小为m×n：

$\mathrm{Err}=\left[\begin{array}{cccc}d({\hat{p}}_1,p_1)& d({\hat{p}}_1,p_2)& ...& d({\hat{p}}_1,p_n)\\ d({\hat{p}}_2,p_1)& d({\hat{p}}_2,p_2)& ...& d({\hat{p}}_2,p_n)\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ d({\hat{p}}_m,p_1)& d({\hat{p}}_m,p_2)& ...& d({\hat{p}}_m,p_n)\end{array}\right]$

点集对应数学模型如下：

假设有两个点集A,B,s_ik表示集合A中的点i与集合B中的点k之间的欧式距离，要建立A、B两个点集之间的一一对应的关系，即转化为如下公式：

$\left\{\begin{array}{c}\min {\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{k=1}^N{s}_{\mathrm{ik}}{x}_{\mathrm{ik}}\\ {\mathrm{\Σ}}_{i=1}^N{x}_{\mathrm{ik}}=1k=1...N\\ {\mathrm{\Σ}}_{i=1}^N{x}_{\mathrm{ik}}=1i=1...N\\ s_{\mathrm{ik}}>0\\ x_{\mathrm{ik}}\∈\left\{\mathrm{0,1}\right\}\end{array}\right.$

其中S={s_ij|s_ij＝dist(a_i，b_j)，a_i∈A，b_j∈B，i＝1...N，j＝1...M}；

测量得到LED点在图像上的位置信息，然后与加油锥上的标记点对应起来，对应点标记可转化为上述数学指派问题；

P表示LED点在加油锥上的位置:

P＝{p₁，...，p_N}

A表示点集P通过旋转矩阵R和转移向量t以及摄像机投影变换到图像坐标系的点集:

A＝{a₁，...，a_N}

$p_i\stackrel{R,t}{\→}{a}_i$

B表示图像检测得到的特征点集:

B＝{b₁，...，b_M}

C表示点集A与点集B对应点匹配，定义如下:

C＝{(a_i,b_j)|a_i∈A,b_j∈B}

第四，在特征点匹配后，进行位姿计算，加油锥图像特征点2D到3D的转化，通过旋转、缩放矩阵R和平移向量T的几何变化，获得加油锥到摄像机坐标系的相对距离信息，然后转化得到相对于受油机坐标系的位置信息[x_drogue y_drogue z_drogue]；已知受油机加油管在受油机坐标系的位置信息[x_probe y_probe z_probe]，那么空中加油的控制输入为：

$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{drogue}}-x_{\mathrm{probe}}\\ y_{\mathrm{drogue}}-y_{\mathrm{probe}}\\ z_{\mathrm{drogue}}-z_{\mathrm{probe}}\end{array}\right]$

有GLSDC和LHM两种算法来估计摄像机坐标系下加油锥的位置和Euler角姿态 $\left[\begin{array}{cccccc}{x}_t^c& y_t^c& z_t^c& {\mathrm{\ψ}}_t^c& {\mathrm{\θ}}_t^c& {\mathrm{\φ}}_t^c\end{array}\right];$

在机器视觉测量系统获取受油机上授油锥的姿态和位置信息后传给受油机的控制系统；控制系统根据受油机自身的姿态、位置信息与从机器视觉测量系统获取的授油锥的信息进行结算，得到受油机与授油锥之间的相对距离矢量r_d；r_d与期望相对距离r相减得到误差信号e；e通过控制器模块产生控制指令u以控制受油机。