CN103995538B - 一种基于图像识别的空中受油控制方法 - Google Patents

Abstract

一种基于图像识别的空中受油控制方法,属于飞行控制技术领域，具体涉及基于图像识别的加受油控制方法。其特征在于，第一，图像经过视觉测量得到加油锥相对于受油机的位姿信息；第二，根据位姿信息进行解算，得到综合偏差信号：按照x、y、z三个通道分别进行设计；第三，根据综合偏差信号，得到控制指令信息。本发明通过图像识别技术、控制分配技术，可以大大提高空中加受油的对接成功率，减小有人机飞行员的操作负担，扩展了飞机的作战半径。

Description

一种基于图像识别的空中受油控制方法

技术领域

本发明属于飞行控制技术领域，具体涉及基于图像识别的加受油控制方法。

背景技术

自主空中受油技术是目前有人机、无人机自主化和智能化研究领域的一个热点。本项目着眼于自主空中受油控制技术的研究，但传统导航定位方法如GPS和惯性导航不能满足测量精度要求，为实现自主空中受油任务，利用机器视觉技术测量精度高、速度快的特点解决这一问题。将基于视觉导航的方法应用于自主空中受油上，它与受油机原有的导航系统组成了组合导航系统，并且随着两机距离的接近，视觉导航所占的比重逐渐增大，提供受油探头和加油锥套的相对位置和相对姿态信息，为自主空中受油任务顺利完成奠定基础。

发明内容

本发明的目的是：本发明主要针对空中加受油任务，提供一种基于图像识别的空中受油控制方法。

本发明的技术方案是：

一种基于图像识别的空中受油控制方法，其特征在于：

第一，图像经过视觉测量得到加油锥相对于受油机的位姿信息；

第二，根据位姿信息进行解算，得到综合偏差信号：按照x、y、z三个通道分别进行设计；

在x通道中要考虑加油机和受油机在x方向上的距离偏差x_e＝x_C-x，以及速度偏差V_e＝V_L-V_W；在紧密编队的情况下，该通道耦合进来了y与z方向上的位置信号，加油机和受油机在y、z方向上的距离误差信号为：y_e＝y_C-y与z_e＝z_C-z，得到该通道的综合偏差信号：

e_x＝k_xxx_e+k_xVV_e+k_xyy_e+k_xzz_e

在y通道中要考虑编队在y方向上的距离偏差y_e＝y_C-y，以及加油机与受油机的航向角偏差ψ_e＝ψ_L-ψ_W；同样由于在紧密编队的情况下，该通道耦合进来了z方向上的位置信号，z方向上的距离偏差为：z_e＝z_C-z，得到该通道的综合偏差：

e_y＝k_yyy_e+k_yψψ_e+k_yzz_e

在z通道只考虑编队在z方向的距离偏差z_e＝z_C-z，得到该通道的偏差：

e_z＝k_zzz_e

第三，根据综合偏差信号，得到控制指令信息：

控制器利用上述的综合偏差对受油机的运动进行调节，以达到受油机跟随加油机的机动保持编队几何结构的目的，采用PI控制器，对应的控制律如下式所示：

$\left\{\begin{array}{c}{V}_{W_C}=K_{xP}\·e_x+K_{xI}\·\∫e_{x}dt\\ {\mathrm{\ψ}}_{W_C}=K_{yP}\·e_y+K_{yI}\·\∫e_{y}dt\\ h_{W_C}=K_{zP}\·e_z+K_{zI}\·\∫e_{z}dt\end{array}\right.$

变量说明：

x，y，z两机三方向上距离偏差；

x_c，y_c，z_c两机三方向上距离偏差；

x_e，y_e，z_e两机三方向上距离偏差；

V_L加油机速度；

V_W受油机速度；

V_e两机速度差

Ψ_L加油机航向

Ψ_W受油机航向

k_xx X通道X方向距离偏差权重系数

k_xV X通道速度偏差权重系数

k_xy X通道Y方向距离偏差耦合权重系数

k_xz X通道Z方向距离偏差耦合权重系数

k_yy Y通道Y方向距离偏差权重系数

k_yΨ Y通道航向偏差权重系数

k_yz Y通道Z方向距离偏差耦合权重系数

k_zz Z通道Z方向距离偏差耦合权重系数

K_xP，K_xI，K_yP，K_yI，K_zP，K_zI控制器参数

视觉测量系统负责计算加油锥与受油机加油探头之间的相对距离和相对姿态信息。场景提供图像信息，通过图像处理，提取加油锥LEDS特征点，然后进行对应特征点匹配，最后利用位置估计算法得到加油对接过程中加油锥与受油机的相对距离，作为空中加油控制器的反馈测量。

空中自主加油问题的实质为紧密编队问题，即受油机控制律必须使其能够沿着可行的参考路径飞向期望的固定位置即锥形管。在紧密编队控制系统中，编队模型为线性化模型。系统的输入量为编队中加油机相对于受油机的距离。加油机的运动作为对系统的干扰量，在编队飞行时会引起编队结构的变化，因此在编队控制器设计中必须考虑到加油机的影响。其中，“控制器”的目的为使受油机受油管与目标点之间的相对距离在某一时间内趋近于(r＝0)。“图像识别”模块向受油机提供相对位置信息。“控制器”模块用来产生控制指令使受油机能够按期望的指令操纵舵面，从而能够到达加油点并完成加油任务。

基于图像识别导航的空中加油控制系统实现步骤如下：

(1)图像识别获取加油机上受油锥的姿态和位置信息传给受油机的计算单元；

(2)计算单元根据受油机自身的姿态、位置信息与从图像识别获取的授油锥的信息进行解算，得到受油机与授油锥之间的相对距离矢量；

(3)与期望相对距离r相减得到误差信号e；

(4)e通过控制器模块产生控制指令u以控制受油机。

设计的编队控制系统为按偏差调节的闭环控制，执行机构采用PI控制器，保证系统响应的快速性与准确性。需要说明的是，编队飞行控制器的任务是保持编队中的相对位置不变，而在控制系统的偏差信号中也含有了速度信号的成分，因此，虽然选择的是比例-积分的控制律，其实系统中也隐含了微分控制的作用。

空中加油紧密编队飞行时，加油机的运动对受油机的运动会有比较大的影响，在设计控制器时，将加油机的运动作为对受油机的干扰加入系统中，所以在考虑偏差的时候要考虑系统的综合偏差。编队控制律按照x、y、z三个通道分别进行设计。

在x通道中要考虑编队在x方向上的距离偏差x_e＝x_C-x，以及加油机与受油机的速度偏差V_e＝V_L-V_W；在紧密编队的情况下，该通道耦合进来了y与z方向上的位置信号，因此还应考虑加油机和受油机在y、z方向上的距离误差信号y_e＝y_C-y与z_e＝z_C-z，得到该通道的综合偏差信号：

e_x＝k_xxx_e+k_xVV_e+k_xyy_e+k_xzz_e

在y通道中要考虑编队在y方向上的距离偏差y_e＝y_C-y，以及加油机与受油机的航向角偏差ψ_e＝ψ_L-ψ_W；同样由于在紧密编队的情况下，该通道耦合进来了z方向上的位置信号，因此也应考虑z方向上的距离偏差z_e＝z_C-z，从而得到该通道的综合偏差：

e_y＝k_yyy_e+k_yψψ_e+k_yzz_e

在z通道只考虑编队在z方向的距离偏差z_e＝z_C-z，得到该通道的偏差：

e_z＝k_zzz_e

接下来的控制器就利用上述的综合偏差对受油机的运动进行调节，以达到受油机跟随加油机的机动保持编队几何结构的目的。这里采用PI控制器，对应的控制律如下式所示：

$\left\{\begin{array}{c}{V}_{W_C}=K_{xP}\·e_x+K_{xI}\·\∫e_{x}dt\\ {\mathrm{\ψ}}_{W_C}=K_{yP}\·e_y+K_{yI}\·\∫e_{y}dt\\ h_{W_C}=K_{zP}\·e_z+K_{zI}\·\∫e_{z}dt\end{array}\right.$

所述图像经过视觉测量得到加油锥相对于受油机的位姿信息所采用的方法为一种基于机器视觉引导的空中受油引导控制方法，包括如下步骤：

第一，定义加油机、受油机、加油锥、摄像头所在的坐标系，通过各个坐标系之间的变换来描述几何位姿关系，求解加油锥坐标系的中心到摄像机坐标系中心(加油探头)的距离；

第二，对摄像头采集图像进行彩色空间(RGB)到色相、饱和度和明度(HSV)化处理，H、S、V三个通道的图像，选取其中的H、S通道图像进行给定阈值分割，此时，得到二值化的图像；二值化图像存在噪声，用腐蚀，膨胀等形态处理，将噪声去掉，对两个通道的二值图像进行融合，然后检测到LED光点，并为最后加油锥与摄像机相对位姿测量做准备；RGB到HSV的变换的数学公式如下式所示：

$s=\left\{\begin{array}{cc}0,& ifmax=0\\ \frac{max-min}{max}=1-\frac{min}{max},& otherwise\end{array}\right.$

由于检测对象是加油锥上的红色LED点，通过RGB颜色空间到HSV空间的变换，得到三个通道H、S、V的值，然后对S通道的图像进行阈值分割，可以检测到目标点；

第三，进行对应点匹配，即匹配标记连续帧图像对应特征点的位置；之前已经采集到加油锥特征点P_j在图像上的投影方程，假定投影点集为从摄像机采集图像提取特征点得到的观测点集为{p₁,p₂,...p_n}，其中p_j＝(u_j,v_j)是图像坐标，而对应的投影点集为其中是利用针孔投影成像模型计算得到的图像坐标；对于点集p_j,计算两者之间的欧式距离矩阵Err，矩阵大小为m×n：

$Err=\left[\begin{array}{cccc}d({\hat{p}}_1,p_1)& d({\hat{p}}_1,p_2)& \mathrm{...}& d({\hat{p}}_1,p_n)\\ d({\hat{p}}_2,p_1)& d({\hat{p}}_2,p_2)& \mathrm{...}& d({\hat{p}}_2,p_n)\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ d({\hat{p}}_m,p_1)& d({\hat{p}}_m,p_2)& \mathrm{...}& d({\hat{p}}_m,p_n)\end{array}\right]$

点集对应数学模型如下：

假设有两个点集A,B,s_ik表示集合A中的点i与集合B中的点k之间的欧式距离，要建立A、B两个点集之间的一一对应的关系，即转化为如下公式：

$\left\{\begin{array}{c}\min {\Σ}_{i=1}^N{\Σ}_{k=1}^N{s}_{ik}{x}_{ik}\\ \begin{array}{cc}{\Σ}_{i=1}^N{x}_{ik}=1& k=\mathrm{1...}N\end{array}\\ \begin{array}{cc}{\Σ}_{i=1}^N{x}_{ik}=1& i=\mathrm{1...}N\end{array}\\ s_{ik}>0\\ x_{ik}\∈\{0,1\}\end{array}\right.$

其中S＝{s_ij|s_ij＝dist(a_i,b_j),a_i∈A,b_j∈B,i＝1...N,j＝1...M}；

测量得到LED点在图像上的位置信息，然后与加油锥上的标记点对应起来，对应点标记可转化为上述数学指派问题；

P表示LED点在加油锥上的位置:

P＝{p₁,...,p_N}

A表示点集P通过旋转矩阵R和转移向量t以及摄像机投影变换到图像坐标系的点集:

A＝{a₁,...,a_N}

B表示图像检测得到的特征点集:

B＝{b₁,...,b_M}

C表示点集A与点集B对应点匹配，定义如下:

C＝{(a_i,b_j)|a_i∈A,b_j∈B}

第四，在特征点匹配后，进行位姿计算，加油锥图像特征点2D到3D的转化，通过旋转、缩放矩阵R和平移向量T的几何变化，获得加油锥到摄像机坐标系的相对距离信息，然后转化得到相对于受油机坐标系的位置信息[x_drogue y_drogue z_drogue]；已知受油机加油管在受油机坐标系的位置信息[x_probe y_probe z_probe]，那么空中加油的控制输入为：

$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\end{array}\right]=\left[\begin{array}{c}{x}_{drogue}-x_{probe}\\ y_{drogue}-y_{probe}\\ z_{drogue}-z_{probe}\end{array}\right]$

有GLSDC和LHM两种算法来估计摄像机坐标系下加油锥的位置和Euler角姿态

在机器视觉测量系统获取受油机上授油锥的姿态和位置信息后传给受油机的控制系统；控制系统根据受油机自身的姿态、位置信息与从机器视觉测量系统获取的授油锥的信息进行结算，得到受油机与授油锥之间的相对距离矢量r_d；r_d与期望相对距离r相减得到误差信号e；e通过控制器模块产生控制指令u以控制受油机。

本发明的优点是：

本发明主要应用于空中自主加受油系统，通过图像识别技术、控制分配技术，可以大大提高空中加受油的对接成功率，减小有人机飞行员的操作负担。

附图说明

图1是本发明的控制方法示意图。

图2是本发明的加油系统示意图。

具体实施方式

下面通过具体的控制策略并结合附图对本发明作进一步详细的描述。

视觉测量系统负责计算加油锥与受油机加油探头之间的相对距离和相对姿态信息。场景提供图像信息，通过图像处理，提取加油锥LEDS特征点，然后进行对应特征点匹配，最后利用位置估计算法得到加油对接过程中加油锥与受油机的相对距离，作为空中加油控制器的反馈测量。

空中自主加油问题的实质为紧密编队问题，即受油机控制律必须使其能够沿着可行的参考路径飞向期望的固定位置即锥形管。在紧密编队控制系统中，编队模型为线性化模型。系统的输入量为编队中加油机相对于受油机的距离。加油机的运动作为对系统的干扰量，在编队飞行时会引起编队结构的变化，因此在编队控制器设计中必须考虑到加油机的影响。其中，“控制器”的目的为使受油机受油管与目标点之间的相对距离在某一时间内趋近于(r＝0)。“图像识别”模块向受油机提供相对位置信息。“控制器”模块用来产生控制指令使受油机能够按期望的指令操纵舵面，从而能够到达加油点并完成加油任务。

基于图像识别导航的空中加油控制系统实现步骤如下：

(1)图像识别获取加油机上受油锥的姿态和位置信息传给受油机的计算单元；

(2)计算单元根据受油机自身的姿态、位置信息与从图像识别获取的授油锥的信息进行解算，得到受油机与授油锥之间的相对距离矢量；

(3)与期望相对距离r相减得到误差信号e；

(4)e通过控制器模块产生控制指令u以控制受油机。

设计的编队控制系统为按偏差调节的闭环控制，执行机构采用PI控制器，保证系统响应的快速性与准确性。需要说明的是，编队飞行控制器的任务是保持编队中的相对位置不变，而在控制系统的偏差信号中也含有了速度信号的成分，因此，虽然选择的是比例-积分的控制律，其实系统中也隐含了微分控制的作用。

空中加油紧密编队飞行时，加油机的运动对受油机的运动会有比较大的影响，在设计控制器时，将加油机的运动作为对受油机的干扰加入系统中，所以在考虑偏差的时候要考虑系统的综合偏差。编队控制律按照x、y、z三个通道分别进行设计。

在x通道中要考虑编队在x方向上的距离偏差x_e＝x_C-x，以及加油机与受油机的速度偏差V_e＝V_L-V_W；在紧密编队的情况下，该通道耦合进来了y与z方向上的位置信号，因此还应考虑加油机和受油机在y、z方向上的距离误差信号y_e＝y_C-y与z_e＝z_C-z，得到该通道的综合偏差信号：

e_x＝k_xxx_e+k_xVV_e+k_xyy_e+k_xzz_e

在y通道中要考虑编队在y方向上的距离偏差y_e＝y_C-y，以及加油机与受油机的航向角偏差ψ_e＝ψ_L-ψ_W；同样由于在紧密编队的情况下，该通道耦合进来了z方向上的位置信号，因此也应考虑z方向上的距离偏差z_e＝z_C-z，从而得到该通道的综合偏差：

e_y＝k_yyy_e+k_yψψ_e+k_yzz_e

在z通道只考虑编队在z方向的距离偏差z_e＝z_C-z，得到该通道的偏差：

e_z＝k_zzz_e

接下来的控制器就利用上述的综合偏差对受油机的运动进行调节，以达到受油机跟随加油机的机动保持编队几何结构的目的。这里采用PI控制器，对应的控制律如下式所示：

$\left\{\begin{array}{c}{V}_{W_C}=K_{xP}\·e_x+K_{xI}\·\∫e_{x}dt\\ {\mathrm{\ψ}}_{W_C}=K_{yP}\·e_y+K_{yI}\·\∫e_{y}dt\\ h_{W_C}=K_{zP}\·e_z+K_{zI}\·\∫e_{z}dt\end{array}\right.$

其中，优化后的一组控制参数为：K_xP＝0.235，K_xI＝0.66，K_yP＝0.332，K_yI＝0.584，K_zP＝0.285，K_zI＝0.744。

Claims (1)

1.一种基于图像识别的空中受油控制方法，其特征在于：

第一，图像经过视觉测量得到加油锥相对于受油机的位姿信息；

第二，根据位姿信息进行解算，得到综合偏差信号：按照x、y、z三个通道分别进行设计；

在x通道中要考虑加油机和受油机在x方向上的距离偏差x_e＝x_C-x，以及速度偏差V_e＝V_L-V_W；在紧密编队的情况下，该通道耦合进来了y与z方向上的位置信号，加油机和受油机在y、z方向上的距离误差信号为：y_e＝y_C-y与z_e＝z_C-z，得到该通道的综合偏差信号：

e_x＝k_xxx_e+k_xVV_e+k_xyy_e+k_xzz_e

在y通道中要考虑编队在y方向上的距离偏差y_e＝y_C-y，以及加油机与受油机的航向角偏差ψ_e＝ψ_L-ψ_W；同样由于在紧密编队的情况下，该通道耦合进来了z方向上的位置信号，z方向上的距离偏差为：z_e＝z_C-z，得到该通道的综合偏差：

e_y＝k_yyy_e+k_yψψ_e+k_yzz_e

在z通道只考虑编队在z方向的距离偏差z_e＝z_C-z，得到该通道的偏差：

e_z＝k_zzz_e

第三，根据综合偏差信号，得到控制指令信息：

控制器利用上述的综合偏差对受油机的运动进行调节，以达到受油机跟随加油机的机动保持编队几何结构的目的，采用PI控制器，对应的控制律如下式所示：

变量说明：

x，y，z两机三方向上距离偏差；

x_c，y_c，z_c两机三方向上距离偏差；

x_e，y_e，z_e两机三方向上距离偏差；

V_L加油机速度

V_w受油机速度

Ψ_L加油机航向

Ψ_W受油机航向

k_xx X通道X方向距离偏差权重系数

k_xV X通道速度偏差权重系数

k_xy X通道Y方向距离偏差耦合权重系数k_xz X通道Z方向距离偏差耦合权重系数k_yy Y通道Y方向距离偏差权重系数

k_yΨY通道航向偏差权重系数

k_yz Y通道Z方向距离偏差耦合权重系数

k_zz Z通道Z方向距离偏差耦合权重系数

k_xP，k_xI，k_yP，k_yI，k_zP，k_zI控制器参数 。