CN113724326B

CN113724326B - 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法

Info

Publication number: CN113724326B
Application number: CN202110941432.2A
Authority: CN
Inventors: 赵科东; 孙永荣; 张怡; 李华; 吴玲
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2021-08-17
Filing date: 2021-08-17
Publication date: 2022-12-20
Anticipated expiration: 2041-08-17
Also published as: CN113724326A

Abstract

本发明公开了一种自主空中加油场景下锥套目标的单目视觉位姿解算方法，提取图像中与锥套上圆对应的图像特征，包含一个内圆和伞骨上的若干个圆；用内圆在图像坐标系的椭圆参数和实际已知的加油锥套内部圆形加油口的半径大小进行位姿解算，得到二义性位姿解，即两组可能的位姿解；利用伞骨上若干个圆的图像特征与两组位姿解，恢复出两个待定的目标空间结构；运行二级共轴约束，排除解算结果的二义性，得到内圆解算的唯一解，一并得到其余伞骨上圆解算的唯一位姿解；融合多圆特征求解位姿。本发明可以有效解决单目视觉单圆位姿解算存在二义性解的问题，并且融合多个共轴圆特征可优化得到更为精确的目标姿态解。

Description

一种自主空中加油场景下锥套目标的单目视觉位姿解算方法

技术领域

本发明属于计算机视觉领域，具体涉及一种自主空中加油场景下锥套目标的单目视觉位姿解算方法。

背景技术

空中加油技术可以显著延长航空器的续航能力，在战略或战术航空作战中具有极其重要的意义。在现有的文献资料中空中加油方式可分成软管式和硬管式两种。其中软管式空中加油方式由于经济性和灵活性，且被更多国家掌握，相对来说更适合用于航空器的自主空中加油。软管式自主空中加油对接过程中，锥套与受油机之间的相对位姿测量是加油成功与否的关键。单目视觉具有结构简单、便于标定、维护方便有效视场大等优点，受到研究人员的普遍重视，发展最为迅速且应用最为普及。因此，也是空中加油对接阶段引导受油机探针与锥套的常用导航方法。

自美国率先验证了主空中加油项目(AAR)以来，各国借鉴其利用多个LED 光标进行位姿解算的VisNav视觉导航系统的经验，开展了大量研究工作。现有的大多数自主空中加油视觉导航方法，常采用安装在锥套上的光学标记辅助的位姿解算方法，包括LED光标、光敏材料标记等。

与人工标记相比，锥套自身是一个典型的同轴旋转体，其上存在较为丰富的圆特征且容易提取。因其几何特点，圆特征对遮挡情况具有较高的抗干扰能力。利用目标自身圆形特征的视觉成像进行位置姿态等导航参数的解算是一种别具优势的方法。然而，实际加油过程中随着飞机速度变化，锥套伞骨会呈现不同程度的开合状态，导致位于伞骨上的圆形特征存在一定程度的形变，难以获取实时有效的尺寸约束信息，用于单目视觉位姿解算。只有加油口附近的内圆的半径尺寸与形状相对固定，可被用于锥套的位姿解算。但是，单目视觉成像原理决定了仅用单个圆特征进行位姿解算存在二义性的问题，即满足相同投影约束存在两组圆心位置与圆平面法向量的解。当且仅当，光心与目标圆形成正圆锥时有唯一解。

为了消除二义性解中的虚假位姿解，很多学者提出了构建空间中的参考点，利用其到圆心的欧氏距离不变性作为约束进行正确位姿选取，但这种方法需要借助一个已知的点特征；也有学者采用运动恢复结构方法重建空间约束角，由刚体运动不改变空间夹角的角度约束消除圆位姿估计二义性的方法，但需要场景中较为稠密的点特征用于目标重建。针对多个圆特征的情况，也有学者研究了多个平行圆或圆柱形特征约束下的目标位姿解，隐含条件为共轴圆半径尺寸已知。

以上方法或是要求目标存在或安装可识别的特殊结构，或是需要场景中包含较多的可用于恢复场景的特征信息，均需要满足特定的需求或特殊的条件，不适用于空中加油锥套位姿估计的情况，也没有考虑锥套自身结构的特性。

发明内容

发明目的：本发明提出了一种自主空中加油场景下锥套目标的单目视觉位姿解算方法，可以有效解决单目视觉单圆位姿解算存在二义性解的问题，并且融合多个共轴圆特征可优化得到更为精确的目标姿态解。

技术方案：本发明所述的一种自主空中加油场景下锥套目标的单目视觉位姿解算方法，具体包括以下步骤：

(1)提取待解算位姿的锥套目标的实时图像中与锥套上圆对应的图像特征，包含一个内圆和伞骨上的若干个圆；

(2)用步骤(1)提取得到的内圆在图像坐标系的椭圆参数和实际已知的加油锥套内部圆形加油口的半径大小进行位姿解算，得到二义性位姿解，即两组可能的位姿解；

(3)利用步骤(2)提取的伞骨上若干个圆的图像特征与步骤(2)解算的两组位姿解，恢复出两个待定的目标空间结构；

(4)运行二级共轴约束，排除步骤(2)解算结果的二义性，得到内圆解算的唯一解，一并得到其余伞骨上圆解算的唯一位姿解；

(5)融合多圆特征求解位姿。

进一步地，步骤(1)所述图像特征指锥套上圆在图像坐标系中成像的椭圆参数，包括中心点坐标(u,v)，长轴a，短轴b以及倾角θ，单为分别为像素和度；所述内圆指加油锥套内部圆形加油口的圆。

进一步地，所述步骤(3)包括以下步骤：

(31)均匀提取伞骨上每个圆的图像特征上若干个点在图像坐标系下的坐标；所述均匀提取指，以任意长轴为起始，绕椭圆中心逆时针方向按旋转角度均匀等分；

(32)根据已知的锥套上各个圆平面的间距，计算伞骨上若干个圆所在平面，在相机坐标系下的“法线—截距”表达式的截距

其中，公式中加减号为，圆所在平面比内圆靠近相机时为减号，远离相机时为加号；n为内圆解算的目标法向量；O为内圆解算的目标位置坐标；d_*为各个对应的圆平面与内圆平面的间距；

(33)根据步骤(2)解算的两组位姿解，计算M个共轴圆上每个由步骤(31) 选取图像点在相机坐标系下反投影的三维点坐标

恢复出两个对应的空间结构；其中，K为相机内参矩阵；

为图像坐标系齐次坐标；所述空间结构指，与根据M个共轴圆的图像特征和内圆两组解算结果恢复出的与两组结算结果对应的两个空间点集，其中仅有与正确内圆位姿解算结果对应的空间结构满足实际的空间结构中的共轴约束；

(34)以空间圆圆心必在任意两点中垂面上，可用N个点构建(N-1)个线性无关的约束等式，并根据步骤(2)求解的平面的法向量，可求解两个空间结构上M个共轴圆圆心

的最小二乘解，并根据：

求解对应的空间结构上M个共轴圆的半径r与圆度△r；其中，

为圆上点

的三维坐标。

进一步地，所述步骤(4)包括以下步骤：

(41)计算步骤(3)得到内圆解算两组位姿解对应空间结构的第一级共轴约束判断量：

其中j＝1,2

式中r_i ¹,r_i ²分别为步骤(3)计算得到的第i个共轴圆对应于内圆解算两组结果的半径；△r_i ^j为步骤(3)计算得到的第i个共轴圆对应于内圆解算两组结果的圆度；i＝1,…M，M代表用于本算法的共轴圆数量。

(42)进行第一级共轴约束的二义性解排除；

(43)计算得到的若干个伞骨上圆的半径，根据下式选择对应半径，

并根据步骤(2)中的位姿求解方法，可求解得到每个圆的两组位姿解；

(44)运行第二级共轴约束的二义性解排除，并得到所有圆唯一的法向姿态解：

其中，

和

为第i个圆求解得到的两个法向量。

进一步地，所述步骤(5)通过以下公式实现：

其中ξ^Tξ＝1

其中，ξ^Tξ＝1，n_j为内圆解算法向姿态的唯一解和其余伞骨上圆的法向位姿唯一解。

有益效果：与现有技术相比，本发明的有益效果：本发明克服了自主空中加油方法依赖光学标记进行锥套位姿解算的不便，也解决了单个圆特征进行位姿解算存在两组位姿解的二义性问题；该方法利用锥套自身圆形特征进行位姿解算，仅需知道单个圆特征的半径大小与若干个共轴圆特征平面之间的间距的情况下，利用二级共轴约束可以有效地排除单圆位姿解算存在的二义性问题，融合多个圆特征优化后的目标法向量姿态精度也可得到极大提升。

附图说明

图1是本发明的流程图；

图2是本发明世界坐标系、相机坐标系和图像坐标系之间关系的示意图；

图3是两组位姿解对应空间结构关系图；

图4是锥套和锥套模型示意图；

图5是锥套实验采集的图像示例图；

图6是仿真实验二义性排除成功率曲线图；

图7是仿真实验法向姿态误差曲线图；

图8是锥套实验法向姿态误差曲线图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

以空中加油锥套目标为背景，针对类似加油锥套这一类部分稳定的共轴旋转体结构目标，在实际飞行过程中仅存在单个圆形特征的尺寸固定，(如锥套内部圆形加油口，后续简称为内圆)，其余伞骨上的共轴圆存在一定程度形变，难以提前获取可直接解算位姿的实际尺寸约束的情况下，仅使用锥套内圆解算位姿存在二义性，并且无法融合结构上其余共轴圆特征进行目标姿态优化的问题，本发明提出了一种自主空中加油场景下锥套目标的单目视觉位姿解算方法，如图1 所示，具体包括以下步骤：

步骤1：提取光学传感设备等获取的包含待解算位姿的锥套目标的实时图像中与锥套上圆对应的图像特征，包含一个内圆和伞骨上的若干个圆。提取图像中与锥套上圆形对应的图像特征，包含一个内圆和伞骨上的两个圆O_p和O_q。

图2所示为本发明中所涉及到的坐标系示意图，目标世界坐标系O_w-X_wY_wZ_w，其中，世界坐标系的X-Y平面位于内圆所在平面内，坐标原点位于内圆圆心，Z 轴垂直平面背离相机。相机坐标系O_c-X_cY_cZ_c以及图像坐标系O_I-UV与是计算机视觉中坐标系建立方法相同。图4是锥套和锥套模型示意图；

图5所示为锥套实验采集的图像示例图。

图像特征指锥套上圆在图像坐标系中成像的椭圆参数，包括椭圆中心点坐标 (u,v)，长轴a，短轴b以及倾角θ(椭圆长轴a与图像坐标系u轴之间的夹角)，单为分别为像素和度；内圆指加油锥套内部圆形加油口的圆。

步骤2：用步骤1提取得到的内圆在图像坐标系的椭圆参数和实际已知的加油锥套内部圆形加油口的半径大小进行位姿解算，得到二义性位姿解，即两组可能的位姿解。

图3所示为单目视觉单圆位姿解算二义性解与空间点的结构在投影约束下的示意图。二义性位姿解指，单目视觉成像原理导致的一般情况下单个圆特征位姿解算存在二义性的问题，即有两组可能的位姿解符合同一个投影约束。当且仅当，光心与目标圆形成正圆锥时有唯一解。

步骤3：利用步骤1提取的伞骨上若干个圆的图像特征与步骤2解算的两组位姿解，恢复出两个待定的目标空间结构。

(3.1)均匀提取伞骨上每个圆的图像特征上若干个点在图像坐标系下的坐标。均匀提取指，以任意长轴为起始，绕椭圆中心逆时针方向按旋转角度均匀等分。

(3.2)根据已知的锥套上各个圆平面的间距，计算伞骨上若干个圆所在平面，在相机坐标系下的“法线—截距”表达式的截距

其中，公式中加减号为，圆所在平面比内圆靠近相机时为减号，远离相机时为加号；n为内圆解算的目标法向量，为方便表述，取为指向相机方向；O为内圆解算的目标位置坐标；d_*为各个对应的圆平面与内圆平面的间距。

由二义解的成因可知，步骤2解算的两组位姿解代入计算结果相同，故可只用任意一组进行计算。

(3.3)根据步骤2解算的两组位姿解，根据公式

计算每个点相机坐标系下反投影的三维点坐标，恢复出两个对应的空间结构。其中，K 为相机内参矩阵；

为图像坐标系齐次坐标；

空间结构为步骤(3.1)提取的每个图像点，根据相机模型反投影得到的三维点组成的空间结构。

由相机模型可知，在相机坐标系下空间点

是相机光心O_c、成像点

的连线向量

与共轴圆所在空间平面Ω₁的交点。此时，点

应满足

联立上式可求解点

在相机坐标系下的坐标。

(3.4)以空间圆圆心必在任意两点中垂面上，可用N个点构建(N-1)个线性无关的约束等式，并根据步骤2求解的平面的法向量，可分别求解两个空间结构上M个共轴圆的三维中心

的最小二乘解，并根据：

求解对应的空间结构上M个共轴圆半径r与圆度△r。其中，

为对应圆上点

的三维坐标。

步骤4：运行二级共轴约束，排除步骤2解算结果的二义性，得到内圆解算的唯一解，一并得到其余伞骨上圆解算的唯一位姿解。

(4.1)计算步骤3得到内圆解算两组位姿解对应空间结构的第一级共轴约束判断量。

第一级共轴约束判断量计算方法如下：

其中j＝1,2且i＝1,2...M

(4.2)进行第一级共轴约束的二义性解排除。判断条件如下：

(4.3)利用步骤(3.4)计算得到的若干个伞骨上圆的半径，根据下式选择对应半径，

并根据步骤2中的位姿求解方法，可求解得到每个圆的两组位姿解。

(4.4)运行第二级共轴约束的二义性解排除，并得到所有圆唯一的法向姿态解。判断条件如下：

其中，公式中

和

为，第i个共轴圆求解得到的两个法向量。选择与更多圆满足步骤(4.4)中约束的解。

二级共轴约束为，1)与内圆平行的几个平面上存在空间圆形结构；2)多个平面的空间圆圆心共线且法向量平行。

二级共轴约束可以排除单圆位姿解算二义解的证明如下：

定义

为单圆位姿解算两组解分别对应的第j个平行于内圆的平面，

为单圆位姿解算结果对用的空间结构与第j个平行于内圆的平面的相交曲线。若能证明虚假解恢复出的空间结构不满足共轴约束，即解算出的

不同时为圆形，且空间结构中心连线向量与圆平面法向量不平行，即可利用共轴约束进行二义解排除。如无特殊说明，下文空间坐标均为相机坐标系下坐标。

已知内圆O存在两组位姿解算结果(O¹,n¹)和(O²,n²)，其中O¹,O²为圆心坐标， n¹,n²为圆平面法向量，通过法向量n¹,n²分别构建两个旋转矩阵

可使得相机坐标系Z轴与法向量

平行且指向目标方向，此时存在如下坐标变换关系：

其中，X为原相机坐标系下非齐次坐标，X₁,X₂为转换后的非齐次坐标，之间满足如下关系：

根据二义解成因可知，转换后的两个坐标系下，光心与内圆O构成斜圆锥曲面的空间约束矩阵形式如下：

即在两个变换后的坐标系存在：

式(4)代入式(2)整理后可得：

Φ₂＝R^TΦ₁R (5)

若存在圆O的二义解使得共轴圆P的两组空间结构满足共轴约束(1)，即相机光心与圆P构成的一个斜圆锥，经过圆O对应R₁,R₂坐标变换关系后也均存在形如Q₁,Q₂的矩阵Ψ₁,Ψ₂，满足：

Ψ₂＝R^TΨ₁R (6)

由同轴约束(2)可得到Ψ₁,Φ₁与Ψ₂,Φ₂需满足下式关系：

其中k≠1为两变换后坐标系下圆P和圆O的Z轴坐标比值：

其中，z_q1＝(O¹)^T·n¹,z_q2＝(O²)^T·n²，为坐标系转换后内圆O圆心的Z轴坐标，由式(6)可知z_q1＝z_q2＝z_q，

为世界坐标系下共轴圆圆心的Z轴坐标。分别记：

由式(5)-式(7)计算可得：

式(10)可写成：

分析上式，存在以下几种情况：

1.当r₁₃＝r₃₁＝0,r₂₃＝r₃₂＝0

此时r₃₃必定为1，即以

为旋转矩阵的X₁与X₂之间为绕Z轴的旋转变换，不改变圆心位置与法向量，即(O¹,n¹)和(O²,n²)相等的情况；

2.其余情况

对比等式左右得

表示可能等于。结合式(7)可知此时e_q1＝e_q2,f_q1＝f_q2，且圆锥体与平面相交曲线若为圆，参数应满足：

(e²+f²-c)z²＝r²

可得c_q1＝c_q2，则

为单位阵，变换前后X₁与X₂所在坐标系相等，即仅有一组位姿解。

综上所述，利用单圆位姿虚假解恢复的空间结构不满足共轴约束。因此，可以利用共轴约束来排除二义解。

步骤5：融合多个圆特征求解位姿

其中ξ^Tξ＝1。其中，

为方法求解得到的最后结果，即相对于相机的目标内圆平面法向量和圆心位置。

其中，n_j为步骤4得到内圆解算法向姿态的唯一解和其余伞骨上圆的法向量，共计J+1个。

为了验证本发明的有效性，分别设计了仿真实验(内圆、圆O₁、圆O₂)与真实目标实验(内圆、圆O_p、圆O_q)对其进行验证。对算法性能的评估将从二义性排除成功率和法向量精度两方面来进行。

针对评价的指标的定义如下：若算法解算法向量与圆心坐标为

对应仿真参数(R_b,t_b)，实验定义目标位姿误差由角度误差(解算法向量与法向量真值夹角)和平移误差组成，定义如下:

虚假解排除成功评价标准：算法解算位置

平移误差以及法向量

与真值r₃之间的角度误差小于被排除的解。因此，定义二义性排除成功率为成功排除虚假解帧数N_P与总图像帧数N的百分比。

图6和图7所示为仿真实验的结果，其中(a),(b),(c)分别对应不同图像噪声，不同空间结构噪声和不同工作距离的方正实验结果。此外，图7中在进行算法精度评价时，对比了不同组合的输出结果，记OURS-OC为仅利用O₁和O₂排除二义性的位姿解算结果。此外，还对比了仅用O₁，仅用O₂，同时融合O₁和O₂的解算结果，分别对应图中的OURS-1、OURS-2、OURS-3。

仿真实验建立在基于MATLAB的仿真模拟系统，设置相机分辨率 1600×1200pixel，像元大小0.01×0.01mm，焦距为8mm，主点位置(800.00,600.00)。

在仿真实验中，为了验证算法的抗干扰能力和对距离的鲁棒性，开展了不同图像噪声下的实验(模拟拟合图像参数时的误差)，不同空间结构噪声下的实验 (模拟实际应用中伞骨形变)，以及不同工作距离下的对比实验。

建立目标世界坐标系为以内圆圆心为原点垂直圆所在平面背向相机方向为 Z轴正方向。对目标各参数设定依据实际锥套模型测量值，分别为内圆半径 r＝125.0mm，圆心坐标(0,0,0)，共轴圆O₁半径r₁＝385.0mm，圆心坐标(0,0,-210)，共轴圆O₂半径r₂＝320.0mm，圆心坐标(0,0,-310)，二义性排除成功率评价实验中仅使用一个共轴圆O₁。

(a)图像噪声实验

设定相机坐标系下目标位置Z轴固定为5m，XY轴坐标为±1.5m范围内变化的随机值，姿态设定为航向角±30°，俯仰角±30°，滚转角±15°的随机值。空间结构噪声设定为对O₁圆心坐标施加均值为0，方差为10的白噪声，对其半径r₁施加均值为0，方差为20的白噪声。图像噪声的设定为均值为0，方差分别设定为1-6 的白噪声。根据上述模拟条件生成目标图像，解算时拟合带噪声的图像特征进行位姿解算。上述仿真条件每个图像噪声统计10次实验结果，每次实验模拟2000 帧图像。

(b)空间结构噪声实验

对相机坐标系下目标位置和姿态的设定同上，固定图像噪声均值为0，方差为2的白噪声。空间结构噪声设定为对O₁的圆心坐标施加均值为0，方差分别为 (0,5,10,15,20,25,30,35,40)的白噪声，对其半径r₁施加均值为0，方差为圆心噪声2 倍的白噪声。根据上述模拟条件生成目标图像，解算时拟合带噪声的图像特征进行位姿解算。上述仿真条件每个图像噪声统计10次实验结果，每次实验模拟2000 帧图像。

(c)不同距离实验

固定图像噪声为均值为0，方差设定为2的白噪声。空间结构噪声设定为对 O₁的圆心坐标施加均值为0，方差为20的白噪声。对其半径r₁施加均值为0，方差为40的白噪声。相机坐标系下目标位置的设定为Z轴分别为4-9m间隔1m， XY轴坐标为在±1.5m范围内变化的随机值，目标姿态的设定同上。根据上述模拟条件生成目标图像，解算时拟合带噪声的图像特征进行位姿解算。上述仿真条件每个图像噪声统计10次实验结果，每次实验模拟2000帧图像。

从仿真实验结果看，本发明具有：

1.优异的抗空间结构噪声的能力，在方差为40的噪声扰动下，能维持在 98.50％以上，

2.对图像噪声具备较高的鲁棒性，当噪声方差为5时，成功率也能维持在 90％以上；

3.对距离不敏感，在不同目标距离的情况下二义性排除算法均有效。

如图8所示为锥套实验的解算结果，图中曲线O1、O2、O3、OC分别代表仅用O_p，仅用O_q、同时使用双圆进行位姿解算和仅利用双圆进行二义解排除后的法向误差曲线。

锥套目标实验条件：使用Point Grey BFLY-U3-23S6C-C工业相机，在距离目标2.8-3m的不同视角范围内拍摄得到的共计49帧图片，分辨率为 960×600pixel。真实目标采用一比一大小还原的锥套模型，其中用于位姿解算的内圆即图中红色实线圈出的部分的直径250mm，并且建立目标世界坐标系原点位于内圆圆心，Z轴垂直平面指向背面。其余同轴圆圆心坐标分别为O_p＝(0,0,-210)， O_q＝(0,0,-310)。采集图像时，对锥套进行一定程度拉伸和压缩以模拟锥套在加油过程中的形变。

相机内参标定结果为：光轴fu＝1343.4，fv＝1347.5，主点 u0＝493.5,v0＝289.1。每帧图像对应的基准值由文献(孙永荣,黄斌,杨博文, 等.多视图场景确定下的空间点位置视觉标定方法[J].南京航空航天大学学报, 2015,47(003):343-347.)中多场景位姿优化方法，对多帧图像进行位姿融合优化解算得到。

从锥套目标实验结果看：本发明可有效排除单圆位姿解算存在的二义性问题，对采集的图像数据均能成功排除二义性解；此外，利用圆O_p、O_q、联合双圆和仅用双圆进行二义性解排除四种方法的圆平面法相平均误差分别为 0.11°、0.10°、0.08°、0.15°，利用双圆优化后较仅排除二义解的方法误差减少了26.7％以上。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。