CN114638896A - 一种基于不变特征的锥套位姿解算方法 - Google Patents

一种基于不变特征的锥套位姿解算方法 Download PDF

Info

Publication number
CN114638896A
CN114638896A CN202210536319.0A CN202210536319A CN114638896A CN 114638896 A CN114638896 A CN 114638896A CN 202210536319 A CN202210536319 A CN 202210536319A CN 114638896 A CN114638896 A CN 114638896A
Authority
CN
China
Prior art keywords
line
coordinate system
features
taper sleeve
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210536319.0A
Other languages
English (en)
Other versions
CN114638896B (zh
Inventor
赵科东
孙永荣
李华
吴玲
付宇龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210536319.0A priority Critical patent/CN114638896B/zh
Publication of CN114638896A publication Critical patent/CN114638896A/zh
Application granted granted Critical
Publication of CN114638896B publication Critical patent/CN114638896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不变特征的锥套位姿解算方法，包括获取可用于不变特征构建三维空间信息的物理量；提取圆特征的图像信息，并根据圆特征解算位姿，得到两组可能的位姿解；提取图像中三线特征的图像信息，计算得分得到有效三线特征；利用有效三线特征，分别求解得到每个三线特征的位置参数；根据模型坐标系与世界坐标系的约束关系，选择正确姿态解；求解锥套姿态初始解；根据模型坐标系与世界坐标系的约束关系，求解锥套位置初始解；优化锥套位姿。本发明克服了自主空中加油近距视觉导航中锥套形变会影响特征三维空间信息的准确性从而导致单目视觉位姿解算精度下降问题，具有更简单的图像信息与空间信息的对应关系，便于特征的配准。

Description

一种基于不变特征的锥套位姿解算方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种自主空中加油场景下单目视觉锥套位姿解算方法。
背景技术
空中加油技术自上世纪二十年代发明以来，对航空业产生能力巨大的影响。空中加油技术可以大大提到战斗机的作战能力，也可以为国际航班和运输的减少约30-40%的燃料。随着无人航空器的发展，自主空中加油(Aerial Autonomous Refueling，AAR)也应运而生，顺势而为。AAR可降低有人机空中加油的操作风险，还可实现无人机的自主加油，是现代航空领域的重要研究方向之一。
现有的文献报道中空中加油方式可分成软管式和硬管式两种。其中软管式空中加油方式由于经济性和灵活性，且被更多国家掌握，被证实更适合用于航空器的自主空中加油场景。我国主要应用的即为软管式空中加油方式。软管式加油系统由加油泵、调压系统、加油软管及锥套等组成，尾端的锥套装置连接软管，在运动过程中依靠气动力与软管拖拽力将撑开并在一定范围内运动。受油机的探头进入稳定伞内部的加油口并与之啮合并锁定，即可进行进一步的油料传输。软管式空中加油的关键之一是在近距(距离在1m-20m之间)的情况下，实时获取加油锥套与受油插头之间精确的实时位姿信息，尤其是在两者靠近的对接阶段(1m以内)，相对位置误差需保持在厘米级。INS（Inertial Navigation System，惯性导航系统）和GPS（Global Positioning System，全球定位系统）等传统的机载导航方式的相对定位精度低且存在应用场景的限制，不适合空中加油近距场景尤其是对接阶段。单目视觉具有结构简单、便于标定、维护方便有效视场大等优点，是目前空中加油对接阶段引导受油机探针与锥套的常用导航方法。
自美国率先验证了主空中加油项目（AAR）以来，各国借鉴其利用多个LED光标进行位姿解算的VisNav视觉导航系统的经验，开展了大量研究工作。现有的大多数自主空中加油视觉导航方法，常采用安装在锥套伞骨上的光学标记辅助的位姿解算方法，包括LED光标、光敏材料标记等。此外，也有一部分研究利用锥套自身的圆形特征进行位姿解算，但单圆位姿解算存在二义性的问题。
然而，由于锥套伞骨之间采用柔性连接的方式，在飞行过程中依靠气流将伞面撑开，锥套上铰链在加油口不同位置伞骨会随着气流变化在不同作用力的情况下和加油口平面法向量形成不同的夹角，使得锥套稳定伞呈现类似伞状的不同程度的开合状态。而单目视觉位姿测量技术中十分需提前获知三维空间信息，且确保二维图像信息与三维空间信息之间的准确对应。柔性的锥套结构使得三维空间信息处于实时变化的状态，不考虑锥套这一柔性结构的形变导致的空间结构变化会直接影响约束方程的准确性，导致了锥套位姿解算精度的降低，甚至解算失效的情况。
发明内容
发明目的：本发明为了克服柔性锥套结构形变带来的锥套位姿估计精度低，从而影响空中加油任务成功与否的问题，本发明从锥套自身结构出发，分析柔性锥套在飞行过程中的形变特点，提出了一种基于不变特征的锥套位姿解算方法。
技术方案：本发明的基于不变特征的锥套位姿解算方法，具体包括如下步骤：
步骤1、获取可用于不变特征构建三维空间信息的物理量，所述物理量包括圆特征和三线特征；
步骤2、提取圆特征的图像信息，并根据圆特征解算位姿，得到两组可能的位姿解， 包括两个法向姿态
Figure 693234DEST_PATH_IMAGE001
(
Figure 344795DEST_PATH_IMAGE002
维的单位向量)和两个位置
Figure 718007DEST_PATH_IMAGE003
(
Figure 847637DEST_PATH_IMAGE004
维的向量)，其中
Figure 396430DEST_PATH_IMAGE005
；
所述圆特征的图像信息指锥套上圆在图像中成像的椭圆参数，包括中心点坐标(u,v)，长轴a，短轴b以及倾角θ，单位分别为像素和度；对于圆特征三维空间信息包括但不限于圆的半径、直径或圆上若干点的坐标等能恢复出圆空间结构的物理量。
步骤3、提取图像中三线特征的图像信息，计算得分，得到有效三线特征；
步骤4、利用有效三线特征，构建计算机视觉中的P3L问题，分别求解得到每个三线 特征的位置参数
Figure 77947DEST_PATH_IMAGE006
和姿态参数
Figure 813822DEST_PATH_IMAGE007
，每个三线特征可解算到2到4组位姿解，故N个三线特 征可产生
Figure 747143DEST_PATH_IMAGE008
组到
Figure 275077DEST_PATH_IMAGE009
待定的解；
步骤5、根据模型坐标系与世界坐标系的约束关系，选择步骤3、4中正确姿态解；
步骤6、求解锥套姿态初始解；
步骤7、根据模型坐标系与世界坐标系的约束关系，求解锥套位置初始解；
步骤8、优化锥套位姿。
进一步地，步骤1中，所述不变特征包括：
（1）锥套加油口的单个圆形特征；
（2）锥套每个伞骨三角块上的三条不同方向的线特征，下称三线特征，记为
Figure 2861DEST_PATH_IMAGE010
，其中
Figure 491611DEST_PATH_IMAGE011
为从伞骨内侧提取到的线特征，
Figure 822098DEST_PATH_IMAGE012
为从伞骨外侧提 取到的线特征，
Figure 79904DEST_PATH_IMAGE013
为剩余一个方向的线特征，
Figure 244170DEST_PATH_IMAGE014
和
Figure 220216DEST_PATH_IMAGE015
为从三线特征空间物理量拟合出 的代表线段的首尾端点。
进一步地，步骤1中，所述圆特征为能恢复出圆空间结构的物理量，包括圆的半径、直径或圆上若干点的坐标；所述三线特征为能恢复出三角形空间结构的物理量，包括三线特征所构成的三角形的三边长、两边长及夹角。
进一步地，步骤3具体为：提取图像中可观测的三线特征
Figure 354394DEST_PATH_IMAGE016
(
Figure 466706DEST_PATH_IMAGE017
维的向量)，对三线特征按
Figure 536294DEST_PATH_IMAGE018
计算得分，并进行降序排列，得到前N个得分最高的三线特征索引向量
Figure 124270DEST_PATH_IMAGE019
和得分向量
Figure 937505DEST_PATH_IMAGE020
，其中
Figure 169903DEST_PATH_IMAGE021
(
Figure 675971DEST_PATH_IMAGE022
维的向量)和
Figure 485664DEST_PATH_IMAGE023
(
Figure 102590DEST_PATH_IMAGE022
维的向量)是第i条线拟合得 到的首尾端点，下称为有效三线特征，
Figure 189495DEST_PATH_IMAGE024
代表向量取模，
Figure 725518DEST_PATH_IMAGE025
代表向量叉乘。
进一步地，步骤5中，所述模型坐标系与世界坐标系的约束关系包括：
（1）圆特征的模型坐标系与世界坐标系保持一致；
（2）多个三线特征模型坐标系的Y轴与世界坐标系Z轴在一直保持正交的状态，即世界坐标系Z轴始终垂直于多个三线特征所在平面法向量张成的平面；
（3）所有三线特征模型坐标系的原点位于以圆特征模型坐标系原点为圆心，半径与加油口半径r相同的圆上。
进一步地，步骤5具体为：取步骤4中解算得到的三线特征模型坐标系Y轴方向，记 为
Figure 897874DEST_PATH_IMAGE026
；结合圆特征求解得到的两个圆平面法向量
Figure 52912DEST_PATH_IMAGE027
(
Figure 259902DEST_PATH_IMAGE022
维的单位向量)和
Figure 232406DEST_PATH_IMAGE028
(
Figure 892057DEST_PATH_IMAGE022
维 的单位向量)，按
Figure 585207DEST_PATH_IMAGE029
计算误差，从每个三线特征的多组姿 态参数中选取出符合实际位姿的圆平面法向量和三线特征模型坐标系Y轴
Figure 505758DEST_PATH_IMAGE026
，其中
Figure 524530DEST_PATH_IMAGE030
为有效三线特征的个数，
Figure 671478DEST_PATH_IMAGE031
代表解的数量为2到4个，
Figure 433897DEST_PATH_IMAGE032
代表向量转置，
Figure 208955DEST_PATH_IMAGE033
表示取最小值，选择误差和较小的那组为锥套姿态对应的圆平面法向量
Figure 133049DEST_PATH_IMAGE034
和三线 特征模型坐标系Y轴向量
Figure 767293DEST_PATH_IMAGE026
，当
Figure 192458DEST_PATH_IMAGE035
和
Figure 228547DEST_PATH_IMAGE036
相近时，选择误差分布更 一致的那组解。
进一步地，步骤6具体为：根据模型坐标系与世界坐标系之间的约束关系，构建线 性约束方程组，其矩阵表达形式为
Figure 323542DEST_PATH_IMAGE037
利用奇异值分解求解得到锥套世 界坐标系的Z轴方向
Figure 445082DEST_PATH_IMAGE038
，其中
Figure 408358DEST_PATH_IMAGE039
(
Figure 33375DEST_PATH_IMAGE040
维的矩阵)为选取的
Figure 564850DEST_PATH_IMAGE026
构建的矩阵，
Figure 32741DEST_PATH_IMAGE032
代表向量转置，
Figure 940654DEST_PATH_IMAGE041
为选取的
Figure 685756DEST_PATH_IMAGE042
(
Figure 247187DEST_PATH_IMAGE043
维的单位向量)构建得到的矩阵，
Figure 77740DEST_PATH_IMAGE044
，
Figure 523765DEST_PATH_IMAGE045
，
Figure 982428DEST_PATH_IMAGE046
，分别代表
Figure 855706DEST_PATH_IMAGE047
三个维度的值； 以步骤3中得分最高的三线特征模型坐标系的原点为世界坐标系X轴正方向，根据正交性得 到世界坐标系Y轴，即可得到锥套姿态初始解
Figure 173555DEST_PATH_IMAGE048
(
Figure 157691DEST_PATH_IMAGE049
维的单位正交阵)。
进一步地，步骤7具体为：取步骤4中解算得到的三线特征的位置
Figure 2020DEST_PATH_IMAGE050
，结合圆特征 求解得到的两个圆心位置参数
Figure 46199DEST_PATH_IMAGE051
和
Figure 585765DEST_PATH_IMAGE052
，根据
Figure 498226DEST_PATH_IMAGE053
计算误差，分别从每个三线特征的多组位置参数中选取出符合世界位姿的圆特征位置
Figure 72427DEST_PATH_IMAGE054
和三线特征位置
Figure 287507DEST_PATH_IMAGE055
，其中
Figure 314369DEST_PATH_IMAGE056
为有效三线特征的个数，
Figure 30521DEST_PATH_IMAGE031
代表解的数量为2 到4个，
Figure 459229DEST_PATH_IMAGE057
为锥套加油口的半径，
Figure 845211DEST_PATH_IMAGE024
表示向量取模，
Figure 624948DEST_PATH_IMAGE058
表示取绝对值，选择误差和较小的那 组为锥套位置对应的
Figure 879212DEST_PATH_IMAGE054
和
Figure 162425DEST_PATH_IMAGE055
，按
Figure 719309DEST_PATH_IMAGE059
求解锥套位置参数初 始解，其中
Figure 845397DEST_PATH_IMAGE060
为选取的
Figure 778718DEST_PATH_IMAGE061
拟合的圆心，
Figure 916438DEST_PATH_IMAGE062
是圆特征解算结果的权重。
进一步地，步骤8具体为：按
Figure 768856DEST_PATH_IMAGE063
，以旋转不变的重投 影误差方程为目标，以图优化的方法求解最优锥套位置
Figure 257606DEST_PATH_IMAGE064
和姿态
Figure 729039DEST_PATH_IMAGE065
。
由于锥套的旋转对称结构，所述最优锥套姿态
Figure 986845DEST_PATH_IMAGE065
中只有矩阵第3列有效，即锥套 法向姿态。
本发明利用锥套自身结构中的不变特征，引入并建立各不变特征的模型坐标系，将锥套位解算转化为不变特征位姿解算和模型坐标系与世界坐标系变换两个准确的约束关系，从而将柔性锥套形变带来的误差从解算结果中解耦出来。进一步根据锥套的旋转对称结构，构建旋转不变的重投影误差，优化锥套的5自由度位姿参数。
所述世界坐标系的进一步说明：视觉位姿解算中通常根据目标物体空间结构建立的三维笛卡尔坐标系被叫做世界坐标系，其在相机坐标系中的6自由度位姿信息即代表求解的目标位姿。
所述锥套位姿的进一步说明：由于锥套这类目标是共轴旋转体结构，因此其位姿解算的结果为3自由度的位置和2自由度的姿态，即目标旋转轴的指向，等价于圆平面的法向姿态，故后续以法向姿态指代锥套的姿态。
作为本发明的进一步优化方法，所述不变特征包括：
（1）锥套加油口的单个圆形特征；
（2）锥套每个伞骨三角块上的三条不同方向的线特征，下称三线特征，记为记为
Figure 275744DEST_PATH_IMAGE010
，其中
Figure 986211DEST_PATH_IMAGE011
为从伞骨内侧提取到的线特征，
Figure 261334DEST_PATH_IMAGE012
为从伞骨外侧提 取到的线特征，
Figure 498281DEST_PATH_IMAGE013
为剩余一个方向的线特征，
Figure 567868DEST_PATH_IMAGE014
和
Figure 31210DEST_PATH_IMAGE015
为从三线特征空间物理量拟合出 的代表线段的首尾端点。
所述不变特征指锥套加油口的单个圆形特征和伞骨三角块上的三条不同方向的线特征这种方式组合的用于位姿估计的特征，包括但不限于从锥套自身提取的单个圆特征和若干三线特征以及按单个圆特征和若干三线特征方式布置人工标记再进行提取的特征。
作为本发明的进一步优化方法，所述模型坐标系的建立如下：
（1）圆特征的模型坐标系以加油口圆心为原点，垂直圆平面指向锥套口为Z轴正方向，并在圆平面内选择一组正交基作为XY轴。该模型坐标系与世界坐标系一致，不存在转换；
（2）对于多个伞骨上的三线特征，选取
Figure 844445DEST_PATH_IMAGE011
和
Figure 201477DEST_PATH_IMAGE012
铰链在加油口的一端作为三线特 征模型坐标系原点，Y轴垂直于三线特征所在的伞骨平面，Z轴与
Figure 176387DEST_PATH_IMAGE011
同向，在伞骨平面内根 据笛卡尔坐标系法则选取X轴。
作为本发明的进一步优化方法，所述模型坐标系与世界坐标系之间的约束关系包括：
（1）圆特征的模型坐标系与世界坐标系保持一致；
（2）多个三线特征模型坐标系的Y轴与世界坐标系Z轴在一直保持正交的状态，即世界坐标系Z轴始终垂直于多个三线特征所在平面法向量张成的平面；
（3）所有三线特征模型坐标系的原点位于以圆特征模型坐标系原点为圆心，半径与加油口半径r相同的圆上。
作为本发明的进一步优化方法，所述旋转不变重投影误差可为旋转对称结构体的5自由度位姿优化提供优化目标，在本发明中由于锥套的不变特征由线和圆两部分组成，故包括线特征重投影和圆特征重投影两部分：
（1）线特征重投影误差为
Figure 127025DEST_PATH_IMAGE066
，其中
Figure 868585DEST_PATH_IMAGE067
为世界坐标系下某空间点
Figure 955490DEST_PATH_IMAGE068
(
Figure 632459DEST_PATH_IMAGE069
维的向量)投影到图像后的齐次坐标，
Figure 804814DEST_PATH_IMAGE070
为点
Figure 818907DEST_PATH_IMAGE071
所 在线投影到图像后的直线表达式，
Figure 25897DEST_PATH_IMAGE072
和
Figure 608188DEST_PATH_IMAGE073
为
Figure 392473DEST_PATH_IMAGE074
的第一个和第二个系数，
Figure 351202DEST_PATH_IMAGE075
代表向量转 置，
Figure 412699DEST_PATH_IMAGE076
表示M个值求和。
（2）圆特征重投影误差为
Figure 431471DEST_PATH_IMAGE077
， 其中
Figure 437473DEST_PATH_IMAGE078
同上，
Figure 934313DEST_PATH_IMAGE079
为点
Figure 850316DEST_PATH_IMAGE080
所在圆的投影椭圆的矩阵表达形式，且
Figure 164623DEST_PATH_IMAGE079
的第三行 第三列的数值
Figure 798867DEST_PATH_IMAGE081
，
Figure 833819DEST_PATH_IMAGE075
代表向量转置，
Figure 728963DEST_PATH_IMAGE082
表示N个值求和。
（3）旋转不变的重投影误差方程建立如下：
Figure 89537DEST_PATH_IMAGE083
，其中
Figure 211077DEST_PATH_IMAGE084
为线特征 权重。
作为本发明的进一步优化方法，参与锥套位姿优化的特征点包括参与线特征重投影和圆特征重投影两部分：
（1）对于线特征，选择锥套上所有三线特征的
Figure 49720DEST_PATH_IMAGE085
与圆特征的交点作为重投影点
Figure 64949DEST_PATH_IMAGE086
，共计
Figure 596424DEST_PATH_IMAGE087
个。其空间坐标为
Figure 674102DEST_PATH_IMAGE088
，其中(
Figure 706649DEST_PATH_IMAGE089
) 为参与线特征优化的点的索引，与三线特征索引保持一致，由步骤3计算得到，
Figure 451751DEST_PATH_IMAGE090
为空间结 构中所有均匀分布
Figure 154128DEST_PATH_IMAGE091
的总数量。
（2）对于圆特征，均匀选择圆上
Figure 984680DEST_PATH_IMAGE092
个点，参与重投影误差解算。其空间坐标为
Figure 289760DEST_PATH_IMAGE093
，其中
Figure 889368DEST_PATH_IMAGE094
。
有益效果：与现有技术相比，本发明具有如下显著优点：本发明提供了一种基于不变特征的锥套位姿解算方法，该方法利用锥套结构特征进行位姿解算，通过转化柔性锥套位姿解算问题为分解出柔性结构中稳定准确的二维图像信息和三维空间信息对应约束和建立模型坐标系与代表锥套位姿的世界坐标系之间的约束关系的问题，克服了自主空中加油近距视觉导航中锥套形变会影响特征三维空间信息的准确性从而导致单目视觉位姿解算精度下降，甚至失效的问题；此外，也解决了进依赖加油口单个圆形特征解算位姿存在两组位姿解的二义性问题；再者，本发明中利用不变特征中三线特征对应关系进行位姿求解相较于直接利用线特征对应关系进行位姿求解，具有更简单的图像信息与空间信息的对应关系，便于特征的配准；最后，利用旋转不变的重投影误差，可以有效融合所有可观测特征对锥套的5自由度位姿参数做出准确估计。
附图说明
图1是发明所涉及部分坐标系示意图；
图2是线特征相机投影示意图；
图3是圆特征相机投影和二义性示意图；
图4是柔性锥套示意图；
图5是锥套不变特征示意图；
图6是不变特征模型坐标系与世界坐标系示意图；
图7是本发明解算流程图；
图8是实验标定场景示意图；
图9是仿真实验一结构形变实验条件下的角度误差统计曲线；
图10是仿真实验一结构形变实验条件下的平移误差统计曲线；
图11是仿真实验一图像噪声实验条件下的角度误差统计曲线；
图12是仿真实验一图像噪声实验条件下的平移误差统计曲线；
图13是仿真实验一工作距离实验条件下的角度误差统计曲线；
图14是仿真实验一工作距离实验条件下的平移误差统计曲线；
图15是仿真实验一结构形变实验条件下结构形变为4°时解算结果的箱线图；
图16是仿真实验一结构形变实验条件下结构形变为16°时解算结果的箱线图；
图17是仿真实验一图像噪声实验条件下图像噪声为2像素时解算结果的箱线图；
图18是仿真实验一图像噪声实验条件下图像噪声为6像素时解算结果的箱线图；
图19是仿真实验一工作距离实验条件下工作距离为1500mm时解算结果的箱线图；
图20是仿真实验一工作距离实验条件下工作距离为3000mm时解算结果的箱线图；
图21 仿真实验一不同三线特征数量对比实验的解算时间统计结果；
图22是仿真实验二结构形变实验条件下的角度误差统计曲线；
图23是仿真实验二结构形变实验条件下的平移误差统计曲线；
图24是仿真实验二图像噪声实验条件下的角度误差统计曲线；
图25是仿真实验二图像噪声实验条件下的平移误差统计曲线；
图26是仿真实验二结构形变实验条件下形变为4°时解算结果的箱线图；
图27是仿真实验二结构形变实验条件下形变为20°时解算结果的箱线图；
图28是仿真实验二图像噪声实验条件下噪声为2像素时解算结果的箱线图；
图29是仿真实验二图像噪声实验条件下噪声为10像素时解算结果的箱线图；
图30是仿真实验二不同方法对比实验的解算时间统计结果；
图31是真实图像静态实验的解算误差曲线；
图32是真实图像静态实验的解算统计结果；
图33是室内高精度三轴平台；
图34是真实图像动态实验距离为3.5-2米时的位姿误差统计曲线；
图35是真实图像动态实验距离为5-3.5米时的位姿误差统计曲线。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
图1所示为本发明中所涉及到的部分坐标系示意图，也是一般计算机视觉位姿解 算场景中通用的坐标系定义方法，包括目标世界坐标系
Figure 762647DEST_PATH_IMAGE095
，相机坐标系
Figure 205129DEST_PATH_IMAGE096
以及图像坐标系
Figure 923687DEST_PATH_IMAGE097
。
图2和图3所示为计算机视觉中线、圆特征投影的示意图。尤其是圆特征的投影在绝大多数情况下，一个投影可存在两个可能的位姿与之对应的情况。
图4所示为柔性锥套在完全收拢和张开时的状态，图4中(a)为锥套收拢时的示意图， (b)为锥套完全张开时的示意图。飞行过程中锥套上不同位置的伞骨会在不同的气流作用处于不同的开合角度下。
图5所示为1:1还原锥套模型上提取到的不变特征示意图，图5中(a)和 (b)两个不同角度拍摄图片的示意图。
图6所示为不变特征模型坐标系与世界坐标系的定义，其中圆特征的模型坐标系 与世界坐标系保持一致，如图中
Figure 643381DEST_PATH_IMAGE098
，三线特征及其模型坐标系的定义如图中
Figure 812194DEST_PATH_IMAGE099
。
如图7所示，本发明的解算流程如下：
步骤1、获取可用于不变特征构建三维空间信息的物理量，所述物理量包括圆特征和三线特征；
步骤2、提取圆特征的图像信息，并根据圆特征解算位姿，得到两组可能的位姿解， 包括两个法向姿态
Figure 945235DEST_PATH_IMAGE001
(
Figure 733063DEST_PATH_IMAGE002
维的单位向量)和两个位置
Figure 307263DEST_PATH_IMAGE003
(
Figure 381399DEST_PATH_IMAGE004
维的向量)，其中
Figure 408260DEST_PATH_IMAGE005
；
所述圆特征的图像信息指锥套上圆在图像中成像的椭圆参数，包括中心点坐标(u,v)，长轴a，短轴b以及倾角θ，单位分别为像素和度；对于圆特征三维空间信息包括但不限于圆的半径、直径或圆上若干点的坐标等能恢复出圆空间结构的物理量。
步骤3、提取图像中三线特征的图像信息，计算得分，得到有效三线特征；
步骤4、利用有效三线特征，构建计算机视觉中的P3L问题，分别求解得到每个三线 特征的位置参数
Figure 999779DEST_PATH_IMAGE006
和姿态参数
Figure 428486DEST_PATH_IMAGE007
，每个三线特征可解算到2到4组位姿解，故N个三线特 征可产生
Figure 939102DEST_PATH_IMAGE008
组到
Figure 718839DEST_PATH_IMAGE009
待定的解；
步骤5、根据模型坐标系与世界坐标系的约束关系，选择步骤3、4中正确姿态解；
步骤6、求解锥套姿态初始解；
步骤7、根据模型坐标系与世界坐标系的约束关系，求解锥套位置初始解；
步骤8、优化锥套位姿。
进一步地，步骤1中，所述不变特征包括：
（1）锥套加油口的单个圆形特征；
（2）锥套每个伞骨三角块上的三条不同方向的线特征，下称三线特征，记为
Figure 848469DEST_PATH_IMAGE010
，其中
Figure 990737DEST_PATH_IMAGE011
为从伞骨内侧提取到的线特征，
Figure 813200DEST_PATH_IMAGE012
为从伞骨外侧提 取到的线特征，
Figure 814654DEST_PATH_IMAGE013
为剩余一个方向的线特征，
Figure 482396DEST_PATH_IMAGE014
和
Figure 10329DEST_PATH_IMAGE015
为从三线特征空间物理量拟合出 的代表线段的首尾端点。
进一步地，步骤1中，所述圆特征为能恢复出圆空间结构的物理量，包括圆的半径、直径或圆上若干点的坐标；所述三线特征为能恢复出三角形空间结构的物理量，包括三线特征所构成的三角形的三边长、两边长及夹角。
进一步地，步骤3具体为：提取图像中可观测的三线特征
Figure 3693DEST_PATH_IMAGE016
(
Figure 226864DEST_PATH_IMAGE017
维的向量)，对三线特征按
Figure 963876DEST_PATH_IMAGE018
计算得分，并进行降序排列，得到前N个得分最高的三线特征索引向量
Figure 80736DEST_PATH_IMAGE019
和得分向量
Figure 979422DEST_PATH_IMAGE020
，其中
Figure 955468DEST_PATH_IMAGE021
(
Figure 355226DEST_PATH_IMAGE022
维的向量)和
Figure 467538DEST_PATH_IMAGE023
(
Figure 537125DEST_PATH_IMAGE022
维的向量)是 第i条线拟合得到的首尾端点，下称为有效三线特征，
Figure 859522DEST_PATH_IMAGE024
代表向量取模，
Figure 938337DEST_PATH_IMAGE025
代表向量叉 乘。
进一步地，步骤5中，所述模型坐标系与世界坐标系的约束关系包括：
（1）圆特征的模型坐标系与世界坐标系保持一致；
（2）多个三线特征模型坐标系的Y轴与世界坐标系Z轴在一直保持正交的状态，即世界坐标系Z轴始终垂直于多个三线特征所在平面法向量张成的平面；
（3）所有三线特征模型坐标系的原点位于以圆特征模型坐标系原点为圆心，半径与加油口半径r相同的圆上。
进一步地，步骤5具体为：取步骤4中解算得到的三线特征模型坐标系Y轴方向，记 为
Figure 170735DEST_PATH_IMAGE026
；结合圆特征求解得到的两个圆平面法向量
Figure 411223DEST_PATH_IMAGE027
(
Figure 486496DEST_PATH_IMAGE022
维的单位向量)和
Figure 837842DEST_PATH_IMAGE028
(
Figure 924747DEST_PATH_IMAGE022
维 的单位向量)，按
Figure 460771DEST_PATH_IMAGE029
计算误差，从每个三线特征的多组姿 态参数中选取出符合实际位姿的圆平面法向量和三线特征模型坐标系Y轴
Figure 633126DEST_PATH_IMAGE026
，其中
Figure 53743DEST_PATH_IMAGE030
为有效三线特征的个数，
Figure 995154DEST_PATH_IMAGE031
代表解的数量为2到4个，
Figure 702079DEST_PATH_IMAGE032
代表向量转置，
Figure 361731DEST_PATH_IMAGE033
表示取最小值，选择误差和较小的那组为锥套姿态对应的圆平面法向量
Figure 320459DEST_PATH_IMAGE034
和三线 特征模型坐标系Y轴向量
Figure 241011DEST_PATH_IMAGE026
，当
Figure 259782DEST_PATH_IMAGE035
和
Figure 141151DEST_PATH_IMAGE036
相近时，选择误差分布更 一致的那组解。
进一步地，步骤6具体为：根据模型坐标系与世界坐标系之间的约束关系，构建线 性约束方程组，其矩阵表达形式为
Figure 28204DEST_PATH_IMAGE037
利用奇异值分解求解得到锥套世 界坐标系的Z轴方向
Figure 678628DEST_PATH_IMAGE038
，其中
Figure 868301DEST_PATH_IMAGE039
(
Figure 627179DEST_PATH_IMAGE040
维的矩阵)为选取的
Figure 927710DEST_PATH_IMAGE026
构建的矩阵，
Figure 432641DEST_PATH_IMAGE032
代表向量转置，
Figure 917849DEST_PATH_IMAGE041
为选取的
Figure 773809DEST_PATH_IMAGE100
(
Figure 878031DEST_PATH_IMAGE043
维的单位向量)构建得到的矩阵，
Figure 768627DEST_PATH_IMAGE044
，
Figure 424736DEST_PATH_IMAGE045
，
Figure 767993DEST_PATH_IMAGE046
，分别代表
Figure 410327DEST_PATH_IMAGE047
三个维度的值； 以步骤3中得分最高的三线特征模型坐标系的原点为世界坐标系X轴正方向，根据正交性得 到世界坐标系Y轴，即可得到锥套姿态初始解
Figure 155429DEST_PATH_IMAGE101
(
Figure 716860DEST_PATH_IMAGE049
维的单位正交阵)。
进一步地，步骤7具体为：取步骤4中解算得到的三线特征的位置
Figure 547413DEST_PATH_IMAGE050
，结合圆特征 求解得到的两个圆心位置参数
Figure 993438DEST_PATH_IMAGE051
和
Figure 983260DEST_PATH_IMAGE052
，根据
Figure 856538DEST_PATH_IMAGE053
计 算误差，分别从每个三线特征的多组位置参数中选取出符合世界位姿的圆特征位置
Figure 908807DEST_PATH_IMAGE054
和 三线特征位置
Figure 158523DEST_PATH_IMAGE055
，其中
Figure 2851DEST_PATH_IMAGE056
为有效三线特征的个数，
Figure 47031DEST_PATH_IMAGE031
代表解的数量为2到 4个，
Figure 321017DEST_PATH_IMAGE057
为锥套加油口的半径，
Figure 233478DEST_PATH_IMAGE024
表示向量取模，
Figure 807679DEST_PATH_IMAGE058
表示取绝对值，选择误差和较小的那 组为锥套位置对应的
Figure 22760DEST_PATH_IMAGE054
和
Figure 315201DEST_PATH_IMAGE055
，按
Figure 765774DEST_PATH_IMAGE059
求解锥套位置参数初 始解，其中
Figure 460060DEST_PATH_IMAGE060
为选取的
Figure 846042DEST_PATH_IMAGE061
拟合的圆心，
Figure 219255DEST_PATH_IMAGE062
是圆特征解算结果的权重。
进一步地，步骤8具体为：按
Figure 348885DEST_PATH_IMAGE063
，以旋转不变的重投 影误差方程为目标，以图优化的方法求解最优锥套位置
Figure 897678DEST_PATH_IMAGE064
和姿态
Figure 454561DEST_PATH_IMAGE065
。
为了验证本发明的有效性，下面设计仿真实验和真实图像实验对其进行验证。
针对评价的指标的定义如下：
若算法解算法向量与圆心坐标为
Figure 580649DEST_PATH_IMAGE102
，对应仿真参数
Figure 513970DEST_PATH_IMAGE103
，实验定义目标 位姿误差由角度误差(解算法向量与法向量真值夹角)和平移误差组成，定义如下:
Figure 651690DEST_PATH_IMAGE104
1)仿真图像实验验证方案
实验在配备16GB RAM和Intel(R) Core(TM) i7-11700F处理器的电脑上运行。在仿真 实验中，相机参数设置分辨率为
Figure 504109DEST_PATH_IMAGE105
的，焦距为
Figure 992859DEST_PATH_IMAGE106
主 点为
Figure 729871DEST_PATH_IMAGE107
。将加油口圆特征的半径大小设为
Figure 987677DEST_PATH_IMAGE108
，三线特征的
Figure 768854DEST_PATH_IMAGE109
长度为
Figure 744901DEST_PATH_IMAGE110
，
Figure 20024DEST_PATH_IMAGE111
的长度为
Figure 256971DEST_PATH_IMAGE112
，
Figure 592137DEST_PATH_IMAGE113
和
Figure 789900DEST_PATH_IMAGE114
之间的倾角为
Figure 727769DEST_PATH_IMAGE115
。在理想的未发生 变形的情况下，
Figure 694588DEST_PATH_IMAGE116
和圆平面法向量
Figure 200656DEST_PATH_IMAGE117
之间的夹角
Figure 885715DEST_PATH_IMAGE118
为
Figure 627275DEST_PATH_IMAGE119
，即三维信息的真值为在该角度 下计算获取。
每组实验模拟锥套运动随机生成2000个位姿参数并将其投影到图像，其中航向 角、俯仰角和关滚转角变化范围为
Figure 448600DEST_PATH_IMAGE120
到
Figure 125569DEST_PATH_IMAGE121
，目标位于相机坐标系XY轴的位置变化范 围为
Figure 422559DEST_PATH_IMAGE122
到
Figure 843176DEST_PATH_IMAGE123
，Z轴(下文称工作距离)据不同组实验条件变化。
A. 仿真实验一
在仿真实验中研究了三线特征数量(3-10，分别记为IF_3,…IF_10)对解算结果的影响，并以7个三线特征数量为例，比较了用步骤7解算得到的姿态初始值与位置初始值(记为init_7)和用步骤8的得到的优化位姿结果的关系(IF_7)。仿真实验一分别从结构形变，图像提取噪声和工作距离三方面对上述算法进行考察。实验条件如下：
(a)结构形变实验条件：设置图像提取噪声均值为0像素，标准差为2像素的高斯白噪声，工作距离设置为2000 mm，目标结构变形为0°到20°范围内每间隔4°进行一组实验。
(b)图像噪声实验条件：固定工作距离为2500 mm，目标结构形变为10°，设置图像提取噪声为均值为0像素，标准差为0到10像素范围内每间隔2像素进行一组实验。
(c)工作距离实验条件：固定图像噪声为均值为0像素，标准差为2像素的高斯白噪声，目标结构形变为10°，设置工作距离从1000 mm到5000 mm范围内每间隔500 mm进行一组实验。
B. 仿真实验二
仿真实验二中将本发明提出的锥套位姿解算方法(本发明方法使用8个三线特征参与位姿解算，记为OCL)与常见基于点特征的锥套位姿解算方法(记为PB)、基于圆特征的位姿解算方法(记为CB)和一些基于线特征的位姿解算方法(分别记为Ansar, Mirzaei,ASPnL, LBE, LBL,LDT)进行了对比。仿真实验二分别从结构形变和图像提取噪声两方面对上述算法进行考察。实验条件如下：
(a)结构形变实验条件：设置图像提取噪声均值为0像素，标准差为2像素的高斯白噪声，工作距离设置为3000 mm，目标结构变形为0°到20°范围内每间隔4°进行一组实验。
(b)图像噪声实验条件：固定工作距离为2500 mm，目标结构形变为10°，设置图像提取噪声为均值为0像素，标准差为0到10像素范围内每间隔2像素进行一组实验。
2) 真实图像实验验证方案
为了在实际情况下验证本发明的有效性，在实验中的利用PointGrey的FL3-U3-20E4M相机搭配FA1201C型号镜头对如图5所示的1:1还原制作的锥套模型拍拍摄静态图片与动态视频进行实验。为了模拟飞机加油过程中锥套的变形，在每张图片拍摄时对锥套模型进行了不同程度的拉伸和压缩。
相机的内参经张正友标定法标定，仿真实验中的设定条件即为对应相机内参数值。所有图像特征经OpenCV计算机视觉库和人工手动筛选两极提取得到。三维信息的获取借鉴文献(孙永荣, 黄斌, 杨博文,等. 多视图场景确定下的空间点位置视觉标定方法[J]. 南京航空航天大学学报, 2015, 47(003):343-347.)中的方法，在锥套模型上粘贴十字标记点如图8，通过多个场景恢复的三维点来拟合对应的线、圆特征三维信息。图8中(c)和 (d)为两个不同角度拍摄的标定图片的示意图。
A. 静态实验
静态实验中，相机在距离锥套2-4米范围内，拍摄二十余张图像进行静态实验。解算的真值，即圆特征圆心与圆平面法向量，通过与锥套固连的棋盘求解的得到。
B. 动态实验
在动态实验中，摄像机固连在图33所示的高精度三轴平台上按预设的轨迹拍摄视频。三轴平台Z轴的移动速度为0.3米/秒，相机的帧速率为30帧/秒。由于平台z轴的最大移动范围为1500 mm，因此动态实验的视频分5到3.5 m和3.5到2 m两次采集。将所有视频的每个帧与最后一帧之间的三维相对位置按时间戳对齐与三轴平台的移动进行比较。角度误差的评估与静态实验相同，由棋盘获得法向量的真实。其他附加条件与静态实验相同。
如图9-14所示为仿真实验一的统计结果，图15-20为从仿真实验一中选取的6组实验结果的箱线图，图21为仿真实验一中每种方法解算耗时的统计结果。从实验结果可以看出，本法发明对抗锥套结构形变有非常好的效果，且在图像噪声较高、工作距离较远时也能有较高的精度，且随着三线特征数量的增加算法的性能表现越佳。对比图中init_7与IF_7曲线可以看出，本发明步骤7解算得到的位置初始解与姿态初始解是有效的，且步骤8中引入的优化算法可以更显著地提高解的精度。此外，当三线特征数量在8块以上时，算法可有较好的表现。多个三线特征进行解算时也能保持在毫秒级的解算耗时，具备高频实时解算的能力。
如图22-25所示为本发明方法与常见的锥套位姿估计算法以及不同线特征位姿解算方法在仿真图像条件下的对比实验的统计结果，图26-29为从仿真实验二中选取的4组实验结果的箱线图，图30为仿真实验二中每种方法解算耗时的统计结果。图31-32为本发明方法与常见的锥套位姿估计算法以及不同线特征位姿解算方法在真实图像静态实验条件下的对比实验结果，图34-35为本发明方法与常见的锥套位姿估计算法在真实图像动态实验条件下的对比实验结果。从实验结果可以看出，由于本发明中在图像观测信息和目标位姿之间建立的是一个准确的不变的约束，能够剔除锥套形变带来的影响，故解算结果在定位误差和角度误差上有着明显的优势。由于旋转不变的重投影优化的加入，本发明对抵抗图像提取噪声和工作距离等影响视觉解算精度的影响因素的能力也十分优秀。此外，本发明也有着较高的实时性，解算均值在毫秒级，十分适用于实时性需求加高的工程应用。因此本发明具有：1、优异的抗锥套结构形变的能力；2、卓越的解算效率和实时性；3、对图像噪声具备较高的鲁棒性，且对工作距离不敏感。

Claims (9)

1.一种基于不变特征的锥套位姿解算方法，其特征在于，包括如下步骤：
步骤1、获取可用于不变特征构建三维空间信息的物理量，所述物理量包括圆特征和三线特征；
步骤2、提取圆特征的图像信息，并根据圆特征解算位姿，得到两组可能的位姿解，包括 两个法向姿态
Figure 43148DEST_PATH_IMAGE001
和两个位置
Figure 930595DEST_PATH_IMAGE002
，其中
Figure 444753DEST_PATH_IMAGE003
；
步骤3、提取图像中三线特征的图像信息，计算得分，得到有效三线特征；
步骤4、利用有效三线特征，构建计算机视觉中的P3L问题，分别求解得到每个三线特征 的位置参数
Figure 574383DEST_PATH_IMAGE004
和姿态参数
Figure 857597DEST_PATH_IMAGE005
，每个三线特征可解算到2到4组位姿解，故N个三线特征可 产生
Figure 414480DEST_PATH_IMAGE006
组到
Figure 150355DEST_PATH_IMAGE007
待定的解；
步骤5、根据模型坐标系与世界坐标系的约束关系，选择步骤3、4中正确姿态解；
步骤6、求解锥套姿态初始解；
步骤7、根据模型坐标系与世界坐标系的约束关系，求解锥套位置初始解；
步骤8、优化锥套位姿。
2.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤1中，所述不变特征包括：
（1）锥套加油口的单个圆形特征；
（2）锥套每个伞骨三角块上的三条不同方向的线特征，下称三线特征，记为
Figure 83676DEST_PATH_IMAGE008
，其中
Figure 221396DEST_PATH_IMAGE009
为从伞骨内侧提取到的线特征，
Figure 683601DEST_PATH_IMAGE010
为从伞骨外侧提 取到的线特征，
Figure 172352DEST_PATH_IMAGE011
为剩余一个方向的线特征，
Figure 643784DEST_PATH_IMAGE012
和
Figure 134546DEST_PATH_IMAGE013
为从三线特征空间物理量拟合出 的代表线段的首尾端点。
3.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤1中，所述圆特征为能恢复出圆空间结构的物理量，包括圆的半径、直径或圆上若干点的坐标；所述三线特征为能恢复出三角形空间结构的物理量，包括三线特征所构成的三角形的三边长、两边长及夹角。
4.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤3具体 为：提取图像中可观测的三线特征
Figure 298811DEST_PATH_IMAGE014
，对三线特征按
Figure 274858DEST_PATH_IMAGE015
计算得分，并进行降序排列，得到前N个得分最高的三线特征索引向量
Figure 18823DEST_PATH_IMAGE016
和 得分向量
Figure 396714DEST_PATH_IMAGE017
，其中
Figure 200722DEST_PATH_IMAGE018
和
Figure 664065DEST_PATH_IMAGE019
是第i条线拟合得到的首尾端点，下称为有效三线特 征，
Figure 477300DEST_PATH_IMAGE020
代表向量取模，
Figure 709698DEST_PATH_IMAGE021
代表向量叉乘。
5.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤5中，所述模型坐标系与世界坐标系的约束关系包括：
（1）圆特征的模型坐标系与世界坐标系保持一致；
（2）多个三线特征模型坐标系的Y轴与世界坐标系Z轴在一直保持正交的状态，即世界坐标系Z轴始终垂直于多个三线特征所在平面法向量张成的平面；
（3）所有三线特征模型坐标系的原点位于以圆特征模型坐标系原点为圆心，半径与加油口半径r相同的圆上。
6.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤5具体 为：取步骤4中解算得到的三线特征模型坐标系Y轴方向，记为
Figure 215766DEST_PATH_IMAGE022
；结合圆特征求解得到的两 个圆平面法向量
Figure 635246DEST_PATH_IMAGE023
和
Figure 252172DEST_PATH_IMAGE024
，按
Figure 339077DEST_PATH_IMAGE025
计算误差，从每个三 线特征的多组姿态参数中选取出符合实际位姿的圆平面法向量和三线特征模型坐标系Y轴
Figure 505792DEST_PATH_IMAGE022
，其中
Figure 412568DEST_PATH_IMAGE026
为有效三线特征的个数，
Figure 567606DEST_PATH_IMAGE027
代表解的数量为2到4个，
Figure 774596DEST_PATH_IMAGE028
代表向 量转置，
Figure 622466DEST_PATH_IMAGE029
表示取最小值，选择误差和较小的那组为锥套姿态对应的圆平面法向量
Figure 282118DEST_PATH_IMAGE030
和三线特征模型坐标系Y轴向量
Figure 240847DEST_PATH_IMAGE022
，当
Figure 771185DEST_PATH_IMAGE031
和
Figure 789957DEST_PATH_IMAGE032
相近时，选择误 差分布更一致的那组解。
7.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤6具体 为：根据模型坐标系与世界坐标系之间的约束关系，构建线性约束方程组，其矩阵表达形式 为
Figure 936904DEST_PATH_IMAGE033
利用奇异值分解求解得到锥套世界坐标系的Z轴方向
Figure 699324DEST_PATH_IMAGE034
，其中
Figure 349748DEST_PATH_IMAGE035
为选取的
Figure 273842DEST_PATH_IMAGE022
构建的矩阵，
Figure 406621DEST_PATH_IMAGE028
代表向量转置，
Figure 441573DEST_PATH_IMAGE036
为选取的
Figure 477662DEST_PATH_IMAGE037
构建得到的矩阵，
Figure 572657DEST_PATH_IMAGE038
，
Figure 428617DEST_PATH_IMAGE039
，
Figure 532840DEST_PATH_IMAGE040
，分别代表
Figure 892277DEST_PATH_IMAGE041
三个维度的 值；以步骤3中得分最高的三线特征模型坐标系的原点为世界坐标系X轴正方向，根据正交 性得到世界坐标系Y轴，即可得到锥套姿态初始解
Figure 423752DEST_PATH_IMAGE042
。
8.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤7具体 为：取步骤4中解算得到的三线特征的位置
Figure 767009DEST_PATH_IMAGE043
，结合圆特征求解得到的两个圆心位置参数
Figure 409343DEST_PATH_IMAGE044
和
Figure 154445DEST_PATH_IMAGE045
，根据
Figure 856822DEST_PATH_IMAGE046
计算误差，分别从每个三线 特征的多组位置参数中选取出符合世界位姿的圆特征位置
Figure 923260DEST_PATH_IMAGE047
和三线特征位置
Figure 369285DEST_PATH_IMAGE048
，其中
Figure 968893DEST_PATH_IMAGE049
为有效三线特征的个数，
Figure 842172DEST_PATH_IMAGE027
代表解的数量为2到4个，
Figure 160020DEST_PATH_IMAGE050
为锥套加油口的 半径，
Figure 144157DEST_PATH_IMAGE020
表示向量取模，
Figure 598272DEST_PATH_IMAGE051
表示取绝对值，选择误差和较小的那组为锥套位置对应的
Figure 642451DEST_PATH_IMAGE047
和
Figure 447596DEST_PATH_IMAGE048
，按
Figure 235424DEST_PATH_IMAGE052
求解锥套位置参数初始解，其中
Figure 544045DEST_PATH_IMAGE053
为选 取的
Figure 759126DEST_PATH_IMAGE054
拟合的圆心，
Figure 785988DEST_PATH_IMAGE055
是圆特征解算结果的权重。
9.根据权利要求1所述的基于不变特征的锥套位姿解算方法，其特征在于，步骤8具体 为：按
Figure 876041DEST_PATH_IMAGE056
，以旋转不变的重投影误差方程为目标，以图优化的 方法求解最优锥套位置
Figure 39169DEST_PATH_IMAGE057
和姿态
Figure 425151DEST_PATH_IMAGE058
。
CN202210536319.0A 2022-05-18 2022-05-18 一种基于不变特征的锥套位姿解算方法 Active CN114638896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536319.0A CN114638896B (zh) 2022-05-18 2022-05-18 一种基于不变特征的锥套位姿解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536319.0A CN114638896B (zh) 2022-05-18 2022-05-18 一种基于不变特征的锥套位姿解算方法

Publications (2)

Publication Number Publication Date
CN114638896A true CN114638896A (zh) 2022-06-17
CN114638896B CN114638896B (zh) 2022-08-05

Family

ID=81953176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536319.0A Active CN114638896B (zh) 2022-05-18 2022-05-18 一种基于不变特征的锥套位姿解算方法

Country Status (1)

Country Link
CN (1) CN114638896B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104180808A (zh) * 2014-08-05 2014-12-03 南京航空航天大学 一种用于自主空中加油的圆形锥套视觉位姿解算方法
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN113724326A (zh) * 2021-08-17 2021-11-30 南京航空航天大学 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法
CN113850866A (zh) * 2021-09-27 2021-12-28 中国科学院光电技术研究所 一种基于特征反向投影的自主空中加油锥套位姿解算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104180808A (zh) * 2014-08-05 2014-12-03 南京航空航天大学 一种用于自主空中加油的圆形锥套视觉位姿解算方法
WO2021196548A1 (zh) * 2020-04-01 2021-10-07 北京迈格威科技有限公司 距离确定方法、装置及系统
CN113724326A (zh) * 2021-08-17 2021-11-30 南京航空航天大学 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法
CN113850866A (zh) * 2021-09-27 2021-12-28 中国科学院光电技术研究所 一种基于特征反向投影的自主空中加油锥套位姿解算方法

Also Published As

Publication number Publication date
CN114638896B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110580717B (zh) 一种针对电力杆塔的无人机自主巡检航线生成方法
US10703479B2 (en) Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof
CN111258231B (zh) 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
He et al. Non-cooperative spacecraft pose tracking based on point cloud feature
CN106373159A (zh) 一种简化的无人机多目标定位方法
CN103616016A (zh) 基于点线组合特征的位姿视觉测量方法
CN113724326B (zh) 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法
CN108492333A (zh) 基于星箭对接环图像信息的航天器姿态估计方法
Huo et al. Fast and accurate spacecraft pose estimation from single shot space imagery using box reliability and keypoints existence judgments
Zheng et al. Robust and accurate monocular visual navigation combining IMU for a quadrotor
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles
Zhu et al. Vision navigation for aircrafts based on 3D reconstruction from real-time image sequences
Cui et al. Precise landing control of UAV based on binocular visual SLAM
CN112577463B (zh) 姿态参数修正的航天器单目视觉测距方法
CN117710458A (zh) 一种基于双目视觉的舰载机着舰过程相对位置测量方法及系统
CN114638896B (zh) 一种基于不变特征的锥套位姿解算方法
Zhang et al. Tracking and position of drogue for autonomous aerial refueling
Zhao et al. Monocular visual pose estimation for flexible drogue by decoupling the deformation
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
Werner Precision relative positioning for automated aerial refueling from a stereo imaging system
Ross et al. Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle
CN115388890A (zh) 基于视觉的多无人机协同对地目标定位方法
Ma et al. A novel method for measuring drogue-UAV relative pose in autonomous aerial refueling based on monocular vision
Zhao et al. A novel drogue pose estimation method for autonomous aerial refueling based on monocular vision sensor
Fan et al. A visual marker detection and position method for autonomous aerial refueling of uavs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant