CN108955685B - 一种基于立体视觉的加油飞机锥套位姿测量方法 - Google Patents
一种基于立体视觉的加油飞机锥套位姿测量方法 Download PDFInfo
- Publication number
- CN108955685B CN108955685B CN201810419536.5A CN201810419536A CN108955685B CN 108955685 B CN108955685 B CN 108955685B CN 201810419536 A CN201810419536 A CN 201810419536A CN 108955685 B CN108955685 B CN 108955685B
- Authority
- CN
- China
- Prior art keywords
- taper sleeve
- dimensional
- cameras
- points
- taper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 13
- 238000005259 measurement Methods 0.000 abstract description 8
- 238000002054 transplantation Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 230000000087 stabilizing effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000007123 defense Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Abstract
本发明涉及一种基于立体视觉的加油飞机锥套位姿测量方法，主要用于空中加油过程中加油锥套的精准定位及姿态求解。方法包括：平行的两个相机内外参的标定及图像校正；对锥套进行二维图像初始定位后，对左右相机拍摄的二维图像初始定位区域进行立体匹配，求解三维点云；通过锥套形貌特征定义二维图像中关键特征点，二维图像结合三维点云，形成三维特征点集合，求解三维特征点集的平面方程；滤除背景及噪声点后，求解锥套表面圆环中心点空间坐标及锥套的空间位姿。本发明采用二维图像与三维点云相结合的方式，能够快速且有效的实现锥套位姿测量，从整体上减少了算法耗费的时间，具有操作简单、实用性强、易硬件化移植、快速实时等特点，且无需在锥套上添加合作标识，在实际项目中便捷可行。
Description
技术领域
本发明涉及锥套位姿测量方法，具体涉及一种基于立体视觉，且二维图像与三维点云相结合的锥套位姿测量方法。
背景技术
空中加油技术是在飞行中通过加油机向其他飞机或直升机补充燃料的技术，可以显著提高战斗机的续航能力，在战略或战术航空兵部队作战中具有极其重要的支援作用。现代空中加油机及其空中加油技术已成为增强航空兵机动能力和打击能力的重要措施，受到世界各国的高度重视。而自主空中加油技术(AAR)也已经成为目前的一个热点，该技术可以降低有人机加油的风险，同时应用于无人机，可提升无人机的作战效能和作战机动性。
空中加油系统分软管一锥管式(简称软式)及伸缩管式(简称硬式)两大类。目前我国主要采用软管一锥管式(软式)空中加油方式，即整个系统包括加油泵、调压系统、加油软管及锥套(加油接头、稳定伞及整流罩的总称)。输油系统靠作用在锥套上的气动力使软管放到全拖曳位置，稳定伞保持加油接头稳定并作为受油机对接时瞄准的“靶子”。受油机的受油接头进入稳定伞内即可沿伞的骨架滑入加油接头并与之啮合及锁定。因此，在空中加油过程中，锥套的位姿测量问题是整个加油过程中的重点及难点。
而在整个空中加油过程中，较为关键的阶段为对接阶段(加油锥套与受油管距离在1m-30m之间)，即在该阶段的过程中如何获得加油锥套与受油管精确相对位置和姿态信息为主要目标，其中要求在近距对接阶段(即距离为1m-5m以内)的位置误差要小于5cm。由于加油机尾流场、以及大气紊流的影响造成了锥套晃动以及自旋转，传统的导航方式例如INS(Inertial Navigation System，惯性导航系统)和GPS(Global Positioning System，全球定位系统)等定位精度较低。通常为了提高系统的可靠性和精度，也会利用INS/GPS，视觉导航，以及其他定位导航系统相结合来综合定位锥套的空间位姿。
目前现有的大多数自主空中加油的视觉方法常采用光学合作目标安装在加油锥套上，包括LED光标、人工特殊颜色标记等。如美国国防预研局早期在自主空中加油项目(AAR)中就使用了VisNav系统，VisNav系统即在锥套上安装红外LED标识，使用标识和PSD的方式进行特征点提取，使用GLSDC求解姿态并计算三维坐标。(见John Valasek,KiranGunnam,Jennifer Kimmett,Monish D.Tandale,and John L.Junkins等，《Vision-BasedSensor and Navigation Systemfor Autonomous Air Refueling》，《JOURNALOFGUIDANCE,CONTROL,AND DYNAMICS》，2005(9)，28，5)。同样，澳大利亚悉尼大学的DanielB.Wilson等人也是使用红外相机配合加油机机体和锥套上的红外标识，拟合出锥套的外圈在图像中呈现的椭圆，计算其中心及姿态。(见Daniel B.Wilson,Ali H.Goktogan andSalah Sukkarieh等，《Guidance and Navigation for UAV Airborne Docking》，《Robotics:Science&Systems》,2015)。另外，在国内也有很多相似的研究，国内空军工程大学的王旭峰等采用在加油锥套表面圆环区域加装了红色标识环带。以使用红色的环作为标识，配合单目相机使用颜色滤波和图像对比度来区分红色特征并计算红色环中心，从而定位锥套位置。设计锥套3D locating的方式来保证系统的精确度和实时性，进而计算锥套的姿态。(见王旭峰，董新民等，《Real-time drogue recognition and 3D locating for UAVautonomous aerial refueling based on monocular machine vision》，《ChineseJournal of Aeronautics》，2015，28(6):1667-1675)。而北京航空航天大学的解洪文等人，则是在加油锥管表面上放置了多个光学标记，采用双目视觉的方式求解相对位置和姿态参数(见解洪文，王宏伦，《基于双目视觉的自动空中加油近距导航方法》，《北京航空航天大学学报》，2011，37(2):206-209)。
这些方法较为一致的特点就是要求在锥套安装合作标识，例如人为特殊标识，LED光标等。标识等合作目标会遇到在二维图像中拍摄不清晰，被遮挡等问题；而需要供电的LED光标，则会在空中加油的过程中造成一定程度上的安全性的影响。故需要一种不依靠合作标识、仅利用锥套本身特征进行空间位姿求解的视觉方法，为自主空中加油实现提供安全性的保证及可行的技术支持。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于立体视觉的加油飞机锥套位姿测量方法，能够在实际复杂背景环境的情况下，实现较为准确且能保证实时性的锥套位姿测量。
为达到上述目的，本发明的技术方案是这样实现的：
基于立体视觉的加油飞机锥套位姿测量方法，该方法包括：
a、对平行放置的两个相机，定义以两个相机中任意一个相机(一般为左相机)光心为坐标轴原点的相机坐标系。通过标定获得两个相机的内部参数与两个相机的外部参数(即旋转矩阵和平移向量)。使用内外参数和相机之间的外部参数对两个相机拍摄到的二维图像进行校正。
b、预先拍摄上千张(数量可根据实际需求调整，本发明为3千张左右)实际使用且含有锥套的二维图像，标注出仅含锥套区域的二维图像作为正样本集，同时标注出非锥套区域的二维图像作为负样本集。通过正负样本集训练出锥套分类器。使用锥套分类器分别在两个相机的校正后的二维图像中检测出锥套区域。将二维图像中检测出的锥套区域代入跟踪算法，在二维图像中对锥套区域进行跟踪，结合检测算法和跟踪算法分别获得的锥套区域及算法对应权重，获得在两个相机中的二维图像中锥套初始定位区域；
c、将两个相机的二维图像中锥套初始定位区域进行立体匹配，获得视差图，对视差图进行求解得到光心定义为原点的相机的二维图像中锥套初始定位区域的三维点云；
d、在光心定义为原点的相机的二维图像中锥套初始定位区域进行点筛选，结合步骤b中的三维点云，筛选出锥套表面圆环上的关键特征三维点，组成三维点集，使用RANSAC求解锥套表面圆环所在的平面方程；
e、根据步骤d中求解得到的平面方程，滤除背景点及噪声点，获得步骤c中求解出的平面附近的且位于锥套表面圆环上的70％-80％的三维点，形成三维点集，求取这个三维点集的平均值，即为锥套表面圆环中心点的空间三维位置，以及锥套表面圆环所在的平面方程，再结合锥套的特征形貌，求解出锥套的空间位姿，即位置及姿态。
步骤a中对两个相机组成的立体视觉系统的内外参标定，及双目图像校正的实现步骤如下：
(1)拍摄靶标图片，提取靶标图片中的角点，标定出两个相机的内部参数；
(2)根据两个相机的内部参数及靶标图片，标定出两个相机的外部参数(即旋转矩阵和平移向量)；
(3)根据相机内部参数与两个相机的外部参数对两个相机拍摄到的二维图像进行校正。
步骤b中对锥套进行检测跟踪，以获得锥套在二维图像上的初定位的实现步骤如下：
(1)在预先提前拍摄的二维图像中，提取仅含锥套区域的二维图像形成正样本集；不含锥套区域的二维图像作为负样本集。通过正负样本集获取锥套矩形特征，训练出锥套分类器；
(2)使用锥套分类器在初始帧图像定位锥套区域，并利用锥套区域初始化跟踪算法；
(3)后续二维图像序列中，分别运行检测算法与跟踪算法，将这两个算法获得的锥套区域及算法权重进行策略性融合，获得在两个相机拍摄的二维图像中锥套初始定位区域。
步骤c中对两个相机拍摄的二维图像中锥套初始定位区域进行立体匹配，获得视差图，并求解三维点云的实现步骤如下：
(1)计算步骤b中两个相机拍摄的二维图像中锥套初始定位区域内，每个像素点周围区域的匹配度，分别计算两个相机拍摄的二维图像中锥套初始定位区域内对应像素周围区域之间的匹配度，得到初始视差图。
(2)对初始视差图进行滤波，筛除误匹配点，获得视差图；
(3)基于立体视觉模型及相机小孔成像原理，结合视差图，可计算出光心定义为原点的相机的二维图像中锥套初始定位区域内的每个二维图像点的三维坐标，形成锥套初始定位区域的三维点云。
步骤d中求解锥套表面所在的平面方程的实现步骤如下：
(1)在二维图像中锥套初始定位区域内，结合锥套的形状及轮廓特征信息，筛选出锥套表面的一部分关键特征点。
(2)根据二维图像的点和视差图中的点一一对应的关系，从三维点云中筛选出这些点的对应三维点，形成三维点集合；
(3)使用RANSAC算法求解三维点集合所在平面的方程，即求解锥套表面圆环所在平面方程。
在步骤e中，将步骤c中获得的三维点云根据步骤d中求解出的平面方程对噪声点和背景点进行滤除，得到三维点云中在平面附近的点形成的三维点集，即锥套表面圆环上点组成的三维点集，通过计算此三维点集的平均值，即为锥套表面圆环的中心点在相机系统坐标系下的空间位置，结合锥套形状特征，求解出锥套在相机系统坐标系下的空间位姿。通过坐标系的相互转换，可以求解出锥套在大地坐标系下的空间位姿。
(1)使用步骤d中求解的平面方程对步骤c中求解出的二维图像中的锥套初始定位区域的三维点云进行三维点筛选。通过点到平面的距离，可以滤除背景点及噪声点，得到锥套表面圆环上点组成的三维点集。
(2)计算三维点集的平均值，作为锥套表面圆环的中心点在相机系统坐标系下的空间位置。
(3)根据锥套类圆锥的形状特征，求解出锥套在相机系统坐标系下的空间位姿。
(4)通过坐标系之间的相互转换关系，求解出锥套在大地坐标系下的空间位姿。
本发明与现有技术相比的优点在于：本发明仅需将两个相机进行标定之后，即可使用两个相机即可完成锥套的三维位姿测量。该方法实现过程不需要在锥套上放置合作标识物，计算过程易实现，无需复杂的准备过程和严苛的实现环境，通用性强，计算速度快。因此本发明适用于高空环境中复杂背景的情况下，锥套三维位姿的测量。
附图说明
图1为本方法基于立体视觉的加油飞机锥套位姿测量方法流程图；
图2为视差法原理示意图；
图3为锥套示意图；
图4为锥套局部坐标系及姿态角；
图5为姿态测量中坐标系间关系示意图。
具体实施方式
本发明的基本思想：使用检测跟踪方法在两个相机中定位锥套的初始区域，结合两个相机的区域使用视差法获取锥套三维点云，结合二维图像与三维点云信息，求解出锥套的位置与姿态。
下面结合实际过程对本发明做进一步说明。
如图1所示，本发明基于立体视觉的加油飞机锥套位姿测量方法包括以下步骤：
步骤11：对两个相机系统进行内外参标定及图像校正。
这里，首先对双目系统的每一个相机进行标定，即求解相机的内部参数，两个相机视觉系统的标定，即求解两个相机之间的外部参数，具体求解方法在张正友的文章“Aflexible new technique for camera calibration[R].Microsoft Corporation,NSR-TR-98-71,1998”中有详细描述。
在获得两个相机系统即左右相机，的内外参数之后，将左右相机获取的图像进行校正，修正其因为相机畸变造成的图像变形等情况。
步骤12：通过检测算法及跟踪算法在两个相机获得的图像中定位锥套的初始区域。此初始区域为后续计算的输入内容，为后续的算法缩小计算区域，以便提升计算速度。
首先需要获取三千张仅含锥套区域的二维图像作为正样本，以及六千张不含锥套区域的二维图像作为负样本，通过分析正负样本中的矩形特征，筛选出能够区分锥套物的特征信息，再通过级联的方式将这些特征信息组合，使级联的矩形特征能够在图像中准确的识别出锥套区域。
将锥套区域代入核相关滤波跟踪算法，在左右相机拍摄到的二维图像中对锥套区域进行跟踪，结合检测算法和跟踪算法分别获得的锥套区域及算法对应权重，获得在两个相机中的二维图像中锥套初始定位区域。
步骤13：左右相机获取的二维图像中的锥套初始定位区域，通过SGBM立体匹配算法进行立体匹配，获取视差图，结合步骤11标定出的系统内外参数，求解出锥套的三维点云。
由于图像进行过校正，通过极限约束，因此匹配被约束在对应行中进行，减少了错误匹配的可能性。通过每一个像素及周围像素的值的约束关系，计算在另一幅图像中对应行与其代价最小的值的像素位置，根据对应的像素点对解算出该点的视差，遍历求解整个区域即解得该区域图像的初始局部视差图。对此初始局部视差图进行滤波，筛除误匹配点，获得视差图；
立体匹配算法主要可以分为以下四个步骤：
(1)预处理：
使用水平Sobel算子，对二维图像中锥套初始定位区域的每一个点做如下处理：
Sobel(x，y)＝2[P(x+1，y)-P(x-1，y)]+P(x+1，y-1)-P(x-1，y-1)+P(x+1，y+1)-P(x-1，y+1) (1)
其中，Sobel(x,y)代表该点的水平Sobel算子。P(x，y)代表当前计算的像素点(x，y)的像素值。
用一个函数将上述处理区域的每个像素点通过映射函数的计算，组成一个新的二维图像区域。
映射函数如下：
其中，preFilterCap为一个常数参数，本发明实施例中经过试验取63为宜。P为二维图像中锥套初始定位区域中的当前计算点的像素值，PN表示通过映射函数计算后二维图像区域上与P对应的像素值。
预处理实际上是为了得到二维图像中锥套初始定位区域的梯度信息。经以上预处理的锥套初始定位区域后形成的新的二维图像区域保存起来，用于代价计算。
(2)代价计算：
使用绝对误差和算法来计算每个像素点的代价。
(3)全局最优化：
采用动态规划的方式做全局最优化，即求解最小代价路径。对区域中的每个点p，在p的周围，以45°为间隔设置了8个路径，通过8个路径计算最小代价路径Lr(p，d)。
其中，P1，P2为动态规划参数，根据实际使用环境进行调节；Lr(p，d)表示沿着当前方向(即从左向右)，当前计算像素点p的视差取值为d时最小代价路径。
表示沿着当前方向(即从左向右)，当前计算像素点p的视差取值小于为k时最小代价路径的最小值。
(4)后处理：
左相机获取的二维图像中的锥套初始定位区域中每个像素点匹配完成后，利用右相机获取的二维图像中的锥套初始定位区域中每个像素点去匹配左相机获取的二维图像中的锥套初始定位区域中的像素点。如果像素点通过两次匹配得到的视差不相同，则这个像素点视为无效匹配。
通过上述过程，可以计算出二维图像中的锥套初始定位区域的视差图。
根据立体视觉模型及相机小孔成像原理，详情可见视差法原理示意图，即图2所示，图2中P为空间中的点，Pl和Pr是点P在左右相机像平面上的成像点，f是焦距，Ol和Or是左右相机的光心，Ol和Or之间的距离为双目间距，P到Ol和Or连线的距离为实际距离。左右两个相机的光轴是平行的。xr和xl是两个成像点在左右两个相机像面上距离图像左边缘的距离。
若两个相机已经校正完成即达到极线平行，两条光轴方向也平行。则视差和物体深度的关系式如下：
其中，xr和xl是两个成像点在左右两个相机像面上距离图像左边缘的距离，b为左右相机光心Ol和Or连线的距离,Z为P点到相机的实际距离。
可得到：
其中，xr和xl是两个成像点在左右两个相机像面上距离图像左边缘的距离，d为成像点之间的视差，即xl-xr，b为左右相机光心Ol和Or连线的距离，f是相机的焦距。
通过以上公式，结合已求解出二维图像中的锥套初始定位区域的视差图，可获得二维图像中的锥套初始定位区域内的三维点云。
步骤14：根据形貌特点定义锥套姿态求解的关键特征。结合轮廓信息在二维图像中的初始定位区域进行特征点筛选，结合三维点云数据，获得筛选点的三维点集。
根据锥套在实际使用环境下的圆锥形形貌特点，可定义锥套位置姿态的关键特征为锥套表面圆环及圆环中心点(见图3)。因此，需要定位锥套表面圆环所在的平面。本发明采用二维图像与三维点云相结合的方式，获取锥套表面圆环上的部分点的空间位置，用于求解平面方程。
在二维图像的锥套初始定位区域中，可以获得锥套在图像上的点与点之间的相互关系。由于锥套表面圆环区域为圆弧状，因而圆环区域内的点集应在深度方向上具有连续性且存在峰值。在二维定位区域中进行逐行扫描，抽取其中若干行。由步骤13可以看出，二维图像中的点与三维点云中的点是一一对应的关系。因此可以在步骤13求得的三维点云中提取出前述抽取出的若干行数据的对应的三维点数据，将每行的三维数据在深度方向进行滤波，即用连续性的特点剔除噪声点，获得的峰值数据即为锥套表面圆环上的点，定义其为关键特征点如见图3所示，图3为锥套示意图，其中虚线与锥套表面圆环表面相交的点(图中着重标明的点)为提取出的锥套的关键特征点，锥套表面圆环中着重标注的点为锥套表面圆环中心点。
将抽取的若干行中所有关键特征点依次提取出后，组成二维特征点集。根据二维图像的点和视差图的点一一对应关系，从三维点云中提取二维特征点集中每个二维图像点的对应三维空间点，形成三维特征点集合。
步骤15：使用RANSAC方法求解锥套表面所在的平面方程。
本发明中使用RANSAC方法在步骤14中提取的三维特征点集中迭代固定次数，获得较为准确的的平面模型(即平面方程)，作为锥套表面所在的平面方程。
RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。
RANSAC算法的输入是一组观测数据(步骤14求解出的三维点集)，通过反复选择数据中的一组随机子集来达成锥套。被选取的子集被假设为局内点，并用下述方法进行验证：
(1)使用局内点求解出一个平面模型，即所有的平面模型参数都能从局内点中计算得出。
(2)用(1)中得到的平面去测试观测数据中的局内点之外的数据，即计算除局内点之外的三维点距离平面方程的距离，如果计算出的距离小于设定的阈值δ，则认为它也是局内点。
(3)如果输入的观测数据(步骤14中求解的三维点集)中有50％的点被归类为局内点，那么认为计算出的平面模型就足够合理。
(4)然后，用获得所有的局内点去重新去计算平面模型。
(5)最后，通过估计局内点与模型的错误率来评估平面模型。
以上过程被重复执行固定的次数，每次产生的平面模型要么因为局内点太少而被舍弃，要么因为比现有的平面模型更好而被选用。最终求解出的平面方程为锥套表面圆环所在平面方程。
步骤16：通过平面方程滤除背景及噪声点，获得锥套表面圆环所在平面的内点点集，求解锥套表面中心点位置及锥套姿态。
目标的三维姿态其实是指目标在空中相对于地面测量坐标系的姿态角。因此需要进行从目标的局部坐标系(固定于目标物本身的坐标系)到相机坐标系，再到地面测量坐标系三个转化过程。而相机坐标系相对于地面测量坐标系的坐标和角度可以通过光电经纬等方式求解出来。所以，只要确定了序列影像中目标在相机坐标系中的姿态(即目标的局部坐标系)，目标的绝对姿态即可以求解出来。
锥套的局部坐标系可以由锥套表面所在平面，锥套表面圆环区域中心点及垂直锥套表面的垂线(类似圆锥形的高)来确定。
使用步骤15获得的锥套表面所在的平面方程，将步骤13中获得的三维点云滤除背景及噪声点，获得平面附近的点，即锥套表面圆环上的的大部分(即70％-80％)空间点，因此该点集的均值即可认为是锥套表面圆环的中心点，因而可解得锥套表面圆环中心点在相机坐标系下的三维坐标。通过锥套表面平面方程及中心点的三维坐标，以及锥套实际圆锥形的形状模型，将中心点作为锥套局部坐标系原点，确定锥套局部坐标系，进而获得锥套在相机坐标系下的姿态。
具体详细求解过程如下：如图5所示，建立相机坐标系Ocxcyczc及锥套局部坐标系Odxdydzd。相机坐标系Ocxcyczc建立在立体视觉系统中任意一个相机(一般为左相机，与步骤11中标定时定义的坐标系一致)的光心点，水平指向右为Ocxc轴，垂直于地面为Ocyc轴，水平指向相机正前方为Oczc轴。
锥套局部坐标系Odxdydzd建立在上述求解出的锥套表面圆环所在平面。
由步骤15可知，锥套表面圆环所在的平面方程为：
Ax+By+Cz+D＝0 (6)
其中，A，B，C，D为步骤(15)中求解出的锥套表面圆环所在平面方程的参数，在步骤15中求解获得。
根据公式(3)的锥套表面圆环所在平面方程，在步骤13中获得的三维点云中，按照点到平面的距离，筛选且剔除出背景点和噪声点，可获取锥套表面圆环上70％-80％的点，求解这些点坐标的均值，作为锥套表面圆环的中心点。
定义锥套表面圆环的中心点是锥套局部坐标系原点Od，坐标为(xp,yp,zp)。同时通过锥套表面圆环所在平面方程和原点Od坐标可以求解出过原点且垂直于锥套平面的法向量
即垂直于平面且指向锥套顶部。综上，定义锥套局部坐标系Odxdydzd中，Odxd轴水平向右，在锥套平面方程中确定Odzd轴，将法向量
方向定义为Odyd轴的方向(见图4)。假设锥套初始状态为锥套坐标系与相机坐标系重合时，此时初始姿态为0度。
在航空中，主要使用pitch,yaw,roll这三个欧拉角来描述物体旋转。pitch围绕X轴旋转，也叫做俯仰角θ。yaw是围绕Z轴旋转，也叫偏航角
roll是围绕Y轴旋转，也称翻滚角γ。用欧拉角来描述物体的旋转不光需要有角度，还需要有旋转顺序，一般旋转顺序是先yaw再pitch，再roll。故反应到定义的坐标轴上就是先绕Z轴旋转，再绕X轴旋转，最后绕Y轴旋转。
坐标系的变换一般通过方向余弦矩阵来表述的，其表达为：
其中，
是相机坐标系Ocxcyczc向锥套局部坐标系Odxdydzd的转移矩阵。rd为锥套局部坐标系下的三维坐标，rc为相机坐标系下的三维坐标。
由欧拉角定义及余弦矩阵定义可知，方向余弦矩阵推广到三轴的单次旋转。从相机坐标系Ocxcyczc旋转到中间转换坐标系一O1x1y1z1(将相机坐标系坐标系绕Oczc轴旋转后得到的转换坐标系)，再旋转到中间转换坐标系二O2x2y2z2(将中间转换坐标系一绕相机坐标系Ocxc轴旋转后得到的转换坐标系)，最后旋转到锥套局部坐标系Odxdydzd，按照单次旋转的顺序可得：
综上所述，可得：
其中，
是相机坐标系Ocxcyczc到中间转换坐标系一O1x1y1z1(将相机坐标系坐标系绕Oczc轴旋转后得到的转换坐标系)的旋转矩阵，
是中间转换坐标系一O1x1y1z1(将相机坐标系绕Oczc轴旋转后得到的转换坐标系)到中间转换坐标系二O2x2y2z2(将中间转换坐标系一绕相机坐标系Ocxc轴旋转后得到的转换坐标系)的旋转矩阵，
是中间转换坐标系二O2x2y2z2(将中间转换坐标系一绕相机坐标系Ocxc轴旋转后得到的转换坐标系)到锥套局部坐标系Odxdydzd的旋转矩阵。
θ、γ为前述三次旋转对应转过的角度，θ、
通过法向量
与相机坐标系求解获得。由于锥套表面圆环各项同性的特性，因此，求解姿态时，不需要翻滚角来对其进行描述。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (4)
1.一种基于立体视觉的加油飞机锥套位姿测量方法，其特征在于：包括以下步骤：
a、对平行放置的两个相机，定义以两个相机中任意一个相机光心为坐标轴原点的相机坐标系，通过标定获得两个相机的内部参数与两个相机的外部参数，即旋转矩阵和平移向量，采用内部参数和相机之间的外部参数对两个相机拍摄到的二维图像进行校正；
b、预先拍摄上千张的实际使用且含有锥套的二维图像，标注出仅含锥套区域的二维图像作为正样本集，同时标注出非锥套区域的二维图像作为负样本集，通过正负样本集训练出锥套分类器，采用锥套分类器分别在两个相机的校正后的二维图像中检测出锥套区域，将二维图像中检测出的锥套区域代入跟踪算法，在二维图像中对锥套区域进行跟踪，结合检测算法和跟踪算法分别获得的锥套区域及算法对应权重，获得在两个相机的二维图像中锥套初始定位区域；
c、将两个相机的二维图像中锥套初始定位区域进行立体匹配，获得视差图，对视差图求解得到光心定义为原点的相机的二维图像中锥套初始定位区域的三维点云；
实现步骤如下：
（1）计算步骤b中两个相机拍摄的二维图像中锥套初始定位区域内，每个像素点周围区域的匹配度，分别计算两个相机拍摄的二维图像中锥套初始定位区域内对应像素周围区域之间的匹配度，得到初始视差图；
（2）对初始视差图进行滤波，筛除误匹配点，获得视差图；
（3）基于立体视觉模型及相机小孔成像原理，结合视差图，计算出光心定义为原点的相机的二维图像中锥套初始定位区域内的每个二维图像点的三维坐标，形成锥套初始定位区域的三维点云；
d、在光心定义为原点的相机的二维图像中锥套初始定位区域进行点筛选，结合步骤c中的三维点云，筛选出锥套表面圆环上的关键特征三维点，组成三维点集，使用RANSAC求解锥套表面圆环所在的平面方程；
求解锥套表面圆环所在的平面方程的实现步骤如下：
（1）在二维图像中锥套初始定位区域内，结合锥套的形状及轮廓特征信息，筛选出锥套表面的一部分关键特征点；
（2）根据二维图像的点和视差图中的点一一对应的关系，从三维点云中筛选出这些点的对应三维点，形成三维点集合；
（3）使用RANSAC算法求解三维点集合所在平面的方程，即求解锥套表面圆环所在平面方程；
e、根据步骤d中求解得到的平面方程，滤除背景点及噪声点，获得步骤c中求解出的平面附近的且位于锥套表面圆环上70%-80%的三维点，形成三维点集，求取三维点集的平均值，即为锥套表面圆环中心点的空间三维位置，以及锥套表面圆环所在的平面方程，再结合锥套的特征形貌，求解出锥套的空间位姿，即位置及姿态。
2.根据权利要求1所述的基于立体视觉的加油飞机锥套位姿测量方法，其特征在于：所述步骤a中，对两个相机组成的立体视觉系统的内外参标定，及双目图像校正的实现步骤如下：
（1）拍摄靶标图片，提取靶标图片中的角点，标定出两个相机的内部参数；
（2）根据两个相机的内部参数及靶标图片，标定出两个相机的外部参数，即旋转矩阵和平移向量；
（3）根据相机内部参数与两个相机的外部参数对两个相机拍摄到的二维图像进行校正。
3.根据权利要求1所述的基于立体视觉的加油飞机锥套位姿测量方法，其特征在于：所述步骤b中对锥套进行检测跟踪，以获得锥套在二维图像上的初始定位区域的实现步骤如下：
（1）在预先提前拍摄的二维图像中，提取仅含锥套区域的二维图像形成正样本集；不含锥套区域的二维图像作为负样本集，通过正负样本集获取锥套矩形特征，训练出锥套分类器；
（2）使用锥套分类器在初始帧图像定位锥套区域，并利用锥套区域初始化跟踪算法；
（3）后续二维图像序列中，分别运行检测算法与跟踪算法，将这两个算法获得的锥套区域及算法权重进行策略性融合，获得在两个相机拍摄的二维图像中锥套初始定位区域。
4.根据权利要求1所述的基于立体视觉的加油飞机锥套位姿测量方法，其特征在于：在步骤e中具体实现如下：
（1）使用步骤d中求解的平面方程对步骤c中求解出的二维图像中的锥套初始定位区域的三维点云进行三维点筛选，通过点到平面的距离，滤除背景点及噪声点，得到锥套表面圆环上点组成的三维点集；
（2）计算三维点集的平均值，作为锥套表面圆环的中心点在相机系统坐标系下的空间位置；
（3）根据锥套类圆锥的形状特征，求解出锥套在相机系统坐标系下的空间位姿；
（4）通过坐标系之间的相互转换关系，求解出锥套在大地坐标系下的空间位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810419536.5A CN108955685B (zh) | 2018-05-04 | 2018-05-04 | 一种基于立体视觉的加油飞机锥套位姿测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810419536.5A CN108955685B (zh) | 2018-05-04 | 2018-05-04 | 一种基于立体视觉的加油飞机锥套位姿测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108955685A CN108955685A (zh) | 2018-12-07 |
| CN108955685B true CN108955685B (zh) | 2021-11-26 |
Family
ID=64498967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810419536.5A Active CN108955685B (zh) | 2018-05-04 | 2018-05-04 | 一种基于立体视觉的加油飞机锥套位姿测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108955685B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415331B (zh) * | 2019-06-14 | 2022-08-19 | 中国电建集团昆明勘测设计研究院有限公司 | 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法 |
| CN111274959B (zh) * | 2019-12-04 | 2022-09-16 | 北京航空航天大学 | 一种基于可变视场角的加油锥套位姿精确测量方法 |
| CN112069589B (zh) * | 2020-08-05 | 2022-10-11 | 中国航空工业集团公司哈尔滨空气动力研究所 | 一种低速风洞空中加油软管-锥套动态特性试验方法 |
| CN111830526B (zh) * | 2020-09-17 | 2020-12-29 | 上海驭矩信息科技有限公司 | 一种基于多线激光数据融合的集装箱定位方法及装置 |
| CN112308916B (zh) * | 2020-09-21 | 2024-03-26 | 广东电网有限责任公司广州供电局 | 一种基于图像靶标的目标位姿识别方法 |
| CN112862862B (zh) * | 2021-02-10 | 2023-11-17 | 中国飞行试验研究院 | 基于人工智能视觉跟踪的飞机自主受油装置及应用方法 |
| CN112907610B (zh) * | 2021-03-25 | 2022-04-29 | 东南大学 | 一种基于LeGO-LOAM的分步式帧间位姿估计算法 |
| CN113284197B (zh) * | 2021-07-22 | 2021-11-23 | 浙江华睿科技股份有限公司 | Agv的tof相机外参标定方法及装置、电子设备 |
| CN114359395B (zh) * | 2022-03-18 | 2022-06-07 | 南京航空航天大学 | 用于锥套主动增稳的位置监测光学参考系统及其实现方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103278138A (zh) * | 2013-05-03 | 2013-09-04 | 中国科学院自动化研究所 | 一种复杂结构薄部件三维位置及姿态的测量方法 |
| CN104015931A (zh) * | 2014-04-22 | 2014-09-03 | 西安交通大学 | 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台 |
| CN104180808A (zh) * | 2014-08-05 | 2014-12-03 | 南京航空航天大学 | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 |
| CN107945220A (zh) * | 2017-11-30 | 2018-04-20 | 华中科技大学 | 一种基于双目视觉的重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9067689B2 (en) * | 2013-01-14 | 2015-06-30 | The Boeing Company | Aircraft refueling system and method of refueling an aircraft |
-
2018
- 2018-05-04 CN CN201810419536.5A patent/CN108955685B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103278138A (zh) * | 2013-05-03 | 2013-09-04 | 中国科学院自动化研究所 | 一种复杂结构薄部件三维位置及姿态的测量方法 |
| CN104015931A (zh) * | 2014-04-22 | 2014-09-03 | 西安交通大学 | 一种无人机自动加油盲区视觉定位测控方法、系统及实验平台 |
| CN104180808A (zh) * | 2014-08-05 | 2014-12-03 | 南京航空航天大学 | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 |
| CN107945220A (zh) * | 2017-11-30 | 2018-04-20 | 华中科技大学 | 一种基于双目视觉的重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 立体视觉传感器的一种灵活靶标新标定方法;刘震等;《光学学报》;20130331;第33卷(第3期);第1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108955685A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108955685B (zh) | 一种基于立体视觉的加油飞机锥套位姿测量方法 | |
| CN108665499B (zh) | 一种基于视差法的近距飞机位姿测量方法 | |
| CN109405835B (zh) | 基于非合作目标直线与圆单目图像的相对位姿测量方法 | |
| CN105021184B (zh) | 一种用于移动平台下视觉着舰导航的位姿估计系统及方法 | |
| CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及系统 | |
| CN104180808B (zh) | 一种用于自主空中加油的圆形锥套视觉位姿解算方法 | |
| CN107314771A (zh) | 基于编码标志点的无人机定位以及姿态角测量方法 | |
| CN107727079A (zh) | 一种微小型无人机全捷联下视相机的目标定位方法 | |
| CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
| US8649917B1 (en) | Apparatus for measurement of vertical obstructions | |
| CN108845335A (zh) | 一种基于图像和导航信息的无人机地面目标定位方法 | |
| CN106155081B (zh) | 一种旋翼无人机大范围目标监测和精确定位方法 | |
| CN104880176A (zh) | 基于先验知识模型优化的运动物位姿测量方法 | |
| US20100097460A1 (en) | Apparatus for measurement of vertical obstructions | |
| CN110009682A (zh) | 一种基于单目视觉的目标识别定位方法 | |
| CN109597086A (zh) | 一种非接触式直升机外吊挂物的运动测量方法 | |
| CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| CN109739254A (zh) | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 | |
| KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
| CN109974713A (zh) | 一种基于地表特征群的导航方法及系统 | |
| CN105551043B (zh) | 无人机影像数据实时处理方法 | |
| CN108225273A (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| Deng et al. | A binocular vision-based measuring system for UAVs autonomous aerial refueling | |
| CN113740864A (zh) | 基于激光三维点云的探测器软着陆末段自主位姿估计方法 | |
| CN108227749A (zh) | 无人机及其追踪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |