CN113160318A - 基于单目相机的空中加油锥套位姿测量方法 - Google Patents

基于单目相机的空中加油锥套位姿测量方法 Download PDF

Info

Publication number
CN113160318A
CN113160318A CN202110484591.4A CN202110484591A CN113160318A CN 113160318 A CN113160318 A CN 113160318A CN 202110484591 A CN202110484591 A CN 202110484591A CN 113160318 A CN113160318 A CN 113160318A
Authority
CN
China
Prior art keywords
pose
threshold
points
ellipse
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110484591.4A
Other languages
English (en)
Other versions
CN113160318B (zh
Inventor
郑帅
王静
杨朋涛
张赛
张俊杰
王子涵
贾康
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Woxiang Aviation Technology Co ltd
Xian Jiaotong University
Original Assignee
Xi'an Woxiang Aviation Technology Co ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Woxiang Aviation Technology Co ltd, Xian Jiaotong University filed Critical Xi'an Woxiang Aviation Technology Co ltd
Priority to CN202110484591.4A priority Critical patent/CN113160318B/zh
Publication of CN113160318A publication Critical patent/CN113160318A/zh
Application granted granted Critical
Publication of CN113160318B publication Critical patent/CN113160318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目相机的空中加油锥套位姿测量方法，该方法在传统利用图像处理进行特征筛选的位姿解算方法基础上，通过改进特征筛选算法，提高了传统特征筛选算法效率、准确度和适用范围；通过加入误差分析算法，排除特征误匹配或匹配误差偏大情况下的解算结果，改变了传统方法难以筛选错误解算结果的不足，保证输出结果的高可靠性和高精度；通过加入阈值优化算法，结合误差分析结果，可实现在各类不同环境自主进行分割阈值优化，改变了传统方法低鲁棒性的不足。本发明无需提前设定运行条件，仅通过视频输入，即可自主完成阈值优化，输出高可靠性高精度位姿解算结果，具有高鲁棒性、高可靠性、高精度、低延时的优点。

Description

基于单目相机的空中加油锥套位姿测量方法
技术领域
本发明属于空中加油技术领域，特别涉及一种基于单目相机的空中加油锥套位姿测量方法。
背景技术
无论载人机还是无人机，携带油量的多少都是制约其航程和飞行时间的根本因素，且对其有效载重和战略部署有着不可忽视的影响。然而，载人飞机空中加油被比喻为“空中绣花”，夜间空中加油无疑是难上加难、险中求胜。为实现飞机效能的最大化，自主空中加油的需求日益迫切。其中，获取空中锥套的精确位姿信息是实现软式自主空中加油的基础。受限于锥套无法安装定位设备和在空中摆动的特点，目前软式自主空中加油位姿测量主要采用视觉测量技术。
由于合作目标视觉测量具有更高的测量精度和可靠性，目前现有的大多数软式自主空中加油的视觉测量采用了加油锥套辅以光学合作目标的方案，包括LED光标、人工特殊标记等。国内基于合作目标空中锥套视觉测量研究的论文按照目标检测方法的不同主要可分为基于图像处理的特征筛选方法和基于深度学习的检测跟踪方法。西北工业大学赵建涛等人提出的基于单目相机和LED光标，运用图像处理筛选方法，通过图像预处理、远干扰点排除、特征点排除、近干扰点排除、特征标记的方式完成特征筛选和特征匹配。其中远干扰点排除采取随机抽取点生成椭圆，依据其他点到椭圆中心距离与等效半径的大小关系判断是否是该椭圆支持点，寻找支持椭圆点数量最多的椭圆。该算法用圆模型近似代替椭圆模型，且仅依靠距离上限进行筛选，存在判断模型不精确、筛选算法有漏洞和大倾角时无法适用的问题；同时该方法未解决传统利用图像处理进行特征筛选的空中锥套位姿测量方法存在的可靠性低、鲁棒性低的问题，难以筛选错误输出结果，在不同环境下需要提前设定不同运行参数，难以满足软式自主空中加油视觉测量需要(见赵建涛,程咏梅,刘虎成,等.无人机软管式加油近红外信标检测与匹配方法[J].电光与控制,2015,22(6).)。
西北工业大学周清等人基于双目视觉，通过在锥套上添加红色标记点，提出基于yolo v3的改进算法进行跟踪检测，结合传统图像处理进行位姿解算(见周清,许悦雷,加尔肯别克.无人机软管式自主空中加油视觉导航技术[J].导航定位与授时，2020.)；北京航空航天大学王宏伦等人基于双目视觉和LED光标，提出基于非线性滞环特性的相机组切换策略，使用深度学习YOLO v2算法进行图像检测(见王宏伦,阮文阳,王延祥,等.基于可变视场角的空中加油锥套位姿精确测量方法[J].战术导弹技术,2020(4).).
周清和王宏伦等人提出的基于深度学习的检测跟踪算法，存在泛化能力较弱的问题，在更换锥套目标或者更换环境后，需要新的数据集进行优化训练。故需一种无需提前设定运行条件或深度学习，仅依靠视频输入即可进行筛选解算的空中锥套高可靠性位姿解算方法，为自主空中加油的实现提供基础条件。
发明内容
本发明的目的在于克服传统基于相机和LED光标运用图像处理进行特征筛选的软式空中加油视觉测量存在的鲁棒性和可靠性不足的现状，为此目的，本发明提供了一种基于单目相机的空中加油锥套位姿测量方法。
本发明采用以下技术方案来实现的：
基于单目相机的空中加油锥套位姿测量方法，包括以下步骤：
(1)相机标定：根据相机成像模型，利用已知的特征点像素坐标和世界坐标，求解相机的成像参数，包括相机坐标与像素坐标转换矩阵和相机畸变参数；
(2)图像获取：调用相机SDK，完成参数设定和实时视频流获取；
(3)图像预处理：依次包括灰度化、滤波、二值化、腐蚀膨胀和轮廓质心计算；
(4)特征筛选：对预处理后的图像进行特征筛选，包括特征初筛选和RANSAC椭圆拟合筛选两部分；
(5)特征匹配：完成特征点像素坐标和已知世界坐标的一一对应，为位姿解算提供条件；
(6)位姿解算：通过获取四个以上特征点的像素坐标和对应世界坐标后，运用位姿解算算法，获取目标相对相机坐标的位置信息和角度信息；
(7)误差分析：通过反向推算特征点在像素坐标下的推算坐标，计算参与位姿解算的像素坐标与对应推算像素坐标的平均距离，以该值与设定误差阈值之间的大小关系，作为误差分析的依据；
(8)阈值优化：误差分析结果大于设定阈值或者无法进行位姿解算时，通过多次调整阈值，以误差分析结果为依据，寻找最优阈值，并在下一帧图像预处理时改用优化后的阈值；
(9)结果输出：当解算结果满足误差分析条件时，输出三坐标距离、三轴向旋转角度和解算耗时等信息。
本发明进一步的改进在于，所述步骤(4)中图像预处理的实现步骤如下：
(1)图像灰度化，采用RGB—GRAY算法；
(2)滤波，去除图像中常见的干扰斑点和颗粒；
(3)阈值分割，通过设定阈值将图像二值化，分割阈值由阈值优化算法确定；
(4)腐蚀膨胀，对二值化图像进行缩小放大处理；
(5)寻找图像轮廓，并按照平均质心法求取轮廓质心。
本发明进一步的改进在于，所述步骤(4)中的RANSAC椭圆拟合算法，在寻找5个随机点拟合椭圆后，通过计算椭圆方程，统计满足该椭圆方程的点的数量，通过多次循环寻找满足椭圆方程点数量最多的椭圆作为目标椭圆，满足目标椭圆的点的集合为筛选结果集合。
本发明进一步的改进在于，所述步骤(4)中的RANSAC椭圆拟合算法具体如下：
(1)在经过初筛选的质心点中随机抽取五个点；
(2)寻找这五个点构成的椭圆；
(3)计算该椭圆方程式；
(4)将所有质心点带入椭圆方程，计算满足椭圆方程的点的数量；
(5)(1)-(4)循环，直到满足椭圆方程点的数量大于等于8，或者到达最大循环次数后，寻找满足椭圆方程点数量最多的椭圆，将该椭圆作为筛选结果椭圆，满足该椭圆的点的集合即为之后处理解算的基础集合。
本发明进一步的改进在于，步骤(5)特征匹配即完成特征点像素坐标与世界坐标的一一对应，具体实现步骤如下：
(1)排序，按照相对椭圆中心的相对位置，以正上方为起点，顺时针进行排序；
(2)近干扰点排除，去除满足椭圆方程的干扰点；
(3)二次排序，与步骤(1)方法类似，不同点是参与的点集合为不含近干扰点的集合；
(4)空缺判断，以二次排序结果进行空缺判断，得到空缺判断集合；
(5)根据空缺判断集合，生成与像素坐标对应的特征点的世界坐标，完成特征匹配。
本发明进一步的改进在于，所述步骤(7)误差分析算法，利用步骤(1)获取的相机成像参数、步骤(5)获取的参与位姿解算的特征点世界坐标和步骤(6)求解得到的位姿信息，反向推算特征点在像素坐标系下的推算坐标，计算参与位姿解算的特征点推算像素坐标和真实像素坐标之间的平均距离，以此值与设定误差阈值的大小关系，作为是否输出结果的判断依据。
本发明进一步的改进在于，所述步骤(8)阈值优化算法，在无法进行位姿解算或位姿解算误差值超过设定误差阈值时，修改分割阈值后再次进行位姿解算，并将此次位姿结算后误差分析结果作为判断依据，通过不断调整二值化分割阈值，寻找能够准确进行位姿解算的优化阈值。
本发明进一步的改进在于，所述步骤(8)阈值优化算法具体如下：
(1)以当前阈值为中心，进行阈值上下微调；
(2)判断微调阈值后，是否满足特征排序和特征匹配条件，不满足则返回步骤(1)；
(3)判断解算结果误差小于设定阈值，不满足则返回步骤(1)；
(4)如果同时满足步骤(2)和步骤(3)中的判断，跳出循环，修改阈值为当前阈值，完成阈值优化过程。
本发明至少具有如下有益的技术效果：
本发明提供的基于单目相机的空中加油锥套位姿测量方法，该方法在传统基于单目相机利用图像处理进行特征筛选的位姿解算方法基础上，通过改进特征筛选算法，提高了传统特征筛选算法效率、准确度和适用范围；通过加入误差分析算法，排除特征误匹配或匹配误差偏大情况下的解算结果，改变了传统方法难以筛选错误解算结果的不足，保证输出结果的高可靠性和高精度；通过加入阈值优化算法，结合误差分析结果，可实现在各类不同环境自主进行分割阈值优化，改变了传统方法低鲁棒性的不足。该方法无需提前设定运行条件，仅通过视频输入，即可自主完成阈值优化，输出高可靠性高精度位姿解算结果，具有高鲁棒性、高可靠性、高精度、低延时的优点。
本发明能够在获取相机成像参数的基础上，通过获取包含锥套及LED光标的视频，完成锥套相对相机的高精度位姿测量，提高了基于包含LED锥套的传统位姿测量算法的可靠性和鲁棒性。同时，本发明提出的视觉测量方法不只适用于软式空中加油锥套的视觉测量，在基于相机和合作目标的视觉测量领域同样具有指导意义。
附图说明
图1是本发明的具体实施方式的流程；
图2是本发明的LED光标布局示意图；
图3是本发明的世界坐标系示意图；
图4是本发明的坐标系转换关系及相应其次方程。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明提供的基于单目相机的空中加油锥套位姿测量方法，具体包括以下步骤：
1.设备搭建：搭建锥套模型，确定LED光标布局；
2.相机标定：根据相机成像模型，利用已知的特征点像素坐标和世界坐标，求解相机的成像参数，主要包括相机内部参数矩阵和相机畸变参数；
3.图像获取：调用相机SDK(Software Development Kit，软件开发工具包)，完成参数设定和实时视频流获取；
4.图像预处理：包括灰度化、滤波、二值化、腐蚀膨胀、轮廓质心计算操作；
5.特征筛选：对预处理后的图像进行特征筛选，包括特征初筛选和RANSAC(RandomSample Consensus，随机一致性采样)椭圆拟合筛选两部分，其中RANSAC椭圆拟合筛选算法对传统筛选算法的判断模型、筛选条件进行了改进，筛选算法更加精确合理，且适用范围更广；
6.特征匹配：完成特征点像素坐标和已知世界坐标的一一对应，为位姿解算提供条件；
7.位姿解算：通过获取四个以上像素坐标和世界坐标对应的特征点后，运用位姿解算算法，获取目标相对相机坐标的位置信息和姿态信息；
8.误差分析：通过反向推算特征点在像素坐标下的推算坐标，计算参与位姿解算的像素坐标与对应推算像素坐标的平均距离，以该值与设定误差阈值之间的大小关系，作为误差分析的依据；提出一种位姿解算误差分析算法，可直观反映特征匹配误差程度。实现方法为：反向推算特征点在像素坐标下的推算坐标，并计算参与位姿解算的像素坐标与对应推算像素坐标的平均距离，以该值与设定误差阈值之间的大小关系，作为误差分析的依据；
9.阈值优化：误差分析结果大于设定阈值或者无法进行位姿解算时，通过多次调整阈值，以误差分析结果为依据，寻找最优阈值，并在下一帧图像预处理时改用优化后的阈值，保证输出结果的高可靠性和高精度；应用误差分析结果，提出阈值优化算法，提高了整体方法的鲁棒性和可靠性。
10.结果输出是指在误差分析结果小于设定阈值时，进行解算结果输出，输出内容包含三坐标距离、三轴向旋转角度、解算耗时等信息。
本发明的实施步骤为：设备搭建——相机标定——图像获取——图像预处理——特征筛选——特征匹配——位姿解算——误差分析——阈值优化——结果输出，实现空中锥套相对相机坐标的高精度、高可靠性、高鲁棒性、低延时的视觉测量。具体实施方式如下：
1、设备搭建：本方法目前采用模拟锥套LED布局方案，布局示意图如图2，8个LED光标以锥套中心为圆心，等圆心角均匀分布于伞衣上。
2、相机标定：根据相机成像模型，依据已知的特征点像素坐标和世界坐标，求解相机的成像参数，主要包括相机内部矩阵和相机畸变参数。本方法相机标定采用张正友标定法。
3、图像获取
完成相机标定后，需要获取相机视频帧，进行图像处理。读取工业相机进行处理，需要调用工业相机SDK。通过调用SDK可完成相机参数(如分辨率、帧率、曝光时间、亮度等)的设定，并获取对应参数状态下的实时图像。
图像获取也可对录制视频进行处理和解算，通过指定录像的路径和文件名，获取录像文件视频帧，并按视频帧顺序进行图像读取。
4、图像预处理，包括灰度化、滤波、阈值分割、腐蚀膨胀及轮廓质心求取。
4.1)图像灰度化
RGB-GRAY仅需设定一次阈值，更有利于阈值调整优化。因而本方法选用RGB-GRAY方法。RGB-GRAY转换公式为：
Gray＝0.1140*R+0.5870*G+0.2989*B
其中Gray代表灰度值，R、G、B分别代表RGB图像中的红色分量、绿色分量和蓝色分量。
4.2)滤波
常见的图像滤波算法有均值滤波、高斯滤波、中值滤波、双边滤波、非局部均值滤波等，本方法采用7*7高斯滤波算法去除图像噪声。
4.3)阈值分割
图像经过滤波去除噪声后，通过设定阈值将图像二值化，这样可以在提高后期解算速度的同时，提高特征点筛选准确度，是本方法中图像处理的重要环节。其中分割阈值由本方法提出的阈值优化算法确定。
4.4)腐蚀膨胀
通过对二值化图像进行缩小、放大处理，有利于去除干扰噪声，突出感兴趣特征点。
4.5)寻找轮廓质心，对二值化图像进行寻找轮廓操作，并采用平均值求质心的算法求取轮廓质心。
5、特征筛选包含特征初筛选和RANSAC最优椭圆筛选。
5.1)特征初筛选通过判断轮廓像素面积和轮廓外接矩形宽高比进行质心点集合初步筛选；
5.2)RANSAC最优椭圆筛选算法改进了传统将椭圆模型简化为圆模型算法存在的判断模型不精确、筛选算法有漏洞和大倾角时无法适用的问题。通过改用椭圆模型，并运用椭圆方程进行筛选判断，提高了筛选算法精度，弥补了传统筛选算法在目标倾斜角度偏大时无法筛选的不足。实现步骤如下：
5.2.1)在经过初筛选的质心点中随机抽取五个点；
5.2.2)寻找这五个点构成的椭圆；
5.2.3)计算该椭圆方程式；
5.2.4)将所有质心点带入椭圆方程，计算满足该椭圆方程的点的数量；
5.2.5)5.2.1)-5.2.4)循环，直到满足椭圆方程点的数量≥8，或者到达最大循环次数后，寻找满足椭圆方程点数量最多的椭圆，将该椭圆作为筛选结果椭圆。满足该椭圆的点的集合即为之后处理解算的基础集合。本方法要求满足椭圆方程点数量≥6，否则进行阈值优化，再次进行图像预处理和特征筛选。
6、特征匹配即完成特征点像素坐标与世界坐标的一一对应，为准确进行位姿解算提供条件。基本实现步骤如下：
6.1)特征点排序
6.1.1)筛选后的特征点统一减去椭圆中心坐标，生成相对椭圆中心的坐标点(x,y)；
6.1.2)当x>0时，α＝arctan(y/x+0.5*PI)*180/PI；
当x<0时，α＝arctan(y/x+1.5*PI)*180/PI；
当x＝0,y>0时，α＝180；
当x＝0,y<0时，α＝0.
其中PI代表圆周率，取值3.14159265；
6.1.3)按照α的值从小到大的顺序，对质心点进行排序，其中α取值范围为[0,360),特征点排序方法为以椭圆中心正上方为起点，按顺时针顺序进行排序。
6.2)近干扰点排除，即排除满足最优椭圆的噪声点，本方法按照相邻两点与椭圆中心构成的圆心角进行排除：
6.2.1)按照6.1)排序结果，依次计算相邻各点之间α差值；
6.2.2)以此差值为判断依据，进行近干扰点排除。本方法要求近干扰点排除后，特征点数量≥6，否则进行阈值优化，并再次进行图像预处理、特征筛选、特征匹配。
6.3)二次排序，算法实现与6.1)排序算法一致，不同点为参与运算点集合变为近干扰点排除后的集合。
6.4)空缺判断，即对标志点缺失情况进行判断。
6.4.1)按照6.4)二次排序结果，依次计算相邻各点之间α差值；
6.4.2)依据α差值进行空缺判断。
6.5)根据6.4)生成的空缺判断集合，结合已知特征点世界坐标，生成与参与位姿解算的像素坐标集合对应的世界坐标集合。其中世界坐标系，参照图3，以锥套中心为原点，XOY平面位于LED光标确定的平面，其中X轴水平向右，Y轴垂直向下，Z轴方向根据X轴和Y轴方向，由右手法则确定。
7、位姿解算算法目前已经较为成熟，通过实验分析多种位姿解算算法的优缺点，本方法采用OpenCV基于共面坐标的位姿解算方法。
8、误差分析
本发明在进行位姿解算后，提出了一种基于像素坐标的误差分析算法。参照图4，该算法以步骤2相机标定获取的相机成像参数、步骤6特征匹配获取的参与运算的LED光标真实世界坐标和步骤7位姿解算获取的位姿参数为输入，反向推算该位姿参数下的光标推算像素坐标，计算参与步骤7位姿解算的所有光标的推算像素坐标与实际像素坐标间的平均距离。该误差分析结果可直观反映特征匹配准确程度，可作为判断是否存在错误匹配或匹配误差过大的依据，从而保证输出结果的高可靠性和高精度。具体算法实现步骤为：
8.1)依次带入参与位姿解算的世界坐标集合的点，假设第i个标志点世界坐标系坐标为Pi＝[Xi,Yi,Zi]T，位姿解算得到的旋转矩阵为R3×3，位移向量为T3×1＝[Xc,Yc,Zc]T,则该点相对相机坐标系的推算坐标Pi_c:
Pi_c＝[Xi_c,Yi_c,Zi_c]T＝R*Pi+T
8.2)假设相机成像参数矩阵：
Figure BDA0003049805680000111
则第i个标志点推算像素坐标为Pi_P＝[Xi_P,Yi_P]T,其中
Figure BDA0003049805680000112
Figure BDA0003049805680000113
8.3)计算该推算像素坐标与对应标志点实际像素坐标的距离；
8.4)步骤8.1)至8.3)循环，算出所有参与位姿解算的标志点推算像素坐标与实际像素坐标的平均距离，该距离值与设定误差阈值之间大小关系即为误差分析的参考值。
9、阈值优化算法在无法进行位姿解算或者位姿解算结果误差较大时启用，较好地解决了传统算法阈值选取困难导致的鲁棒性差的问题。基于本算法的软件在各类环境下，通过分割阈值的自动优化，可实现通过视频输入直接得到解算结果的效果，具有高鲁棒性和高可靠性优点。实现步骤如下：
9.1)以当前阈值为中心，进行阈值上下微调；
9.2)判断微调阈值后是满足位姿解算条件，不满足则返回步骤9.1)；
9.3)判断解算结果误差是否小于给定阈值，不满足则返回步骤9.1)；
9.4)如果同时满足步骤9.2)和步骤9.3)中的判断，跳出循环，修改阈值为当前阈值，完成阈值优化过程。
10、在误差分析结果小于设定阈值时，进行解算结果输出，输出内容包含三坐标距离、三轴向旋转角度、解算耗时等信息。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.基于单目相机的空中加油锥套位姿测量方法，其特征在于，包括以下步骤：
(1)相机标定：根据相机成像模型，利用已知的特征点像素坐标和世界坐标，求解相机的成像参数，包括相机坐标与像素坐标转换矩阵和相机畸变参数；
(2)图像获取：调用相机SDK，完成参数设定和实时视频流获取；
(3)图像预处理：依次包括灰度化、滤波、二值化、腐蚀膨胀和轮廓质心计算；
(4)特征筛选：对预处理后的图像进行特征筛选，包括特征初筛选和RANSAC椭圆拟合筛选两部分；
(5)特征匹配：完成特征点像素坐标和已知世界坐标的一一对应，为位姿解算提供条件；
(6)位姿解算：通过获取四个以上特征点的像素坐标和对应世界坐标后，运用位姿解算算法，获取目标相对相机坐标的位置信息和角度信息；
(7)误差分析：通过反向推算特征点在像素坐标下的推算坐标，计算参与位姿解算的像素坐标与对应推算像素坐标的平均距离，以该值与设定误差阈值之间的大小关系，作为误差分析的依据；
(8)阈值优化：误差分析结果大于设定阈值或者无法进行位姿解算时，通过多次调整阈值，以误差分析结果为依据，寻找最优阈值，并在下一帧图像预处理时改用优化后的阈值；
(9)结果输出：当解算结果满足误差分析条件时，输出三坐标距离、三轴向旋转角度和解算耗时等信息。
2.根据权利要求1所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(4)中图像预处理的实现步骤如下：
(1)图像灰度化，采用RGB—GRAY算法；
(2)滤波，去除图像中常见的干扰斑点和颗粒；
(3)阈值分割，通过设定阈值将图像二值化，分割阈值由阈值优化算法确定；
(4)腐蚀膨胀，对二值化图像进行缩小放大处理；
(5)寻找图像轮廓，并按照平均质心法求取轮廓质心。
3.根据权利要求1所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(4)中的RANSAC椭圆拟合算法，在寻找5个随机点拟合椭圆后，通过计算椭圆方程，统计满足该椭圆方程的点的数量，通过多次循环寻找满足椭圆方程点数量最多的椭圆作为目标椭圆，满足目标椭圆的点的集合为筛选结果集合。
4.根据权利要求3所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(4)中的RANSAC椭圆拟合算法具体如下：
(1)在经过初筛选的质心点中随机抽取五个点；
(2)寻找这五个点构成的椭圆；
(3)计算该椭圆方程式；
(4)将所有质心点带入椭圆方程，计算满足椭圆方程的点的数量；
(5)(1)-(4)循环，直到满足椭圆方程点的数量大于等于8，或者到达最大循环次数后，寻找满足椭圆方程点数量最多的椭圆，将该椭圆作为筛选结果椭圆，满足该椭圆的点的集合即为之后处理解算的基础集合。
5.根据权利要求1所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，步骤(5)特征匹配即完成特征点像素坐标与世界坐标的一一对应，具体实现步骤如下：
(1)排序，按照相对椭圆中心的相对位置，以正上方为起点，顺时针进行排序；
(2)近干扰点排除，去除满足椭圆方程的干扰点；
(3)二次排序，与步骤(1)方法类似，不同点是参与的点集合为不含近干扰点的集合；
(4)空缺判断，以二次排序结果进行空缺判断，得到空缺判断集合；
(5)根据空缺判断集合，生成与像素坐标对应的特征点的世界坐标，完成特征匹配。
6.根据权利要求1所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(7)误差分析算法，利用步骤(1)获取的相机成像参数、步骤(5)获取的参与位姿解算的特征点世界坐标和步骤(6)求解得到的位姿信息，反向推算特征点在像素坐标系下的推算坐标，计算参与位姿解算的特征点推算像素坐标和真实像素坐标之间的平均距离，以此值与设定误差阈值的大小关系，作为是否输出结果的判断依据。
7.根据权利要求1所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(8)阈值优化算法，在无法进行位姿解算或位姿解算误差值超过设定误差阈值时，修改分割阈值后再次进行位姿解算，并将此次位姿结算后误差分析结果作为判断依据，通过不断调整二值化分割阈值，寻找能够准确进行位姿解算的优化阈值。
8.根据权利要求7所述的基于单目相机的空中加油锥套位姿测量方法，其特征在于，所述步骤(8)阈值优化算法具体如下：
(1)以当前阈值为中心，进行阈值上下微调；
(2)判断微调阈值后，是否满足特征排序和特征匹配条件，不满足则返回步骤(1)；
(3)判断解算结果误差小于设定阈值，不满足则返回步骤(1)；
(4)如果同时满足步骤(2)和步骤(3)中的判断，跳出循环，修改阈值为当前阈值，完成阈值优化过程。
CN202110484591.4A 2021-04-30 2021-04-30 基于单目相机的空中加油锥套位姿测量方法 Active CN113160318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484591.4A CN113160318B (zh) 2021-04-30 2021-04-30 基于单目相机的空中加油锥套位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484591.4A CN113160318B (zh) 2021-04-30 2021-04-30 基于单目相机的空中加油锥套位姿测量方法

Publications (2)

Publication Number Publication Date
CN113160318A true CN113160318A (zh) 2021-07-23
CN113160318B CN113160318B (zh) 2022-12-09

Family

ID=76873131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484591.4A Active CN113160318B (zh) 2021-04-30 2021-04-30 基于单目相机的空中加油锥套位姿测量方法

Country Status (1)

Country Link
CN (1) CN113160318B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法
CN112164117A (zh) * 2020-09-30 2021-01-01 武汉科技大学 一种基于Kinect相机的V-SLAM位姿估算方法
CN112308916A (zh) * 2020-09-21 2021-02-02 广东电网有限责任公司广州供电局 一种基于图像靶标的目标位姿识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法
CN112308916A (zh) * 2020-09-21 2021-02-02 广东电网有限责任公司广州供电局 一种基于图像靶标的目标位姿识别方法
CN112164117A (zh) * 2020-09-30 2021-01-01 武汉科技大学 一种基于Kinect相机的V-SLAM位姿估算方法

Also Published As

Publication number Publication date
CN113160318B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111311689B (zh) 一种激光雷达与相机相对外参的标定方法及系统
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN108510530B (zh) 一种三维点云匹配方法及其系统
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN105654507B (zh) 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN107063261B (zh) 用于无人机精准着陆的多特征信息地标检测方法
CN114897864B (zh) 基于数模信息的工件检测及缺陷判断方法
CN113146073B (zh) 基于视觉的激光切割方法及装置、电子设备、存储介质
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN112308916A (zh) 一种基于图像靶标的目标位姿识别方法
CN107886541B (zh) 基于反向投影法的单目运动目标位姿实时测量方法
CN112184765A (zh) 一种基于视觉的水下航行器自主跟踪方法
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN114580559A (zh) 一种基于单目视觉系统的测速方法
CN110793529B (zh) 一种快速匹配星图识别方法
CN106251337A (zh) 一种空中加油锥套空间定位方法及系统
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation
CN107389072B (zh) 一种小天体表面导航特征区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant