CN108122256B - 一种逼近状态下旋转目标位姿测量的方法 - Google Patents
一种逼近状态下旋转目标位姿测量的方法 Download PDFInfo
- Publication number
- CN108122256B CN108122256B CN201711422475.XA CN201711422475A CN108122256B CN 108122256 B CN108122256 B CN 108122256B CN 201711422475 A CN201711422475 A CN 201711422475A CN 108122256 B CN108122256 B CN 108122256B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- feature
- pose
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013459 approach Methods 0.000 title claims description 9
- 238000005259 measurement Methods 0.000 title description 17
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 230000010339 dilation Effects 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000003628 erosive effect Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000005096 rolling process Methods 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001212149 Cathetus Species 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种逼近状态下旋转目标位姿测量的方法，根据目标已知的模型数据和对其拍摄的目标图像序列，构造目标的三维特征库；对输入起始帧图像去噪、增强，通过图像腐蚀膨胀运算进行目标定位和轮廓提取；从输入图像序列的第2帧开始，提取目标的圆环特征与角点特征，并实现二维图像角点特征与目标模型的三维特征匹配；利用交比不变性插值获得更多的特征点位置；利用圆环特征与角点特征解算目标的位姿参数，并进行参数优化。本发明通过目标的定位，减少图像中待处理区域面积，提高计算效率。通过圆环特征、轮廓与角点特征的结合使用，以及利用交比不变性插值获得更多的特征点这一方案，保证位姿参数的解算精度。
Description
技术领域
本发明涉及一种逼近状态下旋转目标位姿测量的方法，解决安装有圆环结构，且表面纹理特征贫乏的旋转目标，在逼近过程中，解算其位姿量的问题，属于应用计算机视觉技术领域。
背景技术
对旋转目标在逼近过程中进行位姿量测量，可为后续对该目标的操控任务的顺利实施提供位姿信息支持。在某些特定环境下，例如空间环境，受测量设备能耗等因素的限制，对于旋转目标的测量多采用视觉方法。视觉测量方法根据是否使用被测物体的模型可以分为非基于模型的测量方法和基于模型的测量方法。
非基于模型的测量法方不使用任何被测目标的先验信息，位姿估计误差较大，算法具有挑战性。M.Priggemeyer等通过提取图像中目标的SURF特征后进行目标的运动估计，之后通过滤波器组提高估计的准确性得到结果，该方法无需使用任何目标的几何结构先验信息，但对于表面分布重复性纹理的目标，特征匹配鲁棒性不高，直接导致目标位姿解算的错误。而对于表面纹理欠丰富的目标，匹配的特征点数目不足，导致结算参数误差过大。哈尔滨工业大学王志超等人提出了一种基于特征融合的目标位姿解算算法，利用双目立体视觉原理，通过识别目标模型上的矩形特征和椭圆特征，提取特征点并进行三维重建，利用特征点的三维坐标进行位姿求解，同时结合卡尔曼滤波和PLK (Pyramidal implementationof the Lucas Kanade)光流法进行目标的动态追踪，将位姿量测量与目标追踪结合，获得较好的实时性。该方法中，目标特征的三维信息求解是其中的关键，而三维信息的准确度依赖于图像间特征的匹配正确度。鉴于图像间特征点的高准确度匹配始终是计算机视觉的难点问题，因此该方法的鲁棒性不足，适应环境能力有限。
基于模型的测量方法一般需要被测物体的模型或先验知识。A.Cropp等人使用单个已知内部参数的摄像机，提取图像中的直线，与模型匹配，通过图像上的直线的法向量与相机坐标系下直线和摄像机光心所构成平面的正交关系，将求解相对位置关系的问题转化为一个非线性最小二乘问题，进而使用优化算法求解三轴稳定目标的相对位姿量。然而，以图像的边缘检测结果为基础所拟合的直线，在法线方向的计算误差往往较大。同时，图像中直线特征的可区分性较差，增加三维模型特征与二维图像特征之间的正确匹配难度。因此，从上述研究工作来看，若已知目标的模型信息，利用二维图像与目标模型间的匹配关系，求解目标位姿参数的方法较为准确，但其中对于二维图像特征与目标模型的匹配关系的确定，以及针对表面纹理特征匮乏的目标的有效特征点获取，都是该技术需要解决的问题。
发明内容
本发明的技术解决问题：克服现有技术的不足，提供一种逼近状态下旋转目标位姿测量的方法，针对在逼近的状态下的表面具有圆环结构的旋转目标，利用计算机视觉方法，计算目标相对的位置和姿态参数，保证了位姿参数的解算精度。
本发明提供的逼近状态下旋转目标位姿测量的方法，由拍摄得到的旋转目标在逼近状态下的序列图像出发，通过圆环特征、轮廓特征与点特征的提取，利用二维图像特征与三维模型数据的特征的匹配关系，求解并优化旋转目标的相对位姿参数，具体方法步骤如下：
步骤一：根据目标已知的模型数据，例如CAD图纸，和拍摄的高清目标图像序列，构造目标的三维特征库。
步骤二：输入起始帧图像，对图像滤波去除噪声，通过图像腐蚀膨胀运算，进行目标定位和目标轮廓提取。
步骤三：基于步骤一中构造的三维特征库，从输入图像序列的第2帧开始，从目标轮廓包围的内部区域提取目标图像的椭圆特征与角点特征，确定图像中角点特征与目标的角点的对应关系，实现图像中角点特征与三维特征库中的目标的角点匹配。
步骤四：基于交比不变插值获得更多的特征点，为步骤五中的位姿参数优化提供数据支持。
步骤五：利用目标图像的椭圆特征与图像中角点特征解算目标的初始位姿参数，并进行位姿参数优化。
本发明的优点在于：
(1)通过目标的三维特征库的建立，在已知的目标三维模型数据中添加局部图像纹理信息，可准确的实现输入图像中角点特征与目标的角点匹配。
(2)通过目标定位，保证后续所提取目标图像的椭圆特征和角点特征均位于目标上，减少背景因素的干扰，同时减小图像中待处理区域面积，提高计算效率。
(3)通过目标图像的椭圆特征、目标轮廓与角点特征的结合使用，提高特征检测的鲁棒性。
(4)通过基于交比不变插值获得更多的特征点，改善由于目标纹理匮乏引起的特征点提取不足的问题，可保证优化后目标的位姿量精度。
总之，本发明通过目标的三维特征库的建立，可准确的实现输入图像中角点特征与目标的角点匹配，为后续初始位姿参数的求解提供正确的输入信息。同时，通过目标定位，减少图像中待处理区域面积，提高计算效率。通过目标图像的椭圆特征、目标轮廓与角点特征的结合使用，以及利用交比不变性插值获得更多的特征点这一方案，保证优化后目标的位姿量的解算精度。
附图说明
图1为本发明提供的逼近状态下旋转目标位姿测量的方法流程图；
图2为应用本发明提供的方法得到的目标沿z轴方向移动测量结果；
图3为应用本发明提供的方法得到的目标沿y轴方向移动测量结果；
图4为应用本发明提供的方法得到的目标沿x轴方向移动测量结果；
图5为应用本发明提供的方法得到的目标沿绕z轴转动测量结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图和实施例对本发明的具体实施方式作进一步描述。
本发明是在C语言环境下实现的。首先根据目标已知模型，结合图像信息构造目标的三维特征库，然后将输入的逼近状态下的旋转目标图像序列进行去噪和增强，并进行目标定位，结合目标定位的范围提取目标图像的椭圆特征、目标轮廓与角点特征并与三维特征库中的目标的角点匹配。最后通过图像与目标的特征匹配关系解算目标的初始位姿参数，并进行目标的位姿量优化。
如图1所示，本发明一种逼近状态下旋转目标位姿测量的方法流程包括以下步骤：
步骤一，根据目标已知的模型数据和对其拍摄的目标图像序列，构造目标的三维特征库：
为了实现图像中角点特征与目标的角点匹配，需要建立目标的三维特征库，即，包含图像灰度、纹理信息的三维点集合。
(1)首先需要对在目标的已知CAD模型上定位一系列三维角点。这些三维角点均为目标轮廓顶点、目标表面具有明显几何结构的顶点。
(2)并对待测目标拍摄高质量图像序列，图像序列的拍摄视角间隔为15°至20°。在所拍摄的图像序列中提取每幅图像的ORB(Oriented FAST and Rotated BRIEF)特征，并人工将上一步骤中模型上定位的三维角点与图像中的特征点进行匹配，将图像序列中图像特征点的 ORB特征描述子对应于目标模型三维角点，使得模型三维角点得到图像的纹理和灰度信息，从而建立目标的三维特征库。通过此步骤，目标三维模型上的角点不仅具有位置信息，也获得了图像上的ORB特征。为步骤三中图像中角点特征与三维特征库中的目标的角点匹配提供了匹配依据。
步骤二、输入起始帧图像，对图像滤波去除噪声，通过图像腐蚀膨胀运算，进行目标定位和目标轮廓提取：
为了提高检测速度、提高位姿解算效率，同时尽量减少背景环境对目标特征提取的影响，在系统输入的起始帧，将首先进行目标定位和目标轮廓提取。
(1)利用高斯滤波与直方图均衡，去除输入图像噪声，增强图像对比度。
在目标的成像过程中，受光照条件所限，获取图像的对比度较差，目标图像细节不明显，增大后续工作中特征提取的难度。为此，在特征提取之前，需要对图像进行去噪、增强处理。
图像增强旨在将原来不清晰的图像变得清晰、或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，从而加强图像判读和识别效果。直方图均衡化根据图像的直方图分布信息进行灰度调整,使得调整后的图像直方图趋于均匀,增大图像灰度级的动态范围,达到增强图像的整体对比度和清晰度的目的。
(2)根据前景目标与背景成像的平均灰度强弱差别较大这一特点，首先采用阈值可自动调整的大津阈值分割方法，在图像中分割出目标大致范围。
大津阈值分割通过最大化类间方差求得阈值，进行图像的阈值分割。阈值分割之后的图像中，像素值大于阈值的区域将作为待检测目标区域，标记为“1”。其余部分作为背景区域，标记为“0”。待检测目标区域即为目标大致范围。从而得到一幅标记出目标大致范围的二值图。
(3)利用形态学开、闭运算，获得目标的备选区域，即前景目标区域。
利用大津阈值分割图像后，背景区域往往会存在一些噪声，同时待检测目标区域内部也常存在一些灰度值低于阈值的区域被标记错误。因此还需要采用形态学开运算以消除背景中的小块噪声，并同时平滑目标边界，随后进行形态学闭运算，以消除目标区域内的细小空洞，由此可以得到若干平滑连续的目标的备选区域，即，前景目标区域。
(4)在获得的前景目标区域范围内，确定最终目标所在的区域，实现对目标定位。
对于检测得到的前景目标区域，计算坐标轴x方向(即，水平方向)坐标的最小值与最大值xmin与xmax，同时也可以计算坐标轴y方向(即，竖直方向)坐标的最小值ymin与最大值ymax。根据这(xmin，xmax，ymin，ymax)对前景区域稍作扩大调整，保证目标完全被包含在前景区域中。例如，当拍摄图像的分辨率为1000ⅹ1000像素时，采用点 (xmin-10,ymin-10)，(xmin-10,ymax+10)，(xmax+10,ymax+10)和(xmax+10,ymin-10)四个点围成的矩形区域Γ可以满足目标完全被包含在前景区域中这一条件。矩形区域Γ即为目标所在的区域，获得矩形区域，即完成了目标定位。
(5)在目标所在的区域中，通过Sobel算子提取图像边缘，找出最长的边缘，即目标轮廓，完成对目标轮廓的提取
然后在目标所在的区域中，即，矩形区域Γ中，采用Sobel算子进行边缘检测，并利用Hough变换的方法检测直线，并结合边缘信息得到直线段。根据目标轮廓的几何位置必然位于矩形区域Γ的外围区域，因此选择线段较长，且位于Γ外围区域的4条直线段作为目标轮廓。在起始帧获得的目标轮廓，也为下一帧图像中目标轮廓的提取提供先验位置信息。
步骤三、基于步骤一中构造的三维特征库，从输入图像序列的第2帧开始，从目标轮廓包围的内部区域提取目标图像的椭圆特征与角点特征，确定图像中角点特征与目标的角点的对应关系，实现图像中角点特征与三维特征库中的目标的角点匹配：
考虑到目标上安装的圆环结构，经过摄相机模型投影在图像平面后，在图像上表现为椭圆特征。因此，在获得目标轮廓后，在目标轮廓包围的区域内使用Canny边缘检测算子，提取目标上的椭圆特征。由于在图像中使用Canny边缘检测算子获得大量边缘信息，但是考虑到椭圆特征应该由连续的长边缘构成，因此取边缘中长度较长的20％的边缘，作为椭圆特征的搜索范围，并计算这些边缘与目标轮廓包围的区域中心的平均距离。并认为距离区域中心最近的长边缘即为需要检测的椭圆特征。获得构成椭圆特征的边缘后，利用各边缘的位置信息拟合椭圆，计算椭圆参数，得到的椭圆参数将用于目标的初始位姿解算。
在图像中，用图像ORB特征来描述图像中角点特征。因此，在目标轮廓包围的区域检图像ORB特征，检测到的图像ORB特征将与目标的角点的ORB特征进行匹配，以求解目标的初始位姿参数。ORB生成的特征描述子为二进制码串形式，因此可采用 Hamming距离的计算来实现特征的匹配，同时也提高计算效率。在一个码组集合中，任意两个码字之间对应位上码元取值不同的位的数目定义为这两个码字之间的 Hamming距离。即，
其中，这里是两组n位的编码，i＝0,1…,n-1，表示编码的码元；⊕表示异或计算；表示两组编码的Hamming距离。通过计算图像ORB特征与目标的角点的ORB 特征的的最小值，就可以实现图像中角点特征与三维特征库中的目标的角点匹配。
步骤四、基于交比不变插值获得更多的特征点，为步骤五中的位姿参数优化提供数据支持；
(1)利用步骤二得到的目标轮廓，计算目标的4个顶点及目标中心点
通过步骤二得到了目标上的4条直线段作为目标轮廓，将4条直线段延长为直线，可计算出4个轮廓直线的交点，即得到目标的4个顶点。当精确定位4个顶点之后，通过选择目标的4个顶点中对角的2个顶点连线，得到2条对角线的交点，即获得了目标中心点。
(2)利用目标的4个顶点中对角的2个顶点连线，选取不同比例因子，在顶点连线上进行插值，得到更多的特征点，插值依据是交比不变原理。
在目标的4个顶点中对角的2个顶点连线上，利用交比不变原理，插值得到一系列特征点，便于后续对目标位姿结算结果进行优化。
假设一条直线上有A*、B*、C*、D*4个点，其交CR比定义为：
其中,A*C*、B*C*、A*D*、B*D*均表示空间点A*、B*、C*、D*间的距离。由摄影几何原理可知，交比具有摄影变换不变性，即空间中一条直线上的4个点投影到图像上，其交比不发生变化。假设已知目标模型的对角线上4个点的坐标，同时可以得到其中3 个点在图像上的对应位置，就可将另外1个点在图像上的位置计算出来。
具体地，记A*、B*、C*、D*分别为目标的2个对角的顶点、目标中心点和一个待插值点，因此根据式(2)计算其交比。记A*、B*、C*、D*在图像上的投影点位置分别为a*、b*、c*、d*。其中，a*和b*通过计算目标轮廓的交点得到，c*通过计算对角线的交点得到，d*的坐标需要根据交比不变原理插值得到。根据交比不变原理有，
因此有，
式(3)、(4)中，A*C*、B*C*、A*D*、B*D*均表示目标的顶点A*、B*、C*、D*间的距离，a*c*、b*c*、a*d*、b*d*均表示目标的顶点在图像中的投影点间的距离。式(4) 的右侧各点皆为已知量，因此a*d*/b*d*已知，且a*和b*已知，则d*点的位置坐标可计算得到。利用上述方法，即可利用交比不变插值获得更多的特征点。同时，也可利用交比不变性，找到特征点所对应的目标空间点位置。
步骤五、利用目标图像的椭圆特征与图像中角点特征解算目标的初始位姿参数，并进行位姿参数优化。
(1)利用目标图像的椭圆特征，计算椭圆参数，解算目标相对位置
首先定义世界坐标系和相机坐标系。O1为相机坐标系的原点，即相机光心。O2为目标上安装的圆环结构的中心，定义为世界坐标系的原点。设世界坐标系与相机坐标系的 x轴方向相同，y轴和z轴方向相反。所谓目标相对位置测量，就是求解相机坐标系与世界坐标系的平移转换关系。
利用给定目标上安装的圆环结构的半径(即，三维空间目标圆环的半径)、圆环在图像上的投影(圆环在图像上的投影为一椭圆)、和相机内参矩阵，计算椭圆参数，再进一步计算在相机坐标系下，圆环法向量和圆心坐标值(圆环的圆心坐标值即目标相对位置)的两组可能解。
在三维空间中，目标上安装的圆环结构成像后在二维图像平面表现为椭圆特征。图像平面上椭圆的一般方程可以表示为
u2+Auv+Bv2+Cu+Dv+E＝0 (5)
其中(u,v)为椭圆上像素点的坐标，A,B,C,D,E为椭圆参数。在图像中检测椭圆时需获得n(n＞＞5)个位于椭圆上的像素点，并将这些点拟合为椭圆，即可获得A,B,C,D,E这5个椭圆参数。将式(5)写成矩阵的形式，
令
同时根据相机的成像模型有：
其中，K代表相机的内参矩阵，是(u,v)对应的目标圆环在相机坐标系下的三维位置坐标值，w是任意不为零常数。将式(6)、(7)带入式(8)得
式(9)即为相机光心与三维空间目标圆环构成的椭圆锥方程。三维空间目标圆环在图像平面上的投影则为椭圆锥的一个横截面。
假设存在实对称阵Q，令：
Q＝KTgK (10)
则必然存在正交矩阵P，可将Q对角化，即：
PTQP＝diag(λ1,λ2,λ3) (11)
式中，λ1,λ2,λ3为Q的特征值。
记三维空间目标圆环的半径为r，则该圆环在相机坐标系下的圆心和法向量分别为：
式(12)和(13)分别表示目标上安装的圆环的圆心和法向量的两组可能解:一组解为(X1,n1)，其中X1表示圆心位置，n1表示法向量；另一组解为(X2,n2)，其中X2表示圆心位置，n2表示法向量。上述两组解中一个是虚假解，另一个是正确解。圆环的圆心坐标值即目标相对位置，记为T＝[tx,ty,tz]T。
(2)利用图像中角点特征解算目标姿态
三维模型库中目标的角点坐标值与图像中角点特征坐标值的透视投影关系为：
其中，K为相机内参矩阵，R和t分别对应于相机的外部参数的旋转矩阵和平移向量，和分别为图像中角点特征坐标值和对应的三维模型库中目标的角点坐标值。其中和是图像中角点特征的两个分量。其中是三维模型库中目标的角点坐标值的三个分量。s为非零的尺度因子。
假设目标安装有圆环结构的一面位于世界坐标系O2-xyz的坐标轴xy平面上，即坐标轴z方向的分量为零，即记旋转矩阵R的第i列为ri(i＝1,2,3)，由式(14) 得，
则坐标轴xy平面上的点与对应图像点之间存在一个矩阵变换H，即单应矩阵，
通过一组对应点坐标值和可以求解出单应矩阵H，并结合已知的相机内参矩阵K，可通过式(17)～(21)求解相机的外部参数R和t。
r1＝λK-1h1 (17)
r2＝λK-1h2 (18)
r3＝r1×r2 (19)
t＝λK-1h3 (20)
λ＝1/||K-1h1||＝1/||K-1h2|| (21)
其中，h1、h2、h3分别为H的第1、2、3列。由此便可以求解得到R和t。旋转矩阵R即为利用图像中角点特征解算得到的目标姿态。
(3)利用图像中角点特征解算的目标姿态，消除解算目标相对位置的二义性，得到目标的初始位姿参数
假设未旋转前，目标上安装的圆环结构的圆心在世界坐标系下的法向量为 n0＝[0 0 -1]T，当目标旋转后，该圆心在世界坐标系下的法向量为：
n′＝Rn0 (22)
其中，旋转矩阵R为利用图像中角点特征解算得到的目标姿态。假设由目标图像的椭圆特征的椭圆参数计算得到的两组可能解中的法向量，分别为n1与n2。分别计算n1和 n′的夹角、与n2和n′的夹角，在得到的2个夹角中选择夹角最小的对应的法向量n作为正确的法向量，即
正确的法向量所对应的圆心位置即为正确圆心位置，正确圆心位置即目标相对位置，由此消除解算目标相对位置的二义性，得到目标的初始位姿参数。
(4)基于重投影误差的位姿参数优化，得到在当前时刻准确的目标位姿量
由利用图像中角点特征解算得到的目标姿态，即，旋转矩阵R，可以换算出与R相对应的目标位姿角，即，目标的俯仰角、偏航角、滚转角。令θ、ψ、分别表示目标的俯仰角、偏航角、滚转角(单位为弧度)。另T＝[tx,ty,tz]T为利用目标图像的椭圆特征且消除二义性得到的目标相对位置。定义待优化的位姿量为Λ,
记Θ为相机的透视投影变换，该变换将世界坐标系下的三维点映射为图像上以像素为单位的像素点。图像中角点特征与三维特征库中的目标的角点匹配也可利用交比不变性，找到特征点所对应的目标空间点位置。
在世界坐标系下，记为三维特征库中的目标的角点及利用交比不变性计算得到的目标空间点集合，对应的图像中角点特征与利用交比不变性获得的更多的特征点在图像中的坐标为假设，构造重投影误差为目标函数，令重投影误差的目标函数为Ereprojection。通过求解Ereprojection的最小值，可优化目标的位姿量为Λ，即：
其中，表示三维特征库中的目标的角点及利用交比不变性计算得到的目标空间点坐标，表示对应的图像中角点特征与利用交比不变性获得的更多的特征点在图像中的坐标，np表示匹配点个数。式(25)为非线性最小二乘问题，本发明采用 Levenberg-Marquardt方法进行求解。通过以上方法，即可实现对目标的初始位姿参数的优化，从而得到在当前时刻准确的目标位姿量。
如图2所示，当目标沿z轴方向移动时，应用本发明测量方法，统计60次测量实验，仅有个别位置得到坏点，误差较大，证明了本发明算法的稳定性；
图3所示，当目标沿y轴方向移动时，应用本发明测量方法，统计19次测量实验，测量误差小于0.25m；
如图4所示，当目标沿x轴方向移动时，应用本发明测量方法，统计12次测量实验，测量误差小于0.25m；
如图5所示，当目标沿绕z轴转动时，应用本发明测量方法，在距离目标10m～0.2m螺旋逼近阶段，统计15次测量结果，测量误差小于0.55°。
总之，本发明通过目标的三维数征库的建立，可准确的实现图像中角点特征与三维特征库中的目标的角点匹配，为后续目标的初始位姿参数的求解提供正确的输入信息。同时，通过目标定位，减少图像中待处理区域面积，提高计算效率。通过目标图像的椭圆特征、目标轮廓与图像中角点特征的结合使用，以及利用交比不变性插值获得更多的特征点这一方案，保证目标的准确位姿量的解算精度。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (4)
1.一种逼近状态下旋转目标位姿测量方法，其特征在于包括以下步骤：
步骤一：根据目标已知的模型数据，构造目标的三维特征库；
步骤二：在测量设备逼近旋转目标的过程中，对旋转目标采集图像，输入起始帧图像，对起始帧图像滤波去除噪声，并进行阈值分割，得到目标在图像中的大致位置，通过图像腐蚀膨胀运算，进行目标定位，在实现目标定位的基础上，消除背景的干扰因素，在目标所处的区域提取目标轮廓；
步骤三：基于步骤一中构造的三维特征库，从输入图像序列的第2帧开始，从目标轮廓包围的内部区域提取目标图像的椭圆特征与角点特征，确定图像中角点特征与目标的角点的对应关系，实现图像中角点特征与三维特征库中的目标的角点匹配；
步骤四：基于交比不变插值获得更多的特征点，为步骤五中的位姿参数优化提供数据支持；
步骤五：利用目标图像的椭圆特征解算目标相对位置，利用图像中角点特征解算目标姿态，并通过利用图像中角点特征解算的目标姿态，消除解算目标相对位置的二义性，得到初始位姿参数；以初始位姿参数为初值，结合步骤三中图像中角点特征与步骤四中插值得到的特征点，构造重投影误差为目标函数，对目标的初始位姿参数进行位姿参数优化，最终得到当前准确的目标位姿量；
所述步骤四具体包括：
(1)利用步骤二得到的目标轮廓，计算目标的4个顶点及目标中心点；
(2)利用目标的4个顶点中对角的2个顶点连线，选取不同比例因子，在顶点连线上进行插值，得到更多的特征点，插值依据是交比不变原理。
2.根据权利要求1所述的一种逼近状态下旋转目标位姿测量的方法，其特征在于：步骤一的具体实现方法包括：
(1)首先需要在目标的已知CAD模型上定位一系列三维角点；
(2)对待测目标拍摄高质量图像序列，将图像特征点的ORB特征描述子对应于目标模型三维角点，使得模型三维角点得到图像的纹理和灰度信息，从而建立目标的三维特征库。
3.根据权利要求1所述的一种逼近状态下旋转目标位姿测量的方法，其特征在于：所述步骤二具体包括，
(1)利用高斯滤波与直方图均衡，去除输入图像噪声，增强图像对比度；
(2)采用阈值可自动调整的大津阈值分割方法，在增强对比度后的图像中分割出目标大致范围；
(3)利用形态腐蚀膨胀运算，在得到的目标大致范围的基础上，获得目标的备选区域作为前景目标区域；
(4)在获得的前景目标区域范围内，确定最终目标所在的区域，实现对目标定位；
(5)在目标所在的区域中，通过Sobel算子提取图像边缘，找出最长的边缘，即目标轮廓，完成对目标轮廓的提取。
4.根据权利要求1所述的一种逼近状态下旋转目标位姿测量的方法，其特征在于：所述步骤五具体包括：
(1)利用目标图像的椭圆特征，计算椭圆参数解算目标相对位置；
(2)利用图像中角点特征解算目标姿态；
(3)利用图像中角点特征解算的目标姿态，消除解算目标相对位置的二义性，得到目标的初始位姿参数，具体为，假设未旋转前，目标上安装的圆环结构的圆心在世界坐标系下的法向量为n0＝[0 0 -1]T，当目标旋转后，该圆心在世界坐标系下的法向量为：
n′＝Rn0 (1)
其中，旋转矩阵R为利用图像中角点特征解算得到的目标姿态，假设由目标图像的椭圆特征的椭圆参数计算得到的两组可能解中的法向量，分别为n1与n2，分别计算n1和n′的夹角与n2和n′的夹角，在得到的2个夹角中选择夹角最小的对应的法向量n作为正确的法向量，即：
正确的法向量所对应的圆心位置即为正确圆心位置，正确圆心位置即目标相对位置，由此消除解算目标相对位置的二义性，得到目标的初始位姿参数；
(4)基于重投影误差的位姿参数优化，得到在当前时刻准确的目标位姿量，具体为，获得以步骤三得到的图像中角点特征与步骤四中插值得到的特征点，构造重投影误差为目标函数，以目标的初始位姿参数为初值，采用Levenberg-Marquardt算法，对目标的初始位姿参数进行优化，从而得到在当前时刻准确的目标位姿量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422475.XA CN108122256B (zh) | 2017-12-25 | 2017-12-25 | 一种逼近状态下旋转目标位姿测量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422475.XA CN108122256B (zh) | 2017-12-25 | 2017-12-25 | 一种逼近状态下旋转目标位姿测量的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122256A CN108122256A (zh) | 2018-06-05 |
| CN108122256B true CN108122256B (zh) | 2018-10-12 |
Family
ID=62231440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711422475.XA Active CN108122256B (zh) | 2017-12-25 | 2017-12-25 | 一种逼近状态下旋转目标位姿测量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122256B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969661B (zh) * | 2018-09-30 | 2023-11-17 | 上海微电子装备（集团）股份有限公司 | 图像处理装置及方法、位置标定系统及方法 |
| CN109600599A (zh) * | 2018-10-29 | 2019-04-09 | 上海神添实业有限公司 | 一种快速定位目标的立体视觉处理装置及其处理方法 |
| CN109712172A (zh) * | 2018-12-28 | 2019-05-03 | 哈尔滨工业大学 | 一种初始位姿测量结合目标追踪的位姿测量方法 |
| CN109872363A (zh) * | 2019-01-21 | 2019-06-11 | 杭州鸿泉物联网技术股份有限公司 | 搅拌罐状态监控方法及装置 |
| CN110111388B (zh) * | 2019-05-10 | 2021-03-23 | 北京航空航天大学 | 三维物体位姿参数估计方法及视觉设备 |
| CN110706289B (zh) * | 2019-10-24 | 2022-09-30 | 中国科学技术大学 | 姿态测量方法及装置 |
| CN110910350B (zh) * | 2019-10-30 | 2022-06-14 | 同济大学 | 一种用于风电塔筒的螺母松动检测方法 |
| CN112800806B (zh) * | 2019-11-13 | 2023-10-13 | 深圳市优必选科技股份有限公司 | 物体位姿检测追踪方法、装置、电子设备及存储介质 |
| CN111275697B (zh) * | 2020-02-10 | 2022-04-22 | 西安交通大学 | 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法 |
| CN113099109A (zh) * | 2021-03-23 | 2021-07-09 | 南昌欧菲光电技术有限公司 | 抓拍控制装置及方法、摄像设备和计算机可读存储介质 |
| CN113793251A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备和可读存储介质 |
| CN114359522A (zh) * | 2021-12-23 | 2022-04-15 | 阿依瓦（北京）技术有限公司 | Ar模型放置方法及装置 |
| CN116524011B (zh) * | 2023-04-26 | 2024-04-30 | 北京航空航天大学 | 一种居家环境下机器人对目标位姿的精化方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7423666B2 (en) * | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
| CN104240233A (zh) * | 2014-08-19 | 2014-12-24 | 长春理工大学 | 一种摄像机单应性矩阵和投影机单应性矩阵的求解方法 |
-
2017
- 2017-12-25 CN CN201711422475.XA patent/CN108122256B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122256A (zh) | 2018-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
| Zhang et al. | A robust, real-time ellipse detector | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN107679537B (zh) | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 | |
| CN103839277B (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| Rodehorst et al. | Comparison and evaluation of feature point detectors | |
| CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
| CN107909059A (zh) | 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN102024156A (zh) | 彩色人脸图像中的唇部区域定位方法 | |
| CN106897982B (zh) | 基于图像无标记识别的现实增强方法 | |
| CN106952312A (zh) | 一种基于线特征描述的无标识增强现实注册方法 | |
| Bhattacharya et al. | Invariance of stereo images via the theory of complex moments | |
| Fan et al. | Convex hull aided registration method (CHARM) | |
| Lv et al. | Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features | |
| Wang et al. | Hand posture recognition from disparity cost map | |
| Yin et al. | Virtual reconstruction method of regional 3D image based on visual transmission effect | |
| CN105574860A (zh) | 一种舵片偏转极性识别方法 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 | |
| CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
| Huang et al. | Infrared small target detection with directional difference of Gaussian filter | |
| Cheng et al. | An augmented reality image registration method based on improved ORB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |