CN114596355B - 一种基于合作目标的高精度位姿测量方法及系统 - Google Patents

一种基于合作目标的高精度位姿测量方法及系统 Download PDF

Info

Publication number
CN114596355B
CN114596355B CN202210258896.8A CN202210258896A CN114596355B CN 114596355 B CN114596355 B CN 114596355B CN 202210258896 A CN202210258896 A CN 202210258896A CN 114596355 B CN114596355 B CN 114596355B
Authority
CN
China
Prior art keywords
target
cooperative
image
circle
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210258896.8A
Other languages
English (en)
Other versions
CN114596355A (zh
Inventor
朱兵
侯成宇
李冬冬
李珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210258896.8A priority Critical patent/CN114596355B/zh
Publication of CN114596355A publication Critical patent/CN114596355A/zh
Application granted granted Critical
Publication of CN114596355B publication Critical patent/CN114596355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于合作目标的高精度位姿测量方法及系统，涉及位姿测量领域。通过获取目标组合图像；对目标组合图像进行匹配识别；根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取；对各个目标ROI区域分别进行椭圆拟合；根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。克服了成像椭圆中心跟目标圆心成像存在偏移的问题，采用了融合目标圆法线特征的位姿测量算法，优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。

Description

一种基于合作目标的高精度位姿测量方法及系统
技术领域
本发明涉及位姿测量领域，具体而言，涉及一种基于合作目标的高精度位姿测量方法及系统。
背景技术
高精度位姿测量需要精确确定合作目标反射器成像位置和实际目标空间位置的对应关系。现有技术常用定位算法中一般情况下以圆形目标的圆心来代表目标的空间位置，以圆形目标所成图像的中心(由质心或者形心来计算得到)建立2D和3D的对应。但是，实际上圆形标志的成像存在透视偏心的效果，只有目标圆面与摄像机成像面平行时，圆形目标所成图像中心才对应目标圆心，其它情况下存在成像椭圆中心跟目标圆心成像存在偏移，这就会导致测量结果不准确。
发明内容
本发明的目的在于提供一种基于合作目标的高精度位姿测量方法及系统，用以改善现有技术中成像椭圆中心跟目标圆心成像存在偏移，这就会导致测量结果不准确的问题。
第一方面，本申请实施例提供一种基于合作目标的高精度位姿测量方法，包括以下步骤：
获取目标组合图像；
对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；
根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；
对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；
根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；
根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；
根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。
上述实现过程中，通过获取目标组合图像；然后对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；然后根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；然后对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；然后根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；然后根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；最后根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。通过计算目标圆心位置和目标圆法线，然后根据合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，使得到的目标成像定位坐标是考虑了偏心距后的目标成像定位，克服了成像椭圆中心跟目标圆心成像存在偏移的问题，同时在计算相对位姿时采用了融合目标圆法线特征的位姿测量算法，进一步优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。
基于第一方面，在本发明的一些实施例中，获取目标组合图像的步骤包括以下步骤：
选择并将多个目标反射器按照预置的合作目标布局规则在待测目标上进行布局，以建立合作目标标志器模型；
采用两种波长激光照射合作目标标志器模型，并通过成像设备同步采集得到第一目标图像和第二目标图像；
将第一目标图像和第二目标图像进行预处理，得到目标组合图像。
基于第一方面，在本发明的一些实施例中，将第一目标图像和第二目标图像进行预处理，得到目标组合图像的步骤包括以下步骤：
将第一目标图像和第二目标图像进行相减，生成初始目标组合图像；
将初始目标组合图像进行图像矫正，得到目标组合图像。
基于第一方面，在本发明的一些实施例中，根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线的步骤包括以下步骤：
获取成像设备参数信息；
根据成像设备参数信息和各个合作目标椭圆曲线确定各个合作目标的投影方程；
根据各个合作目标的投影方程计算得到对应的目标圆心位置和目标圆法线。
基于第一方面，在本发明的一些实施例中，投影方程的表达式为：
I-kK-1Q*K-T＝U diag{λ1 λ2 0}UT，其中U为3×3正交矩阵，λ1≥λ2，K为成像设备参数信息中的内参矩阵，Q*为合作目标椭圆曲线Q的对偶曲线Q*＝Q-1，对二次曲线方程：Ax2+Bxy+Cy2+Dx+Ey+F＝0，Q为
基于第一方面，在本发明的一些实施例中，根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标的步骤包括以下步骤：
将目标圆心位置进行投影并根据各个合作目标椭圆曲线和目标圆法线按照预置的向量公式计算得到向量M；
根据目标圆心位置和向量M计算得到各个目标成像定位坐标。
基于第一方面，在本发明的一些实施例中，向量公式为：
m＝KQ-1Kr3，其中，K为相机内参矩阵，Q为合作目标椭圆曲线，r3为目标圆法线。
基于第一方面，在本发明的一些实施例中，根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息的步骤包括以下步骤：
采用EPnP算法计算得到初始位姿信息；
根据各个目标成像定位坐标和各个目标圆法线对初始位姿信息进行优化，得到相对位姿信息。
第二方面，本申请实施例提供一种基于合作目标的高精度位姿测量系统，包括：
目标组合图像获取模块，用于获取目标组合图像；
匹配识别模块，用于对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；
ROI提取模块，用于根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；
椭圆拟合模块，用于对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；
第一计算模块，用于根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；
第二计算模块，用于根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；
位姿计算模块，用于根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。
上述实现过程中，通过目标组合图像获取模块获取目标组合图像；然后匹配识别模块对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；然后ROI提取模块根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；然后椭圆拟合模块对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；然后第一计算模块根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；然后第二计算模块根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；最后位姿计算模块根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。通过计算目标圆心位置和目标圆法线，然后根据合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，使得到的目标成像定位坐标是考虑了偏心距后的目标成像定位，克服了成像椭圆中心跟目标圆心成像存在偏移的问题，同时在计算相对位姿时采用了融合目标圆法线特征的位姿测量算法，进一步优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种基于合作目标的高精度位姿测量方法及系统，通过获取目标组合图像；然后对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；然后根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；然后对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；然后根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；然后根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；最后根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。通过计算目标圆心位置和目标圆法线，然后根据合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，使得到的目标成像定位坐标是考虑了偏心距后的目标成像定位，克服了成像椭圆中心跟目标圆心成像存在偏移的问题，同时在计算相对位姿时采用了融合目标圆法线特征的位姿测量算法，进一步优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于合作目标的高精度位姿测量方法流程图；
图2为本发明实施例提供的合作目标布局示意图；
图3为本发明实施例提供的目标特征点识别规则示意图；
图4为本发明实施例提供的基于合作目标的相对位姿解算流程图；
图5为本发明实施例提供的一种基于合作目标的高精度位姿测量系统结构框图；
图6为本发明实施例提供的小目标外形结构图；
图7为本发明实施例提供的大目标外形结构图；
图8为本发明实施例提供的一种电子设备的结构框图。
图标：110-目标组合图像获取模块；120-匹配识别模块；130-ROI提取模块；140-椭圆拟合模块；150-第一计算模块；160-第二计算模块；170-位姿计算模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
请参看图1和图4，图1为本发明实施例提供的一种基于合作目标的高精度位姿测量方法流程图，图4为本发明实施例提供的基于合作目标的相对位姿解算流程图。该基于合作目标的高精度位姿测量方法，包括以下步骤：
步骤S110：获取目标组合图像；上述目标组合图像中包括多个合作目标，可以是利用成像设备拍摄含有合作目标的图像。上述成像设备包括相机、摄像头等设备。上述获取目标组合图像的过程可以是通过以下步骤完成：
首先，选择并将多个目标反射器按照预置的合作目标布局规则在待测目标上进行布局，以建立合作目标标志器模型；上述目标反射器就是多个合作目标标志器，合作目标标志器的特性明确，降低了特征提取难度，并可以针对性的设计来提高特征提取的精度，因此高精度视觉测量系统通常是尽可能的选用合作目标。标志器根据测量的精度、作用距离、空间运行环境适应性、工作寿命等要求，进行设计。合作目标标志器可以采取反射模式，设计为大、小目标标志器两种，主要的光学元件都是采用角锥棱镜。请参看图6，图6为本发明实施例提供的小目标外形结构图。小目标标志器的主体尺寸为Φ20×30，在前面的出光面上，外径为20mm，高度为30mm，为了进行耐辐照加固，出光面上配置耐辐照的镀膜保护玻璃，截至880nm，透过805nm；外壳后段后端面有三个贴耳。请参看图7，图7为本发明实施例提供的大目标外形结构图。大目标标志器的主体尺寸为Φ30×60，在前面的出光面上，外径为30mm，高度为60mm，为了进行耐辐照加固，出光面上配置耐辐照的镀膜保护玻璃，截止880nm，透过805nm；外壳后段后端面有三个贴耳。对于一个直径为20mm的小目标反射器，扣除固定防护玻璃的约束环后，其出光面尺寸为16mm，在成像相机的象元大小为5.4μm×5.4μm；焦距为8mm情况下，相机的CCD靶面单个像元对应物空间尺寸为0.0054×400/8～0.0054×600/8＝0.27mm～0.40mm，其在400mm处成像像斑直径为16mm/0.27mm＝59个像素，在600mm处成像像斑直径为16mm/0.40mm＝40个像素。成像像斑足够大，能够满足检测和特征提取要求。对于一个直径为40mm的大目标反射器，同样扣除约束环后，其出光面尺寸为36mm，在象元大小为5.4μm×5.4μm；焦距为8mm情况下，其在600mm处成像像斑直径为36mm/0.27mm＝133个像素，在400mm处成像像斑直径为36mm/0.40mm＝90个像素。成像像斑足够大，能够满足检测和特征提取要求。
请参看图2，图2为本发明实施例提供的合作目标布局示意图。为了使得姿态解算方便，传统的姿态测量系统中对合作目标布局的相对位置有特殊要求，通常要求三个合作目标特征点构成一个直角三角形，就可以进行姿态解算。而使用三个特征点的方程的有四种解，而实际情况下相机和目标的位置和姿态关系是唯一的，必须通过研究解和特征点排布与相机位置关系的联系来确定相机和目标的位置关系是以上四种情况中的那一种情况来确定正确解。而当目标特征点在6个及以上时可以有唯一解。因此这里对两次定位区域采取一样的合作目标布局模式，选择6个目标反射器，大小目标反射器的出口直径分别为30mm和20mm，其相对位置如图2所示，三个大目标反射器高度为60mm，三个小目标反射器高度为30mm。为便于识别目标组合图像中的各个合作目标，本发明建立易于快速标志识别的标志布局模式，在本方案所建目标组合中，三个大目标反射器的编号为1、2、3，三个小目标反射器的编号为4、5、6。
然后，采用两种波长激光照射合作目标标志器模型，并通过成像设备同步采集得到第一目标图像和第二目标图像；可以是交替控制两种波长激光，如波长为a的激光和波长为b的激光，照射合作目标标志器模型。上述合作目标标志器由角锥棱镜组成，能够将照射在它工作面上的光线按照入射方向反射回去，标志器的光线入射面上镀膜，镀膜的作用是让波长a＝805nm的激光通过而将波长b＝880nm的激光阻止在角反射器外，这样就可以使得波长a的激光返回到相机成像，而波长b的激光不能成像，相机在波长b的激光照射下成一幅背景图像，不包含目标；而在波长a激光照射下相机再成一幅包含目标的前景图像。控制系统保证激光照射光源和相机成像过程的同步，使相机所成前景图像和背景图像的时间间隔尽量短，以保证场景中物体的相对变化小，前景图像与背景图像相减后得到的差图像中包含除目标标志器以外的物象尽可能少，从而降低目标标志器特征点提取难度低且提高位置提取精度，通常激光器辐射强度远大于阳光辐射时，可用于全天候工作。上述得到的第一目标图像为前景图像，第二目标图像为背景图像。
最后，将第一目标图像和第二目标图像进行预处理，得到目标组合图像。上述进行预处理包括图像相减、图像去噪等，具体包括以下步骤：
第一步，将第一目标图像和第二目标图像进行相减，生成初始目标组合图像；上述进行图像相减的表达式为I(x,y)＝A(x,y)-B(x,y)，其中，A(x,y)为第一目标图像即前景图像，B(x,y)为第二目标图像即背景图像，I(x,y)为初始目标组合图像。在图像相减的过程中也会出现一些问题，很难保证拍摄的两幅图像的背景中每个像素点的灰度值完全相同，因为图像在采集传输过程中的噪声污染不可能完全避免；而且在测量中可能因为轻微抖动造成两幅图像背景的轻微差异，同时激光器照射条件也会影响图像相减的结果。因此提取目标特征点质心的过程还包括了将图像I进行二值化，然后区域生长，区域生长完成后检测图像中每个区块的大小，保留接近目标反射器成像先验值大小的区块，计算区域之间位置关系，利用目标反射器成像距离和大小等先验信息排除噪声区域，然后利用质心提取算法计算目标区域的质心中，提取并标注目标特征点出来。区块中心的计算方法有基于边缘、形状和能量三种。特征点在图像中的能量分布呈高斯分布的形式，考虑到CCD等成像器件的量化特性，采用能量质心法精度较高。因为目标成像为接近圆形，还可以通过基于边缘点的曲线拟合法来提取椭圆中心，来得到目标特征点。
第二步，将初始目标组合图像进行图像矫正，得到目标组合图像。上述进行图像矫正包括图像去噪，以使得到的目标组合图像质量更好，还包括特征提取、质心计算。
步骤S120：对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；上述进行匹配识别可以是先进行椭圆特征提取，然后再进行识别，可以通过这几个目标反射器的特征点(质心、形心)所组成的直线段和直角等特征来进行匹配识别。上述进行椭圆特征提取的过程是将经过图像处理得到的目标特征点的椭圆形轮廓的边界点提取出来，然后以这些点为基点采用最小二乘原理拟合椭圆曲线，获得椭圆的中心位置。采用平面内任意位置椭圆的最小二乘拟合方法椭圆在平面内的位置是不确定的，需要有下列五个独立参数来表示：椭圆中心坐标(x0,y0)、长轴半径a、短轴半径b、长轴与x轴的夹角θ。平面任意位置椭圆方程为
平面任意位置椭圆方程式可简化为
Ax2+Bxy+Cy2+Dx+Ey+F＝0
x2+Axy+By2+Cx+Dy+E＝0
使用最小二乘法求解
求解出A,B,C,D,E的值，就得到椭圆的中心坐标
(x0,y0)即为目标特征点。
在取得了特征点成像坐标之后，可以进行特征点匹配识别。
请参看图3，图3为本发明实施例提供的目标特征点识别规则示意图。上述预置的识别规则包括：
(1)特征点1、3、5在一条直线上，两个大目标1、3和一个小目标5构成；
(2)特征点2、4、6在一条直线上，两个小目标4、6和一个大目标2构成。
(3)三个大目标反射器特征点构成的直角三角形，直角所在点为1号标志器，可以用三个点构成的三条边，最长边是由2、3号标志器构成，另外那个特征点即为1号标志器；
(4)三个小目标反射器特征点构成的直角三角形，直角所在点位6号标志器，可以用三个点构成的三条边，最长边是由4、5标志器构成，另外那个特征点即为6号标志器。
(5)与三个大目标反射器特征点平均距离最近的小目标是4号标志器；
(6)与三个小目标反射器特征点平均距离最近的大目标是3号标志器。
其中(1)(2)两条规则可以识别出标志器，(3)～(6)四条规则同样也可以识别出标志器，两组规则可以互相验证。
步骤S130：根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；上述预置的目标参数可以是根据实际需要进行设置的参数，主要是选出感兴趣区域。基于预置的目标参数为目标对各个目标区域进行提取以得到RIO区域。
步骤S140：对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；上述进行椭圆拟合可以是先采用亚像素边缘定位，进而进行拟合得到高精度拟合椭圆曲线。上述亚像素边缘定位和椭圆拟合属于现有技术，在此就不再赘述。
步骤S150：根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；上述计算各个合作目标的目标圆心位置和目标圆法线的过程包括一下步骤：
首先，获取成像设备参数信息；上述成像设备参数信息是指标定后的参数信息，包括内参数和外参数。在姿态测量的各种方法中，相机校准一直是测量中必不可少的步骤之一。相机校准目的是为了确定相机与空间场景之间的成像关系和相机的内部参数，由这些参数决定目标反射器上特征点的三维位置和在图像中对应的关系。CCD相机的校准过程中，由于镜头畸变等因素的存在，实际的校准模型为非线性模型，且该模型难以用显式的数学解析式来表示，因此，需要研究校准方法使测量误差尽量减小。
相机的设计手册中给出了内参数矩阵标称值，而实际上，根据相机电路、机械结构和镜头参数设计给出的相机参数只是理论值。实际测量中为能准确得到测量数据，必须对相机内参数进行标定。基本的相机标定是指检测相机的焦距f和相机像平面的中心(x0,y0)，也就是相机模型中的投影中心(x0,y0,f)。还需要标定相机镜头的畸变系数，相机成像器件的象元尺寸(dx,dy)等。标定这几项参数的过程叫做相机内参数标定。
相机的外参数指相机坐标系和测量中世界坐标系之间的关系，相机坐标系的中心为相机镜头的物方主点。实际中主点是一个虚拟点，因此无法利用机械限位的方法确定相机坐标系与世界坐标系之间的关系，通常的做法是将相机坐标系和世界坐标系固连在一起，然后利用软件标定的方法确定相机坐标系和世界坐标系之间的位置和姿态关系。
然后，根据成像设备参数信息和各个合作目标椭圆曲线确定各个合作目标的投影方程；对偶相机已经标定，内参K已知，可以得到投影方程为：
I-kK-1Q*K-T＝U diag{λ1λ20}UT，其中U为3×3正交矩阵，λ1≥λ2，K为成像设备参数信息中的内参矩阵，Q*为合作目标椭圆曲线Q的对偶曲线Q*＝Q-1，对二次曲线方程：Ax2+Bxy+Cy2+Dx+Ey+F＝0，Q为
然后，根据各个合作目标的投影方程计算得到对应的目标圆心位置和目标圆法线。上述计算过程采用现有技术就能实现，在此就不再赘述。
步骤S160：根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；具体可以通过以下步骤计算得到：
首先，将目标圆心位置进行投影并根据各个合作目标椭圆曲线和目标圆法线按照预置的向量公式计算得到向量M；由目标圆心投影成像得到，已知成像椭圆方程Q，目标圆法线r3，根据预置的向量公式求向量m＝(m1 m2 m3)T，上述向量公式为：m＝KQ-1Kr3，其中，K为相机内参矩阵，Q为合作目标椭圆曲线，r3为目标圆法线。
然后，根据目标圆心位置和向量M计算得到各个目标成像定位坐标。目标成像定位XT＝(xt yt)T为
此XT是考虑了偏心距后的目标圆定位。
步骤S170：根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。具体包括以下步骤：
首先，采用EPnP算法计算得到初始位姿信息；在已知目标圆成像定位和目标圆心位置的条件下，EPnP算法法是解相对位姿较好的方法，EPnP算法是解决PnP问题的高精度快速非迭代方法，将世界坐标系中的3D坐标表示为一组虚拟控制点的加权和。一般情形下，控制点的数目为4，且这4个控制点不能共面。因为相机位置参数未知，四个控制点在相机坐标系下的坐标是未知的。求解出四个控制点在相机坐标系下的坐标，就可以计算出相机的位姿。上述EPnP算法属于现有技术，在此就不再赘述。
合作目标的三维位置在目标坐标系已知，合作目标对应的2D成像位置由目标成像定位检测确定，利用EPnP算法就可获得相对位姿[Rc tc]。但是该算法中仅应用了目标圆的成像定位信息，为了获取高精度位姿测量，还需融合目标圆的法线信息。
在建立目标坐标系后，可以精确标定在目标坐标系下的六个合作目标圆的位置ti,i＝1,2,…6和法线ni,i＝1,2,…6。
然后，根据各个目标成像定位坐标和各个目标圆法线对初始位姿信息进行优化，得到相对位姿信息。在已知目标圆半径条件下，对每一个目标反射器都可以通过目标圆成像，获得目标圆相对于相机的位置t′i,i＝1,2,…6和姿态法线n′i,i＝1,2,…6。上述优化是指通过以下公式进行计算得到新的相对位姿坐标：其中，[Rc tc]为初始位姿信息。
上述实现过程中，通过获取目标组合图像；然后对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；然后根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；然后对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；然后根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；然后根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；最后根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。通过计算目标圆心位置和目标圆法线，然后根据合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，使得到的目标成像定位坐标是考虑了偏心距后的目标成像定位，克服了成像椭圆中心跟目标圆心成像存在偏移的问题，同时在计算相对位姿时采用了融合目标圆法线特征的位姿测量算法，进一步优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。
基于同样的发明构思，本发明还提出一种基于合作目标的高精度位姿测量系统，请参看图5，图5为本发明实施例提供的一种基于合作目标的高精度位姿测量系统结构框图。该基于合作目标的高精度位姿测量系统包括：
目标组合图像获取模块110，用于获取目标组合图像；
匹配识别模块120，用于对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；
ROI提取模块130，用于根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；
椭圆拟合模块140，用于对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；
第一计算模块150，用于根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；
第二计算模块160，用于根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；
位姿计算模块170，用于根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。
上述实现过程中，通过目标组合图像获取模块110获取目标组合图像；然后匹配识别模块120对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；然后ROI提取模块130根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；然后椭圆拟合模块140对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；然后第一计算模块150根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线；然后第二计算模块160根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标；最后位姿计算模块170根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。通过计算目标圆心位置和目标圆法线，然后根据合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，使得到的目标成像定位坐标是考虑了偏心距后的目标成像定位，克服了成像椭圆中心跟目标圆心成像存在偏移的问题，同时在计算相对位姿时采用了融合目标圆法线特征的位姿测量算法，进一步优化了相对位姿，从而使测量结果更加准确，提高了位姿测量的精度。
请参阅图8，图8为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的一种基于合作目标的高精度位姿测量系统对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Appl ication Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图8所示的结构仅为示意，电子设备还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种基于合作目标的高精度位姿测量方法，其特征在于，包括以下步骤：
获取目标组合图像，所述目标组合图像为利用成像设备拍摄的含有合作目标的图像，所述目标组合图像中包括多个合作目标；其中包括：
选择并将多个目标反射器按照预置的合作目标布局规则在待测目标上进行布局，以建立合作目标标志器模型；
采用两种波长激光照射合作目标标志器模型，并通过成像设备同步采集得到第一目标图像和第二目标图像；
将第一目标图像和第二目标图像进行预处理，得到目标组合图像；
对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；
根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；
对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；
根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线，其中包括：
获取成像设备参数信息；
根据成像设备参数信息和各个合作目标椭圆曲线确定各个合作目标的投影方程；
根据各个合作目标的投影方程计算得到对应的目标圆心位置和目标圆法线；
根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，其中包括：
将目标圆心位置进行投影并根据各个合作目标椭圆曲线和目标圆法线按照预置的向量公式计算得到向量M；
根据目标圆心位置和向量M计算得到各个目标成像定位坐标；
根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。
2.根据权利要求1所述的基于合作目标的高精度位姿测量方法，其特征在于，所述将第一目标图像和第二目标图像进行预处理，得到目标组合图像的步骤包括以下步骤：
将第一目标图像和第二目标图像进行相减，生成初始目标组合图像；
将初始目标组合图像进行图像矫正，得到目标组合图像。
3.根据权利要求1所述的基于合作目标的高精度位姿测量方法，其特征在于，所述投影方程的表达式为：
I-kK-1Q*K-T＝U diag{λ1λ2 0}UT，其中U为3×3正交矩阵，λ1≥λ2，K为成像设备参数信息中的内参矩阵，Q*为合作目标椭圆曲线Q的对偶曲线Q*＝Q-1，对二次曲线方程：Ax2+Bxy+Cy2+Dx+Ey+F＝0，Q为
4.根据权利要求1所述的基于合作目标的高精度位姿测量方法，其特征在于，所述向量公式为：m＝KQ-1Kr3，其中，K为相机内参矩阵，Q为合作目标椭圆曲线，r3为目标圆法线。
5.根据权利要求1所述的基于合作目标的高精度位姿测量方法，其特征在于，所述根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息的步骤包括以下步骤：
采用EPnP算法计算得到初始位姿信息；
根据各个目标成像定位坐标和各个目标圆法线对初始位姿信息进行优化，得到相对位姿信息。
6.一种基于合作目标的高精度位姿测量系统，其特征在于，包括：
目标组合图像获取模块，用于获取目标组合图像，所述目标组合图像为利用成像设备拍摄的含有合作目标的图像，所述目标组合图像中包括多个合作目标；其中包括：
选择并将多个目标反射器按照预置的合作目标布局规则在待测目标上进行布局，以建立合作目标标志器模型；
采用两种波长激光照射合作目标标志器模型，并通过成像设备同步采集得到第一目标图像和第二目标图像；
将第一目标图像和第二目标图像进行预处理，得到目标组合图像；
匹配识别模块，用于对目标组合图像按照预置的识别规则进行匹配识别，得到合作目标标识图像；
ROI提取模块，用于根据预置的目标参数对合作目标标识图像中的各个目标区域进行ROI提取，得到各个合作目标ROI区域；
椭圆拟合模块，用于对各个目标ROI区域分别进行椭圆拟合，得到各个合作目标椭圆曲线；
第一计算模块，用于根据各个合作目标椭圆曲线分别计算目标圆心位置和目标圆法线，其中包括：
获取成像设备参数信息；
根据成像设备参数信息和各个合作目标椭圆曲线确定各个合作目标的投影方程；
根据各个合作目标的投影方程计算得到对应的目标圆心位置和目标圆法线；
第二计算模块，用于根据各个合作目标椭圆曲线、目标圆心位置和目标圆法线计算得到各个目标成像定位坐标，其中包括：
将目标圆心位置进行投影并根据各个合作目标椭圆曲线和目标圆法线按照预置的向量公式计算得到向量M；
根据目标圆心位置和向量M计算得到各个目标成像定位坐标；
位姿计算模块，用于根据各个目标成像定位坐标和各个目标圆法线采用EPnP算法计算得到相对位姿信息。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202210258896.8A 2022-03-16 2022-03-16 一种基于合作目标的高精度位姿测量方法及系统 Active CN114596355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210258896.8A CN114596355B (zh) 2022-03-16 2022-03-16 一种基于合作目标的高精度位姿测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210258896.8A CN114596355B (zh) 2022-03-16 2022-03-16 一种基于合作目标的高精度位姿测量方法及系统

Publications (2)

Publication Number Publication Date
CN114596355A CN114596355A (zh) 2022-06-07
CN114596355B true CN114596355B (zh) 2024-03-08

Family

ID=81818045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210258896.8A Active CN114596355B (zh) 2022-03-16 2022-03-16 一种基于合作目标的高精度位姿测量方法及系统

Country Status (1)

Country Link
CN (1) CN114596355B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309442B (zh) * 2023-03-13 2023-10-24 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105509733A (zh) * 2015-11-30 2016-04-20 上海宇航系统工程研究所 非合作空间圆目标的相对位姿测量方法
CN106679634A (zh) * 2016-06-20 2017-05-17 山东航天电子技术研究所 一种基于立体视觉的空间非合作目标位姿测量方法
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN109405835A (zh) * 2017-08-31 2019-03-01 北京航空航天大学 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN113052905A (zh) * 2021-03-31 2021-06-29 中国人民解放军63920部队 基于双目逆投影变换的圆形目标位姿测量方法和装置
WO2022036478A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种基于机器视觉的增强现实盲区装配引导方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105509733A (zh) * 2015-11-30 2016-04-20 上海宇航系统工程研究所 非合作空间圆目标的相对位姿测量方法
CN106679634A (zh) * 2016-06-20 2017-05-17 山东航天电子技术研究所 一种基于立体视觉的空间非合作目标位姿测量方法
CN109405835A (zh) * 2017-08-31 2019-03-01 北京航空航天大学 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
WO2022036478A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种基于机器视觉的增强现实盲区装配引导方法
CN113052905A (zh) * 2021-03-31 2021-06-29 中国人民解放军63920部队 基于双目逆投影变换的圆形目标位姿测量方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单目视觉高精度测量中的合作目标图形设计;屈也频;刘坚强;侯旺;;光学学报(13);全文 *

Also Published As

Publication number Publication date
CN114596355A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN109416245B (zh) 用于测量表面形貌的设备和方法以及校准方法
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
EP2568253B1 (en) Structured-light measuring method and system
US20090268214A1 (en) Photogrammetric system and techniques for 3d acquisition
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN110425998B (zh) 灰度图像耦合特征点高度的构件三维测量方法
EP1025418A4 (en) THREE-DIMENSIONAL CONTROL SYSTEM
CN113034612B (zh) 一种标定装置、方法及深度相机
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN113049184A (zh) 一种质心测量方法、设备及存储介质
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110827360B (zh) 一种光度立体式测量系统及其标定光源方向的方法
JP6453908B2 (ja) ４カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法
WO1998050757A2 (en) Three dimensional inspection system
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
CN114596355B (zh) 一种基于合作目标的高精度位姿测量方法及系统
CN111724464A (zh) 一种移动测量点云着色方法及其装置
CN107850425A (zh) 用于测量假影的方法
CN117452347A (zh) 一种深度相机的精度测试方法及相关装置、存储介质
CN115701871A (zh) 一种点云融合的方法、装置、三维扫描设备及存储介质
CN111080713B (zh) 相机标定系统以及方法
CN110702007B (zh) 一种基于mems扫描振镜的线结构光三维测量方法
CN114332373B (zh) 一种克服继电器金属表面反光的磁路落差检测方法及系统
CN108759720B (zh) 光滑表面面型测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant