CN113052905B - 基于双目逆投影变换的圆形目标位姿测量方法和装置 - Google Patents

基于双目逆投影变换的圆形目标位姿测量方法和装置 Download PDF

Info

Publication number
CN113052905B
CN113052905B CN202110351864.8A CN202110351864A CN113052905B CN 113052905 B CN113052905 B CN 113052905B CN 202110351864 A CN202110351864 A CN 202110351864A CN 113052905 B CN113052905 B CN 113052905B
Authority
CN
China
Prior art keywords
coordinates
target
space
coordinate system
circular target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110351864.8A
Other languages
English (en)
Other versions
CN113052905A (zh
Inventor
刘传凯
李东升
李剑
王俊魁
袁春强
张济韬
何锡明
游祎
王晓雪
刘茜
崔金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unit 63920 Of Pla
Original Assignee
Unit 63920 Of Pla
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unit 63920 Of Pla filed Critical Unit 63920 Of Pla
Priority to CN202110351864.8A priority Critical patent/CN113052905B/zh
Publication of CN113052905A publication Critical patent/CN113052905A/zh
Application granted granted Critical
Publication of CN113052905B publication Critical patent/CN113052905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供基于双目逆投影变换的圆形目标位姿测量方法和装置，该方法包括：分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；根据特征向量、空间圆形目标的初始位姿信息及左、右相机的位姿得到重建的空间圆形目标轮廓特征的世界坐标；根据重建出的空间圆形目标轮廓的半径与圆形目标的真实半径之差构造残差函数；根据残差函数构建优化模型并求解得到空间圆形目标的最优位姿参数，实现对远距离尺寸较小的空间圆形目标位姿进行高精度估测。

Description

基于双目逆投影变换的圆形目标位姿测量方法和装置
技术领域
本发明涉及视觉测量、视觉定位技术领域，尤其涉及一种基于双目逆投影变换的圆形目标位姿测量方法和装置。
背景技术
随着目标识别、跟踪、定位等技术不断发展，对目标定位精度的要求越来越高，在目标定位中，通过建立单目或双目视觉定位系统，利用圆形特征或者附加少量特征信息即可实现目标的定位，且由于圆形本身的对称特性，能够平衡掉部分随机误差，使得定位精度一般会优于基于点特征或线特征的定位方法。在工业、航天、医疗等领域中，如果能够巧妙地利用圆形特征开展视觉感知与测量的系统设计，将对整个系统的简化和稳定运行起到至关重要作用，例如在对航天器星箭对接环的位姿测量和嫦娥五号表取采样任务对机械臂末端触月圆盘组件的位姿测量中都运用了圆形特征的性质，因此利用圆形特征对空间目标位姿进行高精度的测量在工业、航天、医疗等领域存在重要的实际工程价值。
传统的解决圆形目标位姿测量问题的策略大致可以分为两种类型，一种是基于单目视觉系统利用单幅图像估测圆形目标位姿的方法。这种测量方法通常做法是将椭圆的成像投影方程带入图像平面的椭圆标准方程，构建过相机光心和空间圆形成的椭圆锥的曲面方程，建立斜截面形状和尺寸与圆形目标位姿的对应解析式关系，得到圆心位置和圆所在平面的法向量。利用这种方法在以相机光心为顶点，过图像目标轮廓形成正圆锥情况下，有唯一的位姿解，否则会产生两组解，即使用这种方法会产生位姿二义性的问题；另外一种方法是基于双目视觉系统实现对空间圆形目标的位姿估测，现有的基于双目视觉的方法通常根据相机图像与空间圆形目标之间的透视投影关系构造方程组，以消除二义性，求解出正确的位姿参数信息。但是其求解过程过于繁琐，在图像和三维空间圆形目标之间的关联交互中，双目视觉系统本身具有的优势并没有得到充分利用，使得求解步骤往往过于繁琐，更重要的是上述的无论是基于单目视觉还是基于双目视觉的算法，在面对圆形目标尺寸的大小远远小于测量距离情况时通常无法给出精确的位姿解。
发明内容
针对现有技术中的问题，本发明提供一种基于双目椭圆特征的目标位姿测量方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题，实现更为精确的圆形目标视觉定位，为远距离小尺寸圆形目标的广泛应用提供重要支撑。
为了实现上述目的，本发明采用如下技术方案：
第一方面，提供一种基于双目逆投影变换的圆形目标位姿测量方法，包括：
分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；
分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；
根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿重建所述空间圆形目标的轮廓特征的世界坐标；
根据所述空间圆形目标的轮廓特征的半径与目标真实半径之差构造残差函数；
根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数。
进一步地，所述根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿重建所述空间圆形目标的轮廓特征的世界坐标，包括：
根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿构建所述空间圆形目标位姿的空间几何约束；
根据所述空间几何约束解算出所述特征向量的长度，实现在空间中重建所述空间圆形目标的轮廓特征的世界坐标；
进一步地，利用列文伯格-马夸尔特算法迭代求解所述优化模型得到空间圆形目标的最优位姿参数。
进一步地，所述分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中之前，还包括：
分别对左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标进行畸变校正。
进一步地，基于双目逆投影变换的圆形目标位姿测量方法还包括：
利用基于单目视觉的圆形目标定位算法设定所述空间圆形目标的初始位姿信息。
进一步地，基于双目逆投影变换的圆形目标位姿测量方法还包括：
获取左、右相机拍摄的空间圆形目标图像。
进一步地，基于双目逆投影变换的圆形目标位姿测量方法还包括：
设置空间圆形目标位姿表达形式；
获取所述空间圆形目标的真实半径以及左、右相机的位姿。
第二方面，提供一种基于双目逆投影变换的圆形目标位姿测量装置，包括：
椭圆轮廓特征检测模块，分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；
逆投影模块，分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；
重建模块，根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿重建所述空间圆形目标的轮廓特征的世界坐标；
残差函数构造模块，根据所述空间圆形目标的轮廓特征的半径与目标真实半径之差构造残差函数；
模型解析模块，根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
本发明提供的基于双目椭圆特征的目标位姿测量方法和装置，该方法包括：分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿得到所述空间圆形目标的轮廓特征的世界坐标；根据所述空间圆形目标的轮廓特征的半径与目标真实半径之差构造残差函数；根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数，实现对远距离尺寸较小的空间圆形目标位姿进行高精度估测。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量方法的流程示意图一；
图2示出了本发明实施例中步骤S300的具体步骤；
图3是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量方法的流程示意图二；
图4是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量方法的流程示意图三；
图5是本发明实施例中例举的一种基于双目逆投影变换的圆形目标位姿精确测量算法流程图。
图6是本发明实施例坐标系变换示意图。
图7是本发明实施例空间圆形目标双目成像投影示意图。
图8是本发明实施例椭圆特征逆向投影重建目标轮廓示意图。
图9是本发明实施例两个重建空间圆的轮廓特征逐渐迭代重合过程示意图。
图10是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量装置的结构框图；
图11为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量方法的流程示意图一；如图1所示，该基于双目逆投影变换的圆形目标位姿测量方法可以包括以下内容：
步骤S100：分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；
对左、右相机拍摄的空间圆形目标获取的两幅图像进行椭圆轮廓特征检测。首先利用图像分割技术将椭圆特征在左右图像中的位置大致切割出来作为感兴趣区域，使得感兴趣区域最大可能地去除噪声和无关干扰信息，然后使用自适应Canny算法对感兴趣区域提取边缘点信息，接着对这些提取到的边缘信息进行筛选，提取出没有分支的边缘，去除过短弧段，再之后使用自适应多边形逼近算法逼近弧段边缘。在边缘逼近之后，使用基于曲率和凸性的方法进行分割以得到有效的椭圆弧段，每条有效弧段包含若干离散椭圆像素点集ulj、urj。
步骤S200：分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；
具体地，根据透视投影关系将矫正后的轮廓点像素逆投影至空间中，构建由相机光心出发经过椭圆特征像平面坐标指向空间圆形目标轮廓的特征向量；
步骤S300：根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿得到所述空间圆形目标的轮廓特征的世界坐标；
具体地，根据特征向量联合左右相机的位置和空间圆形目标初始位姿信息构建目标圆位姿的空间几何约束，解算出特征向量长度，实现在空间中重建目标圆的轮廓特征的世界坐标。
步骤S400：根据所述空间圆形目标的轮廓特征的半径与目标真实半径之差构造残差函数；
其中，根据重建出的空间圆的轮廓特征的半径与目标圆真实半径之间的误差构造残差函数。此残差函数以空间圆的5个位姿参数作为待定参数，针对空间中重建圆的位姿构建非线性最小二乘问题。
步骤S500：根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数。
通过解算上一步骤的非线性最小二乘问题，从而迭代解算出目标圆的最优位姿参数。若目标圆相对于某空间物体的位姿关系为已知，可以通过求解目标圆的位姿进一步解算出此空间物体的位姿。
通过采用上述技术方案，直接将左右相机图像中的离散椭圆轮廓像素坐标作为算法输入，无需进行椭圆拟合和成像投影误差方程的构建，精简算法步骤的同时又极大地减少了椭圆拟合带来的精度损失；针对圆形目标在相机成像较小，特征区域所占的像素较少，椭圆轮廓提取的不精确性对空间目标位姿精度产生较大影响问题，利用圆形目标在图像中的椭圆轮廓，逆向投影形成空间射线簇，建立圆形目标的位姿解空间约束，构造解空间残差函数与优化模型，结合圆形目标尺寸约束实现圆形目标空间位姿的精确求解，从而实现对远距离尺寸较小的空间圆形目标位姿进行高精度估测，填补了远距离小尺寸圆形目标视觉定位领域的空白。
在一个可选的实施例中，参见图2，该步骤S300可以包括以下内容：
步骤S310：根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿构建所述空间圆形目标位姿的空间几何约束；
步骤S320：根据所述空间几何约束解算出所述特征向量的长度，实现在空间中重建所述空间圆形目标的的轮廓特征的世界坐标；
在一个可选的实施例中，利用列文伯格-马夸尔特Levenberg-Marquardt(L-M)算法迭代求解所述优化模型得到空间圆形目标的最优位姿参数。
在一个可选的实施例中，参见图3，分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中之前，还包括：
步骤S600：分别对左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标进行畸变校正。
在一个可选的实施例中，参见图4，该基于双目逆投影变换的圆形目标位姿测量方法还可以包括：
步骤S700：利用基于单目视觉的圆形目标定位算法设定所述空间圆形目标的初始位姿信息。
在一个可选的实施例中，基于双目逆投影变换的圆形目标位姿测量方法还可以包括：
获取左、右相机拍摄的空间圆形目标图像。
在一个可选的实施例中，基于双目逆投影变换的圆形目标位姿测量方法还可以包括：
设置空间圆形目标位姿表达形式；
获取所述空间圆形目标的真实半径以及左、右相机的位姿。
为了使本领域技术人员更好地理解本申请，下面结合图5至图9，对本发明实施例的具体实现过程进行补充说明：
本发明提供的圆形目标位姿测量技术的前提是已知待测量位姿的目标圆的半径r0，算法根据圆形目标在图像中的椭圆轮廓，逆向投影形成空间射线簇，建立圆形目标的位姿解空间约束，构造解空间残差函数与优化模型，利用列文伯格-马夸尔特Levenberg-Marquardt(L-M)算法迭代求解目标圆空间的真实位姿；当然，也可以采用最小二乘法等非线性优化算法迭代求解目标圆空间的真实位姿。为实现上述目标，本发明具体采取以下技术方案。
参加图5，该测量技术包括以下流程：
(1)设置空间圆位姿表达形式，提供目标圆半径r0为已知；
(2)对左右相机拍摄空间圆形目标获取的两幅图像进行椭圆轮廓特征检测，得到左右相机图像椭圆特征点存在畸变影响的像素坐标ulj、urj，利用基于单目视觉的圆形目标定位算法计算并设定目标圆空间初始位姿值为x0，y0，z0，φ0，ψ0；
(3)将步骤(2)中检测得到的椭圆轮廓特征进行图像畸变矫正，根据透视投影关系将矫正后的轮廓点像素逆投影至空间中，构建由相机光心出发经过椭圆特征像平面坐标指向空间圆形目标轮廓的特征向量；
(4)根据步骤(3)构建的特征向量联合左右相机的位置和空间圆形目标初始位姿信息构建目标圆位姿的空间几何约束，解算出特征向量长度，实现在空间中重建空间圆形目标的的轮廓特征的世界坐标；
(5)根据步骤(4)重建出的空间圆的轮廓特征的半径与目标圆真实半径之间的误差构造残差函数。此残差函数以空间圆的5个位姿参数作为待定参数，针对空间中重建圆的位姿构建非线性最小二乘问题；
(6)通过列文伯格-马夸尔特Levenberg-Marquardt(L-M)算法解算上一步骤的非线性最小二乘问题，从而迭代解算出目标圆的最优位姿参数。若目标圆相对于某空间物体的位姿关系为已知，可以通过求解目标圆的位姿进一步解算出此空间物体的位姿。
具体地，步骤(1)具体表述为：
目标圆在空间中的位姿由
Figure BDA0003002361600000081
和Xw＝[xw，yw，zw]T六个变量表示，其中nw表示目标圆参考平面在世界坐标系下的单位法向矢量，Xw表示目标圆心在世界坐标系下的三维坐标。
由于假设在目标圆坐标系下，圆平面法向表示为nb＝[0，0，1]T，由于圆形目标围绕自身法向旋转不变的特性，其法向nw可通过两个独立的旋转描述，即可将目标圆坐标系相对世界坐标系的旋转矩阵定义为
Figure BDA0003002361600000082
表示为：
Figure BDA0003002361600000083
Figure BDA0003002361600000084
其中φ表示绕Z轴的旋转角度，即偏航角；ψ表示绕X轴的旋转角度，即滚转角。则目标圆平面法向在世界坐标系下可以表示为：
Figure BDA0003002361600000085
式(1)表明目标圆在世界坐标系中的法向nw可以通过两个独立自由度的偏航角φ和滚转角ψ描述。反之，已知目标圆法向nw，根据公式(1)可以逆向求解对应的偏航角φ和滚转角ψ，令φ的取值范围为[0，2π]，ψ的取值范围为[0，π]，则可得：
Figure BDA0003002361600000091
图6是坐标系变换示意图。
目标圆半径r0为待估测位姿的空间圆的真实半径，需要提供为已知条件。
进一步地，步骤2具体表述为：
对左、右相机拍摄空间圆形目标获取的两幅图像进行椭圆轮廓特征检测。首先利用图像分割技术将椭圆特征在左右图像中的位置大致切割出来作为感兴趣区域，使得感兴趣区域最大可能地去除噪声和无关干扰信息，然后使用自适应Canny算法对感兴趣区域提取边缘点信息，接着对这些提取到的边缘信息进行筛选，提取出没有分支的边缘，去除过短弧段，再之后使用自适应多边形逼近算法逼近弧段边缘。在边缘逼近之后，使用基于曲率和凸性的方法进行分割以得到有效的椭圆弧段，每条有效弧段包含若干离散椭圆像素点集ulj、urj。
本算法目标圆初始位姿的设定是由基于椭圆特征的单目视觉定位算法提供，根据离散椭圆像素点集ulj、urj拟合椭圆标准方程，将椭圆的成像投影方程带入图像平面的椭圆标准方程，构建过相机光心和空间圆形成的椭圆锥的曲面方程，建立斜截面形状和尺寸与圆形目标位姿的对应解析式关系，得到圆心位置和圆所在平面的法向量。Xw＝[xw，yw，zw]T表示由单目视觉算法提供的目标圆圆心初始位置，
Figure BDA0003002361600000092
表示由单目视觉算法提供的目标圆初始法向，则可以设定目标圆空间初始位姿值为x0，y0，z0，φ0，ψ0。
进一步地，步骤3具体表述为：
假设左相机光心位于ol，相机位姿为
Figure BDA0003002361600000093
表示左相机的姿态相对于世界坐标系的姿态，R(θl)表示左相机坐标系相对于世界坐标系的旋转矩阵。Pj为世界坐标系下圆形目标轮廓空间点，其齐次坐标为
Figure BDA0003002361600000094
非齐次坐标为
Figure BDA0003002361600000101
Pj投影至左相机图像中对应的像素坐标
Figure BDA0003002361600000102
利用透视投影成像模型计算为：
Figure BDA0003002361600000103
其中，
Figure BDA0003002361600000104
分别表示圆第j个空间点在相机坐标系和世界坐标系中的齐次坐标，
Figure BDA0003002361600000105
表示从第j个圆空间点到左相机图像的透视投影变换矩阵，
Figure BDA0003002361600000106
表示与左相机投影坐标相关的畸变参数矩阵，定义如下：
Figure BDA0003002361600000107
其中
Figure BDA0003002361600000108
和
Figure BDA0003002361600000109
表示以像素为单位的相机焦距，
Figure BDA00030023616000001010
为图像主点坐标，Δulj和Δvlj表示由于径向畸变、偏心畸变和薄透镜畸变引起的投影点偏移量；公式(4)中的
Figure BDA00030023616000001011
为考虑畸变影响的空间圆投影像素坐标，进行畸变矫正后目标圆投影像素坐标
Figure BDA00030023616000001012
计算为：
Figure BDA00030023616000001013
其中
Figure BDA00030023616000001014
表示左相机图像主点的坐标，Δulj＝[Δulj Δvlj 0]T表示畸变偏移，
Figure BDA00030023616000001015
表示对角矩阵，R(θl)简写为Rl，
Figure BDA00030023616000001016
Figure BDA00030023616000001017
和
Figure BDA00030023616000001018
分别表示左相机坐标系相对于世界坐标系的旋转矩阵和平移向量，
Figure BDA00030023616000001019
表示空间圆在左相机坐标系下的Z坐标。附图7是空间圆形目标双目成像投影示意图。其中Ow代表世界坐标系，Ocl和Ocr分别代表左右相机坐标系，Ovl和Ovr分别代表左右图像坐标系，Ob代表目标圆坐标系，Rl和tl分别代表左相机坐标系相对于世界坐标系的旋转矩阵和平移向量，Rr和tr分别代表右相机坐标系相对于世界坐标系的旋转矩阵和平移向量。
用经过畸变矫正后的圆形目标投影像素坐标
Figure BDA00030023616000001020
减图像主点坐标
Figure BDA00030023616000001021
可以得到以像平面坐标系原点为参考原点的像素坐标：
Figure BDA00030023616000001022
ulj表示在前一步骤中左相机图像检测获取的实际椭圆特征点像素坐标，它对应着在左相机视角下目标圆经过透视投影方程得到的像素坐标
Figure BDA0003002361600000111
将检测到的目标圆特征点像素坐标ulj经过畸变矫正后替换公式(5)中的
Figure BDA0003002361600000112
可以得到以像平面坐标系原点为参考原点的左相机椭圆特征点像素坐标
Figure BDA0003002361600000113
定义
Figure BDA0003002361600000114
为从左相机光心出发经过第i个左相机图像椭圆特征点像平面坐标，指向空间圆形目标轮廓的单位方向向量，则
Figure BDA0003002361600000115
可以表示为：
Figure BDA0003002361600000116
其中Rl代表从世界坐标系到左相机坐标系的旋转矩阵，
Figure BDA0003002361600000117
代表左相机图像中第j个椭圆特征点像素坐标
Figure BDA0003002361600000118
dx、dy分别代表左相机的单位像素在像素坐标系u轴、v轴方向所占的物理尺寸，f代表相机的焦距，
Figure BDA0003002361600000119
分别代表焦距f在像素坐标系u轴、v轴的比例因子。
进一步地，步骤4具体表述为：
定义
Figure BDA00030023616000001110
代表左相机坐标系相对于世界坐标系的平移向量，也就是左相机坐标系原点在世界坐标系下的三维坐标，那么圆形目标轮廓的世界坐标必然处在从相机光心出发经过图像椭圆特征像平面坐标的空间射线上，根据步骤S3定义的单位方向向量
Figure BDA00030023616000001111
空间圆形目标轮廓的世界坐标可以表示为：
Figure BDA00030023616000001112
其中λj为从左相机光心出发经过第j个左图像椭圆特征点像平面坐标指向目标圆圆周坐标的向量的长度，图8是上述椭圆特征逆向投影重建目标轮廓示意图。下面介绍变量λj的求法。
根据“圆形目标轮廓平面中的任一向量与圆形目标法线垂直”这一特性，可得到以下正交向量内积方程：
Figure BDA00030023616000001113
从而得到λj的显式表达式：
Figure BDA00030023616000001114
将公式(9)中的λj带入公式(7)中得：
Figure BDA0003002361600000121
公式(10)表明，可以根据左相机的世界坐标、在左相机图像中的椭圆轮廓像素坐标、空间圆初始位姿信息重建出目标圆轮廓在世界坐标系下的坐标。
进一步地，步骤5具体表述为：
假设r0为真实的圆半径，根据步骤S4重建出的目标圆圆周在世界坐标系下的坐标，利用目标圆心到空间圆形目标轮廓上任一点的距离等于半径长度这一特性，建立以下非线性残差函数：
Figure BDA0003002361600000122
同理，可以根据右相机的位姿、右相机图像上的椭圆特征点像素坐标、空间圆初始位姿信息重建出目标圆圆周在世界坐标系下的坐标，并建立以下非线性函数：
Figure BDA0003002361600000123
则圆形目标在空间中的位姿测量问题可以被归纳为一个关于优化逆投影误差的非线性最小二乘问题，最小化逆投影空间圆形目标轮廓点与圆心的距离和圆形目标实际半径的差。定义为：
Figure BDA0003002361600000124
其中n、m分别代表从左、右相机图像中的椭圆轮廓特征点的数目。x，y，z，φ，ψ代表在迭代求解过程中确定目标圆位姿的5个自变量即圆心的世界坐标[x，y，z]T和偏航角φ、滚转角ψ。
进一步地，步骤6具体表述为：
通过上述模型对圆形目标位姿进行优化，是典型的非线性最小二乘问题，所以本专利采用Levenberg-Marquardt(L-M)算法将此非线性最小二乘问题转化为线性最小二乘问题，迭代求解此问题获取空间圆的最佳位姿。
假设从左、右相机图像中分别包含n和m个椭圆轮廓特征点，则L-M法迭代第K次的函数值矩阵为Fk∈R(n+m)×1，第K次计算的函数值对5个位姿自变量求偏导的雅可比矩阵定义为JFk∈R(n+m)×5如公式(14)所示。
Figure BDA0003002361600000131
通过使用Levenberg-Marquardt算法可以获得上述非线性最小二乘问题的数值解。下表I表示用于计算空间圆的精确位姿的非线性迭代算法的步骤。
表I使用L-M法计算空间圆的精确姿态
Figure BDA0003002361600000132
经过上述迭代算法可以迭代求解出目标圆的精确位姿
Figure BDA0003002361600000133
下图9是根据左右相机图像中的椭圆轮廓点重建出的两个空间圆位姿逐渐重合的示意图。若目标圆位姿相对于某空间物体的位姿关系为已知，可以进一步解算出此空间物体的位姿。
基于同一发明构思，本申请实施例还提供了一种基于双目逆投影变换的圆形目标位姿测量装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于基于双目逆投影变换的圆形目标位姿测量装置解决问题的原理与上述方法相似，因此基于双目逆投影变换的圆形目标位姿测量装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图10是本发明实施例中的基于双目逆投影变换的圆形目标位姿测量装置的结构框图。如图10所示，该基于双目逆投影变换的圆形目标位姿测量装置具体包括：椭圆轮廓特征检测模块10、逆投影模块20、重建模块30、残差函数构造模块40以及模型解析模块50。
椭圆轮廓特征检测模块10分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；
逆投影模块20分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；
重建模块30根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿得到所述空间圆形目标的的轮廓特征的世界坐标；
残差函数构造模块40根据所述空间圆形目标的轮廓特征的半径与目标真实半径之差构造残差函数；
模型解析模块50根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数。
本发明提供的基于双目逆投影变换的圆形目标位姿测量技术，前提是已知要测量位姿的目标圆半径r0，算法首先设定目标圆空间初始位姿值为x0,y0,z0,φ0,ψ0，然后对双目相机拍摄空间圆形目标获取的图像进行椭圆轮廓特征检测；接着将检测到的椭圆轮廓像素坐标消除图像畸变影响后逆投影至空间中构建从相机光心出发经过椭圆特征像平面坐标指向空间圆形目标轮廓世界坐标的特征向量，值得说明的是，特征向量就是空间射线簇的单位方向向量；然后联合左右相机的位姿和空间圆初始位姿信息构建目标圆位姿的空间几何约束，解算出特征向量的长度，实现在空间中重建目标圆三维位姿；再根据重建出的空间圆形目标的的轮廓特征半径与目标圆真实半径之差构造残差函数和优化模型；最终采用列文伯格-马夸尔特Levenberg-Marquardt(L-M)算法求解此优化模型，从而实现迭代解算目标圆最优位姿参数。本发明解决了远距离小尺寸圆形目标的精确定位难题，为通过视觉估测远距离小尺寸圆形目标提供了理论指导。
上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
下面参考图11，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。
如图11所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，包括：
分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；具体为：利用图像分割技术将椭圆特征在左右图像中的位置切割出来作为感兴趣区域，使得所述感兴趣区域去除噪声和无关干扰信息；使用自适应Canny算法对所述感兴趣区域提取边缘点信息，对提取到的边缘点信息进行筛选，提取出没有分支的边缘，去除过短弧段；使用自适应多边形逼近算法逼近弧段边缘；使用基于曲率和凸性的方法进行分割以得到有效的椭圆弧段，每条有效弧段包含若干离散椭圆像素点集ulj、urj；
分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；具体为：设左相机光心位于Ol，相机位姿为
Figure FDA0003685657910000011
θl＝[θlx,θly,θlz]T表示左相机的姿态相对于世界坐标系的姿态，R(θl)表示左相机坐标系相对于所述世界坐标系的旋转矩阵；Pj为所述世界坐标系下圆形目标轮廓空间点，其齐次坐标为
Figure FDA0003685657910000012
非齐次坐标为
Figure FDA0003685657910000013
Pj投影至左相机图像中对应的像素坐标
Figure FDA0003685657910000014
利用透视投影成像模型计算为：
Figure FDA0003685657910000015
其中，
Figure FDA0003685657910000016
分别表示圆第j个空间点在相机坐标系和所述世界坐标系中的齐次坐标，
Figure FDA0003685657910000017
表示从第j个圆空间点到左相机图像的透视投影变换矩阵，
Figure FDA0003685657910000018
表示与左相机投影坐标相关的畸变参数矩阵，定义如下：
Figure FDA0003685657910000019
其中fl u和fl v表示以像素为单位的相机焦距，
Figure FDA00036856579100000110
为图像主点坐标，△ulj表示由于径向畸变、偏心畸变和薄透镜畸变引起的投影点偏移量在像素坐标系u方向上的分量，△vlj表示由于径向畸变、偏心畸变和薄透镜畸变引起的投影点偏移量在像素坐标系v方向上的分量，
Figure FDA0003685657910000021
为考虑畸变影响的空间圆投影像素坐标，进行畸变矫正后目标圆投影像素坐标
Figure FDA0003685657910000022
计算为：
Figure FDA0003685657910000023
其中，
Figure FDA0003685657910000024
表示左相机图像主点的坐标，△ulj＝[△ulj △vlj 0]T表示畸变偏移矩阵，diag(fl u fl v 1)表示对角矩阵，R(θl)简写为Rl，
Figure FDA0003685657910000025
和
Figure FDA0003685657910000026
分别表示左相机坐标系相对于世界坐标系的旋转矩阵和平移向量，
Figure FDA0003685657910000027
表示空间圆在左相机坐标系下的Z坐标；
用经过畸变矫正后的圆形目标投影像素坐标
Figure FDA0003685657910000028
减图像主点坐标
Figure FDA0003685657910000029
得到以像平面坐标系原点为参考原点的像素坐标：
Figure FDA00036856579100000210
ulj表示在左相机图像检测获取的实际椭圆特征点像素坐标，对应着在左相机视角下目标圆经过透视投影方程得到的像素坐标
Figure FDA00036856579100000211
将检测到的目标圆特征点像素坐标ulj经过畸变矫正后替换
Figure FDA00036856579100000212
得到以像平面坐标系原点为参考原点的左相机椭圆特征点像素坐标
Figure FDA00036856579100000213
定义
Figure FDA00036856579100000214
为从左相机光心出发经过第j个左相机图像椭圆特征点像平面坐标，指向空间圆形目标轮廓的单位方向向量，则
Figure FDA00036856579100000215
表示为：
Figure FDA00036856579100000216
其中Rl代表从世界坐标系到左相机坐标系的旋转矩阵，
Figure FDA00036856579100000217
代表左相机图像中第j个椭圆特征点像素坐标
Figure FDA00036856579100000218
dx,dy分别代表左相机的单位像素在像素坐标系u轴、v轴方向所占的物理尺寸，f代表相机的焦距，fl u＝f/dx,fl v＝f/dy分别代表焦距f在像素坐标系u轴、v轴的比例因子；求得从右相机光心出发经过第j个右相机图像椭圆特征点像平面坐标，指向空间圆形目标轮廓的单位方向向量
Figure FDA0003685657910000031
根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿得到重建的空间圆形目标轮廓特征的世界坐标；具体为：定义
Figure FDA0003685657910000032
代表左相机坐标系相对于所述世界坐标系的平移向量，也就是左相机坐标系原点在所述世界坐标系下的三维坐标，那么圆形目标轮廓的世界坐标必然处在从相机光心出发经过图像椭圆特征像平面坐标的空间射线上，根据定义的单位方向向量
Figure FDA0003685657910000033
空间圆形目标轮廓的世界坐标表示为：
Figure FDA0003685657910000034
其中λj为从左相机光心出发经过第j个左图像椭圆特征点像平面坐标指向目标圆圆周坐标的向量的长度，变量λj的求法如下：
根据“圆形目标轮廓平面中的任一向量与圆形目标法线垂直”这一特性，得到以下正交向量内积方程：
Figure FDA0003685657910000035
从而得到λj的显式表达式：
Figure FDA0003685657910000036
将λj带入得：
Figure FDA0003685657910000037
根据左相机的世界坐标、在左相机图像中的椭圆轮廓像素坐标、空间圆初始位姿信息重建出目标圆轮廓在世界坐标系下的坐标；根据右相机的世界坐标、在右相机图像中的椭圆轮廓像素坐标、空间圆初始位姿信息重建出目标圆轮廓在世界坐标系下的坐标；
根据所述重建出的空间圆形目标的轮廓的半径与圆形目标的真实半径之差构造残差函数；具体为：假设r0为真实的圆半径，根据上述重建出的目标圆圆周在世界坐标系下的坐标，利用目标圆心到空间圆形目标轮廓上任一点的距离等于半径长度这一特性，建立以下非线性残差函数：
Figure FDA0003685657910000041
根据右相机的位姿、右相机图像上的椭圆特征点像素坐标、空间圆初始位姿信息重建出目标圆圆周在世界坐标系下的坐标，并建立以下非线性函数：
Figure FDA0003685657910000042
则圆形目标在空间中的位姿测量问题被归纳为一个关于优化逆投影误差的非线性最小二乘问题，最小化逆投影空间圆形目标轮廓点与圆心的距离和圆形目标实际半径的差；定义为：
Figure FDA0003685657910000043
其中n、m分别代表从左、右相机图像中的椭圆轮廓特征点的数目；x,y,z,φ,ψ代表在迭代求解过程中确定目标圆位姿的5个自变量即圆心的世界坐标[x,y,z]T和偏航角
Figure FDA0003685657910000044
滚转角ψ；
根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数；具体为：采用Levenberg-Marquardt算法求解此最小二乘问题，迭代求解此问题获取空间圆的最佳位姿。
2.根据权利要求1所述的基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，利用列文伯格-马夸尔特算法迭代求解所述优化模型得到空间圆形目标的最优位姿参数。
3.根据权利要求1所述的基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，所述分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中之前，还包括：
分别对左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标进行畸变校正。
4.根据权利要求1所述的基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，还包括：
利用基于单目视觉的圆形目标定位算法设定所述空间圆形目标的初始位姿信息。
5.根据权利要求1至4任一项所述的基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，还包括：
获取左、右相机拍摄的空间圆形目标图像。
6.根据权利要求1至4任一项所述的基于双目逆投影变换的圆形目标位姿测量方法，其特征在于，还包括：
设置空间圆形目标位姿表达形式；
获取所述空间圆形目标的真实半径以及左、右相机的位姿。
7.一种基于双目逆投影变换的圆形目标位姿测量装置，其特征在于，包括：
椭圆轮廓特征检测模块，分别对左、右相机拍摄的空间圆形目标图像进行椭圆轮廓特征检测得到对应的椭圆轮廓像素坐标；具体为：利用图像分割技术将椭圆特征在左右图像中的位置切割出来作为感兴趣区域，使得所述感兴趣区域去除噪声和无关干扰信息；使用自适应Canny算法对所述感兴趣区域提取边缘点信息，对提取到的边缘点信息进行筛选，提取出没有分支的边缘，去除过短弧段；使用自适应多边形逼近算法逼近弧段边缘；使用基于曲率和凸性的方法进行分割以得到有效的椭圆弧段，每条有效弧段包含若干离散椭圆像素点集ulj、urj；
逆投影模块，分别将左、右相机拍摄的空间圆形目标图像对应的椭圆轮廓像素坐标逆投影至空间中，构建从相机光心出发经过椭圆轮廓像平面坐标指向空间圆形目标轮廓世界坐标的特征向量；具体为：设左相机光心位于Ol，相机位姿为
Figure FDA0003685657910000051
θl＝[θlx,θly,θlz]T表示左相机的姿态相对于世界坐标系的姿态，R(θl)表示左相机坐标系相对于所述世界坐标系的旋转矩阵；Pj为所述世界坐标系下圆形目标轮廓空间点，其齐次坐标为
Figure FDA0003685657910000052
非齐次坐标为
Figure FDA0003685657910000053
Pj投影至左相机图像中对应的像素坐标
Figure FDA0003685657910000054
利用透视投影成像模型计算为：
Figure FDA0003685657910000055
其中，
Figure FDA0003685657910000056
分别表示圆第j个空间点在相机坐标系和所述世界坐标系中的齐次坐标，
Figure FDA0003685657910000057
表示从第j个圆空间点到左相机图像的透视投影变换矩阵，
Figure FDA0003685657910000061
表示与左相机投影坐标相关的畸变参数矩阵，定义如下：
Figure FDA0003685657910000062
其中fl u和fl v表示以像素为单位的相机焦距，
Figure FDA0003685657910000063
为图像主点坐标，△ulj表示由于径向畸变、偏心畸变和薄透镜畸变引起的投影点偏移量在像素坐标系u方向的分量，△vlj为表示由于径向畸变、偏心畸变和薄透镜畸变引起的投影点偏移量在像素坐标系v方向的分量，
Figure FDA0003685657910000064
为考虑畸变影响的空间圆投影像素坐标，进行畸变矫正后目标圆投影像素坐标
Figure FDA0003685657910000065
计算为：
Figure FDA0003685657910000066
其中，
Figure FDA0003685657910000067
表示左相机图像主点的坐标，△ulj＝[△ulj △vlj 0]T表示畸变偏移矩阵，diag(fl u fl v 1)表示对角矩阵，R(θl)简写为Rl，
Figure FDA0003685657910000068
和
Figure FDA0003685657910000069
分别表示左相机坐标系相对于世界坐标系的旋转矩阵和平移向量，
Figure FDA00036856579100000610
表示空间圆在左相机坐标系下的Z坐标；
用经过畸变矫正后的圆形目标投影像素坐标
Figure FDA00036856579100000611
减图像主点坐标
Figure FDA00036856579100000612
得到以像平面坐标系原点为参考原点的像素坐标：
Figure FDA00036856579100000613
ulj表示在左相机图像检测获取的实际椭圆特征点像素坐标，对应着在左相机视角下目标圆经过透视投影方程得到的像素坐标
Figure FDA00036856579100000614
将检测到的目标圆特征点像素坐标ulj经过畸变矫正后替换
Figure FDA00036856579100000615
得到以像平面坐标系原点为参考原点的左相机椭圆特征点像素坐标
Figure FDA00036856579100000616
定义
Figure FDA0003685657910000071
为从左相机光心出发经过第j个左相机图像椭圆特征点像平面坐标，指向空间圆形目标轮廓的单位方向向量，则
Figure FDA0003685657910000072
表示为：
Figure FDA0003685657910000073
其中Rl代表从世界坐标系到左相机坐标系的旋转矩阵，
Figure FDA0003685657910000074
代表左相机图像中第j个椭圆特征点像素坐标
Figure FDA0003685657910000075
dx,dy分别代表左相机的单位像素在像素坐标系u轴、v轴方向所占的物理尺寸，f代表相机的焦距，fl u＝f/dx,fl v＝f/dy分别代表焦距f在像素坐标系u轴、v轴的比例因子；求得从右相机光心出发经过第j个右相机图像椭圆特征点像平面坐标，指向空间圆形目标轮廓的单位方向向量
Figure FDA0003685657910000076
根据所述特征向量、所述空间圆形目标的初始位姿信息以及左、右相机的位姿得到重建的空间圆形目标轮廓特征的世界坐标；具体为：定义
Figure FDA0003685657910000077
代表左相机坐标系相对于所述世界坐标系的平移向量，也就是左相机坐标系原点在所述世界坐标系下的三维坐标，那么圆形目标轮廓的世界坐标必然处在从相机光心出发经过图像椭圆特征像平面坐标的空间射线上，根据定义的单位方向向量
Figure FDA0003685657910000078
空间圆形目标轮廓的世界坐标表示为：
Figure FDA0003685657910000079
其中λj为从左相机光心出发经过第j个左图像椭圆特征点像平面坐标指向目标圆圆周坐标的向量的长度，变量λj的求法如下：
根据“圆形目标轮廓平面中的任一向量与圆形目标法线垂直”这一特性，得到以下正交向量内积方程：
Figure FDA00036856579100000710
从而得到λj的显式表达式：
Figure FDA00036856579100000711
将λj带入得：
Figure FDA00036856579100000712
根据左相机的世界坐标、在左相机图像中的椭圆轮廓像素坐标、空间圆初始位姿信息重建出目标圆轮廓在世界坐标系下的坐标；根据右相机的世界坐标、在右相机图像中的椭圆轮廓像素坐标、空间圆初始位姿信息重建出目标圆轮廓在世界坐标系下的坐标；
残差函数构造模块，根据所述重建出的空间圆形目标的轮廓的半径与圆形目标的真实半径之差构造残差函数；具体为：假设r0为真实的圆半径，根据上述重建出的目标圆圆周在世界坐标系下的坐标，利用目标圆心到空间圆形目标轮廓上任一点的距离等于半径长度这一特性，建立以下非线性残差函数：
Figure FDA0003685657910000081
根据右相机的位姿、右相机图像上的椭圆特征点像素坐标、空间圆初始位姿信息重建出目标圆圆周在世界坐标系下的坐标，并建立以下非线性函数：
Figure FDA0003685657910000082
则圆形目标在空间中的位姿测量问题被归纳为一个关于优化逆投影误差的非线性最小二乘问题，最小化逆投影空间圆形目标轮廓点与圆心的距离和圆形目标实际半径的差；定义为：
Figure FDA0003685657910000083
其中n、m分别代表从左、右相机图像中的椭圆轮廓特征点的数目；x，y，z，φ，ψ代表在迭代求解过程中确定目标圆位姿的5个自变量即圆心的世界坐标[x，y，z]T和偏航角φ、滚转角ψ；
模型解析模块，根据所述残差函数构建优化模型并求解得到所述空间圆形目标的最优位姿参数；具体为：采用Levenberg-Marquardt算法求解此最小二乘问题，迭代求解此问题获取空间圆的最佳位姿。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的基于双目逆投影变换的圆形目标位姿测量方法的步骤。
CN202110351864.8A 2021-03-31 2021-03-31 基于双目逆投影变换的圆形目标位姿测量方法和装置 Active CN113052905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351864.8A CN113052905B (zh) 2021-03-31 2021-03-31 基于双目逆投影变换的圆形目标位姿测量方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351864.8A CN113052905B (zh) 2021-03-31 2021-03-31 基于双目逆投影变换的圆形目标位姿测量方法和装置

Publications (2)

Publication Number Publication Date
CN113052905A CN113052905A (zh) 2021-06-29
CN113052905B true CN113052905B (zh) 2022-07-19

Family

ID=76516821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351864.8A Active CN113052905B (zh) 2021-03-31 2021-03-31 基于双目逆投影变换的圆形目标位姿测量方法和装置

Country Status (1)

Country Link
CN (1) CN113052905B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822934B (zh) * 2021-09-13 2022-08-02 中国人民解放军63920部队 基于逆投影的多特征融合视觉定位方法
CN115493499B (zh) * 2021-12-30 2024-04-19 北京航天飞行控制中心 一种圆柱体或类圆柱体的装配方法及系统
CN114596355B (zh) * 2022-03-16 2024-03-08 哈尔滨工业大学 一种基于合作目标的高精度位姿测量方法及系统
CN114842091B (zh) * 2022-04-29 2023-05-23 广东工业大学 一种双目鸡蛋尺寸流水线测定方法
CN115439630B (zh) * 2022-08-04 2024-04-19 思看科技(杭州)股份有限公司 标记点拼接方法、摄影测量方法、装置和电子装置
CN117974793B (zh) * 2024-03-28 2024-06-25 广东电网有限责任公司佛山供电局 单目螺母6d姿态的估计方法、估计装置和姿态管理系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105509733B (zh) * 2015-11-30 2018-04-06 上海宇航系统工程研究所 非合作空间圆目标的相对位姿测量方法
CN106815872B (zh) * 2017-01-06 2020-04-28 芜湖瑞思机器人有限公司 基于圆锥投影变换的单目视觉空间定位方法
CN109470170B (zh) * 2018-12-25 2020-01-07 山东大学 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及系统
CN110390696A (zh) * 2019-07-03 2019-10-29 浙江大学 一种基于图像超分辨率重建的圆孔位姿视觉检测方法
CN112381880A (zh) * 2020-11-27 2021-02-19 航天科工智能机器人有限责任公司 一种基于圆特征的双目视觉位姿估计方法

Also Published As

Publication number Publication date
CN113052905A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052905B (zh) 基于双目逆投影变换的圆形目标位姿测量方法和装置
CN109711486A (zh) 基于相位相关的高重叠度遥感影像满度连接点匹配方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Martins et al. Monocular camera calibration for autonomous driving—a comparative study
CN108447092B (zh) 视觉定位标识物的方法及装置
Tahri et al. Efficient iterative pose estimation using an invariant to rotations
JP2006515422A (ja) 小さい対象物の表面再構成のための較正ソフトウェア
Beermann et al. Calibration routine for a telecentric stereo vision system considering affine mirror ambiguity
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
JP7111183B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム
CN109920008B (zh) 自标定测距误差的修正方法、装置与自动驾驶系统
Stevenson et al. Nonparametric correction of distortion
Hannemose et al. Superaccurate camera calibration via inverse rendering
CN115661226A (zh) 镜面物体的三维测量方法、计算机可读存储介质
CN115631245A (zh) 一种校正方法、终端设备及存储介质
CN114332239A (zh) 一种五轴运动平台的运动学参数辨识方法和系统
CN113592958A (zh) 一种基于单目视觉的auv对接坞站光学引导方法
Ireta Muñoz et al. Point-to-hyperplane ICP: fusing different metric measurements for pose estimation
Comport et al. Efficient model-based tracking for robot vision
CN112907669A (zh) 基于共面特征点的相机位姿测量方法及装置
CN112633043A (zh) 一种车道线确定方法、装置、电子设备及存储介质
CN110706289A (zh) 姿态测量方法及装置
CN117906529B (zh) 倾斜空间平面自动平衡方法、装置、电子设备及存储介质
US20120274810A1 (en) Inverse star tracker using psuedo-random overlapping circles
Adil et al. Investigation of stereo camera calibration based on Python

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant