CN114596341A - 面向大视场运动目标的多相机高精度三维位姿跟踪方法 - Google Patents

面向大视场运动目标的多相机高精度三维位姿跟踪方法 Download PDF

Info

Publication number
CN114596341A
CN114596341A CN202210151263.7A CN202210151263A CN114596341A CN 114596341 A CN114596341 A CN 114596341A CN 202210151263 A CN202210151263 A CN 202210151263A CN 114596341 A CN114596341 A CN 114596341A
Authority
CN
China
Prior art keywords
camera
dimensional
checkerboard
optimization
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210151263.7A
Other languages
English (en)
Inventor
李维诗
薛安
张瑞
张进
夏豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210151263.7A priority Critical patent/CN114596341A/zh
Publication of CN114596341A publication Critical patent/CN114596341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向大视场运动目标的多相机高精度三维位姿跟踪方法。首先标定得到各相机的内、外参数，求得棋盘格上各角点的三维坐标初值；然后以标准棋盘格作为约束，对相机内参数做空间局部光束法平差优化；再以空间局部优化后的相机内参数作为约束，对棋盘格上角点的三维坐标初值做光束法平差优化。本发明对相机内参数的优化不受被测目标位置变化的影响，可以提高被测目标的空间定位精度。

Description

面向大视场运动目标的多相机高精度三维位姿跟踪方法
技术领域
本发明涉及几何量测量技术领域，尤其涉及一种基于多相机的大视场运动目标的高精度三维位姿跟踪方法。
背景技术
在工业生产中，常需要对运动目标的三维位姿实现高精度跟踪。在航空制造业中，飞机大部件自动对接装配时需对大部件进行实时跟踪，飞机蒙皮钻铆时需对钻枪实时跟踪。在光笔式坐标测量系统中，需对光笔位姿进行测量。在复杂曲面测量技术中，可以采用三维扫描测量机器人与视觉跟踪系统结合的方式，此时需对三维扫描测头的位姿进行实时跟踪，其测量结果的精度高度依赖于对三维扫描测头位姿的高精度实时跟踪。多相机视觉测量技术常应用于大视场环境中对运动目标的高精度位姿跟踪测量。
在测量过程中，常在被测运动目标表面贴有编码标志点用于匹配和重建。因此，对标志点的精确测量将直接影响测头跟踪精度。为提高精度，采用基于共线方程的光束法平差对三维重建得到的坐标初值进行优化，以获得更高精度的标志点空间三维坐标值。但上述方法在实际使用中存在如下缺点：
(1)基于光束法平差的重建算法精度对标定得到的相机内、外参数的精度依赖较高。采用传统相机标定方法得到的相机内参数是全局最优解，但并非不同空间位置处的局部最优解，使得系统在不同空间位置中的重建精度并非最优；因此使用传统方法标定得到的相机内参数有待局部优化；
(2)三维重建的坐标初值是由相机内、外参数计算得到的，存在误差传递，根据传统的光束法平差思想，将相机内、外参数和三维重建的坐标初值同时优化不合理。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种基于多相机的大视场运动目标的高精度三维位姿跟踪方法，以标准棋盘格作为空间局部约束条件，计算空间局部最优的相机内参数；以优化后的相机内参数作为约束，对被测角点的三维坐标进一步优化，得到较高精度的被测角点空间三维坐标值，实现空间局部测量精度的提高。
本发明是通过以下技术方案实现的：
一种面向大视场运动目标的多相机高精度三维位姿跟踪方法，具体包括以下步骤：
(1)、在被测运动物体表面装配可被识别的标准棋盘格；
(2)、经过标定得到m台相机各自的内参数初值，依次记作Ci1，Ci2，...，Cim，标定得到m台相机之间的外参数初值，依次记作Ce1，Ce2，...，Cem；
(3)、经过图像处理和多相机三维重建算法，求得棋盘格上n个角点在世界坐标系下的三维坐标初值，依次记作Pw1，Pw2，...，Pwn；
(4)、利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化；
(5)、利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化。
步骤(4)所述的利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化，具体包括如下步骤：
(4a)将n个角点在棋盘格坐标系下的空间三维坐标值依次记作Qc1，Qc2，...，Qcn，将其转换为在世界坐标系下的空间三维坐标值，依次记作Qw1，Qw2，...，Qwn；
(4b)基于共线方程，计算得到第i个角点Qwi在第j台相机的成像平面上的重投影像点像素坐标为qij(uqij，vqij)；
(4c)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标qij(uqij，vqij)间的欧氏距离
Figure BDA0003507301190000021
即为重投影误差；
(4d)将n个角点在m台相机中的总重投影误差
Figure BDA0003507301190000022
作为第一步光束法平差优化的目标函数；
(4e)将棋盘格上n个角点在世界坐标系下的空间三维点坐标Qw1，Qw2，...，Qwn作为最优化算法的约束量，基于上述目标函数，采用LM(Levenberg-Marquardt)算法，对步骤(2)中标定得的m台相机的内参数初值Ci1，Ci2，...，Cim进行迭代优化，得到在空间局部位置处较高精度的各相机内参数优化值，依次记作Ci1′，Ci2′，...，Cim′。
步骤(5)所述的利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化，具体过程如下：
(5a)根据步骤(3)中求得的三维坐标初值Pw1，Pw2，...，Pwn，基于共线方程，计算得到第i个角点Pwi在第j个相机的成像平面上的重投影像点像素坐标为pij′(upij′，vpij′)，其中1≤i≤n，1≤j≤m；
(5b)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标pij′(upij′，vpij′)间的欧氏距离
Figure BDA0003507301190000031
即为重投影误差；
(5c)将n个角点在m台相机中的总重投影误差
Figure BDA0003507301190000032
作为第二步光束法平差优化的目标函数；
(5d)将步骤(4)局部处优化后精度较高的相机内参数Ci1′，Ci2′，...，Cim′作为最优化算法的约束量，基于上述目标函数，采用LM算法，对步骤(3)中求得的被测棋盘格上的n个角点的三维坐标初值Pw1，Pw2，...，Pwn进行迭代优化，得到在该局部处精度较高的三维坐标值依次记作Pw1′，Pw2′，...，Pwn′，即为最终结果。
本发明的优点是：本发明算法可以针对被测物点所在的位置对相机标定的内方位元素的初值做局部优化，提高相机在局部的测量精度；本发明对相机内参数的优化不受被测物点位置变化的影响，可实现自适应效果，可以提高被测物点的空间定位精度。
附图说明
图1为本发明的方法流程图。
图2为装有标准棋盘格和编码标志点的测头整体示意图。
图3为配有4种编码标志点的标准棋盘格方案示意图。
具体实施方式
如图1所示，一种面向大视场运动目标的多相机高精度三维位姿跟踪方法的流程图，该方法包括下列顺序的步骤：
(1)、在被测运动物体表面装配可被识别的标准棋盘格，如图2、3所示；
(2)、经过初步标定得到多台相机之间的外参数初值和各台相机自身的内参数初值；
(3)、经过图像处理和多相机三维重建算法，求得棋盘格上多个角点在世界坐标系下的三维坐标初值；
(4)、利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化；
(5)、利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化。
现结合附图和具体实施例对本发明进一步详细的说明。
实施例一
本实施例是在大尺寸测量中使用多相机视觉跟踪系统对运动的扫描测头的跟踪。具体包括以下步骤：
步骤(1)：在扫描测头表面装配可被识别的标准棋盘格，如图2、3所示；
步骤(2)：经过标定得到m台相机各自的内参数初值，依次记作Ci1，Ci2，...，Cim，标定得到m台相机之间的外参数初值，依次记作Ce1，Ce2，...，Cem；
步骤(3)：经过图像处理和多相机三维重建算法，求得棋盘格上n个角点在世界坐标系下的三维坐标初值三维坐标初值，依次记作Pw1，Pw2，...，Pwn；
步骤(4)：利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化：
(4a)将n个角点在棋盘格坐标系下的空间三维坐标值依次记作Qc1，Qc2，...，Qcn，将其转换为在世界坐标系下的空间三维坐标值，依次记作Qw1，Qw2，...，Qwn；
(4b)基于共线方程，计算得到第i个角点Qwi在第j台相机的成像平面上的重投影像点像素坐标为qij(uqij，vqij)；
(4c)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标qij(uqij，vqij)间的欧氏距离
Figure BDA0003507301190000041
即为重投影误差；
(4d)将n个角点在m台相机中的总重投影误差
Figure BDA0003507301190000042
作为第一步光束法平差优化的目标函数；
(4e)将棋盘格上n个角点在世界坐标系下的空间三维点坐标Qw1，Qw2，...，Qwn作为最优化算法的约束量，基于上述目标函数，采用LM(Levenberg-Marquardt)算法，对步骤(2)中标定得的m台相机的内参数初值Ci1，Ci2，...，Cim进行迭代优化，得到在空间局部位置处较高精度的各相机内参数优化值，依次记作Ci1′，Ci2′，...，Cim′。
步骤(5)：利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化：
(5a)根据步骤(3)中求得的三维坐标初值Pw1，Pw2，...，Pwn，基于共线方程，可计算得到第i个角点Pwi在第j个相机的成像平面上的重投影像点像素坐标为pij′(upij′，vpij′)，其中1≤i≤n，1≤j≤m；
(5b)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标pij′(upij′，vpij′)间的欧氏距离
Figure BDA0003507301190000051
即为重投影误差；
(5c)将n个角点在m台相机中的总重投影误差
Figure BDA0003507301190000052
作为第二步光束法平差优化的目标函数；
(5d)将步骤(4)局部处优化后精度较高的相机内参数Ci1′，Ci2′，...，Cim′作为最优化算法的约束量，基于上述目标函数，采用LM算法，对步骤(3)中求得的被测棋盘格上的n个角点的三维坐标初值Pw1，Pw2，...，Pwn进行迭代优化，得到在该局部处精度较高的三维坐标值，依次记作Pw1′，Pw2′，...，Pwn′，即为最终结果。
以上实施方式仅用于说明本发明，而非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (3)

1.一种面向大视场运动目标的多相机高精度三维位姿跟踪方法，其特征在于：具体包括以下步骤：
(1)、在被测运动物体表面装配可被识别的标准棋盘格；
(2)、经过标定得到m台相机各自的内参数初值，依次记作Ci1，Ci2，...，Cim，标定得到m台相机之间的外参数初值，依次记作Ce1，Ce2，...，Cem；
(3)、经过图像处理和多相机三维重建算法，求得棋盘格上n个角点在世界坐标系下的三维坐标初值，依次记作Pw1，Pw2，...，Pwn；
(4)、利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化；
(5)、利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化。
2.根据权利要求1所述的一种面向大视场运动目标的多相机高精度三维位姿跟踪方法，其特征在于：步骤(4)所述的利用标准棋盘格角点坐标，对相机内参数做空间局部光束法平差优化，具体包括如下步骤：
(4a)将n个角点在棋盘格坐标系下的空间三维坐标值，依次记作Qc1，Qc2，...，Qcn，将其转换为在世界坐标系下的空间三维坐标值，依次记作Qw1，Qw2，...，Qwn；
(4b)基于共线方程，计算得到第i个角点Qwi在第j台相机的成像平面上的重投影像点像素坐标为qij(uqij，vqij)；
(4c)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标qij(uqij，vqij)间的欧氏距离
Figure FDA0003507301180000011
即为重投影误差；
(4d)将n个角点在m台相机中的总重投影误差
Figure FDA0003507301180000012
作为第一步光束法平差优化的目标函数；
(4e)将棋盘格上n个角点在世界坐标系下的空间三维点坐标Qw1，Qw2，...，Qwn作为最优化算法的约束量，基于上述目标函数，采用LM(Levenberg-Marquardt)算法，对步骤(2)中标定得的m台相机的内参数初值Ci1，Ci2，...，Cim进行迭代优化，得到在空间局部位置处较高精度的各相机内参数优化值，依次记作Ci1′，Ci2′，...，Cim′。
3.根据权利要求2所述的一种面向大视场运动目标的多相机高精度三维位姿跟踪方法，其特征在于：步骤(5)所述的利用空间局部优化后的相机内参数，对棋盘格上角点的空间三维坐标做光束法平差优化，具体过程如下：
(5a)根据步骤(3)中求得的三维坐标初值Pw1，Pw2，...，Pwn，基于共线方程，计算得到第i个角点Pwi在第j个相机的成像平面上的重投影像点像素坐标为pij′(upij′，vpij′)，其中1≤i≤n，1≤j≤m；
(5b)原像点像素坐标pij(upij，vpij)与重投影像点像素坐标pij′(upij′，vpij′)间的欧氏距离
Figure FDA0003507301180000021
即为重投影误差；
(5c)将n个角点在m台相机中的总重投影误差
Figure FDA0003507301180000022
作为第二步光束法平差优化的目标函数；
(5d)将步骤(4)局部处优化后精度较高的相机内参数Ci1′，Ci2′，...，Cim′作为最优化算法的约束量，基于上述目标函数，采用LM算法，对步骤(3)中求得的被测棋盘格上的n个角点的三维坐标初值Pw1，Pw2，...，Pwn进行迭代优化，得到在该局部处精度较高的三维坐标值，依次记作Pw1′，Pw2′，...，Pwn′，即为最终结果。
CN202210151263.7A 2022-02-16 2022-02-16 面向大视场运动目标的多相机高精度三维位姿跟踪方法 Pending CN114596341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210151263.7A CN114596341A (zh) 2022-02-16 2022-02-16 面向大视场运动目标的多相机高精度三维位姿跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210151263.7A CN114596341A (zh) 2022-02-16 2022-02-16 面向大视场运动目标的多相机高精度三维位姿跟踪方法

Publications (1)

Publication Number Publication Date
CN114596341A true CN114596341A (zh) 2022-06-07

Family

ID=81804570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210151263.7A Pending CN114596341A (zh) 2022-02-16 2022-02-16 面向大视场运动目标的多相机高精度三维位姿跟踪方法

Country Status (1)

Country Link
CN (1) CN114596341A (zh)

Similar Documents

Publication Publication Date Title
CN111505606B (zh) 多相机与激光雷达系统相对位姿检校方法及装置
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
US8520067B2 (en) Method for calibrating a measuring system
CN108362266B (zh) 一种基于ekf激光测距辅助单目视觉测量方法和系统
CN109559354B (zh) 测量塔架净空的方法以及装置
US6504957B2 (en) Method and apparatus for image registration
CN111531547B (zh) 一种基于视觉测量的机器人标定及检测方法
CN108662987B (zh) 2d摄像式激光测量头的标定方法
CN109493389B (zh) 一种基于深度学习的相机标定方法及系统
CN111191625A (zh) 一种激光-单目视觉融合的物体识别与定位方法
CN106457562A (zh) 用于校准机器人的方法和机器人系统
CN108871373B (zh) 一种基于俯仰滚转台和非线性优化的星敏感器标定方法
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN113763479B (zh) 一种折反射全景相机与imu传感器的标定方法
CN113375594B (zh) 飞机蒙皮型面数字化检测方法
CN113267180B (zh) 一种基于3d深度视觉的agv叉车托盘定位及叉取方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN114092563A (zh) 一种基于t-mac的摄影测量光束法平差优化方法
CN112116665B (zh) 一种结构光传感器标定方法
Jaw et al. Feature-based registration of terrestrial lidar point clouds
CN113096047A (zh) 广义云驱动与辐射协同遥感影像几何精校正方法及系统
CN114596341A (zh) 面向大视场运动目标的多相机高精度三维位姿跟踪方法
CN114663520A (zh) 一种超大范围视觉测量的双相机联合标定方法及系统
CN111595289A (zh) 一种基于图像处理的三维角度测量系统及方法
Di Leo et al. Uncertainty of line camera image based measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination