CN113870366B - 基于位姿传感器的三维扫描系统的标定方法及其标定系统 - Google Patents

基于位姿传感器的三维扫描系统的标定方法及其标定系统 Download PDF

Info

Publication number
CN113870366B
CN113870366B CN202111208027.6A CN202111208027A CN113870366B CN 113870366 B CN113870366 B CN 113870366B CN 202111208027 A CN202111208027 A CN 202111208027A CN 113870366 B CN113870366 B CN 113870366B
Authority
CN
China
Prior art keywords
coordinate system
calibration
camera
pose sensor
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111208027.6A
Other languages
English (en)
Other versions
CN113870366A (zh
Inventor
张洪宇
吕源治
沙欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202111208027.6A priority Critical patent/CN113870366B/zh
Publication of CN113870366A publication Critical patent/CN113870366A/zh
Application granted granted Critical
Publication of CN113870366B publication Critical patent/CN113870366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提出一种基于位姿传感器的三维扫描系统的标定方法及其标定系统；本发明提出的标定系统，包括：存储器和处理器；存储器存储有代码，处理器被配置为获取代码，并执行本发明提出的基于位姿传感器的三维扫描系统的标定方法。本发明可实现三维扫描系统中位姿传感器与相机系统的变换关系标定，使三维扫描系统可通过位姿传感器实时获知自身位置和角度，进而使三维扫描系统在扫描过程中不必在被扫描物体表面粘贴标志点或者设置外部定位系统。

Description

基于位姿传感器的三维扫描系统的标定方法及其标定系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于位姿传感器的三维扫描系统的标定方法及其标定系统。
背景技术
长久以来，对真实物体几何尺寸的精确测量主要采用依赖于游标卡尺、千分尺、角度尺等测量工具的接触式人工测量方式，而这种测量方式无法测量形状不规则的物体表面，并且对于文物古迹等要求非接触的测量对象也存在技术瓶颈。
随着计算机视觉技术的发展以及新技术新需求的驱动，三维扫描系统成为非接触式测量的重要手段，被广泛应用于工业设计领域的辅助制造与检验、医疗领域的手术定位与康复、游戏娱乐领域的实景建模与仿真以及考古领域的遗址保护与复原等。
三维扫描系统在进行数据采集与三维模型重构时，需要实时获知三维扫描系统自身的位置和角度变化，从而将扫描数据融合至同一坐标系下，实现被扫描物体的三维重构，目前现有的三维扫描系统实时获知自身位置和角度变化的几种方法如下：
1、在被扫描物体上粘贴标志点，则三维扫描系统可以实时获取标志点的三维空间坐标，而标志点相对被扫描物体是不动的，因此可以实时推算出三维扫描系统相对初始状态的位置和角度变化，实现三维扫描系统相对被扫描物体位置和角度变化的实时获取；该方法为目前三维扫描系统主要使用的方法，该方法定位精度高、实时性好，但在被扫描物体表面粘贴外来物，对扫描物体表面有一定程度的影响，会缺失被标志点覆盖的表面数据，特别对一些不允许表面粘贴的物品，更将无法完成扫描；
2、在三维扫描系统的外部结构上设计复杂的编码结构、编码图案等特征，同时设立一个固定的外部双目采集定位系统，用以识别三维系统的外部结构上的特征，从而计算得到三维扫描系统的位置和角度，在使用时，三维扫描系统需要始终工作于外部双目采集定位系统的视场范围内；该方法同样可以实现较高的定位精度和实时性，但复杂的编码结构、编码图案等特征的加入，高精度的外部双目采集定位系统，大大增加了设备成本，并且使用过程引入场地因素影响，整个系统需要更大的使用空间。
现有较好的方法为在三维扫描系统中加入位姿传感器，位姿传感器可以实时输出自身当前位置和角度数据，该位置和角度数据如果能被三维扫描系统使用，那么在扫描过程中便可以通过位姿传感器实时获知自身位置和角度变化，而位姿传感器输出位置和角度数据能够被三维扫描系统使用的前提，是位姿传感器坐标系与三维扫描系统中相机坐标系之间转换关系的标定。
发明内容
本发明的目的是为了克服现有技术的缺陷，提出了一种基于位姿传感器的三维扫描系统的标定方法及其标定系统。
为实现上述目的，本发明采用以下具体技术方案：
本发明提出的基于位姿传感器的三维扫描系统的标定方法，其中三维扫描系统包括：相机组和位姿传感器；
相机组用于对待测目标进行扫描和成像；位姿传感器用于实时输出自身在三维空间中的位置和角度数据；相机组与位姿传感器保持位置和角度相对固定；相机组包括至少两台相机；
该标定方法包括如下步骤：
S1、设立并固定标定板；针对每一台相机分别建立相机坐标系，并任选相机组中任意一台相机为基准相机，以基准相机的相机坐标系为基准相机坐标系；建立标定板坐标系、位姿传感器坐标系和世界坐标系；
S2、移动基于位姿传感器的三维扫描系统，使得相机组及位姿传感器与标定板的相对位置和/或相对角度发生变化，相对位置和/或相对角度每改变一次，相机组对标定板拍摄一次标定板图像，同时位姿传感器输出自身在三维空间中的位置和角度数据，记为位姿数据；标定板图像与位姿数据组成一组标定数据；
S3、重复步骤S2，获取N组标定数据；
S4、根据N组标定数据中的N个标定板图像，相机组进行内部标定，获得相机各自的内部参数、畸变系数及外部参数；
S5、根据基准相机以及相机组中其它相机的外部参数，计算得到基准相机坐标系与其它相机的相机坐标系之间的变换关系，将其它相机的相机坐标系统一至基准相机坐标系，并采用Newton迭代法或LM迭代法，将基准相机分别与其它相机进行标定参数全局优化；
S6、根据N组标定数据以及基准相机坐标系与其它相机的相机坐标系之间的变换关系，并结合标定板坐标系和世界坐标系，计算得到基准相机坐标系与位姿传感器坐标系之间的变换关系，完成基于位姿传感器的三维扫描系统的标定。
优选地，建立世界坐标系的过程如下：以位姿传感器输出的三维空间坐标与角度都为0的位置点作为世界坐标系的原点；世界坐标系的X轴、Y轴和Z轴分别平行于位姿传感器坐标系的X轴、Y轴和Z轴。
优选地，N≥10。
优选地，在相机组对标定板拍摄标定板图像时，标定板处于相机组的景深范围内，且处于相机组的公共视场中。
优选地，标定板上设有已知位置的特征点；标定板图像为包括特征点的图像；
在步骤S4中，相机组进行内部标定的过程如下：根据N组标定数据中的N个标定板图像，相机组中多台相机分别提取N个标定板图像中的特征点的二维图像坐标，根据已知的特征点在标定板坐标系下的三维坐标，利用张正友标定法，完成相机组中多台相机各自的自身标定，获得多台相机各自的内部参数、畸变系数及外部参数。
优选地，在步骤S5中，根据基准相机以及相机组中其它相机的外部参数，计算基准相机坐标系与其它相机的相机坐标系之间的变换关系的过程如下：
基准相机的一组外部参数包含旋转矩阵R1和平移矩阵T1，相机组中任意一台相机的一组外部参数包含旋转矩阵R 2和平移矩阵T2，根据公式：计算得到基准相机坐标系与该台相机的相机坐标系之间的变换关系，其中R和T分别为变换关系中的旋转矩阵和平移矩阵。
优选地，在步骤S6中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程包括如下步骤：
S601、计算得到标定板坐标系到基准相机坐标系的变换矩阵，同时计算得到位姿传感器坐标系到世界坐标系的变换矩阵；其中，
针对每一组标定数据，均根据三角测量原理计算得到特征点在基准相机坐标系下的空间坐标，结合已知的特征点在标定板坐标系下的三维坐标，计算得到标定板坐标系到基准相机坐标系的变换矩阵camHcal，其中，左上标cam代表基准相机坐标系，右下标cal代表标定板坐标系；同时，根据同一组标定数据中的位姿数据以及世界坐标系与位姿传感器坐标系之间的对应关系，计算得出位姿传感器坐标系到世界坐标系的变换矩阵worldHsensor，其中，左上标world代表世界坐标系，右下标sensor代表位姿传感器坐标系；
S602、根据N组标定数据，任取两个标定数据为一对，建立个变换等式，求解变换等式，得到基准相机坐标系与位姿传感器坐标系之间的转换矩阵，确定基准相机坐标系与位姿传感器坐标系之间的变换关系。
优选地，在步骤S602中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程如下：
标定板坐标系到基准相机坐标系的变换矩阵camHcal，通过基准相机坐标系到位姿传感器坐标系的变换矩阵sensorHcam以及位姿传感器坐标系到世界坐标系的变换矩阵worldHsensor的两次变换，变换成标定板坐标系到世界坐标系的变换矩阵worldHcal，变换过程写成如下等式形式：
worldHcal＝worldHsensor·sensorHcam·camHcal，
其中，变换矩阵sensorHcam的左上标sensor代表位姿传感器坐标系，右下标cam代表基准相机坐标系，变换矩阵worldHcal的左上标world代表世界坐标系，右下标cal代表标定板坐标系；
针对每一对标定数据，建立两组不同的变换过程，并将两组变换过程联立，获得如下式所示的变换等式：
其中，i∈[1，N-1]，j∈[i+1，N]；
进一步整理得到：
其中，是变换矩阵/>的逆矩阵，/>是变换矩阵/>的逆矩阵；
令
X＝sensorHcam，则个变换等式变为如下形式的方程组：
A·X＝X·B；
求解A·X＝X·B方程组中的X，计算得出基准相机坐标系与位姿传感器坐标系之间的转换矩阵。
本发明提出的基于位姿传感器的三维扫描系统的标定系统，包括：存储器和处理器；存储器存储有代码，处理器被配置为获取代码，并执行本发明提出的基于位姿传感器的三维扫描系统的标定方法。
本发明能够取得以下技术效果：
1、本发明方法实现了三维扫描系统中多目相机的联合优化标定，以及基准相机坐标系与位姿传感器坐标系之间的变换关系标定；
2、本发明方法通过位姿传感器实时获知的三维扫描系统自身位置和角度，避免了三维扫描系统在扫描过程中在被扫描物体表面粘贴标志点或者设置外部定位系统的复杂行为；
3、本发明方法在一次性采集完足够多的标定板图像和位姿传感器数据后，便可快速完成三维扫描系统中多目相机的标定以及多目相机与位姿传感器之间坐标系变换关系的标定。
附图说明
图1是根据本发明实施例的基于位姿传感器的三维扫描系统的标定方法的流程图；
图2是根据本发明实施例的基于位姿传感器的三维扫描系统的结构示意图。
其中的附图标记包括：基准相机1、位姿传感器2、其他相机3、标定板4。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
下面结合图1到图2对本发明的具体工作方式进行详细说明：
图2示出了在本发明的一个实施例中，基于位姿传感器的三维扫描系统的具体结构(P1和P2代表采样时相机组的两个不同位置)。
本发明提出一种基于位姿传感器的三维扫描系统的标定方法，如图2所示，其中基于位姿传感器的三维扫描系统包括：相机组和位姿传感器2；
相机组用于对待测目标进行扫描和成像；相机组包括至少两台相机。
如图2所示，在本发明的一个实施例中，相机组包括两台相机(P1和P2代表采样时相机组的两个不同位置)。
位姿传感器2用于实时输出自身在三维空间中的位置和角度数据。通常位姿传感器2输出的数据为位姿传感器坐标系在世界坐标系下的位置和角度，也就是三维空间坐标和欧拉角，三维空间坐标是位姿传感器坐标系到世界坐标系的平移矩阵，通过欧拉角转换旋转矩阵的变换公式，得到位姿传感器坐标系到世界坐标系的旋转矩阵，二者共同构成位姿传感器坐标系到世界坐标系的变换矩阵。
相机组与位姿传感器2保持位置和角度的相对固定。
在本发明的一个实施例中，相机组与位姿传感器2通过具体机械结构来固定，保持了位置和角度的相对固定。
在本发明的一个实施例中，位姿传感器2包含三轴陀螺仪、三轴加速度计；在本发明的一个另实施例中，位姿传感器2包含三轴电子罗盘、三轴速度计等运动传感器。
需要说明的是：在本发明中，位姿传感器2的安装位置不限于图2中所示的位置，位姿传感器2的安装位置可根据实际使用需求情况灵活设置；例如，位姿传感器2的安装位置可以是相机组的上方位置，也可以是在相机组中任意两个相机的中间位置。
图1示出了基于位姿传感器的三维扫描系统的标定方法具体流程；
如图1所示，本发明提出的基于位姿传感器的三维扫描系统的标定方法，包括如下步骤：
S1、设立并固定标定板4；针对每一台相机分别建立相机坐标系，并任选相机组中任意一台相机为基准相机1，以基准相机1的坐标系为基准相机坐标系；建立标定板坐标系、位姿传感器坐标系和世界坐标系。
标定板4用于辅助扫描以及获取相机组中各台相机的内部参数及畸变系数等参数。
在本发明中，基准相机1选定任意一台相机即可，没有任何选定基准相机1的要求。在本发明中，选定不同的基准相机1对本发明的计算结果及准确度没有影响。
建立世界坐标系的过程如下：以位姿传感器2输出的三维空间坐标与角度都为0的位置点为世界坐标系的原点，以分别平行于位姿传感器坐标系的X轴、Y轴和Z轴的方向为世界坐标系的X轴、Y轴和Z轴。
值得说明的是：在本发明中，标定板坐标系、相机坐标系、位姿传感器坐标系，都是直角坐标系；
标定板坐标系的设定不唯一，可以是以标定板4一角为坐标原点，垂直于标定板4平面为Z轴方向，以标定板4的一条边设定为X轴方向，以另一条边根据右手定则设定Y轴方向；
相机坐标系以光心为坐标原点，光轴为Z轴建立，通常相机坐标系X轴Y轴设定为与CCD的X轴Y轴平行；
位姿传感器坐标系以传感器中心为坐标原点，垂直于传感器的安装平面的法线设定为Z轴，在安装平面满足右手定则设定X轴和Y轴；
在本发明中，除相机坐标系设定是本领域公认的，且通常将相机的光心设为原点以外，其它坐标系具体设定在哪，并不具体影响本发明的效果，只要这些坐标系存在，且使用过程中能够给出坐标系下的数据参考即可。
S2、移动基于位姿传感器的三维扫描系统，使得相机组及位姿传感器2与标定板4的相对位置和/或相对角度发生变化，相对位置和/或相对角度每改变一次，相机组对标定板4拍摄一次标定板图像，同时位姿传感器2输出自身在三维空间中的位置和角度数据，记为位姿数据；标定板图像与位姿数据组成一组标定数据。
在相机组对标定板4拍摄标定板图像时，标定板4处于相机组的景深范围内，且处于相机组的公共视场中，保证了相机组拍摄的标定板图像的清晰度，同时采集的标定数据越多，标定的结果越精确。
标定板4上设有已知位置的特征点；标定板图像中包括特征点的图像。
值得注意的是，相机组及位姿传感器2与标定板4的相对位置和/或相对角度发生变化的具体意思如下：相机组及位姿传感器2与标定板4的相对位置发生变化、相机组及位姿传感器2与标定板4的相对角度发生变化、相机组及位姿传感器2与标定板4的相对位置和相对角度发生变化，在以上三种情况下，相机组均可对标定板4拍摄一次标定板图像；因此在本发明中，相机组及位姿传感器2与标定板4的相对位置和相对角度的改变是随意的，不是两者一定都要改变才可以拍摄一次标定板图像。
S3、重复步骤S2，获取N组标定数据；N不小于10。
S4、根据N组标定数据中的N个所述标定板图像，相机组进行内部标定，获得相机各自的内部参数、畸变系数及外部参数。
在步骤S4中，相机组进行内部标定的过程如下：根据N组标定数据中的N个标定板图像，多台相机分别提取N个标定板图像中的特征点的二维图像坐标，根据已知的特征点在标定板坐标系下的三维坐标，利用张正友标定法(现有技术)，多台相机各自完成自身标定，获得多台相机各自的内部参数、畸变系数及外部参数。
S5、根据基准相机1以及其它相机的外部参数，计算得到基准相机坐标系与其它相机坐标系之间的变换关系，将其它相机坐标系统一至基准相机坐标系，并采用Newton迭代法(现有技术)或LM迭代法(现有技术)，将基准相机1分别与其它相机进行标定参数全局优化。
标定参数全局的优化一方面提高了相机的内部参数、畸变系数的精度，另一方面也提高了基准相机坐标系与其它相机坐标系之间转换关系的准确性。
在步骤S5中，计算基准相机坐标系与其它相机坐标系之间变换关系的过程如下：
根据N组标定数据中的N个标定板图像，得到N组基准相机坐标系以及其它相机坐标系对于标定板坐标系的旋转平移矩阵；
基准相机1的一组外部参数包含旋转矩阵R1和平移矩阵T1，相机组中任意一台其他相机3的一组外部参数包含旋转矩阵R 2和平移矩阵T2，根据公式：计算得到基准相机坐标系与另一台其他相机3坐标系之间的变换关系，其中R和T分别为所述变换关系中的旋转矩阵和平移矩阵；
以此类推计算得到基准相机坐标系与全部其它相机坐标系之间变换关系。
S6、根据N组标定数据以及基准相机坐标系与其它相机坐标系之间的变换关系，计算得到基准相机坐标系与位姿传感器坐标系之间的变换关系，完成基于位姿传感器的三维扫描系统的标定。
在步骤S6中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程包括如下步骤：
S601、计算得到标定板坐标系到基准相机坐标系的变换矩阵，同时计算得到位姿传感器坐标系到世界坐标系的变换矩阵；
针对每一组标定数据，均根据三角测量原理(现有技术)计算得到特征点在基准相机坐标系下的空间坐标，结合已知的特征点在标定板坐标系下的三维坐标，计算得到标定板坐标系到基准相机坐标系的变换矩阵canHcal，其中，左上标cam代表基准相机坐标系，右下标cal代表标定板坐标系；同时，根据同一组标定数据中的位姿数据以及世界坐标系与位姿传感器坐标系之间的数学关系，计算得出位姿传感器坐标系到世界坐标系的变换矩阵worldHsensor，其中，左上标world代表世界坐标系，右下标sensor代表位姿传感器坐标系；
S602、根据N组标定数据，任取两个标定数据为一对，建立个变换等式，求解变换等式，得到基准相机坐标系与位姿传感器坐标系之间的转换矩阵，确定基准相机坐标系与位姿传感器坐标系之间的变换关系；
具体计算过程如下：
标定板坐标系到基准相机坐标系的变换矩阵camHcal，通过基准相机坐标系到位姿传感器坐标系的变换矩阵sensorHcam以及位姿传感器坐标系到世界坐标系的变换矩阵worldHsensor的两次变换，变换成标定板坐标系到世界坐标系的变换矩阵worldHcal，变换过程写成如下等式形式：
worldHcal＝worldHsensor·sensorHcam·camHcal，
其中，变换矩阵sensorHcam的左上标sensor代表位姿传感器坐标系，右下标cam代表基准相机坐标系，变换矩阵worldHcal的左上标world代表世界坐标系，右下标cal代表标定板坐标系；
针对每一对标定数据，建立两组不同的变换过程，并将两组变换过程联立，获得如下式所示的变换等式：
其中，i∈[1，N-1]，j∈[i+1，N]；
进一步整理得到：
其中，是变换矩阵/>的逆矩阵，/>是变换矩阵/>的逆矩阵；
令
X＝sensorHcam，则个变换等式变为如下形式的方程组：
A·X＝X·B；
求解A·X＝X·B方程组中的X，计算得出基准相机坐标系与位姿传感器坐标系之间的转换矩阵。
计算得到基于位姿传感器的三维扫描系统中基准相机坐标系与位姿传感器坐标系之间的转换矩阵，完全确定了三维扫描系统中相机组与位姿传感器的坐标系变换关系，使得在三维扫描系统工作中，可以精确快速的通过位姿传感器2实时得出自身位置和角度，避免了三维扫描系统在扫描过程中需要在被扫描物体表面粘贴标志点或者设置外部定位系统。
关于A·X＝X·B方程组中的X的求解，有如下很多经典的解算方法(现有技术)：
1、旋转和平移分步法求解包括：Y.C.Shiu和S.Ahmad的方法Calibration ofWrist-Mounted Robotic Sensors by Solving Homogeneous Transform Equations ofthe Form AX＝XB，R.Y.Tsai和R.K.Lenz的方法A New Technique for Fully Autonomousand Efficient 3D Robotics Hand/Eye Calibration，F.C.Park和B.J.Martin的方法Robot Sensor Calibration:Solving AX＝XB on the Euclidean Group等；
2、旋转和平移同时计算法求解包括：N.Andreff,R.Horaud,B.Espiau的方法On-line Hand-Eye Calibration，K.Daniildis和E.Bayro-Corrochano的方法The dualquaternion approach to hand-eye calibration等。
需要说明的是，以上方法均可根据实际具体的需要，灵活运用于本发明方法中。
本发明提出的基于位姿传感器的三维扫描系统的标定系统，包括：存储器和处理器；存储器存储有代码，处理器被配置为获取代码，并执行本发明提出的基于位姿传感器的三维扫描系统的标定方法。
综上所述，本发明提出了一种基于位姿传感器的三维扫描系统的标定方法及其标定系统，本发明可实现三维扫描系统中位姿传感器2与相机系统的变换关系标定，使三维扫描系统可通过位姿传感器2实时获知自身位置和角度，进而使三维扫描系统在扫描过程中不必在被扫描物体表面粘贴标志点或者设置外部定位系统。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种基于位姿传感器的三维扫描系统的标定方法，其中所述三维扫描系统包括：相机组和位姿传感器；
所述相机组用于对待测目标进行扫描和成像；所述位姿传感器用于实时输出自身在三维空间中的位置和角度数据；所述相机组与所述位姿传感器保持位置和角度相对固定；所述相机组包括至少两台相机；
其特征在于，所述标定方法包括如下步骤：
S1、设立并固定标定板；针对每一台相机分别建立相机坐标系，并任选所述相机组中任意一台相机为基准相机，以所述基准相机的相机坐标系为基准相机坐标系；建立标定板坐标系、位姿传感器坐标系和世界坐标系；
S2、移动所述基于位姿传感器的三维扫描系统，使得所述相机组及所述位姿传感器与所述标定板的相对位置和/或相对角度发生变化，所述相对位置和/或相对角度每改变一次，所述相机组对所述标定板拍摄一次标定板图像，同时所述位姿传感器输出自身在三维空间中的位置和角度数据，记为位姿数据；所述标定板图像与所述位姿数据组成一组标定数据；
S3、重复步骤S2，获取N组标定数据；
S4、根据所述N组标定数据中的N个所述标定板图像，所述相机组进行内部标定，获得所述相机各自的内部参数、畸变系数及外部参数；
S5、根据所述基准相机以及所述相机组中其它相机的外部参数，计算得到所述基准相机坐标系与其它相机的相机坐标系之间的变换关系，将其它相机的相机坐标系统一至所述基准相机坐标系，并采用Newton迭代法或LM迭代法，将所述基准相机分别与其它相机进行标定参数全局优化；
在S5中，根据所述基准相机以及所述相机组中其它相机的外部参数，计算所述基准相机坐标系与其它相机的相机坐标系之间的变换关系的过程如下：
所述基准相机的一组外部参数包含旋转矩阵R1和平移矩阵T1，所述相机组中任意一台相机的一组外部参数包含旋转矩阵R2和平移矩阵T2，根据公式：计算得到所述基准相机坐标系与该台相机的相机坐标系之间的变换关系，其中R和T分别为所述变换关系中的旋转矩阵和平移矩阵；
S6、根据所述N组标定数据以及所述基准相机坐标系与其它相机的相机坐标系之间的变换关系，并结合所述标定板坐标系和所述世界坐标系，计算得到所述基准相机坐标系与所述位姿传感器坐标系之间的变换关系，完成基于位姿传感器的三维扫描系统的标定；
在S6中，计算所述基准相机坐标系与所述位姿传感器坐标系之间的变换关系的过程包括如下步骤：
S601、计算得到所述标定板坐标系到所述基准相机坐标系的变换矩阵，同时计算得到所述位姿传感器坐标系到所述世界坐标系的变换矩阵；其中，
针对每一组所述标定数据，均根据三角测量原理计算得到特征点在所述基准相机坐标系下的空间坐标，结合已知的所述特征点在所述标定板坐标系下的三维坐标，计算得到所述标定板坐标系到所述基准相机坐标系的变换矩阵，其中，左上标cam代表所述基准相机坐标系，右下标cal代表所述标定板坐标系；同时，根据同一组所述标定数据中的所述位姿数据以及所述世界坐标系与所述位姿传感器坐标系之间的对应关系，计算得出所述位姿传感器坐标系到所述世界坐标系的变换矩阵/>，其中，左上标world代表所述世界坐标系，右下标sensor代表所述位姿传感器坐标系；
S602、根据所述N组标定数据，任取两个所述标定数据为一对，建立个变换等式，求解所述变换等式，得到所述基准相机坐标系与所述位姿传感器坐标系之间的转换矩阵，确定所述基准相机坐标系与所述位姿传感器坐标系之间的变换关系。
2.如权利要求1所述的基于位姿传感器的三维扫描系统的标定方法，其特征在于，建立所述世界坐标系的过程如下：以所述位姿传感器输出的三维空间坐标与角度都为0的位置点作为所述世界坐标系的原点；所述世界坐标系的X轴、Y轴和Z轴分别平行于所述位姿传感器坐标系的X轴、Y轴和Z轴。
3.如权利要求1所述的基于位姿传感器的三维扫描系统的标定方法，其特征在于，N≥10。
4.如权利要求1所述的基于位姿传感器的三维扫描系统的标定方法，其特征在于，在所述相机组对所述标定板拍摄标定板图像时，所述标定板处于所述相机组的景深范围内，且处于所述相机组的公共视场中。
5.如权利要求1所述的基于位姿传感器的三维扫描系统的标定方法，其特征在于，所述标定板上设有已知位置的特征点；所述标定板图像为包括所述特征点的图像；
在步骤S4中，所述相机组进行内部标定的过程如下：根据所述N组标定数据中的N个所述标定板图像，所述相机组中多台相机分别提取N个所述标定板图像中的特征点的二维图像坐标，根据已知的所述特征点在所述标定板坐标系下的三维坐标，利用张正友标定法，完成所述相机组中多台相机各自的自身标定，获得多台所述相机各自的内部参数、畸变系数及外部参数。
6.如权利要求5所述的基于位姿传感器的三维扫描系统的标定方法，其特征在于，在步骤S602中，计算所述基准相机坐标系与所述位姿传感器坐标系之间的变换关系的过程如下：
所述标定板坐标系到所述基准相机坐标系的变换矩阵，通过所述基准相机坐标系到所述位姿传感器坐标系的变换矩阵/>以及所述位姿传感器坐标系到所述世界坐标系的变换矩阵/>的两次变换，变换成所述标定板坐标系到所述世界坐标系的变换矩阵/>，变换过程写成如下等式形式：
，
其中，所述变换矩阵的左上标sensor代表所述位姿传感器坐标系，右下标cam代表所述基准相机坐标系，所述变换矩阵/>的左上标world代表所述世界坐标系，右下标cal代表所述标定板坐标系；
针对每一对标定数据，建立两组不同的变换过程，并将两组变换过程联立，获得如下式所示的变换等式：
其中，i∈[1，N-1]，j∈[i+1，N]；
进一步整理得到：
，
其中，是所述变换矩阵/>的逆矩阵，/>是所述变换矩阵/>的逆矩阵；
令A=，B=/>，X=/>，则所述/>个变换等式变为如下形式的方程组：
A·X=X·B；
求解A·X=X·B方程组中的X，计算得出所述基准相机坐标系与所述位姿传感器坐标系之间的转换矩阵。
7.一种基于位姿传感器的三维扫描系统的标定系统，其特征在于，包括：存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至5中任一项所述的基于位姿传感器的三维扫描系统的标定方法。
CN202111208027.6A 2021-10-18 2021-10-18 基于位姿传感器的三维扫描系统的标定方法及其标定系统 Active CN113870366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111208027.6A CN113870366B (zh) 2021-10-18 2021-10-18 基于位姿传感器的三维扫描系统的标定方法及其标定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111208027.6A CN113870366B (zh) 2021-10-18 2021-10-18 基于位姿传感器的三维扫描系统的标定方法及其标定系统

Publications (2)

Publication Number Publication Date
CN113870366A CN113870366A (zh) 2021-12-31
CN113870366B true CN113870366B (zh) 2024-04-02

Family

ID=78999950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111208027.6A Active CN113870366B (zh) 2021-10-18 2021-10-18 基于位姿传感器的三维扫描系统的标定方法及其标定系统

Country Status (1)

Country Link
CN (1) CN113870366B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485479B (zh) * 2022-01-17 2022-12-30 吉林大学 基于双目相机和惯性导航的结构光扫描测量方法及系统
CN116897300A (zh) * 2022-02-10 2023-10-17 华为技术有限公司 一种标定方法及装置
CN114758016B (zh) * 2022-06-15 2022-09-13 超节点创新科技(深圳)有限公司 摄像设备标定方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN111811462A (zh) * 2020-06-01 2020-10-23 广州航海学院 极端环境下大构件便携式视觉测距系统及方法
CN112212784A (zh) * 2020-09-01 2021-01-12 长春工程学院 一种点激光位移传感器与双目相机坐标融合的方法及系统
CN113483669A (zh) * 2021-08-24 2021-10-08 凌云光技术股份有限公司 一种基于立体靶标的多传感器位姿标定方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109655024B (zh) * 2019-01-24 2020-05-19 大连理工大学 采用空间变换技术的位移传感器外部参数标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN111811462A (zh) * 2020-06-01 2020-10-23 广州航海学院 极端环境下大构件便携式视觉测距系统及方法
CN112212784A (zh) * 2020-09-01 2021-01-12 长春工程学院 一种点激光位移传感器与双目相机坐标融合的方法及系统
CN113483669A (zh) * 2021-08-24 2021-10-08 凌云光技术股份有限公司 一种基于立体靶标的多传感器位姿标定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机器人三维激光扫描视觉系统标定误差;齐立哲;汤青;贠超;王京;甘中学;机械工程学报;20110705;第47卷(第13期);全文 *

Also Published As

Publication number Publication date
CN113870366A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN113532311B (zh) 点云拼接方法、装置、设备和存储设备
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN101876532B (zh) 测量系统中的摄像机现场标定方法
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN106959075B (zh) 利用深度相机进行精确测量的方法和系统
US11328478B2 (en) System and method for efficient 3D reconstruction of objects with telecentric line-scan cameras
CN108648237A (zh) 一种基于视觉的空间定位方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN111515950B (zh) 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN110419208B (zh) 成像系统、成像控制方法、图像处理设备和计算机可读介质
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN112792814B (zh) 基于视觉标志的机械臂零点标定方法
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN114332191A (zh) 三维点云误差补偿方法及装置
CN116051659A (zh) 一种线阵相机与2d激光扫描仪联合标定方法
CN115546289A (zh) 一种基于机器人的复杂结构件三维形貌测量方法
CN114519748A (zh) 四足机器人的腿足运动学标定方法、系统、设备及介质
CN112857328B (zh) 一种无标定摄影测量方法
CN109342008B (zh) 基于单应性矩阵的风洞试验模型迎角单相机视频测量方法
CN113052974A (zh) 物体三维表面的重建方法和装置
CN114663520A (zh) 一种超大范围视觉测量的双相机联合标定方法及系统
Wojnarowski et al. Photogrammetric technology for remote high-precision 3D monitoring of cracks and deformation joints of buildings and constructions
Zou et al. Flexible Extrinsic Parameter Calibration for Multicameras With Nonoverlapping Field of View

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant