CN114037768A - 一种多套跟踪式扫描仪联合标定的方法和装置 - Google Patents

一种多套跟踪式扫描仪联合标定的方法和装置 Download PDF

Info

Publication number
CN114037768A
CN114037768A CN202111627406.9A CN202111627406A CN114037768A CN 114037768 A CN114037768 A CN 114037768A CN 202111627406 A CN202111627406 A CN 202111627406A CN 114037768 A CN114037768 A CN 114037768A
Authority
CN
China
Prior art keywords
tracking
straight rod
scanners
calibration
calibration straight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111627406.9A
Other languages
English (en)
Inventor
徐玉凯
李仲平
李洲强
李仁举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tenyoun 3d Tianjin technology Co ltd
Original Assignee
Tenyoun 3d Tianjin technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tenyoun 3d Tianjin technology Co ltd filed Critical Tenyoun 3d Tianjin technology Co ltd
Priority to CN202111627406.9A priority Critical patent/CN114037768A/zh
Publication of CN114037768A publication Critical patent/CN114037768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种多套跟踪式扫描仪联合标定的方法和装置,包括:获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;根据各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各跟踪式扫描仪之间的初始旋转平移矩阵;对初始旋转平移矩阵进行优化,获取各跟踪式扫描仪之间的目标旋转平移矩阵。通过本申请的技术方案,继承了跟踪式扫描技术无需粘贴标记点即可扫描的独特优势,在多套拍照式扫描仪组合扫描测量被测工件过程中,无需移动扫描仪便可获取多套跟踪式扫描仪扫描视场的叠加扩展,有效提高了跟踪式扫描仪扫描范围和扫描效率,特别适用于大尺寸工件自动化检测领域。

Description

一种多套跟踪式扫描仪联合标定的方法和装置
技术领域
本申请涉及视觉测量技术领域,尤其涉及一种多套跟踪式扫描仪联合标定的方法和装置。
背景技术
随着工业技术的快速发展,人们对于视觉测量系统提出了更高的要求。跟踪式扫描仪作为重要的大尺寸空间测量基准,在零部件几何量检测、产品装配、智能制造装备等方面有较为广泛的应用。对于内部结构复杂、体积庞大的被测产品,单套跟踪式扫描仪已经难以独立完成测量任务,而需要架设多套扫描仪配合进行组合测量才能得到被测产品更加完整的信息。通过多套跟踪式扫描仪配合使用不仅可以有效扩大测量范围,还能够提高视觉测量效率。然而,多套扫描仪组合测量的精度不仅取决于单套扫描仪的测量精度,还取决于各套扫描仪之间的坐标统一化精度。
目前,针对多套跟踪式扫描仪联合使用的方式,可以采用全局标定框架的方式进行扫描数据的坐标统一。其中全局框架的主要实现方式是根据测量需求制作全局框架,在全局框架上粘贴标志点,采用摄影测量系统拍摄框架上所有标志点的坐标值,将框架推入到多套跟踪式扫描仪的扫描视场内,然后所有的跟踪式扫描仪同时拍摄全局框架进行多套标定,实现坐标系统一。但是此方式需要根据被测工件制作不同的全局框架,成本较高,通用性不强。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供一种多套跟踪式扫描仪联合标定的方法和装置,能够有效提高跟踪式扫描仪扫描范围和扫描效率,标定操作简便,通用性强。
第一方面,本申请提供了一种多套跟踪式扫描仪联合标定的方法,包括:
获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;
根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵;
对所述初始旋转平移矩阵进行优化,获取所述各跟踪式扫描仪之间的目标旋转平移矩阵。
在一些实施例中,还包括:获取标定直杆表面标志点在基准坐标系下的三维坐标真值;
所述获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像包括:获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值;
所述根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵,包括:根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值,确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵;
对所述初始旋转平移矩阵进行残差优化,获取所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
在一些实施例中,获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值,包括:
获取各跟踪式扫描仪的相机内外参;
获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的二维坐标观测值;
根据标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的标志点二维坐标观测值及各跟踪式扫描仪的相机内外参,确定标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值。
在一些实施例中,根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值,确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵,包括:
根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值中标志点的对应性,确定各所述跟踪式扫描仪各自拍摄坐标系与基准坐标系的旋转平移矩阵;
根据各所述跟踪式扫描仪各自拍摄坐标系与基准坐标系的旋转平移矩阵确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵。
在一些实施例中,获取各跟踪式扫描仪的相机内外参,包括:
获取标定板的标准标定图像数据;
通过跟踪式扫描仪获取多组不同方位的标定板图像数据,根据所述多组不同方位的标定板图像数据与所述标准标定图像数据,确定跟踪式扫描仪的相机内外参。
在一些实施例中,获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值,包括:
获取标定直杆在一位姿下其中一端表面标志点在至少一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值;
获取标定直杆在该所述位姿下另一端表面标志点在至少另一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值。
在一些实施例中,所述对所述初始旋转平移矩阵进行优化,包括:
获取所述标定直杆中任意两标志点之间的距离真值及对应的距离观测值,所述任意两标志点的一个标志点位于标定直杆的一端、另一个标志点位于标定直杆的另一端;
计算所述距离真值与对应的所述距离观测值之间的残差;
获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的像点;
获取标定直杆表面标志点在基准坐标系下的三维坐标真值,根据各跟踪式扫描仪的拍摄坐标系与基准坐标系的旋转平移关系,转换三维坐标真值到各跟踪式扫描仪的拍摄坐标系下并根据各跟踪式扫描仪的相机内外参得到各所述跟踪式扫描仪相机成像平面的反投影点;
计算所述像点的二维坐标值与对应的所述反投影点的二维坐标值之间的残差;
根据所述距离真值与对应的所述距离观测值之间的残差,以及所述像点的二维坐标值与对应的所述反投影点的二维坐标值之间的残差对所述初始旋转平移矩阵进行残差优化,确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
在一些实施例中,所述根据所述残差对所述初始旋转平移矩阵进行残差优化,确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵,包括:借助ceres优化算法,循环求解残差方程,直至计算得到的残差能够满足预设的局部残差阈值或者迭代次数达到设定的最大迭代次数,以确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
在一些实施例中,所述残差方程满足如下公式:
Figure 116268DEST_PATH_IMAGE001
Figure 630426DEST_PATH_IMAGE002
Figure 494477DEST_PATH_IMAGE003
其中,a代表反投影坐标值的优化权重;b代表标定直杆中任意两表面标志点之间 的距离值的优化权重;re0代表标定直杆表面任意两标志点之间的距离值的残差,re1代表 标定直杆表面任意标志点在任意跟踪式扫描仪相机成像平面的像点与反投影点在成像平 面X轴上的距离值的残差,re2代表标定直杆表面任意标志点在任意跟踪式扫描仪相机成像 平面的像点与反投影点在成像平面Y轴上的距离值的残差;N为跟踪式扫描仪拍摄图像的总 帧数,M为跟踪式扫描仪的个数,K为标定直杆一端表面标志点的数量;i表示跟踪式扫描仪 拍摄的图像帧序号;j表示跟踪式扫描仪的序号;k表示标定直杆表面标志点的序号;
Figure 761379DEST_PATH_IMAGE004
函数代表标定直杆表面任意标志点的三维坐标真值在任意跟踪式扫描仪相机成像平面的 反投影点的二维坐标值;
Figure 318262DEST_PATH_IMAGE005
Figure 54137DEST_PATH_IMAGE006
为初始标定直杆姿态与第 帧图像中标定直杆姿态 之间的旋转平移矩阵;
Figure 577708DEST_PATH_IMAGE008
Figure 305493DEST_PATH_IMAGE009
为基准坐标系和第j个跟踪式扫描仪拍摄坐标系之 间的旋转平移矩阵;
Figure 528663DEST_PATH_IMAGE010
是通过第j个跟踪式扫描仪获取的第i帧图像重建出的标定直杆 上第k个标志点的三维坐标观测值,
Figure 734517DEST_PATH_IMAGE011
是对应第j个跟踪式扫描仪获取的第i帧图像中标 定直杆上第k个标志点的三维坐标真值;
Figure 710432DEST_PATH_IMAGE012
Figure 609118DEST_PATH_IMAGE013
为对应标定直杆第k个标志点在第j 个跟踪式扫描仪获取的第i帧图像的中的像点的二维坐标值。
第二方面,本申请还提供一种多套跟踪式扫描仪联合标定的装置,包括:
不同位姿标定直杆图像获取模块,用于获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;
初始旋转平移矩阵确定模块,用于根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵;
目标旋转平移矩阵确定模块,用于对所述初始旋转平移矩阵进行优化,获取所述各跟踪式扫描仪之间的目标旋转平移矩阵。
本申请实施例提供的技术方案相对于现有技术的有益效果:
本申请提供了一种多套跟踪式扫描仪联合标定的方法和装置,包括:获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;根据各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各跟踪式扫描仪之间的初始旋转平移矩阵;对初始旋转平移矩阵进行优化,获取各跟踪式扫描仪之间的目标旋转平移矩阵。由此,在多套跟踪式扫描仪组合测量过程中,通过变换标定直杆多个位姿,以获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的标定直杆图像;通过建立上述多组标定直杆图像之间的对应关系,获取各跟踪式扫描仪之间的初始旋转平移矩阵;基于残差优化算法对各跟踪式扫描仪之间初始旋转平移矩阵存在的偏差进行补偿,以获取各跟踪式扫描仪之间的目标旋转平移矩阵,从而实现多套跟踪式扫描仪之间的坐标统一。该联合标定方法无需移动扫描仪便可获取多套跟踪式扫描仪扫描视场的叠加扩展,能够有效提高跟踪式扫描仪扫描范围和扫描效率;此外,标定操作简便,通用性强,特别适用于大尺寸工件自动化检测领域。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多套跟踪式扫描仪联合标定方法的具体流程示意图;
图2为本申请实施例提供的另一种多套跟踪式扫描仪联合标定方法的具体流程示意图;
图3为本申请实施例提供的一种获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值的具体流程示意图;
图4为本申请实施例提供的一种确定各跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵的具体流程示意图;
图5为本申请实施例提供的一种多套跟踪式扫描仪获取标定直杆图像结构示意图;
图6为本申请实施例提供的一种获取各跟踪式扫描仪的相机内外参的具体流程示意图;
图7为本申请实施例提供的一种跟踪式扫描仪拍摄标定板图像结构示意图;
图8为本申请实施例提供的一种对初始旋转平移矩阵进行优化的具体流程示意图;
图9为本申请实施例提供的一种多套跟踪式扫描仪联合标定装置组成图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面将结合附图和实施例对本申请的方案作进一步的详细说明。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但本申请还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种多套跟踪式扫描仪联合标定方法的具体流程示意图,参照图1,该方法包括以下步骤:
S110、获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像。
在获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像时,需要将各跟踪式扫描仪固定于各个测量位置,使各跟踪式扫描仪固定不动且相对位置保持不变。其中,测量位置是指各跟踪式扫描仪在该位置下不仅能够覆盖到测量工件全部扫描检测区域,且两两扫描仪的扫描范围之间具有重叠扫描区域;在变换标定直杆的位姿时,应保证标定直杆处于至少两套跟踪式扫描仪的公共扫描区域内,且标定直杆的一端在至少一套跟踪式扫描仪的视野范围内、另一端在至少另一套跟踪式扫描仪的视野范围内。
由此,通过变换标定直杆的位姿,获取各跟踪式扫描仪在各自拍摄坐标系下,经三维重建得到标定直杆在同一位姿时多个视场方位的图像数据,建立多组不同视场方位下同一标定直杆图像数据之间的对应关系,从而提供多组用以确定各跟踪式扫描仪初始旋转平移矩阵的坐标对应初值。
S120、根据各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各跟踪式扫描仪之间的初始旋转平移矩阵。
需要说明的是,初始旋转平移矩阵包括多套跟踪式扫描仪中两两跟踪式扫描仪的拍摄坐标系之间的旋转平移矩阵。例如,初始坐标转换矩阵包括:第一跟踪式扫描仪拍摄坐标系相对第二跟踪式扫描仪拍摄坐标系之间的旋转平移矩阵、第二跟踪式扫描仪拍摄坐标系相对第三跟踪式扫描仪拍摄坐标系之间的旋转平移矩阵等。
在具体应用中,获取初始旋转平移矩阵的过程包括:选取多套跟踪式扫描仪中任一扫描仪拍摄坐标系作为基准坐标系,将各跟踪式扫描仪在各自拍摄坐标系下所采集的标定直杆图像数据,结合上述基准坐标系下的标定直杆图像数据,基于多个对应标志点进行坐标匹配,用以确定各跟踪式扫描仪的拍摄坐标系相对于基准坐标系之间的坐标转换矩阵,从而依次获取两两跟踪式扫描仪之间的初始旋转平移关系。
S130、对初始旋转平移矩阵进行优化,获取各跟踪式扫描仪之间的目标旋转平移矩阵。
具体地,多套跟踪式扫描仪基于初始旋转平移矩阵的关系,获取标定直杆图像中多个标志点在同一坐标系下的坐标数据,可以根据标定直杆中对应标志点图像的二维观测坐标和三维重建坐标分别与对应标志点图像坐标真值进行匹配,在匹配过程中建立残差优化方程,基于最小二乘法对各跟踪式扫描仪之间的旋转平移关系进行进一步优化,从而获取各跟踪式扫描仪之间的目标旋转平移矩阵。
由此,在多套跟踪式扫描仪组合测量过程中,通过变换标定直杆多个位姿,各跟踪式扫描仪获取在各自拍摄坐标系下的多组标定直杆图像,通过建立上述多组标定直杆图像之间的对应关系,得到各跟踪式扫描仪之间的初始旋转平移矩阵;基于残差优化算法对各跟踪式扫描仪之间的初始旋转平移矩阵存在的偏差进行补偿,获取各跟踪式扫描仪之间的目标旋转平移矩阵,以实现多套跟踪式扫描仪之间的坐标统一。该联合标定方法无需移动扫描仪便可获取多套跟踪式扫描仪扫描视场的叠加扩展,能够有效提高跟踪式扫描仪扫描范围和扫描效率;此外,标定操作简便,通用性强,特别适用于大尺寸工件自动化检测领域。
图2为本申请实施例提供的另一种多套跟踪式扫描仪联合标定方法的具体流程示意图,参照图2,包括S210至S240:
S210、获取标定直杆表面标志点在基准坐标系下的三维坐标真值。
其中,基准坐标系是用以将基于多套跟踪式扫描仪获取的在各自拍摄坐标系下的图像点云数据进行统一的坐标基准。基准坐标系可以是多套跟踪式扫描仪之外的摄影测量设备的拍摄坐标系,该摄影测量设备的拍摄精度高于多套跟踪式扫描仪的拍摄精度。当然,也可不另外选取摄影测量设备,将多套跟踪式扫描仪中的一套的拍摄坐标系作为基准坐标系。
由此,通过摄影测量设备拍摄在不同位姿下的标定直杆表面各标志点,获取在基准坐标系下的标定直杆表面各标志点三维坐标真值,作为后续用以确定各跟踪式扫描仪之间初始旋转平移矩阵的基准三维坐标真值。
S220、获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值。
需要说明的是,在获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆表面标志点的三维坐标观测值时,需要将各跟踪式扫描仪固定于各个测量位置。其中,测量位置是指各跟踪式扫描仪在该位置下不仅能够覆盖到测量工件全部扫描检测区域,且两两扫描仪的扫描范围之间具有重叠扫描区域;此外,在变换标定直杆的不同位姿时,应保证标定直杆处于至少两套跟踪式扫描仪的公共扫描区域内。
由此,通过变换标定直杆的位姿,获取各跟踪式扫描仪在各自拍摄坐标系下,经三维重建得到标定直杆表面标志点在同一位姿时多个视场方位的三维坐标观测值,建立多组不同视场方位下同一标定直杆表面标志点之间的对应关系,从而提供多组用以确定各跟踪式扫描仪之间初始旋转平移矩阵的三维坐标对应初值。
S230、根据标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值,确定各跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵。
需要说明的是,初始旋转平移矩阵包括多套跟踪式扫描仪中两两跟踪式扫描仪的拍摄坐标系之间的旋转平移矩阵。例如,初始坐标转换矩阵包括:第一跟踪式扫描仪拍摄坐标系相对第二跟踪式扫描仪拍摄坐标系的旋转平移矩阵、第二跟踪式扫描仪拍摄坐标系相对第三跟踪式扫描仪拍摄坐标系的旋转平移矩阵等。
在具体应用中,获取初始旋转平移矩阵的过程包括:根据S110步骤中标定直杆在不同位姿下表面标志点在各跟踪式扫描仪拍摄坐标系下的三维坐标观测值和S130步骤中获取标定直杆表面标志点在基准坐标系下的三维坐标真值,基于多个对应标志点之间的坐标对应匹配关系,用以确定各跟踪式扫描仪的拍摄坐标系相对于基准坐标系之间的坐标转换矩阵,从而依次获取两两跟踪式扫描仪之间的初始旋转平移关系,进而确定出确定各跟踪式扫描仪之间的初始旋转平移矩阵。
S240、对初始旋转平移矩阵进行残差优化,获取各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
具体地,多套跟踪式扫描仪基于各跟踪式扫描仪之间的初始旋转平移矩阵,获取标定直杆图像中多个标志点在基准坐标系下的三维坐标数据,以标定直杆表面对应标志点的二维坐标和三维重建坐标为确定值,建立残差方程,对各跟踪式扫描仪间的旋转平移关系进行进一步优化,从而获取各跟踪式扫描仪之间的目标旋转平移矩阵。
图3为本申请实施例提供的一种获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值的具体流程示意图,参照图3,该方法包括以下步骤:
S310、获取各跟踪式扫描仪的相机内外参。
其中,跟踪式扫描仪中包含左右两个相机,相机内部参数包括相机自身特性相关的参数,例如相机焦距、像素大小等;相机外部参数包括左右相机之间相对位姿转换关系。
需要说明的是,获取各跟踪式扫描仪相机内外参的过程可以包括:变换各跟踪式扫描仪相对于标定板的位置和姿态,同时获取各跟踪式扫描仪在不同方位下的标定板表面标志点坐标,各跟踪式扫描仪根据各自采集的标定板表面标志点坐标信息计算获得相机内部参数;同时,基于每一跟踪式扫描仪中的不同相机同时获取同一标定板表面标志点坐标信息之间的差异,计算获得同一跟踪式扫描仪左右相机之间相对位姿转换关系即相机之间的相对外参。在其他实施方式中,还可采用本领域技术人员可知的其他方式获取上述各拍照式扫描仪的相机内外参数,本申请实施例在此不限定。
S320、获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的二维坐标观测值。
在获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的标志点二维坐标观测值时,需要将各跟踪式扫描仪固定于各个测量位置,使各跟踪式扫描仪固定不动且相对位置保持不变;在变换标定直杆的位姿时,应保证标定直杆处于至少两套跟踪式扫描仪的公共扫描区域内,且标定直杆的一端在至少一套跟踪式扫描仪的视野范围内、另一端在至少另一套跟踪式扫描仪的视野范围内。基于此,通过各跟踪式扫描仪拍摄在不同位姿下标定直杆表面标志点,获取在各相机成像平面中多组标志点的二维坐标观测值,即标志点在相机成像平面的像点的坐标。
可以理解的是,每套跟踪式扫描仪中包含左右两个相机,而相机成像平面包括以每套跟踪式扫描仪左相机像平面中心为坐标原点的成像平面,也包括以每套跟踪式扫描仪右相机像平面中心为坐标原点的成像平面。由此,通过各跟踪式扫描仪拍摄在不同位姿下标定直杆表面的标志点,分别获取得到各跟踪式扫描仪中左右相机成像平面中多组标志点的二维坐标观测值。
S330、根据标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的二维坐标观测值及各跟踪式扫描仪的相机内外参,确定标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值。
具体地,根据各跟踪式扫描仪拍摄获取的左右相机成像平面中多组标志点的二维坐标观测值,利用同一跟踪式扫描仪中左右相机内参以及左右相机之间旋转平移关系(R,T),能够三维重建计算得到在各跟踪式扫描仪拍摄坐标系下对应多组标志点的三维坐标观测值,用以作为后续获取各跟踪式扫描仪之间初始旋转平移矩阵的三维坐标初值。
图4为本申请实施例提供的一种确定各跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵的具体流程示意图,参照图4,该方法包括以下步骤:
S410、根据标定直杆在不同位姿下表面标志点在各跟踪式扫描仪拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值中标志点的对应性,确定各跟踪式扫描仪各自拍摄坐标系与基准坐标系之间的旋转平移矩阵。
由此,结合标定直杆在不同位姿下表面标志点在各跟踪式扫描仪拍摄坐标系下的三维坐标观测值与标定直杆表面标志点在基准坐标系下的三维坐标真值之间的坐标值匹配对应关系,计算得到基准坐标系与各跟踪式扫描仪拍摄坐标系之间的相对位姿关系,用以形成各跟踪式扫描仪的拍摄坐标系与基准坐标系之间的旋转平移矩阵。
S420、根据各跟踪式扫描仪各自拍摄坐标系与基准坐标系的旋转平移矩阵确定各跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵。
基于S410步骤中建立各跟踪式扫描仪的拍摄坐标系与基准坐标系之间的旋转平移矩阵,利用不同跟踪式扫描仪的拍摄坐标系相对于同一基准坐标系之间的坐标转换关系,从而依次建立两两跟踪式扫描仪之间的初始旋转平移关系,进而确定出确定各跟踪式扫描仪之间的初始旋转平移矩阵。
在具体应用中,初始旋转平移矩阵满足如下公式:
Figure 788426DEST_PATH_IMAGE014
其中,
Figure 47238DEST_PATH_IMAGE015
Figure 159551DEST_PATH_IMAGE016
为标定直杆在第i个移动位置相对于基准坐标系下的位姿参数,
Figure 963559DEST_PATH_IMAGE017
Figure 145010DEST_PATH_IMAGE018
表示第j个跟踪式扫描仪的拍摄坐标系相对于基准坐标系的初始旋转平移矩阵,
Figure 692666DEST_PATH_IMAGE019
表示标定直杆在第i个移动位置时第j个跟踪式扫描仪获取的标志点三维坐标值(即三 维坐标观测值),
Figure 393906DEST_PATH_IMAGE020
表示与
Figure 368815DEST_PATH_IMAGE019
为同一标志点在基准坐标系下的三维坐标值(即三维坐标 真值)。
具体地,图5为本申请实施例提供的一种多套跟踪式扫描仪获取标定直杆图像结构示意图。示例性地,如图5所示,在扫描测量视场中并排放置三套跟踪式扫描仪,标定直杆4处于三套跟踪式扫描仪的扫描区域。首先将标定直杆4在跟踪式扫描仪1和跟踪式扫描仪2之间变换多个位姿,跟踪式扫描仪1和跟踪式扫描仪2分别同时获取标定直杆4在各个位姿下图像数据,然后再将标定直杆4在跟踪式扫描仪2和跟踪式扫描仪3之间变换多个位姿,跟踪式扫描仪2和跟踪式扫描仪3分别同时获取标定直杆4在各个位姿下图像数据。由此,结合下述标定算法,对三套跟踪式扫描仪之间的相对位姿参数进行统一标定。
其中,具体的标定算法如下:
Figure 303142DEST_PATH_IMAGE021
式中
Figure 388910DEST_PATH_IMAGE015
Figure 210235DEST_PATH_IMAGE016
用以表达标定直杆在第i个位置相对于基准坐标系的位姿参数,Rc1、 Tc1表示跟踪式扫描仪1的坐标系相对于基准坐标系的变换参数,即标定算法中需要进行求 解的标定参数,
Figure 700971DEST_PATH_IMAGE022
表示跟踪式扫描仪1在第i次拍摄时刻所测得的标记点三维坐标值,其 中
Figure 342168DEST_PATH_IMAGE023
Figure 231626DEST_PATH_IMAGE024
互为对应关系,是基于基准坐标系的对应标记点三维坐标值;
Figure 173037DEST_PATH_IMAGE025
表示跟踪式 扫描仪2在第i次拍摄时刻所测得的标记点三维坐标值,其中
Figure 739017DEST_PATH_IMAGE026
Figure 867510DEST_PATH_IMAGE025
互为对应关系,是 基于基准坐标系的对应标记点三维坐标值;
Figure 560659DEST_PATH_IMAGE027
表示跟踪式扫描仪3在第i次拍摄时刻所测 得的标记点三维坐标值,其中
Figure 605845DEST_PATH_IMAGE028
Figure 359037DEST_PATH_IMAGE027
互为对应关系,是基于基准坐标系的对应标记点 三维坐标值。
图6为本申请实施例提供的一种获取各跟踪式扫描仪的双相机内外参的具体流程示意图,图7为本申请实施例提供的一种跟踪式扫描仪拍摄标定板图像结构示意图,其中包括标定板5和跟踪式扫描仪6;参照图6和图7,该方法包括以下步骤:
S510、获取标定板5的标准标定图像数据。
其中,获取标定板5的标准标定图像数据,可以通过外部的摄影测量设备得到标定板5表面各个标志点的三维坐标信息以及各个标志点间确定的相对位置关系,用以作为后续建立各跟踪式扫描仪之间相对外参时统一的坐标基准。
S520、通过跟踪式扫描仪6获取多组不同方位的标定板图像数据,根据多组不同方位的标定板5图像数据与标准标定图像数据,确定跟踪式扫描仪6的相机内外参。
需要说明的是,跟踪式扫描仪中包含左右两个相机,通过变换跟踪式扫描仪的位姿,确保带有多个标志点的标定板同时处于左右相机的拍摄区域内,利用左右相机分别获得标定板表面标志点的相应坐标值,根据各自采集的标定板表面标志点的相应坐标值计算获得跟踪式扫描仪中左右相机内部参数;根据跟踪式扫描仪中左右相机获得标定板表面标志点的相应坐标值与S510步骤中获取的标准标定图像数据,确定从不同视角获取包含同一场景的两幅图像中标志点的相应坐标值之间的几何转换关系,从而计算获得同一跟踪式扫描仪中左右相机之间相对位姿转换关系即相机之间的相对外参。
在一些实施例中,获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪拍摄坐标系下的三维坐标观测值,包括:
获取标定直杆在一位姿下其中一端表面标志点在至少一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值;获取标定直杆在该位姿下另一端表面标志点在至少另一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值。
具体地,在各跟踪式扫描仪获取不同位姿标定直杆表面各标志点的三维坐标观测值的过程中,只有当标定直杆表面标志点至少被两套跟踪式扫描仪同时所见时,所采集的标定直杆表面标志点三维坐标观测值方能有效;也就是说,如果标定直杆在变换到某个位姿时仅仅被一套跟踪式扫描仪可见,则这个位姿所采集的标定直杆表面标志点三维坐标观测值是无效的。
由此,通过两两跟踪式扫描仪同时采集到在同一位姿时标定直杆表面多个已知三维坐标的标志点,获取在各自拍摄坐标系下的标志点三维坐标观测值,从而建立两两跟踪式扫描仪在同一采集时刻所测得的多个标志点三维坐标观测值之间的对应关系,进而获取两两跟踪式扫描仪之间的相对位姿变换参数,用以实现多套跟踪式扫描仪观测数据间坐标的统一。
图8为本申请实施例提供的一种对初始旋转平移矩阵进行优化的具体流程示意图,参照图8,该方法包括以下步骤:
S610、获取标定直杆中任意两标志点之间的距离真值及对应的距离观测值,任意两标志点的一个标志点位于标定直杆的一端、另一个标志点位于标定直杆的另一端。
具体地,采用外部的摄影测量设备作为基准设备,并利用摄影测量设备对标定直杆表面任意两标志点进行拍摄,其中两标志点的其中一个标志点位于标定直杆的一端、另一个标志点位于标定直杆的另一端,获取标定直杆表面任意两标志点的三维坐标真值,计算得到两标志点之间的距离真值,作为后续对距离观测值进行残差优化的校正基准。同时,通过各跟踪式扫描仪获取标定直杆表面相应两标志点的三维坐标观测值,对应计算得到两标志点之间的距离观测值。
S620、计算距离真值与对应的距离观测值之间的残差。
可以理解的是,根据S610步骤中获取的标定直杆表面任意两标志点的距离真值与对应的距离观测值,计算得到距离真值与对应的距离观测值之间的残差,并以此残差值作为距离残差的初值,用以对各跟踪式扫描仪之间的初始旋转平移矩阵进行残差优化。
S630、获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的像点。
在具体应用中,将各跟踪式扫描仪放置于测量位置,确保标定直杆处于各跟踪式扫描仪的扫描区域内,通过变换标定直杆的位姿,利用各跟踪式扫描仪的左右相机分别从不同视角同时拍摄标定直杆表面各标志点,分别获取各跟踪式扫描仪在各相机成像平面中标定直杆表面各标志点的对应像素点二维坐标观测值。
S640、获取标定直杆表面标志点在基准坐标系下的三维坐标真值,根据各跟踪式扫描仪的拍摄坐标系与基准坐标系的旋转平移关系,转换三维坐标真值到各跟踪式扫描仪的拍摄坐标系下并根据各跟踪式扫描仪的相机内外参得到各跟踪式扫描仪相机成像平面的反投影点。
具体地,通过摄影测量设备对标定直杆表面各标志点进行拍摄,获取标定直杆表面各标志点在基准坐标系下的三维坐标真值,根据各跟踪式扫描仪与基准坐标系之间旋转平移矩阵的逆矩阵以及双相机的内外参,计算得到标定直杆表面各标志点在基准坐标系下的三维坐标真值在各跟踪式扫描仪的拍摄坐标系下的二维反投影坐标值。
S650、计算像点的二维坐标值与对应的反投影点的二维坐标值之间的残差。
在具体应用中,根据S620步骤中各跟踪式扫描仪在各相机成像平面中标定直杆表面各标志点的对应像素点二维坐标观测值和S640步骤中标定直杆表面各标志点在基准坐标系下的三维坐标真值在各跟踪式扫描仪的拍摄坐标系下的二维反投影坐标值,通过对上述两个坐标值进行作差计算,得到二维观测坐标值与对应的二维反投影坐标值之间的残差,并以此残差值作为投影残差的初值,用以对各跟踪式扫描仪之间的初始旋转平移矩阵进行残差优化。
S660、根据距离真值与对应的距离观测值之间的残差,以及像点的二维坐标值与对应的反投影点的二维坐标值之间的残差对初始旋转平移矩阵进行残差优化,确定各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
由此,根据S620步骤中获取距离真值与对应的距离观测值之间的残差和S650步骤中得到二维观测坐标值与对应的二维反投影坐标值之间的残差,建立残差优化方程,对初始旋转平移矩阵进行优化,用以使得上述距离残差及投影残差满足预设残差要求,以获取各跟踪式扫描仪之间的目标旋转平移矩阵。
在一些实施例中,根据残差对初始旋转平移矩阵进行残差优化,确定各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵,包括:借助ceres优化算法,循环求解残差方程,直至计算得到的残差能够满足预设的局部残差阈值或者迭代次数达到设定的最大迭代次数,以确定各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
在具体应用中,根据各跟踪式扫描仪获取的标志点坐标观测值与标志点坐标真值之间的残差构建残差方程,并设置局部残差阈值要求或给定最大迭代优化次数,对所建立的残差方程中包含初始转换矩阵的残差值进行循环迭代计算,直至计算得到的坐标残差能够满足预设的局部残差阈值或者迭代次数达到设定的最大迭代次数;由此,基于对标志点坐标观测值与标志点坐标真值之间的残差优化,实现对初始旋转平移矩阵进行配准从而获得各跟踪式扫描仪之间的目标旋转平移矩阵。
在一些实施例中,残差方程满足如下公式:
Figure 240405DEST_PATH_IMAGE029
Figure 206087DEST_PATH_IMAGE030
Figure 105779DEST_PATH_IMAGE031
其中,a代表反投影坐标值的优化权重;b代表标定直杆中任意两表面标志点之间 的距离值的优化权重;re0代表标定直杆表面任意两标志点之间的距离值的残差,re1代表 标定直杆表面任意标志点在任意跟踪式扫描仪相机成像平面的像点与反投影点在成像平 面X轴上的距离值的残差,re2代表标定直杆表面任意标志点在任意跟踪式扫描仪相机成像 平面的像点与反投影点在成像平面Y轴上的距离值的残差;N为跟踪式扫描仪拍摄图像的总 帧数,M为跟踪式扫描仪的个数,K为标定直杆一端表面标志点的数量;i表示跟踪式扫描仪 拍摄的图像帧序号;j表示跟踪式扫描仪的序号;k表示标定直杆表面标志点的序号;
Figure 29873DEST_PATH_IMAGE032
函数代表标定直杆表面任意标志点的三维坐标真值在任意跟踪式扫描仪相机成像平面的 反投影点的二维坐标值;
Figure 398537DEST_PATH_IMAGE033
Figure 417178DEST_PATH_IMAGE034
为初始标定直杆姿态与第 帧图像中标定直杆姿 态之间的旋转平移矩阵;
Figure 17103DEST_PATH_IMAGE035
Figure 607485DEST_PATH_IMAGE036
为基准坐标系和第j个跟踪式扫描仪拍摄坐标系之 间的旋转平移矩阵;
Figure 429816DEST_PATH_IMAGE010
是通过第j个跟踪式扫描仪获取的第i帧图像重建出的标定直杆 上第k个标志点的三维坐标观测值,
Figure 54832DEST_PATH_IMAGE011
是对应第j个跟踪式扫描仪获取的第i帧图像中标 定直杆上第k个标志点的三维坐标真值;
Figure 320729DEST_PATH_IMAGE012
Figure 398406DEST_PATH_IMAGE013
为对应标定直杆第k个标志点在第j 个跟踪式扫描仪获取的第i帧图像的中的像点的二维坐标值。
由此,通过
Figure 290008DEST_PATH_IMAGE037
函数将第j个跟踪式扫描仪在第i帧图像中重建出的第k个标定 直杆标志点的三维观测值,结合初始旋转平移矩阵进行逆变换,通过反投影计算得到对应 二维观测值的反投影二维坐标值。
可选的,通过跟踪式扫描仪1拍摄标定直杆的一端获取W个标志点,并通过跟踪式扫描仪2拍摄标定直杆2的另一端获取N个标志点;其中W和N的值应均大于或等于3,以满足全等三角形匹配的最小点个数。可以设置标定直杆中任一标志点在跟踪式扫描仪的像平面像点坐标为(u,v),经三维重建获取跟踪式扫描仪拍摄坐标系下的三维观测坐标为(X,Y,Z)。在获取跟踪式扫描仪1拍摄坐标系中W个标志点的三维坐标后,确定出其中各个点与标定直杆上各标志点的对应点,并记录对应标志点编号进行存储;同样地,获取跟踪式扫描仪2拍摄坐标系中N个标志点的三维坐标后,确定出其中各个点与标定直杆上各标志点的对应点,并记录对应标志点编号进行存储。
在具体应用中,跟踪式扫描仪1获取的其中一点在跟踪式扫描仪1拍摄坐标系下(X1,Y1,Z1),并设置编号P1,在标定直杆中对应点P1真值(X1',Y1',Z1');同样地,跟踪式扫描仪2获取的其中一点在跟踪式扫描仪2拍摄坐标系下(X2,Y2,Z2),并设置编号P2,在标定直杆中对应点P2真值(X2',Y2',Z2')。基于此,分别利用获取的跟踪式扫描仪1和跟踪式扫描仪2的初始旋转平移矩阵,将上述拍摄坐标系中的坐标值统一到基准坐标系下,此时在基准坐标系下可以表示为(X1,Y1,Z1)*R1+T1,(X2,Y2,Z2)*R2+T2,其中R1和T1表示跟踪式扫描仪1与基准坐标系的旋转平移矩阵,R2和T2跟踪式扫描仪2与基准坐标系的旋转平移矩阵。
可以理解的是,在变换标定直杆位姿获取标志点图像时,标定直杆所处位姿与初始位姿之间存在旋转平移关系,此时需要利用标定直杆两个位姿之间的旋转平移矩阵再次进行坐标变换,以计算得到编号为P1的三维坐标值[(X1,Y1,Z1)*R1+T1]*R+T和编号为P2的三维坐标值[(X2,Y2,Z2)*R2+T2]*R+T。如果跟踪式扫描仪1获取的编号为P1的三维坐标[(X1,Y1,Z1)*R1+T1]*R+T与跟踪式扫描仪2获取的编号为P2的三维坐标[(X2,Y2,Z2)*R2+T2]*R+T的距离值,满足标定直杆上对应两点的距离值,则对编号为P1和P2的两点坐标进行反投影计算并获取反投影残差。
具体地,将编号为P1的标志点真值(X1',Y1',Z1') 通过反投影计算得到在跟踪式 扫描仪1拍摄坐标系下的三维坐标为[(X2',Y2',Z2')*R'+T']*R1'+T1',进而利用
Figure 503951DEST_PATH_IMAGE037
函 数获取跟踪式扫描仪1的像平面像点坐标为(u111,v111),用于进行后续的跟踪式扫描仪1坐 标残差优化;同样地,将编号为P2的标志点真值(X2',Y2',Z2') 通过反投影计算得到在跟踪 式扫描仪2拍摄坐标系下的三维坐标为[(X2',Y2',Z2')*R'+T']*R2'+T2',进而利用
Figure 940749DEST_PATH_IMAGE037
函数获取跟踪式扫描仪2的像平面像素点坐标为(u121,v121),用于进行后续的跟踪式扫描仪 2坐标残差优化。其中,R1'和T1'表示跟踪式扫描仪1与基准坐标系的旋转平移矩阵的逆矩 阵,R2'和T2'表示跟踪式扫描仪2与基准坐标系的旋转平移矩阵的逆矩阵。
需要说明的是,任意一个跟踪式扫描仪对某一位姿下的标定直杆的标志点进行拍摄,获取得到某一帧标定直杆的标志点图像,坐标残差满足如下公式:
Figure 754990DEST_PATH_IMAGE038
其中,
Figure 669856DEST_PATH_IMAGE039
代表反投影值的优化权重; b代表标定直杆表面任意两标志点之间的距 离值的优化权重;c表示标定直杆表面任意两标志点间的距离真值;
Figure 269465DEST_PATH_IMAGE040
Figure 877164DEST_PATH_IMAGE041
Figure 918981DEST_PATH_IMAGE042
代表上 述获取的[(X1,Y1,Z1)*R1+T1]*R+T对应的三维坐标值,
Figure 637538DEST_PATH_IMAGE043
Figure 91654DEST_PATH_IMAGE044
Figure 870254DEST_PATH_IMAGE045
代表上述获取的 [(X2,Y2,Z2)*R2+T2]*R+T对应的三维坐标值;
Figure 659087DEST_PATH_IMAGE046
Figure 181335DEST_PATH_IMAGE047
代表标定直杆的标志点在左相机的 反投影值;
Figure 489957DEST_PATH_IMAGE048
Figure 439458DEST_PATH_IMAGE049
代表标定直杆的标志点在右相机的反投影值;
Figure 184429DEST_PATH_IMAGE050
Figure 510368DEST_PATH_IMAGE051
代表标定直 杆的标志点在左相机的观测值;
Figure 673496DEST_PATH_IMAGE052
Figure 43167DEST_PATH_IMAGE053
代表标定直杆的标志点在右相机的观测值; residual0代表标定直杆表面任意两标志点之间的距离值的残差;residual1代表标定直杆 中任意标志点在任意跟踪式扫描仪的左相机的像点与反投影点在X轴上的距离值的残差; residual2代表标定直杆中任意标志点在任意跟踪式扫描仪的左相机的像点与反投影点在 Y轴上的距离值的残差,residual3代表标定直杆中任意标志点在任意跟踪式扫描仪的右相 机的像点与反投影点在X轴上的距离值的残差;residual4代表标定直杆中任意标志点在任 意跟踪式扫描仪的右相机的像点与反投影点在Y轴上的距离值的残差。
图9为本申请实施例提供的一种多套跟踪式扫描仪联合标定装置组成图,参照图9,本申请还提供一种多套跟踪式扫描仪联合标定的装置,该装置包括:
不同位姿标定直杆图像获取模块11,用于获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;
初始旋转平移矩阵确定模块12,用于根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵;
目标旋转平移矩阵确定模块13,用于对所述初始旋转平移矩阵进行优化,获取所述各跟踪式扫描仪之间的目标旋转平移矩阵。
由此,利用上述多套跟踪式扫描仪联合标定的装置,无需移动扫描仪便可获取多套跟踪式扫描仪扫描视场的叠加扩展,有效提高了跟踪式扫描仪扫描范围和扫描效率;此外,该标定过程操作简便,通用性强,特别适用于大尺寸工件自动化检测领域。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多套跟踪式扫描仪联合标定的方法,其特征在于,包括:
获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;
根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵;
对所述初始旋转平移矩阵进行优化,获取所述各跟踪式扫描仪之间的目标旋转平移矩阵。
2.根据权利要求1所述的方法,其特征在于,还包括:获取标定直杆表面标志点在基准坐标系下的三维坐标真值;
所述获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像包括:获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下三维坐标观测值;
所述根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵,包括:根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值,确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵;
对所述初始旋转平移矩阵进行残差优化,获取所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
3.根据权利要求2所述的方法,其特征在于,获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值,包括:
获取各跟踪式扫描仪的相机内外参;
获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的二维坐标观测值;
根据标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的二维坐标观测值及各跟踪式扫描仪的相机内外参,确定标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值。
4.根据权利要求2所述的方法,其特征在于,根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值,确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵,包括:
根据所述标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值及标定直杆表面标志点在基准坐标系下的三维坐标真值中标志点的对应性,确定各所述跟踪式扫描仪各自拍摄坐标系与基准坐标系的旋转平移矩阵;
根据各所述跟踪式扫描仪各自拍摄坐标系与基准坐标系的旋转平移矩阵确定各所述跟踪式扫描仪各自拍摄坐标系之间的初始旋转平移矩阵。
5.根据权利要求3所述的方法,其特征在于,获取各跟踪式扫描仪的相机内外参,包括:
获取标定板的标准标定图像数据;
通过跟踪式扫描仪获取多组不同方位的标定板图像数据,根据所述多组不同方位的标定板图像数据与所述标准标定图像数据,确定跟踪式扫描仪的相机内外参。
6.根据权利要求2所述的方法,其特征在于,获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各自拍摄坐标系下的三维坐标观测值,包括:
获取标定直杆在一位姿下其中一端表面标志点在至少一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值;
获取标定直杆在该所述位姿下另一端表面标志点在至少另一跟踪式扫描仪拍摄坐标系下的标志点三维坐标观测值。
7.根据权利要求3所述的方法,其特征在于,所述对所述初始旋转平移矩阵进行残差优化,包括:
获取所述标定直杆中任意两标志点之间的距离真值及对应的距离观测值,所述任意两标志点的一个标志点位于标定直杆的一端、另一个标志点位于标定直杆的另一端;
计算所述距离真值与对应的所述距离观测值之间的残差;
获取标定直杆在不同位姿下表面标志点在各跟踪式扫描仪各相机成像平面的像点;
获取标定直杆表面标志点在基准坐标系下的三维坐标真值,根据各跟踪式扫描仪的拍摄坐标系与基准坐标系的旋转平移关系,转换三维坐标真值到各跟踪式扫描仪的拍摄坐标系下并根据各跟踪式扫描仪的相机内外参得到各所述跟踪式扫描仪相机成像平面的反投影点;
计算所述像点的二维坐标值与对应的所述反投影点的二维坐标值之间的残差;
根据所述距离真值与对应的所述距离观测值之间的残差,以及所述像点的二维坐标值与对应的所述反投影点的二维坐标值之间的残差对所述初始旋转平移矩阵进行残差优化,确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
8.根据权利要求7所述的方法,其特征在于,所述根据所述残差对所述初始旋转平移矩阵进行残差优化,确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵,包括:借助ceres优化算法,循环求解残差方程,直至计算得到的残差能够满足预设的局部残差阈值或者迭代次数达到设定的最大迭代次数,以确定所述各跟踪式扫描仪各自拍摄坐标系之间的目标旋转平移矩阵。
9.根据权利要求8所述的方法,其特征在于,所述残差方程满足如下公式:
Figure 44614DEST_PATH_IMAGE001
Figure 157933DEST_PATH_IMAGE002
Figure 909988DEST_PATH_IMAGE003
其中,a代表反投影坐标值的优化权重;b代表标定直杆中任意两表面标志点之间的距 离值的优化权重;re0代表标定直杆表面任意两标志点之间的距离值的残差,re1代表标定 直杆表面任意标志点在任意跟踪式扫描仪相机成像平面的像点与反投影点在成像平面X轴 上的距离值的残差,re2代表标定直杆表面任意标志点在任意跟踪式扫描仪相机成像平面 的像点与反投影点在成像平面Y轴上的距离值的残差;N为跟踪式扫描仪拍摄图像的总帧 数,M为跟踪式扫描仪的个数,K为标定直杆一端表面标志点的数量;i表示跟踪式扫描仪拍 摄的图像帧序号;j表示跟踪式扫描仪的序号;k表示标定直杆表面标志点的序号;
Figure 466871DEST_PATH_IMAGE004
函 数代表标定直杆表面任意标志点的三维坐标真值在任意跟踪式扫描仪相机成像平面的反 投影点的二维坐标值;
Figure 186434DEST_PATH_IMAGE005
Figure 588597DEST_PATH_IMAGE006
为初始标定直杆姿态与第 帧图像中标定直杆姿态之 间的旋转平移矩阵;
Figure 172211DEST_PATH_IMAGE008
Figure 129803DEST_PATH_IMAGE009
为基准坐标系和第j个跟踪式扫描仪拍摄坐标系之间的 旋转平移矩阵;
Figure 601235DEST_PATH_IMAGE010
是通过第j个跟踪式扫描仪获取的第i帧图像重建出的标定直杆上第k 个标志点的三维坐标观测值,
Figure 577150DEST_PATH_IMAGE011
是对应第j个跟踪式扫描仪获取的第i帧图像中标定直杆 上第k个标志点的三维坐标真值;
Figure 210257DEST_PATH_IMAGE012
Figure 655145DEST_PATH_IMAGE013
为对应标定直杆第k个标志点在第j个跟踪式 扫描仪获取的第i帧图像的中的像点的二维坐标值。
10.一种多套跟踪式扫描仪联合标定的装置,其特征在于,包括:
不同位姿标定直杆图像获取模块,用于获取各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像;
初始旋转平移矩阵确定模块,用于根据所述各跟踪式扫描仪在各自拍摄坐标系下的不同位姿标定直杆图像,确定各所述跟踪式扫描仪之间的初始旋转平移矩阵;
目标旋转平移矩阵确定模块,用于对所述初始旋转平移矩阵进行优化,获取所述各跟踪式扫描仪之间的目标旋转平移矩阵。
CN202111627406.9A 2021-12-29 2021-12-29 一种多套跟踪式扫描仪联合标定的方法和装置 Pending CN114037768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111627406.9A CN114037768A (zh) 2021-12-29 2021-12-29 一种多套跟踪式扫描仪联合标定的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111627406.9A CN114037768A (zh) 2021-12-29 2021-12-29 一种多套跟踪式扫描仪联合标定的方法和装置

Publications (1)

Publication Number Publication Date
CN114037768A true CN114037768A (zh) 2022-02-11

Family

ID=80147270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111627406.9A Pending CN114037768A (zh) 2021-12-29 2021-12-29 一种多套跟踪式扫描仪联合标定的方法和装置

Country Status (1)

Country Link
CN (1) CN114037768A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205483A (zh) * 2022-02-17 2022-03-18 杭州思看科技有限公司 扫描仪精度校准方法、装置和计算机设备
WO2024109796A1 (zh) * 2022-11-25 2024-05-30 杭州先临天远三维检测技术有限公司 一种扫描头位姿检测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208122A (zh) * 2013-04-18 2013-07-17 湖南大学 基于一维标定杆设计的多相机标定方法
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
CN105551039A (zh) * 2015-12-14 2016-05-04 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
CN107133989A (zh) * 2017-06-12 2017-09-05 中国科学院长春光学精密机械与物理研究所 一种三维扫描系统参数标定方法
CN208860312U (zh) * 2018-11-08 2019-05-14 北京技睿新天科技有限公司 基于无线网络传输的光栅式三维扫描装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208122A (zh) * 2013-04-18 2013-07-17 湖南大学 基于一维标定杆设计的多相机标定方法
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
CN105551039A (zh) * 2015-12-14 2016-05-04 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
CN107133989A (zh) * 2017-06-12 2017-09-05 中国科学院长春光学精密机械与物理研究所 一种三维扫描系统参数标定方法
CN208860312U (zh) * 2018-11-08 2019-05-14 北京技睿新天科技有限公司 基于无线网络传输的光栅式三维扫描装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘钲: "机器人目标位置姿态估计及抓取研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
汪鸣: "基于双目视觉的三维重建技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
胡茂邦 等: "基于摄影测量的非重叠视场相机全局标定", 《组合机床与自动化加工技术》 *
覃镇波: "基于一维标定物的相机标定技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205483A (zh) * 2022-02-17 2022-03-18 杭州思看科技有限公司 扫描仪精度校准方法、装置和计算机设备
WO2024109796A1 (zh) * 2022-11-25 2024-05-30 杭州先临天远三维检测技术有限公司 一种扫描头位姿检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN111815716B (zh) 一种参数标定方法及相关装置
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
JP2016531281A (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN114037768A (zh) 一种多套跟踪式扫描仪联合标定的方法和装置
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
CN112802124A (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
CN107038753B (zh) 立体视觉三维重建系统及方法
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN107729893A (zh) 一种合模机的视觉定位方法、系统和存储介质
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN113890955A (zh) 一种多套拍照式扫描仪的扫描方法、装置和系统
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN112991460A (zh) 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения
CN112507755A (zh) 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法
CN102519484A (zh) 一种旋转摄影测量系统多片整体平差标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220211

RJ01 Rejection of invention patent application after publication