CN109000582B - 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 - Google Patents

跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 Download PDF

Info

Publication number
CN109000582B
CN109000582B CN201810565392.4A CN201810565392A CN109000582B CN 109000582 B CN109000582 B CN 109000582B CN 201810565392 A CN201810565392 A CN 201810565392A CN 109000582 B CN109000582 B CN 109000582B
Authority
CN
China
Prior art keywords
dimensional
tracker
target
scanning
target feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810565392.4A
Other languages
English (en)
Other versions
CN109000582A (zh
Inventor
郑俊
陈尚俭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scantech Hangzhou Co Ltd
Original Assignee
Hangzhou Scantech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Scantech Co ltd filed Critical Hangzhou Scantech Co ltd
Publication of CN109000582A publication Critical patent/CN109000582A/zh
Application granted granted Critical
Publication of CN109000582B publication Critical patent/CN109000582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供跟踪式三维扫描装置的扫描方法，包括特征捕捉、坐标匹配、计算转换矩阵、标定；本发明还涉及跟踪式三维扫描装置的扫描系统包括三维传感器，包含第一图像采集装置、包含可被捕捉的标记点的第一目标特征；标定参考器，包含可被捕捉的标记点第二目标特征；跟踪器；和计算单元，包含二维图像特征计算器、坐标匹配器和标定计算器。本发明还涉及存储介质、设备。本发明采用跟踪式的捕捉方式，标定过程迅速，定位精度高，稳定性好、标定方便快捷、应用广泛；同时增大扫描范围，提升扫描应用灵活性，实现盲区扫描；本发明为基于跟踪式三维扫描装置的针对大型、复杂待扫描物体的三维扫描、测量操作提供技术基础。

Description

跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
技术领域
本发明涉及三维扫描，尤其涉及跟踪式三维扫描装置的扫描方法及扫描系统。
背景技术
近年来随着计算机硬件性能的不断增加，以及通讯速度的不断提升，三维扫描技术也随之不断更新迭代。跟踪式三维扫描是其中一种新型的三维扫描技术，该技术主要利用三维扫描仪和跟踪仪等设备共同实现物体的三维测量。相对于传统的贴点式三维扫描或摄影式三维扫描，跟踪式三维扫描技术使用更加方便、稳定性更好、测量范围更大，方便用户在车间、室外和各种复杂环境下轻松便捷地实现三维测量，被广泛地应用于机械制造、航空航天、汽车船舶、建筑文物等多个领域。
现有的跟踪式三维扫描装置主要包括激光跟踪仪(如赫克斯冈技术中心的发明专利《用于确定目标特征表面的3D坐标的测量系统》，专利号CN103477185B等)、固定式双摄像头三维传感器姿态捕捉跟踪设备(如形创有限公司的便携式光学CMM 3D扫描仪MetraSCAN3D系列产品及其相关发明专利《用于3D扫描的传感器定位》，专利号CN103649680B；STEINBICHLER OPTOTECHNIK GMBH的T-SCAN CS/T-TRACK CS+系列与T-SCAN LV/T-TRACKLV系列产品及其发明专利《Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objektes》，专利号EP2385341A1)、头戴式三维坐标数据眼镜(如STEINBICHLER OPTOTECHNIK GMBH的发明专利《Process and Device for Determiningthe 3D Coordinates of an Object》，专利号US2016/0189422A1)、针对大尺度物体如船舶曲面钢板的基于LED标签跟踪的几何测量装置(如江苏科技大学的发明专利《一种基于LED标签跟踪的三维几何测量方法及系统》，专利号CN104976968A)等。
为了准确地获得三维扫描仪的姿态、确定三维坐标转换关系，对三维扫描局部数据进行精确拼接，在扫描开始前，需要对跟踪式三维扫描装置进行标定。因此，跟踪式三维扫描装置的标定系统与方法是跟踪式三维扫描的关键技术之一。
文献指出，如果我们能够简化对光源和摄像头的标定过程，则动态的三维采集系统也会随之简化。建立在这个思想上的一种理论是，通过在光源自身上附加标记点并用单摄像头捕捉它，可以实现对光源和摄像头的简易标定。(sahiro Takatsuka,GeoffA.W.West,Svetha Venkatesh,and Terry M.Caelli."Low-cost interactive activemonocular range finder".In Proceeding of Computer Vision and PatternRecognition,volume 1,pages 444-449,1999.转引自TECHNODREAM21INC.的发明专利《Three-dimensional shape measuring method and its device》说明书[0003]段，专利号US2006/0055943A1)
在现有的标定方法中，上述的单摄像头还可能是其他形式的跟踪设备。例如使用激光跟踪仪确定摄像坐标系与世界坐标系的主动双目视觉全局标定方法(如北京航空航天大学的发明专利《主动双目视觉系统全局标定方法》，专利号CN103438798B)或采用棋盘格LED标记方法进行LED标记的标定方法(如江苏科技大学的发明专利《一种基于跟踪器的大型物体三维测量中LED标记的标定方法》)。前者采用激光跟踪仪设备，结构复杂，成本较高，而后者基于轨道三维扫描进行棋盘格标定，应用范围较为狭窄。同时，跟踪式三维扫描装置通常通过了不贴标记点的方式，实现针对较大尺度物体的三维扫描与测量。其存在的问题是，如果跟踪器位置固定不动，则其视野范围有限，在某些方位和区域会出现跟踪死角，在跟踪死角，跟踪器难以定位到三维扫描仪，进而难以进行数据拼接和三维重建；如果跟踪器位置发生移动，又会因为跟踪器坐标系的变化造成移动前后的数据难以拼接和重建。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种方便快捷、成本不高、应用广泛且扫描范围较广的跟踪式三维扫描装置的扫描系统与方法。
本发明提供跟踪式三维扫描装置的扫描方法，包括以下步骤：
S1、特征捕捉，上位机发送捕捉指令，所述捕捉指令用于控制三维传感器与跟踪器分别捕捉标定参考器上特征，控制跟踪器捕捉三维传感器上特征；
上位机发送第一捕捉指令，所述第一捕捉指令用于控制三维传感器上第一图像采集装置捕捉标定参考器上第二目标特征；
上位机发送第二捕捉指令，所述第二捕捉指令用于控制跟踪器捕捉标定参考器上第二目标特征、三维传感器上第一目标特征；
所述第一目标特征、第二目标特征为至少数量为三的标记特征，所述标定参考器上第二目标特征相对于所述标定参考器坐标系的位置已知，所述三维传感器上第一图像采集装置相对于所述三维传感器坐标系的位置已知；
S2、坐标匹配，上位机内的坐标匹配器将捕捉结果分别与第一目标特征、第二目标特征标记特征库进行坐标匹配，其中，被三维传感器捕捉的所述第二目标特征相对于所述三维传感器坐标系的坐标与事先标定好的所述标定参考器坐标系中的标记特征进行匹配，被所述跟踪器捕捉的所述第一目标特征相对于所述跟踪器坐标系的坐标与事先标定好的所述三维传感器上的标记特征进行匹配，被所述跟踪器捕捉的所述第二目标特征相对于所述跟踪器坐标系的坐标与事先标定好的所述标定参考器坐标系中的标记特征进行匹配；
S3、计算转换矩阵，上位机通过坐标匹配，计算得到标定参考器上第二目标特征相对于三维传感器的第一类转换矩阵、标定参考器上第二目标特征相对于跟踪器的第二类转换矩阵和三维传感器上第一目标特征相对于跟踪器的第三类转换矩阵；
S4、标定，上位机通过第一类转换矩阵、第二类转换矩阵、第三类转换矩阵进行坐标转换得到三维传感器上第一目标特征相对于三维传感器坐标系的第四类转换矩阵，完成标定。
进一步地，所述步骤S1至S4中，采用单帧图像进行匹配或多帧图像匹配求平均值。
进一步地，所述第二目标特征具体包括用于被所述三维传感器识别的第一类第二目标特征和用于被所述跟踪器识别的第二类第二目标特征。
进一步地，所述步骤S1中，所述第一捕捉指令与所述第二捕捉指令同步发送。
进一步地，所述步骤S1中，所述跟踪器同时捕捉所述三维传感器上第一目标特征与所述标定参考器上第二目标特征。
进一步地，所述步骤S1中，所述三维传感器或所述标定参考器至少有一个与所述跟踪器位置固定，所述跟踪器多次非同时捕捉所述三维传感器上第一目标特征与所述标定参考器上第二目标特征。
进一步地，所述第一图像采集装置或所述跟踪器的第二图像采集装置包括至少两个摄像头时，二维图像特征计算器计算至少两个摄像头同步采集第一目标特征与第二目标特征在相应图像中的二维坐标，并将二维坐标通过对极线原理重构为三维坐标，坐标匹配器将三维坐标与对应的第一目标特征或第二目标特征的物体坐标进行匹配。
跟踪式三维扫描装置的扫描方法，包括以下步骤：
三维传感器位姿获取，上位机发送捕捉指令，所述捕捉指令用于控制跟踪器捕捉三维传感器位姿；
目标扫描，上位机发送扫描指令，所述扫描指令用于控制三维传感器对待扫描物体表面进行三维激光扫描；其中，物体表面存在至少三个第三目标特征，第三目标特征固定于待扫描物体表面或固定于相对待扫描物体位置确定的辅助表面，用于被所述三维传感器捕捉；
模型重建，当三维传感器位于跟踪器的视野之内时，跟踪器捕捉三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，所述三维轮廓点云在跟踪器坐标系下进行坐标转换，重建得到所述待扫描物体的三维模型；
建立转换关系，当三维传感器位于所述跟踪器的视野之内时，跟踪器捕捉到三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，同时三维传感器捕捉在目标扫描中观测到的至少三个第三目标特征，上位机将捕捉到的当前帧的第三目标特征通过之前帧所获得的第三目标特征标记特征库进行匹配，建立第三目标特征坐标系和跟踪器坐标系的转换关系。
进一步地，目标扫描中，三维传感器通过三角测量法原理对待扫描物体表面进行三维激光扫描。
进一步地，还包括步骤：过渡，当三维传感器位于跟踪器的视野之外时，三维传感器持续捕捉第三目标特征和待扫描物体的三维轮廓点云，上位机将捕捉到的第三目标特征通过在目标扫描中被捕捉累积的第三目标特征标记特征库进行匹配，获得当前的传感器坐标系和跟踪器坐标系的转换关系，所述三维轮廓点云在三维传感器坐标系下根据当前的传感器坐标系和跟踪器坐标系的转换关系进行坐标转换，转换到同一坐标系下的不同位置的三维轮廓点云进行拼接，拼接后重建得到所述待扫描物体的三维模型。
进一步地，还包括步骤：转站，跟踪器捕捉三维传感器的位姿同时三维传感器捕捉待扫描物体的若干第一站位第三目标特征，建立当前第一站位第三目标特征坐标系和跟踪器坐标系的转换关系，所述若干第一站位第三目标特征至少包括是三个第三目标特征；当移动跟踪器后，移动后的跟踪器捕捉三维传感器的位姿，同时三维传感器捕捉待扫描物体的若干第二站位第三目标特征，所述若干第二站位第三目标特征中包括至少三个与所述第一站位第三目标特征相同的第三目标特征，建立变换后的第二站位第三目标特征坐标系和跟踪器坐标系的转换关系，获得变换前后的两个跟踪器坐标系的转换关系，所述三维轮廓点云根据所述两个跟踪器坐标系的转换关系进行坐标转换，转换到同一坐标系下的不同位置的三维轮廓点云进行拼接，拼接后重建得到所述待扫描物体的三维模型。
进一步地，在目标扫描之前，还包括：用全局摄影测量获取全部第三目标特征的位置，建立第三目标特征匹配库。
一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行跟踪式三维扫描装置的标定方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行跟踪式三维扫描装置的标定方法。
跟踪式三维扫描装置的标定系统，包括：
三维传感器，包含至少一个第一图像采集装置、包含至少三个可被捕捉的标记特征的第一目标特征；
标定参考器，包含至少三个可被捕捉的标记特征第二目标特征；其中，所述标定参考器上第二目标特征相对于所述标定参考器坐标系的位置已知；
至少一个跟踪器；和
至少一个计算单元，包含至少一个二维图像特征计算器、至少一个坐标匹配器和至少一个标定计算器；
其中，
所述三维传感器的第一图像采集装置用于捕捉所述标定参考器的所述第二目标特征的二维图像；
所述跟踪器用于捕捉所述三维传感器的第一目标特征和所述标定参考器的所述第二目标特征的二维图像；
在所述计算单元中，所述二维图像特征计算器与所述三维传感器与所述跟踪器连接通信，用于将所述三维传感器捕捉的所述第二目标特征的二维图像与所述跟踪器捕捉的所述第一目标特征与所述第二目标特征的二维图像转化为相应目标特征在相应图像中的二维坐标；
所述坐标匹配器与所述二维图像特征计算器连接，用于将被所述三维传感器捕捉的所述第二目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述三维传感器捕捉图像中的所述第二目标特征的二维坐标进行第一坐标匹配；用于将被所述跟踪器捕捉的所述第一目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述跟踪器捕捉图像中的所述第一目标特征的二维坐标进行第二坐标匹配；用于将所述跟踪器捕捉的所述第二目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述跟踪器捕捉图像中的所述第二目标特征的二维坐标进行第三坐标匹配；
所述标定计算器与所述坐标匹配器连接通信，用于获取所述第一坐标匹配、第二坐标匹配、第三坐标匹配结果，得到所述第二目标特征相对于所述三维传感器的第一类转换矩阵，得到所述第一目标特征相对于所述跟踪器的第二类转换矩阵，得到所述第二目标特征相对于所述跟踪器的第三类转换矩阵，所述标定计算器根据所述第一类转换矩阵、所述第二类转换矩阵、所述第三类转换矩阵计算出所述三维传感器上的第一目标特征相对于所述三维传感器坐标系的第四类转换矩阵，完成标定。
进一步地，所述第一图像采集装置为至少两摄像头或双目相机；所述跟踪器为包括一摄像头或若干相对位置已知的摄像头的第二图像采集装置。
进一步地，所述三维传感器还包括光源投射器；所述光源投射器用于投射光源。
进一步地，所述第二目标特征具体包括用于被所述三维传感器识别的第一类第二目标特征和用于被所述跟踪器识别的第二类第二目标特征。
进一步地，所述标记特征为自发光光源、逆反光标记点、漫反射标记点中的至少一种。
进一步地，所述第一图像采集装置或所述跟踪器的第二图像采集装置包括至少两个摄像头时，二维图像特征计算器计算至少两个摄像头同步采集第一目标特征与第二目标特征在相应图像中的二维坐标，并将二维坐标通过对极线原理重构为三维坐标，坐标匹配器将所述三维坐标与事先标定的对应的第一目标特征或第二目标特征的物体坐标进行匹配。
跟踪式三维扫描装置的扫描系统，包括：
跟踪器，至少一个所述跟踪器，用于捕捉三维传感器的位姿；
三维传感器，至少一个三维传感器，用于通过三角测量法原理进行三维激光扫描，所述三维传感器包含至少一个第一图像采集装置、包含至少三个可被捕捉的标记特征的第一目标特征；
第三目标特征，至少三个第三目标特征，固定于待扫描物体表面或待扫描物体的辅助面，用于被所述三维传感器捕捉；
一个计算单元，用于计算被捕捉的待扫描物体的三维轮廓点云、第三目标特征的转换矩阵、进行坐标转换、重建三维模型。
进一步地，所述跟踪器为激光跟踪仪或包含至少一个摄像头的光学CMM跟踪系统或电磁定位跟踪器。
进一步地，所述三维传感器包括至少一个激光投影仪和至少一个相机。
进一步地，所述第三目标特征为标记点，所述标记点利用拓扑关系特征进行坐标转换。
进一步地，所述第三目标特征为编码标记点，所述编码标记点固定后利用编码特征进行坐标转换。
相比现有技术，本发明的有益效果在于：
1.标定过程迅速，定位精度高，稳定性好；
2.方便快捷、成本不高、应用广泛；
3.为基于跟踪式三维扫描装置的针对大型、复杂待扫描物体5的三维扫描、测量操作提供了技术基础；
4.增大跟踪式三维扫描装置扫描范围，提升跟踪式三维扫描装置扫描应用灵活性，实现盲区扫描。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的跟踪式三维扫描装置的扫描系统中的标定系统示意图；
图2为本发明的跟踪式三维扫描装置的扫描系统中标定系统的框架示意图；
图3为本发明的跟踪式三维扫描装置的扫描方法中标定方法流程示意图；
图4为本发明的跟踪式三维扫描装置的扫描系统应用实例示意图一；
图5为本发明的跟踪式三维扫描装置的扫描系统应用实例示意图二；
图6为本发明的跟踪式三维扫描装置的扫描系统中三角测量法原理示意图；
图7为本发明的跟踪式三维扫描装置的扫描方法中过渡步骤应用示意图；
图8为本发明的跟踪式三维扫描装置的扫描方法中转站步骤应用示意图。
图中：三维传感器1、第一目标特征11、光源投射器12、第一图像采集装置13、标定参考器2、第二目标特征21、第一类第二目标特征211、第二类第二目标特征212、跟踪器3、第一跟踪位置31、第二跟踪位置32、计算单元4、待扫描物体5、第三目标特征52、理论光心60、当前帧二维图像61、当前帧对应待扫描物体表面62、扫描当前帧70、扫描下一帧71。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
图1示出了本发明具体实施方式的一种跟踪式三维扫描装置的标定系统的结构示意图。图2示出了本发明具体实施方式的一种跟踪式三维扫描装置的标定系统的框架图。如图1、2所示，本发明的具体实施方式提供一种跟踪式三维扫描装置的标定系统，包括：三维传感器1，三维传感器1包含事先位置关系标定已知的光源投射器12和第一图像采集装置13，且三维传感器1的表面固定有三个或三个以上标记点的可被捕捉的第一目标特征11；标定参考器2，该标定参考器2为一种标定板，包含可被捕捉的标定板的第二目标特征21，其中，标定板的第二目标特征21包括两种不同且位置已知的第一类第二目标特征211和第二类第二目标特征212，第一目标特征11、第一类第二目标特征211、第二类第二目标特征212包括但不限于自发光光源、逆反光标记点、漫反射标记点中的至少一种，其中第一类第二目标特征211、第二类第二目标特征212用于被三维传感器1捕捉，如图1所示，减小标记点本身带来的误差，第一目标特征11和第二类第二目标特征212是同一种标记点；跟踪器3，第一目标特征11和第一类第二目标特征211、第二类第二目标特征212用于被该跟踪器3捕捉；以及计算单元4，该计算单元4包含二维图像特征计算器、坐标匹配器和标定计算器。需要说明的是，标定参考器2上采用两类标记点，每一类标记点至少三个，一般的采用4个或更多标记点来构建坐标系，均衡误差，同时剔除粗大误差等其他因素引入的测量误差，确保标定精度。
其中，需要说明的是，光源投射器12在本实施例中用于投射光源，若采用自发光标记特征，则可省去光源投射器12；光源投射器12用于非自发光的标记特征如逆反光标记点、漫反射标记点；第二目标特征21中的第一类第二目标特征211与第二类第二目标特征212为同种时，则仅需要三个或三个以上的标记特征既可完成标定，为降低图像采集误差同时均衡第二目标特征21中目标特征误差，采用第一类第二目标特征211与第二类第二目标特征212为不同种目标特征，其中第二类第二目标特征212被跟踪器3捕捉，第一类第二目标特征211被第一图像采集装置13捕捉。应当理解，第一类第二目标特征211与第二类第二目标特征212为可轮换目标特征，在一实施例中，如图1所示，第二类第二目标特征212与第一目标特征11为同种类型标记特征。
三维传感器1用于捕捉标定参考器2的第一类第二目标特征211或第二类第二目标特征212的二维图像，如图1所示，三维传感器1捕捉第一类第二目标特征211；跟踪器3用于捕捉三维传感器1的第一目标特征11和标定参考器的第一类第二目标特征211或第二类第二目标特征212的二维图像，如图1所示，跟踪器3捕捉第一目标特征11与第二类第二目标特征212；在计算单元4中，二维图像特征计算器连接于三维传感器1与跟踪器3，用于将三维传感器1捕捉的第一类第二目标特征211的二维图像与跟踪器3捕捉的第二类第二目标特征212与第一目标特征11的二维图像转化为相应目标特征在相应图像中的二维坐标，坐标匹配器用于将被三维传感器1捕捉的第一类第二目标特征211的物体坐标与所获得的该第一类第二目标特征211在三维传感器图像中的二维坐标进行匹配，以及将被跟踪器3捕捉的第二类第二目标特征212和第一目标特征11的物体坐标分别与所获得的该第二类第二目标特征212和第一目标特征11在跟踪器图像中的二维坐标进行匹配，并基于该匹配关系，得到第二类第二目标特征212相对于三维传感器1的位置关系以及第一目标特征11和第二类第二目标特征212相对于跟踪器3的位置关系，标定计算器利用上述位置关系，计算出三维传感器1上的第一目标特征11与三维传感器1的位置关系，完成标定。应当理解，计算单元4为上位机等具有存储运算能力的电子设备中的程序。
在一实施例中，第一图像采集装置13可以为一个摄像头或两个或两个以上的位置关系事先标定过的摄像头或双目相机。
当第一图像采集装置13为单个摄像头时，第一图像采集装置13的摄像头捕捉至少四个作为第一类第二目标特征211的标记点，获得其二维图像并在计算单元4中转化为相应的二维坐标，将该二维坐标与其在物体坐标系下的坐标进行匹配，得到转换关系。
当第一图像采集装置13为两个或两个以上的位置关系事先标定过的摄像头或双目相机时，首先需要对两个摄像头事先进行位置标定。两个或两个以上的摄像头以对极线的原理捕捉至少三个作为第一类第二目标特征211的标记点的二维图像并在计算单元4中转化为相应的二维坐标并重构其在三维传感器坐标系下的三维坐标，将该三维坐标与其在物体坐标系下的三维坐标进行匹配，得到转换关系。两个或两个以上的摄像头的优点是，可以减少误匹配的可能性。
在一实施例中，跟踪器3具体为第二图像采集装置，第二图像采集装置为单个摄像头或相对位置已知的两个或两个以上摄像头。
类似地，当该跟踪器3包括单个摄像头时，该摄像头在拍摄标定参考器2时，需要捕捉至少四个作为第二类第二目标特征212的标记点，获得其二维图像并在计算单元4中转化为相应的二维坐标，将该二维坐标与其在物体坐标系下的坐标进行匹配，得到转换关系；在拍摄三维扫描器1时，需要捕捉至少四个作为第一目标特征11的标记点，获得其二维图像并在计算单元4中转化为相应的二维坐标，将该二维坐标与其在物体坐标系下的坐标进行匹配，得到转换关系。其中，单个跟踪摄像头的优点是，可以获得更大的扫描范围。
当该跟踪器3包括相对位置已知的两个或两个以上摄像头时，首先需要对两个摄像头事先进行位置标定。应用对极线原理，该摄像头在拍摄标定参考器2时，捕捉至少三个作为第二类第二目标特征212的标记点，在拍摄三维扫描器1时，需要捕捉至少三个作为第一目标特征11的标记点，并将捕捉的二维图像并在计算单元4中转化为相应的二维坐标并重构其在跟踪器坐标系下的三维坐标，坐标匹配器将三维坐标与事先标定的对应的第一目标特征或第二目标特征的物体坐标进行匹配，得到转换关系。其中，两个跟踪摄像头的优点是，可以减少误匹配的可能性，提高跟踪精度。
图3示出了本发明的跟踪式三维扫描装置的标定方法的流程图。如图3所示，包括以下步骤：
S1、特征捕捉，上位机发送捕捉指令，捕捉指令用于控制三维传感器与跟踪器分别捕捉标定参考器上特征，控制跟踪器捕捉三维传感器上特征；
上位机发送第一捕捉指令，第一捕捉指令用于控制三维传感器1上光源投射器12投射光源至标定参考器，用于控制三维传感器上第一图像采集装置13捕捉标定参考器上第一类第二目标特征211或第二类第二目标特征212；
上位机发送第二捕捉指令，第二捕捉指令用于控制跟踪器3捕捉标定参考器上第一类第二目标特征211或第二类第二目标特征212、三维传感器1上第一目标特征11；步骤S1中，第一捕捉指令与第二捕捉指令同步发送，实现第一图像采集装置13捕捉与跟踪器3捕捉同步，应当理解，同步可为同时捕捉，也可为第一图像采集装置13捕捉与跟踪器3捕捉其中之一捕捉后，另一设备保持位置不动再进行捕捉。例如，若跟踪器31先捕捉三维传感器1的第一目标特征11，后捕捉标定参考器2的第一类第二目标特征211或第二类第二目标特征212，则捕捉过程中跟踪器3与在先被捕捉的第一目标特征11的位置保持不变；若跟踪器3先捕捉标定参考器2的第一类第二目标特征211或第二类第二目标特征212，后捕捉三维传感器1的第一目标特征11，则捕捉过程中跟踪器3与在先被捕捉的标定参考器2的第一类第二目标特征211或第二类第二目标特征212的位置保持不变。
第一目标特征11、第一类第二目标特征211、第二类第二目标特征212为至少数量为三的光源标记点，标定参考器上第一类第二目标特征211或第二类第二目标特征212相对于标定参考器2坐标系的位置已知，三维传感器1上第一图像采集装置13与第一目标特征11相对于三维传感器1坐标系的位置已知；
具体地，放置三维传感器1、标定参考器2和跟踪器3，其中三维传感器1的第一目标特征11和标定参考器2的第二类第二目标特征212至少部分位于跟踪器3的视野范围内，标定参考器2的第一类第二目标特征211至少部分位于三维传感器1的视野范围内；第一目标特征11和第二目标特征21均事先标定在其所在的物体坐标系Ow1和Ow2，设定三维传感器坐标系为OS，跟踪器坐标系为OT；三维传感器捕1捉标定参考器2的部分或全部第一类第二目标特征211相对于三维传感器坐标系OS的坐标，跟踪器3捕捉标定参考器2的部分或全部第二类第二目标特征212和三维传感器1的部分或全部第一目标特征11相对于跟踪器坐标系OT的坐标。
S2、坐标匹配，上位机内的坐标匹配器将捕捉结果分别与第一目标特征11、第一类第二目标特征211、第二类第二目标特征212的标记点库进行坐标匹配，其中，被三维传感器1捕捉的第一类第二目标特征211或第二类第二目标特征212相对于三维传感器1坐标系的坐标与事先标定好的标定参考器2坐标系中的标记点库进行匹配，被跟踪器捕捉的第一目标特征11相对于跟踪器坐标系的坐标与事先标定好的三维传感器1坐标系上的标记点库进行匹配，被跟踪器3捕捉的第一类第二目标特征211或第二类第二目标特征212相对于跟踪器3坐标系的坐标与事先标定好的标定参考器2坐标系中的标记点库进行匹配；
S3、计算转换矩阵，上位机通过坐标匹配，计算得到标定参考器2上第一类第二目标特征211或第二类第二目标特征212相对于三维传感器1的第一类转换矩阵、标定参考器2上第一类第二目标特征211或第二类第二目标特征212相对于跟踪器3的第二类转换矩阵和三维传感器1上第一目标特征11相对于跟踪器的第三类转换矩阵；
S4、标定，上位机通过第一类转换矩阵、第二类转换矩阵、第三类转换矩阵进行坐标转换得到三维传感器1上第一目标特征11相对于三维传感器1坐标系的第四类转换矩阵，完成标定。
将被三维传感器1捕捉的第一类第二目标特征211相对于三维传感器坐标系OS的坐标与事先标定好的该第一类第二目标特征211在物体坐标系Ow2中的库进行匹配，被跟踪器3捕捉的第二类第二目标特征212相对于跟踪器坐标系OT的坐标与该第二类第二目标特征212在自身的物体坐标系Ow2中的库进行匹配，被跟踪器3捕捉的第一目标特征11相对于跟踪器坐标系OT的坐标与该第一目标特征11在自身的物体坐标系Ow1中的库进行匹配；
通过上述匹配分别确定表达三维传感器坐标系OS与物体坐标系Ow2转换关系的RT矩阵和表达跟踪器坐标系OT与物体坐标系Ow2和Ow1转换关系的RT矩阵，分别记为RT(S,w2)，RT(T,w2)和RT(T,w1)；
利用上述已知的RT转换矩阵RT(S,w2)，RT(T,w2)和RT(T,w1)联立方程，进行坐标转换，可以获得表达三维传感器坐标系OS与三维传感器上的第一目标特征的物体坐标系Ow1的转换关系的RT矩阵RT(S,w1)，完成标定。
进行匹配时，在两个相互匹配的点集P＝{p1,p2,…pn}和Q＝{q1,q2,…qn}中找到相匹配的点对(pi,qi)，将上述点对按刚体变换求解一个3*3的旋转矩阵(rotation matrix)和一个3*1的平移矩阵(translation matrix)，来表达刚体位置转换关系，即为RT矩阵。
当目标待扫描物体5被单摄像头捕捉时，可以采取后方交会算法，利用四个以上相互匹配的二维坐标与物体坐标点集，计算图像的外方位元素，从而获得RT矩阵。
当目标待扫描物体5被两个或两个以上摄像头捕捉时，可以采取SVD算法，对点对(pi,qi)可建立误差函数
Figure BDA0001684272500000171
采用SVD算法求解这个最小二乘，从而获得RT矩阵。也可以采取四元数姿态解算算法，利用转动四元数描述刚体的角运动，求解转轴的方向和转角的大小，从而获得RT矩阵。
值得注意的是，获得上述RT矩阵后，三维传感器1上的第一目标特征11与三维传感器1的位置关系可以重建在任意全局坐标系下，也可以直接通过坐标系上的点的RT矩阵转换来表示。
在一实施例中，当匹配步骤中单一帧图像的匹配结果误差小于系统设定的拼接阈值且足以计算出对应的RT矩阵时，该标定过程通过该单一帧的处理完成，或通过多个帧图像的匹配结果求平均值完成。
在一实施例中，步骤S1中的捕捉方法有两种：
方法一：跟踪器3同时捕捉三维传感器1的第一目标特征11和标定参考器2的第二类第二目标特征212，进行标定。
方法二：跟踪器3先后捕捉三维传感器1的第一目标特征11和标定参考器2的第二类第二目标特征212，进行标定，捕捉过程中跟踪器3和在先被扫描的目标特征的位置保持不变。
上述两种方法都是为了实现跟踪器对其捕捉目标的同步跟踪。其中方法一在标定过程中三维传感器1、标定参考器2和跟踪器3之间的位置无需保持不变，具有更好的抗震性和稳定性，标定过程更为方便。
应当理解，图1-3中为跟踪式三维扫描装置的扫描方法及系统中标定的部分，旨在获取三维传感器1上第一目标特征11相对于三维传感器1坐标系的第四类转换矩阵后，对待扫描物体5进行扫描，重建三维点云。
一种跟踪式扫描装置的扫描方法，包括以下步骤：
三维传感器位姿获取，上位机发送捕捉指令，捕捉指令用于控制跟踪器3捕捉三维传感器1位姿；
待扫描物体5扫描，上位机发送扫描指令，扫描指令用于控制三维传感器对待扫描物体表面进行三维激光扫描；其中，物体表面存在至少三个第三目标特征，第三目标特征固定于待扫描物体表面或固定于相对待扫描物体位置确定的辅助表面，用于被三维传感器捕捉；
模型重建，当三维传感器位于跟踪器的视野之内时，跟踪器捕捉三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，三维轮廓点云在跟踪器坐标系下进行坐标转换，重建得到待扫描物体的三维模型；
建立转换关系，当三维传感器位于跟踪器的视野之内时，跟踪器捕捉到三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，同时三维传感器捕捉在目标扫描中观测到的至少三个第三目标特征，上位机将捕捉到的当前帧的第三目标特征通过之前帧所获得的第三目标特征标记特征库进行匹配，建立第三目标特征坐标系和跟踪器坐标系的转换关系。
具体地，如图4-8所示，提供一种用于跟踪式三维扫描仪的扫描方法中的拼接方法及扫描系统中的拼接系统，其作用是，在跟踪式三维扫描仪的死角，利用在待扫描物体5表面或辅助表面固定的第三目标特征52进行过渡或转站，实现对扫描待扫描物体5的三维模型的拼接和重建，扩大跟踪扫描范围。
具体地，本发明的扫描拼接系统主要包括：
至少一个跟踪器3，用于捕捉三维传感器1的位姿；
至少一个三维传感器1，用于通过三角测量法原理进行三维激光扫描；其中，三维传感器1已在标定中详细描述，在此不再赘述；
至少三个第三目标特征52，可任意固定于待扫描物体5表面或其周边辅助表面上，用于被三维传感器1捕捉；
一个计算单元4，用于计算被捕捉到的三维轮廓点云、目标特征的转换矩阵，进行坐标转换，重建三维模型。
在一实施例中：提供跟踪器3，用于捕捉三维传感器的位姿；
提供三维传感器1，用于通过三角测量法原理对物体表面进行三维激光扫描；
提供至少三个第三目标特征52，可任意固定于待扫描物体5表面或与待扫描物体5相对位置确定的辅助表面，用于被三维传感器1捕捉；
当三维传感器1位于跟踪器3的视野之内时，跟踪器3捕捉三维传感器1的位姿，三维传感器1捕捉待扫描物体5的三维轮廓点云，三维轮廓点云在跟踪器坐标系下根据其被跟踪到的位姿进行坐标转换，并进一步重建得到待扫描物体5的三维模型；
当三维传感器1位于跟踪器3的视野之内时，跟踪器3捕捉到三维传感器1的位姿，三维传感器1捕捉待扫描物体5的三维轮廓点云，同时三维传感器1捕捉固定于待扫描物体5表面的多个第三目标特征52，三维轮廓点云在三维传感器坐标系下根据目标特征进行坐标转换。
拼接方法进一步包括以下两个实施例：实施例1、过渡，图5示出了本发明的实施例1中的跟踪式三维扫描拼接系统示意图，上位机将捕捉到的第三目标特征通过在目标扫描中被捕捉累积的第三目标特征标记特征库进行匹配，获得当前的传感器坐标系和跟踪器坐标系的转换关系，三维轮廓点云在三维传感器坐标系下根据当前的传感器坐标系和跟踪器坐标系的转换关系进行坐标转换，转换到同一坐标系下的不同位置的三维轮廓点云进行拼接，拼接后重建得到待扫描物体的三维模型。
跟踪器3不动；在跟踪器3能捕捉到三维传感器1的某处，开始出现第三目标特征52；第三目标特征52持续出现到扫描结束或回到跟踪器视野范围内，即在跟踪式扫描和贴点式扫描间过渡。
以下，在本实施例中，定义跟踪器3坐标系O1；第一图像采集装置13坐标系Oc；第一目标特征11坐标系O2；第三目标特征52坐标系O3；O1到O2之间变换矩阵R1T1；Oc和O2之间的变换矩阵R2T2；Oc和O3之间的变换矩阵R3T3；O1和O3之间的变换矩阵RT。
如图5所示，在保持跟踪器3位置不变，为了扩大扫描范围和减少扫描死角，在待扫描物体5表面贴少量第三目标特征52。当三维传感器1脱离跟踪器3的视野范围时，三维传感器1利用待扫描物体5上的第三目标特征52进行继续扫描。具体包括以下步骤：
第一步，三维传感器1投射结构光(以激光线为例)到待扫描物体5表面，第一图像采集装置13得到激光线的二维图像，重建出三维点云。此处，如果第一图像采集装置13捕捉到待扫描物体5表面有第三目标特征52，则立刻会建立第三目标特征52坐标系O3，然后，根据第一图像采集装置13获取的第三目标特征52重建信息，得到坐标系O3到坐标系Oc之间的变换矩阵R3T3；具体地，如图6所示，理论光心60的摄像头拍摄当前帧二维图像61上的标记点e1至ei，i为标记点个数(i>＝3)，对应待扫描物体表面62上的真实标记点E1至Ei，设标记点ei在图像中的坐标为(xi,yi)，Ei点重建在Oc坐标系下的三维坐标为(Xi，Y，Zi)，相机焦距为f，e1,e2,e3对应点E1,E2,E3为例，根据点ei(i＝1,2,3)、光心S，坐标点Ei(i＝1,2,3)共线原理，其直线方程参数分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)，则得到图像的外方位元素：
Figure BDA0001684272500000211
求出摄像头的三维坐标(Xs,Ys,Zs)以及欧拉角
Figure BDA0001684272500000212
可以得到坐标系O3到坐标系Oc之间的R3T3转换矩阵。
第二步，根据计算得到的R3T3转化矩阵，结合已标定的坐标系Oc和坐标系O2之间的转化关系R2T2，以及坐标系O2和坐标系O1之间的转化关系R1T1，得到坐标系O3到坐标系O1之间的变换关系RT。
第三步，扫描过程中，当三维传感器1在跟踪器3的视野范围内时，且第一图像采集装置13捕捉到第三目标特征52，则重建三维点的转换过程可以自由选择是否利用第三目标特征52进行坐标转换。同时，在第一图像采集装置13捕捉到第三目标特征52时，扫描待扫描物体5表面过程中，把不断重建出的第三目标特征52在O1坐标系下的坐标存入非满八叉树中，以提高匹配的搜索效率。
第四步，在三维传感器1脱离跟踪器3的视野范围时，如图7，当在扫描当前帧70时，三维传感器1在跟踪器3的视野范围内，当在扫描下一帧71时，三维传感器1脱离跟踪器3的视野范围，利用两帧同时扫到的相同第三目标特征52，进行匹配计算刚性变换，进行点云拼接，然后，拼接后的三维点云利用变换关系RT，转换到跟踪器3坐标系O1下；具体利用第三目标特征52进行点云拼接为，如图7，在本实施例中，第三目标特征52采用标记点，当扫描当前帧为70扫描得到重建后的标记点集为U＝[u1,u2,…,um](m表示扫描到的标记点数)；当扫描下一帧为71，扫描得到重建后的标记点集为V＝[v1,v2,…,vn](n表示扫描到的标记点数)，其中,通过标记点库进行搜索标记点周围邻域，利用标记点周围邻域拓扑结构关系得到匹配点对(ui,vi)。根据刚性变换关系：
Figure BDA0001684272500000221
当匹配点对多于3组，解得旋转角度α，β，γ和平移距离dx,dy,dz；从而得到旋转矩阵R和平移矩阵T。对点对(ui,vi)可建立误差函数
Figure BDA0001684272500000222
采用SVD算法求解这个最小二乘，从而获得最佳RT转换矩阵。
第五步，当三维传感器1脱离跟踪器3的视野范围后，利用变换关系RT，把在坐标系O3下重建的激光线点云转化到坐标系O1下，完成跟踪器1视野盲区的整个物体的扫描。
上述计算过程在计算单元4中进行。
在一实施例中，值得注意的是，获取待扫描物体5上的标记点数据，可以通过三维传感器1实时扫描时获取，也可以扫描前利用全局摄影测量设备，提前获取所有待扫描物体5上的标记点数据，提高匹配精度。应当理解，在过渡实施例中，采用同一三维传感器1不同位置进行连续帧扫描，也可采用多个三维传感器1进行扫描进行过渡，即在扫描当前帧70位置处采用一三维传感器1进行扫描，而在扫描下一帧71处采用另一三维传感器1进行扫描，并采用第四步进行匹配，达到相同的过渡效果，也因属于本发明的保护范围。
实施例2、转站，图8示出了本发明的实施例1中的跟踪式三维扫描系统的拼接系统示意图。
如图8所示，在跟踪器3能捕捉到三维传感器1的某处，开始出现第三目标特征52；三维传感器1识别到第三目标特征52，在本实施例中，第三目标特征52采用标记点，三维传感器1扫描到的数据能够通过标记点匹配；跟踪器3移动，重新看到三维传感器1，由于三维传感器1扫描到的数据能够通过标记点匹配，且跟踪器跟踪到的数据能够通过三维传感器1的位姿匹配，也即移动前后的两个跟踪器3坐标系的数据能够间接通过标记点匹配。
以下，在本实施例中，定义跟踪器3坐标系O1；第一图像采集装置13坐标系Oc；第一目标特征11坐标系O2；第三目标特征52坐标系O3；跟踪器3在第一跟踪位置31处：跟踪器3坐标系O1为O11，O11到O2之间变换矩阵R111T111；Oc和O2之间的变换矩阵R112T112；Oc和O3之间的变换矩阵R113T113；O11和O3之间的变换矩阵R11T11；跟踪器3在第二跟踪位置32处：跟踪器3坐标系O1为O12，O12到O2之间变换矩阵R121T121；Oc和O2之间的变换矩阵R122T122；Oc和O3之间的变换矩阵R123T123；O12和O3之间的变换矩阵R12T12，第一图像采集装置13坐标系Oc在第一跟踪位置31与第二跟踪位置32之间的变换矩阵RT。
如图8所示，改变跟踪器3的位置，扩大跟踪器视野范围，利用待扫描物体5表面少量标记点过渡，建立跟踪器3位置改变前后的位置关系，从而扩大扫描范围。
第一步，当跟踪器3固定在第一跟踪位置31时，三维传感器1在跟踪器3视野范围内扫描，根据已标定第一图像采集装置13到第一目标特征11之间的转换矩阵R2T2，以及计算得到转换矩阵R111T111，从而得到跟踪器3在第一跟踪位置31处扫描点云在坐标系O11的三维坐标。
第二步，当第一图像采集装置13在第一跟踪位置31(第一站位)处的跟踪器3的视野范围内捕捉到第三目标特征52，则根据第一帧得到捕捉到的标记点，建立第三目标特征52坐标系O3，在本实施例中，第三目标特征52采用标记点，如前根据拍摄标记点的二维图像点、光心和重建在坐标系Oc下的标记点三维坐标点共线条件，计算得到图像的外方位元素：摄像机的三维坐标(Xs,Ys,Zs)以及欧拉角
Figure BDA0001684272500000241
从而，得到坐标系O3到坐标系Oc之间的R3T3转换矩阵。
第三步，利用上述得到的R3T3转换矩阵，得到在第三目标特征52坐标系到在第一跟踪位置31处跟踪器3坐标系之间的转换矩阵R111T111，在脱离跟踪器3的视野范围时，扫描重建点云通过捕捉得到的第三目标特征52计算刚性变换RT，使得利用标记点拼接得到的点云转化到在第一跟踪位置31处跟踪器3的坐标系下。
第四步，转移跟踪器3到第二跟踪位置32(第二站位)处，重新计算第一目标特征11到在第二跟踪位置32出的跟踪器3的转换矩阵R112T112，从而通过第三目标特征52到第一图像采集装置13之间的转换矩阵R3T3，以及标记点拼接转换矩阵RT，得到在第二跟踪位置32处跟踪器3到第一跟踪位置31处跟踪器3的转换矩阵R`T`，其中R`T`与RT互逆；从而把传感器在第二跟踪位置32处的跟踪器3重建出的点云统一在第一跟踪位置31处的跟踪器3坐标系下，完成扫描。
应当理解，在转站实施例中，采用同一跟踪器3在不同位置进行连续捕捉，也可采用多个跟踪器3进行捕捉进行转站，即在第一跟踪位置31(第一站位)处采用一跟踪器3进行捕捉，而在第二跟踪位置32(第二站位)处采用另一跟踪器3进行捕捉，并采用第四步进行匹配，达到相同的转站效果，也因属于本发明的保护范围。上述计算过程在计算单元4中进行。
值得注意的是，获取待扫描物体5上的标记点数据，可以通过三维传感器1实时扫描时获取，也可以扫描前利用全局摄影测量设备，提前获取所有待扫描物体5上的标记点数据，提高匹配精度。另外，实施例2中的计算矩阵转换和进行坐标匹配等原理方法与实施例1相同，所以不再赘述。
在上述实施例中，标记点可以是普通反光标记点，也可以是自放光LED标记点或其他可以被跟踪器3捕捉到其位姿的光学标志；第三目标特征52可以是普通标记点或编码标记点的一种或者两种的混合，或其他可以被三维传感器1捕捉到的光学标志。在上述实施例中，待扫描物体5可以是单独一个物体，也可以是多个待扫描物体5物体的组合。在上述实施例中，第三目标特征52可以贴是固定于待扫描物体5的表面，也可以是固定于与第三目标特征52相对位置确定的辅助面上。
应当理解，本发明涉及跟踪式三维扫描装置的扫描方法中标定方法与拼接方法、扫描系统中的标定系统与拼接系统，无论是采用涉及本发明的标定方法或拼接方法、标定系统或拼接系统中的一个或多个的组合，都应属于本发明的保护范围。
应当理解，一种电子设备，包括：处理器；存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行跟踪式三维扫描装置的扫描方法也属于本发明保护；一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行跟踪式三维扫描装置的扫描方法也属于本发明保护。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (24)

1.跟踪式三维扫描装置的扫描方法，其特征在于，包括以下步骤：
S1、特征捕捉，上位机发送捕捉指令，所述捕捉指令用于控制三维传感器与跟踪器分别捕捉标定参考器上特征，控制跟踪器捕捉三维传感器上特征；
上位机发送第一捕捉指令，所述第一捕捉指令用于控制三维传感器上第一图像采集装置捕捉标定参考器上第二目标特征；所述第二目标特征具体包括用于被所述三维传感器识别的第一类第二目标特征和用于被所述跟踪器识别的第二类第二目标特征；
上位机发送第二捕捉指令，所述第二捕捉指令用于控制跟踪器捕捉标定参考器上第二目标特征、三维传感器上第一目标特征；
所述第一目标特征、第二目标特征为至少数量为三的标记特征，所述标定参考器上第二目标特征相对于所述标定参考器坐标系的位置已知，所述三维传感器上第一图像采集装置相对于所述三维传感器坐标系的位置已知；
S2、坐标匹配，上位机内的坐标匹配器将捕捉结果分别与第一目标特征、第二目标特征标记特征库进行坐标匹配，其中，被三维传感器捕捉的所述第二目标特征相对于所述三维传感器坐标系的坐标与事先标定好的所述标定参考器坐标系中的标记特征进行匹配，被所述跟踪器捕捉的所述第一目标特征相对于所述跟踪器坐标系的坐标与事先标定好的所述三维传感器上的标记特征进行匹配，被所述跟踪器捕捉的所述第二目标特征相对于所述跟踪器坐标系的坐标与事先标定好的所述标定参考器坐标系中的标记特征进行匹配；
S3、计算转换矩阵，上位机通过坐标匹配，计算得到标定参考器上第二目标特征相对于三维传感器的第一类转换矩阵、标定参考器上第二目标特征相对于跟踪器的第二类转换矩阵和三维传感器上第一目标特征相对于跟踪器的第三类转换矩阵；
S4、标定，上位机通过第一类转换矩阵、第二类转换矩阵、第三类转换矩阵进行坐标转换得到三维传感器上第一目标特征相对于三维传感器坐标系的第四类转换矩阵，完成标定。
2.如权利要求1所述的跟踪式三维扫描装置的扫描方法，其特征在于：所述步骤S1至S4中，采用单帧图像进行匹配或多帧图像匹配求平均值。
3.如权利要求1所述的跟踪式三维扫描装置的扫描方法，其特征在于：所述步骤S1中，所述第一捕捉指令与所述第二捕捉指令同步发送。
4.如权利要求1-3任一项所述的跟踪式三维扫描装置的扫描方法，其特征在于：所述步骤S1中，所述跟踪器同时捕捉所述三维传感器上第一目标特征与所述标定参考器上第二目标特征。
5.如权利要求1-3任一项所述的跟踪式三维扫描装置的扫描方法，其特征在于：所述步骤S1中，所述三维传感器或所述标定参考器至少有一个与所述跟踪器位置固定，所述跟踪器多次非同时捕捉所述三维传感器上第一目标特征与所述标定参考器上第二目标特征。
6.如权利要求1-3任一项所述的跟踪式三维扫描装置的扫描方法，其特征在于：所述第一图像采集装置或所述跟踪器的第二图像采集装置包括至少两个摄像头时，二维图像特征计算器计算至少两个摄像头同步采集第一目标特征与第二目标特征在相应图像中的二维坐标，并将二维坐标通过对极线原理重构为三维坐标，坐标匹配器将三维坐标与对应的第一目标特征或第二目标特征的物体坐标进行匹配。
7.跟踪式三维扫描装置的扫描方法，其特征在于，包括以下步骤：
三维传感器位姿获取，上位机发送捕捉指令，所述捕捉指令用于控制跟踪器捕捉三维传感器位姿；
目标扫描，上位机发送扫描指令，所述扫描指令用于控制三维传感器对待扫描物体表面进行三维激光扫描；其中，物体表面存在至少三个第三目标特征，第三目标特征固定于待扫描物体表面或固定于相对待扫描物体位置确定的辅助表面，用于被所述三维传感器捕捉；
模型重建，当三维传感器位于跟踪器的视野之内时，跟踪器捕捉三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，所述三维轮廓点云在跟踪器坐标系下进行坐标转换，重建得到所述待扫描物体的三维模型；
建立转换关系，当三维传感器位于所述跟踪器的视野之内时，跟踪器捕捉到三维传感器的位姿，三维传感器捕捉待扫描物体的三维轮廓点云，同时三维传感器捕捉在目标扫描中观测到的至少三个第三目标特征，上位机将捕捉到的当前帧的第三目标特征通过之前帧所获得的第三目标特征标记特征库进行匹配，建立第三目标特征坐标系和跟踪器坐标系的转换关系。
8.如权利要求7所述的跟踪式三维扫描装置的扫描方法，其特征在于：目标扫描中，三维传感器通过三角测量法原理对待扫描物体表面进行三维激光扫描。
9.如权利要求7或8所述的跟踪式三维扫描装置的扫描方法，其特征在于，还包括步骤：过渡，当三维传感器位于跟踪器的视野之外时，三维传感器持续捕捉第三目标特征和待扫描物体的三维轮廓点云，上位机将捕捉到的第三目标特征通过在目标扫描中被捕捉累积的第三目标特征标记特征库进行匹配，获得当前的传感器坐标系和跟踪器坐标系的转换关系，所述三维轮廓点云在三维传感器坐标系下根据当前的传感器坐标系和跟踪器坐标系的转换关系进行坐标转换，转换到同一坐标系下的不同位置的三维轮廓点云进行拼接，拼接后重建得到所述待扫描物体的三维模型。
10.如权利要求7或8所述的跟踪式三维扫描装置的扫描方法，其特征在于，还包括步骤：转站，跟踪器捕捉三维传感器的位姿同时三维传感器捕捉待扫描物体的若干第一站位第三目标特征，建立当前第一站位第三目标特征坐标系和跟踪器坐标系的转换关系，所述若干第一站位第三目标特征至少包括是三个第三目标特征；变换跟踪器站位，变换站位后的跟踪器捕捉三维传感器的位姿，同时三维传感器捕捉待扫描物体的若干第二站位第三目标特征，所述若干第二站位第三目标特征中包括至少三个与所述第一站位第三目标特征相同的第三目标特征，建立变换后的第二站位第三目标特征坐标系和跟踪器坐标系的转换关系，获得变换前后的两个跟踪器坐标系的转换关系，所述三维轮廓点云根据所述两个跟踪器坐标系的转换关系进行坐标转换，转换到同一坐标系下的不同位置的三维轮廓点云进行拼接，拼接后重建得到所述待扫描物体的三维模型。
11.如权利要求7或8所述的跟踪式三维扫描装置的扫描方法，其特征在于，在目标扫描之前，还包括：用全局摄影测量获取全部第三目标特征的位置，建立第三目标特征匹配库。
12.一种电子设备，其特征在于包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1或7所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1或7所述的方法。
14.跟踪式三维扫描装置的扫描系统，其特征在于，包括：
三维传感器，包含至少一个第一图像采集装置、包含至少三个可被捕捉的标记特征的第一目标特征；
标定参考器，包含至少三个可被捕捉的标记特征第二目标特征；其中，所述标定参考器上第二目标特征相对于所述标定参考器坐标系的位置已知；
至少一个跟踪器；和
至少一个计算单元，包含至少一个二维图像特征计算器、至少一个坐标匹配器和至少一个标定计算器；
其中，
所述三维传感器的第一图像采集装置用于捕捉所述标定参考器的所述第二目标特征的二维图像；
所述跟踪器用于捕捉所述三维传感器的第一目标特征和所述标定参考器的所述第二目标特征的二维图像；
在所述计算单元中，所述二维图像特征计算器与所述三维传感器与所述跟踪器连接通信，用于将所述三维传感器捕捉的所述第二目标特征的二维图像与所述跟踪器捕捉的所述第一目标特征与所述第二目标特征的二维图像转化为相应目标特征在相应图像中的二维坐标；
所述坐标匹配器与所述二维图像特征计算器连接，用于将被所述三维传感器捕捉的所述第二目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述三维传感器捕捉图像中的所述第二目标特征的二维坐标进行第一坐标匹配；用于将被所述跟踪器捕捉的所述第一目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述跟踪器捕捉图像中的所述第一目标特征的二维坐标进行第二坐标匹配；用于将所述跟踪器捕捉的所述第二目标特征的事先标定的物体坐标与经所述二维图像特征计算器计算获得的在所述跟踪器捕捉图像中的所述第二目标特征的二维坐标进行第三坐标匹配；
所述标定计算器与所述坐标匹配器连接通信，用于获取所述第一坐标匹配、第二坐标匹配、第三坐标匹配结果，得到所述第二目标特征相对于所述三维传感器的第一类转换矩阵，得到所述第一目标特征相对于所述跟踪器的第二类转换矩阵，得到所述第二目标特征相对于所述跟踪器的第三类转换矩阵，所述标定计算器根据所述第一类转换矩阵、所述第二类转换矩阵、所述第三类转换矩阵计算出所述三维传感器上的第一目标特征相对于所述三维传感器坐标系的第四类转换矩阵，完成标定。
15.如权利要求14所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述第一图像采集装置为至少两摄像头或双目相机；所述跟踪器为包括一摄像头或若干相对位置已知的摄像头的第二图像采集装置。
16.如权利要求14所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述三维传感器还包括光源投射器；所述光源投射器用于投射光源。
17.如权利要求14所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述第二目标特征具体包括用于被所述三维传感器识别的第一类第二目标特征和用于被所述跟踪器识别的第二类第二目标特征。
18.如权利要求14所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述标记特征为自发光光源、逆反光标记点、漫反射标记点中的至少一种。
19.如权利要求14所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述第一图像采集装置或所述跟踪器的第二图像采集装置包括至少两个摄像头时，二维图像特征计算器计算至少两个摄像头同步采集第一目标特征与第二目标特征在相应图像中的二维坐标，并将二维坐标通过对极线原理重构为三维坐标，坐标匹配器将所述三维坐标与事先标定的对应的第一目标特征或第二目标特征的物体坐标进行匹配。
20.跟踪式三维扫描装置的扫描系统，其特征在于，包括：
跟踪器，至少一个所述跟踪器，用于捕捉三维传感器的位姿；
三维传感器，至少一个三维传感器，用于通过三角测量法原理进行三维激光扫描，所述三维传感器包含至少一个第一图像采集装置、包含至少三个可被捕捉的标记特征的第一目标特征；
第三目标特征，至少三个第三目标特征，固定于待扫描物体表面或待扫描物体的辅助面，用于被所述三维传感器捕捉；
一个计算单元，用于计算被捕捉的待扫描物体的三维轮廓点云、第三目标特征的转换矩阵、进行坐标转换、重建三维模型；所述扫描系统执行如权利要求7-11任一所述的跟踪式三维扫描装置的扫描方法。
21.如权利要求20所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述跟踪器为激光跟踪仪或包含至少一个摄像头的光学CMM跟踪系统或电磁定位跟踪器。
22.如权利要求20所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述三维传感器包括至少一个激光投影仪和至少一个相机。
23.如权利要求20所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述第三目标特征为标记点，所述标记点利用拓扑关系特征进行坐标转换。
24.如权利要求20所述的跟踪式三维扫描装置的扫描系统，其特征在于：所述第三目标特征为编码标记点，所述编码标记点固定后利用编码特征进行坐标转换。
CN201810565392.4A 2018-03-15 2018-06-04 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 Active CN109000582B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810214210 2018-03-15
CN2018102142109 2018-03-15

Publications (2)

Publication Number Publication Date
CN109000582A CN109000582A (zh) 2018-12-14
CN109000582B true CN109000582B (zh) 2021-07-02

Family

ID=64574244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810565392.4A Active CN109000582B (zh) 2018-03-15 2018-06-04 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备

Country Status (1)

Country Link
CN (1) CN109000582B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639944B (zh) * 2018-12-18 2020-08-04 吉林大学 一种农田图像采集装置
CN111623725B (zh) * 2019-02-27 2022-04-29 杭州思看科技有限公司 一种跟踪式三维扫描系统
CN109883326A (zh) * 2019-03-29 2019-06-14 湖南省鹰眼在线电子科技有限公司 一种摄像测量式汽车三维四轮定位方法、系统及介质
CN110044259B (zh) * 2019-04-04 2022-08-02 上海交通大学 一种合拢管柔性测量系统及测量方法
CN110319771B (zh) * 2019-07-09 2021-12-28 爱驰汽车有限公司 在线测量方法、装置、系统、电子设备、存储介质
CN113048878B (zh) * 2019-12-27 2023-08-29 苏州因确匹电子科技有限公司 光学定位系统、方法以及多视图三维重建系统、方法
CN111220076A (zh) * 2020-01-11 2020-06-02 武汉中观自动化科技有限公司 一种跟踪定位和标志点定位混合的定位方法和装置
CN113514008B (zh) * 2020-04-10 2022-08-23 杭州思看科技有限公司 三维扫描方法、三维扫描系统和计算机可读存储介质
CN111429570B (zh) * 2020-04-14 2023-04-18 深圳市亿道信息股份有限公司 一种基于3d摄像头扫描实现建模功能的方法及系统
CN111355894B (zh) * 2020-04-14 2021-09-03 长春理工大学 一种新型自标定激光扫描投影系统
CN111578837B (zh) * 2020-04-30 2022-03-01 北京农业智能装备技术研究中心 面向农业机器人作业的植物形态视觉跟踪测量方法
DE202020103679U1 (de) * 2020-06-25 2020-07-06 Soft2Tec Gmbh Vorrichtung zur Lage- und Positionserkennung von Markierungen und Computerprogrammprodukt
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒
CN112326673B (zh) * 2020-11-13 2022-06-07 南京航空航天大学 基于机器视觉的注塑件表面缺陷检测方法和装置
CN112747671B (zh) * 2020-12-10 2022-12-09 杭州先临天远三维检测技术有限公司 三维检测系统和三维检测方法
CN113129386B (zh) * 2020-12-23 2022-07-29 合肥工业大学 基于编码平面靶标的双目摄像机内外参数的智能标定方法
CN112797916A (zh) * 2020-12-31 2021-05-14 新拓三维技术(深圳)有限公司 基于追踪式自动化扫描检测系统、方法及可读存储介质
CN112880557B (zh) * 2021-01-08 2022-12-09 武汉中观自动化科技有限公司 一种多模式跟踪器系统
US11493326B2 (en) 2021-02-05 2022-11-08 Scantech (Hangzhou) Co., Ltd. Object surface data detection method and system, electronic apparatus, and storage medium
CN112802002B (zh) * 2021-02-05 2021-11-16 杭州思锐迪科技有限公司 物体表面数据侦测方法、系统、电子装置和存储介质
CN112967380B (zh) * 2021-03-05 2023-04-07 云南电网有限责任公司曲靖供电局 一种微型可折叠三维实景建模无人机系统
CN113140042B (zh) * 2021-04-19 2023-07-25 思看科技(杭州)股份有限公司 三维扫描拼接方法、装置、电子装置和计算机设备
CN113188476B (zh) * 2021-04-19 2023-01-31 思看科技(杭州)股份有限公司 三维扫描系统和三维扫描方法
CN113310427B (zh) * 2021-05-18 2023-03-07 思看科技(杭州)股份有限公司 三维扫描系统和三维扫描方法
CN113421286B (zh) * 2021-07-12 2024-01-02 北京未来天远科技开发有限公司 一种动作捕捉系统及方法
CN113409406A (zh) * 2021-08-19 2021-09-17 武汉中观自动化科技有限公司 一种大范围单目跟踪扫描设备
CN113670202A (zh) * 2021-08-25 2021-11-19 杭州思看科技有限公司 三维扫描系统和三维扫描方法
CN114001696B (zh) * 2021-12-31 2022-04-12 杭州思看科技有限公司 三维扫描系统、工作精度监控方法及三维扫描平台
CN114205483B (zh) * 2022-02-17 2022-07-29 杭州思看科技有限公司 扫描仪精度校准方法、装置和计算机设备
CN114434036B (zh) * 2022-03-18 2023-03-28 南京航空航天大学 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法
CN115493512B (zh) * 2022-08-10 2023-06-13 思看科技(杭州)股份有限公司 数据处理方法、三维扫描系统、电子装置和存储介质
CN115508006B (zh) * 2022-09-15 2023-09-22 中国船舶科学研究中心 一种船模重心和惯量测试方法
CN115325959B (zh) * 2022-10-13 2023-03-07 思看科技(杭州)股份有限公司 一种三维扫描系统及方法
CN115661369B (zh) * 2022-12-14 2023-03-14 思看科技(杭州)股份有限公司 三维扫描方法、三维扫描的控制方法、系统和电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761732A (zh) * 2014-01-06 2014-04-30 哈尔滨工业大学深圳研究生院 一种可见光与热红外融合的立体成像装置及其标定方法
US20140259714A1 (en) * 2013-03-14 2014-09-18 Faro Technologies, Inc. System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices
CN104501740A (zh) * 2014-12-18 2015-04-08 杭州鼎热科技有限公司 一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN106643504A (zh) * 2017-01-11 2017-05-10 江苏科技大学 一种基于跟踪器的大型物体三维测量中led标记的标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140259714A1 (en) * 2013-03-14 2014-09-18 Faro Technologies, Inc. System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices
CN103761732A (zh) * 2014-01-06 2014-04-30 哈尔滨工业大学深圳研究生院 一种可见光与热红外融合的立体成像装置及其标定方法
CN104501740A (zh) * 2014-12-18 2015-04-08 杭州鼎热科技有限公司 一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN106643504A (zh) * 2017-01-11 2017-05-10 江苏科技大学 一种基于跟踪器的大型物体三维测量中led标记的标定方法

Also Published As

Publication number Publication date
CN109000582A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109000582B (zh) 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN109993793B (zh) 视觉定位方法及装置
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN102692214B (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN103759670A (zh) 一种基于数字近景摄影的物体三维信息获取方法
CA2835306A1 (en) Sensor positioning for 3d scanning
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
CN106500625B (zh) 一种远心立体视觉测量方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN101858742A (zh) 一种基于单相机的定焦测距方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN109712139A (zh) 基于线性运动模组的单目视觉的尺寸测量方法
CN111028280A (zh) 井字结构光相机系统及进行目标有尺度三维重建的方法
CN110728745A (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
Hu et al. Accurate 3-D shape measurement for large objects using speckle-assisted fringe projection and global markers localization
Li et al. Extrinsic calibration of non-overlapping multi-camera system with high precision using circular encoded point ruler
CN113781573B (zh) 一种基于双目折反射全景相机的视觉里程计方法
CN111829489B (zh) 一种视觉定位的方法及装置
CN107478227B (zh) 交互式大型空间的定位算法
Chen et al. A novel 3D reconstruction method with a binocular-line laser system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 102, Unit 1, Building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Sikan Technology (Hangzhou) Co.,Ltd.

Address before: Room 607, building 4, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000

Patentee before: HANGZHOU SCANTECH Co.