CN112330732A - 三维数据拼接方法及三维扫描系统、手持扫描仪 - Google Patents
三维数据拼接方法及三维扫描系统、手持扫描仪 Download PDFInfo
- Publication number
- CN112330732A CN112330732A CN202011057282.0A CN202011057282A CN112330732A CN 112330732 A CN112330732 A CN 112330732A CN 202011057282 A CN202011057282 A CN 202011057282A CN 112330732 A CN112330732 A CN 112330732A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- measured object
- splicing
- measurement module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims description 156
- 230000009466 transformation Effects 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种三维数据拼接方法及三维扫描系统、手持扫描仪。其中,该方法包括:获取第一图像和第二图像,其中,第一图像和第二图像为测量模组获取的被测物体表面的目标图像;对目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云;确定多片第一点云之间的拼接转换关系;基于多片第一点云之间的拼接转换关系,拼接对应的多片第二点云。本发明解决了相关技术中通过人工频繁贴点以实时拼接扫描点云数据,存在费时费力的技术问题。
Description
技术领域
本发明涉及三维数字化领域,具体而言,涉及一种三维数据拼接方法及三维扫描系统、手持扫描仪。
背景技术
相关技术中,基于条纹图像三维重建的三维扫描方式需要人工进行贴点,通过在被测物体表面粘贴标志点或特征,用摄影测量的进行标志点的拍摄和其三维数据获取,且在扫描过程中,之后将标志点或者特征三维数据导入,用扫描仪围绕着被测物体利用标志点或者特征进行拼接扫描,为了保证数据可以统一到一个坐标系下,需要借助标志点进行实时的扫描点云拼接,扫描完毕后需要人工清除贴点,浪费时间和人力。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种三维数据拼接方法及三维扫描系统、手持扫描仪,以至少解决相关技术中通过人工频繁贴点以实时拼接扫描点云数据,存在费时费力的技术问题。
根据本发明实施例的一个方面,提供了三维扫描系统,用于获得被测物体的三维数据,包括:测量模组,用于获取被测物体表面的目标图像,所述目标图像包括第一图像和第二图像;计算机终端,用于执行如下步骤:对所述目标图像进行三维重建,基于所述第一图像得到第一点云,并基于所述第二图像得到第二点云;确定多片所述第一点云之间的拼接转换关系;基于多片所述第一点云的拼接转换关系拼接对应的多片所述第二点云。
可选地,所述测量模组包括:第一测量模组,用于获取被测物体表面的第一图像;第二测量模组,用于获取被测物体表面的第二图像。
可选地,所述第一测量模组包括:散斑投射器,用于投射第一波段的散斑图像至被测物体表面;第一采集模块,用于采集投射至所述被测物体表面的散斑图像,以获取第一图像,和/或,所述第二测量模组包括:条纹投射模块,用于发射第二波段的条纹图像至所述被测物体表面;第二采集模块,用于采集投射至所述被测物体表面的条纹图像,以获取第二图像。
可选地,所述计算机终端在执行基于多片所述第一点云的拼接转换关系拼接对应的多片所述第二点云的步骤时,包括:获取所述第一测量模组与所述第二测量模组之间的位姿变换关系;基于第一测量模组和第二测量模组之间的位姿变换关系以及多片第一点云的拼接转换关系,拼接对应的多片所述第二点云。
可选地,所述测量模组包括:散斑投射器,用于投射第一波段的散斑图像至被测物体表面;条纹投射模块,用于发射第二波段的条纹图像至所述被测物体表面;采集模块,用于采集投射至被测物体表面的目标图像,所述目标图像中包括对应于散斑图像的第一图像和对应于条纹图像的第二图像。
可选地,所述第一测量模组和所述第二测量模组在扫描之前,预先进行标定以获取第一测量模组和第二测量模组之间的位姿变换关系。
可选地,所述测量模组可移动测量。
根据本发明实施例的另一个方面,还提供了一种三维数据拼接方法,用于获得被测物体的三维数据,包括:获取第一图像和第二图像,其中,所述第一图像和所述第二图像为测量模组获取的被测物体表面的目标图像;对所述目标图像进行三维重建,基于所述第一图像得到第一点云,并基于所述第二图像得到第二点云;确定多片所述第一点云之间的拼接转换关系;基于多片所述第一点云之间的拼接转换关系,拼接对应的多片所述第二点云。
根据本发明实施例的另一个方面,还提供了一种手持扫描仪,所述手持扫描仪与计算机终端连接,所述计算机终端中运行的程序执行上述的三维数据拼接方法,该手持扫描仪包括:测量模组,用于获取被测物体表面的目标图像,并将所述目标图像发送至计算机终端,其中,所述目标图像包括第一图像和第二图像。
根据本发明实施例的另一个方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的三维数据拼接方法。
本发明实施例中,通过获取第一图像和第二图像,其中,第一图像和第二图像为测量模组获取的被测物体表面的目标图像,对目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云,确定多片第一点云之间的拼接转换关系,基于多片第一点云之间的拼接转换关系拼接对应的多片第二点云。在本申请中,通过对目标图像进行三维重建,并以多片第一点云确定第一点云之间的拼接转换关系,实现多片第二点云之间的拼接操作,这样可以通过数量较多的第一点云,辅助完成与第二图像对应的第二点云之间的拼接,无需借助外部贴附的标志点,即可完成精度较高的第二点云之间的拼接操作,实现不贴点激光扫描,从而解决了相关技术中通过人工频繁贴点以实时拼接扫描点云数据,存在费时费力的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的三维扫描系统的示意图;
图2是根据本发明实施例的另一种可选的三维扫描系统的示意图;
图3是根据本发明实施例的一种可选的三维数据拼接方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例的一种可选的三维扫描系统的示意图,用于获得被扫描物体的三维数据,如图1所示,该三维扫描系统可以包括:测量模组11,计算机终端12,其中,
测量模组11,用于获取被测物体表面的目标图像,所述目标图像包括第一图像和第二图像。
可选的,测量模组11包括:第一测量模组,用于获取被测物体表面的第一图像;第二测量模组,用于获取被测物体表面的第二图像。
在本发明实施例中,第一测量模组与第二测量模组分别设置不同的采集模块,具体地,第一测量模组包括第一采集模块,第二测量模组包括第二采集模块,第一采集模块与第二采集模块相互独立。
可选的,第一测量模组包括:散斑投射器,用于投射第一波段的散斑图像至被测物体表面;第一采集模块,用于采集投射至被测物体表面的散斑图像,以获取第一图像。
本发明实施例中,第一测量模组与下述的第二测量模组在扫描过程中两者的相对位置始终保持不变,第一测量模组与下述的第二测量模组可构建成固定式三维扫描仪,使被测物体在固定式扫描仪的测量范围内移动,实现多角度测量,或者,第一测量模组与下述的第二测量模组构建成移动式三维扫描仪,第一测量模组与第二测量模组集成于一个扫描仪中,扫描仪可移动测量,即移动扫描仪使其在不同测量时刻从不同的测量角度对被测物体进行多角度测量,其散斑投射器可以向被测物体表面投射散斑图像,并通过第一采集模块采集二维影像,得到第一图像,每个测量角度(每个测量时刻)分别获取第一图像,从而获取到多帧第一图像。可选的第一采集模块包括至少一个相机。
可选的,测量模组还可以包括滤光片、补光灯等,具体地,第一测量模组11及下述的第二测量模组分别包括滤光片、补光灯等。通过滤光片的选择设置使得相机仅采集对应波段的图像,例如,在散斑投射器与条纹投射模块同步向被测物体投射图像时,第一采集模块仅采集散斑图像而不采集条纹图像,第二采集模块仅采集条纹图像而不采集散斑图像;或者同一采集模块既可采集散斑图像又可采集条纹图像。
通过第一测量模组能够获取到第一图像(可以直接理解为包含散斑图像的物体表面图像),通过该第一图像三维重建得到第一点云,本申请利用散斑图像重建的第一点云中点数量多而密集、可反映被测物体丰富特征的特点,实现多片第一点云的特征拼接。扫描仪从多个测量角度拍摄被测物体表面的图像,获取到第一图像,每帧第一图像可以对应一个测量角度,通过对每帧第一图像三维重建,可以得到与每帧第一图像对应的单片第一点云,基于第一图像获取到多片第一点云,即第一图像、第一点云、测量时刻与测量角度一一对应,本发明实施例中,以每个测量角度对应拍摄一帧第一图像为例,进行示意性说明。
通过多片第一点云之间的拼接,在本实施例中,多片第一点云之间进行特征拼接,可以确定出多片第一点云之间的拼接转换关系,也就是确定出第一测量模组在获取多片第一图像过程中的位姿变换关系,即第一测量模组在多个对应的测量角度(测量时刻)之间的位姿变换关系,用于辅助第二点云完成高精度的拼接操作。
可选的,第二测量模组包括:条纹投射模块,用于投射第二波段的条纹图像至被测物体表面;第二采集模块,用于采集投射至被测物体表面的条纹图像,以获取第二图像。
在本发明实施例中,条纹图像的类型包括下述至少之一:激光条纹图像、结构光条纹图像。
第二测量模组中的条纹投射模块向被扫描物体表面投射条纹图像(如以激光光源投射形成的激光条纹图像或者以结构光光源投射形成的结构光条纹图像),然后利用第二采集模块采集物体表面的图像,该第二采集模块包括至少两个相机,每个相机拍摄被测物体表面的图像。
此时,目标图像包括第一图像和第二图像,散斑投射器和条纹投射模块同步向被测物体表面的某一个部位投射图像,散斑图像与条纹图像共同呈现在该部位上,第一采集模块与第二采集模块同步拍摄被测物体表面的图像,得到对应于散斑图像的第一图像和对应于条纹图像的第二图像。在本实施例中,第一采集模块仅获取对应于散斑图像的第一图像,第二采集模块仅获取对应于条纹图像的第二图像,第一图像与第二图像是同步获取的。
在本实施例中,第二测量模组与第一测量模组同步获取被测物体表面的图像,具体地,扫描仪(手持式移动三维扫描仪)从测量角度A获取被测物体表面的图像,包括:散斑投射器向被测物体表面投射散斑图像,条纹投射模块向被测物体表面同步投射条纹图像,第一采集模块采集被测物体表面的散斑图像以获取第一图像A,第二采集模块同步采集被测物体表面的条纹图像以获取第二图像A,即扫描仪从测量角度A同步获取第一图像A和第二图像A;扫描仪从测量角度B获取被测物体表面的图像,包括:散斑投射器向被测物体表面投射散斑图像,条纹投射模块向被测物体表面同步投射条纹图像,第一采集模块采集被测物体表面的散斑图像以获取第一图像B,第二采集模块同步采集被测物体表面的条纹图像以获取第二图像B,即扫描仪从测量角度B同步获取第一图像B和第二图像B……随着扫描仪的移动扫描仪从多个测量角度同步获取第一图像与第二图像。
第二图像经三维重建得到第二点云,扫描仪从多个测量角度拍摄被测物体表面的图像,获取到第二图像,每帧第二图像可以对应一个测量角度,通过对每帧第二图像三维重建,可以得到与每帧第二图像对应的单片第二点云,基于第二图像获取到多片第二点云,即第二图像、第二点云、测量时刻与测量角度一一对应,可见,每个测量角度下获取的第一点云与第二点云是相对应的,然后在拼接多片第二点云时,利用第一测量模组与第二测量模组之间的位姿变换关系(即第一采集模块与第二采集模块之间的位姿变换关系)以及多片第一点云之间的拼接转换关系,实现多片第二点云之间的高精度拼接,从而得到被测物体的高精度的三维模型。
具体地,扫描仪从测量角度A获取被测物体表面的图像,即第一测量模组从测量角度A获取第一图像A,第二测量模组从测量角度A同步获取第二图像A,第一图像A三维重建得到第一点云A,第二图像A三维重建得到第二点云A;扫描仪从测量角度B获取被测物体表面的图像,即第一测量模组从测量角度B获取第一图像B,第二测量模组从测量角度B同步获取第二图像B,第一图像B三维重建得到第一点云B,第二图像B三维重建得到第二点云B;扫描仪从测量角度C获取被测物体表面的图像,即第一测量模组从测量角度C获取第一图像C,第二测量模组从测量角度C同步获取第二图像C,第一图像C三维重建得到第一点云C,第二图像C三维重建得到第二点云C;第一点云A与第一点云B进行特征拼接,获取到拼接转换关系[R1,T1],第一点云A与第一点云C进行特征拼接,获取到拼接转换关系[R2,T2];获取第一测量模组与第二测量模组之间的位姿变换关系[R,T],第二点云A与第二点云B通过[R,T]及[R1,T1]进行拼接,第二点云A与第二点云C通过[R,T]及[R2,T2]进行拼接。
优选地,扫描仪从测量角度A获取被测物体表面的图像,即第一测量模组从测量角度A获取第一图像A,第二测量模组从测量角度A同步获取第二图像A,第一图像A三维重建得到第一点云A,第二图像A三维重建得到第二点云A;扫描仪从测量角度B获取被测物体表面的图像,即第一测量模组从测量角度B获取第一图像B,第二测量模组从测量角度B同步获取第二图像B,第一图像B三维重建得到第一点云B,第二图像B三维重建得到第二点云B,第一点云A与第一点云B进行特征拼接(即当前帧第一点云与之前帧第一点云进行特征拼接),获取到拼接转换关系[R1,T1];获取第一测量模组与第二测量模组之间的位姿变换关系[R,T],第二点云A与第二点云B通过[R,T]及[R1,T1]进行拼接(即当前帧第二点云与之前帧第二点云进行拼接),获得拼接后第二点云AB;扫描仪从测量角度C获取被测物体表面的图像,即第一测量模组从测量角度C获取第一图像C,第二测量模组从测量角度C同步获取第二图像C,第一图像C三维重建得到第一点云C,第二图像C三维重建得到第二点云C,拼接后第二点云AB与第一点云C进行特征拼接,获取到拼接转换关系[R2,T2];拼接后第二点云AB与第二点云C通过[R,T]及[R2,T2]进行拼接,获得拼接后第二点云ABC……直至获取到被测物体的整体点云。每获取到当前帧数据即可与之前帧数据进行处理,例如拼接,从而实现扫描仪数据的实时获取及处理,实时获取到被测物体的扫描数据,实时呈像。
在本发明实施例中,散斑投射器投射散斑图像的第一波段与条纹投射模块投射条纹图像的第二波段相同,或者,第一波段与第二波段互不干扰。即两个投射模块投射的光波段可以相同也可以不同。第一波段和第二波段发射的光类型包括但不限于:可见光、不可见光,在一个可选的实施方式中,第一波段为不可见光波段。优选的,第一波段为不可见光波段中的815-845nm波段。更进一步,第一波段的散斑图像采用特定的波长,波长为830nm。如果散斑投射器与条纹投射模块投射相同波段的光,则散斑投射器与条纹投射模块同时工作时,第一采集模块获取到的单帧图像包括第一图像与第二图像,第二采集模块同步获取到的单帧图像包括第一图像与第二图像,即散斑图像与条纹图像呈现在同一帧图像中,实际使用时可择一采集模块工作即可;如果散斑投射器与条纹投射模块投射不同波段的光,散斑投射器与条纹投射模块同时工作时,则第一采集模块获取到的单帧图像仅包括第一图像,第二采集模块获取的单帧图像仅包括第二图像,测量模组获取到的第一图像与第二图像为相互独立的两帧图像,当然通过不同滤光片的设置,也可使第一采集模块同时获取第一图像与第二图像、第二采集模块同时获取第一图像与第二图像,即单帧图像包括第一图像与第二图像。
本申请中,第一采集模块和第二采集模块可以分别包括两个相机。
第一测量模组和第二测量模组预先安装在手持扫描仪中,两个模组的位置是固定,因此,可以通过扫描仪标定直接确定第一测量模组和第二测量模组之间的位姿变换关系。在拍摄时,第一采集模块与第二采集模块可以同步对被测物体表面上的同一部位进行图像采集,在采集完成后,再继续对下一部位进行采集。可选地,第一测量模组与第二测量模组共用同一采集模块。
可选的,测量模组包括:散斑投射器,用于投射第一波段的散斑图案至被测物体表面;条纹投射模块,用于发射第二波段的条纹图像至被测物体表面;采集模块,用于采集投射至被测物体表面的目标图像,散斑投射器与条纹投射器同步向被测物体表面投射,被测物体表面既形成有散斑图像又形成有条纹图像,采集模块采集被测物体表面的图像,单帧目标图像中既包括对应于散斑图像的第一图像又包括对应于条纹图像的第二图像。也就是说,散斑投射器与采集模块构建了第一测量模组,条纹投射模块与采集模块构建了第二测量模组,但第一测量模组与第二测量模组共用了同一采集模块,散斑图像与条纹图像成像于同一帧图像。
在本发明实施例中,第一采集模块和第二采集模块共用一组相机(包括至少两个相机),在共用一组相机时,散斑投射器投射散斑图像的第一波段与条纹投射模块投射条纹图像的第二波段相同,每个相机获取到的单帧目标图像中既包含散斑图像又包含条纹图像。
图2是根据本发明实施例的另一种可选的三维扫描系统的示意图,如图2所示,该三维扫描系统中,第一测量模组和第二测量模组中的采集模块共用一组相机,通过一组相机实现多张图像的拍摄,图像中即包括散斑图像也包括条纹图像。在本实施例中,一个采集模块包括两个相机,两个相机构建双目立体视觉系统。
作为本发明可选的实施方式,由于投射于被测物体表面的散斑图像与条纹图像同时由同一采集模块获取,因此第一点云的拼接转换关系即为第二点云的拼接转换关系,基于多片第一点云的拼接转换关系即可拼接对应的多片第二点云。
上述手持扫描仪可以与计算机终端建立通信连接关系,然后将采集到的第一图像、第二图像实时传输至计算机终端,计算机终端中可以安装三维扫描应用或者三维分析软件,以通过第一图像和第二图像,分别得到第一点云和第二点云,之后,可以通过多片第一点云的特征拼接辅助对应的多片第二点云进行拼接,得到与被测物体对应的三维数字模型。
在本发明实施方式中,测量模组可移动测量。测量模组可以安装在手持扫描仪中,因此可以实现移动测量,对被测物体实现三维扫描测量。
计算机终端12,执行如下步骤:对目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云;确定多片第一点云之间的拼接转换关系;基于多片第一点云的拼接转换关系拼接对应的多片第二点云。
可选的,计算机终端在执行基于多片第一点云的拼接转换关系拼接对应的多片第二点云的步骤时,包括:获取第一测量模组与第二测量模组之间的位姿变换关系;基于第一测量模组和第二测量模组之间的位姿变换关系以及多片第一点云的拼接转换关系,拼接对应的多片第二点云。
由于获取图像时,每个时间点对应一个测量角度,每个测量角度,测量模组获取目标图像,即测量时间点、测量角度与目标图像一一对应,通过不同时间点从不同测量角度获取到投射至被测物体表面的图像,从而得到多帧目标图像,在分析第一点云时,需要确定前后不同时间点,测量模组获取目标图像时发生的位姿变换关系。
例如,以第一测量模组为标准,构建对应于第一测量模组的位姿变换关系,基于多片第一点云确定第一测量模组在不同时间点的位姿变换关系,通过不同时间点从不同测量角度获取到投射至被测物体表面的散斑图像,从而得到第一图像,在分析第一点云时,需要确定前后不同时间点,第一测量模组获取第一图像时发生的位姿变换关系。通过该第一测量模组在不同时间点的位姿变换关系和两个测量模组之间的位姿变换关系,拼接多片第二点云。
上述三维扫描系统,采用测量模组获取被测物体表面的目标图像,目标图像包括第一图像和第二图像,采用计算机终端12执行如下步骤:对所述目标图像进行三维重建,基于所述第一图像得到第一点云,并基于所述第二图像得到第二点云;确定多片所述第一点云之间的拼接转换关系;基于多片所述第一点云的拼接转换关系拼接对应的多片所述第二点云。在该实施例中,通过对第一图像和第二图像进行三维重建,并以多片第一点云确定测量模组在拍摄图像过程中发生的位姿变换关系,实现多片第二点云之间的拼接操作,这样可以通过数量较多的第一点云,辅助完成与第二图像对应的第二点云之间的拼接,无需借助外部贴附的标志点,即可完成精度较高的第二点云之间的拼接操作,实现不贴点激光扫描,从而解决了相关技术中通过人工频繁贴点以实时拼接扫描点云数据,存在费时费力的技术问题。
对于本发明实施例的第一测量模组与第二测量模组之间的位姿变换关系,设备在扫描之前,可以先进行设备的标定,标定后可以确定两个模组之间的位姿变换关系[R,T],该位姿变换关系可以反映两个测量模组之间的位置关系,其可以通过一个旋转平移矩阵表示。
计算机终端12在接收到测量模组采集的目标图像后,可以三维重建得到被测物体的多片第一点云,多片第一点云通过特征拼接即可得到多片第一点云之间的拼接转换关系[Ri,Ti],也就是获取了第测量模组在获取对应的多帧目标图像过程中的位姿变换关系。
利用[R,T]和[Ri,Ti]将多片第二点云统一到一个坐标系下,完成拼接,从而实现免贴标志点的拼接。例如,第一点云A与第一点云B拼接得到两者之间的拼接转换关系[R1,T1],即获取第一图像A时第一测量模组的位姿变换到获取第一图像B时第一测量模组的位姿变换关系;第一点云A与第一点云C拼接得到两者之间的拼接转换关系[R2,T2],即获取第一图像A时第一测量模组的位姿变换到获取第一图像C时第一测量模组的位姿的位姿变换关系。由于在扫描过程中第一测量模组与第二测量模组的位姿变换关系[R,T]始终保持不变,因此,通过第一测量模组与第二测量模组的位姿变换关系[R,T]及获取第一图像A时第一测量模组的位姿变换到获取第一图像B时第一测量模组的位姿变换关系即可确定在获取第二图像A时第二测量模组的位姿变换到获取第二图像B时第二测量模组的位姿变换关系,即获取第二点云A与第二点云B之间的拼接转换关系[R1’,T1’],基于拼接转换关系[R1’,T1’]完成第二点云A与第二点云B的拼接,通过第一测量模组与第二测量模组的位姿变换关系[R,T]及获取第一图像A时第一测量模组的位姿变换到获取第一图像C时第一测量模组的位姿变换关系即可确定获取第二图像A时第二测量模组的位姿变换到获取第二图像C时第二测量模组的位姿变换关系,即获取第二点云A与第二点云C之间的拼接转换关系[R2’,T2’],基于拼接转换关系[R2’,T2’]完成第二点云A与第二点云C的拼接。
通过上述实施例,可以利用测量模组11中获取投射在被测物体表面上的目标图像,然后利用计算机终端12三维重建,得到多片第一点云,确定多片所述第一点云之间的拼接转换关系,对对第二图像进行三维重建,得到多片第二点云,基于测量模组在拍摄不同图像过程的位姿变换关系以及两个测量模组之间的位姿变换关系,拼接多片第二点云,以得到被测物体的三维数字模型,实现同波段或者多波段免贴标志点的扫描拼接,无需外部贴附标志点。
在本实施例中,第一图像基于双目视觉重建原理三维重建得到第一点云,第二图像基于双目视觉重建原理三维重建得到第二点云。具体地,散斑图像基于双目视觉重建原理三维重建得到第一点云,条纹图像基于双目视觉重建原理三维重建得到第二点云,由于散斑图像重建得到的点云中点的数量多而密集,具有丰富的特征,因此多片第一点云可特征拼接得到多片第一点云之间的拼接转换关系[Ri,Ti],又由于在扫描过程中第一测量模组与第二测量模组之间的位姿变换关系[R,T]始终保持不变,因此,基于第一测量模组与第二测量模组之间的位姿变换关系[R,T]及多片第一点云之间的位姿变换关系/拼接转换关系[Ri,Ti],即可完成多片第二点云之间的拼接,这也解决了条纹图像三维重建得到的点云中点的数量少而稀疏、特征不丰富、需要借助粘贴标志点来辅助拼接所带来的人工频繁贴点耗时费力的问题,而条纹图像三维重建的点云的精度相对散斑图像三维重建的点云的精度要高,因此,由多片第二点云拼接得到的被测物体的三维数字模型精度高。
根据本发明可选的实施例,还提供了一种三维扫描系统,用于获得被测物体的三维数据,包括:第一测量模组,至少包括:散斑投射器,散斑投射器用于投射第一波段的散斑图像至被测物体表面;第二测量模组,至少包括:条纹投射模块,条纹投射模块用于发射第二波段的条纹图像至被测物体表面;采集模块,用于采集不同时间点投射至被测物体表面的图像;计算机终端,在接收图像后,执行如下步骤:步骤一,对图像进行三维重建,得到多片第一点云和多片第二点云,其中,第一点云与第一测量模组投射的散斑图像对应,第二点云与第二测量模组发射的条纹图像对应;步骤二,基于多片第一点云确定第一测量模组在不同时间点的位姿变换关系;步骤三,基于位姿变换关系,拼接多片第二点云。
图3是根据本发明实施例的一种可选的三维数据拼接方法的流程图,三维数据拼接方法用于获得被扫描物体的三维数据,如图3所示,该三维数据拼接方法包括:
步骤S302,获取第一图像和第二图像,其中,第一图像和第二图像为测量模组获取的被测物体表面的目标图像;
步骤S304,对所述目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云;
步骤S306,确定多片第一点云之间的拼接转换关系;
步骤S308,基于多片第一点云之间的拼接转换关系,拼接对应的多片第二点云。
通过上述步骤,获取第一图像和第二图像,其中,第一图像和第二图像为测量模组获取的被测物体表面的目标图像,对目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云,确定多片第一点云之间的拼接转换关系,基于多片第一点云之间的拼接转换关系,拼接对应的多片第二点云。在本申请中,通过对目标图进行三维重建,并以多片第一点云确定多片第一点云之间的拼接转换关系,实现对应的多片第二点云之间的拼接操作,这样可以通过数量较多的第一点云,辅助完成与第二图像对应的第二点云之间的拼接,无需借助外部贴附的标志点,即可完成精度较高的第二点云之间的拼接操作,实现不贴点激光扫描,从而解决了相关技术中通过人工频繁贴点以实时拼接扫描点云数据,存在费时费力的技术问题。
该实施例应用于计算机终端,该计算机终端可以与手持扫描仪连接,接收手持扫描仪中测量模组分别采集到的第一图像和第二图像,并完成被测物体的点云拼接,得到与被测物体对应的物体三维点云模型。
上述测量模组包括:第一测量模组,用于获取被测物体表面的第一图像;第二测量模组,用于获取被测物体表面的第二图像。
第一测量模组包括:散斑投射器,用于投射第一波段的散斑图像至被测物体表面;第一采集模块,用于采集投射至被测物体表面的散斑图像,以获取第一图像。
可选的,第二测量模组包括:条纹投射模块,用于投射第二波段的条纹图像至被测物体表面;第二采集模块,用于采集投射至被测物体表面的条纹图像,以获取第二图像。
可选的,条纹图像的类型包括下述至少之一:激光条纹图像、结构光条纹图像。
可选的,第一波段与第二波段相同,或者,第一波段与第二波段互不干扰。
可选的,计算机终端在执行基于多片第一点云的拼接转换关系拼接对应的多片第二点云的步骤时,包括:获取第一测量模组与第二测量模组之间的位姿变换关系;基于第一测量模组和第二测量模组之间的位姿变换关系以及多片第一点云的拼接转换关系拼接多片第二点云。
可选的,第一测量模组和第二测量模组在扫描之前,预先进行标定以获取第一测量模组和第二测量模组之间的位姿变换关系。
可选的,测量模组包括:散斑投射器,用于投射第一波段的散斑图像至被测物体表面;条纹投射模块,用于发射第二波段的条纹图像至被测物体表面;采集模块,用于采集投射至被测物体表面的目标图像,目标图像中包括对应于散斑图像的第一图像和对应于条纹图像的第二图像。
另一种可选的,测量模组可移动测量。
根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的三维数据拼接方法。
根据本发明实施例的另一个方面,还提供了一种手持扫描仪,手持扫描仪与计算机终端连接,计算机终端中运行的程序执行上述的三维数据拼接方法,该手持扫描仪包括:测量模组,用于获取被测物体表面的目标图像,并将目标图像发送至计算机终端,其中,目标图像包括第一图像和第二图像。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的三维数据拼接方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取第一图像和第二图像,其中,第一图像和第二图像为测量模组获取的被测物体表面的目标图像;对所述目标图像进行三维重建,基于第一图像得到第一点云,并基于第二图像得到第二点云;确定多片第一点云之间的拼接转换关系;基于多片第一点云之间的拼接转换关系拼接对应的多片第二点云。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种三维扫描系统,用于获得被测物体的三维数据,其特征在于,包括:
测量模组,用于获取被测物体表面的目标图像,所述目标图像包括第一图像和第二图像;
计算机终端,用于执行如下步骤:
对所述目标图像进行三维重建,基于所述第一图像得到第一点云,并基于所述第二图像得到第二点云;
确定多片所述第一点云之间的拼接转换关系;
基于多片所述第一点云的拼接转换关系拼接对应的多片所述第二点云。
2.根据权利要求1所述的三维扫描系统,其特征在于,所述测量模组包括:
第一测量模组,用于获取被测物体表面的第一图像;
第二测量模组,用于获取被测物体表面的第二图像。
3.根据权利要求2所述的三维扫描系统,其特征在于,
所述第一测量模组包括:
散斑投射器,用于投射第一波段的散斑图像至被测物体表面;
第一采集模块,用于采集投射至所述被测物体表面的散斑图像,以获取第一图像,和/或,
所述第二测量模组包括:
条纹投射模块,用于发射第二波段的条纹图像至所述被测物体表面;
第二采集模块,用于采集投射至所述被测物体表面的条纹图像,以获取第二图像。
4.根据权利要求2所述的三维扫描系统,其特征在于,所述计算机终端在执行基于多片所述第一点云的拼接转换关系拼接对应的多片所述第二点云的步骤时,包括:获取所述第一测量模组与所述第二测量模组之间的位姿变换关系;基于所述第一测量模组和所述第二测量模组之间的位姿变换关系以及多片所述第一点云的拼接转换关系,拼接对应的多片第二点云。
5.根据权利要求4所述的三维扫描系统,其特征在于,所述第一测量模组和所述第二测量模组在扫描之前,预先进行标定以获取所述第一测量模组和所述第二测量模组之间的位姿变换关系。
6.根据权利要求1所述的三维扫描系统,其特征在于,所述测量模组包括:
散斑投射器,用于投射第一波段的散斑图像至被测物体表面;
条纹投射模块,用于发射第二波段的条纹图像至所述被测物体表面;
采集模块,用于采集投射至被测物体表面的目标图像,所述目标图像中包括对应于散斑图像的第一图像和对应于条纹图像的第二图像。
7.根据权利要求1所述的三维扫描系统,其特征在于,所述测量模组可移动测量。
8.一种三维数据拼接方法,用于获得被测物体的三维数据,其特征在于,包括:
获取第一图像和第二图像,其中,所述第一图像和所述第二图像为测量模组获取的被测物体表面的目标图像;
对所述目标图像进行三维重建,基于所述第一图像得到第一点云,并基于所述第二图像得到第二点云;
确定多片所述第一点云之间的拼接转换关系;
基于多片所述第一点云之间的拼接转换关系,拼接对应的多片所述第二点云。
9.一种手持扫描仪,其特征在于,所述手持扫描仪与计算机终端连接,所述计算机终端中运行的程序执行权利要求8所述的三维数据拼接方法,该手持扫描仪包括:
测量模组,用于获取被测物体表面的目标图像,并将所述目标图像发送至计算机终端,其中,所述目标图像包括第一图像和第二图像。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求8所述的三维数据拼接方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011057282.0A CN112330732A (zh) | 2020-09-29 | 2020-09-29 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
PCT/CN2021/116044 WO2022068510A1 (zh) | 2020-09-29 | 2021-09-01 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011057282.0A CN112330732A (zh) | 2020-09-29 | 2020-09-29 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112330732A true CN112330732A (zh) | 2021-02-05 |
Family
ID=74314370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011057282.0A Pending CN112330732A (zh) | 2020-09-29 | 2020-09-29 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112330732A (zh) |
WO (1) | WO2022068510A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487721A (zh) * | 2021-06-18 | 2021-10-08 | 浙江大学 | 一种基于三维点云的预制构件自动化识别方法 |
WO2022068510A1 (zh) * | 2020-09-29 | 2022-04-07 | 先临三维科技股份有限公司 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
WO2023274413A1 (zh) * | 2021-07-01 | 2023-01-05 | 先临三维科技股份有限公司 | 三维扫描系统、辅助件、处理方法、装置、设备及介质 |
CN115797659A (zh) * | 2023-01-09 | 2023-03-14 | 思看科技(杭州)股份有限公司 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
CN117579753A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330652B (zh) * | 2022-08-15 | 2023-06-16 | 北京城市网邻信息技术有限公司 | 点云拼接方法、设备及存储介质 |
CN116206069B (zh) * | 2023-04-28 | 2023-10-13 | 思看科技(杭州)股份有限公司 | 三维扫描中的图像数据处理方法、装置和三维扫描仪 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN206311076U (zh) * | 2017-01-04 | 2017-07-07 | 苏州西博三维科技有限公司 | 基于散斑的极速三维人体扫描仪 |
CN109141289A (zh) * | 2018-08-01 | 2019-01-04 | 先临三维科技股份有限公司 | 三维扫描方法和系统 |
WO2020063987A1 (zh) * | 2018-09-30 | 2020-04-02 | 先临三维科技股份有限公司 | 三维扫描方法、装置、存储介质和处理器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150070468A1 (en) * | 2013-09-10 | 2015-03-12 | Faro Technologies, Inc. | Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry |
CN108151671B (zh) * | 2016-12-05 | 2019-10-25 | 先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描系统及其扫描方法 |
CN111023970B (zh) * | 2019-12-17 | 2021-11-16 | 杭州思看科技有限公司 | 多模式三维扫描方法及系统 |
CN112330732A (zh) * | 2020-09-29 | 2021-02-05 | 先临三维科技股份有限公司 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
-
2020
- 2020-09-29 CN CN202011057282.0A patent/CN112330732A/zh active Pending
-
2021
- 2021-09-01 WO PCT/CN2021/116044 patent/WO2022068510A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206311076U (zh) * | 2017-01-04 | 2017-07-07 | 苏州西博三维科技有限公司 | 基于散斑的极速三维人体扫描仪 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN109141289A (zh) * | 2018-08-01 | 2019-01-04 | 先临三维科技股份有限公司 | 三维扫描方法和系统 |
WO2020063987A1 (zh) * | 2018-09-30 | 2020-04-02 | 先临三维科技股份有限公司 | 三维扫描方法、装置、存储介质和处理器 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022068510A1 (zh) * | 2020-09-29 | 2022-04-07 | 先临三维科技股份有限公司 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
CN113487721A (zh) * | 2021-06-18 | 2021-10-08 | 浙江大学 | 一种基于三维点云的预制构件自动化识别方法 |
CN113487721B (zh) * | 2021-06-18 | 2023-08-22 | 浙江大学 | 一种基于三维点云的预制构件自动化识别方法 |
WO2023274413A1 (zh) * | 2021-07-01 | 2023-01-05 | 先临三维科技股份有限公司 | 三维扫描系统、辅助件、处理方法、装置、设备及介质 |
CN115797659A (zh) * | 2023-01-09 | 2023-03-14 | 思看科技(杭州)股份有限公司 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
CN115797659B (zh) * | 2023-01-09 | 2023-05-02 | 思看科技(杭州)股份有限公司 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
CN117579753A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579754B (zh) * | 2024-01-16 | 2024-05-07 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022068510A1 (zh) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112330732A (zh) | 三维数据拼接方法及三维扫描系统、手持扫描仪 | |
CN108267097B (zh) | 基于双目三维扫描系统的三维重构方法和装置 | |
CN111023970B (zh) | 多模式三维扫描方法及系统 | |
JP6564537B1 (ja) | 単眼3次元走査システムによる3次元再構成法および装置 | |
CN107202554B (zh) | 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 | |
CN108151671B (zh) | 一种三维数字成像传感器、三维扫描系统及其扫描方法 | |
EP3444560B1 (en) | Three-dimensional scanning system and scanning method thereof | |
CA3022442C (en) | Three-dimensional reconstruction method and device based on monocular three-dimensional scanning system | |
CN106500628B (zh) | 一种含有多个不同波长激光器的三维扫描方法及扫描仪 | |
EP3470774A1 (en) | Three-dimensional scanner having pixel memory | |
WO2018072434A1 (zh) | 含有多个不同波长激光器的三维扫描方法及扫描仪 | |
JP2003130621A (ja) | 3次元形状計測方法およびその装置 | |
CN109357633A (zh) | 三维扫描方法、装置、存储介质和处理器 | |
CN109900221A (zh) | 一种手持式三维扫描系统 | |
CN111127625A (zh) | 一种足部扫描方法、系统及装置 | |
CN114858086A (zh) | 一种三维扫描系统、方法和装置 | |
CN112146565B (zh) | 扫描仪和三维扫描系统 | |
CN215810705U (zh) | 三维扫描系统 | |
JP5034927B2 (ja) | 情報取得装置、情報取得方法および情報取得プログラム | |
JP2008128771A (ja) | 分光情報および形状情報同時取得装置及び情報取得方法 | |
CN107493429B (zh) | 自拍照片的自拍杆屏蔽方法和装置 | |
CN111064949A (zh) | 用于移动终端的智能3d采集模组 | |
CN107392955A (zh) | 一种基于亮度的景深估算装置及方法 | |
CN112964199A (zh) | 三维扫描方法及装置 | |
CN110440713A (zh) | 基于fpga的便携式光栅投影三维测量系统及测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |