CN115797659B - 数据拼接方法、三维扫描系统、电子装置和存储介质 - Google Patents
数据拼接方法、三维扫描系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN115797659B CN115797659B CN202310025384.1A CN202310025384A CN115797659B CN 115797659 B CN115797659 B CN 115797659B CN 202310025384 A CN202310025384 A CN 202310025384A CN 115797659 B CN115797659 B CN 115797659B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- features
- spliced
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本申请涉及一种数据拼接方法、三维扫描系统、电子装置和存储介质,其中,该数据拼接方法包括:基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,第一待拼接数据包含至少一个第一局外特征,第二待拼接数据包含至少一个第二局外特征;至少有一组第一局外特征与第二局外特征相配对;根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接。其能够在一组局外特征的匹配下实现点云数据的配准,从而解除了拼接过程中对被测对象的几何特征和纹理特征的限制,提升了点云拼接的鲁棒性。
Description
技术领域
本申请涉及三维扫描领域,特别是涉及数据拼接方法、三维扫描系统、电子装置和存储介质。
背景技术
在三维扫描技术领域,对被测对象进行三维重建的过程中,往往通过将不同帧之间的点云数据进行拼接,以得到该被测对象完整的三维模型。其中,对于用于手持彩色扫描仪的三维扫描方法而言,往往采用特征拼接或纹理拼接的方式来实现点云数据的拼接。因而,目前的点云拼接方法,对于表面特征越多或者纹理特征越多的被测对象,则拼接的准确度越高。进一步地,特征拼接需要待拼接的两种点云数据具有足够的几何特征信息,对于表面特征相似或对称性较强的物体的准确度较低;纹理拼接适用于具有丰富纹理特征的被测对象,且必须识别到3个以上的匹配的纹理特征才能进行拼接成功。因此,在对表面特征较少的被测对象,例如部分结构为平面的被测对象而言,目前的点云拼接方法存在拼接错误或者拼接失败的问题。基于此,目前对于点云的拼接的鲁棒性较低。
针对相关技术中存在对点云的拼接的鲁棒性较低的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种数据拼接方法、三维扫描系统、电子装置和存储介质,以解决相关技术中存在对点云的拼接的鲁棒性较低的问题。
第一个方面,在本实施例中提供了一种数据拼接方法,包括:
基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,所述第一待拼接数据包含至少一个第一局外特征,所述第二待拼接数据包含至少一个第二局外特征;至少有一组所述第一局外特征与所述第二局外特征相配对;
根据所述第一点云特征与所述第二点云特征的配准结果,以及所述第一局外特征与所述第二局外特征的配准结果,将所述第一待拼接数据和所述第二待拼接数据进行拼接。
在其中的一些实施例中,所述根据所述第一点云特征与所述第二点云特征的配准结果,以及所述第一局外特征与所述第二局外特征的配准结果,将所述第一待拼接数据和所述第二待拼接数据进行拼接,包括:
获取所述第一局外特征与所述第二局外特征之间的第一位姿关系;
根据所述第一位姿关系获取粗配准后的第二待拼接数据和粗配准后的第二局外特征;
基于所述粗配准后的第二待拼接数据和粗配准后的第二局外特征,以及所述第一点云特征和所述第二点云特征的配准结果,对所述第一待拼接数据和所述第二待拼接数据进行拼接。
在其中的一些实施例中,所述方法还包括:
基于至少一组相配对的第一局外特征和第二局外特征之间的转换关系,确定所述第一位姿关系。
在其中的一些实施例中,所述获取所述第一局外特征与所述第二局外特征之间的第一位姿关系,还包括:
获取所述第一局外特征与所述第二局外特征各自的向量信息;
基于所述向量信息确定所述第一局外特征和所述第二局外特征之间的第一位姿关系。
在其中的一些实施例中,所述方法还包括:
利用预设的点云配准算法,在对所述第一点云特征和所述第二点云特征进行配准的过程中,以相匹配的第一局外特征和所述粗配准后的第二局外特征为约束条件,计算所述第一待拼接数据和粗配准后的第二待拼接数据之间的第二位姿关系;
根据所述第二位姿关系和所述第一位姿关系,将所述第一待拼接数据和所述第二待拼接数据进行拼接。
在其中的一些实施例中,所述第一待拼接数据和所述第二待拼接数据,由图像传感器对被测对象进行三维扫描得到;所述方法还包括:
获取所述图像传感器在对所述被测对象进行三维扫描过程中的运动信息;
参照所述运动信息,对所述第一待拼接数据和所述第二待拼接数据进行点云拼接。
在其中的一些实施例中,至少一个所述第一局外特征和至少一个所述第二局外特征分别包括以下至少之一:标记点特征、点云特征、以及纹理特征。
第二个方面,在本实施例中提供了一种三维扫描系统,包括:图像传感器以及数据处理装置;其中,所述图像传感器与所述数据处理装置通信连接;
所述图像传感器用于对被测对象进行三维扫描,并将扫描结果传输至所述数据处理装置;
所述数据处理装置用于执行上述第一个方面所述的数据拼接方法。
在其中的一些实施例中,所述图像传感器还用于在所述第一局外特征和所述第二局外特征均为标记点特征的情况下,采用红外波段对所述第一局外特征和所述第二局外特征进行扫描。
在其中的一些实施例中,所述图像传感器还用于在所述第一局外特征和所述第二局外特征均为标记点特征的情况下,采用红外波段补光灯进行补光。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的数据拼接方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的数据拼接方法。
与相关技术相比,在本实施例中提供的数据拼接方法、三维扫描系统、电子装置和存储介质,基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,第一待拼接数据包含至少一个第一局外特征,第二待拼接数据包含至少一个第二局外特征;至少有一组第一局外特征与第二局外特征相配对;根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接。其能够在一组局外特征的匹配下实现点云数据的配准,从而解除了拼接过程中对被测对象的几何特征和纹理特征的限制,提升了点云拼接的鲁棒性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本实施例的数据拼接方法的终端的硬件结构框图;
图2是本实施例的数据拼接方法的流程图;
图3是本优选实施例的点云配准方法的流程图;
图4是本实施例的点云数据融合装置的结构示意图;
图5是本实施例的三维扫描系统的结构示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的数据拼接方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的数据拼接方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据拼接方法,图2是本实施例的数据拼接方法的流程图,如图2所示,该流程包括如下步骤:
步骤S210,基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,第一待拼接数据包含至少一个第一局外特征,第二待拼接数据包含至少一个第二局外特征;至少有一组第一局外特征与第二局外特征相配对。
其中,第一待拼接数据和第二待拼接数据可以为经由三维扫描得到的点云数据。本实施例中的第一局外特征和第二局外特征均指的是用于对两帧数据进行配准的匹配特征,具体可以为点云特征、纹理特征、标记点特征或者其他的第三方特征等,本实施例对其类型不作具体限定。目标帧可以为与当前帧相邻的数据帧,也可以为与当前帧相邻若干帧的数据帧。此外,本实施例中的第一局外特征和第二局外特征均可以为一个或多个。示例性地,获取当前帧的第一待拼接数据,可以为获取当前帧的点云数据,以及粘贴在被测对象表面的至少一个第一局外特征;获取目标帧的第二待拼接数据,可以为获取目标帧的点云数据,以及粘贴在被测对象表面的至少一个第二局外特征。
另外地,至少有一组第一局外特征与第二局外特征相配对,指的是,在将第一局外特征的集合与第二局外特征的集合中,至少存在一组第一局外特征与第二局外特征属于被测对象表面特有的同一局外特征。例如,设置于被测对象表面的同一局外特征A,经不同角度的图像传感器扫描后,分别得到属于第一局外特征的集合中的A1,和属于第二局外特征的集合中的A2,则第一局外特征A1与第二局外特征A2相配对。
另外,在图像传感器对被测对象进行三维扫描,得到扫描数据后,基于预设的重建算法对扫描数据进行重建处理后,可以得到上述的待拼接数据和点云特征。其中,上述扫描数据可以由双目图像采集得到,上述重建算法可以为双目散斑重建,也可以为其他用于获取面点云数据的重建算法。
步骤S220,根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接。
其中,根据至少一组相配对的第一局外特征和第二局外特征进行粗配准,确定第一局外特征与第二局外特征的第一位姿关系。之后,在粗配准的基础上,利用预设的点云配准算法,根据上述第一位姿关系、第一点云特征以及第二点云特征进一步完成精配准,其中在精配准过程中同时约束相匹配的局外特征,从而得到最终的配准结果。优选地,在得到第一位姿关系之后,基于第一位姿关系移动第二待拼接数据和第二局外特征,得到移动后的第二待拼接数据和第二局外特征。接下来,利用预设的点云配准算法对第一点云特征和第二点云特征进行处理,同时约束第一局外特征和与该第一局外特征相匹配的,且基于第一位姿关系移动后的第二局外特征,从而完成精配准过程,得到第二位姿关系。最后,基于第一位姿关系和第二位姿关系,即可确定第一待拼接数据和第二待拼接数据之间的转换关系,进而完成两帧待拼接数据之间的配准。此外,在获取上述第一局外特征和第二局外特征的第一位姿关系的过程中,可以获取第一局外特征和第二局外特征各自的向量信息,并基于该向量信息确定上述第一位姿关系。基于上述向量信息,计算上述第一位姿关系,从而提高第一位姿关系的结果的准确度。
相比于相关技术的点云拼接,存在受限于被测对象本身的表面特征或纹理特征的丰富情况,而存在拼接错误较多或拼接失败概率较高的问题,本实施例能够在点云配准过程中约束相配对的至少一组局外特征,从而能够仅基于一组相配对的第一局外特征和第二局外特征,实现两帧点云数据的配准,进而在此基础上完成不同帧点云数据的拼接。本实施例能够解除对被测对象的集合特征或纹理特征的限制,基于局外特征的约束,提高点云数据配准的准确率和稳定性,进而提高拼接结果的准确率和稳定性,提升点云拼接的鲁棒性。
此外,本实施例还可以基于图像传感器在三维扫描过程中的运动信息,辅助点云数据的拼接。例如,在点云数据的匹配过程中,出现不同帧的点云数据存在多个相似的匹配结果时,可以基于图像传感器的运动信息,结合匹配结果来完成点云数据拼接的决策。进一步地,通过图像传感器内置的陀螺仪、加速器、指南针等方向传感器,或者预先确定的图像传感器的方向信息,例如在确定图像传感器在三维扫描过程中为从左至右对被测对象进行扫描的情况下,若点云匹配的结果为当前帧的左侧点云数据和右侧点云数据均存在与当前帧相似的点云数据的结构的情况下,则可以基于上述图像传感器的方向信息,选取左侧点云数据或右侧点云数据进行拼接。
上述步骤S210至步骤S220,基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,第一待拼接数据包含至少一个第一局外特征,第二待拼接数据包含至少一个第二局外特征;至少有一组第一局外特征与第二局外特征相配对;根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接。其能够在一组局外特征的匹配下实现点云数据的配准,从而解除了拼接过程中对被测对象的几何特征和纹理特征的限制,提升了点云拼接的鲁棒性。
进一步地,在一个实施例中,基于上述步骤S220,根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接,具体可以包括以下步骤:
步骤S221,获取第一局外特征与第二局外特征之间的第一位姿关系。其中,该第一位姿关系具体可以为转换矩阵,通过将相配对的一组第一局外特征和第二局外特征进行匹配,能够得到上述第一位姿关系。
步骤S222,根据第一位姿关系获取粗配准后的第二待拼接数据和粗配准后的第二局外特征。基于上述第一位姿关系,对第二待拼接数据和第二局外特征进行移动,从而得到粗配准后的第二待拼接数据和粗配准后的第二局外特征。例如,将第N帧作为当前帧,第N+1帧作为目标帧,第N帧的第一局外特征的集合为Mn,第N帧的第一待拼接数据为Pn,第N+1帧的第二局外特征的集合为Mn1,第N+1帧的第二待拼接数据为Pn1。则基于Mn和Mn1中相配对的至少一组第一局外特征和第二局外特征确定第一位姿关系后,对Pn1和Mn1中的数据进行移动,也即基于第一位姿关系对Pn1和Mn1进行转换,从而得到Pn1’和Mn1’。该Pn1’和Mn1’即为上述粗配准后的第二待拼接数据和粗配准后的第二局外特征。
步骤S223,基于粗配准后的第二待拼接数据和粗配准后的第二局外特征,以及第一点云特征和第二点云特征之间的配准结果,对第一待拼接数据和第二待拼接数据进行拼接。具体地,继续结合上述示例进行说明,在得到Pn1’和Mn1’之后,结合预设的点云配准算法,对第一点云特征和第二点云特征进行配准的过程中,约束相匹配的Mn和Mn1’,从而完成精配准,获得第二位姿关系。之后,基于第一位姿关系和第二位姿关系确定第一待拼接数据和第二待拼接数据之间的转换关系,从而完成第一待拼接数据和第二待拼接数据的拼接。本实施例能够通过粗配准和精配准过程,提高配准结果的准确度。另外,本实施例能够在局外特征仅为一组的情况下实现两帧待拼接数据的点云拼接,从而能够提高点云拼接的鲁棒性。
进一步地,在一个实施例中,上述数据拼接方法还可以包括:基于至少一组相配对的第一局外特征和第二局外特征之间的转换关系,确定第一位姿关系。
具体地,在相配对的第一局外特征和第二局外特征组数小于预设数量时,可以将该组第一局外特征和第二局外特征之间的连线信息作为上述转换关系,基于该连线信息确定上述第一位姿关系。该预设数量可以为3组。例如,当仅存在一组第一局外特征和第二局外特征相配对时,则基于该相配对的第一局外特征和第二局外特征之间的连线信息来确定第一位姿关系。进一步地,基于相配对的第一局外特征与第二局外特征之间的连线的平均向量方向,实现第一局外特征与第二局外特征之间的对齐,进而确定该第一位姿关系。此外,在存在多于预设数量的第一局外特征和第二局外特征相配对的情况下,则直接基于第一局外特征和第二局外特征计算第一位姿关系。
例如,若上述Mn与Mn1中相配对的局外特征的数量小于3组时,基于Mn与Mn1中相配对的各组第一局外特征和第二局外特征之间的连线的平均向量方向,对Mn与Mn1进行对齐,得到第一转换矩阵,也即第一位姿关系。否则,当Mn与Mn1中相配对的局外特征的数量大于或等于3组时,则直接匹配Mn与Mn1中的各组第一局外特征和第二局外特征,得到上述第一位姿关系。
基于上述过程,本实施例能够解除被测对象的集合特征和纹理特征对拼接结果的限制,即使仅有一组相配对的第一局外特征和第二局外特征,也能够实现点云数据的准确配准,从而能够提高点云拼接的鲁棒性。
在一个实施例中,获取第一局外特征与第二局外特征之间的第一位姿关系,还包括:获取第一局外特征与第二局外特征各自的向量信息;基于向量信息确定第一局外特征和第二局外特征之间的第一位姿关系。基于上述向量信息,能够进一步提高计算得到的第一位姿关系的准确度,进而提高配准结果的准确度。
另外地,在一个实施例中,上述数据拼接方法还可以包括:利用预设的点云配准算法,在对第一点云特征和第二点云特征进行配准的过程中,以相匹配的第一局外特征和粗配准后的第二局外特征为约束条件,计算第一待拼接数据和粗配准后的第二待拼接数据之间的第二位姿关系;根据第二位姿关系和第一位姿关系,将第一待拼接数据和第二待拼接数据进行拼接。
其中,在基于第一位姿关系对第二待拼接数据进行移动,得到粗配准后的第二待拼接数据后,利用预设的点云配准算法,基于第一点云特征和第二点云特征对相匹配的一组第一局外特征和粗配准后的第二局外特征进行约束,从而完成第一待拼接数据和粗配准后的第二待拼接数据的精配准,计算得到第一待拼接数据和经第一位姿关系移动后的第二待拼接数据之间的转换矩阵,也即第二位姿关系。基于此,利用第一位姿关系和第二位姿关系,即可获得第一待拼接数据与第二待拼接数据之间的转换矩阵,进而能够完成两帧数据之间的点云拼接。
上述预设的点云配准算法,可以为迭代最近点(Iterative Closest Point,简称icp)算法,也可以为其他点云配准算法。在本实施例中,在粗配准的基础上,结合点云配准算法,通过对相配对的局外特征进行约束来完成不同帧的待拼接数据之间的精配准。基于此,本实施例即使在相配对的局外特征仅为一组的情况下,也能够实现点云拼接,从而提高点云配准的鲁棒性。
可选地,在一个实施例中,第一待拼接数据和第二待拼接数据,由图像传感器对被测对象进行三维扫描得到;上述数据拼接方法还可以包括:获取图像传感器在对被测对象进行三维扫描过程中的运动信息;参照运动信息,对第一待拼接数据和第二待拼接数据进行点云拼接。
可以理解地,图像传感器可以通过移动实现对被测对象的三维扫描。在其移动过程中,可以基于该图像传感器内置或者连接的方向传感器,例如陀螺仪、加速器或者指南针等,测量该图像传感器的运动信息。该运动信息可以为图像传感器的位姿信息或者移动方向。例如确定该图像传感器的扫描方向为从上到下、从左至右等。将图像传感器进行三维扫描的运动信息,作为点云拼接过程的辅助信息,结合上述点云匹配信息完成点云拼接,从而进一步地提高点云拼接的准确度。
另外地,在一个实施例中,至少一个第一局外特征和至少一个第二局外特征分别包括以下至少之一:标记点特征、点云特征、以及纹理特征。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的点云配准方法的流程图。如图3所示,该点云配准方法包括如下步骤:
步骤S301,获取第N帧状态下的点云数据Pn和被测对象表面的至少一个第一局外特征的集合Mn;
步骤S302,获取第N+1帧状态下的点云数据Pn1和被测对象表面的至少一个第二局外特征的集合Mn1;
步骤S303,将集合Mn和Mn1中,至少一组相配对的第一局外特征和第二局外特征进行匹配,得到第一转换矩阵RT0;
步骤S304,移动N+1状态下的Pn1和Mn1,通过RT0转换得到Mn1’和Pn1’;
步骤S305,使用预设的点云配准算法对Pn1’和Pn进行配准,计算得到第二转换矩阵RT1;
步骤S306,基于RT1*RT0得到最终的点云数据Pn1到点云数据Pn的转换矩阵RT2。
在本实施例中还提供了一种点云数据融合装置40。图4为本实施例的点云数据融合装置40的结构示意图,如图4所示,该点云数据融合装置40包括:双目图像采集模块42、双目散斑重建模块44、点云配准模块46以及点云融合模块48。其中,双目图像采集模块42采集被测对象的扫描数据;双目散斑重建模块44对扫描数据进行重建得到待拼接数据;点云配准模块46基于上述实施例提供的数据拼接方法,对不同帧之间的待拼接数据进行配准;点云融合模块48基于配准结果实现不同帧之间的点云数据的融合。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种三维扫描系统50。图5为本实施例的三维扫描系统50的结构示意图,如图5所示,该三维扫描系统50包括:图像传感器52以及数据处理装置54;其中,图像传感器52与数据处理装置54通信连接;图像传感器52用于对被测对象进行三维扫描,并将扫描结果传输至数据处理装置54;数据处理装置54用于执行上述实施例提供的数据拼接方法。
上述三维扫描系统50,能够在一组局外特征的匹配下实现点云数据的配准,从而解除了拼接过程中对被测对象的几何特征和纹理特征的限制,提升了点云拼接的鲁棒性。
特别地,在一个实施例中,图像传感器52还用于在第一局外特征和第二局外特征均为标记点特征的情况下,采用红外波段对第一局外特征和第二局外特征进行扫描。通过采用红外波段对第一局外特征和第二局外特征进行扫描,能够避免可见光闪烁为使用者造成的不适感。比如,在为婴儿定制头盔时,使用三维扫描设备扫描婴儿头部前侧,在引入局外特征的是标记点特征的情况下,可以使用红外波段对标记点特征进行扫描以获取标记点数据,从而能够避免婴儿眼睛因可见光闪烁产生的不适。
此外,在一个实施例中,图像传感器52还用于在第一局外特征和第二局外特征均为标记点特征的情况下,采用红外波段补光灯进行补光。在红外波段补光的补光下,对第一局外特征和第二局外特征进行扫描,同样能够避免补光灯闪烁对使用者造成的不适。比如,在为婴儿定制头盔时,通过使用三维扫描设备扫描婴儿头部前侧,在引入局外特征的是标记点的情况下,使用红外波段对标记点特征进行补光,获取标记点数据,从而避免婴儿眼睛产生不适。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,第一待拼接数据包含至少一个第一局外特征,第二待拼接数据包含至少一个第二局外特征;至少有一组第一局外特征与第二局外特征相配对;
S2,根据第一点云特征与第二点云特征的配准结果,以及第一局外特征与第二局外特征的配准结果,将第一待拼接数据和第二待拼接数据进行拼接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的数据拼接方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种数据拼接方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据拼接方法,其特征在于,包括:
基于三维扫描获取当前帧的第一待拼接数据和第一点云特征,以及目标帧的第二待拼接数据和第二点云特征;其中,所述第一待拼接数据包含至少一个第一局外特征,所述第二待拼接数据包含至少一个第二局外特征;至少有一组所述第一局外特征与所述第二局外特征相配对;其中,所述第一局外特征和所述第二局外特征指的是用于对两帧数据进行配准的匹配特征;
根据至少一组相配对的所述第一局外特征和所述第二局外特征进行粗配准,确定所述第一局外特征与所述第二局外特征的第一位姿关系;
基于所述第一位姿关系移动所述第二待拼接数据和所述第二局外特征,得到粗配准后的第二待拼接数据和粗配准后的第二局外特征;
利用预设的点云配准算法对所述第一点云特征和所述第二点云特征进行处理,同时约束所述第一局外特征和与所述第一局外特征相匹配的,且基于所述第一位姿关系移动后的第二局外特征,完成精配准过程,得到第二位姿关系;
基于所述第一位姿关系和所述第二位姿关系,确定所述第一待拼接数据和所述第二待拼接数据之间的转换关系,完成两帧待拼接数据之间的配准。
2.根据权利要求1所述的数据拼接方法,其特征在于,还包括:
基于至少一组相配对的第一局外特征和第二局外特征之间的转换关系,确定所述第一位姿关系。
3.根据权利要求1所述的数据拼接方法,其特征在于,所述获取所述第一局外特征与所述第二局外特征之间的第一位姿关系,还包括:
获取所述第一局外特征与所述第二局外特征各自的向量信息;
基于所述向量信息确定所述第一局外特征和所述第二局外特征之间的第一位姿关系。
4.根据权利要求1所述的数据拼接方法,其特征在于,所述第一待拼接数据和所述第二待拼接数据,由图像传感器对被测对象进行三维扫描得到;所述方法还包括:
获取所述图像传感器在对所述被测对象进行三维扫描过程中的运动信息;
参照所述运动信息,对所述第一待拼接数据和所述第二待拼接数据进行点云拼接。
5.根据权利要求1所述的数据拼接方法,其特征在于,至少一个所述第一局外特征和至少一个所述第二局外特征分别包括以下至少之一:标记点特征、点云特征、以及纹理特征。
6.一种三维扫描系统,其特征在于,包括:图像传感器以及数据处理装置;其中,所述图像传感器与所述数据处理装置通信连接;
所述图像传感器用于对被测对象进行三维扫描,并将扫描结果传输至所述数据处理装置;
所述数据处理装置用于执行权利要求1至权利要求5中任一项所述的数据拼接方法。
7.根据权利要求6所述的三维扫描系统,其特征在于,所述图像传感器还用于在所述第一局外特征和所述第二局外特征均为标记点特征的情况下,采用红外波段对所述第一局外特征和所述第二局外特征进行扫描。
8.根据权利要求6所述的三维扫描系统,其特征在于,所述图像传感器还用于在所述第一局外特征和所述第二局外特征均为标记点特征的情况下,采用红外波段补光灯进行补光。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求5中任一项所述的数据拼接方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述的数据拼接方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310025384.1A CN115797659B (zh) | 2023-01-09 | 2023-01-09 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
PCT/CN2024/070732 WO2024149158A1 (zh) | 2023-01-09 | 2024-01-05 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310025384.1A CN115797659B (zh) | 2023-01-09 | 2023-01-09 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797659A CN115797659A (zh) | 2023-03-14 |
CN115797659B true CN115797659B (zh) | 2023-05-02 |
Family
ID=85428777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310025384.1A Active CN115797659B (zh) | 2023-01-09 | 2023-01-09 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115797659B (zh) |
WO (1) | WO2024149158A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797659B (zh) * | 2023-01-09 | 2023-05-02 | 思看科技(杭州)股份有限公司 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
CN117579753A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461981A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 点云拼接算法的误差估计方法和装置 |
CN112330732A (zh) * | 2020-09-29 | 2021-02-05 | 先临三维科技股份有限公司 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7978932B2 (en) * | 2007-08-02 | 2011-07-12 | Mauna Kea Technologies | Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy |
CN107403440B (zh) * | 2016-05-18 | 2020-09-08 | 株式会社理光 | 用于确定对象的姿态的方法和装置 |
CN108537814B (zh) * | 2018-03-14 | 2019-09-03 | 浙江大学 | 一种基于ViBe的三维声纳点云图像分割方法 |
CN110363707B (zh) * | 2019-06-28 | 2021-04-20 | 西安交通大学 | 一种基于约束物虚拟特征的多视三维点云拼接方法 |
CN111340860B (zh) * | 2020-02-24 | 2023-09-19 | 北京百度网讯科技有限公司 | 点云数据的配准、更新方法、装置、设备和存储介质 |
CN111540040B (zh) * | 2020-04-20 | 2022-12-27 | 上海曼恒数字技术股份有限公司 | 一种基于点云数据进行模型构建方法、装置、存储介质 |
US20210375064A1 (en) * | 2020-05-29 | 2021-12-02 | Faro Technologies, Inc. | Three-dimensional measurement device |
CN113140042B (zh) * | 2021-04-19 | 2023-07-25 | 思看科技(杭州)股份有限公司 | 三维扫描拼接方法、装置、电子装置和计算机设备 |
CN115375860B (zh) * | 2022-08-15 | 2023-08-04 | 北京城市网邻信息技术有限公司 | 点云拼接方法、装置、设备及存储介质 |
CN115406452A (zh) * | 2022-08-26 | 2022-11-29 | 深圳优地科技有限公司 | 一种实时定位及建图方法、装置及终端设备 |
CN115797659B (zh) * | 2023-01-09 | 2023-05-02 | 思看科技(杭州)股份有限公司 | 数据拼接方法、三维扫描系统、电子装置和存储介质 |
-
2023
- 2023-01-09 CN CN202310025384.1A patent/CN115797659B/zh active Active
-
2024
- 2024-01-05 WO PCT/CN2024/070732 patent/WO2024149158A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461981A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 点云拼接算法的误差估计方法和装置 |
CN112330732A (zh) * | 2020-09-29 | 2021-02-05 | 先临三维科技股份有限公司 | 三维数据拼接方法及三维扫描系统、手持扫描仪 |
Also Published As
Publication number | Publication date |
---|---|
CN115797659A (zh) | 2023-03-14 |
WO2024149158A1 (zh) | 2024-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115797659B (zh) | 数据拼接方法、三维扫描系统、电子装置和存储介质 | |
US11861813B2 (en) | Image distortion correction method and apparatus | |
CN111023970B (zh) | 多模式三维扫描方法及系统 | |
CN111160178A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
CN111899282A (zh) | 基于双目摄像机标定的行人轨迹跟踪方法及装置 | |
EP4413949A1 (en) | Intraoral scanning and processing method, system, electronic device and medium | |
CN109357633A (zh) | 三维扫描方法、装置、存储介质和处理器 | |
EP4411628A1 (en) | Scanning data processing method and apparatus, and electronic device and medium | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN117053707A (zh) | 三维重建方法、装置和系统、三维扫描方法和三维扫描仪 | |
CN115546379A (zh) | 一种数据处理方法、装置和计算机设备 | |
JP2018097573A (ja) | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 | |
EP4431056A1 (en) | Scanning data processing method and apparatus, and device and medium | |
CN115187663A (zh) | 扫描仪姿态定位方法、装置、设备及存储介质 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN114078165A (zh) | 光学成像模组的标定方法、畸变校正的方法及相关设备 | |
CN112767248B (zh) | 红外相机图片拼接方法、装置、设备及可读存储介质 | |
CN113538538A (zh) | 双目图像对齐方法、电子设备和计算机可读存储介质 | |
CN108076341B (zh) | 一种视频卫星成像在轨实时稳像方法及系统 | |
JP2001148012A (ja) | 対応点探索方法および装置 | |
CN107403448B (zh) | 代价函数生成方法和代价函数生成装置 | |
JP2014092922A (ja) | 検出装置、検出方法及び検出プログラム | |
CN117151970A (zh) | 点云数据处理方法、装置、电子装置和存储介质 | |
CN116843759A (zh) | 双目摄像头的标定验证方法、系统、计算机设备及介质 | |
CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |