CN113137938A - 三维扫描系统、方法、计算机设备和存储介质 - Google Patents
三维扫描系统、方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113137938A CN113137938A CN202110396035.1A CN202110396035A CN113137938A CN 113137938 A CN113137938 A CN 113137938A CN 202110396035 A CN202110396035 A CN 202110396035A CN 113137938 A CN113137938 A CN 113137938A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- target object
- scanning
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种三维扫描系统、方法、计算机设备和存储介质,其中,三维扫描系统利用扫描设备向目标物体同步投射多特征图像,并基于所述多特征图像对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;利用处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。本申请在扫描过程中向目标物体同步投射多特征图像,在模型计算时,可以将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成所述目标物体的数据模型,在不贴标记点的情况下实现高精度扫描。
Description
技术领域
本申请涉及三维扫描技术领域,特别是涉及一种三维扫描系统、方法、计算机设备和存储介质。
背景技术
目前,三维扫描系统中的扫描仪主要部件包括相机和图案投射器。例如,常见的激光扫描仪和白光扫描仪,激光扫描仪的图案投射器是激光器,用于投射多条激光线。白光扫描仪的图案投射器是投影机或激光器,用于投射散斑图像。
针对以上两种不同的扫描仪,通常会采取不同的扫描方案。方案一:传统的激光扫描仪,通过激光器投射多线激光,然后利用相机捕捉重建,加标记点拼接模式;方案二:传统白光扫描仪,通过投影机或激光器投射散斑图像,然后利用相机捕捉重建,加特征拼接(纹理拼接或标记点拼接)模式。
在使用方案一进行扫描时,需要在物体表面贴标记点,对于一些无法贴标记点的物体(例如,珍贵文物)就无法实现扫描。在使用方案二进行扫描时,采用标记点拼接会遇到同样的问题。如果不在物体表面贴标记点,采用纹理拼接,重建出来的细节无法达到精细度的要求,在一些需要高细节的应用领域无法使用。而且,贴标记点比较耗时,使用完还要撕掉标记点,操作繁琐。所以,有必要提供一种在不贴标记点的情况下实现高精度扫描的方案,以简化三维扫描过程中的操作内容和耗时。
针对相关技术中,在三维扫描技术中,无法在不贴标记点的情况下实现高精度扫描的问题,目前尚未提出有效的解决方案。
发明内容
基于此,有必要针对上述技术问题,提供一种三维扫描系统、方法、计算机设备和存储介质,能够在不贴标记点的情况下实现高精度扫描。
第一方面,本申请实施例提供了一种三维扫描系统,该系统包括扫描设备和图像处理设备;
所述扫描设备,用于向目标物体同步投射多特征图像,并基于所述多特征图像对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;所述多特征图像中至少包括具有面特征的第一特征图像和具有除所述面特征以外的非面特征的第二特征图像;
所述图像处理设备,用于对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。
作为一种可实施方式,所述第一特征图像为散斑图像或条纹图像,所述第二特征图像为多线激光。
作为一种可实施方式,所述扫描设备包括图像投射组件、图像采集组件、以及同步组件;
所述图像投射组件,用于向所述目标物体同步投射所述多特征图像;
所述图像采集组件,用于对所述目标物体进行成像捕捉,以获取所述目标物体的所述多特征扫描数据;
所述同步组件,用于在扫描过程中,控制所述图像投射组件和所述图像采集组件同步工作。
作为一种可实施方式,所述图像投射组件包括至少两个光源;
至少两个所述光源,用于分别向所述目标物体同步投射所述第一特征图像和所述第二特征图像。
作为一种可实施方式,所述图像投射组件包括投射器,所述投射器用于向所述目标物体同步投射所述多特征图像;
其中,所述投射器包括至少一个投影机、至少一个激光器、或至少一个投影机与激光器的组合。
作为一种可实施方式,所述图像处理设备集成在所述扫描设备上或设置在云端。
作为一种可实施方式,所述图像处理设备,还用于根据扫描需求,对所述多特征扫描数据中的所述面特征和所述非面特征采用不同的权值进行实时计算和处理,以生成所述目标物体的数据模型。
作为一种可实施方式,所述图像处理设备包括点云重建模块、配准模块、以及融合模块;
所述点云重建模块,用于对所述多特征扫描数据进行处理,利用所述多特征扫描数据中的所述面特征重建第一单帧点云,以及利用所述多特征扫描数据中的所述非面特征重建第二单帧点云;
所述配准模块,用于基于连续的多片所述第一单帧点云和所述第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;
所述融合模块,用于对所述点云集中的所述第一单帧点云赋予第一权值,对所述点云集中的所述第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于所述隐式曲面,生成所述目标物体的数据模型;所述第二权值大于所述第一权值。
作为一种可实施方式,所述图像处理设备还包括全局配准模块;
所述全局配准模块,用于在所述点云融合之前,对所述点云集中的多片所述第一单帧点云和所述第二单帧点云进行全局配准。
第二方面,本申请实施例提供了一种三维扫描方法,该方法包括以下步骤:
控制扫描设备同步向目标物体投射多特征图像,对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;所述多特征图像中至少包括具有面特征的第一特征图像和具有除所述面特征以外的非面特征的第二特征图像;
利用图像处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。
作为一种可实施方式,所述利用图像处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型,包括以下步骤:
对所述多特征扫描数据进行处理,利用所述多特征扫描数据中的所述面特征重建第一单帧点云,以及利用所述多特征扫描数据中的所述非面特征重建第二单帧点云;
基于连续的多片所述第一单帧点云和所述第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;
对所述点云集中的所述第一单帧点云赋予第一权值,对所述点云集中的所述第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于所述隐式曲面,生成所述目标物体的数据模型;所述第二权值大于所述第一权值。
作为一种可实施方式,该方法还包括以下步骤:
在所述点云融合之前,利用所述图像处理设备对所述点云集中的多片所述第一单帧点云和所述第二单帧点云进行全局配准。
作为一种可实施方式,所述第一特征图像为散斑图像或条纹图像,所述第二特征图像为多线激光。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
本申请提供的三维扫描系统、方法、计算机设备和存储介质,其中,三维扫描系统包括扫描设备和图像处理设备,利用扫描设备向目标物体同步投射多特征图像,并基于所述多特征图像对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;利用处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。本申请在扫描过程中向目标物体同步投射多特征图像,该多特征图像至少包括具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,可以将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成所述目标物体的数据模型。该技术无需贴标记点,而且基于多特征扫描数据中的非面特征与面特征,至少两种不同特征进行融合,可以实现高精度扫描。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的三维扫描系统的应用场景图;
图2是本申请实施例一提供的三维扫描系统的结构框图;
图3是本申请实施例二提供的三维扫描系统的结构框图;
图4是本申请实施例三提供的三维扫描系统的结构框图;
图5是本申请实施例四提供的三维扫描方法中的建模过程的流程示意图;
图6是本申请实施例五提供的电子装置的结构框图;
图7是本申请实施例六提供的计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请提供的三维扫描系统可以应用于现有的手持式扫描仪、跟踪式扫描仪、自动化扫描仪等三维扫描系统,具体结构不做限制。如图1所示,提供了一种适用于上述三维扫描系统的应用场景,在图1所示的应用场景中,扫描仪102向目标物体106同步投射多特征图像,并基于多特征图像对目标物体进行扫描,以获取目标物体106的多特征扫描数据,并将获取的多特征扫描数据传输至计算机终端104;计算机终端104通过网络连接扫描仪102(也可以通过线缆连接),对多特征扫描数据进行实时计算和处理,生成目标物体的数据模型。其中,扫描仪102可以是激光扫描仪,也可以是白光扫描仪,计算机终端104可以包括一个或多个处理器和用于存储数据的存储器。
如图2所示,本申请实施例一提供了一种三维扫描系统10,该系统包括扫描设备100和图像处理设备200。扫描设备100用于向目标物体同步投射多特征图像,并基于多特征图像对目标物体进行扫描,以获取目标物体的多特征扫描数据。该多特征图像中至少包括具有面特征的第一特征图像和具有除面特征以外的非面特征的第二特征图像。图像处理设备200用于对多特征扫描数据进行实时计算和处理,以生成目标物体的数据模型。
上述具有面特征的第一特征图像,指的是散斑、或条纹等具有面状图案特征的图像。相应地,具有非面特征的第二特征图像,指的是具有除了上述面状图案特征以外的其他形状图案特征的图像,例如,具有线特征、点特征、斑点特征、边缘特征、或角点特征等图案。扫描设备100向目标物体同步投射的多特征图像中包括至少一种上述第一特征图像和至少一种上述第二特征图像。例如,扫描设备100可以向目标物体同步投射散斑图案(第一特征图像)和多线激光(第二特征图像),也可以向目标物体同步投射散斑图案(第一特征图像)、多线激光(第二特征图像)和点状图案(第二特征图像),还可以向目标物体同步投射条纹图案(第一特征图像)、多线激光(第二特征图像)和点状图案(第二特征图像)。
上述扫描设备100可以通过图像采集模块、投射模块、以及控制器实现向目标物体同步投射多特征图像,并基于多特征图像对目标物体进行扫描,以获取目标物体的多特征扫描数据。其中,图像采集模块主要用于获取目标物体的多特征扫描数据,可以通过一个或多个相机实现。投射模块主要用于向目标物体同步投射多特征图像,可以通过单个投射器或多个投射器的组合实现。进一步地,投射器可以是投影机、普通激光器、VCSEL(Vertical-Cavity Surface-Emitting Laser,垂直腔面发射激光器)等能够投射扫描图案的仪器,且投射器投射的光源不做限制。控制器主要用来控制图像采集模块和投射模块相互配合工作。
上述图像处理设备200可以集成在扫描设备100上,也可以单独放在终端,还可以设置在云端。图像处理设备200主要用于对多特征扫描数据进行实时计算和处理,以生成目标物体的数据模型。在模型计算时,可以将多特征扫描数据中的面特征作为常规标记点特征使用,结合至少一种非面特征进行计算,生成目标物体的数据模型。
实施例一提供的三维扫描系统10,在扫描过程中向目标物体同步投射至少具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,可以将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成目标物体的数据模型。本实施例提供的三维扫描系统10,无需在待扫描的目标物体表面贴标记点,基于多特征扫描数据中的非面特征与面特征,至少两种不同特征进行融合,从而实现高精度扫描。
作为一种可实施方式,第一特征图像为散斑图像,第二特征图像为多线激光。具体地,扫描设备100向目标物体同步投射散斑图像和多线激光,并基于投射的散斑图像和多线激光对目标物体进行扫描,以获取目标物体的多特征扫描数据,该多特征扫描数据中同时包括散斑和多线激光两种特征。图像处理设备200在模型计算时,将获取的多特征扫描数据中的散斑特征作为常规标记点特征使用,结合多线激光特征进行计算,生成目标物体的数据模型。无需在待扫描的目标物体表面贴标记点,基于多特征扫描数据中的散斑特征与多线激光特征,两种不同特征进行融合,从而实现高精度扫描。
作为另一种可实施方式,第一特征图像为条纹图像,第二特征图像为多线激光。具体地,扫描设备100向目标物体同步投射条纹图像和多线激光,并基于投射的条纹图像和多线激光对目标物体进行扫描,以获取目标物体的多特征扫描数据,该多特征扫描数据中同时包括条纹和多线激光两种特征。图像处理设备200在模型计算时,将获取的多特征扫描数据中的条纹特征作为常规标记点特征使用,结合多线激光特征进行计算,生成目标物体的数据模型。无需在待扫描的目标物体表面贴标记点,基于多特征扫描数据中的条纹特征与多线激光特征,两种不同特征进行融合,从而实现高精度扫描。
作为一种可实施方式,图像处理设备200集成在扫描设备100上或设置在云端。图像处理设备200与扫描设备100可以分开设置,中间通过线缆连接。但是这样就受限于线缆长度,影响扫描范围、扫描效率和扫描灵活度。本实施例中将图像处理设备200集成在扫描设备100上或设置在云端,这样就可以避免线缆连接,扫描范围不受限,同时提升扫描效率和扫描灵活度。更进一步,图像处理设备200设置在云端,由于云端的算力较强,所以在此基础上,可以更进一步提升扫描效率。
具体地,参见图3,本申请实施例二提供了一种三维扫描系统20,在实施例一提供的三维扫描系统10的基础上,扫描设备100包括图像投射组件110、图像采集组件120、以及同步组件130。其中,图像投射组件110用于向目标物体同步投射多特征图像;图像采集组件120用于对目标物体进行成像捕捉,以获取目标物体的多特征扫描数据;同步组件130用于在扫描过程中,控制图像投射组件和图像采集组件同步工作。
上述图像投射组件110可以通过单个投射器或多个投射器的组合实现,投射器可以是投影机、普通激光器、VCSEL,或任意其他能够投射扫描图案的仪器,且投射器投射的光源不做限制。图像采集组件120可以通过一个或多个相机、或者相机与补光灯的组合实现。同步组件130可以通过同步开关等现有的同步控制器实现。本实施例中,图像投射组件110中的多个投影机、多个激光器、或投影机与激光器的组合同步触发,同步投影图像;图像采集组件120与图像投射组件110也可以是同步触发,同步采集图像。
作为一种可实施方式,上述图像投射组件110包括至少两个光源,用于分别向目标物体同步投射第一特征图像和第二特征图像。例如,图像投射组件110包括一个用于投射散斑图案的投影机和一个用于投射多线激光的激光器。工作时,该投影机和激光器分别向目标物体同步投射散斑图案和多线激光。
进一步地,图像投射组件110包括投射器,投射器包括至少一个投影机、至少一个激光器、或至少一个投影机与激光器的组合。具体地,投射器可以通过以下多种组合方式实现向目标物体同步投射多特征图像:
组合一:投射器包括至少一个投影机。
通过一个投影机实现投射功能时,该投影机用于向目标物体同步投射第一特征图像和第二特征图像。作为一种可实施方式,该投影机包含两种光源,可同步投射散斑图案和可识别的多线特征图案。
通过两个或两个以上投影机实现投射功能时,该两个或两个以上投影机用于向目标物体同步投射第一特征图像和第二特征图像。作为一种可实施方式,该投射器包括两个具有不同光源的投影机,其中一个投影机用于投射散斑图案,其中另一个投影机用于投射可识别的多线特征图案。
组合二:投射器包括至少一个激光器。
通过一个激光器实现投射功能时,该激光器用于向目标物体同步投射第一特征图像和第二特征图像。作为一种可实施方式,该激光器包含两种光源,可同步投射散斑图案和可识别的多线激光,例如,VCSEL。
通过两个或两个以上激光器实现投射功能时,该两个或两个以上激光器用于向目标物体同步投射第一特征图像和第二特征图像。作为一种可实施方式,该投射器包括两个具有不同光源的激光器,其中一个激光器用于投射散斑图案,其中另一个激光器用于投射可识别的多线激光。
组合三:投射器包括至少一个投影机和至少一个激光器,其中,投影机用于向目标物体同步投射第一特征图像,激光器用于向目标物体同步投射第二特征图像。作为一种可实施方式,投影机用于投射散斑图案,激光器用于投射可识别的多线激光。
上述三维扫描系统,在扫描过程中利用投影机、激光器、或投影机与激光器的组合,向目标物体同步投射散斑图案和多线图案,这样获取到的多特征扫描数据中就会包含目标物体的散斑特征和多线特征。在模型计算时,可以将多特征扫描数据中的散斑特征作为常规标记点特征使用,结合多线特征进行计算,生成目标物体的数据模型。该技术无需贴标记点,而且基于多特征扫描数据中的散斑特征与多线特征,两种不同特征进行融合,可以实现高精度扫描。
如图4所示,本申请实施例三提供了一种三维扫描系统30,在实施例一和实施例二的基础上,图像处理设备200还用于根据扫描需求,对多特征扫描数据中的面特征和非面特征采用不同的权值进行实时计算和处理,以生成目标物体的数据模型。
具体地,图像处理设备200包括点云重建模块210、配准模块220、以及融合模块230。点云重建模块210用于对多特征扫描数据进行处理,利用多特征扫描数据中的面特征重建第一单帧点云,以及利用多特征扫描数据中的非面特征重建第二单帧点云;配准模块220用于基于连续的多片第一单帧点云和第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;融合模块230用于对点云集中的第一单帧点云赋予第一权值,对点云集中的第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于隐式曲面,生成目标物体的数据模型;第二权值大于第一权值。
上述图像处理设备200在模型计算过程中,充分考虑到由非面特征重建得到第二单帧点云,比由面特征重建得到的第一单帧点云,更能体现目标物体的扫描精度,所以在最后的融合过程中,对第二单帧点云赋予更高的权值进行计算。质量较高的第二单帧点云进行最终的融合得到的模型精细度要远远高于第一单帧点云,从而解决了白光扫描仪扫描细节弱的问题,实现高精度扫描。
作为一种可实施方式,图像处理设备200还包括全局配准模块240。全局配准模块240用于在点云融合之前,对点云集中的多片第一单帧点云和第二单帧点云进行全局配准。全局配准可以消除拼接误差,进一步提升扫描精度。
下面以同步投射散斑图案和多线激光为例,对上述实施例提供的三维扫描系统的工作过程进行具体说明:
第一步,投影机向目标物体投射散斑图案,同时激光器向目标物体投射多线激光,相机采集到图像集合A。图像集合A中的每张图像中都能同时看见散斑图案与多线激光。
第二步、对图像集合A进行处理,通过提取图像中的散斑特征重建出稠密的单帧点云C0,通过提取图像中的多线特征重建出多条线状点云C1。接下来,将C0和C1统一称为单帧点云C,同一份图像中重建得到的C0与C1在同一图像坐标系中。
第三步、基于连续的多片单帧点云C,利用其之间的公共特征进行ICP(IterativeClosest Point,点云特征拼接)配准,将其转换到相同的世界坐标系下得到多片点云的集合D。这里的点云拼接的过程没有用到C1,都是C0完成的,C1只有在接下来的TSDF融合时用到。
第四步、对D中的多片点云C进行全局配准提高拼接精度得到集合D1。对细节精度要求不高的情况下可以不执行这步,这步主要是用来消除拼接误差,不然可能会存在错层严重,精度细节差等问题。
第五步、对D1中的每片点云C中的C1赋予更加高的权重,C0赋予较小的权重,进行TSDF(Truncated Signed Distance Function)融合,得到细节度较高的点云模型F。考虑到C1的点云质量高于C0的点云质量,所以在融合中将C1的权重加大,降低C0的权重,从而提高了融合后点云的质量。
需要说明的是,上述TSDF融合就是将所有点云数据加入一个体素中,计算相关体素中的SDF(有向距离场)值,然后构建等值面,最终得到网格模型。这种方法表达等值面的方法可以归类为隐式表达。
上述实施例提供的三维扫描系统30,通过多片点云C进行特征拼接,无需贴标记点,从而解决了激光扫描需要贴标记点的问题。进一步地,通过精度较高的C1进行最终的融合得到的模型精细度要远远高于C0,解决了白光扫描仪扫描细节弱的问题。其融合了激光扫描仪精细度高和白光扫描仪不贴标记点的优点,可以在不贴标记点的情况下实现高精度扫描。
本申请实施例四提供了一种三维扫描方法,可以基于上述任一实施例提供的三维扫描系统实现,具体地,该方法包括以下步骤:
S100、控制扫描设备同步向目标物体投射多特征图像,对目标物体进行扫描,以获取目标物体的多特征扫描数据;多特征图像中至少包括具有面特征的第一特征图像和具有除面特征以外的非面特征的第二特征图像;
S200、利用图像处理设备对多特征扫描数据进行实时计算和处理,以生成目标物体的数据模型。
上述步骤S100和步骤S200并没有明确的先后处理顺序,可以边扫描边建模,也可以等扫描完成后,基于全部的扫描数据进行建模。
作为一种可实施方式,第一特征图像为散斑图像或条纹图像,第二特征图像为多线激光。
具体地,如图5所示,上述步骤S200,利用图像处理设备对多特征扫描数据进行实时计算和处理,以生成目标物体的数据模型,包括以下步骤:
S210,对多特征扫描数据进行处理,利用多特征扫描数据中的面特征重建第一单帧点云,以及利用多特征扫描数据中的非面特征重建第二单帧点云;
S220,基于连续的多片第一单帧点云和第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;
S230,对点云集中的第一单帧点云赋予第一权值,对点云集中的第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于隐式曲面,生成目标物体的数据模型;第二权值大于第一权值。
进一步地,在点云融合之前,利用图像处理设备对点云集中的多片第一单帧点云和第二单帧点云进行全局配准。
关于三维扫描方法的实施例的具体限定可以参见上文中对于三维扫描系统的限定,在此不再赘述。
本申请实施例提供的三维扫描方法,在扫描过程中,控制扫描设备向目标物体同步投射至少具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,利用图像处理设备将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成目标物体的数据模型。无需在待扫描的目标物体表面贴标记点,基于多特征扫描数据中的非面特征与面特征,至少两种不同特征进行融合,从而实现高精度扫描。
如图6所示,本申请实施例五提供了一种电子装置,包括存储器和处理器。存储器中存储有计算机程序,该电子装置的处理器用于提供计算和控制能力。该电子装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
上述处理器执行计算机程序时实现上述任一实施例中的三维扫描方法的步骤。
上述电子装置,通过控制三维扫描系统,在扫描过程中向目标物体同步投射至少具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成目标物体的数据模型,从而在待扫描的目标物体表面不贴标记点的情况下实现高精度扫描。
如图7所示,本申请实施例六提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。
该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像拼接方法。
该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,上述结构仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比上述更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
作为一种可实施方式,该计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述任一实施例中的三维扫描方法的步骤。
上述计算机设备,通过控制三维扫描系统,在扫描过程中向目标物体同步投射至少具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成目标物体的数据模型,从而在待扫描的目标物体表面不贴标记点的情况下实现高精度扫描。
本申请实施例七提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中的三维扫描方法的步骤。
上述计算机设备,通过控制三维扫描系统,在扫描过程中向目标物体同步投射至少具有面特征的第一特征图像和具有非面特征的第二特征图像,这样获取到的多特征扫描数据中就会包含目标物体的面特征和非面特征。在模型计算时,将多特征扫描数据中的面特征作为常规标记点特征使用,结合非面特征进行计算,生成目标物体的数据模型,从而在待扫描的目标物体表面不贴标记点的情况下实现高精度扫描。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种三维扫描系统,其特征在于,包括扫描设备和图像处理设备;
所述扫描设备,用于向目标物体同步投射多特征图像,并基于所述多特征图像对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;所述多特征图像中至少包括具有面特征的第一特征图像和具有除所述面特征以外的非面特征的第二特征图像;
所述图像处理设备,用于对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。
2.根据权利要求1所述的三维扫描系统,其特征在于,所述第一特征图像为散斑图像或条纹图像,所述第二特征图像为多线激光。
3.根据权利要求1所述的三维扫描系统,其特征在于,所述扫描设备包括图像投射组件、图像采集组件、以及同步组件;
所述图像投射组件,用于向所述目标物体同步投射所述多特征图像;
所述图像采集组件,用于对所述目标物体进行成像捕捉,以获取所述目标物体的所述多特征扫描数据;
所述同步组件,用于在扫描过程中,控制所述图像投射组件和所述图像采集组件同步工作。
4.根据权利要求3所述的三维扫描系统,其特征在于,所述图像投射组件包括至少两个光源;
至少两个所述光源,用于分别向所述目标物体同步投射所述第一特征图像和所述第二特征图像。
5.根据权利要求3所述的三维扫描系统,其特征在于,所述图像投射组件包括投射器,所述投射器用于向所述目标物体同步投射所述多特征图像;
其中,所述投射器包括至少一个投影机、至少一个激光器、或至少一个投影机与激光器的组合。
6.根据权利要求3所述的三维扫描系统,其特征在于,所述图像处理设备集成在所述扫描设备上或设置在云端。
7.根据权利要求1至6任一项所述的三维扫描系统,其特征在于,所述图像处理设备,还用于根据扫描需求,对所述多特征扫描数据中的所述面特征和所述非面特征采用不同的权值进行实时计算和处理,以生成所述目标物体的数据模型。
8.根据权利要求1至6任一项所述的三维扫描系统,其特征在于,所述图像处理设备包括点云重建模块、配准模块、以及融合模块;
所述点云重建模块,用于对所述多特征扫描数据进行处理,利用所述多特征扫描数据中的所述面特征重建第一单帧点云,以及利用所述多特征扫描数据中的所述非面特征重建第二单帧点云;
所述配准模块,用于基于连续的多片所述第一单帧点云和所述第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;
所述融合模块,用于对所述点云集中的所述第一单帧点云赋予第一权值,对所述点云集中的所述第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于所述隐式曲面,生成所述目标物体的数据模型;所述第二权值大于所述第一权值。
9.根据权利要求8所述的三维扫描系统,其特征在于,所述图像处理设备还包括全局配准模块;
所述全局配准模块,用于在所述点云融合之前,对所述点云集中的多片所述第一单帧点云和所述第二单帧点云进行全局配准。
10.一种三维扫描方法,其特征在于,包括以下步骤:
控制扫描设备同步向目标物体投射多特征图像,对所述目标物体进行扫描,以获取所述目标物体的多特征扫描数据;所述多特征图像中至少包括具有面特征的第一特征图像和具有除所述面特征以外的非面特征的第二特征图像;
利用图像处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型。
11.根据权利要求10所述的三维扫描方法,其特征在于,所述利用图像处理设备对所述多特征扫描数据进行实时计算和处理,以生成所述目标物体的数据模型,包括以下步骤:
对所述多特征扫描数据进行处理,利用所述多特征扫描数据中的所述面特征重建第一单帧点云,以及利用所述多特征扫描数据中的所述非面特征重建第二单帧点云;
基于连续的多片所述第一单帧点云和所述第二单帧点云分别进行点云配准,得到位于同一世界坐标系下的点云集;
对所述点云集中的所述第一单帧点云赋予第一权值,对所述点云集中的所述第二单帧点云赋予第二权值,进行点云融合,获得隐式曲面,再基于所述隐式曲面,生成所述目标物体的数据模型;所述第二权值大于所述第一权值。
12.根据权利要求11所述的三维扫描方法,其特征在于,还包括以下步骤:
在所述点云融合之前,利用所述图像处理设备对所述点云集中的多片所述第一单帧点云和所述第二单帧点云进行全局配准。
13.根据权利要求10至12任一项所述的三维扫描方法,其特征在于,所述第一特征图像为散斑图像或条纹图像,所述第二特征图像为多线激光。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求10至13中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求10至13中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396035.1A CN113137938B (zh) | 2021-04-13 | 2021-04-13 | 三维扫描系统、方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396035.1A CN113137938B (zh) | 2021-04-13 | 2021-04-13 | 三维扫描系统、方法、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113137938A true CN113137938A (zh) | 2021-07-20 |
CN113137938B CN113137938B (zh) | 2023-04-25 |
Family
ID=76812253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110396035.1A Active CN113137938B (zh) | 2021-04-13 | 2021-04-13 | 三维扫描系统、方法、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113137938B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114858087A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 用于三维扫描仪的移动计算模组、三维扫描方法和装置 |
CN114858086A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 一种三维扫描系统、方法和装置 |
CN115493512A (zh) * | 2022-08-10 | 2022-12-20 | 思看科技(杭州)股份有限公司 | 数据处理方法、三维扫描系统、电子装置和存储介质 |
CN115661369A (zh) * | 2022-12-14 | 2023-01-31 | 思看科技(杭州)股份有限公司 | 三维扫描方法、三维扫描的控制方法、系统和电子装置 |
WO2024020858A1 (zh) * | 2022-07-27 | 2024-02-01 | 维沃移动通信有限公司 | 表面构建方法、装置、电子设备及介质 |
CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579753A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000021034A1 (en) * | 1998-10-06 | 2000-04-13 | Easyscan Műszaki Fejlesztő Kereskedelmi És Szolgál Tató Kft. | Method and apparatus for the scanning of spatial objects and to create a three dimensional computer model |
US20070206204A1 (en) * | 2005-12-01 | 2007-09-06 | Peirong Jia | Full-field three-dimensional measurement method |
US20070211258A1 (en) * | 2006-03-07 | 2007-09-13 | Korea Advanced Institute Of Science And Technology | Three-dimensional shape measurement apparatus and method for eliminating2pi ambiguity of moire principle and omitting phase shifting means |
CN101566461A (zh) * | 2009-05-18 | 2009-10-28 | 西安交通大学 | 大型水轮机叶片快速测量方法 |
CN101608908A (zh) * | 2009-07-20 | 2009-12-23 | 杭州先临三维科技股份有限公司 | 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法 |
CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN109087383A (zh) * | 2018-08-06 | 2018-12-25 | 林嘉恒 | 组合式偏差分离特征提取扫描方法及系统 |
CN112200852A (zh) * | 2020-10-09 | 2021-01-08 | 西安交通大学 | 一种时空混合调制的立体匹配方法及系统 |
-
2021
- 2021-04-13 CN CN202110396035.1A patent/CN113137938B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000021034A1 (en) * | 1998-10-06 | 2000-04-13 | Easyscan Műszaki Fejlesztő Kereskedelmi És Szolgál Tató Kft. | Method and apparatus for the scanning of spatial objects and to create a three dimensional computer model |
US20070206204A1 (en) * | 2005-12-01 | 2007-09-06 | Peirong Jia | Full-field three-dimensional measurement method |
US20070211258A1 (en) * | 2006-03-07 | 2007-09-13 | Korea Advanced Institute Of Science And Technology | Three-dimensional shape measurement apparatus and method for eliminating2pi ambiguity of moire principle and omitting phase shifting means |
CN101566461A (zh) * | 2009-05-18 | 2009-10-28 | 西安交通大学 | 大型水轮机叶片快速测量方法 |
CN101608908A (zh) * | 2009-07-20 | 2009-12-23 | 杭州先临三维科技股份有限公司 | 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法 |
CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN109087383A (zh) * | 2018-08-06 | 2018-12-25 | 林嘉恒 | 组合式偏差分离特征提取扫描方法及系统 |
CN112200852A (zh) * | 2020-10-09 | 2021-01-08 | 西安交通大学 | 一种时空混合调制的立体匹配方法及系统 |
Non-Patent Citations (1)
Title |
---|
徐渊;王亚洲;周建华;边育心;: "一种多目立体视觉的三维激光扫描系统设计" * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114858087A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 用于三维扫描仪的移动计算模组、三维扫描方法和装置 |
CN114858086A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 一种三维扫描系统、方法和装置 |
WO2024020858A1 (zh) * | 2022-07-27 | 2024-02-01 | 维沃移动通信有限公司 | 表面构建方法、装置、电子设备及介质 |
CN115493512A (zh) * | 2022-08-10 | 2022-12-20 | 思看科技(杭州)股份有限公司 | 数据处理方法、三维扫描系统、电子装置和存储介质 |
CN115493512B (zh) * | 2022-08-10 | 2023-06-13 | 思看科技(杭州)股份有限公司 | 数据处理方法、三维扫描系统、电子装置和存储介质 |
CN115661369A (zh) * | 2022-12-14 | 2023-01-31 | 思看科技(杭州)股份有限公司 | 三维扫描方法、三维扫描的控制方法、系统和电子装置 |
CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579753A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
CN117579754B (zh) * | 2024-01-16 | 2024-05-07 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113137938B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113137938A (zh) | 三维扫描系统、方法、计算机设备和存储介质 | |
CN109697688B (zh) | 一种用于图像处理的方法和装置 | |
CN109074660B (zh) | 单目相机实时三维捕获和即时反馈的方法和系统 | |
EP3655924B1 (en) | Method and apparatus to generate and track standardized anatomical regions automatically | |
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5746529B2 (ja) | 三次元距離計測装置、三次元距離計測方法、およびプログラム | |
KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
US8698804B2 (en) | Image processing apparatus and image processing method | |
KR101744079B1 (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
US11315313B2 (en) | Methods, devices and computer program products for generating 3D models | |
US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
CN107343148B (zh) | 图像补全方法、装置和终端 | |
KR20220083830A (ko) | 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체 | |
US11450068B2 (en) | Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter | |
CN110533761B (zh) | 影像显示方法、电子装置及非瞬时电脑可读取记录媒体 | |
CN111742352B (zh) | 对三维对象进行建模的方法和电子设备 | |
US11250592B2 (en) | Information processing apparatus | |
CN117579753A (zh) | 三维扫描方法、装置、计算机设备以及存储介质 | |
CN113538682A (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
KR20220151306A (ko) | 3차원 콘텐츠 생성 방법 및 장치 | |
CN108876713B (zh) | 二维模板图像的映射方法、装置、终端设备和存储介质 | |
CN113496542A (zh) | 多曝光图像建模方法、装置、计算机设备和存储介质 | |
CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112292577A (zh) | 三维测量装置以及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 102, Unit 1, Building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121 Applicant after: Sikan Technology (Hangzhou) Co.,Ltd. Address before: Room 101, building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU SCANTECH Co. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |