CN113514008A - 三维扫描方法、三维扫描系统和计算机可读存储介质 - Google Patents

三维扫描方法、三维扫描系统和计算机可读存储介质 Download PDF

Info

Publication number
CN113514008A
CN113514008A CN202010278835.9A CN202010278835A CN113514008A CN 113514008 A CN113514008 A CN 113514008A CN 202010278835 A CN202010278835 A CN 202010278835A CN 113514008 A CN113514008 A CN 113514008A
Authority
CN
China
Prior art keywords
dimensional
information
camera
color texture
scanned object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010278835.9A
Other languages
English (en)
Other versions
CN113514008B (zh
Inventor
王江峰
陈尚俭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scantech Hangzhou Co Ltd
Original Assignee
Hangzhou Scantech Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Scantech Co filed Critical Hangzhou Scantech Co
Priority to CN202010278835.9A priority Critical patent/CN113514008B/zh
Priority to PCT/CN2021/079192 priority patent/WO2021203883A1/zh
Publication of CN113514008A publication Critical patent/CN113514008A/zh
Application granted granted Critical
Publication of CN113514008B publication Critical patent/CN113514008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种三维扫描方法、三维扫描系统、计算机设备和计算机可读存储介质。该三维扫描方法包括：采集被扫描对象的三维点面信息，并在采集三维点面信息时跟踪三维扫描仪的第一位姿；以及采集被扫描对象表面的色彩纹理信息，并在采集色彩纹理信息时跟踪三维扫描仪的第二位姿；根据三维点面信息和第一位姿，重建被扫描对象的三维模型；根据色彩纹理信息和第二位姿，在三维模型的表面生成色彩纹理。通过本申请，解决了相关技术中三维模型的色彩纹理存在错位的问题，提高了三维模型的色彩纹理贴图的准确度。

Description

三维扫描方法、三维扫描系统和计算机可读存储介质
技术领域
本申请涉及三维扫描领域，特别是涉及三维扫描方法、三维扫描系统、计算机设备和计算机可读存储介质。
背景技术
光学三维扫描仪是利用光学成像获取被测量物体三维信息的一种设备，目前广泛应用于工业产品检测、逆向设置、仿真、定位等领域。跟踪式三维扫描是其中一种新型的三维扫描技术，该技术主要利用三维扫描仪和跟踪仪等设备共同实现物体的三维测量。相对于传统的贴点式三维扫描或摄影式三维扫描，跟踪式三维扫描技术使用更加方便、稳定性更好、测量范围更大，方便用户在车间、室外和各种复杂环境下轻松便捷地实现三维测量。
现有的跟踪式三维扫描装置主要包括激光跟踪仪(如专利CN103477185)、固定式双摄像头三维扫描仪姿态捕捉跟踪设备(如专利CN103649680、EP2385341)、头戴式三维坐标数据眼镜(如专利US2016/0189422)、针对大尺度物体如船舶曲面钢板的基于LED标签跟踪的几何测量装置(如专利CN104976968A)等。上述的现有的跟踪式三维扫描装置主要采取跟踪器和扫描仪的结合共同实现物体的三维测量，其中跟踪器用于拼接三维数据，扫描仪用于获得三维数据。也就是说，三维扫描功能的实现取决于扫描仪自身的功能和精度。上述现有装置中的扫描仪主要采用手持单色激光扫描仪或光栅投影式扫描仪，功能较为单一，对于色彩和纹理有更高要求的扫描场景，缺乏足够的适应性。例如，对于需要获得物体表面色彩特征的扫描场景，例如文物、家居的数字化扫描重建，以及对于网购商品的三维展示等，现有跟踪式装置尚不能实现这样的功能。
现有的色彩纹理扫描装置主要是手持式白光扫描仪，主要包括一个投影器，一个或多个黑白摄像头和一个彩色摄像头，投影器采用编码结构光的形式进行投影，黑白摄像头在投影的同时获取物体轮廓信息，并通过特征识别进行前后帧的点面信息拼接；为了避免拍摄到投影图案影响贴图效果，彩色摄像头在投影的间隙获取物体表面纹理信息，并基于黑白摄像头的三维信息进行纹理贴图。上述装置的主要问题是，彩色摄像头和黑白摄像头非同步交叉拍摄，虽然间隔时间很短，但是因为二者的不同步，所以纹理贴图后的三维模型与原始被扫描对象相比，色彩纹理存在一定的错位。
发明内容
本申请实施例提供了一种三维扫描方法、三维扫描系统、计算机设备和计算机可读存储介质，以至少解决相关技术中三维模型的色彩纹理存在错位的问题。
第一方面，本申请实施例提供了一种三维扫描系统，包括三维扫描仪、跟踪器和计算单元，所述三维扫描仪和所述跟踪器分别与所述计算单元电性连接；所述三维扫描仪用于采集被扫描对象的三维点面信息，所述跟踪器用于在所述三维扫描仪采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿，所述计算单元用于根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；
其中，所述三维扫描仪，还用于采集所述被扫描对象表面的色彩纹理信息；所述跟踪器，还用于在所述三维扫描仪采集所述被扫描对象表面的色彩纹理信息时跟踪所述三维扫描仪的第二位姿；所述计算单元，还用于根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理。
在其中一些实施例中，所述三维扫描仪包括：用于采集所述被扫描对象的三维点面信息的第一摄像头和第二摄像头，以及用于采集所述色彩纹理信息的第三摄像头。
在其中一些实施例中，所述三维扫描仪包括：用于采集所述被扫描对象的三维点面信息的第一摄像头和第二摄像头，其中，所述第一摄像头还用于采集所述色彩纹理信息。
在其中一些实施例中，所述三维扫描仪还包括：结构光投影器，用于在所述三维扫描仪采集所述三维点面信息时在所述被扫描对象的表面投射结构光图案。
在其中一些实施例中，所述三维扫描系统还包括：时钟同步单元，所述时钟同步单元分别与所述三维扫描仪和所述跟踪器电性连接；所述时钟同步单元用于提供时钟同步信号；其中，
所述结构光投影器、所述第一摄像头、所述第二摄像头以及所述跟踪器根据所述时钟同步信号同步工作；第三摄像头和所述跟踪器根据所述时钟同步信号同步工作。
在其中一些实施例中，所述三维扫描仪还包括：结构光投影器，用于在所述三维扫描仪采集所述三维点面信息时在所述被扫描对象的表面投影不可见光波段的结构光投影图案；所述三维扫描系统还包括：时钟同步单元，所述时钟同步单元分别与所述三维扫描仪和所述跟踪器电性连接；所述时钟同步单元用于提供时钟同步信号；其中，
所述结构光投影器、所述第一摄像头、所述第二摄像头、所述第三摄像头以及所述跟踪器根据所述时钟同步信号同步工作；
所述不可见光波段的结构光投影图案能够被所述第一摄像头和所述第二摄像头捕获，所述不可见光波段的结构光投影图案不能够被所述第三摄像头捕获。
在其中一些实施例中，所述三维扫描系统还包括：可见光源，所述可见光源用于在采集色彩纹理信息时对所述被扫描对象补光。
第二方面，本申请实施例提供了一种三维扫描方法，包括：
采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿；
根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；
根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理。
在其中一些实施例中，采集被扫描对象的三维点面信息包括：
在所述被扫描对象的表面投射结构光投影图案；
使用第一摄像头和第二摄像头采集表面投射有所述结构光投影图案的被扫描对象的图像信息，并根据所述图像信息生成所述被扫描对象的三维点面信息。
在其中一些实施例中，对所述被扫描对象的所述三维点面信息和所述色彩纹理信息的采集是非同时的。
在其中一些实施例中，采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿包括：
使用第一摄像头和第二摄像头采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及使用所述第一摄像头采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿。
在其中一些实施例中，采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿包括：
使用第一摄像头和第二摄像头采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及使用第三摄像头采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿。
在其中一些实施例中，在所述被扫描对象的表面投射的结构光投影图案为不可见光波段的结构光投影图案；所述不可见光波段的结构光投影图案能够被采集所述三维点面信息的摄像头捕获，而不能够被采集所述色彩纹理信息的摄像头捕获；对所述被扫描对象的所述三维点面信息和所述色彩纹理信息的采集是同时的。
在其中一些实施例中，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
根据所述第二位姿，确定在第一坐标系中采集到的所述色彩纹理信息在第二坐标系中的坐标；
根据所述坐标，在所述第二坐标系中将所述色彩纹理信息映射到所述三维模型的表面；
其中，所述三维模型是在所述第二坐标系中重建的。
在其中一些实施例中，根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
在所述第一位姿和所述第二位姿相同的情况下，在第一坐标系中将所述色彩纹理信息映射到所述三维点面信息中；
在第二坐标系中，根据映射所述色彩纹理信息后的三维点面信息，重建得到具有色彩纹理的所述被扫描对象的三维模型；
其中，所述三维点面信息和所述色彩纹理信息是在所述第一坐标系中采集的，所述三维模型是在所述第二坐标系中重建的。
在其中一些实施例中，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
根据所述第二位姿，确定与所述色彩纹理信息对应的点云；
根据所述色彩纹理信息，对所述点云进行色彩渲染。
在其中一些实施例中，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
将所述三维模型的表面进行网格分割，并根据所述第二位姿，确定分割得到的每个网格对应的色彩纹理信息；
在分割得到的每个网格中填充对应的色彩纹理信息。
在其中一些实施例中，所述第三摄像头采集所述色彩纹理信息的频率低于所述第一摄像头和所述第二摄像头采集所述三维点面信息的频率。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面所述的三维扫描方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第二方面所述的三维扫描方法。
相比于相关技术，本申请实施例提供的三维扫描方法、三维扫描系统、计算机设备和计算机可读存储介质，通过采集被扫描对象的三维点面信息，并在采集三维点面信息时跟踪三维扫描仪的第一位姿；以及采集被扫描对象表面的色彩纹理信息，并在采集色彩纹理信息时跟踪三维扫描仪的第二位姿；根据三维点面信息和第一位姿，重建被扫描对象的三维模型；根据色彩纹理信息和第二位姿，在三维模型的表面生成色彩纹理的方式，解决了相关技术中三维模型的色彩纹理存在错位的问题，提高了三维模型的色彩纹理贴图的准确度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是根据本申请实施例的一种三维扫描系统的结构示意图；
图1b是根据本申请实施例的另一种三维扫描系统的结构示意图；
图2是根据本申请实施例的三维扫描方法的流程图；
图3是根据本申请实施例的不具有色彩纹理的三维模型的重建过程的流程图；
图4是根据本申请实施例的基于实时色彩纹理信息映射的具有色彩纹理的三维模型重建方法的流程图；
图5是根据本申请优选实施例的三维扫描系统的结构示意图；
图6是根据本申请优选实施例的三维扫描系统中各组成部分的连接结构示意图；
图7是根据本申请优选实施例的三维扫描方法的流程图；
图8是根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接，不管是直接的还是间接的。其中，在不冲突的情况下，电性连接可以是有线连接也可以是无线连接。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
为了便于理解，首先以线状结构光为例介绍本申请所基于的结构光视觉检测，以及非接触式跟踪的基本原理。
进行三维扫描时，首先由结构光投影器向被扫描对象投射线状激光，投射的线状激光形成一个激光投射平面，激光投射平面与被扫描对象相交时，会在被扫描对象表面形成一条亮的扫描线。由于扫描线包含了激光投射平面与物体相交的所有的表面点，因此根据扫描线的坐标可以得到物体的相应的表面点的三维坐标。该三维坐标映射到激光投射平面上，则得到扫描线的二维图像。根据扫描线的二维图像上的点的坐标即可以计算出其对应的物体表面点的三维坐标，这就是结构光视觉检测的基本原理。
非接触式跟踪技术，采用跟踪相机捕获三维扫描仪表面的至少三个目标特征；由于三维扫描仪表面的目标特征、三维扫描仪的双目相机(包括第一摄像头和第二摄像头)的空间位置关系是预先标定好的，因此，计算单元根据跟踪相机捕获的至少三维目标特征能够获得三维扫描仪的位姿以及三维扫描仪的坐标系与跟踪器的坐标系之间的转换关系；根据该转换关系将三维扫描仪采集到的三维点面信息的坐标转换到跟踪器的坐标系中，然后根据三维点面信息的坐标进行拼接融合，重建得到完整的三维模型。
本实施例提供了一种三维扫描系统。图1a是根据本申请实施例的三维扫描系统的结构示意图，如图1a所示，该三维扫描系统包括：三维扫描仪11、跟踪器12和计算单元13，其中，
如图1a所示，三维扫描仪11与计算单元13电性连接。在本实施例中，三维扫描仪11包括结构光投影器111、用于采集被扫描对象的三维点面信息的第一摄像头1121和第二摄像头1122、至少三个目标特征113。
其中，上述的第一摄像头1121和第二摄像头1122包括能够捕获目标空间的可见光波段或者不可见光波段的相机、CCD传感器或者CMOS传感器。上述的结构光投影器111包括被设置为顺序地投射结构光图案到被扫描对象的表面的投影仪，例如可以是数字光处理(DLP)投影仪。结构光投影器111投射的结构光可以是散斑、条纹、格雷码或者其他的编码结构光。
在本实施例中，结构光投影器111、第一摄像头1121、第二摄像头1122，以及至少三个目标特征113安装在安装架114上，且它们的空间位置关系均被预先标定。因此，在三角测量法计算中，目标特征之间、第一摄像头1121和第二摄像头1122之间的距离、角度等信息是已知的，结构光投影器111的位置及投射角度等信息是已知的。
在本实施例中，三维扫描仪11的至少三个目标特征113可以是自发光的目标特征或者反光的目标特征。
跟踪器12与计算单元13电性连接，跟踪器12用于在三维扫描仪11采集三维点面信息时，通过捕捉三维扫描仪11的至少三个目标特征113来跟踪三维扫描仪11的第一位姿。
在本实施例中，跟踪器12至少包括一个跟踪摄像头，该跟踪摄像头用于捕捉三维扫描仪11表面固定的至少三个目标特征113。由于这至少三个目标特征113之间的空间位置关系被预先标定，因此，根据这至少三个目标特征113能够确定三维扫描仪11的位姿。
计算单元13，用于根据第一摄像头1121和第二摄像头1122采集到的三维点面信息和第一位姿，重建被扫描对象的三维模型。其中，计算单元13重建被扫描对象的三维模型的基本原理是三角法原理和极线约束原理。
在本实施例中，三维扫描仪11还用于采集被扫描对象表面的色彩纹理信息。跟踪器12还用于在三维扫描仪11采集被扫描对象表面的色彩纹理信息时跟踪三维扫描仪11的第二位姿。计算单元13还用于根据色彩纹理信息和第二位姿，在三维模型的表面生成色彩纹理。
采用本实施例提供的三维扫描系统，首先，计算单元13通过三维扫描仪11采集到的表面投射有结构光投影图案的被扫描对象的二维图像信息，通过已标定的采集三维点面信息的多个摄像头的空间位置关系，重建出在三维扫描仪11的摄像头的坐标系下的三维点面信息。然后，计算单元13根据已标定的摄像头与固定在三维扫描仪11表面的至少三个目标特征之间的转换关系，将三维点面信息转换到三维扫描仪11的目标特征的坐标系中。
其中，三维扫描仪11的第一摄像头1121和第二摄像头1122在进行拍摄的同时，跟踪器12同步捕捉三维扫描仪11表面的至少三个目标特征113。由于这至少三个目标特征113之间的空间位置关系也被预先标定，因此，计算单元13根据捕捉到的三维扫描仪11表面的至少三个目标特征113的信息和已知的这至少三个目标特征113之间的空间位置关系，就能够得到跟踪器12的坐标系和三维扫描仪11的目标特征的坐标系的转换关系。最后，计算单元13根据跟踪器12的坐标系和三维扫描仪11的目标特征的坐标系的转换关系，得到三维点面信息在跟踪器12的坐标系下的坐标，根据该坐标即可根据三维点面信息在跟踪器12的坐标系下进行被扫描对象的三维重建，得到三维模型。
与之类似地，计算单元13在三维模型的表面生成色彩纹理也是基于坐标系之间的转换关系实现的。
一方面，相关技术中的手持式白光扫描仪的点面信息是通过特征识别进行拼接的，其在采集色彩纹理信息时无法获得用于点面信息拼接的特征，因此其只能够将上一次采集的点面信息对应的坐标作为当前采集的色彩纹理信息对应的坐标；又由于手持式白光扫描仪用于获取色彩纹理信息的彩色摄像头和用于获取点面信息的黑白摄像头是非同步交叉拍摄的，因此其点面信息和色彩纹理信息的采集时间存在时间间隔，在该时间间隔内手持式白光扫描仪的任何移动都将导致上一次采集的点面信息对应的坐标与当前采集的色彩纹理信息对应的坐标不同，从而导致了三维模型的色彩纹理存在错位。与相关技术中彩色摄像头和黑白摄像头非同步交叉拍摄的方式不同之处在于，在上述实施例中，通过跟踪器12采用非接触式方式在采集三维点面信息时和采集色彩纹理信息时跟踪三维扫描仪11的位姿。通过这种方式，无论三维点面信息和色彩纹理信息是同步采集还是非同步交叉采集的，通过本实施例提供的三维扫描系统都能够获得三维扫描仪11采集到的三维点面信息和色彩纹理信息在跟踪器12的坐标系中的准确坐标，从而解决了相关技术中三维模型的色彩纹理存在错位的问题，提高了三维模型的色彩纹理贴图的准确度。
另一方面，在本实施例中，在本实施例中采用了结构光投影器111，在三维扫描仪11采集三维点面信息时在被扫描对象的表面投射结构光图案。相比于相关技术中在被扫描对象的表面张贴特征标记的方式而言，采用本实施例中具有结构光投影器111的三维扫描系统采用结构光投影器111投射的结构光图案作为特征标记，免去了在被扫描对象的表面张贴特征标记的工作量。不仅如此，由于在被扫描对象的表面不再张贴特征标记，因此，重建得到的具有色彩纹理的三维模型能够表现原始的被扫描对象的表面特征而不会导致在三维模型的表面出现额外的特征标记，提高了三维扫描系统的实用性，避免了后期处理三维模型的额外特征标记导致的工作量。
本实施例中的三维扫描仪11能够采集被扫描对象表面的色彩纹理信息。
如图1b所示，在其中一些实施例中，三维扫描仪11包括用于采集被扫描对象的三维点面信息的第一摄像头1121和第二摄像头1122，还包括用于采集色彩纹理信息的第三摄像头1123。
如图1a所示，在另一些实施例中，三维扫描仪11包括用于采集被扫描对象的三维点面信息的第一摄像头1121和第二摄像头1122，其中的第一摄像头1121还被复用于采集色彩纹理信息。在本实施例中，将第一摄像头1121复用于采集三维点面信息和采集色彩纹理信息，能够降低三维扫描系统的成本，并减小三维扫描仪的体积和重量。
在其中一些实施例中，第一摄像头1121和第二摄像头1122都是彩色摄像头，其中一个彩色摄像头被复用于采集色彩纹理信息。第一摄像头1121和第二摄像头1122都是彩色摄像头的优势在于能够降低这两个摄像头之间参数的差异，提高三维点面信息采集的效率和精度。
在其中一些实施例中，为了实现三维扫描仪11和跟踪器12的同步工作，三维扫描系统还包括时钟同步单元14，时钟同步单元14分别与三维扫描仪11和跟踪器12电性连接。时钟同步单元14用于提供时钟同步信号。其中，三维扫描仪11中的结构光投影器111、第一摄像头1121、第二摄像头1122以及跟踪器12根据时钟同步信号同步工作；第三摄像头1123和跟踪器12根据时钟同步信号同步工作。需要说明的是，本实施例中时钟同步单元14可以是独立于跟踪器12、三维扫描仪11及计算单元13的独立单元，也可以位于跟踪器12、三维扫描仪11及计算单元13中的任一单元或者设备中。
在本实施例中三维扫描仪11中的结构光投影器111、第一摄像头1121、第二摄像头1122以及跟踪器12根据时钟同步信号同步工作包括：结构光投影器111在向被扫描对象的表面投射结构光图案期间，第一摄像头1121和第二摄像头1122以及跟踪器12同时拍摄。
在本实施例中三维扫描仪11中的第三摄像头1123和跟踪器根据时钟同步信号同步工作包括：第三摄像头1123和跟踪器12同时拍摄。
在上述实施例中，结构光投影器111、第一摄像头1121、第二摄像头1122，它们与第三摄像头1123可以是同时工作的，也可以是非同时工作的。
例如，在另一些实施例中，三维扫描仪包括第一摄像头1121、第二摄像头1122、第三摄像头1123以及结构光投影器111。其中，结构光投影器111用于在三维扫描仪采集三维点面信息时在被扫描对象的表面投影不可见光波段的结构光投影图案。三维扫描系统还包括：时钟同步单元14，时钟同步单元14分别与三维扫描仪11和跟踪器12电性连接；时钟同步单元14用于提供时钟同步信号；其中，结构光投影器111、第一摄像头1121、第二摄像头1122、第三摄像头1123以及跟踪器根据时钟同步信号同步工作。并且，结构光投影器111投射的不可见光波段的结构光投影图案能够被第一摄像头1121和第二摄像头1122捕获，但不能够被第三摄像头1123捕获。
通过上述的实施例，第一摄像头1121、第二摄像头1122和第三摄像头1123能够同时采集三维点面信息或色彩纹理信息，简化了采集过程的时序设计，也有助于提高三维模型重建的效率。
在一些实施例中，三维扫描系统还包括可见光源，可见光源配合第三摄像头1123使用。可见光源用于在该第三摄像头1123采集色彩纹理信息时对被扫描对象补光。可见光源可以为一个或者多个闪光灯或者灯箱。在可见光源为一个闪光灯或灯箱的情况下，这一个闪光灯或灯箱对三维扫描仪11当前扫描的被扫描对象的平面进行补光；在可见光源为多个闪光灯或灯箱的情况下，这多个闪光灯或灯箱围绕在被扫描对象周围实现对被扫描对象的多角度补光。通过可见光源对被扫描对象的补光，可以增强第三摄像头1123采集到的色彩纹理信息的亮度，去除因单点光源导致的阴影，使得扫描得到的色彩纹理图片更为真实。
其中，可见光源可以通过有线连接或者无线连接的方式与时钟同步单元14电性连接，从而与第三摄像头1123同步工作。
下面将对本实施例提供的三维扫描方法进行描述和说明。需要说明的是，在实施例描述的三维扫描方法虽然较优地用于本申请实施例提供的三维扫描系统中，但是将该三维扫描方法应用于其他的基于非接触式跟踪的三维扫描系统中也是可以被构想的。
图2是根据本申请实施例的三维扫描方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，采集被扫描对象的三维点面信息，并在采集三维点面信息时跟踪三维扫描仪的第一位姿。
在本步骤中，可以通过双目视觉成像原理，采集到被扫描对象的三维点面信息。例如，通过可见光波段结构光投影器或者不可见光波段结构光投影器在被扫描对象表面投射结构光投影图案，然后采用空间位置关系被预先标定的第一摄像头和第二摄像头对被扫描对象的表面进行拍摄，通过双目视觉成像原理，重建得到被扫描对象的三维点面信息。其中，该结构光投影图案可以是散斑图案、条纹图案、格雷码图案或者其他的编码结构光图案。
在本步骤中，三维扫描仪的第一位姿可以通过非接触式跟踪方式来跟踪。例如，在三维扫描仪的表面固定有至少三个目标特征，且这至少三个目标特征的空间位置关系是预先标定的。由跟踪器跟踪这至少三个目标特征，结合预先标定的至少三个目标特征的空间位置关系，就能够得到三维扫描仪的第一位姿信息，该位姿信息包括位置信息和姿态信息。
步骤S202，采集被扫描对象表面的色彩纹理信息，并在采集色彩纹理信息时跟踪三维扫描仪的第二位姿。
在本步骤中，可以通过第一摄像头或者第三摄像头采集被扫描对象表面的色彩纹理信息。该第三摄像头的空间位置也是被预先标定的。三维扫描仪的第二位姿同样地可以通过非接触式跟踪方式来跟踪。例如，在三维扫描仪的表面固定有至少三个目标特征，且这至少三个目标特征的空间位置关系也是预先标定的。由跟踪器跟踪这至少三个目标特征，结合预先标定的至少三个目标特征的空间位置关系，就能够得到三维扫描仪的第二位姿信息，该位姿信息也包括位置信息和姿态信息。
步骤S203，根据三维点面信息和第一位姿，重建被扫描对象的三维模型。
在本步骤中，在获得三维点面信息和三维扫描仪的第一位姿后，根据相关技术中已知的三维模型重建方法就能够重建得到被扫描对象的三维模型。
步骤S204，根据色彩纹理信息和第二位姿信息，在三维模型的表面生成色彩纹理。
在一些实施例中，可以通过坐标系转换的方法，将色彩纹理信息的坐标系转换到与三维模型相同的坐标系(相当于上述的第二坐标系)中，从而将色彩纹理信息映射到三维模型表面。其中，可以基于第二位姿信息以及预先标定的用于采集色彩纹理信息的摄像头的空间位置信息、预先标定的至少三个目标特征的空间位置关系，将色彩纹理信息的坐标转换到重建三维模型的坐标系中。
在另一些实施例中，例如，在采用第一摄像头、第二摄像头和第三摄像头，结合不可见光波段的结构光投影器，三维扫描系统同时采集色彩纹理信息和三维点面信息，此时跟踪器采集到的一些第一位姿与第二位姿是相同的位姿；对于这些相同位姿下在第一坐标系中采集到的色彩纹理信息和三维点面信息，其转换到第二坐标系中的转换关系是相同的，因此，在这种情况下可以直接在第一坐标系中将色彩纹理信息映射到三维点面信息中，得到具有色彩纹理的三维点面信息，然后再将具有色彩纹理的三维点面信息的坐标由第一坐标系转换到第二坐标系中，进行三维模型的重建，从而得到具有色彩纹理的被扫描对象的三维模型。
图3是根据本申请实施例的不具有色彩纹理的三维模型的重建过程的流程图，如图3所示，本实施例的三维扫描及重建过程包括如下步骤：
步骤S301，标定三维扫描仪表面的目标特征，以及三维扫描仪中所有的摄像头之间的空间位置关系。
步骤S302，在被扫描对象表面投射结构光图案，通过三维扫描仪中的多个摄像头获取被扫描对象的二维图像信息，并通过已标定的摄像头之间的空间位置关系，根据三角法原理和极线约束原理重建出摄像头坐标系下的三维点面信息。
步骤S303，根据已标定的摄像头和三维扫描仪表面的目标特征之间的转换关系，将摄像头坐标系下的三维点面信息的坐标转换到三维扫描仪表面的目标特征的坐标系中。
步骤S304，三维扫描仪的摄像头在进行拍摄时，跟踪器同步捕捉三维扫描器表面的至少三个目标特征。在根据已知的目标特征在三维扫描仪表面的空间位置分布关系，得到跟踪器的坐标系到三维扫描仪的目标特征的坐标系之间的转换关系。
步骤S305，根据跟踪器的坐标系到三维扫描仪的目标特征的坐标系之间的转换关系，得到三维点面信息在跟踪器的坐标系中的坐标，进而在跟踪器的坐标系下根据三维点面信息及其坐标重建得到被扫描对象的三维模型。
需要说明的是，上述步骤S301～步骤S305是对本申请实施例的不具有色彩纹理的三维模型的重建过程的示例性描述，实际的三维重建过程可以不限于此。
例如，在一些实施例中，可以是在三维模型重建完成之后，甚至是三维模型进行三维点面信息的全局优化之后，再将色彩纹理信息映射到三维模型的表面的。
在另一些实施例中，可以是在三维模型重建过程中，或者三维模型重建之前将色彩纹理信息映射到三维模型对应的三维点面信息中的。例如，可以在三维扫描仪的坐标系或者跟踪器的坐标系中，将色彩纹理信息映射到三维点面信息的表面，然后再将具有色彩纹理信息的三维点面信息在跟踪器的坐标系中进行拼接融合，得到具有色彩纹理的三维模型。
在本实施例中，步骤S201和步骤S202可以是同时执行的，也可以是非同时执行的。
例如，在步骤S201和步骤S202是非同时执行的情况下，对被扫描对象的三维点面信息和色彩纹理信息的采集是非同时的。在此情况下，三维扫描仪可以采用两个摄像头采集三维点面信息，并且其中一个摄像头能够采集色彩纹理信息。三维扫描仪也可以采用三个摄像头，其中两个摄像头采集三维点面信息，另一个摄像头采集色彩纹理信息。
由于非同时采集三维点面信息和色彩纹理信息，结构光投影器在采集色彩纹理信息时可以不投射结构光投影图案，因此结构光投影器可以选择任何可见光波段的结构光投影器或者任何非可见光波段的结构光投影器，只要第一摄像头和第二摄像头能够捕获该结构光投影器投射的结构光投影图案即可。
其中，可见光波段又称为白光；非可见光波段可以但不限于红外光波段。
在步骤S201和步骤S202同时执行的情况下，则可以采用包括三个摄像头的三维扫描仪，其中，两个摄像头采集三维点面信息，另一个摄像头采集色彩纹理信息；并且该三维扫描仪的结构光投影器投射的结构光投影图案为不可见光波段的结构光投影图案，该不可见光波段的结构光投影图案能够被采集三维点面信息的摄像头捕获，而不能够被采集色彩纹理信息的摄像头捕获。因此，即使三个摄像头同时拍摄，其中的另一个摄像头在采集色彩纹理信息时也不会捕获结构光投影图案，避免结构光投影图案对被扫描对象表面的影响。
在本实施例中，三维扫描仪的第三摄像头采集被扫描对象表面的色彩纹理信息。色彩纹理信息包括在三维扫描仪的摄像头的坐标系下的坐标以及各坐标对应的颜色信息。由于三维扫描仪的摄像头与三维扫描仪表面的目标特征之间的空间位置关系被预先标定，因此，可以得到三维扫描仪的摄像头的坐标系与三维扫描仪的目标特征的坐标系之间的转换关系，并根据该转换关系可以将色彩纹理信息在摄像头的坐标系下的坐标转换到三维扫描仪的目标特征的坐标系中。三维扫描仪的第三摄像头在进行拍摄的同时，跟踪器同步捕捉三维扫描仪表面的至少三个目标特征。由于这至少三个目标特征之间的空间位置关系也被预先标定，因此，根据捕捉到的三维扫描仪表面的至少三个目标特征的信息和已知的这至少三个目标特征之间的空间位置关系，就能够得到跟踪器的坐标系和三维扫描仪目标特征的坐标系的转换关系。根据跟踪器的坐标系和三维扫描仪目标特征的坐标系的转换关系，就能够将色彩纹理信息的坐标转换到跟踪器的坐标系中，从而得到色彩纹理信息与跟踪器的坐标系之间的映射关系，最后根据映射关系在三维模型的表面生成色彩纹理。
在另一些实施例中，在生成摄像头坐标系下的三维点面信息的同时，或者在生成三维扫描仪的目标特征坐标系下的三维点面信息的同时，实时将色彩纹理信息映射到三维点面信息中，得到具有色彩纹理的三维点面信息。
图4是根据本申请实施例的基于实时色彩纹理信息映射的具有色彩纹理的三维模型重建方法的流程图，如图4所示，该流程包括如下步骤：
步骤S401，根据图像信息、多个摄像头的空间位置关系，重建得到三维扫描仪的摄像头的坐标系下的三维点面信息。
步骤S402，在三维扫描仪的摄像头的坐标系下将与图像信息同步采集的色彩纹理信息映射到三维点面信息中，得到具有色彩纹理的三维点面信息。
步骤S403，根据三维扫描仪的摄像头的坐标系与三维扫描仪的目标特征的坐标系的转换关系，将具有色彩纹理的三维点面信息转换到三维扫描仪的目标特征的坐标系中。
步骤S404，根据跟踪器捕捉到的至少三个目标特征，得到跟踪器的坐标系和三维扫描仪目标特征的坐标系的转换关系；其中，至少三个目标特征在三维扫描仪上的空间位置关系是被预先标定的。
步骤S405，根据跟踪器的坐标系和三维扫描仪目标特征的坐标系的转换关系，得到具有色彩纹理的三维点面信息在跟踪器的坐标系下的坐标，并根据具有色彩纹理的三维点面信息在跟踪器的坐标系下的坐标重建得到表面具有色彩纹理的三维模型。
通过上述步骤S401至步骤S405能够快速得到表面具有色彩纹理的三维模型。上述基于实时色彩纹理信息映射的具有色彩纹理的三维模型重建尤其适用于在三维扫描过程中的扫描提示过程，即生成扫描预览图中的具有色彩纹理的三维模型预览图的过程中。
将色彩纹理投影到三维模型的表面可以采取多种实现方式，将色彩纹理投影到三维模型的表面的方式之一是根据色彩纹理信息，对三维模型对应的点云进行色彩渲染，即将色彩纹理信息中的颜色信息赋值给点云中对应的点。该方式尤其适用于步骤S401至步骤S405所示的基于实时色彩纹理信息映射的具有色彩纹理的三维模型重建过程。
将色彩纹理投影到三维模型的表面的另一种方式是将三维模型的表面进行网格分割，并确定分割得到的每个网格对应的色彩纹理信息；在分割得到的每个网格中填充与该网格对应的色彩纹理信息。该方式尤其适用于在扫描得到三维模型之后再在三维模型的表面生成色彩纹理的色彩纹理后处理的具有色彩纹理的三维模型重建过程。
在其中一些实施例中，在三维扫描仪包括用于采集三维点面信息的第一摄像头第二摄像头，以及用于采集色彩纹理信息的第三摄像头的情况下，第三摄像头采集色彩纹理信息的频率低于第一摄像头和第二摄像头采集三维点面信息的频率。例如，第一摄像头和第二摄像头采集三维点面信息的频率可以为第三摄像头采集色彩纹理信息的数倍，这样可以减少第三摄像头采集色彩纹理信息的次数，降低图像数据传输量和处理图像数据的计算机资源。
下面通过优选实施例对本申请进行描述和说明。
图5是根据本申请优选实施例的三维扫描系统的结构示意图，如图5所示，该三维扫描系统包括：非接触式的跟踪器12，包括至少一个跟踪摄像头，用于捕捉三维扫描仪的位姿。三维扫描仪11，用于通过三角测量法原理进行三维扫描，三维扫描仪包含至少一个结构光投影器111，至少一个双目相机(相当于上述的第一摄像头1121和第二摄像头1122)和至少一个纹理摄像头(相当于上述的第三摄像头1123)，以及多个固定在三维扫描仪表面的目标特征，其中至少三个目标特征可以在跟踪器12的视野中被跟踪器12捕捉；计算单元13，用于生成三维点面信息、计算转换矩阵、进行坐标转换、以及重建三维模型。
图6是根据本申请优选实施例的三维扫描系统中各组成部分的连接结构示意图，参考图6，计算单元13还包括：时钟同步单元14，与三维扫描仪11和跟踪器12上的所有摄像头和结构光投影器111连接，用于提供时钟同步信号；二维图像特征提取器131，用于提取被扫描对象被双目相机和跟踪摄像头拍摄的二维图像上的至少两条线状图案的二维线条集合；三维点面信息生成器132，用于根据二维线条集合生成三维点面信息集合；纹理特征提取器133，用于提取被扫描对象被第三摄像头拍摄的色彩纹理信息；纹理映射器134，用于将色彩纹理信息映射到三维点面信息中，进行色彩纹理贴图；坐标转换器135，用于计算不同坐标系之间的转换(RT)矩阵，进行坐标转换。
图7是根据本申请优选实施例的三维扫描方法的流程图，如图7所示，该流程包括如下步骤：
步骤S701，标定好三维扫描仪上的目标特征以及一个及以上的双目相机和一个纹理摄像头的空间位置关系。
步骤S702，扫描仪投射结构光在待扫描物体表面，扫描仪摄像头获取二维图像，通过已标定的扫描仪摄像头的空间位置关系，根据双目图像之间的极线约束关系及相关算法寻找匹配点，继而根据三角法原理重建出扫描仪摄像头坐标系Oc下的三维点面信息P。
步骤S703，纹理摄像头获取物体表面的色彩纹理信息。
步骤S704，根据已标定的扫描仪摄像头和扫描仪目标特征之间的转换矩阵R1T1，把点面信息P转化到目标特征坐标系下P1:P1＝P*R1+T1。
步骤S705，跟踪器获取的扫描仪目标特征，同时该目标特征在扫描仪上的空间位置分布关系已知。通过扫描仪目标特征在二维图像的坐标信息，以及重建得到的三维点信息，可以利用后方交会算法得到图像的外方位元素，从而获得跟踪器到扫描仪目标特征坐标系之间的转换矩阵R2T2。
步骤S706，利用R2T2得到点P1到跟踪器坐标系下的点面信息坐标P2:P2＝P1*R2+T2；从而得到点面信息P到跟踪器坐标系下的坐标：P2:P2＝(P*R1+T1)*R2+T2。即是扫描仪得到的待扫描物体表面点面信息在世界坐标系下的坐标。
步骤S707，根据跟踪器到扫描仪目标特征坐标系之间的转换关系，得到纹理信息到跟踪器坐标系下的坐标，纹理信息在跟踪器坐标系下进行纹理贴图。纹理贴图可以是对点云进行色彩渲染，也可以是通过分割网格的方式映射到面。
在实际扫描过程中，纹理摄像头的拍摄次数可以少于双目相机的拍摄次数。
上述纹理贴图可以是实时进行的，即根据当前时刻扫描仪的空间位置转换关系将色彩纹理信息映射到当前坐标系下的三维点面数据中；也可以是在后处理中进行的，即扫描完成并进行对点面信息进行全局优化后，再根据纹理图片的转换关系进行贴图。
在一个实施例中，实时贴图显示只是用于扫描提示，一般是在点云上着色；后处理贴图，即扫描后根据纹理图片的RT位置进行网格贴图是用于生成的带纹理的网格模型输出结果。
在一个实施例中，步骤S707中的纹理贴图步骤包括如下步骤：
步骤1，确定模型几何三角形的有效纹理图像：
三维模型的三角网格可以通过以下公式转换到纹理摄像头坐标系下，得到三角网格顶点对应的纹理坐标，将图像切片后只保留需要的纹理图像。
Puv＝K*(PwR3+T3)
其中，Puv表示纹理摄像头坐标系下的二维像素坐标，K表示纹理摄像头内参矩阵，Pw表示世界坐标系下网格顶点坐标，R3T3表示世界坐标系到纹理摄像头坐标系的转换矩阵。
步骤2，对几何三角形进行采样，用双线性差值确定采样点在有效纹理图像中的颜色值，从而确定集合三角形在有效纹理图像中的颜色。
步骤3，根据几何模型与纹理摄像头的位置关系，定义纹理图像的权重，并构造复合权重对纹理进行融合处理。其中，定义的函数权重有法向量权重，边缘权重和几何权重。
步骤4，保存几何模型和纹理信息并记录模型与纹理图像的对应关系，并显示具有色彩纹理的三维模型。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
另外，结合图2描述的本申请实施例三维扫描方法可以由计算机设备来实现。图8为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器85可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器85可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器85可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器85可在数据处理装置的内部或外部。在特定实施例中，存储器85是非易失性(Non-Volatile)存储器。在特定实施例中，存储器85包括只读存储器(Read-Only Memory，简称为ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable Programmable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable Programmable Read-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。存储器85可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器82所执行的可能的程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种三维扫描方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的三维扫描方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种三维扫描方法。
综上所述，通过本申请提供的上述实施例或者优选实施方式，通过非接触的跟踪式扫描的方法获得被扫描对象的具有色彩纹理的三维点面信息，并重建得到具有色彩纹理的三维模型；或者在重建得到三维模型之后，将非接触的跟踪式扫描的方法获得的被扫描对象的色彩纹理信息映射到三维模型的表面。与现有的手持式白光扫描仪相比，本申请实施例进行纹理贴图时，由跟踪器对三维扫描仪进行实时位姿捕捉，确保每一帧贴图都获得准确的转换关系。相比于现有技术，本申请实施例能够灵活、方便地在复杂环境下实现对大型物体表面的色彩纹理扫描，并精确地进行具有色彩纹理的三维模型重建，特别适用于具有色彩纹理的物体的数字化扫描重建和网购商品的彩色三维展示等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种三维扫描系统，包括三维扫描仪、跟踪器和计算单元，所述三维扫描仪和所述跟踪器分别与所述计算单元电性连接；所述三维扫描仪用于采集被扫描对象的三维点面信息，所述跟踪器用于在所述三维扫描仪采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿，所述计算单元用于根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；其特征在于，
所述三维扫描仪，还用于采集所述被扫描对象表面的色彩纹理信息；
所述跟踪器，还用于在所述三维扫描仪采集所述被扫描对象表面的色彩纹理信息时跟踪所述三维扫描仪的第二位姿；
所述计算单元，还用于根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理。
2.根据权利要求1所述的三维扫描系统，其特征在于，所述三维扫描仪包括：用于采集所述被扫描对象的三维点面信息的第一摄像头和第二摄像头，以及用于采集所述色彩纹理信息的第三摄像头。
3.根据权利要求1所述的三维扫描系统，其特征在于，所述三维扫描仪包括：用于采集所述被扫描对象的三维点面信息的第一摄像头和第二摄像头，其中，所述第一摄像头还用于采集所述色彩纹理信息。
4.根据权利要求2或3所述的三维扫描系统，其特征在于，所述三维扫描仪还包括：结构光投影器，用于在所述三维扫描仪采集所述三维点面信息时在所述被扫描对象的表面投射结构光图案。
5.根据权利要求4所述的三维扫描系统，其特征在于，所述三维扫描系统还包括：时钟同步单元，所述时钟同步单元分别与所述三维扫描仪和所述跟踪器电性连接；所述时钟同步单元用于提供时钟同步信号；其中，
所述结构光投影器、所述第一摄像头、所述第二摄像头以及所述跟踪器根据所述时钟同步信号同步工作；第三摄像头和所述跟踪器根据所述时钟同步信号同步工作。
6.根据权利要求2所述的三维扫描系统，其特征在于，所述三维扫描仪还包括：结构光投影器，用于在所述三维扫描仪采集所述三维点面信息时在所述被扫描对象的表面投影不可见光波段的结构光投影图案；所述三维扫描系统还包括：时钟同步单元，所述时钟同步单元分别与所述三维扫描仪和所述跟踪器电性连接；所述时钟同步单元用于提供时钟同步信号；其中，
所述结构光投影器、所述第一摄像头、所述第二摄像头、所述第三摄像头以及所述跟踪器根据所述时钟同步信号同步工作；
所述不可见光波段的结构光投影图案能够被所述第一摄像头和所述第二摄像头捕获，所述不可见光波段的结构光投影图案不能够被所述第三摄像头捕获。
7.根据权利要求1所述的三维扫描系统，其特征在于，所述三维扫描系统还包括：可见光源，所述可见光源用于在采集色彩纹理信息时对所述被扫描对象补光。
8.一种三维扫描方法，其特征在于包括：
采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿；
根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；
根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理。
9.根据权利要求8所述的三维扫描方法，其特征在于，采集被扫描对象的三维点面信息包括：
在所述被扫描对象的表面投射结构光投影图案；
使用第一摄像头和第二摄像头采集表面投射有所述结构光投影图案的被扫描对象的图像信息，并根据所述图像信息生成所述被扫描对象的三维点面信息。
10.根据权利要求9所述的三维扫描方法，其特征在于，对所述被扫描对象的所述三维点面信息和所述色彩纹理信息的采集是非同时的。
11.根据权利要求9所述的三维扫描方法，其特征在于，采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿包括：
使用第一摄像头和第二摄像头采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及使用所述第一摄像头采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿。
12.根据权利要求9所述的三维扫描方法，其特征在于，采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿包括：
使用第一摄像头和第二摄像头采集被扫描对象的三维点面信息，并在采集所述三维点面信息时跟踪所述三维扫描仪的第一位姿；以及使用第三摄像头采集所述被扫描对象表面的色彩纹理信息，并在采集所述色彩纹理信息时跟踪所述三维扫描仪的第二位姿。
13.根据权利要求12所述的三维扫描方法，其特征在于，在所述被扫描对象的表面投射的结构光投影图案为不可见光波段的结构光投影图案；所述不可见光波段的结构光投影图案能够被采集所述三维点面信息的摄像头捕获，而不能够被采集所述色彩纹理信息的摄像头捕获；对所述被扫描对象的所述三维点面信息和所述色彩纹理信息的采集是同时的。
14.根据权利要求8至13中任一项所述的三维扫描方法，其特征在于，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
根据所述第二位姿，确定在第一坐标系中采集到的所述色彩纹理信息在第二坐标系中的坐标；
根据所述坐标，在所述第二坐标系中将所述色彩纹理信息映射到所述三维模型的表面；
其中，所述三维模型是在所述第二坐标系中重建的。
15.根据权利要求13所述的三维扫描方法，其特征在于，根据所述三维点面信息和所述第一位姿，重建所述被扫描对象的三维模型；根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
在所述第一位姿和所述第二位姿相同的情况下，在第一坐标系中将所述色彩纹理信息映射到所述三维点面信息中；
在第二坐标系中，根据映射所述色彩纹理信息后的三维点面信息，重建得到具有色彩纹理的所述被扫描对象的三维模型；
其中，所述三维点面信息和所述色彩纹理信息是在所述第一坐标系中采集的，所述三维模型是在所述第二坐标系中重建的。
16.根据权利要求8至13中任一项所述的三维扫描方法，其特征在于，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
根据所述第二位姿，确定与所述色彩纹理信息对应的点云；
根据所述色彩纹理信息，对所述点云进行色彩渲染。
17.根据权利要求8至13中任一项所述的三维扫描方法，其特征在于，根据所述色彩纹理信息和所述第二位姿，在所述三维模型的表面生成色彩纹理包括：
将所述三维模型的表面进行网格分割，并根据所述第二位姿，确定分割得到的每个网格对应的色彩纹理信息；
在分割得到的每个网格中填充对应的色彩纹理信息。
18.根据权利要求12所述的三维扫描方法，其特征在于，所述第三摄像头采集所述色彩纹理信息的频率低于所述第一摄像头和所述第二摄像头采集所述三维点面信息的频率。
19.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求8至18中任一项所述的三维扫描方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求8至18中任一项所述的三维扫描方法。
CN202010278835.9A 2020-04-10 2020-04-10 三维扫描方法、三维扫描系统和计算机可读存储介质 Active CN113514008B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010278835.9A CN113514008B (zh) 2020-04-10 2020-04-10 三维扫描方法、三维扫描系统和计算机可读存储介质
PCT/CN2021/079192 WO2021203883A1 (zh) 2020-04-10 2021-03-05 三维扫描方法、三维扫描系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278835.9A CN113514008B (zh) 2020-04-10 2020-04-10 三维扫描方法、三维扫描系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113514008A true CN113514008A (zh) 2021-10-19
CN113514008B CN113514008B (zh) 2022-08-23

Family

ID=78022859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278835.9A Active CN113514008B (zh) 2020-04-10 2020-04-10 三维扫描方法、三维扫描系统和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113514008B (zh)
WO (1) WO2021203883A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485479A (zh) * 2022-01-17 2022-05-13 吉林大学 基于双目相机和惯性导航的结构光扫描测量方法及系统
CN114554025A (zh) * 2022-04-27 2022-05-27 杭州思看科技有限公司 三维扫描方法、系统、电子装置和存储介质
WO2024001916A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描仪姿态定位方法、装置、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189594A (zh) * 2022-02-17 2022-03-15 杭州思看科技有限公司 三维扫描装置、方法、计算机设备及存储介质
CN115065761B (zh) * 2022-06-13 2023-09-12 中亿启航数码科技(北京)有限公司 一种多镜头扫描装置及其扫描方法
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN115661369B (zh) * 2022-12-14 2023-03-14 思看科技(杭州)股份有限公司 三维扫描方法、三维扫描的控制方法、系统和电子装置
CN116418967B (zh) * 2023-04-13 2023-10-13 青岛图海纬度科技有限公司 水下动态环境激光扫描的色彩还原方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136300A1 (en) * 2011-11-29 2013-05-30 Qualcomm Incorporated Tracking Three-Dimensional Objects
WO2014149702A1 (en) * 2013-03-15 2014-09-25 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统
CN105157566A (zh) * 2015-05-08 2015-12-16 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪及三维立体彩色点云扫描的方法
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN109211118A (zh) * 2018-08-13 2019-01-15 宣城徽目智能科技有限公司 一种三维扫描测头空间位姿跟踪系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
CN106898022A (zh) * 2017-01-17 2017-06-27 徐渊 一种手持式快速三维扫描系统及方法
CN108805976B (zh) * 2018-05-31 2022-05-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136300A1 (en) * 2011-11-29 2013-05-30 Qualcomm Incorporated Tracking Three-Dimensional Objects
WO2014149702A1 (en) * 2013-03-15 2014-09-25 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
CN105157566A (zh) * 2015-05-08 2015-12-16 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪及三维立体彩色点云扫描的方法
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN109211118A (zh) * 2018-08-13 2019-01-15 宣城徽目智能科技有限公司 一种三维扫描测头空间位姿跟踪系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485479A (zh) * 2022-01-17 2022-05-13 吉林大学 基于双目相机和惯性导航的结构光扫描测量方法及系统
CN114554025A (zh) * 2022-04-27 2022-05-27 杭州思看科技有限公司 三维扫描方法、系统、电子装置和存储介质
WO2024001916A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描仪姿态定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113514008B (zh) 2022-08-23
WO2021203883A1 (zh) 2021-10-14

Similar Documents

Publication Publication Date Title
CN113514008B (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US20200293763A1 (en) Three-Dimensional Real Face Modeling Method and Three-Dimensional Real Face Camera System
CN104335005B (zh) 3d扫描以及定位系统
CN107734267B (zh) 图像处理方法和装置
Brostow et al. Video normals from colored lights
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
JPWO2016181687A1 (ja) 画像処理装置と画像処理方法およびプログラム
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
Starck et al. The multiple-camera 3-d production studio
Meerits et al. Real-time diminished reality for dynamic scenes
CN111445529B (zh) 一种基于多激光测距的标定设备及方法
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
CN104350525A (zh) 组合用于三维建模的窄基线和宽基线立体
JPWO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN112254670A (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
JP4354708B2 (ja) 多視点カメラシステム
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
Kurazume et al. Mapping textures on 3D geometric model using reflectance image
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
Martell et al. Benchmarking structure from motion algorithms of urban environments with applications to reconnaissance in search and rescue scenarios
Wong et al. 3D object model reconstruction from image sequence based on photometric consistency in volume space
US11302073B2 (en) Method for texturing a 3D model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 102, Unit 1, Building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Patentee after: Sikan Technology (Hangzhou) Co.,Ltd.

Address before: Room 101, building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU SCANTECH Co.

CP03 Change of name, title or address