CN116753861A - 基于多波长超表面元件的三维重建系统及三维重建方法 - Google Patents

Abstract

本发明公开了一种基于多波长超表面元件的三维重建系统及三维重建方法，三维重建系统包括光源模组、超表面元件、采集模组以及计算模组。光源模组出射多波长光束；超表面元件设置于光束的出射路径上，超表面元件用于将光源模组出射的光束投影成结构光点云，其中，不同波长的光束被投影成不同尺寸或不同位置的结构光点云单元，多个结构光点云单元相互交叠、交错或规律分布，形成结构光点云投影图案；采集模组采集结构光点云投影图案经被测物体反射后的投影图案信息；以及计算模组根据采集模组采集的投影图案信息，计算被测物体的三维信息。本发明的基于多波长超表面元件的三维重建系统，对比单波长三维重建系统，通过投影点密度的成倍增加，提高了三维重建系统分辨率和精度，并通过多个结构光点云分布方式，减少了三维信息的丢失。

Description

基于多波长超表面元件的三维重建系统及三维重建方法

技术领域

本发明是关于微纳光学、光学检测、计算机图形学和机器视觉技术领域，特别是关于一种基于多波长超表面元件光点云投影的三维重建系统及三维重建方法。

背景技术

三维重建技术是指通过特定的装置及算法获取现实世界的三维信息，并将其转化为数字信号以便进行后续处理和计算的一种技术手段，是当今光学检测、人脸识别及机器视觉等应用中的关键技术。光学检测中主要应用在现代工业检测，例如在微电子组装行业中，应用于锡膏检测的三维检测模块精度为0.120-0.125mm，且随着被测元件的微型化，在保持高速、高分辨率和稳定的同时，为了使三维检测模块应用场景更加灵活，三维检测模块的小型化也极为重要。人脸识别中主要应用在公共安全领域，需要具有较高的三维重建精度以保证实际应用的识别准确率和活体检测率，目前短距离三维检测精度较高的方法为结构光点云投影检测技术，如iPhone系列手机采用结构光投影模块，可在不同光照环境甚至黑暗环境下精确捕捉人脸面部信息，同时具有小型化、集成化等优势。因此，提高测量的空间精度和时间精度是三维重建技术的重中之重。

目前流行的三维重建技术分为被动式和主动式。被动式三维重建仅需要成像镜头和图像传感器，包括单目视觉法和多目视觉法。通过单枚或多枚图像传感器来采集图像、利用多视图几何关系对图像解析、从而计算物体的三维信息，这种方法受环境影响较大，三维重建结果易出现精度下降、细节丢失的问题，难以满足高精度、高安全性要求的应用需求。

而主动式三维重建除采集装置外、还包含主动发光装置，通过设备发射特定光投影到被测物体，测量物体表面反射光的变化，从而构建三维模型。确定的发射光降低了测量装置对环境的依赖性，从而可以保证在复杂环境下的三维重建精度。主动式三维重建有结构光点云和激光飞行时间法两种。激光飞行时间法通过向目标发射光脉冲、利用传感器接收回光的时间或相位差来计算距离，从而建立三维模型；激光飞行时间法的测量精度与发射的光脉冲数量成正比，但光脉冲的数量越多，则总体的测量时间越长，测量响应速度相对较慢。结构光点云法具有更快响应速度，是目前技术优势最大、应用最广泛的三维重建技术。

在结构光点云法中，三维重建精度与投影点的密度直接相关，点的密度越大，测量精度也就越高。目前的技术手段主要采用单一波长投影、通过增加点的数量提高三维重建精度。

然而，这一手段的主要问题为，单波长结构光投影中每个相邻的投影点之间都要保持一定的间距：如果投影点间距过小，经物体反射回来后两个激光点可能会出现交叠的情况，在图像传感器中无法分辨出两个点对应的位置坐标，只能将交叠的两个甚至更多的点按照一个投影点坐标进行计算，这种情况会导致三维重建信息丢失甚至重建结果发生错误；如果投影点间距过大，两个投影点中间的区域通过插值法等估计算法进行三维重建，丢失了中间区域准确的三维信息，降低了三维重建精度。除此之外，部分系统也存在着因投影点数量过于庞大导致计算三维信息时需要较大数据存储或需要图像传感器进行多次采集导致三维重建时间增加等问题。因此，现有方案的技术特征限制了三维重建精度的提高。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于多波长超表面元件的三维重建系统及三维重建方法，其能够基于多个单波长激光光源组合入射超表面元件，投影出多波长交错、投影点数量多、投影点密度稠密的结构光点云，填补了单波长投影点之间的空缺区域，增加了结构光点云投影点数量，减少三维信息的丢失，从而提高三维重建系统分辨率和精度。

为实现上述目的，本发明的实施例提供了一种基于多波长超表面元件的三维重建系统，包括光源模组、超表面元件、采集模组以及计算模组。

所述光源模组出射多波长光束；

所述超表面元件设置于所述光束的出射路径上，所述超表面元件用于将所述光源模组出射的光束投影成结构光点云，其中，不同波长的光束被所述超表面元件投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案；

所述采集模组采集所述结构光点云投影图案经被测物体反射后的投影图案信息；以及

所述计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息。

在本发明的一个或多个实施方式中，所述光源模组包括多个光源，每个所述光源出射单一波长的光束至所述超表面元件上，多个所述光源出射的光束波长均不相同；或者，

所述光源模组包括宽带光源和滤波元件，所述宽带光源出射的光束经所述滤波元件干涉后形成多个单一波长的光束，入射至所述超表面元件上，其中，多个光束波长均不相同。

在本发明的一个或多个实施方式中，所述光源模组还包括光反射元件，多个单一波长的光束经所述光反射元件调节后耦合到同一光路入射所述超表面元件。

在本发明的一个或多个实施方式中，多个单一波长的光束经所述光反射元件调节后，耦合到同一光路垂直入射至所述超表面元件。

在本发明的一个或多个实施方式中，所述光源优选为激光器。

在本发明的一个或多个实施方式中，所述光源模组出射的光束的波长包括：可见光波段的任意两个或以上波长；或，红外波段的任意两个或以上波长；或，可见光的任意一个或以上波长和红外波段的任意一个或以上波长。

在本发明的一个或多个实施方式中，所述超表面元件包括透明衬底以及形成于所述透明衬底上的微纳结构阵列，所述微纳结构阵列包括多个微纳结构，每个所述微纳结构对入射至所述超表面元件的光束相位调制覆盖[0,2π]相位，每个所述微纳结构对应所述超表面元件整体相位分布中的一个像素，所述微纳结构的角度为对应像素的相位值。

在本发明的一个或多个实施方式中，所述采集模组包括图像传感器，所述图像传感器选自彩色光谱摄像机或红外波段宽谱摄像机，以区分结构光点云投影图案中的不同结构光点云单元内的投影点。

在本发明的一个或多个实施方式中，所述超表面元件被设置为：单一波长的光束经所述超表面元件投影后形成的结构光点云单元，其投影点的尺寸的最小值大于或等于所述图像传感器的分辨率的两倍，其投影点之间的间距的最小值大于或者等于所述图像传感器的分辨率的两倍。

本发明一实施例还提供了上述的基于多波长超表面元件的三维重建系统的三维重建方法，包括：光源模组出射多波长光束；超表面元件将所述光源模组出射的光束投影成结构光点云，其中，不同波长的光束被所述超表面元件投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案；采集模组采集所述结构光点云投影图案经被测物体反射后的投影图案信息；计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息。

在本发明的一个或多个实施方式中，所述光源模组出射多波长光束，包括：选定多个光源的出射波长；耦合各波长光束到同一光路并垂直入射所述超表面元件。

在本发明的一个或多个实施方式中，所述的计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息的步骤，包括：计算模组根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息；计算模组将所述采集模组采集的投影图案信息中的各个结构光点云单元进行分离，分别计算各个结构光点云单元内的投影点坐标信息，组合得到投影图案信息中的全部结构光点云投影点的坐标信息；计算模组根据原始结构光点云的投影点坐标信息和经被测物体反射后获取的投影图案信息中的全部结构光点云投影点的坐标信息，获取被测物体的三维重建点云信息，实现被测物体的三维重建。

在本发明的一个或多个实施方式中，所述的计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息的步骤，包括：计算模组根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息；计算模组将所述采集模组采集的投影图案信息中的各个结构光点云单元进行分离，计算各个结构光点云单元内的投影点坐标信息；计算模组根据原始结构光点云的投影点坐标信息和分离后的各个结构光点云单元的投影点的坐标信息，获取各个波长下的被测物体的三维重建点云信息；计算模组组合各个波长下的被测物体的三维重建点云信息，实现被测物体的三维重建。

与现有技术相比，根据本发明实施方式的基于多波长超表面元件的三维重建系统，基于多个单波长激光光源组合入射超表面元件，投影出多波长交错、投影点数量多、投影点密度稠密的结构光点云，填补了单波长投影点之间的空缺区域，增加了结构光点云投影点数量，减少三维信息的丢失，使用宽光谱图像传感器采集，后计算各投影点的三维信息，获得的三维重建结果具有高分辨率、高精度的优点。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，多个光源组合在一起，发出的出射光束直接入射超表面元件，生成多波长的结构光点云。这种方式的优点是可以缩小整体系统的体积，有利于整体系统小型化、集成化，可以集成在手机等小体积设备中。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中光源模组中各单波长光源具有波长选择灵活的优点；优选采用激光器作为光源，光源相干性好，具有受外界光照影响较小的优点；可在黑暗环境中正常工作。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中超表面元件的设计自由度较高——可通过超表面元件的设计对不同应用场景进行针对性设计，具有小型化、衍射效率高、加工误差小、相位分布准确、易集成等优点。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中结构光点云投影图案具有投影点密度大的优点，即因投影点间隔而产生的信息丢失少；且结构光点云投影图案由多种不同的结构光点云单元组成，不会产生因投影点交叠而导致图像传感器无法准确采集的问题。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中采集模组不需要为深度传感器，采集模组尺寸较小、位置灵活。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中采集模组为图像传感器，图像传感器为具有彩色光谱或红外宽光谱的摄像机，完成图像采集后，提取相同波长即相同结构光点云单元内的全部投影点为一组，根据结构光点云投影图案特点和三角测量技术，对采集到的各组结构光点云坐标进行计算从而获得被测物体的三维信息，完成高精度三维重建。

附图说明

图1是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的结构示意图；

图2是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的光源模组内部构成示意图；

图3是根据本发明又一实施方式的基于多波长超表面元件的三维重建系统的光源模组内部构成示意图；

图4是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的超表面元件的微纳结构立体示意图；

图5是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的超表面元件的微纳结构俯视示意图；

图6是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的结构光点云参数示意图；

图7是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的多色结构光点云投影三维重建过程示意图；

图8是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的被测物体三维坐标计算方法示意图；

图9是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的三维重建方法流程图。

图10是根据本发明一实施方式的基于多波长超表面元件的三维重建系统的单波长与多波长重建结果对比图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

首先对申请文本中出现的专业术语进行相应解释说明。

超表面元件(Metasurface)：

超表面元件是一种由人工亚波长结构阵列构成的新型超薄、平面光学元件，具有超越天然材料的电磁性质；通过设计不同位置的微纳结构的几何形状和横向尺寸操纵光场，具有强大的光场调控能力、高效率性能优势和易集成体积优势，是替代传统光学元件的最具潜力的技术途径之一。

三维重建(3DReconstruction)：

通过一系列二维图像或通过传感器采集到的数据，重建出物体的三维模型。三维重建的过程通常包括以下几个步骤：数据采集、图像处理、点云重建等。数据采集可以通过多个摄像机、激光雷达、深度相机等设备进行，不同设备采集到的数据类型和质量有所差别。图像处理包括图像校正、匹配、去噪等操作，以及将二维图像转换成点云数据。三维重建技术在虚拟现实、增强现实、文化遗产保护、建筑设计等领域有着广泛的应用。

三维重建分辨率和精度：

分辨率是指三维模型中最小可分辨的物体尺寸或特征大小。分辨率越高，表示三维模型中可以表示出的细节越小，模型的精细度也会随之提高。

精度则指的是三维模型的实际准确度，即模型中的点和线与实际物体表面的距离误差大小。精度越高，表示三维模型中的点和线与实际物体表面的距离误差越小，模型的准确度也会随之提高。

在三维重建中，通常会使用高分辨率的图像或者更多的视角来获取更多的信息，以提高重建的分辨率和精度。同时，不同的三维重建算法和参数设置也会对重建的分辨率和精度产生影响。需要注意的是，高分辨率并不一定能够保证高精度，而高精度也不一定能够保证高分辨率。因此，在进行三维重建时，需要根据具体情况进行综合考虑和优化，以获得更高质量的三维模型。

结构光点云(StructuredLightPointCloud)：

是一种三维数字化技术，用于快速、高精度地捕捉物体表面的三维形状。通过点阵图案投影到物体表面，使用图像传感器记录光线的反射和散射，进而生成点云数据。通过对点云数据进行处理，可以重建物体的三维形状和表面特征。

飞行时间法(TimeOfFlight,TOF)：

是一种测量物体距离的方法，通过发送一个脉冲信号并测量其返回时所花费的时间，从而计算出物体与传感器的距离。在光学TOF三维测量方法中，一般采用激光器发送脉冲光，然后通过接收器收返回的光，并测量不同之间的时间差进行对被测物体的三维测量。TOF测距技术在机器人、自动驾驶、三维成像等领域有着广泛的应用。

单目视觉三维重建(MonocularVisual3DReconstruction)：

是一种利用单个图像传感器对物体进行三维重建的方法。与传统的使用多个摄像机或激光雷达等多个传感器的方法不同，单目视觉重建只需要一个图像传感器配合计算算法就可以实现三维重建。单目视觉重建技术不仅具有成本低、便携性好的特点，而且可以应用于无人机、智能家居、虚拟现实等多个领域。

双目/多目视觉三维重建(Binocular/MultiviewVisual3DReconstruction)：

是指利用多个摄像机或多个传感器来获取物体的三维信息。在双目视觉中，通过将两个图像传感器放置在不同的位置，同时拍摄同一场景，利用两张图像之间的差异来计算深度信息，从而实现三维重建。在多目视觉中，通过增加图像传感器的数量可以进一步提高三维重建的精度和稳定性。与单目视觉相比，双目/多目视觉重建技术可以获得更多的深度信息，重建精度更高。双目/多目视觉重建技术在自动驾驶、机器人、建筑设计等领域有着广泛的应用。

如背景技术所言，现有技术中的三维重建技术，均为单波长激光入射超表面。针对现有单色结构光三维重建系统无法满足微小纹理识别，即分辨率进一步提高等需求，目前国内外尚无具有较大的结构光点云投影点密度且三维重建速度较快的系统。

现有主动式三维重建技术大多为基于传统光学元件和衍射光学元件投射结构光点云。而目前的结构光点云投影器件存在如下缺点：

1、单一波长限制。基于衍射光学元件的结构光投影缺点为：系统光源波长一般为单一波长，无法在宽带或多波长光源正常工作。因为衍射光学元件在偏离设计波长时相位产生较大变化，导致结构光点云投影质量下降，三维重建精度下降。

2、投影器件体积限制。部分基于传统光学元件的投影器件缺点为：整体系统体积庞大。例如微软公司的Kinect投影仪为多个透镜阵列组成的结构光投影仪，系统体积较大，受应用场景空间限制。

3、环境因素限制。部分投影器件使用的光源是非相干光源，例如白炽灯、荧光灯等，投影出的结构光点云可能受到外部环境光影响较大，图像传感器采集到的图像可能存在较大噪声从而影响三维重建精度。

为了解决上述技术问题，本发明提出了一种基于多波长超表面元件的三维重建系统及三维重建方法，通过多个单波长激光光源组合入射超表面元件，投影出多波长交错、投影点数量多、投影点密度稠密的结构光点云，填补了单波长投影点之间的空缺区域，增加了结构光点云投影点数量，减少三维信息的丢失，并使用宽光谱的图像传感器进行信息采集，计算各投影点的三维信息，获得具有高分辨率、高精度的的三维重建结果，提高了三维重建系统分辨率和精度。

如图1所示，根据本发明一实施方式的基于多波长超表面元件的三维重建系统，包括光源模组10、超表面元件20、采集模组30以及计算模组40。其中，光源模组10用于出射多波长光束。超表面元件20设置于光源模组10的光束出射路径上，用于将光源模组10出射的光束投影成结构光点云，其中，不同波长的光束被超表面元件20投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案。采集模组30采集结构光点云投影图案经被测物体A反射后的投影图案信息。计算模组40根据采集模组30采集的投影图案信息，计算被测物体A的三维信息。

参考图2和图3所示，光源模组10包括多个光源11，每个光源11出射单一波长的光束，多个光源11出射的光束波长均不相同。优选的，单波长光源11可以为单波长激光器。在其他实施例中，单波长光源11还可以包括宽带LED光源与滤波元件。宽带LED光源出射的光束经滤波元件干涉后形成多个单一波长的光束，其中，多个光束波长均不相同。

在本实施例中，光源模组10可以由三个VESEL激光器组成，VESEL激光器出射多个出射光束，直接入射超表面元件20，生成多波长的结构光点云。三个VESEL激光器分别为图2中的B、G、R，出射波长分别为图2中的λ₁，λ₂，λ₃。

在其他实施例中，光源模组10还可以由多个不同波长的激光器和多个光反射元件组成，其中，光反射元件可以为反射镜、棱镜或其他能调节光束的光学元件。光反射元件的作用为调节多个激光器的出射光束，使得多个激光器出射的光束能耦合到同一光路入射超表面元件20。优选的，多个光源11出射的光束经光反射元件-如反射镜和/或棱镜调节后，耦合到同一光路垂直入射至超表面元件20。例如图3所示，光源模组10中，图示激光器B的波长为λ₁，经第一反射镜121和第一棱镜131入射超表面元件20；图示激光器G的波长为λ₂，经第二反射镜122和第二棱镜132入射超表面元件20；图示激光器R的波长为λ₃，经第一棱镜131和第二棱镜132入射超表面元件20。三个波长的激光光束耦合到同一光路，垂直入射超表面元件20。

其中，光源模组10出射的多波长激光光束的波长相互之间需满足一定带宽要求，以使采集时能够将各个波长的光束产生的结构光点云单元区分并获得独立的结构光点云单元分布图。光源模组10的出射光束功率需满足一定要求，最理想的状态为：通过调整各光源11的输出功率，确保光束经光反射元件调节后的功率与超表面元件20对各个波长的衍射效率成反比，以使得经超表面元件20投影的结构光点云单元内各点云的强度一致或者采集模组采集到的点云的强度一致。

示例性的，参考图2或图3所示，超表面元件20对λ₁、λ₂和λ₃三个波长的衍射效率分别是E₁，E₂和E₃，通过调整各光源输出功率和光源模组10中光路的效率，使光源模组10输出功率相对强度为I₁:I₂:I₃，超表面元件20的输出功率为P＝I*E，采集模组对λ₁、λ₂和λ₃三个波长的采集效率分别是E₄，E₅和E₆，即P₁*E₄＝P₂*E₅＝P₃*E₆，此状态下采集模组30采集到的图像分离成多通道的效果为最好。此外，为达到最高的衍射效率，不同波长的出射光束应尽量保持入射超表面元件20中心位置相同，且垂直入射超表面元件20。

在本实施例中，光源模组10出射的光束可以为可见光，也可以为红外光。光源模组10出射的光束的波段包括：可见光波段的任意两个或以上波长；或，红外波段的任意两个或以上波长；或，可见光的任意一个或以上波长和红外波段的任意一个或以上波长。

超表面元件20能将不同波长的光束投影成不同尺寸或不同位置的结构光点云单元。多个结构光点云单元相互交叠、交错或规律分布，形成结构光点云投影图案。

参考图4和图5所示，超表面元件20包括透明衬底21以及形成于透明衬底21上的微纳结构阵列，微纳结构阵列包括多个亚波长微纳结构22。微纳结构22设计的原理基于几何相位原理(PB相位)，根据工作波长λ，利用时域差分算法计算单个微纳结构22在不同周期P、高度H、长度L和宽度W的情况下，对入射光的透射率和偏振转换效率的调制情况，选取透射率和偏振转换效率较高的一组微纳结构22尺寸参数(周期、高度、长度和宽度)，计算此组微纳结构参数下在角度为0-180度时，微纳结构22对入射光相位调制能否覆盖[0,2π]相位。经多组微纳结构参数计算，选取能满足[0,2π]相位调制且针对光源模组30出射的不同波长的光束的透射率和偏振转换效率均较高的一组微纳结构参数为微纳结构22的最终尺寸参数。每个微纳结构22对应超表面元件整体相位分布中的一个像素，微纳结构22的角度θ₁为对应像素的相位值。超表面元件整体相位分布由结构光点云投影图案决定。

在其他实施例中，超表面元件20的设计原理也可基于能分别调控多个波长的相位调控原理。例如消色差超表面元件，可以通过调整几何结构的尺寸参数和材料参数，在宽波段实现具有较高效率的色散补偿，以实现对多波长的高效、独立控制。

超表面元件20的透明衬底材料可为熔融玻璃、石英等透明衬底，微纳结构22的材料可为二氧化钛、氮化硅、硅、氮化镓等介质材料。在本实施例中，所选的超表面元件20的透明衬底材料可为氧化硅，微纳结构22的材料为氧化钛TiO₂。

微纳结构22的形状可为长方体、椭圆体、圆柱体或不规则柱体等，微纳结构22的尺寸参数、形状等可有多种组合进行替代。本实施例中超表面元件的投影方式为透射式，其他实施例中也可存在反射式的替代方案。只要超表面元件20能对同一光源模组10出射的不同波长光束投影成多种不同尺寸或不同位置的、交错或相互交叠或规律分布的结构光点云单元的投影图案即可。

结构光点云一般是指经过特殊编排的激光点阵。结构光点云的投影点之间的间距确定应与投影点的尺寸成比例关系，以保证采集模组30对结构光点云具有良好的辨识率。

三维重建过程中，以单波长的投影为例，决定三维重建系统分辨率的主要因素是投影点尺寸和投影点间距，投影点尺寸过大时，以点中心坐标变化计算三维信息的方法将损失大量三维重建精度，而投影点尺寸过小时，摄像机将无法分辨，因此投影点的最小值应大于或等于采集的摄像机分辨率的两倍。优选的，单波长投影点的最小值为采集的摄像机分辨率的两倍。单波长投影点之间的间距称作投影点间距，当单波长投影点之间间距过大时，会损失大量的被测物体A三维信息，单波长投影点之间间距过小时，则会造成重建干扰。因此，单波长投影点之间间距的最小值同样应大于或等于采集的摄像机分辨率的两倍。优选的，单波长投影点之间间距的最小值为采集的摄像机分辨率的两倍。

示例性的，参考图6所示，图6中生成的结构光点云的投影点尺寸为s，采集的摄像机分辨率为p，则s>＝2*p。图6中生成的结构光点云的投影点间距为h，则h>＝2*p。

在本实施例中，结构光点云投影图案为多个结构光点云单元(一种波长光束能被投影成一种颜色的结构光点云单元)互相穿插或交叠分布。结构光点云投影图案可为任意随机或伪随机排布的激光点阵或激光条纹，其中投影点数量不受限制，可以根据设计增加或减少。投影点间距不受限制，任意两个不同波长(不同结构光点云单元)的投影点间距为正值；任意两个相同波长(相同结构光点云单元)的投影点间距为大于最小可分辨距离的正值。

在本实施例中，结构光点云投影图案决定了超表面元件的相位分布，具体的计算的方法可以为傅立叶迭代算法(GS算法)或其他相位恢复算法。

采集模组30负责采集结构光点云投影图案经被测物体A反射后的投影图案信息。采集模组30由图像传感器31和对应的镜头32组成。其中，图像传感器31为彩色光谱摄像机或红外波段宽谱摄像机，以区分结构光点云投影图案中的不同结构光点云单元内的投影点。采集模组30中的镜头32工作距离与超表面元件20的投影的焦距保持一致，镜头32的物方视场大小满足覆盖被测物体A的体积。镜头32的分辨率与景深应满足系统的分辨率和物方视场要求。采集模组30的位置应与镜头32工作距离匹配，并且采集模组30的视场应大于结构光点云投影图案范围。采集模组30的光轴与超表面元件20的光轴之间的角度不宜太大，该角度满足采集模组30能清晰采集结构光点云投影图案即可。采集模组30的工作光谱为宽光谱，优选的，采集模组30响应强度较高的波长应与光源模组10中的出射波长一致。

计算模组40对采集模组30采集到的投影图案信息进行处理计算，以获得被测物体A的三维信息。示例性的，参考图7和图8所示，首先，计算模组40根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息。其次，采集到经被测物体A反射的投影图案信息后，计算模组40将投影图案信息中的各个结构光点云单元进行分离，分别计算各个结构光点云单元内的投影点(各个波长的投影点)坐标信息，后将其组合得到投影图案信息中的全部结构光点云投影点的坐标信息。最后，计算模组40根据原始结构光点云的投影点坐标信息和经被测物体A反射后获取的投影图案信息中的全部结构光点云投影点的坐标信息，计算被测物体A的三维重建点云信息，实现被测物体A的三维重建。或者，计算模组40根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息。其次，采集到经被测物体A反射的投影图案信息后，计算模组40将投影图案信息中的各个结构光点云单元进行分离，计算各个结构光点云单元内的投影点(各个波长的投影点)坐标信息，后根据原始结构光点云的投影点坐标信息和分离后的各个结构光点云单元的投影点的坐标信息，计算各个波长下的被测物体A的三维重建点云信息；最后，计算模组对各个波长下的被测物体A的三维重建点云信息进行整合，实现被测物体A的三维重建。

以下结合附图，以光源模组10出射三个不同波长光束为例，对计算模组40计算被测物体A三维重建点云信息做进一步解释。计算被测物体A的三维信息时，所采用的方法可近似于三角测量法。例如下图8所示，首先将原始结构光点云投影图案所在面设为参考面，根据该参考面也就是超表面元件20的设计投影面，确定超表面元件20的投影点在参考面上的各点坐标，记为R，G，B。其中，R、G、B分别对应为三个波长在参考面上的投影点。超表面元件到投影面(参考面)的距离为Z。其次根据采集模组30的位置和图像传感器31光轴确定采集模组30的坐标系，图像传感器31光轴与超表面元件20的光轴交点为O，采集模组30光轴(图像传感器31光轴)和超表面元件20的光轴角度为θ₂，若θ₂角度过大而景深一定时，则会损失部分被测物体A三维信息，因此θ₂的范围不宜过大。超表面元件20到采集模组30的光心(C)的距离为L；采集模组30所在面到光心(C)的距离为F；光心(C)到参考面距离为Z；超表面元件20与光心(C)的连线平行于参考面。P_R、P_G、P_B三点为投影光束在被测物体A上的投影点；R₁、G₁、B₁三点为经被测物体A反射的投影光束与参考面的交点；R、G、B、R₁、G₁、B₁三点在采集模组30中对应的点坐标为R’、G’、B’、R₁’、G₁’、B₁’。在采集到经被测物体A反射的投影图案后，分别提取各个波长的投影点(各结构光点云单元的投影点)坐标，即R’、G’、B’、R₁’、G₁’、B₁’的坐标值，根据三角形相似原理，如△RCR₁≈ΔR'CR₁'，可以计算得到线段RR₁的长度，再根据△RP_RR₁≈ΔMP_RC，可以计算PR点的z轴坐标值Z_R，x轴和y轴坐标值可根据相同的方法计算，完成计算即可得到被测物体A上一点的三维坐标。

因本申请中的原始结构光点云投影图案是由不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布形成的，因此，确定在采集模组30坐标系下的、经被测物体A反射的投影图案信息内投影点的坐标，可以通过先分离投影图案信息内不同的结构光点云单元，通过上述计算方法分别计算单独的结构光点云单元内的投影点坐标，再将不同的结构光点云单元内的投影点坐标整合，确定经被测物体A反射后的投影图案信息的投影点三维坐标。具体过程如下图6所示，因不同波长的光束被超表面元件投影后会形成不同颜色的投影点阵列(因图示7中区分不出颜色差别，在此以R、G、B来分别代表红、绿、蓝三色)，即本申请文件中不同结构光点云单元(红外波段的光被投影后也会产生不同的投影点阵列-即结构光点云单元)，将多色投影点阵列的各个颜色分离，分别使用上述计算方法计算各颜色坐标点的三维坐标信息后组合，即可得到被测物体A上完整的结构光点云分布。对比计算标定的各点坐标值，通过三维重建算法计算即可完成对被测物体A的高精度三维重建。其中，三维重建算法包含单目视觉算法及多目视觉算法等算法。

在本实施例中，光源模组10、超表面元件20、采集模组30均为独立的结构，可单独存在且通过位置组装形成系统。在其他实施例中，也将光源模组10与超表面元件20、采集模组30集成为一体。

参考图9所示，本发明一实施例还提供了上述基于多波长超表面元件的三维重建系统的三维重建方法，包括：s1，光源模组出射多波长光束。s2，超表面元件将光源模组出射的光束投影成结构光点云，其中，不同波长的光束被超表面元件投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案。s3，采集模组采集结构光点云投影图案经被测物体反射后的投影图案信息。s4，计算模组根据采集模组采集的投影图案信息，计算被测物体的三维信息。

其中，在步骤s1中，光源模组出射多波长光束，包括：选定多个光源的出射波长λ₁、λ₂和λ₃；耦合各波长光束到同一光路并垂直入射超表面元件。

在步骤s2中，超表面元件将光源模组出射的不同波长的光束分别投影成不同尺寸或者不同位置的结构光点云单元。例如，参考图7所示，将波长λ₁的光束投影蓝色的结构光点云单元，图示中B，蓝色的结构光点云单元的尺寸较小；将波长λ₂的光束投影绿色的结构光点云单元，图示中G，绿色的结构光点云单元的尺寸相比蓝色的结构光点云尺寸大；将波长λ₃的光束投影红色的结构光点云单元，图示中R，红色的结构光点云单元的尺寸相比绿色的结构光点云尺寸大。蓝色的结构光点云单元、绿色的结构光点云单元、红色的结构光点云单元相互交叠，形成结构光点云投影图案。

在步骤s3中，采集模组采集结构光点云投影图案经被测物体反射后的投影图案信息。采集模组由图像传感器和对应的镜头组成。其中，图像传感器为彩色光谱摄像机或红外波段宽谱摄像机，以区分结构光点云投影图案中的不同结构光点云单元内的投影点(不同颜色的结构光点云单元内的投影点)。采集模组中的镜头工作距离与超表面元件的投影的焦距保持一致，镜头的物方视场大小满足覆盖被测物体的体积。镜头的分辨率与景深满足系统的分辨率和物方视场要求。采集模组的位置应与镜头工作距离匹配，并且采集模组的视场应大于结构光点云投影图案范围，采集模组光轴与超表面元件的光轴的角度不宜太大，满足采集模组能清晰采集结构光点云投影图案即可。采集模组的工作光谱为宽光谱，优选的，采集模组响应强度较高的波长应与光源模组中的出射波长一致。

在步骤s4中，计算模组根据采集模组采集的投影图案信息，计算被测物体的三维信息，具体包括：首先，计算模组会根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息。其次，采集到经被测物体反射的投影图案信息后，计算模组将投影图案信息中的各个结构光点云单元进行分离，分别计算各个结构光点云单元内的投影点(各个波长的投影点)坐标信息，后将其组合得到投影图案信息中的全部结构光点云投影点的坐标信息。最后，计算模组根据原始结构光点云的投影点坐标信息和经被测物体反射后获取的投影图案信息中的全部结构光点云投影点的坐标信息，计算被测物体的三维重建点云信息，实现被测物体的三维重建。

或者，在步骤s4中，计算模组根据采集模组采集的投影图案信息，计算被测物体的三维信息，具体包括：计算模组会根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息。其次，采集到经被测物体反射的投影图案信息后，计算模组将投影图案信息中的各个结构光点云单元进行分离，计算各个结构光点云单元内的投影点(各个波长的投影点)坐标信息，后根据原始结构光点云的投影点坐标信息和分离后的各个结构光点云单元的投影点的坐标信息，计算各个波长下的被测物体的三维重建点云信息；最后，计算模组对各个波长下的被测物体的三维重建点云信息进行整合，实现被测物体的三维重建。

以下结合附图，以光源模组出射三个不同波长光束为例，对计算模组计算被测物体三维重建点云信息做进一步解释。计算被测物体的三维信息时，所采用的方法可近似于三角测量法。例如下图8所示，首先将原始结构光点云投影图案所在面设为参考面，根据该参考面也就是超表面元件的设计投影面，确定超表面元件的投影点在参考面上的各点坐标，记为R，G，B。其中，R、G、B分别对应为三个波长在参考面上的投影点。超表面元件到投影面(参考面)的距离为Z。其次根据采集模组的位置和图像传感器光轴确定采集模组的坐标系，图像传感器光轴与超表面元件的光轴交点为O，采集模组光轴(图像传感器光轴)和超表面元件的光轴角度为θ₂，若θ₂角度过大而景深一定时，则会损失部分被测物体三维信息，因此θ₂的范围需满足被测物体与整体系统的尺寸要求，使得采集模组能清晰采集结构光点云投影图案即可。超表面元件到采集模组的光心(C)的距离为L；采集模组所在面到光心(C)的距离为F；光心(C)到参考面距离为Z；超表面元件与光心(C)的连线平行于参考面。P_R、P_G、P_B三点为投影光束在被测物体上的投影点；R₁、G₁、B₁三点为经被测物体反射的投影光束与参考面的交点；R、G、B、R₁、G₁、B₁三点在采集模组中对应的点坐标为R’、G’、B’、R₁’、G₁’、B₁’。在采集到经被测物体反射的投影图案后，分别提取各个波长的投影点(各结构光点云单元的投影点)坐标，即R’、G’、B’、R₁’、G₁’、B₁’的坐标值，根据三角形相似原理，如△RCR₁≈ΔR'CR₁'，可以计算得到线段RR₁的长度，再根据△RP_RR₁≈ΔMP_RC，可以计算PR点的z轴坐标值Z_R，x轴和y轴坐标值可根据相同的方法计算，完成计算即可得到被测物体上一点的三维坐标。

因本申请中的原始结构光点云投影图案是由不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布形成的，因此，确定在采集模组坐标系下的、经被测物体反射的投影图案信息内投影点的坐标，可以通过先分离投影图案信息内不同的结构光点云单元，通过上述计算方法分别计算单独的结构光点云单元内的投影点坐标，再将不同的结构光点云单元内的投影点坐标整合，确定经被测物体反射后的投影图案信息的投影点三维坐标。具体过程如下图6所示，因不同波长的光束被超表面元件投影后会形成不同颜色的投影点阵列(因图示7中区分不出颜色差别，在此以R、G、B来分别代表红、绿、蓝三色)，即本申请文件中不同结构光点云单元(红外波段的光被投影后也会产生不同的投影点阵列-即结构光点云单元)，将多色投影点阵列的各个颜色分离，分别使用上述计算方法计算各颜色坐标点的三维坐标信息后组合，即可得到被测物体上完整的结构光点云分布。对比计算标定的各点坐标值，通过三维重建算法计算即可完成对被测物体的高精度三维重建。其中，三维重建算法包含单目视觉算法及多目视觉算法等算法。

如图10所示，在测试例中，采用高度约2mm的台阶与基准面作为被测物体A，分别采用单波长光束与多波长光束对其进行投影重建，使用的结构光投影面积约为10mm*10mm，采用的三个单波长光源的波长分别为405nm、532nm和633nm，每个波长的投影点数量为100个，总投影点数量为300个。将单波长与三个单波长组合之后的多波长的三维重建结果进行对比，其中，405nm光源系统无法重建出台阶与基准面之间的连接部分，532nm和633nm光源系统中仅有4-5个投影点可以重建出台阶与基准面之间的连接部分。而组合之后的多波长，系统重建出了台阶与基准面之间的连接部分，并且通过不同波长交错分布的优势重建出了连接部分的变化趋势。

与现有技术相比，根据本发明实施方式的基于多波长超表面元件的三维重建系统，基于多个单波长激光光源组合入射超表面元件，投影出多波长交错、投影点数量多、投影点密度稠密的结构光点云，填补了单波长投影点之间的空缺区域，增加了结构光点云投影点数量，减少三维信息的丢失，使用宽光谱图像传感器采集，后计算各投影点的三维信息，获得的三维重建结果具有高分辨率、高精度的优点。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中光源模组中各单波长光源具有波长选择灵活的优点；优选采用激光器作为光源，光源相干性好，具有受外界光照影响较小的优点；可在黑暗环境中正常工作。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，多个光源组合在一起，发出的出射光束直接入射超表面元件，生成多波长的结构光点云，使得光源模组体积变小，进而可以缩小整体系统的体积，有利于整体系统小型化、集成化，可以集成在手机等小体积设备中。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中超表面元件的设计自由度较高——可通过超表面元件的设计对不同应用场景进行针对性设计，具有小型化、衍射效率高、加工误差小、相位分布准确、易集成等优点。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中结构光点云投影图案具有投影点密度大的优点，即因投影点间隔而产生的信息丢失少；且结构光点云投影图案由多种不同的结构光点云单元组成，不会产生因投影点交叠而导致图像传感器无法准确采集的问题。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中采集模组不需要为深度传感器，采集模组尺寸较小、位置灵活。

根据本发明实施方式的基于多波长超表面元件的三维重建系统，其中采集模组为图像传感器，图像传感器为具有彩色光谱或红外宽光谱的摄像机，完成图像采集后，提取相同波长即相同结构光点云单元内的全部投影点为一组，根据结构光点云投影图案特点和三角测量技术，对采集到的各组结构光点云坐标进行计算从而获得被测物体的三维信息，完成高精度三维重建。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (12)

1.一种基于多波长超表面元件的三维重建系统，其特征在于，包括：

光源模组，出射多波长光束；

超表面元件，设置于所述光束的出射路径上，所述超表面元件用于将所述光源模组出射的光束投影成结构光点云，其中，不同波长的光束被所述超表面元件投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案；

采集模组，采集所述结构光点云投影图案经被测物体反射后的投影图案信息；以及

计算模组，根据所述采集模组采集的投影图案信息，计算被测物体的三维信息。

2.如权利要求1所述的基于多波长超表面元件的三维重建系统，其特征在于，所述光源模组包括多个光源，每个所述光源出射单一波长的光束至所述超表面元件上，多个所述光源出射的光束波长均不相同；或者，

所述光源模组包括宽带光源和滤波元件，所述宽带光源出射的光束经所述滤波元件干涉后形成多个单一波长的光束，入射至所述超表面元件上，其中，多个光束波长均不相同。

3.如权利要求2所述的基于多波长超表面元件的三维重建系统，其特征在于，所述光源模组还包括光反射元件，多个单一波长的光束经所述光反射元件调节后耦合到同一光路入射所述超表面元件。

4.如权利要求3所述的基于多波长超表面元件的三维重建系统，其特征在于，多个单一波长的光束经所述光反射元件调节后，耦合到同一光路并垂直入射至所述超表面元件。

5.如权利要求1所述的基于多波长超表面元件的三维重建系统，其特征在于，所述光源模组出射的光束的波长包括：可见光波段的任意两个或以上波长；或，

红外波段的任意两个或以上波长；或，

可见光的任意一个或以上波长和红外波段的任意一个或以上波长。

6.如权利要求1所述的基于多波长超表面元件的三维重建系统，其特征在于，所述超表面元件包括透明衬底以及形成于所述透明衬底上的微纳结构阵列，所述微纳结构阵列包括多个微纳结构，每个所述微纳结构对入射至所述超表面元件的光束相位调制覆盖[0,2π]相位，每个所述微纳结构对应所述超表面元件整体相位分布中的一个像素，所述微纳结构的角度为对应像素的相位值。

7.如权利要求1所述的基于多波长超表面元件的三维重建系统，其特征在于，所述采集模组包括图像传感器，所述图像传感器选自彩色光谱摄像机或红外波段宽谱摄像机，以区分结构光点云投影图案中的不同结构光点云单元内的投影点。

8.如权利要求7所述的基于多波长超表面元件的三维重建系统，其特征在于，所述超表面元件被设置为：单一波长的光束经所述超表面元件投影后形成的结构光点云单元，其投影点的尺寸的最小值大于或等于所述图像传感器的分辨率的两倍，其投影点之间的间距的最小值大于或者等于所述图像传感器的分辨率的两倍。

9.一种如权利要求1-8任一所述的基于多波长超表面元件的三维重建系统的三维重建方法，其特征在于，包括：

光源模组出射多波长光束；

超表面元件将所述光源模组出射的光束投影成结构光点云，其中，不同波长的光束被所述超表面元件投影成不同尺寸或不同位置的结构光点云单元，不同尺寸或不同位置的结构光点云单元相互交叠、交错或规律分布，以形成结构光点云投影图案；

采集模组采集所述结构光点云投影图案经被测物体反射后的投影图案信息；

计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息。

10.如权利要求9所述的三维重建方法，其特征在于，所述光源模组出射多波长光束，包括：

选定多个光源的出射波长；

耦合各波长光束到同一光路并垂直入射所述超表面元件。

11.如权利要求9所述的三维重建方法，其特征在于，所述的计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息的步骤，包括：

计算模组根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息；

计算模组将所述采集模组采集的投影图案信息中的各个结构光点云单元进行分离，分别计算各个结构光点云单元内的投影点坐标信息，组合得到投影图案信息中的全部结构光点云投影点的坐标信息；

计算模组根据原始结构光点云的投影点坐标信息和经被测物体反射后获取的投影图案信息中的全部结构光点云投影点的坐标信息，获取被测物体的三维重建点云信息，实现被测物体的三维重建。

12.如权利要求9所述的三维重建方法，其特征在于，所述的计算模组根据所述采集模组采集的投影图案信息，计算被测物体的三维信息的步骤，包括：

计算模组根据原始结构光点云投影图案确定原始结构光点云内投影点的坐标信息；

计算模组将所述采集模组采集的投影图案信息中的各个结构光点云单元进行分离，计算各个结构光点云单元内的投影点坐标信息；

计算模组根据原始结构光点云的投影点坐标信息和分离后的各个结构光点云单元的投影点的坐标信息，获取各个波长下的被测物体的三维重建点云信息；

计算模组组合各个波长下的被测物体的三维重建点云信息，实现被测物体的三维重建。