CN116057348A - 用于3d图像扫描的系统和方法 - Google Patents

Abstract

本发明公开了用于实时动态3D表面成像的3D图像扫描仪的系统和方法。本系统和方法的实施例描述了一种系统和方法，包括第一和/或第二摄像机，和投影仪，和处理器，投影仪将带有条纹图案的结构光投射到3D物体上，处理器配置为从图像中提取相位图和纹理图像，并由处理器从相位图中计算深度信息。实施例进一步描述了方法和系统：使用希尔伯特变换从图像中确定包裹相位，以及使用质量引导路径跟踪算法、双波长相位展开算法或马尔可夫随机场方法的组合，从包裹相位生成绝对相位，以及从绝对相位生成相位图，以确定3D物体的深度信息。使用共形映射、最优传输映射和泰克穆勒映射的算法对捕获的3D几何曲面进行注册和跟踪。

Description

用于3D图像扫描的系统和方法

相关申请的交叉引用

本申请涉及于2020年4月10日提交的美国专利申请No.63/008,268，并要求该申请的优先权，该申请的全部披露内容通过引用并入本文。

政府资助

这项发明是在国家科学基金会(National Science Foundation)授予的CCF-0448399和DMS-1418255号拨款下，在政府支持下完成的。政府对这项发明拥有一定的权利。

背景技术

A.本发明技术领域

本发明一般涉及一种用于实时动态3D表面成像的3D图像扫描仪的方法和系统，本发明使用投影结构光来重建物体的深度和纹理信息。

B.相关技术说明

3D表面成像在业内是众所周知的。然而，渲染质量、速度和成本方面的限制目前限制了3D表面成像的实际应用。

皮肤癌是美国最常见的癌症类型，2019年诊断出超过550万新病例。大约五分之一的美国人一生中会患皮肤癌。皮肤癌发病率稳步上升，而其他癌症的发病率在同一时期有所下降。特别是，黑色素瘤是最致命的皮肤癌，其发病率在过去30年中翻了一倍多。在2015年的一项比较2007-2011年和2002-2006年癌症治疗费用的研究中，CDC和国家癌症研究所的研究人员发现，治疗皮肤癌的平均年总费用增加了126％，而其他癌症的费用增加了25％。

皮肤癌如果早期发现，是可以治疗的。研究表明，连续全身扫描是早期检测皮肤癌的有效方法，这可以挽救生命，改善治疗结果，并且降低医疗成本。根据风险因素，建议皮肤科医生每三个月、六个月或十二个月对患者进行全身扫描检查。只有患者遵循该指引，才能显著提高早期发现皮肤癌的机会。皮肤科医生可以通过比较同一患者在不同时间采集的扫描图像，有效地识别皮肤中的高危点，并在连续扫描中检测这些点的变化。然而，现有的使用2D摄像机的数字成像产品在实现这些目标方面效率低下，成本高昂，导致皮肤科医生及其患者采用率低。

立体定向全身放射治疗(SBRT)是一种针对肿瘤的高剂量癌症治疗方法。目标是提供尽可能高的剂量来杀死癌症，同时尽量减少健康器官的暴露。由于如果不对癌细胞进行精确的照射，极高的辐射剂量可能会对患者造成伤害，因此SBRT要求接受治疗的患者必须在每次治疗期间处于相同的位置，并且在治疗期间目标区域不会移动。由于每次治疗持续30分钟至1小时，这一要求对接受治疗的患者和负责持续监测患者体位以确保患者安全的临床医生来说都是一个重大挑战。

有几种技术试图解决这个问题。不幸的是，它们都有缺点。一些癌症诊所在治疗室设置了视频监视器，并且完全依赖治疗师来识别任何实时视频运动。治疗师通常需要同时监测多个接受治疗的患者，这会分散他们的注意力，并且进一步降低这种方法的有效性。X射线已经被用来通过配对骨骼解剖来检查整体对齐情况。它导致患者的辐射暴露增加，而且不能用于治疗期间的持续监测。放射肿瘤学家还使用激光识别患者身上的皮肤标记或纹身。研究表明，对于皮肤松弛的患者，皮肤标记或纹身在确定身体位置时是不可靠的。此外，根据需要治疗的部位，由于担心癌症相关的污名或审美吸引力，患者可能对皮肤上的永久性标记/纹身有抵抗力。

光学表面成像在用于患者设置和监测的放射治疗中越来越流行。它可以实时反馈患者在治疗计划期间捕获的关于参考表面的位置，允许临床医生在房间内评估和重新调整患者的设置，而无需使用辐射或皮肤标记。然而，目前市场上可用的光学表面成像系统使用2D摄像机采集图像，无法实时、高精度地捕捉人体的动态3D表面变化。未检测到的排列不一致，如髋关节或上身旋转(如前列腺癌或乳腺癌治疗)或治疗区域的微小移动(如脑瘤)，可能导致患者剂量增加、设置时间延长，并且最严重的是，对健康器官造成损害。

全身序列成像的广泛采用需要针对两个技术挑战的实用解决方案。第一，需要实时、高精度地捕捉动态皮肤表面。虽然目前市场上可用的高分辨率2D摄像机可以捕捉人类皮肤的颜色和纹理，但它们无法获取皮肤表面的深度信息。皮肤科医生面临的第二个痛点是使用2D摄像机系统的图像准确识别可疑病变并检查病变特征变化，这是一个费时费力的过程。由于患者对皮肤科护理的强烈需求，大多数皮肤科医生没有时间在一次扫描中检查这些成像系统产生的图像，更不用说与以前的扫描进行比较了。由于这些图像的2D特性，开发可靠的图像配准方法来精确比较在不同时间拍摄的序列图像仍然是一个重大的技术挑战。

改进的3D图像扫描系统和方法在这些应用和其他应用中是有益的，其中高速高质量的3D图像可以克服以前系统的局限性。

发明内容

为了解决背景部分描述的传统方法的缺点，本系统和方法的示例性实施例提供了用于实时动态3D表面成像的3D扫描仪方法和系统。该系统和方法实现了自动表面配准，并允许以更高的精度测量和对齐三维物体。

本文所述系统和方法的实施例提供了用于3D面部扫描的系统和方法。该系统和方法是一种高速、高分辨率的3D面部扫描系统，可通过动态表情捕获几何体和纹理。该系统和方法是便携的且容易使用，并具有精确和稳健的几何处理工具。该系统和方法适用于电影和游戏中的面部表情跟踪、VR/AR内容生成，且对于黑色素瘤检测、正畸和整形手术非常有用。

该系统和方法包括医疗领域的硬件和软件，可用于皮肤科医生、牙医、整形外科医生等。该系统和方法也可用于安全，以被政府官员或警察使用。该系统和方法可用于面部表情捕获系统、电影/游戏研究、VR/AR制作人、数字艺术家。

该系统和方法基于结构光，而且包括数字摄像机系统、数字投影仪和编程为以新颖方式操作该系统的计算机。投影仪将条纹图案投射到3D物体上，摄像机系统捕捉被结构光照射的物体的图像。投影条纹图案中的每个等相线都被畸变成3D物体上的曲线，并投影到摄像机图像上的曲线。根据相线的畸变以及投影仪、摄像机和世界之间的相对几何关系，计算算法对摄像机图像进行处理，以重建3D几何结构和纹理。

对捕获的条纹图像进行处理，提取相位图和纹理图像。该算法可以从相位图中计算出深度信息，并恢复物体的几何结构。这个3D扫描系统可以以高分辨率和高速捕获包括具有动态表情的表面的面部表面。

该系统和方法允许高速3D表面图像捕获，这在许多应用中都很有用，应用包括扫描带有动态表情的面部。该系统和方法使用的几何处理软件比传统系统更精确、更健全。

示例性实施例提供用于三维扫描的计算机实现的系统和方法。该系统可以包括配置为将结构光投射到三维物体上的投影仪。可以提供并配置灰度摄像机，以捕捉物体的条纹图像。该系统还可以提供配置为捕获物体的彩色图像的彩色摄像机。处理器优选配置为处理条纹图像以提取相位图和纹理图像，以从相位图计算深度信息，并基于深度信息和纹理图像执行3D表面重建。

根据本系统的一个示例性实施例，图像由用于捕获三维物体的条纹图像的第一摄像机和用于捕获物体的彩色纹理图像的第二摄像机捕获。优选地，第一和第二摄像机的曝光周期同步。在一个示例中，第一摄像机被触发以在每个关闭周期捕获图像，而第二摄像机被触发以在每三个周期捕获图像。

根据进一步的示例性实施例，结构光由正弦条纹图案组成，每个条纹图案具有通道；条纹图案为散焦图样；条纹图案具有低于8位的质量。

根据进一步的示例性实施例，处理器基于考虑条纹图像的强度偏置(环境)分量、条纹图像的调制分量和条纹图像的包裹相位来生成相位图；处理器根据包裹相位确定展开相位，利用希尔伯特变换(Hilbert Transformation)使用单个图像来实现平滑几何表面的再现，例如再现人脸。处理器可以通过重复以下步骤，使用质量引导路径跟踪算法(quality-guidance path following algorithm)确定展开相位：选择第一像素；确定第一像素的包裹相位Φ(x,y)；将与第一像素相邻的像素放入优先级队列；从优先级队列中选择质量最高的第二像素。处理器可以使用双波长相位展开算法确定展开相位，其中投影仪投影具有第一波长λ₁的第一条纹图案以及具有第二波长λ₂的第二条纹图案，而且λ₁<λ₂，并且处理器基于每个波长的两个包裹相位确定展开相位。此外，处理器使用马尔可夫(Markov)随机场方法确定展开相位。此外，双波长相位展开算法可以与马尔可夫随机场方法相结合，以提高展开相位的确定质量。

根据进一步的示例性实施例，纹理图像用于通过处理器使用基于深度学习的计算机视觉算法，例如通过使用单点检测器(SSD)结构网络进行面部检测和面部标记，来查找面部特征点并执行面部特征提取。由纹理图像生成面部皮肤区域的质量图和掩模，并且质量图和掩模由处理器输入到相位展开算法中以确定展开相位。

根据进一步的示例性实施例，处理器将点的世界坐标转换为摄像机坐标。处理器可以将摄像机坐标转换为摄像机投影坐标。处理器可以进一步将摄像机投影坐标转换为畸变的摄像机投影坐标，并将畸变的摄像机射影坐标转换为摄像机图像坐标。

根据进一步的示例性实施例，使用目标板校准摄像机的外部和内部参数。目标板可以包括包含多个较大的圆形恒星的恒星-行星图案(star-planet pattern)，每个恒星被较小的圆形行星包围，其中每个行星是实心或空心圆中的一个。摄像机的外部和内部参数可以作为优化过程进行校准。在一个示例中，使用张氏算法(Zhang's algorithm)和梯度下降算法校准摄像机的外部和内部参数。摄像机的外部和内部参数的校准可考虑将多颗恒星中的每颗恒星的中心位置作为优化过程中的变量。

根据进一步的示例性实施例，畸变参数由处理器使用海基尔公式(Heikkil'sformula)确定。

根据进一步的示例性实施例，处理器基于深度信息生成至少一个点云，并且处理器处理该点云以形成高质量三角形网格。处理器可以进一步执行用于图像和形状分析以及实时跟踪应用的共形几何方法。在生成至少一个点云的过程中，可以使用环境、调制和投影仪参数来估计表面法线信息。持久同源算法也可用于计算句柄循环(handle loops)和通道循环(tunnel loops)以进行拓扑去噪。此外，执行共形参数化，并将德劳内三角剖分(Delaunay triangulation)和/或形心泰森多边形镶嵌(centroidal Voronoitessellation)应用于共形参数的输出，以生成高质量的三角形网格。

根据又一示例性实施例，从两个不同的视角捕获图像以获得立体深度信息，其中处理器使用马尔可夫随机场方法来：i)确定每个像素的绝对相位以根从条纹图案确定深度信息，以及ii)并执行立体配对方法以获取立体深度信息。此外，深度信息和立体深度信息被用作生成至少一个点云的输入。

根据进一步的示例性实施例，第一条纹图像在第一次被捕获并由处理器用于执行第一3D表面重建，第二条纹图像在第二次被捕获并且由处理器用于进行第二3D重建，并且注册第一和第二3D重建以进行比较。使用共形几何将第二3D重建注册到第一3D重建。通过将表面映射到平面并比较得到的平面图像，将第二3D重建注册到第一3D重建。比较通过至少一个最优传输映射确定。将快速傅里叶变换(FFT)应用于至少一个最优传输映射。从第一和第二条纹图像中提取纹理特征和几何特征。该比较使用泰克穆勒映射(Teichmullermaps)来加强从第一和第二条纹图像中提取的特征的对齐，并减少畸变。

根据进一步的示例性实施例，至少一个棱镜用于改变投影仪或摄像机之一的路径。

根据进一步的示例性实施例，相位-高度映射建模为摄像机的每个像素处的多项式函数，并且多项式的系数在摄像机-投影仪校准过程中使用优化算法进行估计。此外，相位高度的多项式表示被存储为配置文件。

这些优点和其他优点将在下面的详细描述中进一步描述。

附图说明

为了更全面地理解本发明及其目的和优点，现参考以下与附图相关的描述，其中：

图1是一个简化的流程图，示出了本3D扫描的系统和方法的高级操作示例。

图2是一个描绘3D扫描系统示例性实施例的高级系统布局的简化图。

图3描绘了一个本系统示例性实施例的示例性扫描系统的内部布局。

图4描绘了一个本系统示例性实施例的示例性扫描系统内部布局的侧视图。

图5描绘了一个本系统示例性实施例的面向待扫描物体的示例性扫描系统的容器的前视图。

图6是一个示意性地说明本系统示例性实施例的示例性扫描器系统的光路的图。

图7描绘了一个本系统示例性实施例的面向待扫描对象的示例性扫描系统的容器的底视图。

图8描绘了一个在本系统的示例性实施例中可能投影的条纹图案的示例。

图9是一个示出了本系统示例性实施例中第一摄像机和第二摄像机的曝光时间同步的示例的时序图。

图10是一个示出了本系统示例性实施例中第一摄像机、第二摄像机和投影仪同步的示例的时序图。

图11示出了一个在本用于处理图像的系统和方法的示例性实施例中使用的摄像机坐标系。

图12A-12C描绘了根据示例性实施例生成的条纹图像、相位图和灰度纹理图像的示例。

图13A-13C描绘了一个条纹图案波长为λ₁＝45的三个原始条纹图像的示例，可用于恢复3D表面的一帧。

图14A-14C描绘了一个条纹图案波长为λ₂＝48的三个原始条纹图像的示例，可用于恢复3D表面的一帧。

图15A-15C描绘了一个由条纹图案波长λ₁＝45的原始条纹图像生成的环境、调制和纹理图像的示例；

图15D-16F描绘了一个由条纹图案波长λ₂＝48的原始条纹图像生成的环境、调制和纹理图像的示例。

图16A-16H描绘了在本系统和方法的示例性实施例中，相位展开过程各阶段期间生成的各种图像。

图17A-17C描绘了一个根据本系统和方法的示例性实施例生成的图像的示例，包括：a)具有λ₁＝45的包裹相位Φ₁，b)具有λ₂＝48的包裹相位Φ₂，以及c)使用双波长相位展开算法的展开(绝对)相位。

图18A-18C分别描绘了一个根据本系统和方法的示例性实施例生成的重建3G几何体、具有灰度纹理映射的几何体和具有彩色纹理映射的几何体的示例。

图19描绘了一个根据本系统和方法的示例性实施例从不同角度观看生成的纹理映射的重建面部表面的示例。

图20A-20C描绘了根据本系统和方法的示例性实施例，从使用回归树集合(ERT)算法捕获的彩色纹理图像中进行面部检测和面部特征点提取的示例。

图21描绘了一个根据本系统和方法的示例性实施例生成的具有彩色纹理的几何表面的示例。

图22A-22C分别描绘了根据本系统和方法的示例性实施例，使用SSD结构网络检测人的面部区域、查找面部标志点以及使用计算机视觉中的回归树集合(ERT)算法执行面部特征提取的示例。

图23A-23C描绘了如本系统和方法的示例性实施例所述的几何表面在使用相位信息重建面部皮肤表面期间生成并通过孔洞填充算法进行处理的示例。

图24描绘了一个本系统和方法示例性实施例的3D采集过程的流程图。

图25示出了本系统和方法示例性实施例中所述的针孔摄像机的数学模型。

图26描绘了一个在本系统和方法的示例性实施例中用于校准的目标板的示例。

图27示出了本系统和方法示例性实施例中摄像机和投影仪之间的成像关系。

图28描绘了一个用于相位-高度映射校准的示例性系统的示意图。

图29描绘了一个本系统和方法示例性实施例的摄像机校准和点云生成过程的流程图。

图30描绘了一个显示本系统和方法示例性实施例中示例性表面重建过程的流程图。

图31描绘了一个在本系统和方法的示例性实施例中显示示例性形状分析过程的流程图。

具体实施方式

目前用于高效高速3D图像扫描的系统和方法通常在图1的流程图中进行了详细说明。在块105中，系统将结构光投射到3D物体上，并从被照明物体获取图像数据。获取的图像数据通常包括至少一个灰度条纹图像，并且优选是彩色图像。根据获取的图像数据，在块110中生成相位图，并且在块115中生成纹理图像。例如，在图12中的图像中说明了一点，其中图12A示出了示例性条纹图像，图12B示出了示例性相位图，而且图12C示出了示例性灰度纹理图像。回到图1，在块120中，相位图和纹理图像以及摄像机系统和投影仪系统的校准数据可用于生成点云，其中纹理表示三维空间中的物体。根据生成的点云，可以执行表面重建以生成块125中的表面网格。例如，在图19中的图像中显示了一点，其中描述了一个根据本系统和方法的示例性实施例的重构面部表面生成的示例，其纹理映射是从不同角度查看的。在图1中，块130中的形状分析，包括动态形状跟踪、图像分析和实时跟踪，可根据需要应用。下面将进一步详细描述每个过程。

硬件。图2示出了基于结构光的3D扫描系统示例性实施例的简化硬件布局。该系统由数码摄像机系统201、数字投影仪202和计算机203组成。投影仪202将诸如条纹图案205之类的结构光投射到3D物体204上，摄像机系统201捕获由条纹图案205照亮的物体的图像。如205所示，投影仪可以在每个投影周期中生成三个不同的颜色通道(红色、绿色和蓝色)。正如将要进一步详细描述的那样，尽管在图2中图示为单个摄像机，但摄像机系统201可以包括多个具有不同采集属性和空间方向的摄像机。例如，摄像机系统可以包括一个灰度摄像机和一个彩色摄像机、两个用于立体成像的灰度摄像机及其各种组合。

如参考207所示，条纹图案205中的每个等相线206被畸变成3D物体204上的曲线，并投影到摄像机图像208上的一条曲线。根据等相线的畸变，以及投影仪202、摄像机201和世界之间的相对几何关系，计算机203通过计算算法，对摄像机图像进行数字处理，以重建物体的3D几何结构和纹理，如下文所述。

本文所述用于示例性实施例中的设备及其设置仅是示例性的，并不意味着是详尽的。可以用其他的设备和设备设置的排列组合来替代本文所描述的设备和设置，这对于本领域的普通技术人员来说是显而易见的。例如，本系统和方法的示例性实施例可以使用DLP光工艺(LightCrafter)4500投影仪投射条纹图案，使用巴斯勒(Basler)acA640-750 um摄像机捕获条纹图案。例如，摄像机可以是采集帧速率至少为每秒180帧(fps)、分辨率为640×480、最大帧速率为750fps的灰色摄像机。例如，摄像机的像素大小可以是4.8um x4.8um。深度精度可以为0.2mm或更高。如对于本领域的普通技术人员来说是显而易见的，可以使用其他类型的投影仪和摄像机，包括其他类型的数字微镜设备(DMD)。投影仪可以使用可见光源，也可以使用红外光来避免干扰正在成像的对象(例如，医疗应用中的患者)，或者可以使用其他类型的电磁辐射。本系统和方法的示例性实施例可使用IEEE 1394PCle卡用于多摄像机系统，使用USB 3.0用于单摄像机系统，以确保数据传输的带宽。此外，本系统和方法的示例性实施例可以使用固态磁盘来保证磁盘IO速度和容量。

当投影仪投射条纹图案时，示例性实施例中使用的摄像机可以在每个关闭脉冲被触发一次。在示例性实施例中，可以有利地使用8位条纹图案图像。在这种情况下，本系统和方法的示例性实施例可以捕获多达40个3D fps的数据。示例性实施例可以有利地使用4位模式来捕获移动物体。在这种情况下，本系统和方法的示例性实施例可以捕获多达200个3Dfps。

示例性实施例可以有利地使用第二(彩色)摄像机来启用生成的3D网格中的彩色纹理或顶点彩色。第二摄像机不必像第一摄像机那样快，第一摄像机可以是单色摄像机，因为生成三维网格只需要一个纹理图像，如本文示例性实施例中所述，只需要使用三个条纹灰度图像生成三维网格。第二摄像机优选地用扫描系统校准。在本系统和方法的示例性实施例中，例如，可以使用巴斯勒(Basler)acAl300200uc作为第二摄像机，其具有康标达(Computar)M1614-MP2 F1.4 fl6mm镜头。

本系统和方法的示例性实施例可以使用第二灰度摄像机来组合立体视觉和结构光。结构光可以基于干涉测量的双波长相移方法。立体视觉配对从不同视角拍摄的两幅图像，以获得深度，这比结构光快得多(至少三倍)，但精度较低。结构光通过强度对相位信息进行编码，并从相位信息中恢复深度，这比立体视觉慢，但更精确。传统的3D采集方法使用立体视觉或结构光。利用这两种方法的威力，示例性实施例中描述的扫描仪可以提高速度和准确性。

本系统和方法的示例性实施例可进一步利用一个或多个棱镜来改变一个或两个摄像机和/或投影仪的光路，以减小包含用于实现本系统和方法示例性实施方案的组件的设备的厚度。棱镜可以有利地用于制作物理上紧凑的扫描仪系统，该系统可以包含在本文描述的本系统和方法的示例性实施例中使用的各种组件(例如投影仪和摄像机)。图3-7显示了一个示例性的扫描仪系统。图3描述了一个示例性扫描系统的内部布局。301是指投影仪，302是指彩色摄像机，303是指灰度摄像机，304是指改变从投影仪301发出的光线的棱镜，305是指在被彩色摄像机302捕获之前改变光线的棱镜，306是指在由彩色摄像机305捕获之前改变光线的棱镜。在该示例中，棱镜305和306为45°。棱镜304的光轴与棱镜305的光轴间隔186mm，棱镜304与棱镜306的光轴间距60mm。尽管这些尺寸可能会因给定的应用而改变，但必须知道组件的间距，以便进行校准和图像重建，如本文所述。

图4描绘了一个示例性扫描系统内部布局的侧视图。401是指投影仪的电源连接，402是指投影仪的接口(如输出触发器)，403表示彩色摄像机的接口(例如输入触发器)，404是指灰度摄像机的接口，405表示投影仪的棱镜的斜角(如图3中304所示)，该斜角如图4所示为57.53°。投影仪的斜角可能只是示例性的，也可以使用投影仪的棱镜的其他斜角。

图5描绘了一个示例性扫描系统的容器面向待扫描物体的前视图。501是指容器中的开口，其使条纹图像能够从投影仪301投影到物体上，502是容器中的开孔，其使从物体表面反射的光能够被彩色摄像机302捕捉，503是容器中的开口，其使从物体的表面反射的光线能够被灰度摄像机303捕捉。

图6是一个示出了示例性扫描仪系统的光路的示意图。601是指由投影仪301生成的条纹图像，其将通过投影仪304的棱镜，然后通过开口501，照亮物体604。602是指彩色摄像机捕获光线，该光线从物体604的表面反射，并穿过开口502和彩色摄像机305的棱镜。603是指灰度摄像机303捕捉光线，该光线从物体604的表面反射，并穿过开口503和灰度摄像机303的棱镜。

图7描绘了一个示例性扫描系统的容器的底视图，以面向待扫描物体。701是指投影仪301的电源连接，702是指投影仪301的USB接口连接，703是指彩色摄像机303的I/O连接，704是指灰度摄像机302的USB I/O连接，705是指用于将示例性扫描系统安装到夹具或表面的螺纹安装，706是指投影仪301的棱镜304的斜角，该斜角在图7中被描绘为57.53°。如前所述，示例性扫描系统中所示的斜角仅仅是示例性的，可以使用投影仪的棱镜的其他斜角。

扫描系统如图3-7所示可以通过复制系统和在图像采集期间共享系统时间来扩展。在这方面，将有一个带有投影仪301、彩色摄像机302和灰度摄像机303以及相应的光学部件的第一扫描系统，还有一个带有投影仪301’、彩色摄像机302’和灰度摄像机303’以及相应的光学部件的第二扫描系统。然后，处理器将以分时方式使用第一和第二扫描系统，以提高系统的采集能力。示例性实施例可将单波长、三相移位条纹图案投射到物体上以捕获3D信息。

在本系统和方法的示例性实施例中，扫描仪可以在很短的时间内在目标表面上投射正弦图案(即条纹图案)。图8描述了一个可能投射的条纹图案的示例。彩色图像有三个通道(红色、绿色和蓝色)，每个通道代表一个条纹图案。需要注意的是，根据被成像物体的主要几何形状，可以使用条纹图案的各种方向，例如垂直或水平。

例如，可以使用数字条纹生成技术(Digital Fringe Generation Technique)生成图案。例如，使用三步相移算法，每个条纹图案可以生成为8位灰度图像，图案可以数学表示为：

在这些等式中，λ表示波长，每个条纹周期的像素数(即条纹间距)，并且(i,j)表示像素索引。例如，如果λ＝45，则表示条纹的一个周期占据投影仪屏幕的45个像素。这通常是投影仪屏幕的物理属性。

例如，可以有利地使用DLP投影仪(例如与LCD或LCoS投影仪相反)将条纹图案投射到目标表面上。DLP投影仪在每个投影周期中生成三个不同的彩色通道(红色、绿色和蓝色)，使得三个DFP图像可以组合成一个彩色图像，每个图案保存在一个通道中，因此投影速度提高了三倍。实际上，DLP投影仪在使用红色通道时可能会有相对较大的相位误差，这可能是由于红色通道的关闭时间较长造成的。摄像机在投影仪的每个关闭脉冲被触发：如果红色通道的关闭时间比蓝色和绿色通道长，则更多的环境光将进入摄像机，从而降低信噪比(SNR)，捕获的相位质量可能会受到影响。为了解决这个问题，本系统和方法的示例性实施例可以使用散焦图案代替传统的数字条纹投影(DFP)，从而显著改善相位质量。此外，DLP投影仪的使用提供了一种替代解决方案，可以以轻微的重建质量损失换取扫描速度的显著提高。目前的系统和方法可以使用质量较低的条纹图案投影(例如4位)，以便所有6个图案都可以保存在一个彩色图像中，并且示例性实施例中描述的系统可以加快速度以减少缓存和投影时间。实际上，使用4位条纹图案可以使系统比使用8位条纹图案快5-6倍。

摄像机同步。如前所述，为了使彩色纹理或顶点彩色能够包含在本系统和方法的示例性实施例的系统中生成的3D网格中，扫描系统除了使用灰度摄像机外，还可以使用彩色摄像机。为了消除条纹冲击的干扰，第二摄像机的曝光时间应覆盖投射到物体上的正弦图案的完整周期。示例性实施例可以有利地使用三步相移方法。在一个示例中，彩色摄像机在每三个关闭脉冲被触发一次，使得第二摄像机的曝光时间比第一摄像机(可以是灰度摄像机)的曝光时间长三倍。彩色和灰度摄像机都可以由同一个投影仪触发，因此摄像机的曝光周期可以自动同步。图9示出了在本系统和方法的示例性实施例中，第一摄像机(例如“灰度摄像机”)9001与第二摄像机(例如“彩色摄像机”)9002的曝光时间同步。第一摄像机每被触发三次(9003，9004，9005)，第二摄像机被触发一次(9006)。图10示出了在本系统和方法的示例性实施例中第一摄像机、第二摄像机和投影仪的同步示例。

几何与相位。图11以图形方式示出了摄像机的坐标系，其示例性实施例可用于处理图像。在摄像机坐标系中，z，11001表示深度，S，11002表示物体的表面。表面S，11002表示为深度函数：

z(x,y)＝h(x,y)， (2)

其中(x,y)表示摄像机图像的空间坐标。在示例中，正弦条纹图案投影到表面上，条纹图案的空间波长为λ，11003。投影仪光轴与摄像机光轴(z轴)之间的角度为θ，11004，则平面z＝U上投影条纹图案的波长为λ_x，定义为：

如果p_o 1107固定在表面S 1102上，p_o和p₂ 11005共享相同的(x,y)坐标，p₁ 1006和p_o在同一相线上，p₁＝(x1,y1,0)，p₂＝(x2,y2,0)，p_o的深度为h(x2,y2)，则可导出以下关系：

其中

是p_k的绝对相位，k＝1,2。然后可以导出以下等式：

以及

因此，本系统和方法可以从相位

计算深度信息h(x,y)。

相移：条纹图像。本系统和方法的示例性实施例可以使用相移方法从摄像机捕获的条纹图像重建3D信息。图12A描绘了一个示例性条纹图像，图12B描绘了一个示例性相位图，图12C描绘了一个示例性灰度纹理图像。根据相位图，本文描述的算法可以计算深度信息，并恢复物体的几何坐标。

使用以下基本公式对条纹图像进行建模：

其中x和y是空间坐标，I'(x,y)是强度偏差，环境光照常，I"(x,y)是峰谷强度调制的一半，这是来自投影仪的光的强度，

是控制与参考波前相关的正弦变化的时间相位差的相位。如果x和y是固定的，则等式(5)中有三个未知数需要求解。对于条纹图像上的每个像素，I'(x,y)的差值直接由灰度值表示，因此，由于等式(5)中有三个未知数，因此最少三个条纹图像足以恢复一个3D帧。3D帧的速度和分辨率可以完全由摄像机和投影仪的速度和精度控制。

换句话说，目标物体应该接近静态，因为x和y是固定的，这意味着要么物体没有移动，要么投影仪和摄像机的帧速率非常高。实际上，示例性实施例可以使用一些去噪和像素跟踪方法来降低移动物体的影响。图13A-13C描述了三个条纹图案波长为λ₁＝45的原始条纹图像示例，可用于恢复上述3D表面的一个3D帧，并且图14A-C描述了三个条纹图案波长为λ₂＝48的原始条纹图像的示例，可用于恢复上述3D表面的一个3D帧。

环境光、调制和纹理。本系统和方法的示例性实施例可以使用三步相移算法和两个不同的波长来展开绝对相位。

如果相移为δ＝2π/3，则一束三个条纹图像可定义为：

为了方便I₁，I₂，I₃是指I₁(x,y)，I₂(x,y)，I₃(x,y)。Φ(x,y)可解为：

平均强度可计算为：

而且数据调制可以计算为：

最后，没有条纹的纹理可以生成为：

I_t(x,y)＝I'(x,y)+I"(x,y)。 (10)

图15A-15C描绘了由条纹图案波长λ₁＝45的原始条纹图像生成的环境、调制和纹理图像的示例，并且图15D-15F描绘了由条纹图案波长λ₂＝48的原始条纹图像生成的环境、调制和纹理图像的示例。

希尔伯特变换。原始图像减去环境分量可通过以下计算：

I_k(x,y)-I'(x,y)＝I"(x,y)cos[Φ(x,y)+2kπ/3]。

使用希尔伯特变换后，得到以下等式：

因此，可以使用以下计算从单个图像恢复包裹相位：

传统的相移算法需要至少3张图像来计算包裹相位。通过使用希尔伯特变换，现有方法可以仅使用单个图像来计算相位。这将扫描速度提高了3倍，并大大提高了所述系统的稳健性。

相位展开(phase unwrapping)。通过使用表面是连续的假设，可以将包裹相位恢复为绝对相位。如本文所述，示例性实施例可对曲率较低且高速采集的动态表面使用质量引导路径跟踪相位展开算法。本系统和方法的示例性实施例也可以对具有复杂几何形状和缓慢变形的表面使用双波长相位展开算法。示例性实施例可使用基于马尔可夫随机场(MRF)的算法进一步展开包裹的相位，该算法有利地可用于捕获需要密集计算的噪声形状。为此，MRF算法可以在GPU上实现并行优化算法(如图形最小切割/最大流量)。对于大视场视图，系统可能进一步使用同步的双摄像机系统。在这种情况下，可以实现结构光和立体配对算法来融合几何结构和纹理数据。对于静态形状，本发明的示例性实施例可以使用多级格雷码(Gray codes)。

质量引导路径跟踪。示例性实施例可利用质量引导路径跟踪算法在面部检测和特征提取步骤中查找面部皮肤区域，并将定义一个掩模。如前所述计算的调制表示每个像素的质量，其可用于定义质量映射。

在本系统和方法示例性实施例中使用的质量引导路径算法中，该算法可以选择一个种子像素，使用其包裹相位作为绝对相位，并将其所有相邻像素置于优先队列中的掩模内。在每个步骤中，算法可以选择队列中质量最高的像素，找到其邻近像素，并将其相位展开为绝对相位，然后将其邻近像素放入队列中。算法可能会重复此过程，直到掩模内的所有像素都被展开。

双波长。本系统和方法的示例性实施例还可以利用双波长算法来展开包裹相位。所描述的相移方法在(-π,π)范围内，这意味着如果条纹图案的波长不够大，物体表面上的相位将出现具有2kπ的不连续性。在实现双波长算法的本发明示例性实施例中，可以使用具有不同波长(λ₁和λ₂，λ₁<λ₂)的两种不同条纹图案而不是一种非常宽的条纹图案来捕获物体的原始图像。双波长算法可使用不同的波长测量同一物体表面，两个相位图的定义如下：

两个相位图之间的差异表示为：

这里：

是λ₁和λ₂之间的等效波长，并且该等效波长足够大，可以通过以下展开绝对相位Φ：

φ＝ΔΦ₁₂ mod 2π. (15)

因此，如果

足够大，以可以覆盖整个图像范围，则模算子不会改变相位，因此生成的相位与展开的相位相同。这种方法速度更快，但与高质量引导路径跟踪算法相比，它增加了噪声。

马尔可夫随机场方法。示例性实施例可以使用马尔可夫随机场方法统一立体配对算法和相位展开算法。在本系统和方法的示例性实施例中描述的相移结构光方法中，绝对相位与高度信息成正比。从图像中只能获得包裹相位信息，即绝对相位模2π。差值为2π的整数倍，该整数称为包裹计数。从包裹相位恢复绝对相位的过程是流水线中的关键步骤。马尔可夫随机场方法将每个像素的包裹计数建模为一个整数值随机变量，每个图像像素的所有包裹计数可以形成一个随机场。每个随机变量都受其邻近量的影响。相位展开相当于优化随机场的总能量，这可以通过将问题转化为图像的最大流量，然后通过最大流量/最小切割算法来解决。与路径跟踪、双波长等技术相比，用于相位展开的图形切割方法对噪声更为稳健，并产生更高的保真度。相比之下，马尔可夫随机场方法还可以提供一种稳健的立体配对方法，该方法沿极线搜索最佳配对像素。因此，本系统和方法可以对相位展开和立体配对使用一种高效、稳定的图形切割整数优化方法。

展开相位过程。图16A-16H描绘了相位展开过程各阶段产生的各种图像。首先，使用条纹图像通过等式(8)、等式(9)和等式(7)来解等式(6)以得到平均强度I'、条纹调制I"和相位差Φ。求解上述变量后，可以直接获得数据调制γ＝I"/I'和纹理I_t＝I'+I"。一旦使用上述一种或多种相位展开技术获得展开相位后，每个像素上的值可以一一映射到真实世界坐标。图17A-17C描绘生成的图像，其中a)具有λ₁＝45的包裹相位Φ₁，b)具有λ₂＝48的Φ₂，和c)使用双波长相位展开算法的展开(绝对)相位。

相位到几何结构。在摄像机图像平面(u_c,v_c)上的每个像素上，展开相位为

相应的世界坐标(X_w,Y_w,Z_w)可以通过摄像机和投影仪的外部和内部参数恢复。像素的深度可以用等式(34)中的多项式近似表示：

其中所有系数a₀(u_c,v_c)，a₁(u_c,v_c)，…由校准过程估计。

图18A描绘了一个面部几何表面的示例，图18B描绘了一个具有灰度纹理映射的几何表面示例，而且图18C描绘了一个彩色纹理映射的示例；所有这些都可以由本文描述的本系统和方法的示例性实施例生成。图19描绘了一个从不同视角的纹理映射重建面部表面的示例，图20描绘了使用回归树集合(ERT)算法在彩色纹理图像上的面部检测和面部标志点提取，而且图21描绘了一个具有彩色纹理的几何表面的示例。

面部检测和面部特征点提取。如示例性实施例中所述获得的纹理图像可用于检测人的面部区域，然后可进一步用于查找面部标志点并使用基于深度学习的计算机视觉算法执行面部特征提取，如图20A和图22所示。图22A-22C分别描述了使用SSD结构网络检测人的面部区域、查找面部标志点以及在计算机视觉中使用回归树集合(ERT)算法提取面部特征的演示的示例。

面部特征提取算法可以定位眼睛、鼻子、嘴和眉毛区域。等式(5)中的图像形成模型假设表面具有朗伯反射特性(Lambertian reflectance property)。人类的皮肤是朗伯的，但眼睛的表面是光滑的。因此，该模型可能不适用于眼睛表面。因此，为眼睛区域中的像素重建的相位信息可能不可靠。面部皮肤区域可用于定义质量图和掩模，其可用于相位展开算法，如质量引导路径跟踪算法和掩模切割算法、弗林(Flynn)的最小不连续性算法。

面部特征提取算法可用于找到眼睛区域。本系统和方法的示例性实施例可以计算除眼睛区域之外的面部皮肤表面的相位信息。图23A-23C描绘了使用相位信息重建面部皮肤表面期间生成并且由本文示例性实施例中所述的孔填充算法处理的几何表面的示例。如图23所示，面部皮肤表面23A和23B第一次以不具有眼睛区域生成。此后可以使用不同的算法填充眼睛区域。例如，眼睛区域可以通过计算具有狄利克雷(Dirichlet)边界条件的谐波表面来重建，如23C所示。相位图还可以被中值滤波以改善图像的平滑度。

低级视觉和高级视觉之间的反馈。本系统和方法的示例性实施例可以使用低级视觉和高级视觉之间的反馈。传统的图像系统使用底部－顶部方法，其首先处理低级任务(包括去噪、边缘检测、分割和特征提取)，接着处理高级任务(包括面部检测和姿势估计)。示例性实施例可以使用来自高级视觉的反馈来改善低级视觉并更新高级任务。例如，低级分割可以通过高级脸部检测进行校正和细化。作为另一个示例，相位展开可以通过提取眼睛和嘴部区域来增强，而立体配对可以通过姿态估计等来细化。高级视觉任务可以使用深度学习方法实现，例如用于面部检测的SSD结构网络和用于脸部特征点提取的回归树集合，而低级任务主要依赖于传统的3D视觉算法，例如马尔可夫随机场。

3D采集过程。现在参考图24，图24是示出了本系统和方法的示例性实施例的3D采集过程的示例的流程图，并进一步示出了图1中步骤110的相位图生成。投影仪将条纹图案投射到3D物体上，摄像机捕获由结构光照亮的物体的图像。投影仪条纹图像中的每条相线被畸变为3D物体上的曲线，并被投影到摄像机图像上的曲线。在24001和24002处，示例性实施例中的系统可以从灰度摄像机捕获条纹图像。该系统还可以从彩色摄像机捕获物体的彩色图像24003。条纹图像24001和24002可以使用等式(8)或者通过如本文所述的计算机系统的处理器在相应的块24004和24005中使用希尔伯特变换算法来实现。处理器可处理每个原始条纹图像以获得原始条纹图像的调制分量(24006，24009)、环境分量(24007，24010)和包裹相位分量(24008，24011)。为展开相位，系统的实施例可以使用双波长相位展开算法24012、质量引导路径跟踪算法(未示出)或另一个展开相位(噪声)过程(24016)，或/和马尔可夫随机相位展开算法(Markov Random Phase Unwrap Algorithm)24020来计算绝对相位以生成图像的相位图，从而可以获得深度信息。例如，在块24012中将两个条纹图像的包裹相位分量24008，24011应用于双波长相位展开过程。该过程产生噪声展开相位分量24016。

如图24进一步所示，包裹相位24011还可与其他步骤组合，例如深度学习技术31013、分割(例如使用图像切割方法24015)和/或使用精明的滤波器或类似技术24017的边缘检测。这样的过程可以使得示例性实施例中的3D扫描系统的某些应用对于特定3D采集任务更有效。示例性实施例可有利地使用来自高级任务(例如面部检测、面部特征点提取和姿势估计)的反馈来处理低级任务(例如去噪、边缘检测、分割和相位展开)。低级算法，如分割和相位展开，可以通过高级面部检测进行校正和细化。相位展开可以通过提取眼和嘴区域来增强，而立体配对可以通过姿态估计等来细化。

应用这些过程后，可通过上述马尔可夫随机场(“MRF”)相位展开算法24020对包裹相位进行展开，以计算绝对相位24021，以生成图像的相位图，从而获得深度信息。每个通道可采用MRF相位展开过程24024，24019，其接收来自块24016的噪声展开相位分量、来自高级和低级过程(例如块24013，24015，24017)的输出以及对应的包裹相位分量24008，24011，以生成最终的展开相位分量24020，24021。

摄像机和投影校准。摄像机和投影仪模型。对于摄像机和投影仪校准，本系统和方法的示例性实施例可以使用非线性畸变摄像机模型。这一过程的一个方面是对图从相位到高度及其反转进行建模。由于这些映射是高度非线性的，本系统和方法的示例性实施例使用高阶多项式来近似摄像机的每个像素的映射。在校准过程中计算所有近似系数，并将其存储在配置文件中。这种方法将确保准确性和实时计算。

摄像机和投影仪的数学模型可以使用以下流水线进行描述：

顶行显示摄像机的图像形成过程，底行显示投影仪的图像形成。

映射

从世界坐标变换到摄像机坐标，这是旋转和平移，如等式(17)所示。

是针孔摄像机投影，从摄像机坐标映射到摄像机投影坐标，如等式(18)所示。

是等式(21)中的摄像机畸变映射，从摄像机投影坐标变换到畸变的摄像机投影坐标，畸变包括径向畸变等式(19)以及切向畸变等式(20)，

是等式(22)中的投影变换，其从畸变的摄像机投影坐标映射到摄像机图像坐标。

的倒数从畸变的摄像机投影坐标映射到摄像机投影坐标，

是等式(23)中的海基尔(Heikkila)公式。

由于光路反转原理，投影仪可以被视为摄像机的反转。如果世界上的一个平面π是固定的，其称为虚拟参考平面，那么虚拟参考平面坐标(x_π,y_π)到摄像机图像坐标(u_c,v_c)的映射是双射的，到投影仪图像坐标(u_p,v_p)的映射也是双射的：

其中

定义类似。成分

给出了映射：ψ：(u_c，v_c)→(u_p，v_p)。

针孔摄像机模型。图25显示了针孔摄像机的数学模型。(X_w,Y_w,Z_w)(分别为25001,25002和25003)是世界坐标，(X_c,Y_c,Z_c)(分别为25004，25005和25006)摄像机坐标，(u,v)图像坐标。点p在世界坐标系中为(X_w,Y_w,Z_w)，在摄像机坐标系中为(X_c,Y_c,Z_c)，然后

其中R是从世界坐标系到摄像机坐标系的旋转矩阵，T是平移向量。

摄像机投影坐标的投影(不考虑畸变)由以下确定：

畸变模型(distortions model)。实际上，摄像机的镜头引入了畸变，成像不是理想的针孔摄像机模型，在标定时需要考虑畸变。通常，畸变包括径向畸变和切向畸变。(x,y)可用于表示图像平面上的投影坐标，例如(x_c,y_c)。径向畸变(δ_xr,δ_yr)可以表示为：

其中r²＝x²+y²，k₁，k₂，k₃…是径向畸变参数。切向畸变(δ_xt,δ_yt)可以表示为：

其中p₁、p₂是切向畸变参数。

在考虑摄像机畸变后，点p的畸变摄像机投影坐标(x_d,y_d)可表示为：

在投影转换之后，点p的摄像机图像坐标可以表示为：

其中f_u、f_v分别是沿u和v方向的有效焦距，s是坐标轴的倾斜参数，(u₀,v₀)是主点(即摄像机光轴与图像平面之间的交点)的坐标。

摄像机校准。摄像机校准旨在找到摄像机的重要参数，包括：

·外部参数：旋转R、平移T；

·固有参数：有效焦距f_u，f_u；倾斜参数s，主中心(u₀,v₀)；和

·畸变参数：径向畸变参数k₁、k₂和k₃；以及切向畸变参数p₁和p₂。

实际上，固有参数也包括畸变参数。一般来说，k₃和s足够小，在等式中通常被视为零。外部参数和内部参数可以表示为：

μ＝(R_c,T_c,f_u,f_v,s,u_o,v_o)，

并且所有畸变参数可以表示为：

λ＝(k₁,k₂,k₃,P₁,P₂)。

目标板。图26显示了用于校准的目标板上的恒星-行星图案。有7x5的恒星系统，每颗恒星都被9颗行星围绕。每个行星要么是实心圆，要么是空心圆。每个空心圆表示为1，实心圆表示为0。9颗行星编码一个二进制串。例如，顶行第二列行星系统26001表示字符串111100000。如果两个二进制字符串不同于循环排列，则它们是等价的。使用椭圆检测器检测恒星的中心。每个二进制串用于区分不同的恒星系统。如图26所示，左上角恒星的中心是世界坐标系的原点，水平和垂直方向沿X_w和Y_w轴，并且垂直于目标平面的方向为Z_w轴。

在校准过程期间，本系统和方法的示例性实施例固定目标板平面π的位置，并将目标板的本地坐标系当作世界坐标系。平面等式为Z_w＝0，而且每个恒星中心的中心都已知，并表示为

在校准过程中捕获每个恒星中心的图像坐标，并表示为：

{(u₁，v₁)，(u₂，v₂)，…，(u_n，v_n)}。

根据坐标的映射，

到{(u_i，v_i)}，示例性实施例可以估计外部和内部参数μ。

投影仪可以被视为摄像机的倒转。本系统和方法的示例性实施例可以将正弦条纹图案投影到目标板。

是目标板上恒星的中心。对应的

可以通过从条纹图像中提取的

处的展开相位来执行相应的处理。

内部和外部参数估计。图像形成映射(也称为正向投影)取决于外部参数和内部参数，

校准问题被表述为优化问题：

示例性实施例可以使用张氏算法来估计μ、外部参数和内部参数；然后固定μ，相对于λ优化E(λ,μ)；第三，固定λ，并相对于μ优化E(λ,μ)。张氏算法在Z.Zhang，一种灵活的摄像机校准新技术，IEEE模式分析和机器智能学报，22(11):1330-1334,2000中被进一步描述，其通过引用并入本文。通过交替优化，我们可以通过使用以下等式获得最佳结果：

(λ^*，μ^*)＝argmin_λ，μE(λ，μ)。

可以使用梯度下降算法进行优化：

可以使用类似的算法来估计投影仪的内部和外部参数。

畸变的校准板。实际上，用于校准的目标板不是理想的平面。理想情况总是有一些小的畸变。因此，在优化过程中，本系统和方法的示例性实施例也将恒星系统的中心视为变量。对于每个中心，理想的世界坐标为

其中

为0。坐标偏差可表示为

中心的真实世界坐标可以表示为：

偏差可表示为：

然后，系统的能量可以表示为：

优选地通过基于以下公式最小化能量来进行校准：

以这种方式将恒星系统的中心作为变量处理提高了校准精度。

相位-高度映射的模型。反向投影：海基尔公式。正投影的逆投影

称为反向投影。因为径向畸变等式(19)以及切向畸变等式(20)是非线性的，等式(21)中从(x,y)到(x_d,y_d)的变换不能直接反转。可能需要使用迭代方法或多项式近似来反转等式(21)。

实施例可以使用海基尔的多项式近似来计算逆变换：

其中G定义为

并且

是反向投影畸变参数。

虚拟参考平面上的相位分布。本系统和方法的示例性实施例可以基于以下描述计算虚拟参考平面上的相位分布。假设已知系统坐标系的摄像机参数λ、μ，反向投影可根据以下计算：

对于摄像机图像平面上的点(u_c,v_c)，坐标(x,y)可通过使用等式(22)和等式(23)获得，然后以下公式可以使用等式(17)利用坐标获得：

如果高度Z_w是固定的，则可以从上面的等式导出以下公式：

其中B表示为：

上述等式使得系统的示例性实施例能够为具有固定高度Z_w的虚拟参考平面生成从(u_c,v_c)到(X_w,Y_w)的映射。

类似地，在通过所述校准过程确定了投影仪的所有内部、外部和畸变参数之后，然后通过等式(17)、等式(18)、等式(19)、等式(20)、等式(21)和等式(22)，本方法可将具有固定Z_w的虚拟参考平面上的(X_w,Y_w)映射到投影仪图像坐标(u_p,v_p)。成分给出了从(u_c,v_c)到(u_p,v_p)的映射。

在校准过程中，投影仪图像坐标(u_p,v_p)可以表示为条纹相位，这给出了相应虚拟参考平面上的相位分布。

如果我们固定虚拟参考平面Z_w＝z，映射

给出了在每个(u_c,v_c)处的相位，我们将此映射表示为

相位-高度映射模型。示例性实施例可包括相位测量轮廓术(PMP)系统，其允许根据最佳路径可逆原理将投影仪视为摄像机。假设不存在畸变，可获得以下关系：

这允许表示以下关系：

在上述关系中，x_c＝X_c/Z_c，y_c＝Y_c/Z_c，x_p＝X_p/Z_p，y_p＝Y_p/Z_p。上述前3个关系可形成以下线性方程组：

线性方程组可以进一步简化为

以下方程式可从简化中导出

该等式还可导出以下等式：

等式28使得系统的示例性实施例能够生成无畸变的相位-高度映射。如果C₃(x_c,y_c)>>C₄(x_c,y_c)x_p(通常大多数PMP系统将满足此条件)，可以获得以下等式：

如图27所示，其示出了本系统和方法的示例性实施例中摄像机和投影仪之间的成像关系，直线O_cP，27001作为线l，27004投影在投影仪图像平面上，因此摄像机图像平面27002上的每个点(x_c,y_c)对应于投影仪图像平面27003上的一条线。如果存在畸变，线的投影是一条复杂的曲线。这种畸变可能很复杂，难以解释，并且可以使用以下多项式等式进行近似：

等式(31)可代入等式(30)以获得以下多项式表达式：

在示例性实施例中描述的PMP系统中，条纹的相位在投影仪图像平面上线性分布，因此相位

可用于将投影仪图像坐标u_p，x_pd表示为u_p的线性函数。这种考虑使得等式(32)计算为：

如上所述，已知以下映射关系是非线性的：

倒转的关系

也是非线性的，如果

由海基尔公式近似，表示为(x_c，y_c)＝f(u_c，v_c)，上述等式变为：

在该等式中，系数k_i o f(u_c,v_c)可表示为a_i(u_c,v_c)，相位函数

可以表示为

并且深度函数Z_w o f(u_c,v_c)可以表示为Z_w(u_c,v_c)。使用这些表示，本方法可基于以下内容生成最终相位-高度映射公式：

等式(34)使得能够将多项式近似用于相位-高度映射。

考虑到摄像机和投影仪的外部、内部参数(包括畸变参数)，本方法可以计算出虚拟参考平面上的相位分布，在等式(28)中表示为f_z(u_c,v_c)。一组深度z₁,z₂,···,z_n,可以被选择，并且摄像机平面上每个像素处的相位可以计算为

接下来等式(34)中的参数a₀(u_c，v_c)，a₁(u_c，v_c)，…，a_n(u_v，v_c)可以通过以下优化等式计算：

相位-高度映射校准。假设摄像机的内部参数恒定，示例性实施例可使用以下程序执行相位-高度映射校准：

·将平面目标放置在测量体积中的不同位置，表示为π₁,π₂,··,π_k。在每个位置估计从平面到摄像机图像平面的变换矩阵；变换矩阵表示为(R₁,T₁),(R₂,T₂),···,(R_k,T_k)。

·对于每对(R_i,T_i)和(R_j,T_j)，构造摄像机的内部参数和外部参数的线性方程组，并求解内部和外部参数μ。

·使用优化方法计算畸变参数λ，以及优化的内部参数和外部参数。

·固定不同深度z，通过使用(例如)等式(28)计算虚拟参考平面f_z(u_c,v_c)上的相位分布。

·通过每个像素(u_c,v_c)处的展开相位的多项式对相位-高度映射进行近似，例如使用等式(34)，其系数可使用优化方法来估计，例如等式(35)。

用于相位-高度映射校准的示例性系统图如图28所示。

摄像机校准过程。现在参考图29，图29描绘了示例性实施例的摄像机校准和点云生成过程的流程图，并进一步说明了图1中块120中的操作示例。在29001处，可使用例如图26所示的目标板，从系统中的摄像机捕获校准条纹图像。在29002，摄像机校准过程可以开始校准摄像机的各种参数，包括内部和外部参数。摄像机(例如，灰色摄像机、彩色摄像机和投影仪)的参数，可在29002处使用优化方程(例如，张氏算法和梯度下降算法)和从例如目标板的校准图像获得的各种原始图像进行校准。注意，摄像机可以是单个摄像机或布置用于立体采集的多个摄像机。在29004处从原始图像获得展开相位后，使用海基尔公式的反向投影校准技术可以生成相位-高度映射(29005)。从相位-高度映射，系统可以基于包括深度信息的条纹校准图像在29006处生成点云。同时，29003中获得的参数可用于29007中获得纹理坐标。同时，基于使用两个摄像机，系统可基于从具有两个不同视图的摄像机获得的图像，在29011处生成左环境和调制信息，在29012处生成右环境和调制信息。在29013处的立体配对算法等可以使用来自29011和29012的信息来基于立体图像捕获来计算深度信息。基于29008处输入的环境、调制和投影仪参数，可在29009处估计表面法线信息。基于估计的表面法线信息29009、条纹校准图像的纹理坐标29007、从条纹校准图像生成的点云29006以及立体配对信息29013，该系统可以生成非常精确的点云，表示由摄像机图像捕获的物体的深度图像，该点云解释了该图中描述的所有输入。

计算共形几何方法。在本系统和方法的示例性实施例中使用的软件基于计算共形几何方法。关于计算共形几何方法的其他背景信息在X.Gu,R.Guo,F.Luo,J.Sun和T.Wu，多面体曲面的离散均匀化定理Ⅱ，微分几何杂志，109(3):431-466,2018中以及在X.Gu,F.Luo和J.Sun和T.Wu，多面体曲面的离散均匀化定理，微分几何杂志，109(2):223-256,2018中描述，其均通过引用并入本文。共形几何方法通过保留局部形状，将3D几何任务转换为相应的2D图像任务，将3D表面变形到平面域上。为了配对和配准两个三维表面，示例性实施例可以使用共形几何中的黎曼映射算法(Riemann mapping algorithm)将表面映射到平面盘，然后直接比较它们的平面图像。这比传统方法更容易且更快。本文所述的共形几何方法可处理现实世界中具有复杂拓扑和几何结构的表面，并将其映射到三种典型形状之一，例如非球面、欧几里得平面或双曲面。反过来，准共形几何方法可用于映射具有各种类型约束和目标的平面图像。

例如，可以使用里奇(Ricci)流算法找到3D形状对平面的共形展平，该算法使黎曼度量与当前曲率成比例地变形。通过这种方式，曲率根据扩散反应过程演变，并最终变得恒定。具有最小弹性畸变能量的映射被建模为谐波映射，这可以使用非线性热流方法实现。具有最小角度畸变的映射被表示为泰克穆勒映射，该映射可以通过在全纯微分空间中搜索特殊的贝尔特拉米(Beltrami)系数来实现。有关此主题的其他背景信息在X.Yu,N.Lei,Y.Wang,X.Gu，基于动态里奇流和泰克穆勒映射的固有3D动态表面跟踪，2017年计算机视觉国际会议中描述，其通过引用并入本文。可以使用最优传输映射来计算保留区域元素的映射。有关最优传输映射使用的其他背景信息在X.Gu,F.Luo,J.Sun和S-T Yau，明可夫斯基(Minkowski)型问题、离散最优输运和离散蒙格安培(Monge-Ampere)方程的变分原理，20(2):383-398，亚洲数学杂志(AJM)，2016中描述，其通过引用并入本文。共形展平和表面配准算法可用于结肠癌筛查。此外，本系统和方法可实现用于图像分析、图像表面分割和面部检测应用的深度学习算法。

由本系统和方法的实施例实现的关于皮肤映射的软件功能包括：

·表面配准(Surface Registration)和图像配准(Image Registration)。捕获的具有纹理的3D表面序列将被精确配准，以便在序列中逐帧跟踪皮肤上的每个解剖点。这使得序列图像和序列曲面具有同情。

·几何、纹理分析。该算法计算皮肤表面上的主曲率方向场，跟踪表面上的皱纹曲线；该方法计算表面的曲率，脐点，其表示表面的粗糙度。该算法还可以找到曲率和彩色的极值点，这些是皮肤上的特征点。这种方法可以定位皮肤的异常。

·时间变化检测。该工具将量化皮肤颜色、纹理、粗糙度、局部形状和其他适用测量的变化。

表面重建过程。现在参考图30，该图描绘了一个显示本系统和方法的示例性实施例中的示例性表面重建过程的流程图，并进一步说明了图1中块125中的操作。在30001，系统可以通过例如图29所示的过程生成点云30001。系统然后可以执行在30002合并多个点云以在30003生成合并的点云的过程。从合并的点云，系统可以执行四面体网格生成(TetMeshGeneration)30004(这是一个已知的过程，用于在具有四面体元素的任意三维体积上创建网格)以及表面网格生成30005。在执行表面网格生成之后，系统可以在30006执行拓扑去噪，通过计算表面的基本组生成器(即句柄循环和通道循环)来去除伪句柄。来自30004处的四面体网格生成的输出可以输入到拓扑去噪30006过程中，用于使用持久同源性方法计算句柄和通道循环。之后，系统可以对拓扑去噪过程30006的产物执行几何去噪30007。接下来，可执行共形参数化30008，然后可执行德劳内三角剖分(Delaunay Triangularization)30009或形心泰森多边形镶嵌(centroidal Voronoi tessellation)30010。最后，可在30011处生成高质量三角形网格。

形状分析过程。现在参考图31，图31描绘了一个显示本系统和方法的示例性实施例中的示例性形状分析过程的流程图，并进一步示出了图1中的块130。在31001处，可输入三角形网格，该网格可通过例如图30中概述的过程生成。下一个共形映射(ConformalMapping)31002可在三角形网格上执行。共形映射算法可应用于将表面(从三角形网格)共形映射到规范平面域，例如将人类面部表面映射到单位盘或环上。在此步骤中，可将区域畸变因子视为概率密度。可以使用里奇流算法找到3D形状对平面的共形展平，该算法使黎曼度量与当前曲率成比例地变形。然后可以执行最优传输映射31003。由于共形映射在保留角度的同时引入区域畸变，而最佳传输映射在保留区域的同时引入角度畸变，因此这两个过程是互补的，将这些过程结合起来可以提供更准确的特征提取。计算了区域畸变因子和勒贝格测度(Lebesgue measure)之间的最佳传输映射。最优传输映射的成本是形状之间的重要度量，也可用于形状分类和分析。

在此步骤之后，系统执行几何特征提取31004，从而能够提取几何特征31005。同时，系统可接收纹理图像31006，并执行图像特征提取31007以获得图像特征31008。图像特征31008可以在31009处通过各种其他技术来细化和/或以其他方式辅助，例如的分割、SIFT特征、特征点提取、面部检测和黑色素瘤检测。然后，系统可以对来自三角形网格31001的几何特征31005和来自纹理图像31006的图像特征31008两者使用基于泰克穆勒映射/最优传输的过程31010。接下来，系统将执行动态形状跟踪31011。最后在31012，系统可以执行图像分析和/或在实时跟踪应用中使用处理后的信息。

应用。本发明实施例中描述的新颖系统可以用作平台技术，其可以在广泛的应用领域中解锁变革性创新，领域包括医疗保健(例如，皮肤病学、正畸学、整形外科和放射治疗)；化妆品和护肤品；电影和游戏(例如虚拟现实和增强现实)；工程和制造；以及安全和执法。

医疗领域。早期检测黑色素瘤可以通过降低身体其他部位的癌症风险来挽救生命并改善治疗结果。早期检测和治疗非黑色素瘤皮肤癌可以最大限度地减少毁容，提高许多患者的生活质量和生产力。在本发明的示例性实施例中描述的自动顺序图像分析软件可以为皮肤科医生提供强大的工具，以做出明智的临床决策。因此，由于现有皮肤检查方法(即2D成像或裸眼目视检查)的低效和无效，目前正在进行的不必要的活检数量可能会显著减少。通过优化皮肤评估过程、节省医生的时间、降低整体护理成本和促进远程皮肤病服务，本发明示例性实施例中描述的技术将使所有患者更能负担得起皮肤癌筛查和早期检测。

使用在示例性实施例中描述的高性能3D成像系统的实时监控解决方案还可应用于在放射治疗期间确定准确的患者位置监控，确保患者安全和有效治疗。通过消除使用X射线(即车载kV和CBCT成像)跟踪患者位置的需要，现有技术将辐射暴露降至最低，从而改善接受癌症治疗的患者的健康和福利。它还消除了治疗师的负担和压力，他们经常在没有我们的技术的情况下通过视频监视器观看患者的身体运动。

目前的3D图像分析软件提供了具有高精度和高效率的自动位置跟踪解决方案，从而提高了患者癌症护理团队的生产力。例如，在黑色素瘤检测的情况下，可以使用示例性实施例中描述的系统在一年中的不同时间扫描患者的面部，并通过计算算法进行比较。皮肤可以以毫米分辨率进行筛查以定位异常。皮肤科医生可能会进一步检查患者的可疑部位，以便做出明智的医疗决定。与传统诊断过程相比，本发明示例性实施例所实现的过程将大大减少时间、成本并提高准确性。

由本发明的示例性实施例描述的系统还可以应用于牙医比较由正畸手术引起的软组织变形，并且可以为医生提供用于设计定制治疗计划的可操作信息。它可以有效、准确地监测手术效果，并对治疗进行及时、适当的调整。患者将从手术中获得更理想的结果，同时将承受变形或其他显著副作用的风险降至最低。临床医生从为患者提供高质量护理中受益于提高的生产力和工作满意度。

传统的X射线成像只能捕获牙齿和骨骼的形状，但软组织的变形，如人类面部皮肤，无法测量。由本发明的示例性实施例描述的系统可以在正畸手术之前和之后捕获面部形状，并且软件可以对表面进行配准并准确地进行比较。牙医将能够根据变形的测量结果调整其操作。

由本发明的示例性实施例描述的系统也可用于整形外科应用。它可以帮助医生评估手术结果，并通过精确记录患者面部的3D形状来制定明智的手术计划，以便进行比较。此外，本发明的示例性实施例所述的系统能够捕获动态面部表情，这将有助于检测特定面部肌肉运动的细节。例如，这种特征可用于评估效果，并有助于注射肉毒杆菌毒素。

游戏和电影。通过本发明的示例性实施例获得的动态人体面部几何形状和纹理可以应用于计算机游戏行业和电影行业。面部表情捕获是动画中最具挑战性的任务之一。系统捕获的动态几何数据可以帮助克服这一挑战。

大规模虚拟现实和增强现实实现的瓶颈之一是内容生成。如今，大多数动画都是由动画师手动生成的。本文描述的本发明能够比传统方法更直接地捕捉动态VR内容。

安全。将本发明的示例性实施例中描述的技术集成到面部识别应用中在提供急需的安全解决方案方面具有巨大的潜力。与2D格式的ID照片相比，使用本文所述技术的3D面部识别和高级实时动态3D面部识别将提供更高的准确性和可靠性。本文描述的发明可以帮助面部数据采集，并且可以用于公共交通系统(例如机场、火车站、地铁和渡轮)的国土安全目的。它还可以用于驾驶执照、社会保障、护照和银行系统。

尽管已经公开了几个实施例，但应当认识到，这些实施例并非相互排斥。

下文将描述本发明的系统和方法的实施的一般方面。

本发明的系统或本发明的部分系统可以是“处理机器”的形式，例如通用计算机。如本文所用，术语“处理机器”应理解为包括使用至少一个存储器的至少一个处理器。至少一个存储器存储一组指令。指令可以永久地或临时地存储在处理器的存储器中。处理器执行存储在存储器中的指令以处理数据。指令集可以包括执行特定任务(诸如上述那些任务)的各种指令。这种用于执行特定任务的指令集可以被表征为程序、软件程序或简单的软件。

在一个实施例中，处理机器可以是专用处理器。

如上所述，处理机器执行存储在存储器中的指令来处理数据。数据的这种处理可以例如响应于处理器的一个或多个用户的命令，响应于先前的处理，响应于另一处理器的请求和/或任何其他输入。

如上所述，用于实现本发明的处理机器可以是通用计算机。然而，上述处理机器也可以使用多种其他技术中的任何一种，包括一个或多个图形处理单元(GPU)、专用计算机、计算机系统(例如包括微型计算机、小型计算机或大型机、编程微处理器、微控制器)、外围集成电路元件、CSIC(客户专用集成电路)、或ASIC(专用集成电路)或其他集成电路、逻辑电路、数字信号处理器、可编程逻辑设备(例如FPGA、PLD、PLA或PAL)或任何其他能够实施本发明方法的步骤的装置或装置的布置。

用于实现本发明的处理机器可以利用适当的操作系统。因此本发明的实施例可以包括处理机器，处理机器运行iOS操作系统、OS X操作系统、安卓操作系统、MicrosoftWindows^TM操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIX^TM操作系统、惠普(Hewlett-Packard)UX^TM操作系统、Novell Netware^TM操作系统、太阳微系统(SunMicrosystems)Solaris^TM操作系统、OS/2^TM操作系统、BeOS^TM操作系统、麦金塔(Macintosh)操作系统、阿帕奇(Apache)操作系统、OpenStep^TM操作系统或另一操作系统或平台。

应当理解，为了实践如上所述的本发明的方法，处理器和/或处理器的存储器不必物理地位于相同的地理位置。也就是说，处理机器使用的每个处理器和存储器可以位于地理上不同的位置，并且可以以任何合适的方式进行通信。此外，应当理解，每个处理器和/或存储器可以由不同的物理设备组成。因此，处理器不必是一个位置中的一件设备，而存储器不必是另一位置中的另一件设备。也就是说，可以设想处理器可以是位于两个不同物理位置的两件设备。两个不同的设备可以以任何合适的方式连接。此外，存储器可以包括在两个或多个物理位置中的两个或更多个存储器的部分。

为了进一步解释，如上所述，处理由各种组件和各种存储器执行。然而，应当理解，根据本发明的另一个实施例，如上所述由两个不同组件执行的处理可以由单个组件执行。此外，如上所述由一个不同组件执行的处理可以由两个不同组件来执行。按照类似的方式，根据本发明的另一个实施例，如上所述由两个不同的存储器部分执行的存储器存储可由单个存储器部分执行。此外，如上所述由一个不同的存储器部分执行的存储器存储可以由两个存储器部分执行。

此外，各种技术可用于提供各种处理器和/或存储器之间的通信，以及允许本发明的处理器和/或者存储器与任何其他实体通信；即例如以便获得进一步的指令或访问和使用远程存储器存储。用于提供此类通信的此类技术例如可能包括网络、因特网、内联网、外联网、局域网、以太网、通过蜂窝塔或卫星的无线通信，或提供通信的任何客户端服务器系统。此类通信技术可以使用任何合适的协议，例如TCP/IP、UDP或OSI。

如上所述，一个指令集可用于本发明的处理。指令集可以是程序或软件的形式。软件可以是系统软件或应用软件的形式。例如，软件也可以是单独程序的集合、较大程序中的程序模块或程序模块的一部分。所使用的软件还可以包括面向对象编程形式的模块化编程。软件告诉处理机器如何处理正在处理的数据。

此外，应理解，在本发明的实施和操作中使用的指令或指令集可以是适当的形式，使得处理器可以读取指令。例如，形成程序的指令可以是合适的编程语言的形式，该编程语言被转换为机器语言或目标代码，以允许一个或多个处理器读取指令。也就是说，使用编译器、汇编程序或解释器将特定编程语言编写的编程代码或源代码转换为机器语言。机器语言是特定于特定类型的处理机器(例如，特定类型的计算机)的二进制编码机器指令。计算机能理解机器语言。

根据本发明的各种实施例，可以使用任何合适的编程语言。举例来说，所使用的编程语言例如可能包括汇编语言、Ada、APL、Basic、C、C++、Python、COBOL、dBase、Forth、Fortran、Java、Modula-2、Pascal、Prolog、REXX、Visual Basic和/或JavaScript。此外，没有必要结合本发明的系统和方法的操作使用单一类型的指令或单一编程语言。相反，可以根据需要和/或期望使用任意数量的不同编程语言。这些程序还可以使用特殊的库，例如OpenGL、CUDA、Qt、OpenCV、TensorFlow、Pytorch。

本领域技术人员将容易理解，本发明易于广泛实用和应用。在不脱离本发明的实质或范围的情况下，本发明的许多实施例和改编(本文所述的实施例和修改除外)以及许多变化、修改和等效布置将从本发明及其前面的描述中显而易见或合理地建议。

尽管本发明的实施例已在本文中针对特定目的在特定环境中的特定实现的上下文中描述，本领域技术人员将认识到，其用途不限于此，并且为了类似的目的，本发明的实施例可以有利地在其他相关环境中实现。

Claims (84)

1.一种用于三维扫描的计算机实现的系统，包括：

投影仪，所述投影仪配置为将结构光投射到三维物体上；

摄像机，所述摄像机配置为捕获所述物体的条纹图像；

处理器，所述处理器配置为处理所述条纹图像以提取相位图和纹理图像，从而从所述相位图计算深度信息，并基于所述深度信息和所述纹理图像执行3D表面重建。

2.根据权利要求1所述的系统，其中所述结构光包括多条相线，并且每条相线被畸变为所述三维物体上的曲线。

3.根据权利要求1所述的系统，其中所述图像由第一摄像机和第二摄像机所捕获，所述第一摄像机用于捕获所述三维物体的条纹图像，所述第二摄像机用于捕获所述物体的彩色纹理图像。

4.根据权利要求3所述的系统，其中所述第一和第二摄像机的曝光周期是同步的。

5.根据权利要求4所述的系统，其中所述第一摄像机被触发以在每个关闭周期捕获图像，而且所述第二摄像机被触发以在每三个关闭周期捕获图像。

6.根据权利要求1所述的系统，其中所述结构光由正弦条纹图案组成，每个条纹图案都具有通道。

7.根据权利要求6所述的系统，其中所述条纹图案为散焦图案。

8.根据权利要求7所述的系统，其中所述条纹图案具有低于8位的质量。

9.根据权利要求1所述的系统，其中所述处理器基于所述条纹图像的强度偏置分量、所述条纹图像的调制分量和所述条纹图像的展开相位的考虑，生成所述相位图。

10.根据权利要求9所述的系统，其中所述处理器使用希尔伯特变换基于所述展开相位确定包裹相位。

11.根据权利要求10所述的系统，其中所述处理器通过重复以下步骤，使用质量引导路径跟踪算法确定所述包裹相位：

选择第一像素；

确定所述第一像素的所述包裹相位Φ(x，y)；

将与所述第一像素相邻的像素放入优先级队列；

从所述优先级队列中选择质量最高的第二像素。

12.根据权利要求10所述的系统，其中所述处理器使用双波长相位展开算法确定所述展开相位；其中，所述投影仪投射具有第一波长λ₁的第一条纹图案，以及具有第二波长λ₂的第二条纹图案，而且λ₁<λ₂，并且所述双波长相位展开算法根据所述第一和第二条纹图案的所述包裹相位确定所述展开相位。

13.根据权利要求10所述的系统，其中所述处理器基于马尔可夫随机场方法确定所述展开相位。

14.根据权利要求1所述的系统，其中所述纹理图像用于由所述处理器使用基于深度学习的计算机视觉算法查找面部特征点并执行面部特征提取；其中所述计算机视觉算法是以下中的一种：SSD结构网络和回归树集合。

15.根据权利要求1所述的系统，其中面部皮肤区域的质量图和掩模由所述纹理图像生成，并且所述质量图和所述掩模由所述处理器输入到相位展开算法中，以确定展开相位。

16.根据权利要求1所述的系统，其中所述处理器将点的世界坐标转换为摄像机坐标。

17.根据权利要求16所述的系统，其中所述处理器将所述摄像机坐标转换为摄像机投影坐标。

18.根据权利要求17所述的系统，其中所述处理器将所述摄像机投影坐标转换为畸变的摄像机投影坐标。

19.根据权利要求18所述的系统，其中所述处理器将所述畸变的摄像机投影坐标转换为摄像机图像坐标。

20.根据权利要求1所述的系统，其中使用目标板校准所述摄像机的外部和内部参数。

21.根据权利要求20所述的系统，其中所述目标板包括恒星-行星图案，所述恒星-行星图案包含多个较大的圆形恒星，每个恒星被较小的圆形行星围绕；其中每颗行星都是一个实心或空心的圆。

22.根据权利要求21所述的系统，其中所述摄像机的所述外部和内部参数作为优化过程进行校准。

23.根据权利要求22所述的系统，其中所述摄像机的所述外部和内部参数使用张氏算法和基于梯度下降的优化算法中的一种进行校准。

24.根据权利要求23所述的系统，其中所述摄像机的所述外部和内部参数的校准将所述多颗恒星中的每个的中心位置作为所述优化过程中的变量考虑在内。

25.根据权利要求1所述的系统，其中畸变参数由所述处理器使用海基尔公式确定。

26.根据权利要求1所述的系统，其中所述处理器基于所述深度信息生成至少一个点云，并且所述处理器处理所述点云以形成高质量三角形网格；其中所述处理器执行用于图像和形状分析以及实时跟踪应用的共形几何方法。

27.根据权利要求26所述的系统，其中所述处理器进一步配置为在生成至少一个点云的过程中使用环境、调制和投影仪参数来估计表面法线信息。

28.根据权利要求26所述的系统，其中所述处理器进一步配置为在生成至少一个点云的过程中，使用持久同源算法计算句柄循环和通道循环，以进行拓扑去噪。

29.根据权利要求26所述的系统，其中所述处理器进一步配置为执行共形参数化，并且将德劳内三角剖分和形心泰森多边形镶嵌中的一个应用在所述共形参数化的输出，以生成所述高质量三角形网格。

30.根据权利要求1所述的系统，其中从两个不同的视角捕获图像以获得立体深度信息；其中所述处理器使用马尔可夫随机场方法来：i)确定每个像素的绝对相位，以从所述条纹图案确定深度信息，以及ii)以及执行立体配对方法以获取所述立体深度信息。

31.根据权利要求30所述的系统，其中所述处理器配置为使用所述深度信息和所述立体深度信息作为所述生成至少一个点云的输入。

32.根据权利要求1所述的系统，其中第一条纹图像在第一次被捕获并用于由所述处理器执行第一3D表面重建，第二条纹图像在第二次被捕获并且用于由所述处理器执行第二3D重建，并且注册所述第一和第二3D重建以进行比较。

33.根据权利要求32所述的系统，其中使用共形几何将所述第二3D重建注册到所述第一3D重建。

34.根据权利要求33所述的系统，其中通过将所述表面映射到平面并比较得到的平面图像，将所述第二3D重建注册到所述第一3D重建。

35.根据权利要求32所述的系统，其中所述比较是通过至少一个最优传输映射确定的。

36.根据权利要求35所述的系统，其中将快速傅里叶变换应用于所述至少一个最优传输映射。

37.根据权利要求32所述的系统，其中从所述第一和第二条纹图像中提取纹理特征和所述几何特征。

38.根据权利要求32所述的系统，其中所述比较使用泰克穆勒映射(Teichmullermaps)来加强从所述第一和第二条纹图像中提取的特征的对齐，以减少畸变。

39.根据权利要求1所述的系统，还包括至少一个棱镜，以改变所述投影仪或所述摄像机之一的路径。

40.根据权利要求1所述的系统，其中所述处理器进一步配置为在所述摄像机的每个像素处将相位-高度映射建模为多项式函数，其中所述处理器还配置为使用优化算法估计摄像机-投影仪校准过程中的多项式的系数。

41.根据权利要求40所述的系统，其中所述相位-高度映射的多项式表示被存储为配置文件。

42.一种用于三维扫描的计算机实现的方法，包括：

通过投影仪将结构光投射到三维物体上；

通过摄像机捕获所述物体的条纹图像；

通过处理器处理所述条纹图像以提取相位图和纹理图像；

通过所述处理器从所述相位图计算深度信息；以及

基于所述深度信息和所述纹理图像进行3D表面重建。

43.根据权利要求42所述的方法，其中所述结构光包括多条相线，并且每条相线被畸变为所述三维物体上的曲线。

44.根据权利要求42所述的方法，其中所述图像由第一摄像机和第二摄像机捕获，所述第一摄像机用于捕获所述三维物体的所述条纹图像，所述第二摄像机用于捕获所述物体的彩色纹理图像。

45.根据权利要求44所述的方法，其中所述第一和第二摄像机的曝光周期是同步的。

46.根据权利要求45所述的方法，其中所述第一摄像头被触发以在每个关闭周期捕获图像，并且所述第二摄像头被触发以在每三个关闭周期捕获图像。

47.根据权利要求42所述的方法，其中所述结构光由正弦条纹图案组成，每个条纹图案都具有通道。

48.根据权利要求47所述的方法，其中所述条纹图案为散焦图案。

49.根据权利要求47所述的方法，其中所述条纹图案具有低于8位的质量。

50.根据权利要求42所述的方法，其中所述处理器基于所述条纹图像的强度偏置分量、所述条纹图像的调制分量和所述条纹图像的展开相位的考虑，生成所述相位图。

51.根据权利要求50所述的方法，其中所述处理器仅使用具有希尔伯特变换的单个图像，根据所述展开相位确定包裹相位。

52.根据权利要求51所述的方法，其中所述处理器通过重复以下步骤，使用质量引导路径跟踪算法确定所述包裹相位：

选择第一像素；

确定所述第一像素的所述包裹相位Φ(x,y)；

将与所述第一像素相邻的像素放入优先级队列；

从所述优先级队列中选择质量最高的第二像素。

53.根据权利要求51所述的方法，其中所述处理器使用双波长相位展开算法确定所述展开相位；其中，所述投影仪投射具有第一波长λ₁的第一条纹图案，以及具有第二波长λ₂的第二条纹图案，而且λ₁<λ₂，并且所述双波长相位展开算法根据所述第一和第二条纹图案的所述包裹相位确定所述展开相位。

54.根据权利要求51所述的方法，其中所述处理器基于马尔可夫随机场方法确定所述展开相位。

55.根据权利要求42所述的方法，其中所述纹理图像用于由所述处理器使用基于深度学习的计算机视觉算法来查找面部特征点并执行面部特征提取；其中所述计算机视觉算法是以下中的一种：SSD结构网络和回归树集合。

56.根据权利要求55所述的方法，其中面部皮肤区域的质量图和掩模由所述纹理图像生成，并且所述质量图和所述掩模由所述处理器输入到相位展开算法中，以确定展开相位。

57.根据权利要求42所述的方法，其中所述处理器将点的世界坐标转换为摄像机坐标。

58.根据权利要求57所述的方法，其中所述处理器将所述摄像机坐标转换为摄像机投影坐标。

59.根据权利要求58所述的方法，其中所述处理器将所述摄像机投影坐标转换为畸变的摄像机投影坐标。

60.根据权利要求59所述的方法，其中所述处理器将所述畸变的摄像机投影坐标转换为摄像机图像坐标。

61.根据权利要求60所述的方法，其中使用目标板校准所述摄像机的外部和内部参数。

62.根据权利要求61所述的方法，其中所述目标板包括恒星-行星图案，所述恒星-行星图案包含多个较大的圆形恒星，每个恒星被较小的圆形行星围绕；其中每颗行星都是一个实心或空心的圆。

63.根据权利要求62所述的方法，其中所述摄像机的所述外部和内部参数作为优化过程进行校准。

64.根据权利要求63所述的方法，其中使用张氏算法和基于梯度下降的优化算法中的一种校准所述摄像机的所述外部和内部参数。

65.根据权利要求63所述的方法，其中所述摄像机的所述外部和内部参数的校准将所述多颗恒星中的每个的中心位置作为所述优化过程中的变量考虑在内。

66.根据权利要求42所述的方法，其中畸变参数由所述处理器使用海基尔公式确定。

67.根据权利要求42所述的方法，其中所述处理器基于所述深度信息生成至少一个点云，并且所述处理器处理所述点云以形成高质量三角形网格；其中所述处理器执行用于图像和形状分析以及实时跟踪应用的共形几何方法。

68.根据权利要求67所述的方法，其中所述处理器进一步在生成至少一个点云的过程中使用环境、调制和投影仪参数来估计表面法线信息。

69.根据权利要求68所述的方法，其中在生成至少一个点云的过程中，持久同源算法计算句柄循环和通道循环，以进行拓扑去噪。

70.根据权利要求68所述的方法，其中执行共形参数化，并且将德劳内三角剖分和形心泰森多边形镶嵌中的一个应用在所述共形参数化的输出，以生成所述高质量三角形网格。

71.根据权利要求42所述的方法，其中从两个不同的视角捕获图像以获得立体深度信息；其中所述处理器使用马尔可夫随机场方法来：i)确定每个像素的绝对相位，以从所述条纹图案确定深度信息，以及ii)以及执行立体配对方法以获取所述立体深度信息。

72.根据权利要求72所述的方法，其中所述处理器使用所述深度信息和所述立体深度信息作为所述生成至少一个点云的输入。

73.根据权利要求42所述的方法，其中第一条纹图像在第一次被捕获并用于执行第一3D表面重建，第二个条纹图像在第二次被捕获并且用于执行第二3D重建，并且注册所述第一和第二3D重建以进行比较。

74.根据权利要求74所述的方法，其中使用共形几何将所述第二3D重建注册到所述第一3D重建。

75.根据权利要求75所述的方法，其中通过将所述表面映射到平面并比较得到的平面图像，将所述第二3D重建注册到所述第一3D重建。

76.根据权利要求76所述的方法，其中通过使用黎曼映射算法将所述表面映射到平面磁盘并比较得到的平面图像，将所述第二3D重建注册到所述第一3D重建。

77.根据权利要求76所述的方法，其中所述第一和第二3D重建表示患者解剖结构的至少一个区域，并且其中所述比较包括对解剖结构进行至少一次分析，以确定是否存在指示医疗状况的变化。

78.根据权利要求73所述的方法，其中所述比较是通过至少一个最优传输映射确定的。

79.根据权利要求78所述的方法，其中将快速傅里叶变换(FFT)应用于所述至少一个最优传输映射。

80.根据权利要求73所述的方法，其中从所述第一和第二条纹图像中提取纹理特征和所述几何特征。

81.根据权利要求73所述的方法，其中所述比较使用泰克穆勒映射来加强从所述第一和第二条纹图像中提取的特征的对齐，以减少畸变。

82.根据权利要求42所述的方法，其中至少一个棱镜改变所述投影仪或所述摄像机之一的路径。

83.根据权利要求42所述的方法，其中相位-高度映射建模为在所述摄像机的每个像素处的多项式函数，其中使用优化算法估计在摄像机-投影仪校准过程中的多项式的系数。

84.根据权利要求83所述的方法，其中所述相位-高度映射的多项式表示被存储为配置文件。

Images