CN105339980B - 具有嵌入辅助图案的条纹的绝对相位测量方法和系统 - Google Patents

Abstract

当嵌有辅助图案的相移条纹被投影到场景时，捕捉该场景的多个图像。基于捕捉到的图像来生成包裹相位图，并且确定连续区域掩模以将包裹相位图分割成多个连续区域。至少部分地基于嵌入的辅助图案来为每一区域确定条纹的期差，并且将区域性期差应用于空间展开的相位图以产生绝对相位图以及最终的深度图。

Description

具有嵌入辅助图案的条纹的绝对相位测量方法和系统

技术领域

本发明涉及使用嵌入辅助图案的条纹图案的相移轮廓测量。

背景技术

三维形状测量在众多领域中扮演关键角色，包括但不限于制造、医疗、安全和娱乐。在各种可用的3D扫描技术中，存在投影精心制作的空间编码图案的各种单摄技术，这些技术适于时间关键情况下的3D测量。公知的深度相机属于该类别。(深度相机由PrimeSense开发并被华盛顿州雷蒙德市的微软公司收购)投影红外斑点图案(即，分散点图案)，该红外斑点图案是高度随机的，并由此提供足够的可辨识性来检测空间中的图案变形。然而，任何形式的空间编码在解码期间暗示局部深度平滑性和邻域依赖性，这不可避免地导致准确性和数据密度的丢失。

作为对比，具有条纹投影的相移轮廓测量(PSP)由于其高准确性和高数据密度而被广泛地采用。一般而言，PSP适合静态测量，因为它要求多个图案被顺序地投影。对于最常用的正弦条纹，需要至少三个图像来生成相位图。而且，由于正弦信号的周期性，所获取的相位图是被包裹的(wrapped)。为了恢复绝对相位以用于复杂场景的不模糊3D测量，实际图像获取数通常比三个多得多。相机和投影仪技术的进步已经使得能够通过PSP来进行快速且准确的3D扫描。对测量过程的进一步加速可通过减少用于绝对相位恢复的图像获取数来获得。

发明内容

本文描述了使用嵌入辅助图案的条纹图案的相移轮廓测量(PSP)，该条纹图案允许使用理论上最少的仅仅三个图像的准确的相位模糊解决方案。辅助图案被嵌入三个相移条纹图案，以使得相位计算独立于所嵌入的辅助图案，该辅助图案在不减少条纹的振幅的情况下被嵌入，并且条纹的频率不受限。在一方面，辅助图案是高度可辨识的斑点图案。从三个接收到的图像中生成包裹相位图，并且确定连续区域掩模以便在该包裹相位图中指示各自对应于从中捕捉到这些图像的场景中的连续表面的多个连续区域。基于所嵌入的辅助图案，使用期差投票策略(period disparity voting strategy)来恢复每一区域的绝对相位。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，术语“工具”可以指上述上下文和通篇文档所准许的设备、系统、方法、和/或计算机可读介质。

附图说明

参考附图来描述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在各附图中，使用相同的标号来指示相同的特征和组件。

图1是其中可实现具有嵌入辅助图案的条纹的相移轮廓测量的示例环境的图示。

图2是示出示例投影仪和示例相机的严格垂直对齐的图示。

图3是示出被配置成实现相移轮廓测量的示例计算设备的各组件的框图。

图4是三个示例相移条纹图案的图示。

图5是示例模拟随机斑点图案的图示。

图6是示出在参考平面捕捉到的斑点图像的归一化互相关(NCC)统计数据的线图。

图7是示出用于在条纹图案中嵌入辅助图案的示例解决方案的图示。

图8是示出在参考平面捕捉到的嵌入斑点的条纹图像的归一化互相关(NCC)统计数据的线图。

图9是用于使用嵌入斑点的条纹来执行相移轮廓测量的示例过程的流程图。

图10是用于在包裹相位图中执行连续区域检测的示例过程的流程图。

图11是示出相邻像素的图示，将要分析这些相邻像素以确定作为直接近邻的像素是否在同一连续区域内。

图12是用于确定连续区域掩模中的特定区域的期差的示例过程的流程图。

图13是示例连续区域掩模的五个相应区域的五个示例直方图的集合。

具体实施方式

本文描述了使用嵌入辅助图案的正弦条纹图案的示例相移轮廓测量(PSP)，该正弦条纹图案允许使用理论上最少的仅仅三个图像的相位模糊解决方案。三个条件的同时满足导致相位测量的准确性。第一，相位计算独立于所嵌入的信号；第二，条纹振幅不为容纳所嵌入的信号而减少，由此保持PSP的信噪比(SNR)；以及第三，高频条纹可被用来实现高准确性测量。

给定以上三个条件，在设计用于三步PSP的嵌入代码时存在若干挑战。例如，为了满足第一个条件，所嵌入的信号在三个图像中的每一个中都应该是相同的，这排除了在时域内编码的可能性。第二个条件显著地显著留给空间编码的空间。如第三个条件所指示的，如果条纹频率为高，则基于每一周期内的像素强度的差异来标识条纹次序是不可靠的。

包裹相位图中的底层模糊性在两个方面受限。第一，给定每一像素的包裹相位，与绝对相位的可能差异受到条纹周期数的限制。第二，连续表面上的每一像素的期差在直接空间相位展开后将会是相同的。

使用理论上最少的仅仅三个图像的相位模糊解决方案通过使用同时满足以上定义的三个条件中的每一个的三个嵌入辅助图案的条纹图案来获取。然后，依靠所嵌入的辅助图案信号，使用高效且稳健的投票策略来逐个区域地，而不是逐个像素地恢复绝对相位。结果是不模糊的三步PSP，该三步PSP提供了能够测量具有多个分隔对象和不连续的表面变化的复杂场景的快速且准确的3D扫描。

示例环境

图1示出了其中可实现使用嵌入辅助图案的条纹投影的相移轮廓测量(PSP)的示例环境100。示例环境100包括在通信上耦合到投影仪104和相机106的计算设备102以及与该投影仪和相机的光路正交定向的参考平面108(例如，光滑的墙或屏幕)。环境100还包括场景110，该场景包括一个或多个对象112。

为了获取对场景110的三维度量，投影仪104投影嵌有辅助图案116的条纹图案114。当嵌入辅助图案的条纹118被投影到场景110上时，相机106捕捉到图像120。图1示出了水平条纹图案114。如此处所描述的PSP还可使用其他条纹图案定向(例如，垂直条纹图案)来实现。

图2示出了投影仪104和相机106的示例垂直对齐。如图所示，在示例实现中，投影仪104和相机106的光路在垂直方向上严格对齐，如垂直线202所示。在投影仪和相机垂直对齐的情况下，相机捕捉到的图像将参考从投影仪投影的图像来被垂直而非水平移位。虽然严格的垂直对齐并非必需，但如果相机和投影仪不是垂直对齐的，则还将存在水平移位，并且这一水平移位将需要被包括在本文描述的各种计算中。

示例计算设备

图3示出了实现如本文描述的相移轮廓测量的示例计算设备102的各组件。计算设备102表示可实现相移轮廓测量的任何类型的设备，包括但不限于台式计算机系统、膝上型计算机系统、平板计算机系统、移动计算设备等。示例计算设备102包括一个或多个通信接口302、一个或多个处理器304和存储器306。通信接口302使得计算设备能够与诸如投影仪104和相机106等其他设备进行通信。通信接口302可包括但不限于网络接口、音频/视频输入/输出、有线接口、无线接口等。

操作系统308、相移轮廓测量应用310以及一个或多个其他应用312作为计算机可读指令被存储在存储器306中，并且至少部分地在处理器304上执行。

相移轮廓测量应用310包括条纹图案模块314、辅助图案模块316、嵌入图案模块318、包裹相位图模块320、空间相位展开模块322、相位恢复模块324以及深度图模块326。条纹图案模块314生成具有递增相移的正弦条纹图案的序列。辅助图案模块316生成将被嵌入条纹图案的辅助图案。嵌入图案模块318将辅助图案嵌入条纹图案。包裹相位图模块320基于三个捕捉到的图像来生成包裹相位图。空间相位展开模块322从包裹相位图中产生空间展开的相位图。

相位恢复模块324确定绝对相位图。相位恢复模块324包括连续区域检测模块328、期差投票模块330和绝对相位图模块332。

连续区域检测模块328基于分隔对象或不连续的表面变化所导致的不连续性来从包裹相位图中生成连续区域图。期差投票模块330执行投票过程以确定每一连续区域的期差(即，区域性期差)。绝对相位图模块332使用区域性期差值来恢复绝对相位图。

深度图模块326使用绝对相位图来产生表示捕捉到的场景的3D形状的深度图。

虽然在图3中被示为存储在计算设备102的存储器306中，但相移轮廓测量应用310或其各部分可以使用可由计算设备102访问的任何形式的计算机可读介质来实现。此外，在替换实现中，操作系统308的一个或多个组件、相移轮廓测量应用310和其他应用312可作为集成电路的一部分来实现，该集成电路是计算设备102的一部分或可由计算设备102来访问。

计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。

计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。

相反，通信介质可在诸如载波之类的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。

三步相移

图4示出了具有递增相移的三个正弦条纹图案的序列402。在使用水平条纹的三步相移轮廓测量(PSP)中，第k个(k＝1，2，3)条纹图案被描述为

其中C、A、N和H是分别表示投影图案的DC偏移量、振幅、周期数和垂直分辨率的常量。为了执行三步PSP，使用投影仪104来投影条纹图案的序列402，并且然后使用相机106来捕捉图像序列。

对应的捕捉到的图像被描述为

其中I_C(x′，y′)＝α(x′，y′)[C+β(x′，y′)]且I_A(x′，y′)＝α(x′，y′)A。(x′，y′)表示相机坐标以便与表示投影仪坐标的(x，y)区分开来，并且α(x′，y′)和β(x′，y′)分别表示反照率(albedo)和环境光照。

等式(2)中存在三个未知数，即DC偏移量I_c(x′，y′)、振幅I_A(x′，y′)和相位φ(x′，y′)。因此，至少需要三个图像来将相位求解为：

然而，以上相位范围仅仅从0到2π，这将导致相位图中的2π不连续。因此，使用相位展开来将包裹相位转换成绝对相位：

φ_a(x′，y′)＝φ(x′，y′)+d(x′，y′)×2π (4)

其中期差d(x′，y′)是[0，N-1]内的一个整数。一旦获取绝对相位，就可通过投影仪和相机之间的三角剖分来计算每一场景点处的深度。

辅助图案生成

如上所讨论的，相位测量的准确性取决于三个条件。第一，相位计算独立于所嵌入的信号；第二，条纹振幅不为容纳所嵌入的信号而减少，由此保持PSP的信噪比(SNR)；以及第三，高频条纹可被用来实现高准确性测量。此外，如上所讨论的，为了满足第一个条件，所嵌入的信号在三个图像中的每一个中应该是相同的，这排除了在时域内编码的可能性；第二个条件显著地限制留给空间编码的空间；并且如第三个条件所指示的，如果条纹频率为高，则基于每一周期内的像素强度的差异来标识条纹次序是不可靠的。

虽然条纹可嵌有其他辅助图案以使得满足上述三个条件，但在一示例实现中，生成模拟斑点图案作为辅助图案。

斑点被广泛地用于各种数字图像相关(DIC)技术，应用的范围从宏观机械测试到表面轮廓测量。最初，斑点指的是相干辐射所导致的干扰图案。然而，对于DIC技术，经常通过在黑色背景上随机散布白点来模拟人工斑点。

图5示出了示例模拟斑点图案116。在一示例实现中，根据被设计成确保投影的图案和捕捉到的图像两者中的斑点的可辨识性的规则来生成2D二元斑点图案。在一示例实现中，规则管控斑点大小和斑点密度。例如，斑点大小被定义成每一白点具有K xK像素的规则大小，其中K由正在使用的投影仪和相机的分辨率来确定。斑点密度被定义成在斑点图案中的每一个3K x 3K区域(即3x 3个点)中一个点是白的。

当图案在空间中形变时，斑点的可辨识性由片级自相似性来测量。用于测量自相似性的常用准则是归一化互相关(NCC)，以使得给定斑点图案中各自具有相同大小的两个片f和g，f和g之间的NCC被计算为：

其中和表示这两个片中的平均强度。NCC计算对于像素强度变化是不变的，像素强度变化可由图像捕捉期间的不同种类的降级(包括但不限于重采样、衰减、散焦和噪声)导致。

图6示出了在参考平面捕捉到的斑点图像的NCC统计数据。例如，图6可表示在场景110为空的情况下斑点图案116被投影到参考平面(例如，墙)108时由相机106捕捉到的图像的统计数据。图6所示的示例统计数据相对于图像中的逐个像素垂直移位按照每一个5x 5片来计算。如图6所示，在NCC均值曲线中的零移位处存在明显的波峰，这表明即使在捕捉到的图像中，模拟斑点图案116也是高度可辨识的。

具有嵌入式辅助图案生成的条纹

如可以从等式(2)和(3)中观察到，I_C(x′，y′)将在相位计算期间被消除。该特性指示条纹的DC偏移量不必是恒定的。因此，在不改变相位计算的情况下将2D信号嵌入条纹是可能的。然而，为了让等式(3)成立，在三步PSP中，所嵌入的信号必须在三个图像中的每一中相同。这个限制带来两个挑战。第一，如上所讨论的，时域内的编码不被允许，但如果保持条纹振幅，则留给空间编码的空间非常有限。第二，随着条纹频率的提高，基于每一周期内的像素强度的差异来标识条纹次序将会是不可靠的。

为了克服这些挑战，设计三个嵌入斑点的条纹，其中斑点的随机分布，而不是像素强度消除相位模糊。嵌入斑点的条纹图案被用于三步PSP，并且可被写为：

P_k(x，y)＝B(x，y)Z(x，y)+F_k(k，y)，k＝1，2，3 (6)

其中Z(x，y)∈{0，1}描述根据上述斑点图案的斑点分布，且B(x，y)控制斑点强度。如上所述，因为所嵌入的斑点信号在三个嵌入斑点的条纹图案中的每一个中是相同的，所以相位计算保持不变。

在一示例实现中，图案以L位灰度级投影，且DC偏移重和条纹振幅被设为C＝A＝2^{L -1}，以最大化PSP的信噪比(SNR)。为了在保持条纹振幅的同时利用剩余强度，一种可能的解决方案将B(x，y)赋值为：

B(x，y)＝2^L-max{F_k(x，y)} (7)

然而，当max{F_k(x，y)}等于或非常接近2^L时，可被嵌入的斑点信号的量被显著减少。因此，这些位置处的相位可能是模糊的。

图7示出了用于在条纹图案中嵌入斑点图案的另一解决方案。认识到斑点强度可能为正或负的，另一种解决方案将B(x，y)赋值为：

其中B_max＝max{F_k(x，y)}，且B_min＝min{F_k(x，y)}。以此方式，条纹的剩余强度被更高效地利用。例如，如图7所示，条纹图案的各部分被嵌入条纹的剩余强度，既在条纹图案的正弦曲线的上方(在被标记为“B”的区域内)，又在下方(在被标记为“-B”的区域内)。

图8示出了在参考平面捕捉到的嵌入斑点的条纹图像的NCC统计数据。例如，类似于图6，图8可表示在场景110为空的情况下嵌入斑点的条纹图案118被投影到参考平面(例如，墙)108时由相机106捕捉到的图像的统计数据。如图8所示，由于有限的强度范围，斑点的可辨识性在被嵌入条纹图案时被显著降低。具体而言，周期性辅助波峰由于条纹的存在而存在于NCC均值曲线中。考虑不同的表面变化所导致的形变，通过依靠局部嵌入的斑点来标识条纹次序是不可靠的。因此，使用稳健的投票策略来逐个区域地消除相位模糊。

绝对相位恢复

图9、10和12示出了用于使用如本文描述的嵌入斑点的条纹来执行相移轮廓测量的示例过程。这些过程被示为逻辑流程图中的各框的集合，这表示可用硬件、软件或其组合实现的一系列操作。在软件的上下文中，这些框表示存储在一个或多个计算机存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时使得这些处理器执行既定操作。注意，描述过程的次序并不旨在解释为限制，并且任何数目的所述过程框可以按任何次序组合以实现本过程或替换过程。另外，可从过程中删除各个框，而不背离此处所述的主题的范围。此外，尽管参考图1和3所述的计算设备102来描述该过程，但其他计算机体系结构可以整体或部分地实现这些过程的一个或多个部分。

图9示出了用于使用如本文描述的嵌入斑点的条纹来执行相移轮廓测量的示例过程。

在框902，生成嵌入辅助图案的条纹。例如，条纹图案由条纹图案模块314来生成或确定；辅助图案由辅助图案模块316来生成或确定；并且辅助图案由嵌入图案模块318来嵌入到条纹图案中。

在框904，捕捉参考图像。例如，三个嵌入斑点的相移条纹图案由投影仪104在场景110为空时投影到参考平面108。三个对应的参考图像由相机106来捕捉。

在框906，捕捉场景图像。例如，三个嵌入斑点的相移条纹图案被投影到场景110。场景的三个对应图像由相机106来捕捉。

在框908，确定包裹相位图。例如，在捕捉到三个图像后(每一个嵌入斑点的相移条纹图案一个图像)，包裹相位图模块320根据等式(3)来计算包裹相位图Φ_W。包裹相位图Φ_W包括两种不连续性。一种是条纹的周期性所导致的2π不连续性，对于水平条纹，这种不连续性出现在垂直方向上。包裹相位图中的第二种不连续性是由分隔对象或不连贯的表面变化所导致的，这种不连续性可能出现在任何方向上。

在框910，确定空间展开的相位图Φ_R。例如，空间相位展开模块322从包裹相位图中移除2π不连续性。因此，在空间展开的相位图Φ_R中，连续表面上的每一像素的相位值具有与绝对相位值的共同差异。

在框912，执行连续区域检测。例如，连续区域检测模块328分析整个包裹相位图Φ_W中的像素相位值，以生成指示连续表面的边界的连续区域掩模Ψ。连续区域检测在下文中参考图10和11更详细地描述。

在框914，确定区域性期差。例如，期差投票模块330基于所嵌入的斑点来执行投票过程，以便为每一连续区域确定与绝对相位的期差。期差投票过程在下文中参考图12和13来更详细地描述。

在框916，确定绝对相位图。例如，绝对相位图模块332将每一区域的所确定的期差应用于空间展开的相位图，以生成绝对相位图。

在框918处，确定深度图。例如，深度图模块326基于绝对相位图来生成深度图。

连续区域检测

图10示出了用于在包裹相位图中执行连续区域检测的示例过程。在包裹相位图Φ_w中，存在两种不连续性。一种是条纹的周期性所导致的2π不连续性，对于水平条纹，这种不连续性出现在垂直方向上。如上所述，在生成空间展开的相位图时移除2π不连续性。

包裹相位图中的第二种不连续性是由分隔对象或不连贯的表面变化所导致的，这种不连续性可能出现在任何方向上。第二种不连续性指示连续表面的边界。基于分隔对象或不连贯的表面变化所导致的不连续性来对包裹相位图Φ_WΦ_W执行区域分割。在一示例实现中，区域分割基于双遍泛色填充算法，其中各个区域在第一遍期间被标记，且小于阈值的区域在第二遍期间被处理。

在框1002，对于包裹相位图中的每一像素，确定该像素及其上方相邻像素是否在同一连续区域内。在一示例实现中，特定像素及其正上方的相邻像素在该特定像素的相位值与该特定像素上方的三个像素(特定像素正上方的像素、特定像素左上方的像素以及特定像素右上方的像素)中的每一个的相位值之间的差异小于预定义阈值的情况下被确定为在同一连续区域内。

在框1004，对于包裹相位图中的每一像素，确定该像素及其下方相邻像素是否在同一连续区域内。在一示例实现中，特定像素及其正下方的相邻像素在该特定像素的相位值与该特定像素下方的三个像素(特定像素正下方的像素、特定像素左下方的像素以及特定像素右下方的像素)中的每一个的相位值之间的差异小于预定义阈值的情况下被确定为在同一连续区域内。

在框1006，对于包裹相位图中的每一像素，确定该像素及其左侧相邻像素是否在同一连续区域内。在一示例实现中，特定像素及其左侧的紧接相邻像素在该特定像素的相位值与该特定像素左侧的接下来两个像素(特定像素左侧的紧接像素以及特定像素左侧的第二像素)中的每一个的相位值之间的差异小于预定义阈值的情况下被确定为在同一连续区域内。

在框1008，对于包裹相位图中的每一像素，确定该像素及其右侧相邻像素是否在同一连续区域内。在一示例实现中，特定像素及其右侧的紧接相邻像素在该特定像素的相位值与该特定像素右侧的接下来两个像素(特定像素右侧的紧接像素以及特定像素右侧的第二像素)中的每一个的相位值之间的差异小于预定义阈值的情况下被确定为在同一连续区域内。

在框1010，根据所驻留的连续区域来标记每一像素。

在框1012，处理小于阈值的任何区域内的像素。例如，在用于区域分割的双遍泛色填充算法的第二遍中，小于阈值的极小区域或者作为噪声被移除，或者例如取决于是否分隔来被合并到相邻区域中。

在框1014，基于分配给每一像素的区域标记来生成连续区域掩模。

图11示出了所执行的用于为特定像素确定该像素及其相邻像素是否在同一连续区域内的分析。例如，相邻像素基于一组条件来被标记为在同一区域内，以使得给定Φ_W中的具有相位值φ₀的特定像素(在图11的中心的像素)，根据以下条件来确定该像素与其四个最近近邻φ₁(上方像素)、φ₂(右侧像素)、φ₃(下方像素)和φ₃(左侧像素)连接：

如果max{d(φ₀，φ₁)，d(φ₀，φ₅)，d(φ₀，φ₆)}＜T_V，则φ₀连接到φ₁

如果max{d(φ₀，φ₃)，d(φ₀，φ₇)，d(φ₀，φ₈)}＜T_V，则φ₀连接到φ₃

如果max{d(φ₀，φ₄)，d(φ₀，φ₉)}＜T_H，则φ₀连接到φ₄

如果max{d(φ₀，φ₂)，d(φ₀，φ₁₀)}＜T_H，则φ₀连接到φ₂

其中d(φ_i，φ_j)＝min{|φ_i-φj|，|φ_i-φ_j+2π|，|φ_i-φ_j-2π|}且T_V和T_H是两个预定义阈值。

如上所述，区域分割的结果是连续区域掩模Ψ。

期差投票

如上所述，捕捉到的图像中的所嵌入的斑点对于局部消除相位模糊是不可靠的。然而，单个连续区域内的不同位置处的斑点所给予的其同期差将稳健和可靠得多。因此，绝对相位可通过找到区域性期差来恢复，其中连续区域掩模Ψ中存在M个连续区域，D_m是[0，N-1]内的一个整数，且N是条纹的周期数。

图12示出了用于确定连续区域掩模中的特定区域的期差的过程。

在框1202，在连续区域内对S个样本位置进行采样。在一示例实现中，对该区域内的3％的像素进行采样。

在框1204，标识每一捕捉到的图像中的以每一个采样位置为中心的片。例如，标识每一个捕捉到的图像I_k中的以(x_s，y_s)为中心的小片p_k(x_s，y_s)。在一示例实现中，每一片可以是5×5个像素。被表示为的每一个采样位置处的绝对深度由p_k(x_s，y_s)相对于对应的参考图像I′_k的垂直移位来确定。

在框1206，确定每一个捕捉到的图像中的每一个所采样的位置的可能期差。来自条纹的深度和来自斑点的深度在同一位置应该是一致的。因此，对于每一片p_k(x_s，y_s)，确定从φ_s导出的I′_k中的N个可能移位。例如，可根据以下等式使用片级NCC来确定期差：

其中表示可能移位，而q_k(x，y)表示参考图像I′_k中的以(x，y)为中心的小片。

在框1208，将跨连续区域内的所采样的各个位置的最频繁期差标识为该区域的期差。例如，获取表示的分布的直方图，且连续区域的期差被确定为该直方图中的最频繁值。

图13示出了示例连续区域掩模的五个示例区域的示例直方图。如图13所示，每一直方图中存在明显的波峰，这暗示投票过程的可靠性。此外，投票过程的可用性也通过以下事实得到佐证：存在每一个直方图中所指示的其他值，这表明并非所有斑点都能够被正确地区分。

图12所示的过程是对每一连续区域执行的，这产生区域性期差的集合，该集合然后又能够与空间展开的相位图一起使用，以生成绝对相位图，并最终生成深度图和3D形状。

结论

尽管已经用结构特征和/或方法运算专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征或操作。相反，这些具体特征和动作是作为实现权利要求的示例形式来公开的。

Claims (11)

1.一种用于具有嵌入辅助图案的条纹的绝对相位测量的方法，包括：

接收包括嵌有辅助图案的相移条纹的多个场景图像，其中所述嵌有辅助图案的相移条纹被生成以使得：

所述条纹的相位计算独立于嵌入的辅助图案；

所述辅助图案是在不减少所述条纹的振幅的情况下被嵌入的；

所述条纹的频率是不受限的；并且

所述条纹的次序是在不计算像素强度差的情况下确定的；

至少部分地基于所述多个场景图像来确定包裹相位图；

至少部分地基于所述包裹相位图来生成连续区域掩模，其中所述连续区域掩模标识多个连续区域；以及

基于嵌入的辅助斑点图案为所述多个连续区域中的至少一个区域确定对于所述至少一个区域的期差，其中确定期差还包括：

标识所述至少一个区域中的多个样本位置；

基于所述样本位置来确定所述至少一个区域的多个可能期差值，其中来自所述条纹的深度以及来自所述嵌入的辅助斑点图案的深度在每一样本位置处相对应；以及

将所述至少一个区域的期差标识为所述至少一个区域内的各个样本位置的所述多个可能期差值中的被最频繁地确定的可能期差值。

2.如权利要求1所述的方法，其特征在于，所述多个场景图像由足以计算绝对深度测量的理论上最少数量的场景图像构成。

3.如权利要求1所述的方法，其特征在于：

所述相移条纹包括正弦条纹；并且

所述辅助图案包括斑点图案。

4.如权利要求1所述的方法，其特征在于，进一步包括：

至少部分地基于所述包裹相位图来确定空间展开的相位图；以及

至少部分地基于所述空间展开的相位图以及对于所述至少一个区域的条纹的期差来确定绝对相位图。

5.如权利要求1所述的方法，其特征在于，参考图像包括第一、第二和第三参考图像，并且所述场景图像包括第一、第二和第三场景图像，其中为所述至少一个区域确定多个可能期差值包括：

对于所述至少一个区域中的所述多个样本位置中的每一样本位置：

将所述第一场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第一参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；

将所述第二场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第二参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；以及

将所述第三场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第三参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较。

6.一种用于具有嵌入辅助图案的条纹的绝对相位测量的方法，包括：

将可辨识的模拟随机斑点图案嵌入三个相移条纹图案中的每一个中，以产生满足以下准则的三个嵌入斑点的相移条纹图案：

所述条纹的相位计算独立于嵌入的辅助图案；

所述辅助图案是在不减少所述条纹的振幅的情况下被嵌入的；

所述条纹的频率是不受限的；并且

所述条纹的次序是在不计算像素强度差的情况下确定的；

在所述三个嵌入斑点的相移条纹图案被分别投影时捕捉三个参考图像和三个场景图像；

至少部分地基于所述三个场景图像来确定包裹相位图；

通过将所述三个相移条纹图案的周期性所导致的不连续性从所述包裹相位图中移除来生成空间展开的相位图；

通过比较所述包裹相位图中的相邻像素的相位值来生成连续区域掩模以将所述包裹相位图分割成多个连续区域；以及

基于嵌入的斑点图案，通过以下操作来为所述多个连续区域中的每一区域确定期差：

标识所述区域中的多个样本位置；

基于所述区域中的各个样本位置来确定所述区域的多个可能期差值，其中来自所述条纹的深度以及来自所述嵌入的斑点图案的深度在每一样本位置处相对应；以及

将所述区域的期差标识为所述区域内的各个样本位置的所述多个可能期差值中的被最频繁地确定的可能期差值。

7.如权利要求6所述的方法，其特征在于，在所述三个嵌入斑点的相移条纹图案被分别投影时捕捉所述三个参考图像和三个场景图像包括：

在所述三个嵌入斑点的相移条纹图案中的第一嵌入斑点的相移条纹图案被投影在参考平面上时在所述参考平面捕捉第一参考图像；

在所述第一嵌入斑点的相移条纹图案被投影在场景上时捕捉第一场景图像；

在所述三个嵌入斑点的相移条纹图案中的第二嵌入斑点的相移条纹图案被投影在所述参考平面上时在所述参考平面捕捉第二参考图像；

在所述第二嵌入斑点的相移条纹图案被投影在所述场景上时捕捉第二场景图像；

在所述三个嵌入斑点的相移条纹图案中的第三嵌入斑点的相移条纹图案被投影在所述参考平面上时在所述参考平面捕捉第三参考图像；以及

在所述第三嵌入斑点的相移条纹图案被投影在所述场景上时捕捉第三场景图像。

8.如权利要求7所述的方法，其特征在于，为所述区域确定多个可能期差值进一步包括：

对于所述区域中的所述多个样本位置中的每一样本位置：

将所述第一场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第一参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；

将所述第二场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第二参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；以及

将所述第三场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第三参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较。

9.如权利要求6所述的方法，其特征在于，标识所述区域的期差包括至少部分地基于所述区域内的各个样本位置的所述多个可能期差值来生成直方图。

10.一种用于具有嵌入辅助图案的条纹的绝对相位测量的系统，包括：

投影仪；

相机；以及

通信地耦合到所述相机的计算设备，所述计算设备包括：

用于从所述相机接收场景的参考图像和场景图像的通信接口，所述参考图像和所述场景图像包括嵌有辅助图案的嵌入斑点的相移条纹图案，其中所述嵌有辅助图案的嵌入斑点的相移条纹图案从所述投影仪投影到所述场景，并且所述嵌有辅助图案的嵌入斑点的相移条纹图案满足以下准则：

所述条纹的相位计算独立于嵌入的辅助图案；

所述辅助图案是在不减少所述条纹的振幅的情况下被嵌入的；

所述条纹的频率是不受限的；并且

所述条纹的次序是在不计算像素强度差的情况下确定的；

用于至少部分地基于所述场景的图像来生成包裹相位图的包裹相位图模块；以及

用于至少部分地基于所述包裹相位图内的区域性期差来生成绝对相位图的相位恢复模块，其中所述相位恢复模块还包括：

用于从所述包裹相位图中生成连续区域图的连续区域检测模块；以及

用于基于所述嵌入的辅助图案来确定所述连续区域图中的每一连续区域的期差的期差模块，所述期差模块被进一步配置成：

标识所述区域中的多个样本位置；

基于所述区域中的所述多个样本位置来确定所述区域的多个可能期差值，其中来自所述条纹的深度以及来自所述嵌入的辅助图案的深度在每一样本位置处相对应；以及

将所述区域的期差标识为所述区域内的各个样本位置的所述多个可能期差值中的被最频繁地确定的可能期差值。

11.如权利要求10所述的系统，其特征在于：

所述参考图像包括第一、第二和第三参考图像；

所述场景图像包括第一、第二和第三场景图像；并且

所述期差模块被进一步配置成通过以下操作来确定所述区域的多个可能期差值：对于所述区域中的所述多个样本位置中的每一样本位置：

将所述第一场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第一参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；

将所述第二场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第二参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较；以及

将所述第三场景图像中的以所述样本位置为中心的一个或多个像素的相位值与所述第三参考图像中的以所述样本位置为中心的一个或多个像素的相位值进行比较。