CN101466998A - 三维绝对坐标表面成像的方法和装置 - Google Patents

Abstract

一种用于捕捉3D物体(100)的图像的方法和相关联装置，该图像编码所述物体的至少一部分的表面几何形状，包括：1.将多个条纹图(312A、314A)投影(304)到该物体上；2.捕捉(306)来自该物体的条纹图(312B、314B)的反射中的相位变化；3.将一均匀图像(310A)投影到该物体上；4.捕捉来自该物体的均匀图像(310B)的反射；以及5.在逐个像素的基础上组合(310)所捕捉的相位变化和所捕捉的均匀图像反射，由此构成该物体的全图像表示。

Description

三维绝对坐标表面成像的方法和装置

相关申请的交叉引用

本申请根据35USC 119(e)要求由顾等人于2005年11月9日提交的题为“holoimage”(“全图像”)的美国临时专利申请60/734,749，和由张等人于2006年9月1日提交的题为“3D Camera System and Method”(“三维摄像系统和方法”)的美国临时专利申请60/841,840，这些申请通过引用全部结合于此。

发明领域

本发明一般涉及三维绝对坐标表面成像的方法和装置，尤其涉及光学图像的经改进相位包裹和解包裹以获取表面几何形状。它进一步提出了一种全新的方法来创建、表示、存储、以及操纵三维几何表面及图像。

发明背景

三维几何表面图像的获取以及表示对许多图像处理任务非常重要，包括从动漫、电影制作、到医学成像等等。传统的表示物体图像的方法基于人眼或者相机感觉光的振幅的能力。不管用什么方式，捕捉到的图像一般是用相机接收到的光的振幅图来表示，然后这些图像可进行处理、存储、传输等等。

同样，用于特殊效果以及诸如动漫的其它计算机图形应用的计算机产生的图像通常是基于图像的振幅表示。这些可以是单色的或者彩色的振幅映射。最近，光学相移技术已经被证明可提供高测量分辨率。相移技术包括相移光学条纹图案的生成、将这些图案投影到物体的表面上、对图像捕捉在由物体的表面变形时入射图案的反射、以及处理反射图像以提取每个像素的相位同时去除相位的不连续性(即称为“相位解包裹”的处理)。在相位解包裹之后，物体表面的绝对坐标可从所得到的相位信息计算出。术语“绝对坐标”指坐标基于一特定参考点上的事实，这个参考点可以任意选取。美国专利6,788,210(通过引用结合于此)公开了最近基于用相移技术进行三维表面轮廓测量方面取得了成就。

依赖于三维表面测量的应用领域常常需要极快速地捕捉三维信息，从而允许捕捉物体表面的动态变化，或者允许响应动作。举个例子来说，在娱乐业，像计算机动漫以及视频游戏，需要实时捕捉和再现面部和/或身体的三维几何形状的能力。然而，当前的三维几何运动捕捉需要将传感器附连在物体(例如动作者)上。这种处理是麻烦和费时的，并且传感器的存在和大小限制了能够捕捉的细节的量。类似的问题在医学成像方面也存在，其中采用了不是完全便携的、极慢的三维扫描设备。通常，需要将病人运送到扫描设备。让病人坐在设备前面相当长一段时间一动不动是非常困难的一件事情，同时也取决于病人的状况，这也许是不舒服、疼痛、甚至不现实的。所以，实时捕捉运动物体的三维坐标，但是又不借助于笨重的传感器可以减少这些严重的缺陷——至少针对特定类成像需要(例如，表面成像而不是内部成像)是如此。实时三维表面测量潜在地可以带来医疗诊断和治疗的某些方面的一次革命。通过分析运动肌肉的实时三维测量值，有可能确定例如肌肉是否受到特定疾病的影响或者是否是神经而不是肌肉引起该问题的。通过分析胸腔的运动，可以诊断肺的疾病。通过分析乳房的运动，非侵入方法来诊断特定的状况是可行的。同时，通过提供对确定在扫描和成像期间患者是否正确就位的反馈，实时三维扫描还可改进现有医疗设备的设计，例如，X-光或核磁共振成像(MRI)机。实时三维扫描还可以用在国家安全方面以及科学研究和制造工业(例如，针对质量控制)。

应用到光学成像的相移技术顾名思义取决于(在发明的环境中)产生和检测光信号中的相移。历史上，光信号的相移是用机械光栅来实现的。最近，相移技术已经发展成采用电子技术产生可数字解释的条纹图信号，然后电机械地转换成光学相移条纹图(或图像)，最后通过投影仪来发出。

传统地，在这样一个轮廓测量光学系统中，至少有三个相移条纹图照射到物体上，它们的反射再加上物体的图像(即常规的振幅图像)被数码相机捕捉，数码相机的输出被处理以获取与物体表面信息相对应的三维几何数据。增加相移图像的数目导致三维测量中更高的精度。然而，增加条纹图数目需要增加额外的处理，也就是说需要增加资源和时间的使用。使用越少数目的条纹图像，可以实现越快的速度。要处理三个或三个以上相移图像进行实时轮廓测量是相当昂贵的，甚至对于可购买投影机及相机是不切合实际的，并且处理需要轮廓显现为对人眼是平滑的。(如果图像采集速度至少是每秒30帧，其中一帧是一个独特的图像，则重建一个物体的轮廓目前被认为是实时执行的)。

此外，在许多应用中，能够捕捉表面纹理同时获得三维几何形状是合乎需要的。为了在使用三个相移条纹图时获得可接受的纹理，条纹必须具有非常精确的相移并且条纹型线必须是理想的正弦，否则，纹理质量可能会遭到损害。

三维几何形状的采集速度还取决于所采用的相位包裹以及解包裹算法的特性。从条纹图像得到的相位的范围通常从0到2π弧度。当使用多个条纹时，相位每变化2π，就会发生相位中断。相位解包裹有必要去除经包裹相位图像上的2π模糊点从而得到连续的相位图。其中相位解包裹成功的关键是有能力准确地检测及纠正2π不连续性。对于有噪音的图像和复杂几何表面物体的图像，以及有锐边的表面的图像，相位解包裹通常是很困难的。研究人员已经提出了各种相位解包裹算法；然而，对实时捕捉三维几何形状，它们在合理成本的情况下一般都太慢。

传统的相位解包裹得到一相对相位图，或一相对相位解包裹图，即它并不针对一参照点。为了得到绝对相位图，绝对相位标记信号可以产生并且投射到物体的表面上，如在美国专利No.6,788,210中所述。绝对相位图是通过从相对相位图的每个像素减去校对相位标记的相位获得的。虽然这个方法是有效的，尤其是当绝对相位标记是一条线时，但是它需要取得物体上标记的附加图像，这增加了图像处理的工作量，从而相应地降低了三维几何数据采集的速度。

当已经获得绝对相位且已经进行了校准从而建立了相机、投影机、和坐标已知的基准之间的关系时，物体表面的绝对坐标就能够确定。计算绝对坐标的计算量非常大，因此它会是执行实时三维表面测量中的限制步骤。

常规地，被捕获的绝对相位和幅度信息然后被转化为三角形网格，从而提供物体表面的逐件线性表示，但丢失相位中所呈现的信息。在计算机图形学和在几何以及表面特性的建模领域中，这种网格是一种常见的框架来表示表面的几何表面信息。大部分的图形处理器“期望”表面能用这种方式来表示。同样，电脑产生的图像的虚构(例如，在动画软件中)通常将物体表示为小三角形的网格，这些网格只用像纹理的幅度信息(例如，颜色)来表示空间位置。而网格表示是方便的，但缺乏充分的相位信息的信息内容，并需要使用相当大的存储器。

鉴于上述内容，需要准确和快速的绝对坐标的三维表面成像方法及系统和更好的图像表达格式。因此，本发明的构思至少部分地以消除上述所描述的现有方法和系统的弊端为目标，并且示例实施例是针对提供方法和仪器来相当快地捕捉三维几何形状—最好是，实时地并更有效率和更稳健地表示三维几何表面。

发明概要

相比现有技术，物体的相位图像可以结合传统的幅度的形象，包括阴影、纹理和轮廓。无论是光学或通过计算机仿真，条纹的纹理由结构光投射到物体上(或仿真以投影)和实际的或计算的反射光是被捕捉，包括编码相位信息和底纹(即常规幅度图像)。通过这个统一的表示方法，称为“全图像(holoimage)”，可以恢复阴影和三维几何数据并维持在数据模型，这个数据模型可以容易地显示和操纵。

“全图像”有如下的优越性：

1.高几何精度-相比常规的几何图像(即在顾等人“几何图像”ACM Siggraph 2002，第55-361页中描述的特殊形式的网格)和深度图像，对于表示中同样数目的比特，全图像有高得多的三维精度。

2.高效率的无网格渲染-全图像表示同一图像内的几何形状和阴影，并可以有效地不用网格通过现代图形硬件进行有效的渲染。这不仅更加有效地利用现代图形硬件，而且有可能简化图形处理器的架构。

3.高采集和处理速度-全图像不仅可完全在计算机内(即“虚拟地”)产生，而且还可使用投影机和摄像机的简单排列从现实世界中捕获。在“虚拟”的实施中，投影机和摄像机实际上是用计算机模拟的。这种模拟可以是基于硬件或软件的，或混合实现。重建算法简单到足以自动用现代图形硬件来完成(例如，商业图形处理器单元，GPU)。一序列全图像可在视频帧速率下捕捉以供动态几何数据采集。

4.统一表示-全图像使图像处理技术可应用于几何处理，诸如压花和雕刻、几何纹理提取和形变测量。全图像可以很方便地转换为并形成其他几何表示(例如，自动地通过硬件)。因此，使用全图像可避免处理网格的需要，以及来自网格图像库的任何图像，或任何新的网格图像可容易地转换成全图像以供将来使用。

发明概述

本发明的一些实施例利用用于绝对坐标的三维表面测量的装置。该装置包括至少一个信号发生器、至少一个投影仪、至少一个相机、以及至少一个图像处理器。

该装置消除了现行方法中固有的详细、繁复且耗时的设置过程。这只不过是要求客体定位在相机前，但是并不需要传感器或补充。首选的相机是便携式的，且只要电力供应允许便可进行使用。

低成本的三维轮廓测量系统的实施例用于照亮2个条纹图和优选的一个均匀图案。这被称为“2+1”体系结构。其他替换的相移装置也可以被用来捕捉三维几何形状，但使用2+1相移体系结构的优点是，它不仅可以捕捉高品质的纹理，同时还可以捕获三维几何形状。此外，还投影编码在各个图案上的小标记，以有助于绝对相位以及绝对坐标的确定。

这些图案由信号发生器产生，通过任何适当的机制从电信号转换成光信号，并通过光学投影系统投射。光照图以重复序列投射，且一个或多个与投影机同步的相机根据序列捕捉所反射的图案。三个由投影机捕获的图像可被组合成单个图像，即所谓包裹相位图。包裹相位范围中的相位值为从0到2π弧度。因此，包裹相位图包含反映了超出了2π的物体深度的突变的不连续点。为了得到连续相位图，采用相位解包裹算法。

在一些实施例中，多层次的质量引导算法可用于相位解包裹。第一，用包裹相位图的方差或梯度图从包裹相位图获得质量图。质量图被分为多个质量级别。然后，相位解包裹从更高质量级别的数据点的级别开始，然后逐个级别地处理质量级别较低的数据点。在每个级别上，应用快速扫描线的相位解包裹的算法。当然，在每个级别内，也可以利用其他的替代相位解包裹的算法。

通过检测在先前所投影的两个条纹图和一个低反差图(flat image)的每一个中编码的小标记，可从经相位解包裹的相对相位图获得绝对相位图。最后，从绝对的相位图确定绝对坐标。确定绝对坐标涉及计算量很大的计算，这使得只用现有的桌面计算机中央处理单元(CPU)很难实现实时性能。相比之下，使用图形处理单元(GPU)连同CPU可以大大地增加处理速度。优选使用实时计算绝对坐标的GPU辅助方法。

本发明涉及实时捕捉三维几何形状数据。应当理解，术语“实时”并非是精确定义的，因为本发明所要求保护的方法以某短暂响应时间提供了物体的动态变化的表面的绝对三维坐标，该响应时间的上限取决于应用。发明人了解到，所需的帧速率应足够快，以捕捉可在不同速度下移动的物体的运动，从而绝对的几何形状数据能足够快地可用，以避免从事件发生到数据建立可用的延迟。通常，寻求每秒30帧的帧速率。

除了上述的实施例，包括装置和方法的基于计算机实现的实施例是可能的，其中模拟功能的投影机和相机的软件、或软件和硬件的组合都可以达到同样的用途。根据这些实施例，“虚拟”装置产生计算机生成图像或实际物体图像的表面的统一表示，它包括相位信息和纹理、或阴影。该表示保证灵活的图像操纵和处理。

因此，介绍了本发明的一些方面，以及单个实施例，它们并不旨在限制本发明。

一个这样的方面是确定物体三维表面的绝对坐标的的方法。这种方法包括：将两个各自编码一标记的相移光照图投影到物体的表面上；捕捉光照图从物体表面的反射图像；组合所捕捉图像以产生相位包裹图；通过解包裹相位图像产生相对的经解包裹相位图；从该相对的经解包裹相位图产生绝对相位图；并且根据绝对相位图确定物体表面的绝对坐标。光照图可以是彩色编码的图案，捕捉图案的反射图可以包括以黑白模式捕捉所述图案。图案的反射图还可以以黑白模式和彩色模式捕捉。均匀的光照图也可以被投影，并且通过使用均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的黑白纹理。该均匀光照图也可以是彩色编码的。当均匀光照图被投影时，通过使用以彩色模式捕捉的均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的彩色纹理。捕捉物体的彩色或者黑白纹理可以包括从均匀光照图的所捕捉图像删除经编码标记。相位解包裹可以包括：产生质量图；将质量图分成多个质量级别；以及按照质量降低的顺序将相位解包裹算法分别应用于各个级别。生成质量图可包括生成相位包裹图的梯度图，或者相位包裹图的方差图。该相位解包裹算法可以是快速扫描线相位解包裹算法。

在一些实施例中，这两个相移光照图可能分开约90度的相移。产生两个移相光照图可包括只产生两个相移光照图。

在一些实施例中，从相对的解包裹相位图像产生绝对相位图可包括检测经编码标记的相位，以及根据经编码标记的所检测相位调整相对的经解包裹相位图。

根据另一方面，讨论用于确定物体三维表面的绝对坐标的装置。这种装置可包括：至少一个光照图发生器，用于产生两个相移光照图，其中每一光照图编码一相位标记；至少一个投影设备，用于将光照图投影到物体的表面上；至少一个成像设备，用于捕捉光照图从物体表面的反射图；以及至少一个图像处理器，用于处理所捕获的图像以因变于标记的经解码相位确定物体表面的绝对坐标。该至少一个投影设备可与至少一个成像设备同步。该至少一个光照图发生器和至少一个图像处理器可能是一个一体化单元的一部分。该至少一个图像处理器在处理所捕获的图像时可被调整和配置成：组合所捕获的图像以生成相位包裹图；用解包裹这些相位解包裹图产生相对的解包裹相位图；从相对的解包裹相位图生成绝对相位图；以及根据绝对相位图确定物体表面的绝对坐标。

在一些实施例中，至少一个光照图发生器产生一均匀光照图，且至少一个投影设备可投影该均匀光照图，并且至少一个成像设备可能捕捉物体反射的均匀光照图像。该至少一个成像设备可以黑白模式捕捉图像而至少一个成像设备可以色彩模式捕捉图像。该至少一个成像设备可以黑白模式捕捉图像，并可独立和同步地以彩色模式捕捉图像。

在一些实施例中，光照图可以是彩色编码的图案，而这些图案的反射图则可以黑白模式捕捉。光照图可以是彩色编码的图案，而这些图案的反射图则可以黑白模式和彩色模式捕捉。通过使用均匀光照图的反射图，可在确定物体表面的绝对坐标的同时，捕获物体表面的黑白纹理。通过使用均匀光照图的反射图，可在确定物体表面的绝对坐标的同时，捕获物体表面的彩色纹理，且其中图像是以彩色模式捕捉的。捕捉黑白或彩色纹理可包括从均匀光照图上去除经编码标记。

在一些实施例中，至少一个图像处理器在相位解包裹时可被调整和配置成：产生质量图；将质量图分成多个质量级别；以及按照质量降低的顺序将相位解包裹算法应用于每个质量级别。该至少一个图像处理器在产生质量图时可产生相位包裹图的梯度图。产生质量图也可包括产生相包裹图的方差图。该相位解包裹算法可以是快速扫描线的相位解包裹方法。

在投影两个相移光照图的一些实施例中，它们可分开约90度的相移。在某些实施例下，产生两个相移光照图包括只产生两个光照图，具有或者不具有均匀光照图。

在一些实施例中，根据相对的解包裹相位图产生绝对相位图可包括检测经编码标记的相位，以及根据经编码标记的相位来调整相对的解包裹相位图。

在一些实施例中，图像处理单元可用来根据绝对相位图确定物体表面的绝对坐标。从相对的解包裹相位图确定绝对相位图可包括检测经编码标记的相位，以及根据经编码标记的相位来调整相对的解包裹相位图。

根据另一方面，提供一种捕捉编码物体的至少一部分的表面几何形状的三维物体的图像的方法，包括：将多个条纹图投影到物体表面上；捕捉条纹图从物体的反射中的相位变化；将均匀图像投影到物体上；捕捉均匀图像从物体的反射；以及在逐个像素的基础上组合所捕捉的相位变化和所捕捉的均匀图像反射，从而形成物体的“全图像”表示。所组合的相位变化和均匀图像反射可被映射到相应的色场显示。在一些实施例中，所组合的相位变化和均匀图像反射可被存储为三色信号。例如，所述值可被储存为每个像素三个8位值。

在一些实施例中，该方法还包括相位解包裹所捕捉的相位变化，所述相位解包裹包括：以第一、相对较低的空间频率将多个条纹图投影到物体上，并根据其反射重构物体的几何形状；以第二、相对较高的空间频率将多个条纹图投影到物体上，并根据其反射重构物体的几何形状，所述重构包括模糊相位的像素；根据所重构几何形状中相应像素的相位值从第一较低空间频率去除相位模糊。

另一方面是产生虚拟三维物体的表示的方法，该表示对至少一部分物体的表面几何形状进行编码，该方法包括：当多个条纹图以及一个均匀条纹图分别照射到物体的物理部分上时计算入射和反射图像之间的相移和幅值；并在逐个像素的基础上组合所计算的相移和幅值，从而形成物体的全图像表示。

在一些实施例中，所组合的相移和幅值可被储存为三色信号值。例如，储存为每个像素三个8位值。

在一些实施例中，该方法还包括：相位解包裹相位变化，所述相位解包裹包括：当多个条纹图各自以第一、相对较低的空间频率照射到物体上时计算入射和反射图像之间的相移并根据所述相移重构物体的几何形状；当多个条纹图各自以第二、从相对较高的空间频率照射到物体上时计算入射和反射图像之间的相移并根据所述相移重构物体的几何形状，所述重构包括模糊相位的像素；根据所重构的几何形状中相应像素的相位值从第一、相对较低的空间频率去除所述相位模糊。

根据又一方面，记录三维物体的表面几何形状的表示包括一计算机可读介质在其上储存，对于每个像素的，表示因第一条纹图投影到物体上并从物体上反射导致的所捕捉的或者计算的相位变化的第一值，表示因第二相移条纹图投影到物体上并从物体上反射导致的所捕捉的或者计算的相位变化的第二值，以及表示因均匀条纹图投影到物体上并从物体上反射导致的所捕捉的或者计算的的幅值的第三值。

应当理解，上述和以下讨论的实施例并不旨在是互斥的，除非上下文另有所指。

附图简述

通过结合附图考虑本发明实施例的以下详细描述，可以更好地理解本发明，在附图中：

图1是现有技术三维轮廓测量的设置的示意图；

图2是三维表面测量的现有技术方法的流程图；

图3是根据本发明的三维表面测量的设置的示意图；

图4是包括两个相机和一个投影仪的三维表面测量设置的示意图；

图5示意性地示出包括两对相机和一个投影仪的三维表面测量的设置；

图6示意性地示出两对相机和一个投影仪的三维表面测量的设置；

图7是绝对坐标三维表面测量方法的流程图；

图8是采用2+1相移体系结构进行绝对坐标三维表面测量的方法和装置的布局图；

图9是绝对坐标三维表面测量方法的流程图，其中彩色和黑白纹理与三维几何形状数据同时捕捉；

图10是相机和投影仪的同步的时序图；

图11示出相位包裹图以及解包裹图之间的差异；

图12是多层质量引导的相位解包裹算法的流程图；

图13是扫描线相位解包裹算法的示意图；

图14是作为扫描线相位解包裹算法的一部分，扫描图像中小块的流程图；

图15是示出三级质量引导的相位解包裹算法的一组图像；

图16是示出两波长相位解包裹的一组图像；

图17是示出检测经编码标记的一组图像；

图18是GPU管线的流程图；

图19是通过顶点着色器(vertex shader)计算绝对坐标的第一流程图；

图20是通过顶点着色器计算绝对坐标的第二流程图。

详细描述

对本领域技术人员来说，通过以下参考附图的对一些现有技术的描述，以及根据给出作为示例的实践本发明的实施例的描述，本发明以及它的优点是显而易见的。

三维表面轮廓测量的现有技术方法及装置

三维表面测量的现有技术系统的设置参照图1示意性地示出。信号发生器102驱动投影仪104来照亮物体100的表面。相机106接收相应的反射的图像并将其递送到图像处理器108。图像处理器108从反射图像得到物体的表面轮廓。

如图1所示，信号发生器102和图像处理器108可以(通常是)放置在同一个设备110内，诸如个人计算机、工作站、处理器、或其它设备。例如，信号发生器和图像处理器可包括独立的在单核或者多核处理器上执行的独立软件。信号发生器102产生表示条纹图的信号，并将那些信号发送到投影仪104。投影仪104将这些图案作为图像110A-114A投影到物体100的表面上，相机106捕捉从物体100的表面反射的相应图像110B-114B。图1示出的示例是图像110A-114A依次投影以及按相应的顺序捕捉。在那些反射里，表面几何形状引起相位畸变。也就是说，所投影的图案110A-114A在条纹的强度上展现正弦正则性。图1示意性地示出竖直的条纹。条纹也可以是水平的、圆形的、或者是竖直、水平、和/或圆形的组合。所接收到的图案110B-114B不再很规则；它们包括压缩区域和伸展区域。入射图案到接收图案的变形唯一地对应于表面轮廓，从而从中可以得到表面轮廓。

投影仪和相机的操作可以并且应该使用以前公布的机制同步。图像处理器108用来处理图像，处理的最终目的是得到物体表面的绝对坐标，或者说物体的三维几何形状。

现在参看图2，现有技术三维表面轮廓测量的方法200是基于在201至少产生(也就是说，通过如上所述的信号发生器102)三个条纹图110A-114A，也叫做周期光照图，然后在202、204和206投影这些图像。实际上，已使用了三个以上条纹图，然而这会妨碍进一步处理的速度。条纹图可以是黑白(B/W)编码的(例如，如果是顺序投影的)或者彩色编码的(允许基本同时投影)。信号发生器102还产生在208投影的绝对相位标记。根据现有技术，绝对相位标记最好是一条线。三个条纹图110A-114A的每一个都从物体表面反射，其相应的反射图像(在210、212和214)被捕捉为相应图像(也就是图像110B-114B)。还在216获得绝对相位标记的单独图像(没示出)。

从相位恢复深度及其它特性

捕捉相位畸变允许恢复目标物体的几何形状，即表面深度/轮廓。假设几何形状设置如下：图像平面是xy面，参考平面在z＝0，相机的光轴是z轴；投影仪的光轴在同z轴成θ角的xz面上。投影纹理的u轴在xz面上；v轴同y轴平行，也就是说，投影条纹同y轴平行。参考平面上沿x轴的条纹周期变成λ_x＝λ/cosθ。表面被表示为深度函数z(x，y)。条纹图上每个像素(x，y)的的强度由下面的公式给出

I(x，y)＝a(x，y)+r(x，y)cos(ψ(x，y)+2πx/λ_x)，       (1)

其中a(x，y)是环境光的强度，r(x，y)是表面的反射率，它取决于光的入射方向、表面的法线、颜色、材质、以及表面的纹理同双向反射分布函数(BRDF)非常类似。ψ是同深度函数z(x，y)成正比的相位。相对深度可以由以下函数恢复：

$z(x,y)=\frac{{\mathrm{\ψ}}_2(x,y)-{\mathrm{\ψ}}_1(x,y)}{2\mathrm{\π}\sin \mathrm{\θ}}\mathrm{\λ}---\left(2\right)$

公式(2)包含三个未知数：a(x，y)，r(x，y)和ψ(x，y)。虽然可从所捕捉或者生成的图像来推导环境光并不直观，但是显然在数学上，如果有可用来解得三个未知数的三个联立方程，就可得出这些未知数。这三个方程可以通过有相移

地投影三个条纹纹理来生成。则，这些图像的强度为：

I_k(x，y)＝a(x，y)+0.5r(x，y)[1+cos(ψ(x，y)+2(k-1)π/3]，

这里k＝0，1，2，并且相位ψ，反射率r，以及环境光a可以如下解出：

$\mathrm{\φ}(x,y)={\tan }^{-1}\left(\sqrt{3}\frac{I_0-I_2}{{2I}_1-I_0-I_2}\right),---\left(3\right)$

$r(x,y)=2\sqrt{{(I_3-I_2)}^2+{({2I}_1-I_2-I_3)}^2},---\left(4\right)$

a＝(I₀+I₁+I₂)/3-r/2，            (5)

且a+r/2是重构的着色信息。

更一般的来说，投影三个光照图意味着执行所谓三步相移，然后是在220将图像110B-114B组合成单个包裹相位图。彼此分开相移δ的三个所捕捉的图像在每个像素(x，y)的强度分别为I₁(x，y)，I₂(x，y)，和I₃(x，y)，并定义如下：

I₁(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y)-δ)，    (6)

I₂(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y))，      (7)

I₃(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y)+δ)，    (8)

这里I′(x，y)是三个强度的平均强度，I″(x，y)是强度调制，而φ(x，y)是要确定的相位。相移δ对不同的应用可为不同的值，但是实验表明，相移120°会提供相对较小的测量误差，如现有技术中所述。

解方程(6)-(8)，可以得到相位

$\mathrm{\φ}(x,y)={\tan }^{-1}\frac{(1-\cos \left(\mathrm{\δ}\right))(I_1(x,y)-I_3(x,y))}{({2I}_2(x,y)-I_1(x,y)-I_3(x,y))\sin \left(\mathrm{\δ}\right)}.---\left(9\right)$

数据调制技术用来表达在每个像素(x，y)中确定相位的“质量”，且质量值可以表达为：

$\mathrm{\γ}(x,y)=\frac{I\′\′(x,y)}{I\′(x,y)}=\frac{\sqrt{{\left[(1-\cos \left(\mathrm{\δ}\right))(I_1(x,y)-I_s(x,y))\right]}^2+{\left[\sin \left(\mathrm{\δ}\right)({2I}_2(x,y)-I_1(x,y)-I_3(x,y))\right]}^2}}{(I_1(x,y)+I_3(x,y)-{2I}_2(x,y))\sin \left(\mathrm{\δ}\right)}.$

(10)

质量值的范围是从0到1，其中1表示最好。数据调制已被用来去除图像的背景部分。

包裹相位图随后通过常规的相位解包裹来解包裹，这在224产生相对的解包裹相位图。然后，通过绝对相位标记的所捕捉反射图的帮助，在226确定绝对相位图。图1中示出的并在图2中使用的相机和投影仪用张和黄提出的方法进行校准(Zhang，S.，和Huang，P.S.的“Novel Method for StructuredLight System Calibration.”Optical Engineering，45，2006)，该方法通过引用结合于此。根据绝对相位图并利用以下的事实：对所捕捉的图像的每个像素点，由于校准，投影图像的对应像素是已知的，在228确定物体100的表面的绝对坐标。

三维表面测量的装置

比较而言，图3包含至少在用于实践本发明的一些实施例中会用到的装置的一般布局图。如图所示：三维表面测量的装置300包括：至少一个信号发生器302，将图像310A-314A投影到物体100的表面上的至少一个投影仪304，捕捉反射图像310B-314B的至少一个相机306，以及至少一个图像处理器308。多个投影仪304如图3所示指出了在某些实施例下取决于应用所需的速度以及处理所产生的多个条纹图的充足资源的可用性，每个投影仪都同时投影光照图，而不是一个投影仪依次投影这些图(当然也是可行的)的可能性。如以下将讨论地，已有利地利用了多个相机。

参考图4，根据本发明一些方面的装置的部分实施例示意性地示出，其中包括两个相机406A和406B与一个投影仪404。两个相机406A和406B同时且独立地捕捉照亮物体的两个相应图像，然后可将这两个图像组合成一个。相机可提供黑白或者彩色成像功能。优选地，相机是黑白的。

参考图5，示出另一部分实施例的一般布局。这个实施例包括两个黑白相机506A和506B，分别与彩色相机507A和507B成对。采用了一个投影仪504。图5示出四个相机。或者，单个黑白相机可与单个彩色相机成对(未示出)。采用彩色相机以及黑白相机允许在捕捉物体表面的绝对坐标的同时捕捉物体表面的彩色纹理。相对于一个黑白/彩色相机对，两个黑白/彩色相机对可提供更大面积的覆盖范围。黑白相机506A和506B用来捕捉三维几何形状数据，而彩色相机507A和507B用来捕捉彩色纹理，这将结合图9在以下描述。

图6示出另一部分实施例，它包括两个工作站610A和610B，一个工作站与一对黑白相机606A和606B相关联，另一个工作站与一对彩色相机607A和607B相关联。如图1和3所示，合适的工作站应该能够容纳信号发生器和在一个或多个处理核上实现的图像处理器。在每个工作站的处理器中，程序可以运行以用来确保两个相机对独立但同步地工作。捕捉速度优选地较高，但数据量会相应地比较大；因此，每个工作站最好有至少两个处理器，每个处理器专用于处理一个相机。为了独立但是同步地得到物体表面上的三维几何形状信息和彩色纹理信息，工作站610A和610B的两个处理器可以由外部的触发源611来触发，从而图像采集的时序信号由外部信号来确定。当然也可采用包括多个相机、多个投影仪、以及其它设备的设置。

绝对坐标三维表面测量方法的综述

参考图7，提供了本发明实施例中采用的绝对坐标三维表面测量方法的流程图700。与作为现有技术三维表面轮廓测量方法200的一部分产生三个光照图相反，两个条纹光照图312A和314A，加上一个均匀光照图，或者图像310A由信号发生器302在701产生。相对于三个周期性光照图，使用两个周期性光照图的方法是有利的，因为本方法可以降低处理需求，从而相应增加测量速度。两个条纹图相对彼此具有90度的相移，优于现有技术使用的120度相移，因此确保结果图像的每个像素的相位的计算更快。另外，小标记在各个光照图里编码，如708A-708C所示。在本发明的实施例中，小标记是小的十字，横向和纵向的线都是5个像素长。，带有在708A-708C编码的相应标记的光照图310A-314A在702、704、和706用投影仪304分别投影到物体100上。标记在光照图中编码并与这些图案一起投影，因此只需要三个图像，而不是图2所示的四个图像。如前所述，这可以增加测量的速度。图案从物体表面的反射可由相机306捕捉。三个图案310A-314A依次并且重复被投影，且相机和投影仪的操作是同步的。光照图312B和314B以及均匀光照图310B进一步在图像处理器308内处理。第一处理步骤包括组合三个所捕捉图像以产生包裹相位图。

在720，组合图像310B-314B以产生包裹相位图721，这被称为“2+1相移算法”。“2+1”符号涉及使用两个条纹图和一个均匀图像来照亮物体。图像312B、314B、和310B的强度可以分别表示为I₁、I₂和I₃。应该注意的是，图像的编号顺序是任意的。相应于三步相移法(使用三个分开120度的条纹图像)，“2+1”相移算法的一个优点是它可在捕捉物体表面的三维几何形状的同时捕捉到高质量的纹理。另外，使用该算法也可以减少与物体运动相关联的计算误差。

三个光照图在每个像素(x，y)上的强度可以表达如下：

I₁(x，y)＝I′(x，y)+I″(x，y)sin(φ(x，y))，  (11)

I₂(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y))，  (12)

I₃(x，y)＝I′(x，y)，                        (13)

这里，I′(x，y)是强度I₁(x，y)和I₂(x，y)的平均强度，I″(x，y)是强度调制，φ(x，y)是要确定的相位。

解方程(11)-(13)，相位被定义为：

$\mathrm{\φ}(x,y)={\tan }^{-1}\frac{I_1(x,y)-I_3(x,y)}{I_2(x,y)-I_3(x,y)},---\left(14\right)$

这里，得到的每个像素(x，y)上的相位是模2π，其值的范围是[0，2π]。每个像素(x，y)上相位的质量值(范围是从0到1)可以使用数据调制技术确定，并定义为：

$\mathrm{\γ}(x,y)=\frac{I\′\′(x,y)}{I\′(x,y)}=\frac{\sqrt{{\left(I_1(x,y)-I_3(x,y)\right)}^2+{\left(I_2(x,y)-I_3(x,y)\right)}^2}}{I_3(x,y)}.---\left(15\right)$

通常情况下，相位数据的质量用来使用某阈值来去除图像的背景。另外，在本发明的实施例中，质量值用来检测经编码的标记，如下所述。

再参考图7，进一步处理包裹相位图像721包括采用多层质量引导的相位解包裹算法722来在724产生解包裹相位图725。在730，检测在708A-708C编码的标记以有助于在726产生绝对相位图727，然后在728确定绝对坐标729。

图8示意性地示出某些实施例的一个方面：彩色编码的图像作为叠加的颜色编码信号800由信号发生器302产生。信号800然后发射到投影仪304。投影仪304可以是例如单芯片数字光处理(DLP)投影仪，该投影仪基于数字光切换技术、将叠加信号800投影为三个独立图案。在DLP投影仪中，图像由在半导体芯片上排列成矩阵的微小反射镜阵列(称为数字微镜设备(DMD))上产生。实质上，DMD芯片上的每个像素是反射镜。叠加信号是分别在绿(G)、红(R)和蓝(B)色通道中编码的三个图案802、804和806的组合。颜色通道的分配在一定程度上是随意的。因此，平面投影802不一定是在G通道中编码，而也可以在R或B通道之一中编码。DLP投影仪以高速顺序且反复地投影包含光照图的叠加信号。彩色编码图从物体100的反射由相机306以黑白模式捕捉。应当注意，由彩色相机以彩色模式捕捉反射也是可能的。另外，颜色编码光照图也是可任选。

如现有技术所述，优选地利用黑白模式来避免与使用彩色相机相关联的彩色耦合。另外，物体的颜色可能很难与光照图的颜色区分开，这会影响测量的质量。相机306可以是高速黑白相机，诸如电荷偶合器件(CCD)相机，其与投影仪304同步并用来捕捉三个图案。适当的相机可以是PulnixTM-6740CL(加州圣何塞的JAI PULNiX，Inc.)，尽管别的相机也可以使用。同步性的描述参考图10进行。

在根据图8的本发明实施例的实现中，R投影图804，B投影图806是条纹图，而G投影图802是低反差图(即：具有固定强度)。从图8可见，对应于投影图804和806的物体表面的结果图812和814包含条纹，而对应于投影图802的图像810不包含条纹。图像721是物体100图像在相位之后的示例，该图像在下一步中被解包裹成图像725。该经解包裹的图像然后用来确定物体表面的绝对坐标，且相应的三维几何形状的图像被示为图像729。该处理由与信号发生器302同样装在平台310上的图像处理器308处理。

纹理捕捉

在某些应用中，例如电影制作，获得所测量表面的纹理是合乎需要的。在本发明的实施例中：纹理被定义为物体的实际图像，这些图像是除了物体的大规模三维几何形状之外提供的物体表面的附加细节。纹理也可以是通常的物体外观和触觉感受的纹理，诸如棉帆布、酒椰叶纤维、木材、砂、砾石等等。但是，对人脸识别、图像生成和相关的计算机图形学应用的用途来说，纹理被用来通过将从(普通)二维图像获得的表面的相对细微细节映射到相关三维空间来创建复杂物体表面的外观。

在捕捉表面的三维几何形状的同时，捕捉平的、均匀的光照图提供表面的这种纹理并注册之。通常情况下，捕捉黑白纹理(即着色)就够了。因此，可使用黑白相机。有些应用领域，诸如电影和游戏业受益于其三维几何形状得以确定的物体的彩色纹理的可用性。相应地，除黑白相机之外，可使用彩色相机。

图9例示本发明的实施例，其提供由彩色相机907捕捉所投影的均匀图案902的附加图像以供获取彩色纹理934。黑白相机306以及彩色相机907捕捉分别由信号发生器302产生的光照图902-906的反射910-914和911。因此，可采集到黑白纹理932和彩色纹理934。在均匀图案902的图像也显然以黑白模式取得，并且这允许采集黑白纹理932。在获取纹理932和934时编码标记908A在步骤930被去除。纹理被点对点映射到绝对坐标727，因此变成整体表面数据的一部分。投影仪304以及相机306和907被校准(使用现有技术方法，在下面更详细地介绍)，从而所投影图像和所捕捉图像的每个相应像素的准确物质。包裹相位图721是根据结合图7所述的2+1相移算法产生的。随后，生成解包裹相位图725，如以下所述地。接下来在730通过检测经编码标记(并确定其相位值)来有助于生成绝对相位图727。最后，确定绝对坐标729，如以下所述地。

相机和投影仪的同步

现在参考图10，示出了图9的相机和投影仪的示例性同步的时序图。如本发明优选实施例中的投影仪最好是单芯片DLP投影仪(如：PLUSU5-632h，PLUS Vision Corp.)，从信号发生器302接收彩色编码图像(如图8所示)，然后以黑白模式依次并反复地以120帧每秒的帧频投影这些图像。与投影仪同步的高速CCD相机(如Pulnix TM-6740CL，加州圣何塞的JAI PULNiX，Inc.)用来以180帧每秒的速度捕捉反射图。根据2+1相移算法，任意三个连续图像都可以用来重构三维几何形状。在一个典型的实施例中，从信号发生器到投影仪的输出可由常规的计算机图形适配器，诸如视频图形阵列(VGA)适配器(未示出)提供。当然，也可使用别的合适的图形适配器，或者图形信号源。投影仪的内部时序1002可以同VGA的竖直同步信号(VSync)1000同步。虽然显示在本图的是2:1关系，但是这个比例关系不是必须的。VSync信号可以作为基于微控制器电路(未示出)的触发信号，该电路进一步产生黑白相机的触发信号1004，以及彩色相机的触发信号1006。因为投影仪和相机是由同一个时序源VSync 1000控制的，所以其同步性是可以保证的。当然别的同步方式也可以使用。

图10显示，由于所使用的黑白相机的速度限制(最高速度是200帧每秒)，因此黑白相机需要两个投影周期来捕捉三个以R、B和G编码的图案(由竖直虚线以及水平箭头另外突出表示)，这导致三维表面测量的帧频是60Hz。更高速的黑白相机也可以使用，当然可以达到更高的帧频。彩色相机也以60帧每秒的帧频来捕捉物体表面的彩色纹理。彩色相机的曝光时间与承载低反差图像的投影通道(G)有关。

相位解包裹

不幸的是，由方程14得到的恢复相位是不准确的：它包括潜在的相位模糊量为2kπ，以及明显的不连续性，这里k是整数。也就是说，相位在明显的不连续处“包裹”自身。相位模糊会带来重构几何形状的深度跳变。图11示出了图像1102-1112用来重构图像几何形状的进程。图像1002有多条线(如线1103)来表示相位不连续性的轮廓。实际的错误相位在图像1104中由沿这些线1103的跳变(如1105)示出。图像1106中的显示是放大了的。然而，如果假定图像没有剧烈的不连续性以及表面是光滑的，则模糊性可以使用叫做“相位解包裹”的算法来去除。相位解包裹通过在不连续处加上或减去2π弧度的整数倍来去除2kπ的不连续性，从而得到图像1108上示出的几何形状(并在图像1110和1112放大)。

因此，如果表面是光滑的，则跳变曲线(轮廓1103)可以很容易找到并去除。一般来说，有两种办法来去除相位模糊：(1)将相位值与相邻像素的作比较并通过沿相位包裹轮廓替换这些值来实施光滑过渡；以及(2)强制该轨迹的相位值与用另一方式得到的值保持一致(如下面所述的两波长方法)。

为了得到连续的相位图，下面参考图12-14讨论第一种类型的相位解包裹算法。

参考图12，在步骤1202，处理包裹相位图1200以计算质量图。质量图在步骤1204被分成N个质量级别。相位解包裹处理从包含最高质量数据点的第k级开始(即k＝0)。如果还有级别需要处理(步骤1206)，则解包裹算法处理下一比先前处理级别质量低的数据点的级别(步骤1208)，直到所有的级别都处理完为止(步骤1210)。对每个级别，这些数据点的质量被认为是一样的，且采用快速扫描线相位解包裹算法，如图13和14所示。

作为相位解包裹算法的一部分，生成质量图来指导相位解包裹路径是本领域已知的。质量图通常是基于该像素和相邻像素的一阶差分或者二阶差分来构建。多种质量引导的相位解包裹算法已经公布。但是，这些质量引导算法通常涉及非常耗时的逐点排序，从而很难以合理成本实现实时性能。存在能够快速执行相位解包裹的其它算法，但是它们不能提供足够的准确度。这里所讨论的质量引导的相位解包裹算法快速稳健。这种多级别、质量引导的算法可足够快地执行相位解包裹，从而只使用诸如可在个人计算机和图形加速器中找到的不是非常昂贵的处理器就可以满足实时三维几何形状采集的速度要求。

现在参看图13，示意性地示出了与质量引导算法相组合的快速扫描线相位解包裹算法。该算法在1300A从选择一起始点(x₀，y₀)开始，起始点通常在图像的中心，如1300B所示。具有n行的图像在1302A被通过起始点的竖直和水平(虚)线分成4小块A-D，如1302B所示；然后每小块都通过如下所述的扫描线方法进行解包裹。如图1304A-B所示，水平扫描线引导两个方向(向左和向右)—即从起始点到图像的左右边界—的扫描。在步骤1306，确定图像中是否有经解包裹行，并且如果有，则水平扫描线从起始点(1308)竖直地向图像的顶部和底部前进以引导扫描下两行，如1310A-B所示。

图14示出一小块的扫描1400。开始，设M为该小块的大小，即此小块中的点数，且在1402，计数值m设定为1。点(x，y)_m(如图14所示，为清楚起见带有下标“m”)的扫描从1404开始。(为了简单起见，点(x，y)_m的下标“m”从这里开始都忽略)。在1406，选择点(x，y)的L大小的邻域。同时，在1406，跟踪邻域内点的处理的计数值c被设定为1。各自被标示为(x_i，y_j)_c(为了避免复杂的标记，下标“c”在下文提及(x_i，y_j)_c时或在图14的1410没有示出)的点(x，y)的邻域内的这些点被分成两组：面向起始点(x₀，y₀)的相邻点，也就是说，该点的x和y距离起始点小于所扫描点到起始点的距离(|x_i-x₀|<＝|x-x₀|和|y_j-y₀|<＝|y-y₀|)。另一个组的数据点面向边界，即相邻点的x或者y距离起始点大于所扫描点到起始点的距离(|x_i-x₀|>|x-x₀|或|y_j-y₀|>|y-y₀|)。

相应地，在1410，对每个相邻点(x_i，y_j)确定该相邻点是否面向起始点。如果回答是肯定的，并且相邻点没有被解包裹(这一点可以在1412确定)，那么点(x，y)如1414所示被解包裹。所以，如果扫描点的面向起始点的至少一个相邻点被解包裹，则该扫描点就被解包裹，且被记录为经解包裹。如果该小块仍有要扫描的点，则在1416将产生回答“是”，扫描就通过1418继续到下一个点。应该理解，只有有效的点，即不属于背景的点，才需要被解包裹。在步骤1410，产生的否定回答意味着相邻点面向边界，指示符变量NFB在1424被设定为1。如果点(x，y)具有别的相邻点(这些相邻点会在1420确定)，则计数值c在1422递增并检查另一相邻点。如果点(x，y)所有的相邻点都已检查并且没有发现面向起始点的未经解包裹的相邻点，则在1426确定是否变量NFB之前已被设定为1(即：点(x，y)至少具有一个面向边界的有效相邻点)。如果回答为“是”，则该点(x，y)在1428被“推到”堆栈上，并且扫描继续进行。

在扫描了该小块中的所有点之后(即：到达步骤1430)，在1432确定的堆栈中的点(如果有的话)将会一个接一个地“弹出”(即处理)。在1438将解包裹在1436确定的具有至少一个面向边界的经解包裹相邻点的弹出点，而在1440其他弹出点被丢弃，不作进一步处理。于是，点(x，y)只被扫描一次，且有两次机会被解包裹。

质量图的生成需要被特别关注，因此在此加以描述。在每一像素上定义最大相位梯度的质量图如下：

Q(i，j)＝max{Δ_ij ^x，Δ_ij ^y}，        (16)

其中Q(i，j)取值范围从0到1，x和y分别为水平和垂直方向，在以(i，j)为坐标的给定像素的3×3的邻域内估算最大值。项Δ_ij ^x和Δ_ij ^y分别是相位沿x和y方向的偏导数，分别定义如下：

${{\mathrm{\&Delta;}}^x}_{\mathrm{ij}}=\max \{\left|W\{\mathrm{\&psi;}(i,j)-\mathrm{\&psi;}(i,j-1)\}\right|,|\mathrm{\&psi;}(i,j+1)-\mathrm{\&psi;}(i,j)\}|\}---\left(17\right)$

和

${{\mathrm{\&Delta;}}^y}_{\mathrm{ij}}=\max \{\left|W\{\mathrm{\&psi;}(i,j)-\mathrm{\&psi;}(i-1,j)\}\right|,|\mathrm{\&psi;}(i+1,j)-\mathrm{\&psi;}(i,j)\}|\},---\left(18\right)$

此处ψ＝φ/2π是在公式(14)中定义的归一化包裹相位φ，取值范围为从0到1。W算子通过包裹经包裹相位的差异估计真实梯度。应当注意，质量图的像素Q(i，j)所包含的值愈大，其数据质量愈差。因此，实际上该图是逆质量图。

在维度为M×N的质量图Q中，每一像素Q(i，j)在公式(16)中定义。在应用数据调制掩蔽之后，质量图Q被假定为是正态分布。正态分布的平均值和方差被分别定义为

$\stackrel{\&OverBar;}{Q}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}Q(i,j)/\mathrm{MN},---\left(19\right)$

和

$\mathrm{\&sigma;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\sqrt{(Q(i,j)-\stackrel{\&OverBar;}{Q}}/\mathrm{MN},---\left(20\right)$

为了将质量图量化成多个级别，选择一阈值以首先将数据分成两个集合，一个集合具有要首先处理的更高优先级，而另一集合在其后处理。初始质量阈值th_s选为正态分布Q的平均值Q。因此，经头一遍处理的数据点集{(i，j)|Q(i，j)<th_s}形成第一级别，或级别1。对于第n-th_s级，阈值s被定义成s＝th_s+2^(n-1)σ。要解包裹的最后一级不被任一更高质量级别未包含的数据点。

采用本发明的相移算法，接着用数据调制来掩蔽图像背景，通常导致80％以上的数据点处于第一级。使用所指示的数字图案投影便于所获取良好质量的数据。发明人评估了多级别质量引导算法，结果表明在绝大多数情况下，使用3个质量级别可以提供质量足够好的经解包裹相位。虽然可以使用更多级别，但是级别愈多，处理速度愈慢。在另一极端情形下，常规的质量引导相位解包裹算法可用来替代多级质量引导算法，如果牺牲是可被接受的。

图15示出了将3级质量引导相位解包裹算法应用于人脸的经包裹图像的示例。顶行显示了经过了3级解包裹的经解包裹数据集1500，1502和1504，而底行显示了对应的图像1506，1508和1510。可以看出，脸部的主要特征在第1级中已被解包裹。在第2级中，对应于一些缺失特征的图像区域被解包裹，例如面颊的右部。余下的细节，例如左耳和脖子的一部分在最后一级(即第3级)中得到。

通过比较相邻像素来平滑化不连续处相位过渡的过程并不很有效率。因此，另一方法被加以尝试，结果导致双波长方法。(当然，可使用多于两个的波长，但双波长即已足够。因此，一般而言，此方法可被视为多波长方法。)基本上，投影纹理中有选定两个空间周期λ₁，λ₂，从而λ₁足够大以致于其一个周期就可以覆盖全部场景范围。因此，不存在相位模糊，但是重构的几何精度比较低；λ₂小很多，存在相位模糊，但是重建的几何精度比较高。通过两幅全图像之间的深度一致性，第2幅全图像的相位可被解包裹，也就是说适当的2π整数倍可被确定下来。换言之，两幅图像的深度不必被强制相等，但从第一个投影得到的深度被用来确定第二图像的相位应当映射2π的多少倍。图16示出作为关于具有丰富几何特征的宙斯雕塑的计算结果的图像，使用的方法是双波长法。图16的6幅图像1601-1606示出双波长相位解包裹的本质。图像1601是宙斯胸像的全图像，λ₁空间频率(即投影条纹图的频率)为1Hz。图像1602显示在λ₁得到的重构几何形状。当然，重构的几何形状非常粗糙，但是不必进行相位解包裹，并且它可以被用作对具有更密条纹图的全图像进行相位解包裹的基准。图像1603是在λ₂空间频率64Hz得到的全图像。图像1604显示了由全图像1603未经相位解包裹而得到的重构几何形状。实轮廓线是相位突变轮廓。图像1605是在通过与图像1602保持深度一致性实现的相位解包裹之后重构的图像1604的几何表面。图像1606是着色图像(即，只有振幅-常规摄影图像)。

由质量引导多级相位解包裹算法得到的经解包裹图像是相对解包裹相位图。要得到物体表面的绝对坐标，需要绝对相位。要想确定绝对相位，现有技术方法是多拍摄一附加中线图像。但是，增加用来重构3维几何形状的图像的数目降低了测量速度。因此，如图7和9所示，优选在每一投影光照图中编码一标记。检测到经编码标记使得绝对相位能够计算，同时保持3维几何形状数据采集速度足以使其被视为实时。为了减少测量误差，在一些实施例中，标记的大小选得很小。但是，在二维图像中定位小标记一般较困难，尤其是在图像模糊的情形下。图17示出检测标记的示例。在图像1700中，位于椭圆形白色窗口的标记1708A(对比度加强)几乎难以看清。为了自动检测该标记，生成更清晰地显现标记的γ图。这在图像1702中示出，其中在手的更浅背景下，标记1708B显示成暗斑。然而，在通常情形下，从γ图中检测标记也很困难。因此，基于数据质量掩模被创建，使用上述的数据调制技术计算并用来去除背景。γ图反相：黑色变白色，以及白色变黑色。包含有标记1710B的图像1704显示了实现掩模之后的反相γ图。

由本质上是图案识别算法的标记检测算法来检测经编码标记。此种算法可以利用已知的对极(epipolar)几何途径，根据该途径投影仪所投影的点总是被成像到相机所拍摄图像的一条线(被称为交叉对极线)上，如果相机镜头没有畸变的话。因此，在进行测量之前，相机图像中的交叉对极线被校准并储存起来以备将来之需。为了校准该线，置于距相机不同距离的比较大的白色平面物体被拍照。在这一系列图像中找出十字中心，它们形成了对极线。标记检测仅需要在校准线上进行，这使得该检测更快更稳定。在本发明的一方面中，基于模板的方法被用于寻找标记中心。例如，一示例性模板是5 x 5阵列。实验结果表明多于99％的标记可使用所述方法正确地检测到。

一旦标记的相位φ₀被确定下来，每一像素的绝对相位φ_a(i，j)能够用下面的公式得到：

φ_a(i，j)＝φ(i，j)-φ₀.            (21)

如果尚未可用，则在得到绝对相位图之后，应当建立唯一的从CCD相机像素到DLP投影仪DMD像素之间的点到线映射。一旦此关系被建立，就可得到所测量物体的绝对坐标。

投影仪和相机的校准

可使用已发表的校准方法(Zhang，S.和Huang，P.S.，“Novel Method forStructured Light System Calibration.”Optical Engineering，45，2006)，其通过引用结合于此。根据这种方法，投影仪和相机一样被启用以“捕捉”图像，因而可以像相机一样校准。相机校准方法是沿用已久的。

以下给出投影仪和相机的校准的例示性示例。作为一个例子，令3 x 4矩阵A^c和A^p分别表示相机和投影仪外在和内在参数矩阵：

$A^c=\left[\begin{array}{cccc}{a}_{11}^c& a_{12}^c& a_{13}^c& a_{14}^c\\ a_{21}^c& a_{22}^c& a_{23}^c& a_{24}^c\\ a_{31}^c& a_{32}^c& a_{33}^c& a_{34}^c\end{array}\right]$ ，和                (22)

$A^p=\left[\begin{array}{cccc}{a}_{11}^p& a_{12}^p& a_{13}^p& a_{14}^p\\ a_{21}^p& a_{22}^p& a_{23}^p& a_{24}^p\\ a_{31}^p& a_{32}^p& a_{33}^p& a_{34}^p\end{array}\right].---\left(23\right)$

这些矩阵包含从相机或投影仪坐标系到世界坐标系的平移和旋转矩阵。世界坐标系，或绝对坐标系(x，y，z)与相机像素坐标(u^c，v^c)及DMD像素坐标(u^p，v^p)之间的关系是

s^c[u^c  v^c  1]^T＝A^c[x  y  z  1]^T，  (24)

和

s^p[u^p  v^p  1]^T＝A^p[x  y  z  1]^T，   (25)

这里s^c，s^p分别是相机和投影仪的比例因子。

当得到绝对相位φ_a之后，相机坐标和投影仪坐标的关系能被建立为：

${\mathrm{\&phi;}}_a^c(u^c,v^c)={\mathrm{\&phi;}}_a^p\left(u^p\right),---\left(26\right)$

这里φ^c _a是相机像素的绝对相位。

因为所投影的条纹图由均匀的条纹组成，并假设条纹图具有条纹间距P，即每一条纹周期的像素数目，且x方向的像素总数是W^p，可得到下面的公式：

$u^p={\mathrm{\&phi;}}_a^{c}P/2\mathrm{\&pi;}+W^p/2,---\left(27\right)$

这里u^p是图像上由DMD捕捉的垂直线，作为相机图像上的任意点(u^c，v^c)它们具有相同的绝对相位值。此公式中W^p/2项被用来将所投影条纹图的中心转换到绝对相位0。

从公式(22)-(27)，绝对坐标可计算如下：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]={\left[\begin{array}{ccc}{a}_{11}^c-u^c{a}_{31}^c& a_{12}^c-u^c{a}_{32}^c& a_{13}^c-u^c{a}_{33}^c\\ a_{21}^c-u^c{a}_{31}^c& a_{22}^c-u^c{a}_{32}^c& a_{23}^c-u^c{a}_{33}^c\\ a_{11}^p-u^p{a}_{31}^p& a_{12}^p-u^p{a}_{32}^p& a_{13}^p-u^p{a}_{33}^p\end{array}\right]}^{-1}\left[\begin{array}{c}{u}^c{a}_{34}^c-a_{14}^c\\ u^c{a}_{34}^c-a_{24}^c\\ u^p{a}_{34}^p-a_{14}^p\end{array}\right].---\left(28\right)$

计算涉及数学计算密集的矩阵计算。若所有的计算都由CPU完成，则实时重构和显示将很难在一般的台式机上实现。

GPU-辅助三维表面测量

因此，图形处理单元(GPU)可用来更有效地根据绝对相位计算绝对坐标，从而减少CPU的负担。使用GPU可以实现实时坐标计算和渲染。GPU是被设计主要用来处理三维图形的微处理器。GPU一般内嵌有集成的变换、光照、三角形设立/裁剪和渲染引擎，其能够每秒处理数百万的数学计算密集处理。

本发明的实施例利用GPU来帮助CPU进行数学密集计算。在绝对相位图中，每一像素包含绝对相位值。目的在于将此图转换到物体表面的绝对坐标。参照图18，其显示了一些实施例中采用的GPU管线。CPU 1802将输入顶点数据1804发送给GPU 1800。图19示出在输入顶点数据1804中每一数据点被表示为(x，y，z，w)和法向量(nx，ny，nz)的齐次坐标的位置。再度参照图18，GPU 1800为每一顶点生成光照，重建多边形并栅格化它们的像素，然后将栅格化的图像1818输出到显示屏(未示出)。GPU 1800允许用户指定代码在管线的顶点和像素部分内执行，它们被分别称为顶点着色器1810和像素着色器1816。顶点着色器是用于图形处理的计算机程序，用来通过对物体的顶点数据进行数学运算为三维空间中的物体添加特殊效果。顶点着色器1810被应用于每一个顶点并在可编程顶点处理器上运行，如在图19中1900示意性地示出。GPU可具有多个顶点处理器。因而，在本发明一些实施例中采用的425MHz Quadro FX 3450 GPU具有并行执行的8个顶点处理器。图19详细地说明由运行在多个可编程顶点处理器1900中的顶点着色器1810执行的顶点变换步骤1806。顶点着色器负责计算图像中每一顶点的裁剪空间坐标和色彩。在图19中，通过将输入坐标与模型视图矩阵(未示出)相乘，顶点着色器1810生成裁剪空间坐标(cx，cy，cz，cw)，如在1904中示出。模型视图矩阵跟踪相机相关于对物体执行的变形、旋转、缩放和平移的位置。为了每一顶点的可视化，需要对每一顶点指定颜色。于是，如在1904中显示，顶点着色器1810根据(R，G，B)形式的光照条件计算顶点的颜色。在多边形组装步骤1808，顶点根据其输入顺序被组装成多边形顶点。GPU 1800通过并行计算自动处理流送数据的传送。虽然GPU的时钟频率通常远低于CPU(例如，425MHzQuadro FX 3450 GPU相比3.4GHz Pentium 4CPU)，它的多个并行顶点处理器提供了远大于CPU的GPU处理能力。随着GPU复杂度的提高，顶点处理器的数目也在增加，因而带来了计算性能的提高。

再次参照图18，当多边形组装在步骤1808完成之后，多边形栅格化和插值步骤1812将被执行。在栅格化期间，每一多边形被逐个像素绘制。像素着色器主要用于计算每一像素的颜色性质。它们通常比顶点着色器具有大得多的处理能力。像素着色器1816应用于所创建多边形的每一个像素上且由多个像素着色单元(未示出)运行。在一些实施例中使用的图形卡NVidia Quadro FX 3450具有24像素着色单元。像素着色器的输出进一步被栅格化处理单元1814处理，此处不作进一步的讨论。

参照图20，根据一些实施例，顶点着色器2000在GPU1800内用来计算每一顶点的绝对坐标、法向量和颜色。在这些实施例中，顶点数据被表示为虚设栅格网，和物体表面具有同样的连接性。指派给每一输入顶点的“坐标”是绝对相位图的像素的绝对相位值，和顶点的栅格索引。如图19所示，每一输入顶点的位置坐标具有4个构成部分。因此，在默认栅格网上三角形的三个相邻顶点的绝对相位和三角形的相关联索引组成了顶点位置向量2002。应当理解，默认栅格网中三角形的顶点包含与绝对相位图中的相应三个像素的三个绝对相位值。此顶点应和输入给GPU的顶点数据相区别，且其中每一顶点被表示为上述三角形及其索引。

在图20中，三角形的三个顶点，定义为v₀，v₁，和v₂，分别具有绝对相位φ₀，φ₁，和φ₂，且v₀具有索引id₀。因此，顶点位置向量1902被定义为(φ₀，φ₁，φ₂，id₀)。因为三角形的三个顶点间的关系已知，另外两个顶点的索引，v₁和v₂，根据v₀的索引唯一地确定。当绝对坐标2004确定之后，根据三角形的三个顶点可计算出顶点v₀的法向量。当顶点法向量2006为已知之后，GPU 1800生成裁剪空间坐标2008，且根据光照条件设置生成顶点的颜色2010。

表格1显示了只用CPU和利用GPU辅助的CPU计算绝对坐标和渲染的结果对比。在这些实验中，程序代码用C++在Microsoft Visual C++.net2005环境中编写，且同样的条件被用来评估两种途径的性能。从该表格，显然可见GPU提高了计算和渲染的速度。对于全分辨率图像(532 x 500)，NVidia Quadro FX 3450图形卡能够每秒处理25.56帧(25.56fps)，而3.4GHz CPU使用同样的图形卡来显示结果只能每秒处理6帧。此处，GPU速度比CPU速度快4倍。另外，对于人脸的实际测量，只有约一半的像素需要被渲染，因为背景不作显示。因此，GPU辅助三维形状测量能够实现每秒30帧以上的速度。应当注意，甚至使用相对便宜的ATI 9800 XT图形卡，计算和渲染物体图像的四分之一的点可达到每秒53.37帧，比每秒30帧更快，足以提供实时三维数据采集。

表格1

注意：Quadro FX 1400和Quadro FX 3450是NVidia图形卡。计算机是具有双CPU—分别为Pentium 4 3.2GHz和3.4GHz的Dell Precision 670工作站。

全图像的求值

全图像提供的重构几何精度由很多因素决定。一些直接因素有：图像的分辨率(m×m)，像素比特—深度n，条纹的空间频率μ，投影角度θ。假设在全图像上指定的像素有1—比特误差。重构几何误差为：

$\mathrm{\&delta;z}=\frac{1}{{\mathrm{\&mu;}2}^n\sin \mathrm{\&theta;}}.---\left(29\right)$

从此公式可得出，增加投影条纹空间频率可以增加精度。实际上，空间频率具有上限，其由投影仪和相机的分辨率所确定。同样，增大投影角度θ可以提高重构几何形状的精度，但也会增加被遮挡的区域(例如，由物体特征遮蔽的区域)。

图21示出不同参数的效果。图像2102，2104，2108，和2110以同样的投影角度15°，但是不同的空间频率2Hz(图像2102和2104)和8Hz(图像2108和2110)创建(生成)。图像2102，2108，2106和2112以同样的空间频率(2Hz)但是不同的投影角度15°(图像2102，2108)和80°(图像2106，2112)生成。区别非常明显。(应当理解，投影角度80°是计算机上合成的结果，如此之大的投影角度在光学投影系统中无法实现，因为物体的某些特征可能被另外一些特征或区域所遮挡。虽然如此，这些图像显示了参数选择的影响。事实上，所有图21中的图像都是用计算机生成的。)

同几何图像的比较

常规的几何图像(geometry image)(一种规则网格)和深度图(depthimage)利用颜色信息编码深度信息。几何误差公式是δz＝1/m2ⁿ。与公式29相比较，很明显，若μsinθ>>1，则全图像具有高得多的几何精度。实际上，μ可被选为128，θ在30度左右。因此，这样的全图像比相应的几何图像精确64倍。利用全图像，一般的24-比特图像格式可以足够好地存储几何信息；对于几何图像而言，这是不可能的。

所生成(即，虚拟)的全图像

利用现代图形管线，可以非常容易地合成(即生成)全图像，从而模拟在物理投影仪/相机装置中发生了什么(甚至执行在投影仪、相机装置中不真实的操作)。如图22所示，举例而言，三个正弦条纹图2202，2204和2206可被预计算并被储存成3通道24比特的彩色条纹图。，在计算机上表示成表面模型的虚拟物体和模拟入射光图案的交互作用可被计算出来，从而得到模拟相移输出和模拟的着色图像，如2208，2210和2212所示。相位和着色数据可如同在真物理相机中提供的数据那样组合，以得到全图像。

为了简化全图像的分析，更倾向于采取一种标准配置，其中投影纹理和相机使用正交投影，且几何物体被归一化到单位立方体中。另外，在计算时，若用户只关心获取相位信息而忽略着色或纹理信息，则有可能在图形处理单元中将纹理环境模式设为替代模式。如果想要编码几何和着色信息，则可设置OpenGL的纹理环境以调制图像使得着色和相位信息相结合。若表面具有自身的纹理，则使用多纹理技术来生成全图像是合适的。对于颜色着色信息，可保留无投影纹理的渲染图像，作为重构几何形状的纹理图像。

图23显示了全图像2300，它表示带有复杂纹理的几何体。全图像是依照如下的过程合成的：首先，广为人知的斯坦福兔子表面被共形参数化，然后任意的单色位图被纹理映射于其上，之后彩色正弦条纹使用投影纹理映射着色到兔子上。这两个纹理利用多纹理技术组合在一起，在2302生成几何表面。具体地，将OpenGL中ARB多纹理扩展用于Nvidia GeForce 6800图形卡上，设置纹理环境模式来调制，混合表面纹理颜色和条纹图。图像2302是平面着色的，可以看出平面三角形。相应的24位全图像在2300显示。在2304，只示出相位图的图像。在图像2306上，从全图像重构纹理。从全图像重构的几何形状在2308显示，且平面三角形被恢复。

为得到更加真实的物体表面渲染效果，可使用彩色纹理映射方法。没有条纹的彩色图像可通过将彩色相机的曝光时间设定为一个投影通道时间，或2.78毫秒以捕捉低反差图像来获得。

若黑白相机和彩色相机的坐标系统相同，则彩色和黑白相机之间的关系可通过校准建立。因为可测量物体的绝对坐标，所以在获得彩色和黑白相机之间的关系后可得到被测物体相对于彩色相机的坐标。在绝对坐标已知之后，可得到彩色图像和三维物体点之间的关系；因此三维物体上每一点的颜色都可通过使用常规的镜头成像公式计算。

设彩色相机成像矩阵是P，它是透视投影矩阵，包括相机的内在和外在参数。矩阵P能够通过普通的相机校准得到。对每个三维点X＝[x，y，z，1]^T，相应的彩色图像点是：

I^c(x，y)＝PX，

其是该3维点的相应色彩信息。

应当注意，通过求三幅相移条纹图的平均值，可获得纹理图的黑白图像。因为这种方法不需要拍摄附加的黑白或彩色，所以它是最快的方法。

渲染全图像

全图像表示同一图像内的着色和几何形状。也就是说，每一像素都编码相位和幅值信息。当使用常规的24-比特格式时，两个8比特部分可储存例如相位数据，而1个8比特部分可储存着色数据。

近期图形硬件的开发使得直接高效地渲染全图像变得可行—即完全在计算机上中使用虚拟投影仪和虚拟相机，使用可编程管线进行。为了渲染目的，全图像可具有取代传统网格的潜力，因而简化了GPU的体系结构。

从全图像重构表面

为了表面重构，全图像提出图像质量的计算要求和图形处理器的能力之间的良好匹配，并且与只使用通用CPU相比，它带来了显著的加速。合适的表面重构算法需要高强度和准确的数值计算，具有完整的网格图形，并且满足SIMD语义。因此，这种重构算法可被高性能图形处理器(GPU)有效地加快，例如nVIDIA GeForce 6800和ATI Radeon 9800，它们具有灵活的SIMD编程接口与强大的浮点计算能力。

如图24所示，表面重构可被映射到图形硬件。初始全图像2402和2404被首先作为纹理从CPU上传到GPU。然后，一串GPU计算密集内核(像素着色器)被依次应用于初始和中间产生的纹理。每个像素着色器(并行)处理每个纹元(纹理单元)并产生一个中间纹理的纹理单元，以用于下一处理阶段。首先，分别从全图像2402和2404中得到相位2414和2416。接下来，相位解包裹2418产生图像2408，然后在2420几何形状被抽取出来以生成几何图像2410。像素着色器内的法向量内核生成法向量图2412。包括几何图像2410、着色图像2408、和法向量图2412的结果驻留在GPU的存储器中(未示出)以供进一步渲染。

这种表面重构具有本地存储器存取的具吸引力特性。像素着色器不需存取任何相邻纹理元，法向量内核除外，它采用8个最接近的邻近纹理元素的规则存储器存取模式。因为流线化硬件可以有效地隐藏记忆体存取等待时间，所以相比于基于CPU的方法，这种基于GPU的简单而规则的存储器存取方法是相对低廉的。

该全图像渲染是有效率的，部分是因为它并不需要从GPU将重构图像读回到CPU，从而克服了GPU加速系统中共同的性能瓶颈。为了渲染所恢复表面，该系统将虚拟的栅格网2406发送至GPU，它具有和物体表面相同的连接性，但却假造几何和着色信息。指派给每个输入顶点的纹理坐标编码其网格索引。每一顶点的真正的几何位置、所着颜色、和法向量通过预分配的纹理坐标从GPU存储器中取得，然后经变换位置和光照颜色被加以计算。图像24、26A-E显示了示例性渲染结果。在实践中，渲染可通过绘制所索引图元来进一步优化，这可以减少一些程序的执行次数。

对全图像的高效的基于GPU的表面重构和渲染显示，通过用图像表示表面的几何形状、着色和法向量的信息，出于渲染目的全图像可被用来替代三角形网格。此外，全图像有潜力简化现代图形硬件的体系结构。

几何处理

通过使用全图像表示，许多几何处理任务可以通过可有效地使用图形硬件实现的图像处理技术实现。因为几何形状被相位编码，所以用户可以直接对相位信息进行操纵。全图像的相位可以用相位图e^iψ(x，y)描述，即从平面R²到单位圆S¹的映射，σ：R²→S¹，σ(x，y)＝e^iψ(x，y)。两个相位图可通过逐个像素的乘法或除法加以复合。因而相位图的几何形成一个组

∑＝{e^iψ(x，y)}，σ₁。σ₂＝σ₁(x，y)σ₂(x，y).

通过复合两表面的相位图，通过GPU很容易产生压印和雕刻的效果。

举例来说，由16位图像表示相位图，红色和蓝色通道由下式给出：

r(x，y)＝128cosψ(x，y)+128，

b(x，y)＝128sinψ(x，y)+128.

然后，经包裹相位ψ(x，y)能被简单地算出

$\mathrm{\&psi;}(x,y)={\tan }^{-1}\frac{b(x,y)-128}{r(x,y)-128}.$

压印和雕刻

压印通过两个相位图相乘来实现。图25和26显示了一些压印和雕刻的例子。特别地，图25显示相位图2500，几何压印2502，相位差图像2504，和几何雕刻2506的示例。图26包含2602-2608处压印的例子.

以下可以表示为压印或雕刻过程的步骤的示例：

1.为两个表面选择相机的位置和缩放因子。

2.用双波长渲染两个表面的全图像。

3.计算每个全图像的经包裹相位。

4.将经包裹相位转化成相位图，将不同表面的相应相位图相乘以生成组合表面。

5.用以上描述的双波长处理计算组合表面的经解包裹相位。

6.将经解包裹相位转化成几何表面。

所有这类操作都是逐个像素地进行的，而不需要来自相邻像素的信息。因此，整个算法可以由GPU实现。

几何纹理提取

在几何建模中纹理是重要的。虽然很容易捕捉图像纹理，但是一般难以捕捉几何纹理。从真实的具有复杂轮廓的表面上提取几何纹理，并将该纹理转移到几何模型上是合乎需要的。通过使用全图像，几何纹理可以很容易地从实物中提取。作为一个例子，可扫描和几何重构复杂表面。通过使用常规的几何平滑技术，几何纹理可以从表面上去除。然后，通过从原来表面上减去光滑表面，几何纹理就可被提取出来。图27说明了这个过程，它显示了初始的全图像2702，初始的几何图像2708，光滑几何形状的全图像2706，光滑的几何图像2708，提取纹理的全图像2710，和提取纹理2712。

变形测量

检测和测量表面的并行以建模人类的面部表情和肌肉运动是有用的。图22显示了有趣的全图像的应用—“无脸微笑”。捕捉具有不同表情的人脸。选取其中两帧，一帧脸部是平静的(显示在2802)，另一帧带有微笑(显示在2804)。通过将它们分别转化成相应的相位图2806和2808，相位差图像(显示于2810)，并重构几何形状，就可得到“无脸微笑”，如在2812所示。从变形相位图中，可以清晰看出，嘴唇变化最为剧烈，面颊肌肉变化中等，前额和鼻梁没有变化。

因此，一种新颖的称为全图像的几何物体表示方法被加以介绍。它编码单幅图像中的幅值和相位信息。与常规的几何图像和深度图像相比，全图像具有高得多的几何精度，并且可以用普通的图像格式加以存储和传输。

全图像可以使用常规的图形管线合成或从现实生活中用简单的硬件以合理的速度捕捉。从全图像重构表面的算法是简单的，能够用现成的图形硬件实现。

全图像可以用GPU直接有效地渲染。基于全图像的渲染不需要网格，且有可能简化GPU的体系结构。

若无方法来储存图像表示，则捕捉相位信息来表示三维表面的方法的价值将是有限的。幸运的是，存在着一种方便和有效的方式，来表示和储存相位和幅值的信息。与相应的网格相比，它需要较少的存储器，图像很容易处理和操纵。这种表示方法被称为“全图像”。全图像基于波动光学的原理。无论是完全由计算机生成(即虚拟)或由相机捕捉(此后分别表示为计算机—相机和光学—相机)，它们都继承了一些来自光学领域的缺陷。但是，光学—相机系统具有计算机—相机系统内所不存在的限制。后者，作为光学—相机系统的虚拟模拟有时能够模拟一些真实物理世界所不能达到的状况。

全图像具有如下的限制：

1.遮挡-全图像只能表示表面可见的部分。为了表示整个表面，需要多幅全图像。

2.材料限制-对于三维数据采集，黑暗或有光泽的材料不能被准确地捕捉。

已参照附图描述了本发明的实施例。应当理解，本发明的其他实施例由于不同的变化、修改和改进也是有可能的。这些变化、修改和改进旨在成为本公开的一部分，并且涵盖在本发明的精神和范围内。因此，前面的描述和附图仅用作示例。

鉴于上述内容，应当理解，条纹图可以用与数字技术不同的方法并使用不含DMD的装置产生。例如，可使用传统的机械光栅方法。也可采用各种不同的光栅方法。同时，液晶显示(LCD)投影仪可以被用来产生条纹图并提供投影仪的功能。与相机分立或共置的液晶光栅(LCG)和闪光灯可用来代替信号发生器和投影仪。扫描激光器能被用来生成条纹图。因此，可能和相机装在一起的带调制器的激光器也可以替代信号发生器和投影仪。另外，条纹图像能够用各种传统的干涉方法生成。

随着技术的进步，更快的相机可以用来捕捉反射条纹图像。本发明的实施例并不仅限于使用CCD相机。因而，可使用CMOS相机，扫描仪，或不同的捕捉设备。两台或更多台相机或多对相机可被用来捕捉宽泛区域，如上文所述。也可采用不同的投影仪。可使用不同的校准技术。另外，相机和投影仪之间的同步可以通过各种方法实现。例如，相机的触发信号可通过探测投影机的触发信号来同步。

在附图中示出的本发明的实施例采用了条纹轮廓为正弦的2+1相移算法。应当理解，条纹轮廓可以有不同的形状，比如，梯形，三角形和其他形状。两幅条纹图被用于所示实施例中。然而，也可使用大量的条纹图像。同时，相移和条纹周期可以在同一应用中和不同应用之间变化。另外，均匀的条纹图像在本发明的不同实施例中可具有不同于平均值的强度。在一些实施例中，可能没有均匀的条纹投影。

被编码以帮助确定绝对坐标的标记可以有不同的形状，例如，线，圆，或椭圆。多个标记可被同时用各光照图投影。同时，标记可由附加设备产生(例如，激光指示器)。

多级质量引导的相位解包裹算法将质量图分成多个级别，并用高效方法解包裹每一级别。质量图可以有各种性质，并不局限于所说明的那一种。例如，数据调制图，包裹相位图的第一梯度和方差可被用作为质量图。类似地，快速相位解包裹算法并不局限于在所示实施例中介绍和解释的扫描线算法。因此，其他的快速算法，例如，洪水填充算法有可能被采用。

随着GPU技术的提高，内嵌于图形卡上的更强大的GPU着色器将可用。在本发明的实施例中，GPU顶点着色器被用来辅助计算绝对坐标。应当理解，其他可能性依然存在。于是，在GPU中，像素着色器、几何着色器、或其他类型的着色器可以被用来实现顶点着色器的功能。应当理解，绝对坐标能可任选地储存在GPU的存储器中以备将来之需。

另外，随着开发先进CPU技术的加快，CPU能够变得足够强有力来实现实施例中所有的GPU运算。

还应该明白，本文中的用字和所使用的术语是为了进行说明而不应该被视为限制。使用“包括”，“构成”或“具有”，“包含”，“涉及”和各种变体在本文中就是要包括其后所列的项目，与之等效的，以及附加的项目。

Claims (47)

1.一种确定物体的三维表面的绝对坐标的方法，所述方法包括：

将两个经相移的光照图投影到所述物体的表面上，其中每个光照图编码一标记；

捕捉来自所述物体的表面的所述光照图的反射图像；

组合所捕捉图像以生成包裹相位图像；

通过解包裹所述包裹相位图像生成相对解包裹相位图像；

从所述相对解包裹相位图像生成绝对相位图像；以及

根据所述绝对相位图像确定所述物体的表面的绝对坐标。

2.如权利要求1所述的方法，其特征在于，捕捉所述光照图的反射图像包括以黑白模式捕捉所述图像。

3.如权利要求1所述的方法，其特征在于，捕捉所述光照图的反射图像包括以黑白模式和彩色模式捕捉所述图像。

4.如权利要求2所述的方法，其特征在于，还包括投影一均匀光照图，其中所述物体的表面的黑白纹理是使用所述均匀光照图的来自所述物体表面的反射图像在确定所述物体表面的绝对坐标的同时捕捉的。

5.如权利要求3所述的方法，其特征在于，还包括投影一均匀光照图，其中所述物体的表面的彩色纹理是使用以彩色模式捕捉的所述均匀光照图的来自所述物体表面的反射图像在确定所述物体表面的绝对坐标的同时捕捉的。

6.如权利要求4所述的方法，其特征在于，捕捉所述黑白纹理包括从所述均匀光照图的所捕捉图像中去除所述经编码标记。

7.如权利要求4所述的方法，其特征在于，捕捉所述彩色纹理包括从所述均匀光照图的所捕捉图像中去除所述经编码标记。

8.如权利要求6所述的方法，其特征在于，所述光照图是彩色编码的。

9.如权利要求7所述的方法，其特征在于，所述光照图是彩色编码的。

10.如权利要求1所述的方法，其特征在于，相位解包裹包括：

生成一质量分析图；

将所述质量分析图划分成多个质量级别；以及

以质量递降的顺序，分别对每个所述质量级别应用相位解包裹算法。

11.如权利要求10所述的方法，其特征在于，生成所述质量分析图包括生成所述相位包裹图像的梯度图。

12.如权利要求10所述的方法，其特征在于，生成所述质量分析图包括生成所述相位包裹图像的方差图。

13.如权利要求10所述的方法，其特征在于，所述相位解包裹算法是一种快速扫描行相位解包裹算法。

14.如权利要求1所述的方法，其特征在于，所述两个经相移光照图相隔约90度相移。

15.如权利要求1或权利要求14所述的方法，其特征在于，生成所述两个经相移光照图包括仅生成两个经相移光照图。

16.如权利要求1所述的方法，其特征在于，从相对解包裹相位图像生成绝对相位图包括检测所述编码标识的相位、以及根据所检测到的经编码标记的相位调节所述相对解包裹相位图像。

17.一种确定物体的三维表面的绝对坐标的装置，所述装置包括：

至少一个光照图发生器，用于生成两个经相移光照图，其中每个光照图编码一标记；

至少一个投影设备，用于将所述光照图投影到所述物体的表面上；

至少一个成像设备，用于捕捉来自所述物体的表面的所述光照图的反射图像；以及

至少一个图像处理器，用于因变于所述标记的经解码相位确定所述物体的表面的绝对坐标。

18.如权利要求17所述的装置，其特征在于，所述至少一个投影设备与所述至少一个成像设备同步。

19.如权利要求17所述的装置，其特征在于，所述至少一个光照图发生器与所述至少一个图像处理器是一体化单元的一部分。

20.如权利要求17所述的装置，其特征在于，所述至少一个图像处理器被调整和配置成在处理所捕捉的图像时：

组合所捕捉图像以生成包裹相位图像；

通过解包裹所述包裹相位图像生成相对解包裹相位图像；

从所述相对解包裹相位图像生成绝对相位图像；以及

根据所述绝对相位图像确定所述物体的表面的绝对坐标。

21.如权利要求20所述的装置，其特征在于，所述至少一个光照图发生器生成一均匀光照图，所述至少一个投影设备投影所述均匀光照图，所述至少一个成像设备捕捉来自所述物体表面的所述均匀光照图的反射图像。

22.如权利要求21所述的装置，其特征在于，所述至少一个成像装置包括至少一个以黑白模式捕捉图像的成像设备和至少一个以彩色模式捕捉图像的成像设备。

23.如权利要求22所述的装置，其特征在于，所述至少一个以黑白模式捕捉图像的成像设备和所述至少一个以彩色模式捕捉图像的成像设备独立并且同步地运行。

24.如权利要求21所述的装置，其特征在于，所述光照图是彩色编码图案，而所述光照图的反射图像是以黑白模式捕捉的。

25.如权利要求22所述的装置，其特征在于，所述光照图是彩色编码图案，而所述光照图的反射图像是以黑白模式和彩色模式捕捉的。

26.如权利要求22所述的装置，其特征在于，所述物体的表面的黑白纹理是使用所述均匀光照图的反射图像在确定所述物体表面的绝对坐标的同时捕捉的。

27.如权利要求25所述的装置，其特征在于，所述物体的表面的彩色纹理是使用所述均匀光照图的反射图像在确定所述物体表面的绝对坐标的同时捕捉的，其中所述图像是以彩色模式捕捉的。

28.如权利要求26所述的装置，其特征在于，捕捉所述黑白纹理包括从所述均匀光照图的图像中去除所述经编码标记。

29.如权利要求27所述的装置，其特征在于，捕捉所述彩色纹理包括从所述均匀光照图的所捕捉图像中去除所述经编码标记。

30.如权利要求20所述的装置，其特征在于，所述至少一个图像处理器被配置和安排成在相位解包裹时：

生成一质量分析图；

将所述质量分析图划分成多个质量级别；以及

以所述质量级别的数据点的质量递降的顺序，分别对每个所述质量级别应用相位解包裹算法。

31.如权利要求30所述的装置，其特征在于，所述至少一个图像处理器在生成所述质量分析图时包括生成所述相位包裹图像的梯度图。

32.如权利要求30所述的装置，其特征在于，所述至少一个图像处理器在生成所述质量分析图时包括生成所述相位包裹图像的方差图。

33.如权利要求30所述的装置，其特征在于，所述相位解包裹算法是一种快速扫描行相位解包裹算法。

34.如权利要求17所述的装置，其特征在于，所述两个经相移光照图相隔约90度相移。

35.如权利要求19所述的装置，其特征在于，从所述相对解包裹相位图像生成所述绝对相位图像包括检测所述编码标识的相位、以及根据所检测到的经编码标记的相位调节所述相对解包裹相位图像。

36.如权利要求17所述的装置，其特征在于，生成所述两个经相移光照图包括仅生成两个经相移光照图。

37.如权利要求20所述的装置，其特征在于，根据所述绝对相位图像确定所述物体的表面的绝对坐标由图形处理单元执行。

38.如权利要求20所述的装置，其特征在于，从所述相对解包裹相位图像生成所述绝对相位图像包括检测所述经编码标记的相位，以及根据所检测到的经编码标记的相位调节所述相对解包裹相位图像。

39.一种捕捉3D物体图像的方法，所述图像编码所述物体的至少一部分的表面几何形状，包括：

1.将多个条纹图投影到所述物体上；

2.捕捉来自所述物体的所述条纹图的反射中的相位变化；

3.将一均匀图像投影到所述物体上；

4.捕捉来自所述物体的所述均匀图像的反射；以及

5.在逐个像素的基础上组合所捕捉的相位变化和所捕捉的均匀图像反射，由此构成所述物体的全图像表示。

40.如权利要求39所述的方法，其特征在于，所组合的相位变化和均匀图像反射被映射到相应色场显示。

41.如权利要求39所述的方法，其特征在于，所组合的相位变化和均匀图像反射被储存为三种彩色信号的值。

42.如权利要求41所述的方法，其特征在于，所述值被储存为每个像素三个8位值。

43.如权利要求39所述的方法，其特征在于，还包括对所捕捉的相位变化进行相位解包裹，所述相位解包裹包括：

a.以第一相对较低的空间频率将多个条纹图投影在所述物体上，并根据其反射重构所述物体的几何形状；

b.以第二相对较高的空间频率将多个条纹图投影在所述物体上，并根据其反射重构所述物体的几何形状，所述重构包括相位含糊的像素；以及

c.根据所重构几何形状中相应像素的相位值从所述第一相对较低的空间频率中去除所述相位含糊度。

44.一种产生编码虚拟3D物体的编码所述物体的至少一部分的表面几何形状的表示的方法，包括：

1.如果多个条纹图的每一个和均匀图分别照耀在所述物体的物理对应物上，则计算会在入射和反射图像之间产生的相移和幅值；以及

2.在逐个像素的基础上组合所述计算出的相移和幅值，由此形成所述物体的全图像表示。

45.如权利要求44所述的方法，其特征在于，所组合的相移和幅值被储存为三种色彩信号的值。

46.如权利要求45所述的方法，其特征在于，所述值被储存为每个像素三个8位值。

47.如权利要求44所述的方法，其特征在于，还包括对所捕捉的相位变化进行相位解包裹，所述相位解包裹包括：

a.如果多个条纹图的每一个以第一相对较低的空间频率照耀在所述物体的物理对应物上，则计算会在入射和反射图像之间产生的相移，并根据所述相移重构所述物体的几何形状；

b.如果多个条纹图的每一个以第二相对较高的空间频率照耀在所述物体的物理对应物上，则计算会在入射和反射图像之间产生的相移，并根据所述相移重构所述物体的几何形状，所述重构包括相位含糊的像素；以及

c.根据所重构几何形状中相应像素的相位值从所述第一相对较低的空间频率中去除所述相位含糊度。

48.一种3D物体的表面几何形状的表示的记录，包括其上储存有以下内容的计算机可读介质：对于每个像素，表示所捕捉到或计算出的因第一条纹图投影到所述物体上并从其中反射所产生的相位变化的第一值，表示所捕捉到或计算出的因第二经相移的条纹图投影到所述物体上并从其中反射所产生的相位变化的第二值，以及表示所捕捉到或计算出的因均匀条纹图投影到所述物体上并从其中反射所产生的幅值的第三值。

Images