CN101496033B

CN101496033B - 利用散斑图案的三维传感

Info

Publication number: CN101496033B
Application number: CN2007800166255A
Authority: CN
Inventors: A·施庞特; Z·扎尔威斯科
Original assignee: Prime Sense Ltd
Current assignee: Apple Inc
Priority date: 2006-03-14
Filing date: 2007-03-08
Publication date: 2012-03-21
Anticipated expiration: 2027-03-08
Also published as: KR20080111474A; US9063283B2; US8390821B2; WO2007105205A2; US20090096783A1; WO2007105205A3; JP5174684B2; CN101496033A; KR101331543B1; JP2009531655A; US20130136305A1

Abstract

一种用于目标(28)的3D映射的装置(20)，包括照明组件(30)，照明组件(30)包括相干光源(32)和漫射体(33)，相干光源(32)和漫射体(33)被布置为将主散斑图案投射到目标上。单图像捕获组件(38)被布置为从相对于照明组件的单一、固定位置和角度捕获主散斑图案的图像。处理器(24)被连接以处理在单一、固定角度所捕获的主散斑图案从而导出目标的3D图。

Description

利用散斑图案的三维传感

相关申请的交叉引用

本申请要求享有于2006年3月24日提交的美国临时专利申请60/785,187的权益。本申请是于2006年3月14日提交的享有2005年10月11日提交的美国临时专利申请60/724,903权益的PCT专利申请PCT/IL2006/000335的继续部分申请。所有这些相关申请都转让给本专利申请的受让人，并且这些相关申请的公开内容在此都以引用的方式纳入本说明书。

技术领域

本发明一般涉及用于对三维(3D)目标进行映射(mapp ing)的方法和系统，更具体而言，涉及利用散斑图案进行3D光学成像。

背景技术

当相干光束通过漫射体而投射到一表面上时，可在该表面上观察到主散斑图案。主散斑由漫射光束的不同分量之间的干涉造成。术语“主散斑(primary speckle)”在本专利申请和权利要求书中以此种意义使用，以区别于由来自目标粗糙表面的相干光的漫反射所造成的副散斑。

Hart在台湾专利TW527528B和美国专利申请09/616,606中描述了高速3D成像系统中的散斑图案的使用，上述专利的公开内容在此以引用的方式纳入本说明书。该系统包括带主动式成像元件和CCD元件的单透镜摄像机子系统，以及相关性处理子系统。所述主动式成像元件可以是使离焦图像之间非等边间隔能够调整从而实现更大景深和更高亚像素位移精确度的旋转小孔。散斑图案被投射到目标上，由此产生的图案的图像可从多角度获取。使用图像相关性技术将这些图像局部互相关，并且通过使用相对的摄像机位置信息将该表面分解以计算每个局部互相关区域的三维坐标。

另一种基于散斑的3D成像技术是由Hunter等人在美国专利6,101,269中所描述，该美国专利的公开内容在此以引用的方式纳入本说明书。一随机的散斑图案被投射在3D表面上，并被多个摄像机成像以获得多个二维数字图像。这些二维图像被处理以获得该表面的三维特征。

发明内容

本发明的实施方案利用主散斑图案对3D目标进行准确的实时映射。在上述所提及的PCT专利申请中所描述的方法和系统，以及在下文中所进一步描述的实施方案，能够使用单相干光源和单图像传感器执行这种3D映射，其中所述图像传感器在相对于该光源的固定角度上保持静止。

在本发明的一方面，在已知轮廓的参考表面上初始捕获散斑图案的参考图像。然后通过捕获投射到目标上的散斑图案的图像并将该图像与参考图像进行比较，来确定该目标的3D轮廓。

在本发明的另一方面，随着目标移动，捕获目标上的散斑图案的连续图像。每个图像都与一个或多个其先前的图像相比较以追踪该目标在三维中的运动。在下文所述的一实施方案中，光源和图像传感器被保持处于线性对齐，从而允许通过计算在连续图像之间的一维相关系数而实现快速且准确的运动追踪。

在一些实施方案中，使用了新颖的照明和图像处理方案以增强3D映射系统的精确性、景深和计算速度。

因而，根据本发明的一实施方案，提供了一种用于目标的3D映射的装置，包括：

照明组件，包括相干光源和漫射体，所述相干光源和漫射体被布置为将主散斑图案投射到该目标上；

单图像捕获组件，该单图像捕获组件被布置为从相对于所述照明组件的单一、固定位置和角度来捕获所述目标上的主散斑图案的图像；以及

处理器，该处理器被连接以处理在所述单一、固定角度处所捕获的主散斑图案的图像，从而导出所述目标的3D图(3D map)。

在一些实施方案中，该装置包括安装件，该安装件连接至所述照明组件和所述图像捕获组件，从而使所述图像捕获组件与所述照明组件保持处于固定空间关系。在一实施方案中，图像捕获组件包括：以限定第一和第二相互垂直的轴线的直线图案布置的探测器元件阵列；以及具有入射光瞳的物镜光学系统，该物镜光学系统被配置为将图像聚焦到所述阵列上，其中所述照明组件和所述图像捕获组件被该安装件校直从而限定一设备轴线，该设备轴线平行于所述第一轴线并穿过所述入射光瞳以及斑点(spot)，在该斑点处由所述相干光源所发出的光束经过漫射体。因此，处理器被布置为通过找到在一个或多个所述图像中所捕获的主散斑图案和该主散斑图案的参考图像之间仅沿所述第一轴线的偏移量来导出3D图。

在一些实施方案中，处理器被布置为通过找到在一个或多个所述图像中所捕获的所述目标的多个区域上的主散斑图案和该主散斑图案的参考图像之间的各自偏离量来导出所述3D图，其中所述各自偏移量表示在所述区域和所述图像捕获组件之间的各自距离。通常，所述图像捕获组件位于距所述照明组件一预定间距处，并且所述各自偏移量与所述各自距离成比例，该比例由所述间距确定。在一所公开的实施方案中，由所述照明组件所投射的所述主散斑图案包括具有特征尺寸的散斑，并且其中所述图像中的所述散斑的尺寸在所述图像上随着取决于该间距的公差的变化而变化，其中所述间距被选择以将所述公差维持在预定界限内。

附加地或可替代地，处理器被布置为使用所述图像捕获组件中的扭曲参数模型来将所述各自偏移量与所述3D图中的各自坐标相关。进一步，附加地或可替代地，处理器被布置，以通过找到在所述目标的第一区域中的所述主散斑图案和在相对于该第一区域的第一偏移量处的所述参考图像的对应区域之间的初始匹配来找到所述各自偏移量，并基于所述第一偏移量，应用区域增长过程来找到相邻于所述第一区域的像素的所述各自偏移量。

在一所公开的实施方案中，处理器被布置为处理在所述目标正在移动时所捕获的连续图像，从而对该目标的3D运动进行映射，其中所述目标是人体的一部分，并且3D运动包括由所述人体的一部分做出的姿势，并且所述处理器被连接以响应于所述姿势向计算机应用提供输入。

在一些实施方案中，照明组件包括光束形成器，该光束形成器被布置为减小由所述漫射体在该装置传感体积上所创建的所述散斑图案的对比度的变化。在一实施方案中，所述光束形成器包括衍射光学组件(DOE)和被布置为限定所述漫射体的傅立叶平面的透镜，其中所述DOE位于所述傅立叶平面上。该光束形成器可被布置为减小从该漫射体所发出的光的发散度，或被布置为将从漫射体所发出的遍及横向于所述照明组件的光轴的平面的光的强度均衡化。

在一实施方案中，处理器包括光学相关器，所述光学相关器包括含有参考散斑图案的衍射光学组件(DOE)，并且所述图像捕获组件包括微透镜阵列，该微透镜阵列被布置为将所述目标的多个子图像投射到所述DOE上，从而生成表示所述目标的3D坐标的各自相关峰。

在一些实施方案中，相干光源的相干长度小于1cm。附加地或可替代地，所述主散斑图案包括具有特征尺寸的散斑，并且所述照明组件被配置为允许所述散斑的特征尺寸通过改变所述相干光源和所述漫射体之间的距离而得到调整。

根据本发明的一实施方案，同样也提供了一种用于目标的3D映射的方法，包括：

使用来自光源的一束漫射相干光来照明目标，从而将主散斑图案投射到该目标上；

从相对于所述光源的单一、固定位置和角度处捕获所述目标上的主散斑图案的图像；以及

处理在所述单一、固定角度处所捕获的主散斑图案的图像，从而导出所述目标的3D图。

根据本发明的一实施方案，另外提供了一种用于目标的3D映射的装置，包括：

照明组件，该照明组件包括相干长度小于1cm的相干光源，以及漫射体，所述相干光源和所述漫射体被布置为将主散斑图案投射于所述目标上；

图像捕获组件，该图像捕获组件被布置为捕获所述目标上的主散斑图案的图像；以及

处理器，该处理器被连接以处理所述主散斑图案的图像从而导出所述目标的3D图。

在一实施方案中，相干光源的相干长度小于0.5mm。附加地或可替代地，相干光源的发散度大于5°。

根据下列详细说明的实施方案以及附图，可更加详尽地理解本发明，所述附图如下：

附图说明

图1是根据本发明一实施方案的3D映射系统的示意性图示；

图2是根据本发明一实施方案的散斑成像设备的示意性俯视图；

图3是根据本发明一实施方案的示意性图示3D映射方法的流程图；图4是根据本发明另一实施方案的3D映射系统中所使用的照明组件的示意性侧视图；

图5是根据本发明一实施方案的光束形成器的示意性侧视图；

图6是根据本发明又一实施方案的光束形成器的示意性侧视图；

图7是根据本发明的再一实施方案的3D映射系统中所使用的光学相关器的示意性侧视图。

具体实施方式

图1是根据本发明一实施方案的3D映射系统20的示意性图示。系统20包括散斑成像设备22，该设备22生成主散斑图案并将其投射于目标28上，以及捕获在该目标上呈现的主散斑图案的图像。设备22的设计和操作细节将在下列附图中示出，并在下文中参考这些附图进行描述。

图像处理器24处理由设备22所生成的图像数据，以导出目标28的3D图。术语“3D图”，如在本专利申请和权利要求书中所使用的，是指表示目标表面的3D坐标集。基于图像数据来导出这样的图也可被称为“3D重构”。执行这种重构的图像处理器24，可包括通用计算机处理器，该处理器被软件编程以执行下文所述的功能。例如，该软件可通过网络以电子形式下载到处理器24中，或其可替代地在诸如光、磁或电子存储介质之类的有形介质上提供。可替代地或另外地，该图像处理器的一些或全部功能可在诸如定制或半定制集成电路或可编程数字信号处理器(DSP)之类的专用硬件上实现。尽管处理器24在图1中以示例方式显示为与成像设备22相分隔的单元，然而处理器24的一些或全部处理功能可通过在成像设备外壳内或与该成像设备相关联的合适的专用电路来实现。

由处理器24所生成的3D图可用于范围广泛的不同目的。例如，该图可被发送至诸如显示器26之类的输出设备，以显示该目标的假3D图。在图1所示的实例中，目标28包括受试者身体的全部或部分(例如手)。在这种情况下，系统20可用于提供基于姿势的用户接口，其中由设备22的装置所检测的用户运动来控制诸如游戏之类的交互式计算机应用，替代诸如鼠标、操纵杆或其他辅助设备的触摸型接口元件。可替代地，系统20可用于创建其他类型的目标的3D图，用于其中需要3D坐标分布(profile)的几乎任何应用中。

图2是根据本发明一实施方案的设备22的示意性俯视图。照明组件30包括通常为激光器的相干光源32，以及漫射体33。(在本专利申请文本中，术语“光”是指任何类型的光辐射，包括红外和紫外线以及可见光。)由光源32所发出的光束在半径w₀的斑点34处穿过漫射体33，从而生成发散光束36。如在上述PCT/IL2006/000335的PCT专利申请中所提到的，只要z_obj1和Z_obj2处于由物距z_obj处的散斑图案的轴向尺寸Δz所给定的距离范围内，

ΔZ = {(\frac{Z_{obj}}{w_{0}})}^{2} λ

，则由漫射体34在距离Z_obj1和Z_obj2处所生成的主散斑图案将是彼此良好近似的线性缩放型式。

图像捕获组件38捕获投射到目标28上的散斑图案的图像。组件38包括物镜光学系统39，该光学系统将图像聚焦到图像传感器40。通常，传感器40包括诸如基于CCD或CMOS的图像传感器阵列之类的探测器元件直线阵列41。光学系统39有一入射光瞳42，该光瞳与图像传感器的尺寸一起限定了图像捕获组件的视场44。设备22的传感体积(sensing volume)包括在光束36和视场44之间的交叠区域46。

由照明组件30在距离Z_obj处所投射的特征横向散斑尺寸(由散斑图案的二阶统计量所定义)为

ΔX = \frac{Z_{obj}}{w_{0}} λ

。本发明人已发现，对于最佳图像处理性能，成像到传感器40上的散斑尺寸应根据范围和分辨率要求在一到十像素之间，即每个由光学系统39成像到传感器40上的散斑应在水平方向上跨越一到十个探测器元件41。在通常应用中，在两到三个像素之间的散斑尺寸可产生良好效果。

从上述关于散斑尺寸ΔX的公式中可以看出，由于斑点34的半径w₀随着距光源的距离减小而增大，所以可通过改变光源32和漫射体33之间的距离来调整散斑尺寸。因此，照明组件30的散斑参数可通过横向移动光源来简单控制，而无需使用透镜或其他光学系统。可用该方式来调整照明组件30，以与不同尺寸和分辨率的图像传感器以及放大倍率变化的物镜光学系统一起工作。假定该小散斑尺寸由上述参数控制，则有着高发散度(5°或更大)和短相干长度(小于1cm，在一些情况下甚至小于0.5mm)的诸如激光二极管之类的不昂贵光源可在系统20中使用并取得良好效果。

照明组件30和图像捕获组件38被安装件43保持处于固定空间关系。在图2示出的实施方案中，该安装件包括保持住所述组件的外壳。可替代地，任何其他合适类型的机械安装件都可用于维持在照明组件和图像捕获组件之间的期望的空间关系。在下文中所描述的设备22的配置和处理技术可以运用简单图像捕获组件进行3D映射，而无需使照明组件和图像捕获组件之间进行相对移动，也无需移动部件。图像捕获组件38因此在相对于照明组件30的一单一、固定的角度处捕获图像。

为简化3D图的计算以及简化因目标28的移动而在该图中引起的变化的计算，如下文所述，期望安装件43保持住组件30和38，使得穿过入射光瞳42和斑点34的中心的轴线平行于传感器40的轴线中的一条。换言之，使用探测器元件阵列41的行和列来定义相互垂直的X轴和Y轴(其原点位于物镜光学系统39的光轴上)，该穿过光瞳42和斑点34的轴线应平行于其中一条阵列轴线，为了方便起见该轴线为X轴。这种布置的优点在下文中将进一步解释。

组件30和38的各自光轴(其分别穿过斑点34和光瞳42的中心)相隔距离S。因此，Z_obj的变化将引起由图像捕获组件38所捕获的目标图像中散斑图案的扭曲。具体而言，通过三角测量，在图2中可看出，目标上的点在Z方向上的移动δZ，将引起图像中所观察到的散斑图案的相伴随的横向移动δX，因此

目标上的点的Z坐标，以及Z坐标随时间的移动，可通过测量由组件38所捕获的图像中的散斑的X坐标相对于在已知距离Z处所获得的参考图像的移动而来确定。换言之，每个区域内所捕获的图像的散斑组都与参考图像相比较，从而在参考图像中找到最接近的匹配散斑组。图像中匹配散斑组之间的相对移动给出了所捕获的图像的区域相对于参考图像在Z方向上的移动。该散斑图案的移动可使用图像相关或其他在本领域中公知的图像匹配计算方法进行测量。一些示例性方法在上述PCT专利申请中进行了描述。另一种与设备22相关的非常有用的方法在2006年3月24日提交的美国临时专利申请60/785,202中进行了描述，其转让给本专利申请的受让人，并且其公开文本在此以引用的方式纳入本说明书。

此外，在图2所示的布置中，其中穿过光瞳42和斑点34的X轴平行于传感器40的X轴，带有δZ的散斑图案的移动将严格处于X方向，而没有Y分量的移动(只要由光学系统39所造成的扭曲可被忽略)。因此，图像匹配计算被简化，而仅需要寻找因X移动的最接近的匹配散斑组。换言之，为确定当前图像中区域相对于参考图像(其可以是散斑图案的任何先前的图像)的δZ，仅需要检查当前图像区域对照参考图像的X移动的拷贝，以便于找到给出了相对于参考图像的最佳匹配的移动δX的值。

可替代地，如果设备22各元件的几何校准偏离上述标准，或者如果透镜扭曲很明显，则处理器可使用参数模型以对该偏差进行补偿。换言之，该已知偏差可被测量或者建模，并且处理器可接着根据偏差参数模型来检查当前图像相对于参考图像而移动一合适的(X，Y)移动量的区域的拷贝，从而找到目标表面实际的3D坐标。

通常，为了构造和计算的方便，可选择系统20的运行参数从而使S<<Z_obj。(另一方面，因系统20的Z方向分辨率取决于比率S/Z_obj，所以S必须相对于该系统的预期工作距离足够大，从而能够达到预期的分辨率。)只要S<<Z_obj，那么从照明组件和图像捕获组件到每个目标点的各自距离很接近，但通常不会完全相等。因此，由组件38所捕获的散斑图案的图像中的散斑的尺度可在区域46中以公差γ变化。本领域中所公知的计算方法，一些已在上述提及的PCT专利申请中得到描述，可用于补偿在将当前图像的区域与参考图像的相应区域相匹配的过程中的这些尺度变化。

然而，通常为避免对处理器24形成太大的计算负荷，希望的是将γ维持在根据匹配窗口尺寸和特征散斑尺寸的某一预定界限内。通常，发明人已发现，应限制γ，从而使特征窗口的尺度变化不超过单个散斑尺寸的30％。假定图像捕获组件38的视场对角为θ，则

因此，当

\frac{S \cdot \sin (θ) \cdot N}{2 \cdot Z_{obj}} < 0.3 \frac{λ Z_{obj}}{w_{0} \cdot psize (Z_{obj})}

时，就获得对于尺寸为N的窗口而言的局部散斑图案的基本尺度不变，其中psize(Z_obj)是在Z_obj处的像素的尺寸。在这些条件下，通常可计算由组件38所捕获的连续图像帧中的目标在Z方向的移动，而无需明确考虑散斑尺度的变化。

图3是示意性图示根据本发明一实施方案的使用系统20进行3D映射的方法的流程图。该方法尤其基于如下认识，即，由照明组件30所投射的散斑图案不随时间流逝而明显变化。因此，投射到目标上的散斑图案的单个图像，由图像捕获组件38在相对于组件的确定位置和角度处所捕获，该图像可用于精确计算目标的3D图。

在对目标进行映射前，在校准步骤50，通过将来自组件30的散斑图案投射到距设备22已知距离处的已知空间轮廓的目标上来校准该设备22。典型地，为此目的，在已知距离Z_obj上延伸过区域46的平坦目标被用作校准靶。图像捕获组件38捕获目标的参考图像，该参考图像被存储在处理器24的存储器中。该校准步骤可在制造时进行，并且只要在设备22的不同组件之间没有不受控制的相对运动，那么存储在存储器中的参考图像就将可以用于该场中。为节省存储器并简化接下来的计算，参考图像可用数据简化的形式保存，诸如基于阈值的二进制图像，其适用于将要使用的匹配算法。

当系统20准备使用时，在初始图像捕获步骤52，系统20被启动以使用设备22捕获感兴趣的目标(在本实例中为目标28)的图像。在图计算步骤54，处理器24比较该图像和所存储的校准图像中的散斑图案。该图像的暗区域通常被分类为阴影区，其中其像素值低于某一阈值(或者不包含相关的散斑信息)，从该阴影区不能导出深度(Z)信息。如在本领域中所公知的，该图像的剩余部分可使用自适应阈值被二进制化，或被数据简化以用于有效匹配参考图像。

处理器24选择在图像非阴影部分内的某个窗口，并比较该窗口内的子图像和该参考图像的各部分，直到找到该参考图像中的与该子图像最佳匹配的部分。如上文所述且如图2所示，当组件30和38沿X轴对齐时，处理器可充分比较子图像和参考图像的在X方向上相对于子图像所被取代的部分(如上所述，受制于最高达缩放系数γ的散斑图案的尺度)。处理器使用子图像相对于参考图像的匹配部分的横向偏移，基于上述解释的三角测量原则来确定在子图像中的目标28的表面的区域的Z坐标。如果目标表面的区域是倾斜的，而非朝向于X-Y平面中，则子图像中的散斑图案将显示扭曲。处理器24可以可选地分析该散斑扭曲以便估计倾斜角度，并从而提高3D映射的精确度。

处理器24可使用第一窗口的图坐标作为用于确定该图像相邻区域坐标的起点。具体而言，一旦处理器已经找到该图像的某一区域和参考图像中的对应区域之间存在高相关性，则该区域相对于参考图像的偏移量可作为图像中相邻像素偏移量的良好的预测值。处理器意在将这些相邻像素与参考图像进行匹配，其中偏移量等于初始匹配区域的小范围或处于其中。用这种方式，处理器增长匹配区域的范围，直至到达该范围的边缘。因此继续运行该处理器以确定该图像所有非阴影区域的Z坐标，直至其已经完成目标28的3D轮廓。这种方法的优点在于，即使使用小窗口和较差信噪比的图像，也可提供快速、健壮的匹配。上述PCT专利申请中描述了为此目的可使用的计算方法的内容。

在上述步骤的最后，处理器24将计算出该目标表面的在初始图像中可见的部分的完整的3D图。然而，在下个图像步骤56，可易于扩展该方法以捕获和分析连续图像从而追踪该目标的3D运动。设备22以某一预定帧率捕获连续图像，并且处理器24基于每个连续图像来更新3D图。如果希望，可对应于所存储的、校准的参考图像来计算该3D图。可替代地，由于该目标通常不会从一图像帧向下一图像帧移动得太大，所以使用每个连续图像来作为下一帧的参考图像常常更为有效。

因此，在移动计算步骤58，处理器24可比较每个连续图像和先前图像，从而计算每个子图像中的散斑相对于先前图像中的相同散斑在X方向的移动。通常，该移动仅为几个像素，这样可快速有效地进行计算。在每个新图像以该方式进行处理后，在新的图输出步骤60，处理器24输出已更新的3D图。该图像捕获和更新过程因而可无限次地进行。因为连续3D图易于计算，所以系统20能够以实时视频速率(量级为30帧/秒乃至更快)运行和输出图坐标，同时使用简单、低成本的成像和处理硬件。而且，如上所述，即使不能从先前图像中计算出局部移动，但有效的图像匹配计算和区域增长也能够使系统20以视频速度运行。

系统20的这些性能使其适合用于宽范围应用中，尤其是用于基于人的姿势来实现机器接口的应用。在这种接口中，计算机(其可包括处理器24或可接收由该处理器输出的3D图)识别3D图中的某一体积或某些体积，其对应于使用者身体的各部分，诸如胳膊、手、和/或者手指，也可能是头、躯干以及其他肢体等等。计算机被编程以识别对应于这些身体部位的某些运动的姿势，并响应于这些姿势来控制计算机应用。这类姿势和应用的实例包括：

·鼠标平移和点击——计算机解释用户的手和手指的动作，仿佛用户正在桌上移动鼠标和点击鼠标按钮。

·徒手指向、选择和平移计算机屏幕上的目标。

·计算机游戏，其中用户姿势可击中、抓握、移动和释放游戏中所使用的真实的或虚拟的目标。

·用于残疾用户的计算机接口，基于传感该用户所能够做出的有限范围的动作。

·在虚拟的键盘上打字。

其他的应用对于本领域中的普通技术人员来说将是明显的。

现在回到图2，随着光束36传播超出瑞利距离，落在目标28上的照明强度以接近于Z²的比例减小。投射到目标上的散斑图案的对比度也相应下降，尤其是存在光源32的波长的较强的环境光时。系统20可在其内提供有用结果的深度(Z坐标)范围可能因为在较大Z处的弱照明而受到限制。如在本领域中公知的，可通过自适应控制和图像处理的方法来减轻这种限制。此类的一些合适方法在上述PCT专利申请PCT/IL2006/000335中被描述。可替代地或另外地，如下文所述，可应用光束形成来改善照明轮廓。

图4是根据本发明一实施方案的照明组件70的示意性侧视图，照明组件70可在系统20中使用以增强该系统的有用深度范围。组件70包括源32和漫射体33，以及光束形成器72。光束形成器被设计以产生光束74，该光束74在中间区域76中具有减小的发散度，同时仍保持在该区域内轴向距离为Z的散斑图案的线性缩放比例。因此，在整个区域76上的目标28的图像中维持高散斑对比度，这样就增大了3D映射系统所覆盖的深度范围。下面所描述的是，在区域76中所执行的可用于实现这种增强效果的多种光学设计。

图5是根据本发明一实施方案的光束形成器72的示例性侧视图。该光束形成器包括衍射光学元件(DOE)80和旋转三棱镜82。DOE80可紧靠漫射体33，或者甚至被包括作为漫射体自身表面上的蚀刻或沉积层。可使用各种衍射设计来减少区域76中的光束发散度。例如，DOE80可包括中心位于源32光轴上的同心圈的图案，该图案带有随机分布的环半径。旋转三棱镜82有一中心位于光轴上的圆锥轮廓，即它是一种旋转对称棱镜。DOE80和旋转三棱镜82均具有沿光轴产生长聚焦区的效果，因此这些元件中的任一个都可单独用于产生一缩小光束发散度的区域。也可通过共同使用所述两个元件来进一步增强其发散度的减小。

图6是根据本发明另一实施方案的光束形成器90的示意性侧视图。光束形成器90包括DOE92以及焦距为F的透镜94和96。如图所示，这些透镜与漫射体33和DOE92相分隔的距离等于它们的焦距，以使得DOE位于该漫射体的傅立叶平面上。因此，该漫射体的傅立叶变换乘上了DOE的传递函数。在远场，该散斑图案乘上了该DOE上的图案的傅立叶变换。

如上文图4所示，可选择该DOE图案从而使其傅立叶变换提供减小的发散度，和/或更多穿过照明光束的均匀照明。后一目标可通过设计在其中心区域较周围透射更低的元件92来实现(与来自漫射体33的光束的角强度分布相反，该分布趋向于在中心更亮而随着距光轴角度的增大而变暗)。其他为了在感兴趣体积上获得更大的均匀散斑对比度的DOE92或DOE80(图5)的设计，对于本领域的普通技术人员是显而易见的，并被认为在本发明的范围内。

图7是根据本发明一实施方案的可在系统20中使用以确定目标28的Z坐标区域的光学相关器110的示意性侧视图。换言之，相关器110使用光学技术来执行上文所述的处理器24的一些功能。该相关器能以非常快的速度近乎同时地并行确定目标的多个区域的坐标。因此在以快速目标运动为特征的应用中尤为有用。

微透镜阵列116形成在组件30散斑照明下的目标28的多个子图像。小孔阵列118限制阵列116中微透镜的视场，使得每个子图像包含仅来自窄角范围的光。第二微透镜阵列120将子图像投射到DOE122上。阵列120与子图像平面分隔的距离等于阵列中微透镜的焦距，并与DOE122分隔开相等的距离。后微透镜阵列124位于DOE122和传感器40之间，与它们中每一个均分隔开与微透镜的焦距相等的距离。

DOE122包括参考衍射图案，该图案是将与目标28的散斑图像相比较的参考散斑图案的空间傅立叶变换。例如，使用在与照明源相距已知距离处的平坦表面，该参考衍射图案可以是在步骤50(图3)所形成的校准散斑图像的傅立叶变换。在这种情况下，参考衍射图案可以被沉积或蚀刻到DOE的表面。可替代地，DOE122可包括空间光调制器(SLM)，该空间光调制器被驱动以动态投射参考衍射图案。

在任一情况下，相关器110将目标的子图像(由阵列116中的微透镜形成)与傅立叶空间中的参考散斑图案相乘。因此，由微透镜阵列124投射到传感器40上的强度分布对应于带有参考散斑图案的每个子图像的互相关。通常，传感器上的强度分布将包括多个相关峰，每个峰对应于子图像中的一个。相对于对应于子图像(如在阵列118中由对应小孔所定义)的轴线的每个峰的横向偏移量与目标28的对应区域上的散斑图案的横向位移成比例。如上文所说明的，该位移又与相对于参考散斑图案平面的区域的Z方向位移成比例。因此，可处理该传感器40的输出以确定每个子图像区域的Z坐标，并从而计算目标的3D图。

尽管上述实施方案涉及的是上文所述的系统20的具体配置和设备22的设计，然而本发明的某些原则可类似地应用于基于散斑的3D映射的其他类型的系统和设备中。例如，上述实施方案的多个方面可应用于使用多图像捕获组件，或者其中图像捕获组件和照明组件相对于彼此可移动的系统中。

因此将认识到，上述实施方案是通过示例的方式被引用，并且本发明不限于上文已经具体示出和描述的内容。更确切地说，本发明的范围包括在上文中所描述的各种特征的组合和子组合，以及在本领域中的普通技术人员在阅读上述说明书后所想到的在现有技术中还未公开的变化和修改。

Claims

1.一种用于目标的3D映射的装置，包括：

照明组件，包括相干光源和漫射体，所述相干光源和所述漫射体被布置为将主散斑图案投射到所述目标上；

单图像捕获组件，该单图像捕获组件被布置为从相对于所述照明组件的单一、固定位置和角度来捕获所述目标上的主散斑图案的图像，其中所述单图像捕获组件包括

探测器元件阵列，该探测器元件阵列被布置为直线图案，该直线图案限定第一和第二相互垂直的轴线；以及

物镜光学系统，该物镜光学系统具有入射光瞳并被布置为将所述图像聚焦到所述阵列上；

处理器，该处理器被连接以处理在所述单一、固定位置和角度处所捕获的主散斑图案的图像，从而导出所述目标的3D图；以及

安装件，该安装件连接至所述照明组件和所述单图像捕获组件，从而使所述单图像捕获组件与所述照明组件保持处于固定空间关系，所述单图像捕获组件在相对于所述照明组件的所述单一、固定位置和角度处。

2.根据权利要求1所述的装置，其中所述照明组件和所述单图像捕获组件被所述安装件校直，从而限定一设备轴线，该设备轴线平行于所述第一轴线并穿过所述入射光瞳以及斑点，在该斑点处由所述相干光源所发出的光束经过所述漫射体。

3.根据权利要求2所述的装置，其中所述处理器被布置为通过找到在一个或多个所述图像中所捕获的主散斑图案和该主散斑图案的参考图像之间仅沿所述第一轴线的偏移量来导出所述3D图。

4.根据权利要求1所述的装置，其中所述处理器被布置为通过找到在一个或多个所述图像中所捕获的所述目标的多个区域上的主散斑图案和所述主散斑图案的参考图像之间的各自偏移量来导出所述3D图，其中所述各自偏移量表示在所述多个区域和所述单图像捕获组件之间的各自距离。

5.根据权利要求4所述的装置，其中所述单图像捕获组件位于距所述照明组件一预定间距处，并且所述各自偏移量与所述各自距离成比例，该比例由所述间距确定。

6.根据权利要求5所述的装置，其中由所述照明组件所投射的所述主散斑图案包括具有特征尺寸的散斑，并且其中所述图像中的所述散斑的尺寸在所述图像上随着取决于所述间距的公差的变化而变化，并且其中所述间距被选择以将所述公差维持在预定界限内。

7.根据权利要求4所述的装置，其中所述处理器被布置为使用所述单图像捕获组件中的扭曲参数模型来将所述各自偏移量与所述3D图中的各自坐标相关。

8.根据权利要求4所述的装置，其中所述处理器被布置，以通过找到在所述目标的第一区域中的所述主散斑图案和在相对于所述第一区域的第一偏移量处的所述参考图像的对应区域之间的初始匹配来找到所述各自偏移量，并基于所述第一偏移量，应用区域增长过程来找到相邻于所述第一区域的像素的所述各自偏移量。

9.根据权利要求1至8中任一权利要求所述的装置，其中所述处理器被布置为处理在所述目标正在移动时所捕获的连续图像，从而对所述目标的3D运动进行映射。

10.根据权利要求9所述的装置，其中所述目标是人体的一部分，并且其中所述3D运动包括由所述人体的一部分做出的姿势，并且其中所述处理器被连接以响应于所述姿势向计算机应用提供输入。

11.根据权利要求1至8中任一权利要求所述的装置，其中所述照明组件包括光束形成器，该光束形成器被布置为减小由所述漫射体在所述光束与所述图像的视场之间的交叠区域内所创建的所述散斑图案的对比度的变化。

12.根据权利要求11所述的装置，其中所述光束形成器包括衍射光学元件。

13.根据权利要求12所述的装置，其中所述光束形成器包括被布置为限定所述漫射体的傅立叶平面的透镜，并且其中所述衍射光学元件位于所述傅立叶平面上。

14.根据权利要求11所述的装置，其中所述光束形成器被布置为减小从所述漫射体中所发出的光的发散度。

15.根据权利要求11所述的装置，其中所述光束形成器被布置为将从所述漫射体所发出的遍及横向于所述照明组件的光轴的平面的光的强度均衡化。

16.根据权利要求1和4至8中任一权利要求所述的装置，其中所述单图像捕获组件包括光学相关器。

17.根据权利要求16所述的装置，其中所述光学相关器包括：

含有参考散斑图案的衍射光学元件；

小孔阵列；

微透镜阵列，该微透镜阵列被布置为穿过所述小孔阵列将所述目标的多个子图像投射到所述衍射光学元件上；以及

图像传感器，该图像传感器被布置为接收来自所述衍射光学元件的强度分布，该强度分布包括表示所述目标的3D坐标的各自相关峰。

18.根据权利要求1至8中任一权利要求所述的装置，其中所述相干光源的相干长度小于1cm。

19.根据权利要求1至8中任一权利要求所述的装置，其中所述主散斑图案包括具有特征尺寸的散斑，并且其中所述照明组件被配置为允许所述散斑的特征尺寸通过改变所述相干光源与所述漫射体之间的距离而得到调整。

20.一种用于目标的3D映射的方法，包括：

使用来自光源的一束漫射相干光来照明目标，从而将主散斑图案投射到所述目标上；

使用单图像捕获组件从相对于所述光源的单一、固定位置和角度处捕获所述目标上的主散斑图案的图像，在捕获所述图像时所述单图像捕获组件与所述照明组件保持处于固定空间关系，所述单图像捕获组件在相对于所述照明组件的所述单一、固定位置和角度处，

其中所述单图像捕获组件包括以直线图案布置的探测器元件阵列，该直线图案限定第一和第二相互垂直的轴线；以及

处理在所述单一、固定位置和角度处所捕获的主散斑图案的图像，从而导出所述目标的3D图。

21.根据权利要求20所述的方法，其中所述光源包括漫射体，并且其中捕获所述图像包括使所述图像捕获组件的入射光瞳与一斑点对准，在该斑点处光束沿平行于所述第一轴线的设备轴线穿过所述漫射体。

22.根据权利要求21所述的方法，其中处理所述图像包括找到在一个或多个所述图像中所捕获的主散斑图案和该主散斑图案的参考图像之间仅沿所述第一轴线的偏移量。

23.根据权利要求20所述的方法，其中处理所述图像包括找到在一个或多个所述图像中所捕获的所述目标的多个区域上的主散斑图案和所述主散斑图案的参考图像之间的各自偏移量，其中所述各自偏移量表示在所述区域和所述图像捕获组件之间的各自距离。

24.根据权利要求23所述的方法，其中所述各自偏移量与所述各自距离成比例，该比例由所述固定位置距离所述光源的间距确定。

25.根据权利要求24所述的方法，其中所述主散斑图案包括具有特征尺寸的散斑，并且其中所述图像中的所述散斑的尺寸在所述图像上随着取决于所述间距的公差的变化而变化，并且其中捕获所述图像包括选择所述间距从而将所述公差维持在预定界限内。

26.根据权利要求23所述的方法，其中找到所述各自偏移量包括使用所述图像捕获组件中的扭曲参数模型来将所述各自偏移量与所述3D图中的各自坐标相关。

27.根据权利要求23所述的方法，其中找到所述各自偏移量包括找到在所述目标的第一区域中的所述主散斑图案和在相对于所述第一区域的第一偏移量处的所述参考图像的对应区域之间的初始匹配，以及基于所述第一偏移量，应用区域增长过程来找到相邻于所述第一区域的像素的所述各自偏移量。

28.根据权利要求20、21和24至27中任一权利要求所述的方法，其中处理所述图像包括处理在所述目标正在移动时所捕获的连续图像，从而对所述目标的3D运动进行映射。

29.根据权利要求28所述的方法，其中所述目标是人体的一部分，并且其中所述3D运动包括由所述人体的一部分做出的姿势，并且处理所述图像包括响应于所述姿势向计算机应用提供输入。

30.根据权利要求20至27中任一权利要求所述的方法，其中照明所述目标包括形成光束以便于减小由所述光源在所述光束与所述图像的视场之间的交叠区域内所创建的所述散斑图案的对比度的变化。

31.根据权利要求30所述的方法，其中形成所述光束包括使所述光束穿过衍射光学元件。

32.根据权利要求31所述的方法，其中所述光源包括漫射体，并且其中使所述光束穿过包括将所述衍射光学元件布置在所述漫射体的傅立叶平面上。

33.根据权利要求30所述的方法，其中形成所述光束包括减小所述光束的发散度。

34.根据权利要求30所述的方法，其中形成所述光束包括将遍及横向于所述光源的光轴的平面的所述光束的强度均衡化。

35.根据权利要求20至27中任一权利要求所述的方法，其中捕获所述图像包括将光学相关器应用于所述图像。

36.根据权利要求35所述的方法，其中所述光学相关器包括包含参考散斑图案的衍射光学元件，并且其中捕获所述图像包括将所述目标的多个子图像投射到所述衍射光学元件上，从而生成来自所述衍射光学元件的强度分布，该强度分布包括表示所述目标的3D坐标的各自相关峰。

37.根据权利要求20至27中任一权利要求所述的方法，其中所述相干光源的相干长度小于1cm。

38.根据权利要求20至27中任一权利要求所述的方法，其中照明所述目标包括使来自所述相干光源的光穿过漫射体以便于创建所述主散斑图案，并且其中所述主散斑图案包括具有特征尺寸的散斑，并且其中所述方法包括通过改变在所述相干光源和所述漫射体之间的距离来调整所述散斑的所述特征尺寸。

39.一种用于目标的3D映射的装置，包括：

40.根据权利要求39所述的装置，其中所述相干光源的相干长度小于0.5mm。

41.根据权利要求39或40所述的装置，其中所述相干光源的发散度大于5°。

42.根据权利要求39或40所述的装置，其中所述主散斑图案包括具有特征尺寸的散斑，并且其中所述照明组件被配置为允许所述散斑的特征尺寸通过改变所述相干光源和所述漫射体之间的距离而得到调整。