CN103776392A

CN103776392A - 三维几何建模和三维视频内容创建

Info

Publication number: CN103776392A
Application number: CN201310367081.4A
Authority: CN
Inventors: 伊亚尔·戈登; 古尔·阿里·比坦
Original assignee: MANTISVISION Ltd
Current assignee: Mantis Vision Ltd China
Priority date: 2006-11-21
Filing date: 2007-11-20
Publication date: 2014-05-07
Anticipated expiration: 2027-11-20
Also published as: US20150262411A1; US10902668B2; CN101627280B; CA2670214A1; US20160364903A1; US8538166B2; US10140753B2; WO2008062407B1; WO2008062407A2; US9367952B2; EP2618102A2; US20100074532A1; SG176440A1; WO2008062407A3; EP2084491A2; CN103776392B; IL230540A; US20130329018A1; CN101627280A; US20190156557A1

Abstract

一种方法和装置，其用于获得图像以使用具有多个不同的可识别的特征类型的二维编码光图样来确定静止或移动物体的三维形状。编码光图样投影到物体上，使得每个可识别的特征类型在可辨别的对极线的预定部分上出现至多一次。捕获物体的图像，并提取被反射的特征类型连同其在被捕获的图像中已知对极线上的位置。根据三角测量映射，在二维图像中被识别的特征类型的位置对应到空间中的三维坐标。因此获得在一个时间处的被成像的物体的三维映射或建模。

Description

三维几何建模和三维视频内容创建

本申请是申请日为2007年11月20日，申请号为200780050227.5，发明名称为“三维几何建模和三维视频内容创建”的申请的分案申请。

与现有申请的关系

本申请要求2006年11月21日提交的美国临时专利60/860,209的优先权，其内容由此通过引用被并入。

本申请还要求2007年4月4日提交的美国临时专利60/907,495的优先权，其内容由此通过引用被并入。

本申请还要求2007年5月3日提交的美国临时专利60/924,206的优先权，其内容由此通过引用被并入。

本申请还要求2007年7月13日提交的美国临时专利60/929,835的优先权，其内容由此通过引用被并入。

本申请还要求2007年8月13日提交的美国临时专利60/935,427的优先权，其内容由此通过引用被并入。

技术领域

本发明涉及用于使用主动三角测量法（active triangulation method）的物体的三维成像和深度测量的系统和方法，并且尤其但不排它地涉及在静止和在运动中的物体的三维成像。

背景技术

三维传感器系统用在大量应用中。这些传感器系统确定位于传感器系统视野的场景中的物体的形状和/或表面特征(feature)。近年来，提出了用于实现三维建模系统的很多方法，这些系统能够对各种应用快速获取物体的准确的高分辨率三维图像。

这样的三维成像系统的精确配置可能被改变。很多基于当前的三角测量的系统使用至少两个或多个摄像机(camera)的阵列来确定称为被动立体对应（passive stereo correspondence）的深度值。这样的方法依赖于被高纹理(texture)化的成像表面，因而易于产生误差且非鲁棒性的。而且，自动对应算法在来自不同摄像机的镜头的匹配中常常包含大量误差。

其它方法利用LIDAR（光成像探测和测距）系统来确定远距离目标的范围和/或其它信息。用光脉冲的方法，通过测量光脉冲的传输和反射信号的探测之间的时间延迟来确定到物体的距离。称为飞行时间的这样的方法通常不受三角测量法中一般的阻塞(occlusion)的影响，但准确度和分辨率固有地不如在三角测量法中得到的准确度和分辨率。

基于主动三角测量的三维传感器系统和方法一般具有作为光源用于投影到表面上的一个或多个投影仪，以及在离投影仪的限定的一般校正的相对位置处的用于使被照明的表面成像的一个或多个摄像机。摄像机和投影仪因此具有不同的光路，且它们之间的距离称为基线。通过了解基线距离以及投影和成像角，已知的几何/三角测量方程用于确定到被成像的物体的距离。在本领域中已知的各种三角测量法中的主要差异在于投影方法以及通常是结构光的所投影的光的类型、以及在于获得三维数据的图像解码的过程。

光投影的方法从时间方法变化到空间编码的结构光。在本领域中各种形式的投影光的例子包括“激光扇(laser fan)”和“线编码光”。

一旦捕获了物体的二维图像，光源被如上所述投影在物体上，图像处理软件通常分析图像，以提取物体的三维几何结构并可能提取物体通过空间的三维运动。这通常通过比较所捕获的图像中的特征与以前捕获的图像和/或与投影光的已知特点和特征来完成。该步骤的实现在当前已知的方法中广泛地变化，一般是用于将光投影到物体上的方法的功能。不管所使用的方法是什么，过程的结果通常是在所捕获的图像中被识别的特征的一种视差/位移图。根据公知的几何方程，特别是三角测量方程，三维空间位置和/或三维运动捕获的最后步骤包括上面提到的视差图到深度数据的转换。

当今存在数百种方法和系统的绝对事实暗示在根本问题是缺乏足够有效和可靠的用于三维成像的方法。而且，利用主动三角测量法的大多数系统今天被限制到物体的非动态成像。也就是说，即使以高的帧率和快门速度，成像的物体也必须在图像获取期间保持静止。例如，可给建筑物成像，而不是骑自行车的人或在街道上移动的汽车。对三维成像的这个限制是在大多数基于三角测量的三维成像系统中需要的直接结果，以获得一系列图像同时随着时间的过去而改变光源的特点。例如，很多方法利用在一段时间间隔内投影的很多光图样，称为时间编码。

尽管如此，历年来为移动物体的三维成像引入了很多方法，其中大部分是基于光的单个图样在被成像的物体上的投影，因而从一个或多个同时存在的图像而不是在一段时间间隔内的多个图像来实现深度测量的重建。这些单个图样方法可分成两种主要的类别。第一种是辅助立体方法，其中单个图样被投影，且在来自两个或多个成像系统的两个或多个图像之间进行比较，以计算深度数据。

第二种是结构光方法，特别是编码结构光方法。这些方法常常只使用一个成像系统或摄像机。编码结构光方法可进一步分成几种编码类型。使用编码结构光的一种这样的类型是空间编码，其因精度和可靠性的各种各样的问题而受到损害，特别是关于特征识别和其它严重的性能限制。因而，空间单个图样系统只以非常有限的方式在商业上实现。本领域中进一步的结构编码技术是谱或彩色编码，这需要中性色表面(color neutral surface)，且通常需要昂贵的成像系统。

因此，存在对克服上面的缺点的系统和方法的未满足的需要，且具有这样的系统和方法是高度有用的。

发明内容

一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线(epipolar line)为特征，所述方法包括：

提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

将编码光图样投影到物体上，

捕获具有投影在物体上的被投影的编码光图样的物体的二维图像，所捕获的二维图像包括被反射的特征类型，

根据唯一的二维构成提取被反射的特征类型，以及

提取特征类型在所捕获的图像中相应的对极线上的位置。

所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。

所述三维空间坐标的编制可包括三维点云。

所述三维点云可被进一步处理以构成三维网格。

所述三维网格可被进一步处理以添加所述被成像的物体的纹理数据。

可通过所述被捕获的图像中所述被反射的特征类型的位置与所述被投影的图样中相同的所述特征类型的位置之间的对应来计算所述三角测量。

所述编码光图样可以是重复的周期性图样。

所述编码光图样可以是非周期性图样。

所述被投影的编码光图样可投影成使得每个所述可识别的特征类型在所述可辨别的对极线的预定部分上至多出现一次。

所述对极线的所述预定部分可包括所述被捕获的图像中的对极线的整个长度。

所述对极线的所述预定部分可以是所述被捕获的图像中的对极线的长度的部分。

所述编码光图样的所述投影可与所述对极线成预定的最佳角。

所述预定的最佳投影角可与所述编码光图样的尺寸相适应。

所述预定的最佳投影角可与可辨别的对极线之间的水平距离相适应。

根据唯一的二维构成对所述特征类型的所述提取步骤可包括确定：

a)包括所述特征类型的元素；

b)所述特征类型的所述元素之间的对极距离。

特征的所述元素可以是在传感器的像素区域上的二维光强度构成。

可通过在相邻的采样像素值中定位光强度的临界点来识别所述构成。

所述元素可以是二进制值。

所述元素的位置可被表示为所述二维图像中的两维坐标。

所述元素之间的所述对极距离可以是恒定的。

所述元素之间的所述对极距离可变化。

所述唯一的二维构成可包括谱编码。

所述被捕获的图像可在每个连续的时间帧被捕获。

对于每个所述被捕获的图像，可沿着相应的对极线的所述被反射的特征类型根据三角测量确定所述被成像的物体的相应的三维空间坐标。

一系列帧的所有这样的帧的所述三维坐标构成可提供三维运动捕获的视频流。

所述三维坐标可被实时地计算以提供三维运动捕获的实时视频流。

所述二维编码光图样可通过将多个编码矩阵叠加在菱形图样上来产生，所述矩阵可包括从Debruijn序列得到的二进制值。

上述方法进一步可包括对具有叠加的编码矩阵的所述菱形图样进行高斯平滑。

一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的装置，该二维图像以可辨别的几何分离的对极线为特征，所述装置包括：

具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

投影仪，其用于将编码光图样投影到物体上，

成像设备，其用于捕获具有投影在物体上的被投影的编码光图样的物体的图像，所捕获的图像包括被反射的特征类型，以及

解码器，其配置成：

a)根据唯一的二维构成提取被反射的特征类型，

b)提取特征类型在所捕获的图像中相应的对极线上的位置。

上述装置可进一步配置成在对所述物体的所述成像期间相对于所述物体在三维中移动。

上述装置可进一步配置成捕获相对于所述装置在三维中移动的所述物体的所述图像。

一种用于从二维视频图像获得数据以便确定出现在所述二维视频图像中的移动物体的三维形状的方法，该二维视频图像的每个帧以可辨别的几何分离的对极线为特征，所述方法包括：

将编码光图样投影到移动物体上，

捕获具有投影在移动物体上的被投影的编码光图样的移动物体的二维视频图像，所捕获的二维视频图像包括被反射的特征类型，以及

对于视频图像的每个被捕获的帧：

a)根据唯一的二维构成提取被反射的特征类型，

b)提取特征类型在相应的对极线上的位置。

对于每个被捕获的帧，所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。

对于每个投影，每个所述可识别的特征类型可在所述可辨别的对极线的预定部分上至多出现一次。

一种用于从二维视频图像获得数据以便确定出现在所述二维视频图像中的移动物体的三维形状的装置，该二维视频图像的每个帧以可辨别的几何分离的对极线为特征，所述装置包括：

投影仪，其用于将编码光图样投影到移动物体上，

成像设备，其用于捕获具有投影在移动物体上的被投影的编码光图样的移动物体的二维视频图像，所捕获的二维视频图像包括被反射的特征类型，以及

解码器，其配置成：

a)根据唯一的二维构成提取被反射的特征类型，

b)对于视频图像的每个被捕获的帧，提取特征类型在相应的对极线上的位置。

一种用于获得包括一个或多个物体的场景的距离数据的方法，所述方法包括：

将具有多个不同的特征类型的二维编码光图样投影到场景上，以便从场景中不同的相应反射位置反射光图样的每个特征，特征类型根据二维构成在图样上可辨别为唯一的，

捕获包括被反射的特征的、场景的二维图像，

对出现在二维图像中的每个被反射的特征：

a)根据唯一的二维构成确定相应的特征类型，

b)确定特征类型在相应的对极线上的位置，

根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个被反射的特征得到相应的相关反射点的相应距离。

所述相应距离的编制可包括所述被成像的物体的三维几何形状。

对所述相应的对极线位置的所述确定可包括产生所述被捕获的图像中所述相应的确定的特征类型与所述被投影的图样中相同的所述特征类型的位置之间的关联。

在包括图样投影装置和图像捕获装置的系统中一种获得场景数据的方法，所述图样投影装置操作地将多个特征类型二维光图样投影到场景上使得多个特征类型二维光图样的每个特征从相应的反射点反射，所述图像捕获装置操作地捕获包括被反射的特征的、场景的二维图像，所述方法包括：

a)对于特征集合中的每个特征，包括根据唯一的二维构成可辨别的特征，其中二维光图样的第一特征类型不同类的多个对极共线特征与第一对极线相关，而第二特征类型不同类的多个对极共线特征与不同于第一对极线的第二对极线相关，提供了相应的反射点距离:图像点位置关系的相应描述，从而提供多个反射点距离:图像点位置关系，

b)对于目标场景的被捕获的二维图像，对于特征集合中的每个特征，从场景的被捕获的二维图像根据唯一的二维构成确定相应的特征类型并确定每个特征的相应的对极线标识(identity)；

c)对特征集合中的每个特征，根据确定的特征类型和对极线标识，使每个特征与从多个反射点距离:图像点位置关系选择的相应的反射点距离:图像点位置关系关联；以及

d)对特征集合中的每个特征，使用相应的选定的反射点距离:图像点位置关系来根据目标场景的被捕获的二维图像中的位置确定目标场景中相应的反射点的位置。

一种用于从目标场景获得场景数据的系统，该系统包括：

a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据二维构成在图样中可辨别为唯一的，

b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像；以及

c)图像处理元件，对二维图像的每个被反射的特征，其操作来：

i)对每个被反射的特征：

A.根据唯一的二维构成确定特征类型；

B.确定相应的对极线位置；以及

ii)根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个被反射的特征得出相应的相关反射点的相应距离。

一种用于从目标场景获得场景数据的系统，该系统包括：

b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像，图样投影装置和图像捕获装置配置成使得每个被反射的特征以不受场景距离影响的方式保持在被捕获的二维图像中确定的对极线上；以及

c)图像处理元件，其操作来：

i)根据二维图像中的特征的唯一的二维构成对每个被反射的特征确定相应的特征类型：

ii)以不受特征的对极线排序影响的方式区别开特征。

一种用于从目标场景获得场景数据的系统，该系统包括：

b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像，其中图样投影装置和图像捕获装置以不受离目标场景的距离影响的方式操作，使得对于在所捕获的二维图像中多线对极线集合中的每个不同的对极线：

i)二维光图样的特征类型不同类的多个投影特征存在于每个对极线上；

ii)至多一个特征类型存在于每个对极线上。

一种用于确定出现在两个所得到的二维图像中的被成像的物体的三维形状的方法，所得到的图像通过限定的对极场(epipolar field)彼此相关，所述方法包括：

将编码光图样投影到被成像的物体上，

捕获被成像的物体的第一二维图像，

捕获被成像的物体的第二二维图像，

选择第一二维图像的像素区域PX1，出现在PX1上的内容被约束为出现在第二二维图像中特定的对极线EPm上，

在第二图像中沿着对极线EPm找到PX1的内容，以及

确定在第一图像和第二图像之间的PX1的内容出现的相对位置。

PX1内容的所述出现的所述相对位置可根据三角测量确定被成像的物体的相应的三维空间坐标。

所述被成像的物体可以是在城市场景中的物体，且所述三维空间坐标可用于对所述场景进行三维建模。

一种用于确定出现在两个所得到的二维图像中的被成像的物体的三维形状的装置，二维图像从至少两个实质上相邻的成像设备得到，图像通过限定的对极场彼此相关，所述装置包括：

投影仪，其用于将编码光图样投影到被成像的物体上，

第一成像设备，其用于捕获被成像的物体的第一二维图像，

第二成像设备，其用于捕获被成像的物体的第二二维图像，

图像处理设备，其用于

a)选择第一二维图像的像素区域PX1，出现在PX1上的内容被约束为出现在第二二维图像中特定的对极线EPm上，

b)在第二图像中沿着对极线EPm找到PX1的内容，以及

c)确定在第一图像和第二图像之间的PX1的内容出现的相对位置。

一种用于城市场景的三维建模的基于三角测量的方法，该方法捕获具有投影在城市场景上的被投影的结构光图样的城市场景的至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述方法包括：

将编码光图样投影到城市场景上，

捕获包括被反射的特征类型的城市场景的第一二维图像，

捕获包括被反射的特征类型的城市场景的第二二维图像，

在第二图像中沿着对极线EPm找到PX1的内容，以及

确定在第一图像和第二图像之间的PX1的内容出现的相对位置，以及

独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。

所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。

PX1的所述内容的出现的所述相对位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。

所述三维空间坐标可用于对所述城市场景进行三维建模。

城市场景的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述城市场景中巡视。

纹理信息可被添加以补充所述城市建模。

空中数据可被添加以补充所述城市建模。

一种用于城市场景的基于三角测量的三维建模的装置，该装置包括用于捕获城市场景的至少两个图像的至少两个实质上相邻的成像设备，该装置进一步具有用于将结构光图样投影在场景中的物体上的投影仪，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述装置包括：

投影仪，其用于将编码光图样投影到城市场景上，

第一成像设备，其用于捕获包括被反射的特征类型的城市场景的第一二维图像，

第二成像设备，其用于捕获包括被反射的特征类型的城市场景的第二二维图像，

图像处理设备，其用于

b)在第二图像中沿着对极线EPm找到PX1的内容，

c)确定在第一图像和第二图像之间的PX1的内容出现的相对位置，以及

d)独立地在每个图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。

所述三维空间坐标可用于对所述城市场景进行三维建模。

纹理信息可被添加以补充所述城市建模。

空中数据可被添加以补充所述城市建模。

上述装置可进一步配置成在对所述城市场景的所述成像期间相对于所述城市场景中的物体在三维中移动。

上述装置可进一步配置成捕获相对于所述装置在三维中移动的所述城市场景中的物体的所述图像。

一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括：

提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

提供二维编码光图样的反图样(inverse)，

将编码光图样和反的编码光图样投影在物体上，

捕获：

1）具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，

2）具有投影在物体上的反的编码光图样的物体的第二图像，第二图像包括被反射的特征类型，

从第一被捕获的图像中减去第二被捕获的图像来获得合成图像(resultant image)，以及

在合成图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。

所述光图样可在时间上被投影。

所述光图样可以光的不同谱值被投影。

具有不同谱值的所述光图样可在时间上被投影。

所述第一图像和所述第二图像可在时间上被捕获。

所述时间成像可在不均匀的时间间隔上实施。

所述第一图像和所述第二图像可使用谱分化被同时捕获。

上述方法进一步可包括对所述被成像的物体的第三图像的捕获，所述第三图像可包括纹理信息。

所述合成图像中所述特征类型的所述提取可通过确定采样点的直接强度值来实施。

一种用于从两个二维图像获得纹理数据的方法，每个图像包括用于对每个图像独立地获得被成像的物体的深度数据的反射码，所述方法包括：

提供二维编码光图样的反图样，

将编码光图样和反的编码光图样投影在物体上，

捕获：

从第二被捕获的图像与第一被捕获的图像的相加中获得合成图像，合成图像提供被成像的物体的纹理信息。

提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型包括光强度变化的点，其中特征类型的一个点为最大值或最小值，

提供第二二维编码光图样，第二二维编码光图样包括具有最大值或最小值反转了的第一图样，

将第一编码光图样和第二编码光图样投影在物体上，

捕获：

1）具有投影在物体上的第一被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，

2）具有投影在物体上的第二编码光图样的物体的第二图像，第二图像包括被反射的特征类型，

从第一被捕获的图像中减去第二被捕获的图像来获得合成图像，合成图像包括被反射的特征类型的最大值点和最小值点，以及

在合成图像中提取最大值点和最小值点以及最大值点和最小值点在相应的对极线上的位置。

最大值和最小值的所述位置可用于确定所述第一图像中相应的特征类型位置。

提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型由光强度变化的点组成，其中特征类型的一个点是最大值或最小值，

将第一编码光图样和第二编码光图样投影在物体上，

捕获：

从第一被捕获的图像与第二被捕获的图像的相加来获得合成图像，合成图像包括被反射的特征类型的非最大值强度点和非最小值强度点，

在合成图像中提取被反射的特征类型的非最大值点和非最小值点以及非最大值点和非最小值点在相关的对极线上的位置。

沿着相应的对极线的所述最大值和所述最小值的所述位置以及所述非最大值点和所述非最小值点的沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。

提供二维编码光图样的反图样，

将编码光图样和反的编码光图样投影在物体上，

捕获：

从第一被捕获的图像与第二被捕获的图像相减的绝对值来获得合成图像，合成图像包括被反射的特征类型的轮廓，

在合成图像中提取轮廓以及轮廓在相应的对极线上的位置。

所述轮廓沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。

将编码光图样投影在物体上，

捕获：

2）具有投影在物体上的环境光的物体的第二图像，

从第一被捕获的图像中减去第二被捕获的图像来获得合成图像，

在合成图像中提取被反射的特征类型和特征类型在相应的对极线上的位置。

一种用于确定出现在两个所得到的二维图像中的被成像的解剖(anatomical)表面元件的三维形状的方法，所得到的图像通过限定的对极场彼此相关，所述方法包括：

将编码光图样投影到解剖表面元件上，

捕获解剖表面元件的第一二维图像，

捕获解剖表面元件的第二二维图像，

在第二图像中沿着对极线EPm找到PX1的内容，以及

PX1内容的所述出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。

一种用于确定出现在两个所得到的二维图像中的被成像的解剖表面元件的三维形状的装置，二维图像从至少两个实质上相邻的成像设备得到，图像通过限定的对极场彼此相关，所述装置包括：

具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

投影仪，其用于将编码光图样投影到解剖表面元件上，

第一成像设备，其用于捕获被成像的解剖表面元件的第一二维图像，

第二成像设备，其用于捕获被成像的解剖表面元件的第二二维图像，

图像处理设备，其用于

b)在第二图像中沿着对极线EPm找到PX1的内容，以及

一种用于解剖表面元件的三维建模的基于三角测量的方法，该方法捕获具有投影在解剖表面元件上的被投影的结构光图样的解剖表面元件的至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述方法包括：

将编码光图样投影到解剖表面元件上，

捕获包括被反射的特征类型的城市场景的第一二维图像，

捕获包括被反射的特征类型的城市场景的第二二维图像，

在第二图像中沿着对极线EPm找到PX1的内容，

独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反射的特征类型和特征类型在相应的对极线上的位置。

所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。

PX1的所述内容的出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。

所述三维空间坐标可用于对所述解剖表面元件进行三维建模。

解剖表面元件的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述解剖表面元件周围巡视。

纹理信息可被添加以补充所述解剖表面元件建模。

一种用于对解剖表面元件的基于三角测量的三维建模的装置，该装置包括用于捕获表面元件的至少两个图像的至少两个实质上相邻的成像设备，该装置进一步具有用于将结构光图样投影在解剖元件上的投影仪，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述装置包括：

二维编码光图样，其具有多个不同的特征类型，被反射的特征类型根据唯一的二维构成和特征类型在相应的对极线上的位置，

投影仪，其用于将编码光图样投影到解剖元件上，

第一成像设备，其用于捕获包括被反射的特征类型的解剖元件的第一二维图像，

第二成像设备，其用于捕获包括被反射的特征类型的解剖元件的第二二维图像，

图像处理设备，其用于

b)在第二图像中沿着对极线EPm找到PX1的内容，

d)独立地在每个图像中提取被反射的特征类型和特征类型在相应的对极线上的位置。

纹理信息可被添加以补充所述解剖表面元件建模。

上述装置可进一步配置成在对所述解剖元件的所述成像期间相对于所述解剖表面元件在三维中移动。

上述装置可配置成捕获相对于所述装置在三维中移动的所述解剖表面元件的所述图像。

一种可安装在机动车辆上的装置，该装置配置成获得在离车辆尾部的一定范围内的物体的深度数据，并进一步配置成获得二维图像以便从其确定深度数据，二维图像以可辨别的几何分离的对极线为特征，该装置包括：

二维编码光图样，其具有多个预定的可识别的特征类型，每个特征类型根据唯一的二维构成是可辨别的，

投影仪，其用于将编码光图样投影到物体上，

第一成像设备，其用于捕获具有投影在物体上的被投影的编码光图样的物体的图像，被捕获的图像包括被反射的特征类型，以及

解码器，其配置成根据唯一的二维构成提取被反射的特征类型和提取特征类型在被捕获的图像中相应的对极线上的位置。

上述装置可进一步配置成在对所述对象的所述成像期间相对于所述物体在三维中移动。

上述装置可配置成捕获相对于所述装置在三维中移动的所述物体的所述图像。

一种用于获得位于机动车辆后的目标场景的深度数据的系统，该系统包括：

a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，使得每个特征从相应的反射点反射，特征类型根据二维构成在图样上可辨别为唯一的；

b)图像捕获装置，其可安装在机动车辆上，并操作地捕获包括被反射的特征的、场景的二维图像；以及

c)图像处理元件，其对二维图像的每个被反射的特征操作来：

i)对每个被反射的特征:

A.根据唯一的二维构成确定特征类型;

B.确定相应的对极线位置；以及

将编码光图样投影到物体上，

捕获：

2）具有投影在物体上的均匀光的物体的第二图像，

从第一被捕获的图像被第二被捕获的图像除，来获得合成图像，

提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

提供具有多个不同的可识别的特征类型的、不同于第一图样的、第二二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，

将第一编码光图样投和第二编码光图样投影到物体上，

捕获：

独立地在每个图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置，

比较在第二图像中对极线的区域与在第一图像中沿着相同对极线的相似区域，以验证第一图像中的特征标识。

除非另外规定，这里使用的所有技术和科学术语具有与本发明所属的领域中的普通技术人员所一般理解的相同的含义。这里提供的资料、方法和例子仅仅是示例性的，且不意味着是限制性的。

本发明的方法和系统的实现包括手动、自动或组合地执行或完成某些选定的任务或步骤。而且，根据本发明的方法和系统的优选实施方式的实际仪器和设备，一些选定的步骤可通过硬件或通过软件在任何固件的任何操作系统上实现，或由其组合实现。例如，作为硬件，本发明的选定步骤可实现为芯片或电路。作为软件，本发明的选定步骤可实现为多个软件指令，这些软件指令由使用任何适当的操作系统的计算机执行。在任何情况下，本发明的方法和系统的选定阶段可被描述为由数据处理器执行，例如用于执行多个指令的计算平台。

附图的简要说明

参考附图，仅作为例子在这里描述了本发明。现在特别详细地参考附图，应强调，显示的细节仅作为例子，并仅为了本发明的优选实施方式的例证性讨论，且介绍细节以便提供被认为是最有用的东西和本发明的原理和概念方面的容易理解的描述。在这方面，不试图显示比基本理解本发明所必需的更详细的本发明的结构细节，采用附图的描述使本发明的一些形式可如何体现在实践中对于本领域技术人员变得明显。

在附图中：

图1A-1G是示出本发明的一个实施方式的简图，其显示二维光图样成像如何与对极几何的原理一起使用。

图2是示出在当前实施方式的三维图像和/或运动图像捕获的过程中的步骤的简化流程图。

图3示出被投影以获得反射图样的对极分离和相应的图像IP1的示例性空间周期性二维图样P1。

图4是示出如何得到所捕获的二维图像中的被识别的特征的相应的三维空间位置的简化流程图和图解。

图5示出通过本发明的实施方式的方法得到的另外的示例性点云。

图6A是根据对极分离原理投影之后的反射图样的简化示意性表示。

图6B再次示出反射图样的简化示意性表示，但现在包括相同特征在图像中的给定对极线上的多次出现。

图7是根据本发明的特定实施方式投影的优选光图样的被捕获的图像的简化图示。

图8是此刻关于对极场的方向、以较小的旋转角投影的图样的简化示意性表示。

图9是可用在某些实施方式中的非有序和非周期性二维空间图样的简化示意图。

图10示出包括优选的编码图样P1的示例性特征类型的图示。

图11是在从成像立方体(imaged cube)反射之后如所见的图像I'_P1的示例性图样P1的图示。

图12A和12B示出图样P1中固有的构造过程和编码方案。

图12C包括在从被成像的物体反射并被视为成像装置中所捕获的图像的部分之后，图样P1中的采样点的简化图示。

图13A示出使用实现对极分离技术的图样P1的优选投影和成像方法。

图13B1示出提供增加数量的采样点的优选图样P2。

图13B2示出图样P2中固有的构造过程和编码方案。

图13C示出时间编码实施方式的两个优选图样T1和T2。

图13D示出时间编码实施方式的优选图样T2的特写。

图14示出示例性字符或特征类型连同示例性图样P1的图像I'_P1。

图15是涉及P1和-P1的本发明的优选双重投影和双重成像实施方式的图示。

图16是两个图像P₁和-P₁的相加的图示。

图17是本发明的双重投影和双重成像方法的优选实施方式。

图18示出图17的两个成像图样的相加。

图19示出从图像P₁减去-P₁的绝对值得到的合成图像的图示。

图20是从图像P₁减去-C的绝对值得到的合成图像的图示。

图21是双重图样投影和双重图样成像的特定实施方式的图示。

图22是使用均匀光的双重投影的特定实施方式的图示。

图23是示出两个图像之间的对极场如何相关的简化图示。

图24是示出在特定实施方式中分离的对极场对于相应的成像装置和投影仪如何存在的简化图示。

图25是示出在产生城市地区的三维地图的过程中的步骤的本发明特定实施方式的简化流程图。

图26是示出在解剖部分的三维成像的过程中的步骤的本发明特定实施方式的简化流程图。

图27是示出确定在倒车机动车辆的路径中的障碍距离的过程中的步骤的本发明特定实施方式的简化流程图。

优选实施方式的描述

本实施方式提供了用于静止和运动物体的三维成像的装置和方法。特别是，通过（a）将编码二维光图样投影在物体上；以及（b）利用与对极几何和三角测量相关的光学约束和原理来分析反射二维光图样的二维图像，可能确定给定物体的三维空间形状数据。

参考附图和附随的描述可更好地理解根据本发明的装置和方法的原理和操作。

在详细解释本发明的至少一个实施方式之前，应理解，本发明在其应用中不限于在下面的描述中阐述或在附图中示出的结构的细节和部件的布置。本发明允许其它实施方式或能够以各种方法实践或实施。此外，应理解，这里使用的措辞和术语是为了描述的目的，而不应被视为限制性的。

图1A-1G：确定一个或多个物体的三维深度图

现在参考图1A-1D，其为示出本发明的一个实施方式的简图。在图1A-1D的特定例子中，系统10包括存在于相应的位置(x₁ ^p,y₁ ^p,z₁ ^p)和(x₁ ⁱ,y₁ ⁱ,z₁ ⁱ)的投影仪12和成像装置14。包括可识别的特征类型的有限集合的预定阵列的编码二维光图样16由投影仪12投影到在包含被成像的物体18a、18b和18c的场景中的表面上。在投影图样中的示例性特征被表示为20a、20b、20d和20f。在该特定例子中，投影图样采取强度变化的单色光束或阵列的形式，其中相邻光束的组合包括具有二维空间构成（bi-dimensional spatial formation）的编码特征或字母。这些特征在不同的反射点19a、19b、19d和19f处与被成像的物体表面相交，并接着在成像装置14的传感器24上捕获的二维图像22中被观察到。投影特征19a、19b、19d和19f因而作为被捕获的图像22中的被反射的特征28a、28b、28d和28f出现。成像装置14可例如是CCD或CMOS数字视频摄像机或任何其它类型的光探测器元件阵列。

投影仪12和传感器24之间的相对位置30是固定的，因而给予系统10以几何约束。该约束将所捕获的图像22中的任何给定被反射特征28a、28b、28d和28f的位置限制到称为对极线的图像中的唯一一组点。对极线β、

和ρ在图中示出。也就是说，对于具有给定光图样以及投影仪和传感器之间的固定相对位置的系统10，对于上面投影了图样的任何物体或一组物体，在所捕获的图像22中特定的单个对极线上总是观察到投影图样的每个特征。而且，如下面将解释的，不管被成像的物体是固定的还是处于与投影仪/成像装置的相对运动中，上面内容都适用。图样中的每个特征和恒定的对极线之间的关系因而与所述特征被反射的三维空间中的反射点无关。

示例性投影特征的反射点被表示为19a、19b、19d和19f，并具有相关的相应反射距离D_A、D_B、D_D和D_F。反射距离是从成像装置的传感器24到被成像的物体18a、18b、18c上给定特征被反射的三维空间中反射点位置的距离。反射距离有时称为深度。

因此，如图1A-1D所示，存在于图像22中的每个被反射的特征28a、28b、28d和28f被约束到相应的特定对极线，而与特征被从其反射的空间中的点无关。特征28a因而被约束到与19a的三维位置无关或可选地与反射距离D_A无关的对极线

。特征28b和28d是来自共享相同的对极线β的图样的两个被反射的特征。特征28b和28d总是存在于与反射距离D_B和D_D无关的该对极线上。类似地，特征28f总是反射到与反射距离D_F无关的对极线ρ上。

然而，反射距离或可选地特征被从其反射的三维空间中的点实际上确定沿着该对极线所述特征出现的地方。因此，反射距离不影响给定被反射的特征在其上出现的特定对极线，而更确切地只影响沿着该线的精确位置。

为了说明依赖于反射距离的沿着对极线的特征的位置的变化，我们现在转到图1E-1G。在图1E、1F和1G的每个中，投影仪和成像装置虽然总是彼此处于固定的相对距离，但相对于物体18a移动。在图1E中，投影仪12和成像装置14分别在(x₁ ^p,y₁ ^p,z₁ ^p)和(x₁ ⁱ,y₁ ⁱ,z₁ ⁱ)位置。当从物体18a上的反射点19a被反射之后，在对极线

上的被反射的特征28a（投影特征20a）的反射距离被看作D_A。在图1F中，投影仪和成像装置移到空间中相应的点(x₂ ^p,y₂ ^p,z₂ ^p)和(x₂ ⁱ,y₂ ⁱ,z₂ ⁱ)。当从物体18a上的不同反射点19a'被反射之后，被反射的特征28a的反射距离现在是D_A'。作为结果，特征28a现在反射到对极线

的下部分上。在图1G中，投影仪和成像装置移到空间中的第三组相应的坐标(x₃ ^p,y₃ ^p,z₃ ^p)和(x₃ ⁱ,y₃ ⁱ,z₃ ⁱ)。当从物体18a上又一第三个反射点19a"被反射之后，被反射的特征28a的反射距离现在是D_A"。作为结果，特征28a现在反射到对极线的上部分上。然而，不管反射距离是什么，被反射的特征28a（投影特征20a）都必须总是出现在对极线

上，且只在

上。为了清楚的目的，每个特征都只与本实施方式中的一个对极线相关。应理解，因为特征包括被捕获的图像中光强度的空间构成，每个特征的元素可位于分立的可辨别的对极线上。

应理解，系统10和被成像的物体之间的任何相对运动使特定特征的反射距离变化。该相对运动可从被成像的物体的运动、从投影仪/成像系统的运动、或从被成像的物体和投影仪/成像系统两者的运动产生。反射距离的任何变化都引起给定被反射的特征沿着该特征的相关对极线的精确位置的变化。然而，特征在其上出现的特定对极线保持不变。

因此，我们可断定，对极几何的原理规定图像中的一组二维坐标和由成像装置观察的空间中的三维坐标之间的映射。此外，给定被捕获的特征沿着特定对极线出现的精确位置依赖于特征的反射距离，或换句话说，特征从其被反射的三维空间中的点。

对于每个图像或帧，根据特征类型识别每个被反射的特征，且优选地通过图像处理设备36确定图像中沿着特征的相关对极线的被反射的特征的位置。被识别的特征沿着特征的对极线的精确位置于是对应到该特征在原始投影图样中的位置。特征在图像和投影图样之间这种对应允许基于三角测量的计算，以确定特征从其被反射的三维空间坐标。预先计算的三角测量表可用于确定特征从其被反射的物体上的点的三维空间位置。在一些实施方式中，这些基于三角测量的计算由图像处理设备36实施。

该过程可对二维图像的多个特征重复，其中每个特征从三维被成像的物体的表面上的不同的相应位置被反射。对于任何给定的图像帧，所捕获的二维图像中每个这样识别的特征导致三维空间位置，所有这样的空间位置的编制(compilation)包括三维空间中位置的点云。此三维点云给出被成像的物体的三维映射。点云的进一步的处理可产生本质上将三维云的点熔合成三维表面的三维网格(mesh)。根据场景中物体的额外的纹理捕获，该网格也可以是给定图形纹理。对于运动中的物体的三维映射，对单个图像描述的上面的过程在产生三维视频的一系列图像上实施。

图2：三维图像捕获的简化流程图

参考图2，其为示出在当前实施方式的三维图像和/或运动图像捕获的过程中的步骤的简化流程图。在下面附图中进一步详细地讨论该流程图的每个步骤。流程图连同图1A-1G一起给读者提供这里所述的三维成像过程的简单和总体直观的理解。

步骤70提供了预定的编码光图样。如在图1A-1D中举例说明的并被表示为16的该编码光图样，是以变化强度的光束的空间构成的形式的特征类型的有限集合的阵列。下面在附图中讨论图样的优选实施方式及其特点。步骤72是该图样在物体上的投影。下面也在附图中讨论几个优选的投影方法。在步骤74中，捕获包含从物体反射的特征的二维图像，图样投影在该物体上。在步骤76，分析图像以识别特征及其沿着相应的对极线的位置。在步骤78，接着使沿着其对极线的特征的位置与特征被反射的空间中的三维坐标相关。下面讨论通过三角测量技术执行的、沿着对极线的特征位置和三维空间坐标之间的此关联过程。对于二维图像中的每个被识别的特征，因而得到指示特征从被成像的物体反射的空间中的点的相应的三维坐标。在步骤80，通过所有这样的三维坐标的编制，得到给出被成像的物体的三维映射的三维点云。点云的进一步的处理可产生本质上将三维云的点熔合成三维表面的三维网格。也可根据该场景中物体的额外的纹理捕获给该网格提供图形纹理。

在物体或摄像机在运动中的情况下，步骤74-80可连续重复，以获得三维运动捕获。在三维运动捕获的这样的情况下，从移动物体反射的光图样的一系列二维捕获的图像包括视频序列中的帧。该二维视频序列可按在流程图中讨论的方式被逐帧处理，以得到每帧的三维空间坐标。结果是一系列点云，视频序列的每帧有一个点云，其一起包括随着时间的过去的动态三维映射。

图3：图样投影和对极分离

图3提供了可投影到物体上的示例性空间周期性二维图样P1。二维图样包括多个不同的特征类型20，其出现在图样内的不同位置处。为了清楚，在本图中，每个唯一的特征类型被任意分配字母字符。如下面在图10中进一步详细解释的，每个图样特征都由黑点和白点的编码空间构成组成。特征在代码中以循环的方式重复。特别地，相同的特征类型在图样的垂直方向上每隔1行并在图样的水平方向上每隔16列重复自身。图样特征的黑点和白点相应于在被成像的物体上的单色光的高或低照明强度的投影。代码中的每个字符因此是投影光强度的二维空间构成。在本实施方式的图样P1中，该构成是连续的。也可实现具有非连续构成的其它图样。

在从三维物体反射之后，投影周期性图样P1的子部分48产生包含反射图样的图像I_P1。示出对极线52、54和56。因此，图像I_P1是当从被成像的物体反射时通过成像装置被观察到的反射图样的简化图示。为了简单起见，只示出反射图样，而没有示出也出现在I_P1中的任何反射的被成像的物体。在这个特定的实施方式中，投影仪和成像装置彼此垂直地放置，因而使被捕获的图像中的对极线在实质上垂直的方向上。在另一可能的实施方式中，投影仪和成像装置可彼此水平地放置，在这种情况下被捕获的图像中的对极线实质上是水平的。

如在上面看到和提到的，任何给定的特征类型在图样的垂直方向上循环地重复自身很多次，并且如果图样无旋转地被投影，相同类型的很多特征在被捕获的图像中在相同的垂直对极线上会被观察到。然而，通过投影图样的稍微旋转，相同类型的特征被反射到图像I_P1中分离的对极线上。例如，都是类型（A）的特征58和60现在反射到两个相邻的但可辨别地分离的对极线52和54上。如将在下面进一步解释的，在被捕获的图像中分离的对极线上的所有相同图样特征类型的分离明确地实现每个特征的识别，该分离在这里称为对极分离。为了理解为什么是这样，接下来是系统校准的简短讨论，以理解在原始投影图样中的特征和被捕获的图像中的对极线之间的关系。

如上所解释的，给定特定的图样，例如在本实施方式中描述的图样，并假定投影仪和成像装置之间的固定相对位置的几何约束，任何给定的图样特征出现在包含反射图样的图像中恒定的预定对极线上。投影图样中的每个特征和反射图样的图像中相关的对极线之间的此预定关系可用很多方法确定，包括强力(brute force)。确定该关系的过程可称为对极场校准过程，并对于成像设备和投影仪的给定图样和给定配置实施一次。这样的映射的结果是如下面看到的对极场表。

图样中的特征类型和位置被捕获的图像中的对极线

如从表中看到的，图样中特征类型的每次出现与不同的对极线相关：对出现在图像中的投影图样中的同样数量的(A)类型出现，(A₁)与E₁、(A₂)与E₂，依此类推。当然不同类型的特征例如(A₁)和(B₁)可落在相同的对极线例如E₁上。因此，从校准过程知道了落在这些对极线上的原始图样中所有的对极线位置和特定的特征。

如所提到的，包含反射图样的任何给定的图像包括某个尺寸的一组特征类型。在本实施方式的图样中，这组包括32个类型。用于给被捕获的图像解码的解码引擎根据包括对极线的图像中的特征类型和位置坐标，给每个特征解码。接着使这个被解码的图像特征与原始投影图样中特定的特征一致。例如，如果发现特征类型(A)在对极线E₂上，则从对极场校准表中，我们知道该图像特征唯一地相应于原始图样中的特征(A₂)，而不是图样中的任何其它特征。此外，如果循环图样没有旋转地被投影，相同类型的很多特征将被捕获的图像中在相同的对极线上被观察到。因为根据特征类型来识别被反射的特征，在相同的图像特征类型与其在原始图样中相应的特征之间将无法在一对一的基础上对应。换句话说，没有对图像中的哪个被识别的(A)特征类型对应于投影图样中的哪个(A)类型特征的指示。

然而，通过将每个特征类型限制到在被捕获的图像中特定对极线上的单个出现，可进行该特定图像特征和图样中该特征的出现的关联。因此每个对极线都有给定特征类型的至多一个特征。所以，对于所有的图样特征，图样P1中的每个(A)特征类型落在图像中不同的对极线上，每个(B)特征类型落在独立的对极线上，依此类推。类似地，每个对极线优选地具有多个特征，只要它们具有可辨别的类型。例如，参考图1A-1D，注意，特征28b和28d都存在于相同的对极线β上，然而可与相应的图样出现进行比较，因为它们具有不同的可辨别的特征类型。

特定的图像特征和图样中该特征的出现之间的明确匹配导致正确的三角测量，其确定特征从其被反射的空间中的精确三维位置。

应认识到，当前实施方式利用校正的成像系统，意味着成像装置的平面和投影仪的平面位于相同的空间平面上。因此，在投影仪和成像装置之间只存在垂直或水平移位。在这样的校正系统中，被捕获的图像中的对极线一起包括单向对极场。因为图像中的对极线这样彼此平行，重复图样的旋转将重复的特征类型放置在分离的对极线上。

所以，总之，作为投影方法和代码的内部结构的结果，每个对极线具有给定特征类型的至多一个特征。此外，虽然图样是循环的且因此特征类型在图样中出现很多次，但上面描述的相同的特征类型放置在分离的对极线上意味着在图像中该特征类型的多次出现之间没有混淆。对于图像流中的每个图像，每个特征的位置确定新的一组三维空间坐标，其提供当前被成像的物体位置的三维图。

参考图1A-1G，图像处理设备36优选地至少包括图像处理引擎，图像处理引擎用于识别（1）被捕获的二维图像中的特征及其相关的对极线，以及（2）在其对极线上的特征位置。图像处理设备一般还有包含用于投影图样中的所有特征的坐标的数据库。处理设备使图像中的每个被识别的特征与该特征在图样中的相应特征匹配。基于三角测量的计算随即用于将空间中的三维坐标分配到每个被识别的特征，以得到被成像的物体的三维点云。这些基于三角测量的计算优选地存储在存储器中的表中，以帮助三维空间坐标的快速处理。点云的进一步的处理可能被可选地期望。这样的处理可包括对于更丰富的逼真的三维图像/视频确定来自三维点云的网格或三维表面。也可增加纹理数据。点云的这样的处理可利用用于三维点云处理的已知的处理引擎。

因此，通过这里描述的将对极几何的上面原理与结构光投影和编码/解码方案合并在一起的新技术，当前实施方式提供高分辨率、高准确度三维成像，例如对HDTV、4CIF、百万像素成像和类似的应用所描述的。在优选实施方式中，对于短距离，获得具有少于1毫米的准确度。也就是说，三角测量误差是±1毫米。

如所述，即使在物体处于运动中的情况下，也可优选地实现该系统和方法，因为本发明的优选实施方式利用单个编码图样的投影。在由成像装置确定的每个时间间隔处，只有编码光图样的单个投影需要捕获物体的表面点，因而使连续的图像能够捕获在运动中的物体的变化的表面点。也就是说，在场景中的物体和/或摄像机和投影仪系统可相对于彼此在三维空间中移动，因而实现在运动中的三维物体的动态深度捕获。当物体移动时，在欧几里得空间中的物体的三维坐标动态地变化。因此，在一系列被捕获的图像上的深度变化，对于每个被捕获的图像，在特征沿着其相应的对极线的移动或位移中得到反映。作为结果，对每个图像帧得出不同的点云。

在优选实施方式中，成像装置和投影仪一般包含在单个设备壳体中。被投影的二维光图样可由任何光源投影，包括但不限于视频投影仪、在打印的图样情况下的幻灯投影仪、或激光/LED投影仪。在优选实施方式中单个图样投影仪的使用允许衍射投影的直接使用，这导致低功率消耗、紧凑性、归因于窄带型信号的噪声过滤、和对不可见的NIR辐射应用的很强的适合性。成像装置可以是一般具有CCD或CMOS传感器的专卖的或现货供应的视频或静止摄像机。应进一步理解，在被捕获的图像中的对极线可具有非线性形状，且图1A-1G和图3中的线性线仅用于举例说明的目的。

参考图4，其为示出如何得到在所捕获的二维图像中被识别的特征的相应的三维空间位置的简化流程图和图解。图4的流程图从二维图像捕获阶段—也在图2中看到的阶段74—开始。三个不同的示例性特征类型(A)、(B)和(C)共享被捕获的二维图像84中的对极线，图像84包括在二维中的被成像的物体和反射图样。在编码图样中的示例性特征类型被投影到被成像的物体上，且所有特征类型随后在二维图像84中沿着单个对极线E₁被观察到，如在步骤76看到的。下一步骤包括沿着对极线的每个被识别的特征和投影二维编码光图样中的发起(originating)特征之间的相应（步骤78a）。这种对应用于通过三角测量法计算特征从其被反射的空间中的三维点或深度坐标（步骤78b）。特别地，步骤78a和78b合并，如在图2的流程图中的步骤78看到的。所有这样的三角测量特征的合计产生被成像的物体的三维点云（步骤80）。在优选实施方式中，在步骤82，点云80进一步被处理以获得三维图像/视频图像的纹理和表面。

因为所示特征类型是不同的，可使所有三个类型容易地对应投影图样中的相应的特征。如果在对极线上有比如(B)的多次出现，则当试图使(B)的每次出现与投影图样中的相应出现关联时将产生模糊。作为在单个对极线上特征类型的多次出现的结果的模糊，将必然导致在被成像的物体上空间位置的三角测量误差和虚假测量。本发明的实施方式因此确保任何给定特征类型在对极线上的至多单次出现，在这里称为对极分离，以确保在图样中所观察的特征和特征的出现之间的一对一的匹配过程。

此外，在当前实施方式中，被成像的物体可为静止的或在运动中。如果被成像的物体在运动中，则重复步骤74-82以提供三维视频。可选地，成像和投影仪装置可相对于物体处于运动中。在动态应用中，以视频帧率计算三角测量方程，以给出在运动中的物体的实时三维坐标。

而且，如下面将在附图中示出的，当被捕获的图像中可辨别的对极线的总数增加时，编码光可以通过允许被捕获的图像中特征的更多出现的方式而被投影。可辨别的对极线的总数可能由于很多因素而增加，包括但不限于特征结构或形状、作为高分辨率传感器的结果的低噪声水平、系统的光学特性或更准确的坐标检测算法。

图5示出通过本发明的实施方式的方法得到的另外的示例性点云。图示86示出人挥手的点云的前视图。云中的每个点都有空间中的三维(x,y,z)坐标。图示88示出提供另一深度透视的侧视图。

参考图6A。图6A现在示出在根据上面讨论的对极分离原理被投影之后，在反射空间编码图样的图像中的出现的示意性表示500。也就是说，光图样以使任何给定的特征类型在被捕获的图像中的任何给定对极线上至多出现一次的方式而被构造和投影。

在本实施方式中，任何给定特征类型在对极线上的单次出现通过投影周期性光代码以相对于对极场的方向成适当的倾角的方位来实现。对极场在本例中是垂直的，并由对极线102A、102B和102C表示。反射光图样的示意图500示出相同的10×2矩阵90的周期性或循环的砖瓦式结构构成。每个矩阵都有20个特征类型A-T。矩阵图样在图像的长度和宽度上重复自身。

现在，当在附图中，图样投影以被指定为94的角旋转时，图像中特征类型的周期性图样在长度H₁上在任何给定的对极线上重复自身。因此，对于在成像装置垂直视场H₁上的每个可辨别的对极线，任何特征类型至多出现一次。通过使图样的投影角倾斜，实现相同的特征类型到可辨别的对极线上的分离。例如，在图样的y方向上每隔一个特征重复的特征96、98和100分离到在被捕获的图像中分开的可辨别的对极线102A、102B和102C上。结果，可在整个图像区域上识别相当数量的特征。在所捕获的图像中被识别的特征的总数称为图像容量或覆盖度。

因此，紧密周期性代码的对极分离允许大量可识别的特征在图像中被捕获，导致高分辨率。而且，图样的周期性性质允许包含少量重复的特征类型的编码图样，从而使每个特征能够保持小尺寸，并进一步促成高分辨率图像。作为例子，在具有640×480像素分辨率的一般传感器上，每个特征可具有10个像素的近似面积。这转换成对每帧大约31,000个特征的图像容量，因而31,000个三维空间坐标。

在上面和当前实施方式中，为了解释的简单和清楚，没有考虑二维图像中的图样特征的宽度。因此，每个特征都与对极线相关，如同特征具有无限小的尺寸一样，且每个特征都只由一个对极线辨别。在实际实践中，不是单个对极线与分立的特征相关，而是包括特征的空间构成位于可辨别的实质上相邻的对极线上。

返回到图6A，被表示为D₁和D₂的距离是在可辨别的对极线之间的等距距离。在可辨别的对极线之间的已知的水平距离依赖于成像装置和图像处理设备，并有助于图像中被反射的特征的明确识别和验证。例如，被反射的特征类型(A)98在被捕获的图像中在沿着对极线102B的某个y坐标处被检测到。因此，最近的特征类型（A）如果在所得到的图像中确实被捕获，则可仅存在于到对极线102B的右边和左边即102A和102C最近的可辨别的对极线上。虽然为了说明的目的，在附图中所有的对极线都完全垂直，但其它实施方式是可能的，其中对极线可为具有变化的x和/或y坐标的直线或曲线。

限定性的对极线分离因素是区分开在被捕获的图像中分离的对极线所必需的最小水平距离。区分开分离的对极线上的特征的能力基于几个因素。首先，特征的形状常常确定特征在从被成像的物体反射之后是否具有可检测的坐标位置。具有可被较精确地分配坐标的特征的代码允许区分开在不断靠近的对极线上的特征。物体表面类型也可以有效果，因为例如来自金属表面、玻璃和其它透明或非常黑暗的表面的特征被不太精确地反射。低投影仪SNR和内部传感器光学器件可限制可辨别的对极线之间的距离。

现在参考图6B。如到现在所解释的，只要相同的特征类型落在分离的可辨别的对极线上，就可在被捕获的图像中识别每个特征类型，而不用考虑其间的混淆。然而，在现在将讨论的已知被反射的特征仅存在于对极线的预定部分上的某些情况下，则沿着相同的对极线的相同特征类型的分离甚至是可能的。在被成像的物体在一系列图像上在非常有限的深度范围内移动的情况下，在相同对极线上的相同类型的两个分立的特征可只出现在其上的有限部分上。也就是说，如果被成像的物体移动被限制到离成像系统的特定距离范围，则相同特征类型的多次出现可发生在单个对极线上。如果三维空间中被成像的物体的移动是轻微的，则被反射的特征沿着其各自的对极线的相应移动很小。在这样的情况下，可能分离在单个对极线上给定特征类型的多次出现，其中每个特征类型出现在沿着对极线的预定限制范围内。

为了举例说明，我们现在转到图6B，其示出与图6A相同的示意性表示500。对极线ρ、

、

、θ、

和β被示出，且表示为H₁'的图像高度现在较大，以包括相同特征在图像中给定对极线上的多次出现。在对极线

上，例如特征96和506是出现在相同对极线上的两个分立的特征，并具有相同的类型，即(A)。如果这些特征中的每个都自由地出现在图像中对极线的任何部分上，则在特征识别期间在两个特征之间可能产生混淆。如所解释的，特征96和506的每个与特征在投影图样中的唯一出现之间的对应受误差影响。但在本实施方式中，特征96的出现被保证只出现在对极线

的子部分96A上，而特征506的出现被保证只出现在相同对极线

的子部分506A上。在这样的情况下，两个子部分之间的距离

大到足以使得两个相同特征类型之间的混淆的顾虑不存在。在特征识别过程期间，存在于对极线

的子部分506A上的(A)类型特征被明确地识别为特征506，而存在于部分96A上的(A)类型特征被明确地识别为特征96。区域96A和506A是两个界限分明的间隔开的区域。同样，在对极线

上的特征98和504的出现仅分别在范围98A和504A内。最后，特征100和502也只出现在沿着对极线θ的相应范围100A和502A内。在所有前面的三种情况中，足够大的距离存在于沿着单个对极线的范围之间，两个相同的特征类型可落在该对极线上。因此，相同类型的两个分开的特征的识别是可能的。

在对极线上有相同特征类型的多于一次出现的一种方法是通过将图像高度从H₁增加到H_1'。图像高度的增加导致相同特征类型沿着图像中对极线的多次出现。相同特征类型的多次出现是由于图样的周期性循环，该图样沿着增大的H₁或H_1'的长度重复自身。可选地，如果图像传感器的分辨率增加，且图样特征在尺寸上减小，则特征类型可沿着对极线重复自身。只要深度测量被限制到被成像的物体移动的某个范围内，沿着对极线的任何给定特征就对每帧只移动一段短的距离。因此，甚至两个相同的特征也可在单个对极线上被区分开，只要它们在其上移位的对极线的部分是有限的且间隔开足够远。对极线到预定部分的划分依赖于深度范围限制。通过这样的深度范围限制，更多的点在图像中被采样，且当被捕获的图像中深度读数的数量较大时分辨率进一步增加。

我们现在参考图7，其为优选光图样的被捕获的图像的简化图示，该图样根据对极分离被投影以确保相同的特征类型落在可辨别的分离的对极线上。附图示出几何原理，其通过以与对极场成的角度投影优选图样来提供相当大数量的可识别的特征。投影周期性图样的偏角调节确保相同的特征类型被捕获在分离的可辨别的对极线上。特征优选地由在空间上布置的采样点的唯一组合组成，且被捕获的图像中的采样点的数量称为图像容量或覆盖度因子。

可提问的问题是：为什么不构造具有与覆盖由传感器高度H表示的图像帧所需要的一样多的特征类型的代码，从而不需要对极分离？答案在于以下事实：单个图样成像系统力求有尽可能小的特征类型，因而提供每图像较高的采样密度。为了这个目的，在空间编码方法和系统中，非常希望以最小数量的特征类型给投影光编码，因为每个特征类型都由某个有限区域的空间代码表示。也就是说，在代码中的特征越少，需要给特征编码的像素区域就越小，因为每个特征出现在图像传感器上，作为在一定数量的方形像素上的光强度构成。通过借助于重复的代码限制特征类型的数量，表示给定特征类型所需要的像素的数量被最小化。因此，在二维图像中可识别的特征的数量增加了，因而相应的点云点的数量或点云密度也增加了。较高数量的点云点导致较高分辨率的三维图像。

因此，给大量特征类型编码以便避免在本实施方式中使用对极线分离技术将不是有效的或不希望有的。通过在实施方式中描述的对极分离的技术，相当小的矩阵代码可提供图像容量的“膨胀”，因为可为每个被捕获的图像帧观察到更多唯一可识别的特征。

图7示出由特征类型的一系列10×2矩阵组成的投影编码图样104的示意性图像，其中投影再次与对极场成一角度。图样的每个特征具有方形像素尺寸C×C。因此，图样中每个周期性矩阵的长度是XC=10C，而高度是YC=2C。距离P表示图像中可辨别的对极线之间的像素中的水平距离。如所看到的，投影图样104相对于对极场以角106旋转。可表明，图样的Y方向上的每隔一个特征，或换句话说，相同特征的每次重新出现都落在可辨别的对极线上。应认识到，矩阵可具有不同的尺寸，且该尺寸仅仅是为了例证目的的例子。使用在相似三角形的几何结构中已知的原理，可证明，具有边H-U-V的三角形和具有边YC-h-P的三角形是相似三角形，因而下列一般方程成立：

H/U=YC/P其中U=XC→H=XYC²/P

H因而是出现在对极线108上的像素的数量。当对极分离P降低时，角106变得较小。从该方程中我们看到，对于恒定的图样面积尺寸，如果只有对极线分离P降低，则H变得较大。

例如，特征110—(A)类型特征—按需要只在对极线108上出现一次。特征112表示特征110之后特征类型(A)的下次出现，并表示图像高度的上限。如果可辨别的对极线之间的距离P减小，则角106也减小，且具有相同数量的特征的相同编码图样因而从对极场旋转得较少。相同的特征现在由仍然可辨别的较近的对极线分离，且旋转投影图样以获得对极分离的效应变得更明显。特征110在对极线108上的不断增大的距离内重复自身，因而扩大了H的值，且因而扩大了图像中的唯一可识别的特征的数量或分辨率。角106的下限在对极线不再是可辨别时出现，也就是说，相同的特征类型落在两个相邻的对极线上，这两个对极线太近而不能被准确地辨别。

从该方程中，我们看到，只要总矩阵尺寸不改变，矩阵的X和Y尺寸的任何组合就对图像覆盖率没有影响。例如，如果矩阵代码的Y分量增加而X分量减小，比如从所示的10×2矩形到5×4类似正方形的形状，我们现在有较接近于正方形的矩阵形状，而不是细长的(long skinny)矩形。然而，总矩形面积(XY)保持相同。角106减小，且图样从对极场旋转得较少，以确保在每个可辨别的对极线上的对极分离。如从方程看到的，H保持相同，因而图像覆盖率不增加。

特别地，矩阵结构使得在X方向上的周期长度比在Y方向上的周期长度大得多。这样的矩阵代码结构在这里称为优选的方向编码。在实际光学组装、校准、操作物理和灵敏性方面，X比Y大得多是合理的。例如，成像系统的振动或其它晃动可使非常小的旋转角106对对极区别变得太小。而且，作为非优选方向编码图样的结果的较小的旋转角需要通过较大的安全因子降低图像视场，以便确保对极分离。

现在参考图8，其为图6A的被捕获的图像的图示，反射光图样500现在以相对于对极场的方向的较小的旋转角114被投影。可辨别的对极线之间的距离降低到d₁。特征116、118和120是在图样的y方向上每隔一个特征重复自身的相同的特征类型。这些特征现在落到对极线122A、122B和122C上。根据图7描述的方程，因为图样没有改变，意味着X、Y和C是不变的，但P降低，H变得较大。因此，H₂是比图6A的H₁大的垂直图像高度，提供了更多的采样点，因而在被捕获的图像中提供更高的分辨率。成像系统现在可在遭遇模糊之前采样被捕获的图像中更多的点，意味着不可能沿着相同对极线遇到相同的特征类型。可选地，代替增加图像视场，具有较小的特征的图样可使用高分辨率传感器被投影。

然而，当角114减小得太多时，不希望有的系统模糊出现。当角114变得太接近于0度时，被校准的投影仪/成像装置中任何微小的移动或晃动可能引起失真，并妨碍清楚的对极线区分。此外，当图样中的周期性矩阵在X方向上减小而在Y方向上增加时，例如上面提到的几乎正方形形状，确保H不减小而需要的投影角要求P降低到一点，该点太小而不能为对极线区分提供安全的水平距离。作为上面的几何因素和导致误差的可能性的额外因素的结果，代码优选地利用在X方向上的优选方向代码。虽然本实施方式利用旋转的图样来获得对极分离的结果，但存在包括但不限于使投影图样倾斜的其它实施方式。

虽然在前面的实施方式中，投影图样是周期性的，但应理解，在可选实施方式中，其它编码方案是可能的，包括但不限于可被投影以实现对极分离的非有序和/或非周期性编码图样。以前的实施方式描述了使用唯一的结构空间编码图样P1的空间编码技术。然而，应认识到，另外的实施方式可包括时间编码、谱编码、其组合、或任何其它二维编码方案或其组合，包括涉及空间编码实施方式例如这里描述的实施方式的组合，其实现沿着可辨别的对极线的多个特征类型的区别。

参考图9，其为非有序和非周期性图样的示意图。在非周期性代码中的二维空间构成的每个特征类型在图样中被表示为数字。应认识到，每个特征类型—在附图中的数字1到6—在任何给定的对极线上出现不多于一次。示例性对极线是124、126和128。所示的示例性空间编码是类似于多米诺的图样。空间编码当然可具有很多形式，可能与在图3和下面图10中看到的代码类似或相同。其它结构光编码技术可包括双调、灰度和/或多光谱技术。

现在参考图10，其为包括优选的编码图样P1的示例性特征类型的图示。特征A-J是二进制空间编码特征类型的例子。每个特征由5个黑点和白点的空间组合或空间构成组成，这5个点由1个黑（局部最小值）或白（局部最大值）中心点130和4个黑或白外围或“鞍”点132组成。5个黑点和白点的所有可能组合产生32个唯一的字符或特征类型的字母表。图10中的示例性特征类型是任意指定的A-J，每个相应于1个中心点和4个鞍点的不同组合。具有白中心点的特征类型相应于投影图样中的局部最大照明强度，而具有黑中心点的特征类型相应于投影图样中的局部最小照明强度。每个字母的外围点相应于既非最大也非最小的照明强度，其中白外围点更接近于最大强度而不是最小强度，而黑外围点更接近于最小强度而不是最大强度。注意，其它实施方式可使用具有或多或少的鞍点的组合的特征。例如，如果每个特征包含6个鞍点，则字母表现在有128个唯一的字符或特征类型，因而有较大的图样周期。这样的编码特征将适合于具有较多采样点的较大图样的应用，例如高分辨率百万像素成像。

为了进一步举例说明，参考图11，其为在从成像立方体134反射之后在图像I'_P1中看到的示例性图样P1的图示。周期性图样包括在图10中描述的特征类型。示出立方体的一部分的图像的特写显示在附图的底部。白中心点136表示图像的紧邻周围的像素区域内的最大强度反射。黑中心点138表示图像的紧邻周围的像素区域内的最小强度反射。白鞍点140示出较接近于最大值而不是最小值的反射强度。黑鞍点142相反，并示出较接近于最小值而不是最大值的反射强度。

当投影图样的特征从被成像的物体反射到图像传感器上时，任何给定特征的5个点中的每个点变成被捕获的图像中的采样点。这些采样点包含在相邻的传感器像素上，被反射的特征在这些像素上成像。应理解，特定的采样点是否是最大值、最小值或鞍点取决于在该点上的投影光强度以及在该点处被成像的物体的材料的反射特性。

最大值、最小值和鞍点优选地通过识别其在图像中的微商而被提取。这意味着它们通过照明中的局部变化来确定。例如，如果被从黑暗表面反射，表示投影图样中局部最大照明强度的投影特征的白中心点在成像传感器上获得低像素强度或灰度值。如果这样的中心点独立于该中心点的周围采样点被编码，则解码引擎可能将低强度值错误地解释为指示局部最小值，或黑中心点。然而，当分析从黑暗表面反射的白采样点的周围像素时，解码引擎将看到甚至更低强度的像素值，因而出现将采样点作为局部最大值的正确识别。

同样，如果被从明亮表面反射，表示投影图样中局部最小照明强度的投影特征的黑中心点在成像传感器上获得高像素强度。再次，这样的采样点的直接强度估计将错误地识别为包含局部最大值或白中心点的特征。然而，通过测量在这样的点周围的局部强度的变化，解码引擎将识别甚至更高的值的像素值。作为结果，出现将采样点作为局部最小值的正确识别。因此，当分析单个投影图样的反射的图像时，使用临界点检测。临界点检测意指使用通过已知的推导分析方法的局部照明强度的变化，而不是直接强度估计，以确保解码过程中的正确特征检测。

而且，在之前实施方式的周期性重复代码中，特征的鞍点和最小值或最大值之间的相对水平距离是不变的。在解码过程期间，确定特征的元素或分量之间的矢量或距离集合，并预期恒定的矢量。这样的矢量实现了准确的特征读数的验证。从噪声和被成像的物体上的纹理差异产生的错误读数可通过特征的点之间的距离的验证过程来最小化。例如，如果鞍点和最小值之间的距离大于预期的差异，则解码系统可判断被识别的特征元素仅仅是噪声而不是特征的一部分。

可能通过相邻点灰度值的交叉参考，相邻鞍点和最大值的已知值进一步用于特征验证过程和错误校正。例如，在识别和验证过程中，已知字母表中的某些字符在其空间值布置与已知相邻字符的空间值布置矛盾的情况下可被消除。用于给特征识别解码的另一方法是通过将半有效的字符合并到已知的字符组。示例性情况是4个鞍点之一没有被清楚地识别，但其它3个被验证。应理解，字符识别的很多不同实现是可能的，包括波长分析或本领域中已知的任何其它方法。

应认识到，编码方案不限于二进制代码，也不限于二进制代码的任何优选光学实现，例如双调、单色或双极投影，并且如在上面之前的实施方式中给出的几个例子中的，编码方案可用其它方法实现，包括但不限于谱编码、非周期性编码和时间编码。

现在参考图12A和12B，其示出图样P1中固有的构造过程和编码方案。首先参考图12A，过程以Debruijn序列144开始。序列144在字符空间S∑={0,1,2,3}上创建。系列具有长度2，意味着两个数字的每个序列出现至多一次。因此，Debruijn序列的长度是|S|=|∑|²=4²=16。

通过用矩阵的二进制表示代替矩阵144中的每个数字，且以列的方式写每个二进制数字，由矩阵144产生矩阵146。矩阵148通过翻转偶数列从矩阵146得到，换句话说，矩阵的偶数列的上部行中的二进制值移到底部行，反之亦然。执行矩阵146中偶数列的翻转，以避免代码重复的情况，意味着确保在图样中矩阵的任何给定循环中没有字母出现多于一次。

现在转到图12B。图12A的矩阵148被映射到具有两种颜色的灰度的菱形的二维图样150，每种颜色表示矩阵148中的1或0。这两种颜色灰度图样重复地映射到黑、白和灰色菱形的图样152上。构成具有4种颜色灰度的合成的图样154。图样150的每种灰度菱形给图样152中的灰色菱形之一涂上两种灰度阴影之一。黑和白菱形保持不变。在接下来的两个步骤中，执行对菱形图样154的二值化，可能通过高斯平滑，接着通过获得称为锐利强度阈值的项，虽然其它技术是可能的。如最初在图3中示出的合成的图样P1为允许上述对极分离技术的投影提供了双调尖锐图样。

应理解，这里描述的编码是构造可行的基于二维空间构成的光代码的仅一种方法，该代码具有将在本发明的优选实施方式中使用的多个特征类型，且其它代码类型例如完备映射、M阵列和伪随机码是可能的。

参考图12C，其为在从被成像的物体反射并被视为成像装置中所捕获的图像的部分之后，图样P1中的采样点的简化图示。图样164是前面附图的图样154的特写。矩阵150的32个二进制值被看作32个鞍点168。这32个鞍点的每个都变成采样点。每组4个鞍点具有在中央的白点172或黑点170。黑点和白点是图样154中的黑和白菱形，并且也成为采样点。总之，在图样中代码的每次循环中有64个采样点。这些点显示在明亮的区域173中。图样166是图样P1的特写。在图样166中，在用高斯平滑和尖锐强度阈值处理图样之后看到采样点。

参考图13A，其示出实现上述对极分离技术的优选投影和成像方法。再一次，示出前面的实施方式的编码光图样。如在图3中的，编码光图样在这里被看到相对于被捕获的图像中的对极线174旋转某个角度，因而将代码的相同的特征类型放置在分离的对极线上。旋转角由下列方程描述。

Sin^-1(P/YC)

通过选择旋转角，可实施上面描述的对极分离技术。本领域中已知的校准方法用于确定被捕获的图像中对极线的确切位置。而且，为了确保没有代码的两个相同的特征在给定的对极线上重复自身，投影图样高度H_P被限制在投影仪装置中，如图样中明亮的区域175所例示的。作为结果，每个周期的每个对角列被不同的对极线切割。被捕获的图像中的每个对极线因此包含每种类型的一个且仅一个特征。如果所测量的深度范围是有限的，则如上面在图6B中讨论的，多于一个的相同的特征类型可出现在图像中的每个对极线上。像素中的图像高度H可由上面图7中的方程描述。因为阴影区域的长宽比为4/3，关于采样像素的总表面积由下列方程定义：

A=H²(4/3)=X²Y²C⁴/P²(4/3)

参考图13B1。对于某些三维成像应用，需要较大数量的采样点来获得期望的分辨率。为了这样的目的，可利用在上面实施方式中图样P1的变化的编码方案，在这里称为P2。在图13B1中示出P2图样。如在P1中的，P2是包含由5个黑和白元素或点的空间组合组成的特征类型的二进制空间编码周期性图样。同样，如在P1中的，黑（局部最小值）或白（局部最大值）中心点被4个鞍点围绕。然而，在图样P2中，每个字母的两个几何变体包括在代码的每次循环中，因而字母组从32到64重复。也就是说，每个字母有一个变形Y1和另一变形X1，在变形Y1中，中央点朝着左边移位，变为较接近于左鞍点，而在变形X1中，中央点朝着右边移位，变为较接近于右鞍点落。交替的最大值和最小值在垂直方向上没有如在编码图样P1中那样一个落在另一个的顶部上，而相反，每个最大值直接在上面和下面稍微移向最小值的右边或左边。类似地，每个最小值直接在上面和下面稍微移向最大值的右边或左边。这样的图样产生“Z字型”效应，其中交替的行稍微移向右边或左边。在给定循环中，总共有32个黑最小值，32个白最小值以及64个鞍点，总共包括128个采样点。

特别地，如上讨论的，图像中每个特征的点之间的相对水平距离现在允许表示编码的矢量。也就是说，除了允许2⁵=32特征代码的特征的5个点以外，给定特征的点之间的变化的水平距离允许额外的特征类型出现于每个图样中，因而增加对给定图像可能的采样点的数量。相同的5个特征点的水平距离的各种组合是可能的。

我们现在转到图13B2。使用Debruijn序列，以与上面在图12A、12B中描述的类似的方法，构造图样P2。基于稍微更改的Debruijn序列的二进制矩阵被映射到具有两种颜色灰度的菱形的二维图样282。此两种颜色灰度菱形图样被重复地映射到黑、白和灰菱形的图样284上。构成具有4种颜色灰度的合成的图样286。图样282的每个灰色菱形给图样284中的灰色菱形之一涂上两种灰度阴影之一。黑和白菱形保持不变。在接下来的两个步骤中，可能通过高斯平滑，接着通过获得称为锐利强度阈值的项，执行对菱形图样286的二值化，虽然其它技术是可能的。如最初在图13B1中示出的合成的图样P2为允许上述对极分离技术的投影提供了双调尖锐图样。

在菱形阵列上实施本领域中已知的图形处理，以获得允许如上所述的每个字母的两个移位变形的“Z字型”图样。

此外，栅格图样的旋转确保以交替方式出现在每个对角列上的每两个相同的特征不落在相同的对极线上。

解码的过程特征在于比较表示最小值、最大值或鞍点的不同采样点之间的相对水平距离。如上所述，解码过程试图识别最大值、最小值和鞍点的位置。这样的点之间的水平距离用于验证在二维图像中该位置处的特征的存在。在本实施方式中，这些水平距离可用于识别这样的Z字型图样中的特征。例如，通过确定被识别的最大值和最大值相关的鞍点之间的相对水平距离，可确定包括这样的点阵列的字母标识。

参考图13C和13D。在图13C中，呈现两个图样T1和T2。T1就是在前面实施方式中在高度上加倍的图样P1。图样T1与P1一样包含32个特征并且周期循环为16。包含投影图样T1的被捕获的图像被示为I_T1，并允许图样在垂直方向上的两次循环。因此，每个特征在图像I_T1中的给定对极线上出现两次。显著地，这些特征彼此处于等于图样P1的高度的距离处。

在高度上等于图样T1的T2是具有不同于T1的唯一二维构成的周期性空间编码图样。图样T2包括32个特征类型。每个特征类型在循环中连续出现两次（不同于在每次循环中出现一次的4个唯一的特征类型）。每对相邻的相同特征类型共享共同的鞍点。例如，在图13D中，特征350a和350b具有相同的类型，并相邻于彼此出现。每个特征由极值和4个鞍点组成。每个特征的4个鞍点中的两个鞍点对于两个特征是共同的。因此，每对相邻的特征包括两个极值和6个鞍点。两个相同特征的每个序列在图样中每隔32线重复自身。

作为在图样T2循环内这样的重复的结果，当图样以对成像传感器的成的旋转角被投影时，特征类型再次出现在合成的所得到的图像中相同对极线上的紧密邻近的范围内。参考图13D，在对极线354上看到这样的例子，其中相同的特征350a和350b出现在紧密邻近范围内的线上。如在附图中看到的，相同的特征350a和350b在循环中彼此相邻。因此，旋转将相似的特征类型放置在对极线上的紧密邻近范围内。同样，相同的特征360a、360b和360c以三个一组出现，如在循环中看到的。这三个特征因此在如所示的紧密邻近范围内沿着对极线362出现。因此知道了沿着对极线的每个特征类型的位置范围。

返回到图13C，我们看到，增大的图样T1的优点是可被成像和关联到空间中深度点的增大数量的采样点。然而，相似的特征类型在相同对极线上的出现可能引起如上讨论的编码过程中的模糊。例如，相同的特征366a和366b在I_T1中相同的对极线370上。为了解决这样的模糊，第二图样T2可间歇地用T1投影。因为T2具有两倍于T1的长度的循环，接着在具有与图像I_T1相同的高度的图像I_T2中，相同的特征组364或368在图像的长度上不重复自身。每个特征组仅沿着图像I_T2的长度出现一次。

现在，当图样T1和T2在投影仪装置中对准并被在时间上（temporally）投影时，可在连续图像中沿着平行对极线的范围内，在所观察的特征之间进行比较。特征从I_T1的第一图像到I_T2的第二图像中的同类型的（sister）特征的匹配可允许第一图像中的特征验证。作为例子，特征366a被看到在反射图样I_T1的第一图像中沿着给定对极线370的特定范围内。同样，特征366b在第一图像I_T1中沿着此相同的对极线出现，虽然离366a有一段距离。这样的情况可导致I_T1中的模糊。

具有反射图样T2的继第一图像之后被连续捕获的第二图像I_T2包括在相同的对极线370上的相同的特征集364a、364b和364c，如出现在图像I_T1中的特征366a。此外，在图像I_T2中此相同的对极线的不同区域中出现相同的特征集368a、368b和368c。因为这些特征集在对极线上是不同的，每集可分别与特征366a和366b比较。也就是说，通过使来自I_T1的特征366a与I_T2中的特征集364a、364b和364c关联，以及使来自I_T1的特征366b与I_T2中的特征集368a、368b和368c关联，可消除模糊。这是因为在第一图像中的特征366a和366b的每个都与第二图像中的唯一的特征集匹配。

投影和解码的过程如下。T1和T2被交替地投影，与摄像机同步。图像起先被分别解码。如在上面的实施方式中描述的，执行I_T1的解码，虽然每个特征携带两个图像坐标，因为它在对极线上出现两次。同样I_T2以与上面实施方式相同的方式被解码，且相似的特征被发现沿着相同的对极线彼此垂直。因此，如果没有在帧之间出现的被成像的物体中的运动，则图像序列I_T1、I_T2、I_T1内的每个特征可通过两个图像之间的关联被验证。如果I_T1和I_T1相同，则成像场景对成像时间帧是静止的。I_T2充当分辨图样，因为图像I_T2中的特定位置处的每个特征都不同于图像I_T1中的相应位置处的特征。因为相同类型的多个特征类型在紧密邻近范围内再次出现在I_T2上，即使移动出现在帧之间，匹配过程仍然能识别两个图像之间相关的特征。本质上，上面的过程合并来自时间和空间两种编码方法的原理。

在时间编码技术中，其中多于一个图样被投影在每个被捕获的图像的物体上，应理解，必须对正在被成像的物体的运动速度提出限制。

参考图14，其示出图像I_P1以及图样P1的示例性字符或特征类型。字符176表示在图样的每个周期内被编码的特征，这样的特征的性质在上面图10中被描述。注意，在本图中对特征类型的字母的分配与图10无关。图样P1的每个周期的长度是16，而高度是2。也就是说，相同的特征类型或者属于相同的对角列，例如相同的特征A和E，或属于列模数（modulo）16，例如相同的特征A和F。模数16意味着相同的特征每16个对角列周期性地隔开。然而，不是模数16的来自对角列的特征总是具有不同的类型，例如特征A、B、C和D。在每个对角列上，只有两个不同的特征类型以交替的方式出现，一个特征具有黑中心值，而一个具有白中心值，例如A和G。如所解释的，特征A、E和F是出现在图样中的具有相同类型的分立的特征。为了清楚的目的，这些分立的特征在图3和示出P1的其它附图中只称为特征类型(A)，而在本图中，每个分开的特征被分别分配唯一的字母A、E和F。

此外，栅格图样的旋转确保以交替方式出现在每个对角列上的每两个相同的特征不落在相同的对极线上。作为例子，特征A和E是在图样中具有相同类型的两个分立的特征。特征A落在对极线178上。与特征A相同的特征E被发现是在同一对角线上比A低4个特征。在该对角线上，A/E特征类型每隔一个特征出现。特征E落在与178水平地区分的对极线180上。我们看到图像中的每个特征可根据特征类型和特征的相关对极线表示。

上面实施方式讨论了单个图样到被成像的物体上的投影。第二图样的投影在确定第三维或深度时可进一步提供有价值的信息。特别是，双重投影与双重成像一起可明显增加特征类型识别的准确性和可靠性，以及提供在深度读数中达到非常高的分辨率的新方法。而且，在某些实施方式中，从这里讨论的双重投影方法得到的信息中可提取纹理信息。

双重投影方法可包括时间方法和/或光谱方法。时间方法是这样的，其中两个或多个图样在分开的时间间隔内被投影。光谱方法是这样的，其中两个或多个图样以不同的光波长被投影。时间方法可利用空间光调制器，例如LCD、DLP或DMD。光谱方法可例如由光复用器执行。

在下面的实施方式中，在光谱分离实现的情况下，光谱分离优选地很小，以便允许反射强度的直接比较。也就是说，在不同的但相邻的波长处投影到被成像的物体上的两个相同的图样将以实质上相同的反射强度反射。所以例如，在第一图像I'_P1中，高强度或白点在某个波长处投影到特定的明亮表面上，并被大部分反射。在第二反的图像I'_-P1中，低强度或黑点在相邻波长处投影到相同的明亮表面上，并被大部分吸收。因为I'_-P1中的黑点在相邻波长处被投影，黑点对于给定表面、以与在I'_P1中被投影的白点相反的方式来表现，并被大部分吸收。同样，在图像中在两个相邻波长处投影的白点都以几乎相同的方式反射。在图像中在两个相邻波长处投影的黑点都以几乎相同的方式吸收。

参考图15，其为本发明的优选双重投影和双重成像实施方式的图示。I'_P1是具有前面实施方式的图样P1的Rubik立方体的图像，如在图3和11中详细解释的，投影到立方体上。图像I'_-P1是具有投影在立方体上的图样P1的负图样（negative）的立方体的第二图像。最后，图像I'_P1–I'_-P1是从I'_P1减去I'_-P1得到的合成图像。特写182和184是来自图像I'_P1和I'_-P1中立方体的4个右下正方形的相应图样反射。在图像I'_P1和I'_-P1中，成像的白点是最大光强度在成像立方体的此表面位置上的投影和其后的反射的结果。同样，成像的黑点是最小光强度在成像立方体的此表面位置上的投影和其后的反射的结果。所以，如果在I'_P1中，看到反射白点在立方体上的特定表面位置上，则在I'_-P1中，观察到反射黑点在立方体上的相同表面位置上。例如，图像I'_P1中所看到的白色最大值点186被看作图像I'_-P1中的黑点188。同样，图像I'_P1中的白鞍点190由图像I'_-P1中的黑鞍点192代替。

因为Rubik立方体包括变化颜色的正方形，反射图样在从明亮颜色的正方形例如194反射时显示高对比度，而当从较暗颜色的正方形例如196反射时显示较低的对比度。这是下列事实的结果：投影白点的能量或光强度最大值从明亮表面反射比从黑暗表面反射的能量程度大得多，在黑暗表面中大量能量被吸收。从明亮颜色的表面反射的投影白点在图像中呈现为白色，表示具有高强度反射的被成像的物体的区域。相反，当投影白点从黑暗颜色的表面反射时，反射白点在图像中呈现得非常接近于黑，表示具有低强度反射的被成像的物体的区域。然而在任一情况下，投影白点将总是从任何给定的被成像的物体表面点、以比在该相同点上被投影的黑点更高的强度反射。

因此，不管成像表面反射特性是什么，成像黑点在被成像的物体表面上的相同位置处总是具有比成像白点低的反射强度。因此，从图像I'_P1中特定位置处的白点强度值186减去图像I'_-P1中相同位置处的黑点强度值188将总是产生正的强度值200。同样，从都在相同的图像位置处的图像I'_P1中的黑点204减去图像I'_-P1中的白点202将总是产生负的强度值206。因此，合成图像中的每个像素的值符号为正或负。为了显象目的，因为显示屏和打印不能理解负像素值，标准化标度可用于表示正和负的合成的强度值。

通过将图样和负图样投影在物体上，并从反射原始图样的图像减去反射负图样的图像，图像I'_P1中的最大值和最小值位置可直接由合成图像I'_P1–I'_-P1中的相同的图像位置的灰度级或强度的测量来确定。I'_P1–I'_-P1图像中的所有正的强度值指示白点，而I'_P1–I'_-P1图像中的所有负的强度值指示黑点。再次，因为显示屏可能不理解负的强度值，标准化标度可用于图像显示。使用这样的双重投影的最大值和最小值的此直接测量与上面在图11中描述的单个图样投影情况不同。在单个图样投影的情况下，优选最大值和/或最小值的周围点的局部强度值的额外分析，以确保较高水平的正确特征类型识别。因此，本发明的相减方法允许鲁棒性更大的图样识别分析，因而允许较可靠和强大的引擎，用于从被捕获的二维图像中被识别的特征得到三维空间坐标。

而且，在I'_P1–I'_-P1图像中的强度值的动态范围通过两个图样的相减而加倍。这产生更增强的图样，因而有助于特征类型识别。另一优点是合成图像I'_P1–I'_-P1上环境光的效应的抵消。合成图像显示具有被成像的物体纹理的较少干扰的增强的图样。

应理解，通过使用谱分化（spectral differentiation）可在时间上拍摄两个图像或同时拍摄两个图像。同样，两个图样可使用光谱或极性分离被同时或在时间上投影，或两个图样可具有相同的波长或极性，但投影在时间上分离。只要光谱分离接近，两个反射图样的反射强度就在任何给定的被成像的物体表面位置处实质上确切地为负。

参考图16，其为两个图像I'_P1和I'_-P1的相加的图示。两个图像与投影在其上的相反的图样照明强度的相加导致在I'_P1+I'_-P1图像中图样的抵消。这是因为在两个图像中任何给定相同位置的任何两个反射强度的相加导致显示最大光强度从物体上所有点的反射的合成图像。反射强度的变化因而仅仅依赖于被成像的物体的纹理。也就是说，被成像的物体的变化的纹理影响反射强度，白点以该强度从被成像的物体的不同点被反射。合成图像从在图像I'_P1和I'_-P1中观察到的成像图样来分离深度被成像的物体的纹理。

现在参考图17，其为本发明的双重投影和双重成像方法的优选实施方式。如在前面附图中的，I'_P1是具有投影在立方体上的图样P1的Rubik立方体的图像。图像I'_-C是具有与在I'_P1中投影在其上的相同的图样的立方体的第二图像，只是最大值和最小值被对调。也就是说，图像I'_P1中的最大值186被看作图像I'_-C中的最小值210。然而，鞍点例如图像I'_P1中的白鞍点190保持为图像I'_-C中的白鞍点212。因此，最大值由最小值代替，反之亦然，但鞍点在两个图像中保持不变。最后，图像I'_P1–I'_-C是从图像I'_P1减去图像I'_-C的合成图像。

如在特写214中看到的，图像I'_P1–I'_-C中保留的是最大值和最小值，有时称为代码的载体。此外，对于在图像传感器上的任何给定位置，图像I'_P1中的反射局部强度最大值点由图像I'_-C中的反射局部强度最小值点代替。局部强度最大值作为图像中的白点出现，而局部强度最小值作为图像中的黑点出现。鞍点在两个图像中是相同的。所以，例如，当图像I'_-C中的位置的强度值210从图像I'_P1中的相同位置的强度值186减去时，在合成图像I'_P1–I'_-C中得到白点强度值216。类似地，当图像I'_-C中的位置的强度值218从图像I'_P1中的相同位置的强度值220减去时，在合成图像I'_P1–I'_-C中得到黑点强度值222。相反，当图像I'_-C中的鞍点212从相同强度和相同位置的鞍点190减去时，鞍点作为白鞍点或黑鞍点的标识消失。另一方面，在图像I'_P1中的鞍点的位置现在通过相减被加重和增强。两个图像的相减因此中和了图像中的鞍点值，但清楚地描绘了其位置。而且，两个图像的相减导致环境光的抵消。

合成图像I'_P1–I'_-C现在可容易对最大值、最小值和鞍点位置被扫描。如上解释的，在图10中，成像图样中的最大值和最小值代表图样中被反射的特征的中心点。当合成图像只显示鞍点位置，而不是值时，对最大值和最小值的搜索因而被简化，且变得更快和更防止错误。这些最大值和最小值接着指示特征的存在，且可确定在图像中特征的对极线位置。剩下的是通过鞍点的识别来确定特征类型。这可通过如在单个图样情况中的或如文中描述的I'_P1的分析来完成。

参考图18，其示出图17的两个成像图样I'_P1和I'_-C的相加。两个图像的相加导致合成图像，其显示最大光强度对所有载体位置的反射。换句话说，所有以前的载体位置在合成图像中变成白的。只有鞍点保留。两个图像的相加导致两个相反的载体反射强度在两个图像中的相同位置处的相加。相反，鞍点在两个图像中是相同的，所以两个图像的相加导致鞍点的增强。

例如，在I'_P1图像的特写224中，示出具有中心点226的黑特征。特征的两个上部鞍点228和230是黑的。左下鞍点232也是黑的，而右下鞍点234是白的。在I'_-C图像中Rubik立方体上相同位置的特写236中，相同的特征现在具有白中心点238而不是黑的。鞍点240-246保持相同。因此，合成图像特写248显示4个鞍点250-256。因为在合成图像I'_P1+I'_-C中所有载体变成白的，鞍点可被清楚地识别，而不与局部最大值和最小值混淆。图17和18表明，载体从鞍点的分离允许鲁棒性更大的解码过程，因为载体和鞍点的检测被简化。图像I'_P1–I'_-C提供载体和鞍点检测以及位置信息，而图像I'_P1+I'_-C提供鞍点识别信息。

参考图19，其为从图像I'_P1减去图像I'_-P1的结果的绝对值得到的合成图像的图示。合成图像270是图样的轮廓。如上面图15和16讨论的，因为两个图像是彼此的反图像，分立的图样可被表示为两个相反的正弦曲线。图形260是包括两个反的图样中的每个的正弦曲线的截面。图像I'_P1中的每个局部最大值和白鞍点分别由图像I'_-P1中的局部最小值和黑鞍点代替。相反，图像I'_P1中的每个局部最小值和黑鞍点分别由图像I'_-P1中的局部最大值和白鞍点代替。两个图像中从相同位置关于任何两个极值或鞍点的绝对相减（absolute subtraction）导致在合成图像|I'_P1–I'_-P1|中的亮强度点。因此，任何最大值、最小值或鞍点在图像|I'_P1–I'_-P1|中是亮的。这在合成图像的特写272中被看到。

虚曲线262和264指示相应的图像I'_P1和I'_-P1的黑点和白点之间的边界区域。在正弦图上，这些虚曲线由图像I'_P1和I'_-P1的相应图之间的交汇点或0点表示。在这些点交汇的地方，绝对相减|I'_P1–I'_-P1|的结果为0。这些交汇点出现在合成图像中的两维平面中，产生图样的黑轮廓266。黑轮廓在图像270中表示最小值，并在合成图像中提供高度可识别的曲线的连续性的子像素分辨率。沿着该图样轮廓的点可通过不同的三角测量技术与空间坐标相关。

参考图20，其为从图像I'_P1减去图像I'_-C的绝对值得到的合成图像的图示。如上面在图17和18中讨论的，立方体的I'_-C图像具有与投影在其上的I'_P1中相同的图样，只是最大值和最小值对调了。也就是说，图像I'_P1中的最大值186被看作图像I'_-C中的最小值210。然而，图像I'_P1中的白鞍点190保持图像I'_-C中的白鞍点212。因此，最大值由最小值代替，反之亦然，但鞍点在两个图像中保持不变。

从图像I'_P1减去I'_-C的结果的绝对值产生图像274。从图像I'_P1中的黑或白载体与图像I'_-C中的黑或白载体的绝对相减导致在特写图像276中看到的全白载体。黑交叉点表示I'_P1和I'_-C图像中的黑和白载体之间的边界线区域。边界线区域是白载体开始变黑的区域，反之亦然。在精确的边界线处，像素既不是黑的也不是白的，因为值精确地在最大值和最小值之间。这些像素的绝对相减导致图像274中的0值、或黑点或最小值点。合成图像有较少的环境光并允许较清楚的解码和极值的准确定位。

参考图21，其为双重图样投影和双重图样成像的特定实施方式的图示。第一图像是I'_P1，而第二个是有照亮图像的环境光的立方体的图像。具有环境光的立方体的图像从具有投影在立方体上的图样P1的立方体图像I'_P1的相减提供了实质上无环境光的合成图像。作为结果，合成图像中的图样被增强，因而更容易解码。这在合成图像278的特写中被看到，其中图像的黑点和白点比在原始I'_P1图像中看到的更清楚。

参考图22，其为双重图样投影和双重图样成像的特定实施方式的图示。第一图像是I'_P1，而第二个是有照亮图像的均匀或相对均匀的光的立方体的图像。立方体图像I'_P1被具有投影在立方体上的均匀光的立方体图像除，提供了实质上无物体纹理的合成图像。作为结果，合成图像中的图样被增强，因而更容易解码。这在合成图像280的特写中被看到，其中图像的黑点和白点比在原始I'_P1图像中看到的更清楚。

在附图15-22的所有双重投影和成像实施方式中，两个图像中被成像的物体之间的对准或相对空间位置被稍微限制。成像帧之间运动被限制的程度一般依赖于成像设备的成像策略和速度。时间和空间成像设备可用在以前的实施方式上，以捕获双重图像。

例如，在以前实施方式中双重图样的时间成像的最简单的实现是通过在两个时间间隔内成像设备的两个“快照”。被现代摄像机系统支持的时间双重成像的一个先进方法是非均匀曝光计时。现代摄像机传感器在摄像机传感器的曝光时间内实现控制。所以，例如，可能提供彼此接近地安排的间隔的曝光时间对，而不是在时间上均匀地间隔开。例如，可在t=0毫秒拍摄图像I1，在t=5毫秒拍摄图像I2，在100毫秒拍摄图像I3，在105毫秒拍摄图像I4，依此类推。作为结果，以每秒20个图像的平均速率得到一系列图像。然而，提供了以连续的时间间隔而不是在时间上间隔开地拍摄的图像对。作为结果，如果出现在第一和第二时间间隔之间的运动足够轻微，或可选地如果成像设备足够快速，则可与以前实施方式中一样执行两个图像之间的比较。

在相邻的时间间隔的两个连续的图像的上面策略依赖于快速投影速度。成像装置传感器应理想地不对超过投影时间的任何时间曝光，因为这将导致成像图样中的环境光破坏。其它传感器设计成对包括某些CMOS基于每像素的计算传感器的本发明的实施方式增加成像速度。当像素接收光强度时，这些特别设计的传感器立即在每个像素位置执行计算。这与在传感器对计算模块腾空之后计算像素值相反。

而且，可实现上面的双重成像策略以获得与被捕获的深度信息并行的纹理图像。在优选实施方式中，图样每隔一个图像帧被投影。在剩余的图像帧中，均匀照明被投影到物体上，且物体被成像。假设两个帧之间的最小相对运动，可能把在将均匀光投影到物体上时所得到的纹理信息，应用到包含投影图样的图像中所捕获的深度信息。

应理解，捕获两个图样的频谱方法也是可能的。这样的实现可包括多个CCD的使用。

某些高纹理表面的反射特征可在单个成像设备系统中导致特征识别误差。因此，为了确保得到正确的三维空间坐标，可将额外的成像设备增加到系统。除了这里在前面描述的单个图像解码方法以外，额外的成像装置还允许被称为立体深度解码的方法。

例如，使用某些实施方式的方法和装置的双重成像系统可方便地安装在城市环境中的移动车辆上，以捕获在城市场景中静止和移动的建筑物、路标和其它物体的三维中的几何结构。

为了进一步理解使用优选实施方式的方法和装置的立体深度解码，我们参考图23。在基于立体的深度成像和解码系统中，彼此接近地放置的两个成像设备优选地同时捕获给定的场景。表示为图像A和图像B的两个图像几乎是相同的。然而，因为两个图像从稍微不同的角度被拍摄，被成像的物体出现在两个图像中稍微不同的像素位置。对每个帧给定成像设备之间的固定距离，曾经出现在图像A中某个像素位置上的任何物体必然出现在图像B中特定的对极线上。同样，曾经出现在图像B中某个像素位置上的任何物体出现在图像A中特定的对极线上。出现在一个图像中某个像素位置的被成像的物体的距离影响在第二图像中物体沿着相应的对极线出现的位置。

现在，当投影仪被添加在两个成像设备或摄像机之间时，结构光图样例如上面讨论的图样可投影到成像的城市物体上。在两个图像的每个中，反射图样特征与被成像的物体的纹理一起出现，如在图11中看到的。任一图像中的给定像素可包含被反射的特征的部分，因而图像的任何随机选择的方形像素区域除了被成像的物体纹理之外还可包含特征或特征的部分。特征或特征的部分以及被成像的物体纹理包括关于任何给定像素的信息的全体。出现在图像A中方形像素位置的信息将总是出现在图像B中一组唯一的坐标（一组特定的对极线）上。同样，出现在图像B中方形像素位置的任何信息将总是出现在图像A中一组唯一的对极线上。进一步地，如果利用与图样结构和投影相关的对极分离技术，特征类型仅在每个对极线上出现一次。因此，在每个图像中沿着对极线的每个小区域是唯一的，且特征为每个图像提供不重复的“人造纹理”。通常通过本领域中已知的立体校准或立体装备校准技术来确定包括图像之间的对极场的一组点。

图像B中的对极线EP1B包括点的总体，在这些点上，包含在图像A中像素区域PX1上的信息可在图像B中找到。同样，图像A中的对极线EP1A包括点的总体，在这些点上，包含在图像B中像素区域PX2上的信息可在图像A中找到。图像A中的像素位置与图像B中像素位置之间的关系称为对极场。

参考图24，存在两个额外的对极场。这些场是：1）投影仪和图像A之间的对极场，以及2）投影仪和图像B之间的对极场。这些场表现为如上面在以前的实施方式中描述的，且不在这里进一步解释。值得注意的是，根据上面的讨论，除了被成像的物体的纹理以外，特征F1可出现在图像A中像素区域PX1处。在这样的情况下，特征F1和被成像的物体都出现在图像B中EP1″上相同的点处。

立体对应可接着如下实施。在任一图像例如图像A中某个位置处选择像素的特定组或“窗口”。只有沿着图像B中某组对极线才能找到在图像A中选择的像素的相似组。图像B沿着这些对极线对像素的匹配组扫描。当找到匹配的像素组时，记下图像B中的位置。我们现在知道每个图像A和B中匹配的像素窗口及其相应的位置。两个成像装置之间的距离连同对每个摄像机/成像装置的图像捕获和投影的角是已知的。三角测量方法现在可用于确定在每个图像中那些像素位置上成像的物体的三维空间坐标。该过程对每个像素组位置继续，以对每个帧得到被成像的物体的三维点云。

在包含反射图样的两个图像的立体深度解码中，特征并非如在单个图像情况下那样被解码。更确切地，图样特征充当非常密集的和高对比度“人造纹理”。在两个图像之间比较像素的“窗口”，以找到匹配的像素区域。而且，因为当使用当前实施方式的投影技术时，特征类型不沿着对极线重复自身，所以像素的每个小“窗口”沿着相应的对极线是唯一的。此外，这些窗口可不包括完全的图样特征，而仅仅是特征的部分。在任一情况下，特征充当沿着在被成像的物体的纹理的顶部上的对极线的唯一的“人造纹理”。

在单个成像系统中可能导致特征识别错误的表面包括例如高纹理表面、透明和半透明表面以及黑暗表面。这是因为投影在高纹理表面上的编码光的特征可能变成变形的，因而作为从高纹理表面的反射的结果是不可解码的。虽然被反射的特征可能是不可译码的，但它们仍将沿着对极线的唯一特征添加到已经有纹理的图像上。两个被捕获的二维图像之间的比较变得容易，因为唯一的“窗口”可彼此匹配。被反射的特征图样的相加有助于立体匹配过程。在非纹理或低纹理表面例如墙壁或玻璃中，特征可从一个图像提取，如在前面的实施方式中描述的。

额外的成像设备因此首先提供“另外的机会”来得到给定图像帧的给定场景的深度坐标。总体来说，使用本实施方式的配置的给定场景的三维坐标被计算三次。在每个图像中分开地通过被反射的特征解码一次，以及第三次是来自第一和第二图像之间的对应性的比较。

以下是系统几何约束，加以系统几何约束以便除了单个图像解码以外还实现立体深度解码。在第一成像设备和投影仪之间以及在第二成像设备和投影仪之间设置有时称为基线的适当位移。两个成像设备理想地在投影仪的相对侧上，每个在离投影仪的180度处。因此，两条基线彼此平行，且三个光学中心（投影仪和两个成像设备）在单线上或几乎在单线上。投影仪和成像设备的顺序可变化。然而，对极分离技术施加了所有投影仪和成像设备都相对于彼此位于实质上直线内的约束。投影图样以适当的倾角被投影，如在上面的实施方式中描述的，以确保对极分离都沿着成像设备和投影仪之间的对极场以及两个成像设备之间的对极场。

实际上，可进一步期望将投影仪更接近于成像设备之一比如第一成像设备放置。第一成像设备和投影仪之间的较小距离特别适合于从那些物体反射的特征的解码。第二成像设备和投影仪之间的中等位移特别适合于从在更远处的物体反射的特征的解码。最后，第一成像设备和第二成像设备之间的大位移适合于遥远的被成像的物体的立体匹配。因为投影仪具有有限的能量，投影图样可能常常不能到达遥远的物体。在这样的情况下，通过不使用反射的特征的立体匹配执行提取深度的任务，这被称为被动立体匹配。因此，对立体匹配的任务保留最大的基线。

现在参考图25，其为示出在产生城市地区的三维地图的过程中的步骤的简化流程图。在图25的例子中，城市地区不限于单个“规划”或风景。相反，当移动的车辆在不同的位置时，例如通过将投影仪和/或成像装置安装在移动的车辆上并捕获图像，从不同位置和不同角度捕获多个三维图像。

流程图示出投影仪和两个成像装置的例子，但具有更多投影仪和成像装置的其它配置是可能的。如上解释的，在当前实施方式中使用至少两个成像装置的原因是，除了到现在为止所描述的使用单个成像装置的主动三角测量法以外，还实现立体深度测量。

该过程如下。首先，在步骤s1中，如在以前实施方式中的产生两维编码光图样。该两维图样应构造成使得上面讨论的对极分离技术能够被实现。在以前实施方式中的图样P1特别适合于城市建模，因为图样是可缩放的，并可对城市物体被做得相当大。其次，在步骤s2中，图样从安装在移动车辆上的投影仪被投影到城市场景中的物体上。这些城市物体可包括建筑物、汽车、植物、街道标志、人或任何其它物体。如上讨论的投影技术确保对极分离。

在步骤s3中，从优选地以与场景成稍微不同的角度定位的两个成像装置中的每个成像装置捕获图像。图像优选地被同时捕获，并显示原始纹理和图样的合并。在步骤s4中，如在前面的实施方式中的，根据沿着相应的对极线的特征及其位置，两个被捕获的图像中的每个被独立分析。除了步骤s4以外，在两个图像之间执行使用如上所述的立体对应的比较。在该比较中，识别两个图像中类似的像素区域。如所讨论的，类似的像素区域指示了相同的成像位置出现在每个图像中的何处。沿着其它图像中某些对极线搜索一个图像中给定的像素区域，并找到对应性。

现在，在步骤s5中找到每个图像中的特征和原始图样之间的对应性，如上面的实施方式中描述的。此外，在步骤5中，计算两个图像中相应的像素“窗口”之间的相对位置。根据对应性，使用三角测量找到三维空间坐标，见步骤s6。

如上所讨论的，图像之间的比较允许从富纹理表面、黑暗表面、局部不平滑表面、透明表面、有光泽的表面等推导三维坐标，而在单个图样条件下这些表面可能被错误地识别或根本不能被识别。在一起采用的被成像的物体的3个三维坐标映射允许成像场景的三维点云的构造，如在步骤s7中看到的。该点云可进一步被处理，以得到网状或三维表面，如在步骤s8中看到的。三维表面可接着与来自额外的摄像机或CCD的纹理数据一起被进一步处理。也可增加城市场景的空中数据（aerial data）。这样的纹理和空中数据可补充通过步骤s1-s8得到的深度三维深度图。

一般通过图像处理设备或本领域中已知的各种设备实施步骤s4到s9。纹理数据可用很多方法获得。一种方法是通过增加额外的CCD。另一种是通过将可调滤波器添加到单个“可转换的”CCD，以便在某些时间间隔CCD捕获图样，因而捕获深度信息，而在其它时间间隔CCD捕获纹理信息。又一方法是通过简单地增加纹理专用摄像机以与深度捕获系统并行工作。

如所述，在优选实施方式中使用的单个图样方法允许成像/投影仪系统和成像城市物体之间的相对运动。因此，该方法和装置特别适合于一种实现，其中成像装置安装在以不同速度在整个城市环境中移动的地面车辆上。

为了获得在三维中的动态场景建模，重复步骤s2到s8，并获得一序列三维图像。来自移动物体的数据处理可通过适当的处理软件和硬件实时地出现，以从物体的三维点云及其随着时间的过去在三维空间中的运动得到表面和形状。

因为图25中的本实施方式可通过单个图样结构光代码的投影来实现，图像捕获的速度一般只被图样在其中实现的成像装置的速度限制，因而对城市风景的快速三维建模是可能的。城市场景建模的上面的实施方式不是限制性的，且利用立体解码方法和装置的其它实施方式是可能的。

被动或主动的立体匹配提供对成像场景的非常密集的采样。这是因为比如第一图像的任何给定像素的内容提供相对于在第二图像中出现的相同内容的不一致性测量。该不一致性测量对每个给定像素意味着深度值。所以如果CCD传感器包含X个像素，则得到X深度坐标。

相反，在如上解释的单个图像的解码中，被解码的每个特征在传感器上具有某个空间区域。让我们假定一般有10个方形像素，所以解码的二维图像具有X/10深度坐标，从该二维图像对三维空间坐标作三角测量。所以立体匹配实现具有10倍之多的深度坐标，因而有较密集的采样。

而且，在立体匹配中，通过执行两个被捕获的图像的两个向上采样的版本之间的匹配过程，子像素分辨率是可能的。例如，在两个图像中的每个中，像素的每个4×4块被4倍向上采样，达到大小为16×16像素块。在第一图像中选择某个向上采样的块。接着在第二图像中搜索与像素的该向上采样的块类似的块。像素之间的对应性现在是就向上采样的像素而言的。所以如果在两个图像之间发现比如21个像素的不一致性，则这等于21/4=5.25个原始像素。剩余的四分之一像素是就原始图像分辨率的子像素分辨率而言的。

本发明的基于运动的三维图像捕获和深度测量的方法和装置对医学成像领域有特定的应用。对于静止和移动的表面解剖的建模，可实时地计算在三维中确定解剖表面部分的形状和尺寸的表面图像。可进一步处理通过上面的实施方式确定的三维点云，以得到物体的表面和形状以及其随着时间的过去在三维空间中的运动。这些表面和形状称为三角剖分(triangulation mesh)。

这样的三维建模数据可能对各种医学应用特别有用，包括但不限于用于肿瘤分析、皮肤生长分析、骨骼结构分析、牙齿外科应用、上颔面和其它切骨手术、皮肤癌和黑素瘤诊断、修复术应用、康复目的、运动医学应用和整形外科以及其它美容医疗过程的外部三维成像。

列举几个，在重建、整形和牙齿外科的领域中，生物力学建模在手术规划和术后复查中可利用人体测量数据的动态三维建模。手术的预期美容结果对患者很重要，且当前实施方式的成像系统允许三维的软组织预测。解剖变化的术后复查，例如乳房假体和缩小、皮肤填充物、面部和颈部除皱术可通过使用当前实施方式的三维成像系统来实现。

对于解剖部分的康复应用骨架建模，例如在美国专利号6,133,921中讨论的骨架建模可根据三维点云的分析来实施。可接着执行骨架模型的运动分析。在牙齿应用的领域中，三维辅助建模和其它面部骨骼分析是可能的。其它应用包括肿瘤形状和尺寸的测量、重建的手术规划和诊断、牙齿和整形外科、修复术、康复和皮肤癌分析。

现在参考图26，其为示出在根据本发明的表面解剖的三维图像捕获过程中的步骤的简化流程图。在步骤300中，产生两维编码光图样。接着，在步骤302中，所产生的图样投影到外部解剖部分上。因为皮肤表面是自然的低纹理表面，当前实施方式的结构光图样自然适合于皮肤表面成像。在步骤304中，解剖部分的二维成像和反射图样被成像设备捕获。在步骤306中，被捕获的图像被发送到处理器，用于提取被反射的特征类型及其在被捕获的图像中沿着相应的对极线的位置。在步骤308，使特征沿着其对极线的位置接着与反射该特征的成像解剖部分上的三维坐标相关。沿着对极线的特征位置和三维空间坐标之间这个对应过程确定解剖形状。该过程通过三角测量技术实施，如上所讨论的。对于二维图像中的每个被识别的特征，因此得到指示特征从解剖部分反射的空间中的点的相应的三维坐标。通过所有这样的三维坐标的编制，在步骤310得到三维点云，其给出成像解剖部分的三维图。如果解剖部分移动，则重复步骤304到310，并得到空间中的三维坐标的序列。在步骤312，该序列包括随着时间的过去设置的点云数据，据此可产生运动中的骨架。

在优选实施方式中，该静止或动态骨架模型被进一步处理，并优选地输出到二维或三维屏幕用于观看。如所述，可对静止或运动的解剖实时地处理三维坐标。通过后处理，例如，点云和/或骨架模型被传输到表示成像解剖部分的尺寸的三维表面中。处于运动或静止的三维成像表面可用在附图的底部所示出的和上面所讨论的应用中。

在可选实施方式中，特别是在修复术或康复应用中，解剖部分可用布(clothing)或其它材料覆盖。而且，上面的实施方式可与额外的成像设备特别是基于一个或多个纹理的成像设备一起实现，以得到纹理信息连同深度信息。这样的实现的例子包括RGBZ、椅背板(splat)、彩色体素和纹理表面。一般，这些实现包括增加纹理专用的摄像机以与深度捕获系统并行地工作。这些基于纹理的信息可允许与皮肤颜色相关的疾病的额外诊断，以及通过避免阻塞的增加的可见度。而且，这样的额外基于纹理的摄像机允许高对比度、高纹理的非平滑表面例如毛发的重建。

而且，其它实施方式可优选地利用如上所述的第二成像设备。立体主动三角测量技术提供了一些优点。在所得到的三维图像中出现较少的阻塞，因为物体或解剖元件现在从多于一个的视点成像。对于上面提到的高对比度、高纹理的表面，例如被毛发、斑点、黑素瘤覆盖的身体部分，立体成像被优选为如上讨论的。最后，使用如上讨论的立体匹配也得到较高的分辨率。因为人类身体通常是低纹理表面，对于需要静止或移动的身体部分的几何形状的大多数应用，利用单个图像解码和三维空间坐标推导。

很多医学应用需要三维运动捕获，用于解剖运动分析。而且，人类身体即使在休息时也不是静止的。作为结果，密集的采样对每个帧是必要的。

当前实施方式的基于运动的三维图像捕获和深度测量的仍然进一步的应用在机动车领域。一个重要的应用是机动车辆的三维备援摄像机（backup camera）。测量在倒车的车辆路径中的可能障碍的深度并及时警告驾驶员的能力是重要的安全需要。对于在倒车的车辆的路径中的任何给定的被识别的物体，期望确定物体的分类，例如尺寸、准确的位置、物体-车辆相对速度和重要地物体有生命的还是无生命的。

在图27中示出机动车应用的一般流程图。如上所提到的，至少一个投影仪和至少一个传感器装置安装在车辆的后侧上。在步骤324，投影仪可能使用来自激光LED投影仪的IR光来投影二维编码光图样。图样在限定的侧面和深度范围内，在车辆后面从静止和移动的物体被反射。传感器接着捕获反射图样和纹理信息，如在步骤326所看到的。在步骤328，该数据接着被车载处理单元处理，以识别特征及其在二维图像中沿着相应的对极线的位置。在步骤330，特征的这些位置接着对应到被识别的物体的距离。这些距离接着用于可听得见地或在用于距离的仪表板上的显示屏上可见地警告驾驶员。该过程随着时间的过去连续重复，以向驾驶员提供连续的实时信息。

优选实施方式利用窄带单色成像，其比捕获彩色图像简单和便宜。单色成像允许低成本不可见IR光的投影。

预期在患者的生命期间，很多相关的设备和系统将发展，且在这里术语的范围被规定为先验地包括所有这样的新技术。

术语“光图样”、“光代码”和“光代码图样”在这里用于指任何光编码技术，包括但不限于结构光、编码光和本领域中已知的其它等效形式。

术语“对极共线”简单地指两个独立的特征在给定二维图像中相同的对极线上出现。

术语“反射点距离:图像点位置关系”指被捕获的二维图像中的每个点和三维空间中的点之间的一对一关系。可例如在非易失性存储器如闪存中提供该关系。

术语“特征类型不同类多个（feature-type-inhomogeneous plurality）”指一组特征，其中每个特征是唯一的。

由这里描述的方法和装置成像的物体可以被可选地称为“目标场景”或在校准的情况下为“校准场景”。

除了其它图像捕获装置以外，也可使用光电探测器的二维阵列。

术语“不受对极线排序影响”等效于说“不受场景距离影响”。

应认识到，为了清楚而在分开的实施方式的上下文中描述的本发明的某些特征也可结合单个实施方式被提供。相反，为了简洁而在单个实施方式的上下文中描述的本发明的各种特征也可分开地或在任何适当的子组合中被提供。

虽然结合其中的特定实施方式描述了本发明，显然很多可选、更改和变化形式将对本领域技术人员是很明显。因此，意图是包括落在所附权利要求的实质和大范围内的所有这样的可选、更改和变化形式。在本说明书中提到的所有公布、专利和专利申请在这里都通过引用被全部并入本说明书中，以达到好像每个单独的公布、专利和专利申请被特别和单独地指示为在这里通过引用被并入的相同程度。此外，在本申请中任何参考资料的引用或识别不应被解释为承认本发明可利用这样的引用作为现有技术。

Claims

1.一种方法，包括：

提供具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括：至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且

其中，来自所述第二多个特征类型的每个特征类型与来自所述第一多个特征类型的相应的特征类型相对应，以及其中，来自所述第二多个特征类型的每个特征类型的至少一个非鞍点元素相对于来自所述第一多个特征类型的所述相应的特征类型的至少一个非鞍点元素被反转；

将所述第一二维编码光图样和所述第二二维编码光图样投影在物体上；

捕获所述物体的第一图像和所述物体的第二图像，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及

处理所述第一图像和所述第二图像。

2.根据权利要求1所述的方法，其中所述鞍点既不是最大值也不是最小值。

3.根据权利要求1所述的方法，其中所述处理包括从所述第一图像减去所述第二图像来获得合成图像。

4.根据权利要求3所述的方法，还包括：

确定所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置；以及

根据所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置，确定在所述第一图像或所述第二图像中的特征类型位置。

5.根据权利要求1所述的方法，其中所述处理包括从所述第二图像与所述第一图像的相加来获得合成图像。

6.根据权利要求5所述的方法，其中所述合成图像包括所述第一多个特征类型和所述第二多个特征类型的增强的鞍点，并且，所述方法还包括根据在所述合成图像中的相应的增强的鞍点的强度值来确定所述第一多个特征类型和/或所述第二多个特征类型的鞍点的鞍点识别信息。

7.根据权利要求1所述的方法，其中所述处理包括从所捕获的所述第一图像与所捕获的所述第二图像的相减的绝对值来获得合成图像。

8.根据权利要求7所述的方法，其中所述合成图像包括在所述第一图像或所述第二图像中的非鞍点之间的边界线。

9.根据权利要求1所述的方法，其中所述投影包括下列项中的一个：

时间地投影所述第一二维编码光图样和所述第二二维编码光图样；

以不同的光谱值投影所述第一二维编码光图样和所述第二二维编码光图样；或者

以不同的偏振投影所述第一二维编码光图样和所述第二二维编码光图样。

10.根据权利要求1所述的方法，其中所述捕获包括时间地捕获所述第一图像和所述第二图像，产生时间成像。

11.根据权利要求10所述的方法，还包括在不均匀的时间间隔内执行所述时间成像。

12.如权利要求1所述的方法，其中所述捕获还包括通过使用谱分化或极分化来同时捕获所述第一图像和所述第二图像。

13.一种装置，包括：

具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括：至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且

投影模块，所述投影模块能够将所述第一二维编码光图样和所述第二二维编码光图样投影在物体上；

至少一个成像模块，所述至少一个成像模块能够捕获所述物体的第一图像和所述物体的第二图像，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及

图像处理模块，所述图像处理模块能够处理所述第一图像和所述第二图像。

14.根据权利要求13所述的装置，其中所述鞍点既不是最大值也不是最小值。

15.根据权利要求13所述的装置，其中所述图像处理模块能够从所述第一图像减去所述第二图像来获得合成图像。

16.根据权利要求15所述的装置，其中所述图像处理模块能够：

确定所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置；以及能够

17.根据权利要求13所述的装置，其中所述图像处理模块能够从所述第二图像与所述第一图像的相加来获得合成图像。

18.根据权利要求17所述的装置，其中所述合成图像包括所述第一多个特征类型和所述第二多个特征类型的增强的鞍点，并且其中所述图像处理模块能够根据在所述合成图像中的相应的增强的鞍点的强度值来确定所述第一多个特征类型和/或所述第二多个特征类型的鞍点的鞍点识别信息。

19.根据权利要求13所述的装置，其中所述处理模块能够从所捕获的所述第一图像与所捕获的所述第二图像的相减的绝对值来获得合成图像。

20.根据权利要求19所述的装置，其中所述合成图像包括在所述第一图像或所述第二图像中的非鞍点之间的边界线。

21.根据权利要求13所述的装置，其中所述投影模块能够执行下列项中的任意一个：

22.根据权利要求13所述的装置，其中所述至少一个成像模块能够时间地捕获所述第一图像和所述第二图像，产生时间成像。

23.根据权利要求13所述的装置，所述至少一个成像模块能够在不均匀的时间间隔内执行所述时间成像。

24.如权利要求13所述的装置，其中所述至少一个成像模块能够使用谱分化或极分化来同时捕获所述第一图像和所述第二图像。

25.一种由机器可读取的程序存储设备，其可触知地包含了由机器可执行来实现方法的指令程序，所述方法包括：

处理所述第一图像和所述第二图像。

26.一种包括计算机可使用的介质的计算机程序产品，该计算机可使用的介质具有包含在其中的计算机可读程序代码，所述计算机程序产品包括：

用于使计算机提供具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样的计算机可读程序代码，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括：至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且

用于使所述第一二维编码光图样和所述第二二维编码光图样被投影在物体上的计算机可读程序代码；

用于使所述计算机获得所述物体的第一图像和所述物体的第二图像的计算机可读程序代码，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及

用于使所述计算机处理所述第一图像和所述第二图像的计算机可读程序代码。