CN101501442A - 三维传感的深度变化光场 - Google Patents

三维传感的深度变化光场 Download PDF

Info

Publication number
CN101501442A
CN101501442A CNA2007800090538A CN200780009053A CN101501442A CN 101501442 A CN101501442 A CN 101501442A CN A2007800090538 A CNA2007800090538 A CN A2007800090538A CN 200780009053 A CN200780009053 A CN 200780009053A CN 101501442 A CN101501442 A CN 101501442A
Authority
CN
China
Prior art keywords
pattern
optical element
spot
image
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800090538A
Other languages
English (en)
Other versions
CN101501442B (zh
Inventor
亚历山大·施蓬特
泽夫·扎勒夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/IL2006/000335 external-priority patent/WO2007043036A1/en
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN101501442A publication Critical patent/CN101501442A/zh
Application granted granted Critical
Publication of CN101501442B publication Critical patent/CN101501442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明公开了三维传感的深度变化光场、绘图方法、成像方法、绘图设备和成像设备。所述绘图方法包括将带有多个斑点(52，54，80，82)的图案投影到物体(28)上，所述多个斑点具有各自的位置和形状，从而图案中的斑点的位置是不相关的，而这些形状具有相同的特征。捕捉和处理物体上的斑点的图像，从而得到该物体的三维(3D)图。

Description

三维传感的深度变化光场
技术领域
本发明总的来说涉及用于为三维(3D)物体绘图的方法和系统，具体地讲涉及3D光学测距和绘图。
背景技术
当相干光束穿过漫射体并被投影到一个表面上时，可以在该表面上观察到一级散斑图案。一级散斑是由漫射光束的不同分量之间的干涉形成的。在本专利申请中，这种意义上使用的术语“一级散斑”区别于二级散斑，二级散斑是相干光在物体的粗糙表面上漫反射形成的。
Hart在台湾专利TW 527528 B和美国专利申请09/616,606中描述了散斑图案在高速3D成像系统中的应用，通过引用将这两个专利文献的公开内容并入本文。该系统包括具有主动成像元件和CCD元件的单透镜摄像机子系统以及相关处理子系统。主动成像元件可以是旋转光圈，该旋转光圈允许对散焦图像间的不等间距进行调整，以得到更大的场深和更高的子像素位移精度。散斑图案被投影到物体上，从多个角度获得所产生的图案的图像。采用图像相关技术，这些图像是局部互相关联的，通过采用相关摄像机位置信息来计算每个局部相关区域的三维坐标，可以解析出这个表面。
Hunter等人在美国专利6,101,269中描述了另一种基于散斑的3D成像技术，通过引用将该专利的内容并入本文。其中，将随机散斑投影到3D表面上，并用多个摄像机对随机散斑进行成像，以获得多个二维数字图像。处理这些二维图像来获得该表面的三维特征。
其他用于3D绘图和测距的方法采用结构化或编码照明。例如，Sazbon等人在“Qualitative Real-Time Range Extraction for PreplannedScene Partitioning Using Laser Beam Coding”，Pattern RecognitionLetters 26(2005)的第1772-1781页中描述了这种距离估计的方法，通过引用将该文的内容并入本文。纯相位滤光片将激光束编码成对应于工作空间内的M个不同的距离分段的M个不同的衍射图案。从而，用对应于从光源到每个平面的范围的图案来照到照明场景内的每个平面。可以采用普通摄像机来捕捉该场景的图像，可以对这些图像进行处理来确定场景内的物体的距离。作者描述了基于Gerchberg-Saxton算法来设计纯相位滤光片的迭代过程。
发明内容
下文描述的本发明的实施例提供了利用具有形状的斑点照明图案进行3D绘图和测距的方法和系统。这种图案包括具有受控的可识别形状的亮斑阵列。在一些实施例中，这些斑点的相对位置是不相关的(例如，在诸如散斑图案之类的随机或伪随机图案中)，但是，在任何情况下这些斑点都具有相似的预定形状特征。在某些实施例中，在某个方向上拉长斑点，这对于横切于照明光束的给定平面上的所有斑点都是一样的，但是，还可以可选地采用其他斑点形状。
在一些实施例中，斑点形状特征随与照明源的距离而变化。可以通过使照明光束穿过一个或多个光学元件来实现这种随距离变化而改变的形状特征，这些光学元件被设计为叠加两个光学约束：一个是将光束分成多个斑点，另一个是产生随距离变化而改变的形状。这种叠加方法允许简单灵活地创建多种随距离变化而改变的图案。由于存在这种随距离变化而改变的形状特征，所以出现在被图案照到的物体的部分表面上的斑点的形状可以被用来确定这些部分与照明源的距离。
在一些实施例中，表面上的部分图案相对于已知范围处的参考图案的横向位移被用来重构该表面的3D图。基于形状的测距和基于位移的绘图的结合可以被用来创建覆盖距照明源很大距离的范围的精确3D图。
从而，根据本发明的一个实施例提供了一种用于绘图的方法，其包括：
将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征；
捕捉物体上的斑点的图像；以及
处理该图像，以得出该物体的三维图。
在一个实施例中，带有多个斑点的图案包括随机散斑图案。
在一些实施例中，这些形状的共同特征作为距图案的源的距离的函数而变化，处理该图像的操作包括分析在图像中的物体的表面上的斑点的特征来确定表面距源的距离。在一个实施例中，这些斑点共同具有拉长的形状，该形状作为距图案的源的距离的函数而旋转，对特征进行分析的操作包括确定在物体表面上的斑点的方向。另外或者可选地是，处理该图像的操作包括发现图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移，并采用这些偏移连同所述距离来得到3D图。发现各个偏移的操作可包括响应于表面与源的距离而从多个参考图像中选择所述参考图像。
在另一个实施例中，图案中的斑点具有在第一方向上拉长的形状，处理该图像的操作包括：发现图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于第一方向的第二方向上的各个偏移，以便得出3D图。投影带有多个斑点的图案的操作可以包括使一束相干光穿过漫射体，其中，该束相干光在漫射体处具有在第二方向上拉长的轮廓。
在公开的实施例中，捕捉图像的操作包括在物体运动时捕捉连续图像，处理该图像的操作包括通过处理连续图像来跟踪物体的移动。在一个实施例中，物体是人体的一部分，跟踪运动包括对人体的该部分所形成的姿势进行识别，并响应于该姿势向计算机应用程序提供输入。
根据本发明的一个实施例，还提供了一种成像方法，其包括：
定义第一光学约束，以便通过将第一光学约束施加到一束光来将该束光分成带有多个斑点的图案；
定义第二光学约束，以便通过将第二光学约束施加到该束光来使该束光形成具有作为沿该束光的射束轴的距离的函数而以预定方式变化的形状特征；
设计至少一个光学元件来叠加第一光学约束和第二光学约束；以及
使该束光穿过所述至少一个光学元件来将图案投影到一个表面上，从而所述图案中的多个斑点具有所述形状特征。
在一些实施例中，所述至少一个光学元件包括用于将该束光分成图案的第一光学元件和用于施加形状特征的第二光学元件。在一个实施例中，所述图案包括散斑图案，第一光学元件包括漫射体。
另外或者可选地是，所述至少一个光学元件包括衍射光学元件(DOE)。在一个实施例中，DOE包括至少一个用于给予所述多个斑点拉长的形状的波带片。所述至少一个波带片可能包括多个叠加的波带片，这些叠加的波带片具有各自不同的周期和角定向，以使斑点的拉长的形状作为所述距离的函数而旋转。
另外或可选地是，所述至少一个光学元件包括折射光学元件。
通常，第一光学约束所限定的图案具有不大于1/4的占空比。
在一些实施例中，该图案限定了斑点的各个位置，从而这些位置是不相关的。
在公开的实施例中，第二光学约束使所述斑点具有作为所述距离的函数而旋转的拉长的形状。在另一个实施例中，第二光学约束使所述斑点具有环形形状。
在一些实施例中，该方法包括捕捉所述表面上的斑点的图像，还包括处理所述图像的操作，以确定表面与所述至少一个光学元件的距离。
根据本发明的实施例，还提供了用于绘图的设备，其包括：
照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而图案中的斑点的位置是不相关的，而所述形状具有共同特征；
成像组件，其被配置来捕捉物体上的斑点的图像；以及
图像处理器，将其耦接来处理该图像以得出该物体的三维(3D)图。
根据本发明的实施例还提供了成像设备，其包括：
至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，以便通过将第一光学约束施加到一束光，来将该束光分成带有多个斑点的图案，以及通过将第二光学约束施加到该束光，来使该束光形成具有作为沿该束光的射束轴的距离的函数以预定方式变化的形状特征；以及
光源，其被配置来使该束光穿过所述至少一个光学元件，以便将图案投影到一个表面上，从而所述图案中的多个斑点具有所述形状特征。
附图说明
结合附图，从本发明的实施例的下列详细描述中可以更全面地理解本发明，其中：
图1是根据本发明实施例的用于3D测距和绘图的系统的示意图；
图2是根据本发明实施例的散斑成像装置的示意性顶视图；
图3A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图案的示意图；
图3B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；
图3C和图3D是根据本发明实施例的由激光束穿过图3A和图3B的光学元件的投影所产生的散斑图案的示意图；
图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程图；
图5A-5P是根据本发明实施例的一组处于不同旋转角度的波带片的示意图，这些波带片被用来制造DOE；
图5Q是根据本发明实施例的通过叠加图5A-5P的波带片所产生的DOE的示意性正视图；
图6A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图案的示意图；
图6B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；
图6C和图6D是根据本发明实施例的由激光束穿过图6A和图6B的光学元件的投影所产生的散斑图案的示意图。
具体实施方式
系统综述
图1是根据本发明实施例的用于3D测距和绘图的系统20的示意图。系统20包括成像装置22，该成像装置22产生带有多个斑点的图案并将带有多个斑点的图案投影到物体28上，并捕捉出现在该物体上的斑点图案的图像。在下列附图中示出并参照附图在下文详细地描述了装置22的设计和操作细节。
在一些实施例中，被成像装置22投影的带有斑点的图案包括散斑图案。在本专利申请的上下文以及权利要求中，术语“散斑图案”指的是投影的亮斑点图案，这些亮斑点的位置在横切于投影光轴的平面上是不相关的。在作为横向位移的函数的图案中的散斑位置的自相关对于任何大于斑点尺寸的位移都无关紧要的意义上，这些位置是不相关的。诸如由一级激光散斑(如上文所述)生成的图案之类的随机图案在该意义上是不相关的。诸如伪随机和准随机图案之类的由人或计算机设计产生的图案也可能是不相关的。在2006年3月14日提交的PCT专利申请PCT/IL2006/000335和在2007年3月8日提交的名为“Three-Dimensional Sensing Using Speckle Patterns”的PCT专利申请中描述了可以在系统20中实现的基于散斑的3D绘图的理论和操作的其他方面。这两个申请被转让给本专利申请的受让人，在此通过引用将其内容并入本文。
在其他的实施例中，可以以诸如通过使照明光束穿过达曼光栅或适当的小透镜阵列所产生的图案类型之类的规则的、非随机的图案来布置这些斑点。
为了实现下文描述的测距和绘图应用中的良好性能，斑点图案具有低占空比是有利的，即具有高于平均亮度的图案区域的部分不大于1/e(期望小于1/4甚至1/10)是有利的。低占空比在增强用于3D绘图的斑点位移检测的信噪比方面是有利的。它还有助于避免相邻斑点重叠时产生的干涉效应。
即使斑点(散斑)的位置是不相关的，像在通常的激光散斑图案中的一样，但是在本发明实施例中采用的图案中斑点的形状也不是完全随机的，而是具有共同的形状特征。例如，如下文所述，在一些实施例中，沿某一轴拉长斑点。另外或可选地是，只要这些形状是受控的，这些斑点就可以具有其他共同的形状特征，并且作为沿照明光束的光轴的距离的函数的形状中的变化是可识别的。本文中的术语“形状改变”指的不是通常随着与照明源的距离而出现的斑点尺寸的简单线性增大的变化。
图像处理器24处理由装置22所产生的图像数据，以便执行深度测距以及可选地进行对物体28的3D绘图。在本专利申请书和权利要求中使用的术语“测距”指的是粗略测量从成像装置到物体的距离，而术语“3D图”指的是一组表示物体表面的3D坐标。这种基于图像数据对图的推导被称为“3D绘图”或等价地称为“3D重构”。如下文所述，在3D重构的过程中，可一起使用作为粗测阶段和精测阶段的测距和绘图。因此，测距还可被视为一种粗略的3D绘图。
执行这种测距和绘图的图像处理器24可以包括通用计算机处理器，对该通用计算机处理器进行软件编程来执行下文所述的功能。例如，这种软件可通过网络以电子形式被下载到处理器24，或者可选地是，在诸如光、磁或电子存储器介质之类的实体介质上提供这种软件。而且或可选地是，可以以诸如订制或半订制集成电路或可编程数字信号处理器(DSP)之类的专用硬件来实现该图像处理器的一些或全部功能。例如，虽然在图1中将处理器24示为从成像装置22分离的单元，但是可以通过在图像装置外壳中的或以其它方式与成像装置相关的适当的专用电路来执行处理器24的一些或全部处理功能。
处理器24产生的3D图可以被用于各种不同的目的。例如，可以将该图发送至输出装置，例如显示物体的伪3D图像的显示器26。在图1所示的例子中，物体28包括实验对象的身体的全部或一部分(例如手)。在这种情况下，系统20可以被用来提供基于姿势的用户接口，其中，代替诸如鼠标、操纵杆或其他附件的触觉接口元件，通过装置22检测到的用户移动控制着交互式计算机应用程序(例如游戏)。可选地是，系统20可以被用来创建其它类型物体的3D图，实质上可用于任何其中需要3D坐标轮廓的应用程序中。
图2是根据本发明实施例的装置22的示意性顶视图。如下文所述，装置22中的照明组件30包括相干光源34(通常是激光)以及一个或多个光学元件36、38，这两个光学元件通常被联合使用来创建散斑图案或其他带有斑点的图案。(在本专利申请的上文中的术语“光”指的是任何类型的光辐射，包括红外光和紫外光以及可见光。)从光源34发射的光束穿过光学元件36和38，并照到物体28所位于的目标区域46。图像捕捉组件32捕捉被投影在物体28上的图案的图像。组件32包括物镜光学系统40，其将图像聚焦在图像传感器42上。通常，传感器40包括诸如CCD或基于CMOS的图像传感器阵列之类的直线阵列的检测器元件44。
在图2所示的实施例中，照明组件30和图像捕捉组件32被保持在固定的空间关系中。这种结构和下文描述的处理技术使得可以在照明和图像捕捉组件之间没有相对运动以及在没有运动部件的情况下，利用单个图像捕捉组件来执行3D绘图。可选地是，下文描述的照明、测距和绘图技术可以与其他种类的图像捕捉组件以各种不同的结构结合使用，例如在上文的背景技术部分中所描述的那些结构。例如，图像捕捉组件可以相对于照明组件移动。而且或可选地是，两个或多个图像捕捉组件可被用来从不同的角度捕捉物体28的图像。
为了简化3D图的计算和由于图2结构中的物体28的运动而产生的图中的变化的计算，可以安装组件30和32，使得通过图像捕捉组件32的入射光孔中心和光源34在光学元件36上形成的斑点的轴平行于传感器40的一个轴(为了方便起见，记为X轴，而Z轴对应于距装置22的距离)。在上面提到的名为“Three-Dimensional SensingUsing Speckle Patterns”的PCT专利申请中更进一步地解释了这种装置的优点。
具体地讲，通过这种装置中的三角测量，在物体上的斑点的Z向位移δZ将产生在图像中观测到的斑点图案中的伴生横向位移δX。从而可以通过测量组件32捕捉到的图像中的斑点的X坐标相对于在已知距离Z处采集到的参考图像的位移，来确定在物体上的斑点的Z坐标以及Z坐标随时间的位移。可忽略Y向位移。虽然这种方法的方方面面还适于与其他类型的斑点图案配合使用，但这种三角测量方法特别适用于采用散斑图案的3D绘图。
换句话说，将捕捉到的图像的每个区域中的斑点的组与参考图像进行比较，以发现参考图像中的斑点的最接近匹配组。图像中的斑点的匹配组之间的相对位移给出了捕捉到的图像的区域相对于参考图像的Z向位移。采用本领域已知的图像相关或其他图像匹配计算方法可以测量斑点图案中的位移。在上文提到的PCT专利申请中描述了一些示范性方法。
产生具有共同形状特征的散斑图案
具有共同形状特征的斑点图案可以以多种方式被用来增强系统20的操作。例如，在上述装置22的结构中，其中在物体的3D重构中只有X向的位移是显著的，采用在Y向拉长的散斑图案是有利的。因此，当处理器24为了检测Z向位移而计算图像之间的相关性时，该计算结果对散斑在Y向的小位移是不灵敏的。这种特性改善了X向位移计算的鲁棒性(以及使得可以在计算中采用更小的相关窗口)。
可以采用多种方法来产生这种散斑图案，这种散斑图案在Y向上被拉长，并且其位置在X向上是不相关的。一种可行方案是将光学元件36配置为漫射体，该漫射体具有在X向上被拉长的颗粒的随机排列的阵列。(在这种情况下可能不需要元件38。)例如，这些颗粒可能是不透明的，或者可选地是，它们具有不同的厚度，以在透射光中产生相位变化。作为另一种可选方案，元件36可以包括传统的各向同性的漫射体，而来自光源34的光束在X向上被拉长。例如，在光源和漫射体之间的圆柱形透镜(未示出)可以被用于这个目的。
又一个可选方案是元件36包括漫射体(可以是各向同性的)，元件38包括衍射光学元件(DOE)。为了产生沿Y轴拉长的理想散斑，元件38可以仅包括适当的光栅或者具有被定向为平行于X轴的线条的波带片。
虽然为了概念清楚的缘故，在图2中示出了作为分离部件的元件36和38，但漫射体和DOE通常彼此接触，可以被粘在一起。可选地是，通过在光学毛坯的一侧形成DOE并研磨另一侧来形成漫射体，可以将元件36和38制作成单个器件。另外可选地是，例如，可以在单个DOE中组合漫射体和光栅或波带片所施加的光学约束，其中叠加了X向的线条和伪随机扩散图案。在所有这些情况中，在远场中的散斑图案是随机位置分布的卷积，漫射体使该随机位置分布具有了由DOE的傅立叶变换所限定的形状。
可以采用类似的叠加方法来产生随距离Z变化而更复杂图案的DOE。在一些实施例中，可以设计DOE来产生在不同距离范围内具有不同形状的斑点图案。参照图2，这些斑点在距离Z1处可具有一种形状，在距离Z2处可具有另一种形状，依此类推。例如，斑点的这些拉长的形状从一个范围到另一个范围被旋转了45°。因此，当物体28位于ZA时，斑点具有Z2范围的定向，而当物体位于ZB时，斑点具有Z3范围的定向。通过检测这些斑点的定向，处理器24(图1)然后可以独立于基于斑点位置相关性的3D重构过程来确定该物体的距离范围。如下文进一步描述的那样，可以联合使用测距和绘图来产生具有增大的范围和/或分辨率的3D图。
可以采用各种方法来设计产生具有理想的依赖于Z向距离的斑点图案的单个光学元件。可以被用来设计光学元件38以给出这种依赖于范围的散斑成形的一种方法是采用迭代Gerchberg-Saxton方法，在上述的Sazbon等人所著的文章中对这种方法进行了描述。然而，这种方法计算开销大，而且不能保证收敛。
可选地是，可以基于约束的叠加来设计用于这种目的的一组一个或多个光学元件。例如，通过叠加分光镜(其产生具有低占空比和不相关位置的带有斑点的图案)和一种元件(可以单独在四个预定范围内实现四个定向上的单个Z向变化的图案)，可以产生一个或多个这种用来产生在各自不同范围内具有四个不同定向的散斑的元件。例如，产生单个图案的元件可以是四个波带片的叠加，其中每个波带片均将光聚焦到一个范围内的各个适当方向上的线条上。
而且或可选地是，可以在适当的计算机产生的全息图(CGH)或其他DOE中计算然后实现这种叠加。给定一组可以在距离Zi(i＝1，2，…，K)处分别施加于光强(等同于光的幅度)的约束Ri(i＝1，2，…，K)，要实现这些约束的光学元件被分解为两个图案的卷积， R i = S ⊗ P i , 其中，对于R1，R2，…，RK，S相同，而Pi随i任意变化(i＝1，2，…，K)。利用对应于光学元件36和38的两个滤光片FS、FV可以如下实现约束：
●滤光片FS产生远场的强度图案S，这意味着它是S的适当傅立叶逆变换(可以采用本领域已知的DOE设计技术来计算)。
●滤光片FV分别在距离Zi(i＝1，2，…，K)处产生强度图案Pi(i＝1，2，…，K)。这种强度图案通常比上述图案Ri(i＝1，2，…，K)更易于计算，并通常是采用本领域已知方法单独产生的。
组合滤光片F＝FS·FV将分别在距离Zi(i＝1，2，…，K)处实现强度图案Ri(i＝1，2，…，K)。
这种方法的一个缺陷是它只对可以被表示为 R i = S ⊗ P i 的这种卷积的约束组有效。采用Fresnel-Sommerfeld等式的线性将任意约束组分解为卷积之和，可以减轻这种缺陷。然后可以通过上述技术产生每一个这种卷积的滤光片，叠加这些滤光片来给出理想的结果。
图3A-3D是通过对穿过根据本发明实施例设计的DOE 36和38的激光束进行投影所产生的图像的示意图。在这种设计中，物体产生拉长散斑的图案，该散斑的拉长轴在从Z0到Z0+ΔZ的给定范围上作为Z的函数变化超过180°。图3A和3B示出了分别由FS和FV产生的图案，将FS和FV定义如下：
●FS产生不用随Z变化的随机散斑的远场图案。例如，设计FS来产生1000×1000像素的图案，该图案包括200×200个随机分布的亮散斑50，其余为暗场。取决于斑点的尺寸，占空比通常大约在4％-25％之间。实现这种图案的光学元件36可包括采用本领域已知技术所制造的纯相位DOE。
●FV在面Z0和面Z0+ΔZ之间的近场体积内产生N个光强度图案。图3B示出了一个在给定 Z = Z 0 + p N ΔZ 的这种图案。这个图案包括V×W个像素，其中，V和W通常很小，在这个例子中，V＝W＝5。对于每一个p(p＝1，...，N)，图案相对于垂直方向被旋转了θ＝180*p/N度。可以利用上述的Gerchberg-Saxton方法，通过以下所述的方式叠加多个波带片，或者采用本领域中已知的其他任何合适的DOE设计方法来设计实现这个图案的光学元件38。由于这个图案比较小，在任何情况下产生DOE所需要的计算都相对简单。
图3C和图3D示出了在不同Z值处通过叠加对应于FS和FV的元件36和38所产生的散斑的图案。这些图案分别包括200×200个以取决于Z的不同角度定向的拉长的散斑52和54。随着距离从Z0增大到Z0+ΔZ，散斑旋转了180°。在将 Z = Z 0 + p N ΔZ 定为距装置22的表面的范围时，通过检测投影到物体28的表面上的散斑的角度θ，处理器24从而可以确定p＝Nθ/180。
图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程图。为了表达清楚起见，参照图1和图2中图示的系统20，采用图3C和图3D中所示的散斑图案，在下文对该方法进行了描述。然而，这种方法可以类似地应用于其他种类的基于散斑的成像系统，例如在上述参考文献中描述的那些系统。而且，可以可选地产生其他种类的斑点图案和Z向变化的斑点形状特征，并采用它们来代替在图3C和图3D中所示的散斑的旋转的线性形状。
在对物体进行测距和成像的准备过程中，操作成像装置22来捕捉一个或多个参考散斑图像。例如，出于这个目的，可以在一个或多个沿Z轴距原点已知基准距离处(例如，Z1，Z2，Z3，…)放置平面。成像组件32捕捉位于每个距离上的照明组件30投影到表面上的散斑图案的参考图像。可选地是，由于散斑图案在本质上是FV的小的Z向变化的图案和FS的远场斑点图案的卷积，所以可以分别地确定两个滤光片的各自的参考图像，然后进行卷积来给出在每个距离Z处的联合图案。这种方法可以减少用来存储参考图案所需要的存储量。而且可选地是，可以使整个图案的设计标准化，从而不必须捕捉参考图像。
在目标区域46中引入物体28，以及在测试捕捉步骤60，装置22捕捉被投影在物体表面上的散斑图案的测试图像。然后，在测距步骤62，处理器24计算散斑的定向角度。出于这个目的，例如，处理器可以执行测试图像的光谱分析。光谱的形状(例如，长轴和短轴的方向)对应于散斑的定向角度，定向角度又指示物体的范围。另外或可选地是，处理器可以计算出散斑形状和多个不同参考形状之间的互相关度。当然，如果物体纵深足够大，则散斑角度可在表面上变化，以至于物体的不同部分将具有不同的范围。处理器24可以将散斑角度中的任何突变的位置识别为物体边缘。
处理器24在产生物体28的粗略3D图的过程中可以单独地采用基于形状的范围测量步骤62。然而，在图4所示的实施例中，在重构步骤64中，处理器在重构物体28的3D图的过程中采用了与斑点位置三角测量结合的范围测量。出于这个目的，处理器通常测量在测试图像中物体表面上不同点的散斑图案和在适当的参考图像中的散斑图案的对应区域之间的局部偏移。然后，基于这个偏移，处理器采用三角测量来确定这些物体点的Z坐标。在上述PCT专利申请和上文引用的其他参考文献中描述了可以用于这些目的的方法。
步骤62的测距和步骤64的3D重构的结合使系统20能以比只通过基于散斑的三角测量通常可以达到的更高的精度和/或更少的计算开销来执行3D重构，这种结合还可以被用来增大在其上进行测量的Z向的范围。例如，如果在不同的基准距离上捕捉多个参考图像，像上文提到的那样，处理器可以测量相对于其基准距离最接近在步骤62中所找到的范围的参考图像的局部偏移。即使只采用了单个参考图像，由于处理器24可以采用测距结果来限制它必须以更高的精度来检查或计算的偏移中的不同的局部偏移值的数量，因此可以提高在步骤64的三角测量的精度和/或速度。
可以连续地重复步骤60至64来跟踪物体28在目标区域46中的运动。出于这个目的，装置22在物体运动时捕捉连续的测试图像，处理器24重复步骤62和64来跟踪物体的3D运动。通过假设物体没有从之前的迭代运动得太远，可以在一些迭代中跳过步骤62。
在可选的实施例中(在图中未示出)，基于散斑图案位移的三角测量被用作粗略的范围测量，散斑形状特征的变化被用作精确的3D绘图。三角测量的精度尤其取决于在照明组件30和图像捕捉组件32之间沿X轴的间隔。如果只需要粗略的三角测量，可以将组件30和32放置在一起，从而实现装置22的更紧凑的设计。
例如，通过在目标区域46内重复几个循环的散斑形状随Z值变化而变化的图案，可以提高基于形状的Z向测量的精度。换句话说，采用上述的旋转线性散斑形状和图2所示的布置的例子，在Z1和Z2之间、在Z2和Z3之间、以及在Z3和Z4之间，散斑定向变化可超过180°。处理器24采用散斑三角测量结果来确定物体28位于这三个范围中的哪一个范围内，然后采用散斑定向来构建在这个范围内的物体的精确3D图。可选地是，如文中早先提到的，取代图3C和图3D所示的方向变化，可以在上下文中采用其它的随Z值变化而变化的斑点形状特征。
可以采用多种方法来在Z方向上重复多循环的随Z值变化而变化的形状。例如，采用适当的多焦点透镜(未示出)来将图案聚焦在目标区域46上。例如，这种透镜可以包括多个具有各个不同焦距的Fresnel波带片的叠加。可选地是，可以采用Ben Eliezer等人在“AllOptical Extended Depth of Field Imaging System”，Journal of Opticaand Pure Physics-A，5(2003)第S164-S169页中描述的技术来设计适当的多焦点透镜，通过引用将该文的内容并入本文。另外，可选的是，可以采用上述的叠加技术来从头开始设计光学元件38，来给出重复多循环的散斑形状。
图5A-5Q示意性地示出了根据本发明实施例的用于生产光学元件38来产生具有带形状的斑点的图案的方法。图5A-5P是一组波带片70的示意性正视图，而图5Q是通过叠加图5A-5P的波带片而产生的DOE 72的示意性正视图。DOE 72可以作为滤光片FV，以与适当的漫射体或其他分束滤光片一起用来产生在上文图3C和图3D中所示的这种旋转的线性斑点。
每个波带片70均是为波长λ设计的焦距长度为fn(n＝1，…，N，在这个例子中，N＝16)的Fresnel波带片。这种波带片的透射函数由下式给出：
其中，每个波带片中的X-Y轴被旋转了(n-1)π/N。可选地是，可以将波带片70设计为透明的纯相位波带片。DOE 72包括N个这些波带片的叠加74。这种叠加将产生作为Z的函数以π/N(fn-fn-1)rad/m的角速度旋转的线条。
可以采用多种方法来叠加波带片70。例如，如图5Q所示，可产生作为从十六个组件波带片中切割出来的“扇形片”的组合。可选地是，可以随机地抽取多个不同的波带片，并将它们装配在一起来产生这种叠加。另外可选地是，可在DOE 72中的每个点上对这些组件波带片进行取和，以产生单个图案，该图案在每个点上具有总的透射比或相移的适当量化。
可选地是，光学元件38可以包括折射透镜阵列，来代替上文描述的波带片。在这种情况下，可以采用扇形片或随机分布的不同定向的圆柱形透镜(例如微透镜)的叠加来产生理想的随Z值变化而变化的图案。
图6A-6D是通过对穿过根据本发明的实施例设计的DOE的激光束进行投影所产生的图像的示意图。虽然在上文的实施例中所示的示例具体地涉及到具有旋转线性形状的散斑图案，本发明的原则可以类似地应用于产生其他类型的随Z值变化而变化的图案以及应用于采用这种图案的光学测距中。图6A-6D示出了一个示例，在这个示例中，散斑80和82具有圆形或椭圆形的共同形态特征。每个斑点的形状的半径整体上以不同于图案线性放大倍数的速率随着与照明组件的距离的变化而变化，从而提供了有关距离的信息。其他类型的形状和图案对于所属领域的技术人员来说是显而易见的，并且被认为是在本发明的范围内。
图6A和图6B示出了分别由FS和FV产生的图案。与前文所述的示例相同，FS产生了不需要随Z值变化而变化的随机散斑图案50，FV在目标区域中产生了环形光强图案。环形半径以可以基于斑点的半径进行测距的方式随着Z变化，这些斑点是可以在图像捕捉组件32所捕捉到的图像中观察到的。如上文解释的那样，可以采用Gerchberg-Saxton方法，或者通过叠加多个产生具有不同的尺寸特征的简单的圆形或椭圆形图案的衍射光学元件，或者采用本领域中已知的任何其他合适的DOE设计方法来设计实现这种图案的光学元件。
图6C和图6D示出了通过使相干光穿过光学元件36和38(对应于FS和FV)而被投影到表面上的散斑图案的图像，其中，所述表面位于两个不同的Z值处。以图像将被图像捕捉组件32捕捉到的形式示出这些图像。所述图案包括椭圆形散斑80和82，这两种散斑分别具有不同的取决于Z的半径。随着距离从Z0增大到Z0+ΔZ，被投影到物体28的表面上并被成像于传感器42上的散斑的半径以已知的比例增大或减小。通过测量散斑的半径，处理器24从而可以确定表面与装置22的距离。而且，为了确定表面相对于X-Y平面的角度倾斜，处理器可以检测和分析散斑的形状改变。
虽然上述的实施例具体地涉及通常是采用两个光学元件36和38实现的两种图案的叠加，但是在这个实施例中采用的设计方法可以扩展到三个或更多的图案的叠加。如上所述，该方法适用于施加于投影的光图案上的约束i，这些光图案可以被表示为L个图案的卷积 R i = P 1 i ⊗ P 2 i ⊗ . . . ⊗ P Li . 在这种情况下，设计L个滤光片Fl(l＝1，2，...，L)，以便滤光片Fl分别在Zi(i＝1，2，...，K)处实现图案Pli(i＝1，2，...，K)。组合滤光片 F = Π l = 1,2 , . . . , L F l 在减小了L倍的Z尺度上实现了 R i = P 1 i ⊗ P 2 i ⊗ . . . ⊗ P Li . 从而，在设计阶段，将滤光片按比例放大L倍。可以看到，采用通用的标量衍射理论，可以用 U ( x , y , z ) = ⊗ l = 1 L U l ( x , y , z ) 来给出z处的场分布U(x，y，z)，其中，Ul(x，y，z)是滤光片l在距离z处产生的图案，表示卷积。
而且，虽然上文描述的实施例具体地涉及散斑成形和基于散斑的3D测距和绘图，上述用于设计多个约束的滤光片和其他光学元件(具体的是产生随Z值不同而变化的图案的元件)的方法还可以被用来产生其他其中需要复杂光学图案的应用中的光学元件。
从而，可以理解的是，通过示例引用了上述实施例，并且本发明不局限于文中所具体示出和描述的实施例。相反的是，本发明的范围包括上文描述的各种特征的组合和子组合，以及本领域技术人员在阅读了前文的叙述之后所想出的以及没有在现有技术中公开的各种特征的变型和修改。

Claims (50)

1.一种绘图方法，其包括：
将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征；
捕捉所述物体上的斑点的图像；以及
处理所述图像以得出所述物体的三维(3D)图。
2.根据权利要求1所述的方法，其中，所述带有多个斑点的图案包括随机散斑图案。
3.根据权利要求1所述的方法，其中，对所述图案进行投影的操作包括使一束相干光穿过至少一个光学元件，所述至少一个光学元件被设计来叠加第一光学约束和第二光学约束，所述第一光学约束将该束相干光分成多个斑点，所述第二光学约束对至少一个斑点施加所述形状的共同特征。
4.根据权利要求3所述的方法，其中，所述至少一个光学元件包括用于产生所述图案的第一光学元件和用于施加所述共同特征的第二光学元件。
5.根据权利要求1所述的方法，其中，所述形状的共同特征作为距所述图案的源的距离的函数而变化，其中，处理所述图像的操作包括对所述图像中的物体的表面上的斑点的特征进行分析，从而确定所述表面距所述源的距离。
6.根据权利要求5所述的方法，其中，所述多个斑点都具有拉长的形状，所述拉长的形状作为距所述图案的源的距离的函数而旋转，以及其中，对所述特征进行分析的操作包括确定所述物体的表面上的斑点的方向。
7.根据权利要求5所述的方法，其中，处理所述图像的操作包括发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移，并使用所述偏移连同所述距离来得出所述3D图。
8.根据权利要求7所述的方法，其中，发现所述各个偏移的操作包括响应于所述表面距所述源的距离来从多个参考图像中选择所述参考图像。
9.根据权利要求1至8中的任一权利要求所述的方法，其中，所述图案中的斑点具有在第一方向上拉长的形状，以及其中，处理所述图像的操作包括：发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向上的各个偏移，从而得出所述3D图。
10.根据权利要求9所述的方法，其中，对所述带有多个斑点的图案进行投影的操作包括使一束相干光穿过漫射体，其中，该束相干光在所述漫射体处具有在所述第二方向上的拉长的轮廓。
11.根据权利要求1至8中的任一权利要求所述的方法，其中，捕捉所述图像的操作包括捕捉物体移动时的连续图像，以及其中，处理所述图像的操作包括通过处理所述连续图像来跟踪所述物体的移动。
12.根据权利要求11所述的方法，其中，所述物体是人体的一部分，以及其中，跟踪移动的操作包括识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
13.一种成像方法，其包括：
定义第一光学约束，从而通过将所述第一光学约束施加到一束光来将该束光分成带有多个斑点的图案；
定义第二光学约束，从而通过将所述第二光学约束施加到该束光来使该束光形成具有形状特征的斑点，该形状特征作为沿该束光的射束轴的距离的函数以预定方式变化；
设计至少一个光学元件来叠加所述第一光学约束和所述第二光学约束；
使该束光穿过所述至少一个光学元件，来将所述图案投影到一个表面，从而所述图案中的多个斑点具有所述形状特征。
14.根据权利要求13所述的方法，其中，所述至少一个光学元件包括用于将该束光分成所述图案的第一光学元件和用于施加所述形状特征的第二光学元件。
15.根据权利要求14所述的方法，其中，所述图案包括散斑图案。
16.根据权利要求15所述的方法，其中，所述第一光学元件包括漫射体。
17.根据权利要求13所述的方法，其中，所述至少一个光学元件包括衍射光学元件(DOE)。
18.根据权利要求17所述的方法，其中，所述DOE包括至少一个波带片，其用于给予所述多个斑点拉长的形状。
19.根据权利要求18所述的方法，其中，所述至少一个波带片包括多个叠加的具有各自不同的周期和角定向的波带片，从而使所述斑点的拉长的形状作为所述距离的函数而旋转。
20.根据权利要求13所述的方法，其中，所述至少一个光学元件包括折射光学元件。
21.根据权利要求13所述的方法，其中，由所述第一光学约束限定的图案具有不大于1/4的占空比。
22.根据权利要求13所述的方法，其中，所述图案限定了所述多个斑点的各自位置，从而这些位置是不相关的。
23.根据权利要求13至22中的任一权利要求所述的方法，其中，所述第二光学约束使所述斑点具有作为所述距离的函数而旋转的拉长的形状。
24.根据权利要求13至22中的任一权利要求所述的方法，其中，所述第二光学约束使所述斑点具有环形形状。
25.根据权利要求13至22中的任一权利要求所述的方法，其还包括捕捉所述表面上的斑点的图像和处理所述图像来确定所述表面距所述至少一个光学元件的距离。
26.一种绘图设备，其包括：
照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征；
成像组件，其被配置来捕捉所述物体上的斑点的图像；以及
图像处理器，其被耦接来处理所述图像以得出所述物体的三维(3D)图。
27.根据权利要求26所述的设备，其中，所述带有多个斑点的图案包括随机散斑图案。
28.根据权利要求26所述的设备，其中，所述照明组件包括：
至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，所述第一光学约束将一束相干光分成多个斑点，所述第二光学约束对至少一个斑点施加所述形状的共同特征；以及
光源，其被配置来使一束相干光穿过所述至少一个光学元件。
29.根据权利要求28所述的设备，其中，所述至少一个光学元件包括用于产生所述图案的第一光学元件和用于对所述形状施加所述共同特征的第二光学元件。
30.根据权利要求26所述的设备，其中，所述形状的共同特征作为距所述图案的源的距离的函数而变化，以及其中，所述图像处理器被配置来对所述图像中的物体的表面上的斑点的特征进行分析，从而确定所述表面距所述源的距离。
31.根据权利要求30所述的设备，其中，所述斑点都具有拉长的形状，所述拉长的形状作为距所述图案的源的距离的函数而旋转，以及其中，所述图像处理器被配置来确定所述物体的表面上的斑点的方向。
32.根据权利要求30所述的设备，其中，所述图像处理器被配置来发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移，并采用这些偏移连同所述距离来得出3D图。
33.根据权利要求32所述的设备，其中，所述图像处理器被配置来响应于所述表面距所述源的距离，从多个参考图像中选择所述参考图像。
34.根据权利要求26至33中的任一权利要求所述的设备，其中，所述图案中的斑点具有在第一方向上拉长的形状，以及其中，所述图像处理器被配置来发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向上的各个偏移，从而得出所述3D图。
35.根据权利要求34所述的设备，其中，所述照明组件包括漫射体和光源，所述光源被配置来使一束相干光穿过所述漫射体，其中，该束相干光在所述漫射体处具有在第二方向上被拉长的轮廓。
36.根据权利要求26至33中的任一权利要求所述的设备，其中，所述成像组件被配置来在物体移动时捕捉连续图像，以及其中，所述图像处理器被配置来通过处理所述连续图像来跟踪所述物体的移动。
37.根据权利要求36所述的设备，其中，所述物体是人体的一部分，以及其中，所述图像处理器被配置来识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
38.一种成像设备，其包括：
至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，从而通过将所述第一光学约束施加到一束光来将该束光分成带有多个斑点的图案，以及通过将所述第二光学约束施加到该束光来使该束光形成具有形状特征的斑点，该形状特征作为沿该束光的射束轴的距离的函数以预定方式变化；以及
光源，其被配置来使该束光穿过所述至少一个光学元件，以将所述图案投影到一个表面，从而所述图案中的多个斑点具有所述形状特征。
39.根据权利要求38所述的设备，其中，所述至少一个光学元件包括将该束光分成所述图案的第一光学元件和用于施加所述形状特征的第二光学元件。
40.根据权利要求39所述的设备，其中，所述图案包括散斑图案。
41.根据权利要求40所述的设备，其中，所述第一光学元件包括漫射体。
42.根据权利要求38所述的设备，其中，所述至少一个光学元件包括衍射光学元件(DOE)。
43.根据权利要求42所述的设备，其中，所述DOE包括至少一个波带片，所述波带片给予所述多个斑点拉长的形状。
44.根据权利要求43所述的设备，其中，所述至少一个波带片包括多个叠加的具有各自不同的周期和角定向的波带片，从而使所述斑点的拉长的形状作为所述距离的函数而旋转。
45.根据权利要求38所述的设备，其中，所述至少一个光学元件包括折射光学元件。
46.根据权利要求38所述的设备，其中，由所述第一光学约束限定的图案具有不大于1/4的占空比。
47.根据权利要求38所述的设备，其中，所述图案限定了所述多个斑点的各个位置，从而这些位置是不相关的。
48.根据权利要求38至47中的任一权利要求所述的设备，其中，所述第二光学约束使所述斑点具有作为所述距离的函数而旋转的拉长的形状。
49.根据权利要求38至47中的任一权利要求所述的设备，其中，所述第二光学约束使所述斑点具有环形形状。
50.根据权利要求38至47中的任一权利要求所述的设备，其还包括成像组件和图像处理器，所述成像组件被配置来捕捉所述表面上的斑点的图像，所述图像处理器被耦接来处理所述图像，从而确定所述表面距所述至少一个光学元件的距离。
CN200780009053.8A 2006-03-14 2007-03-13 三维传感的深度变化光场 Active CN101501442B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction
ILPCT/IL2006/000335 2006-03-14
US78518706P 2006-03-24 2006-03-24
US60/785,187 2006-03-24
US85243606P 2006-10-16 2006-10-16
US60/852,436 2006-10-16
PCT/IL2007/000327 WO2007105215A2 (en) 2006-03-14 2007-03-13 Depth-varying light fields for three dimensional sensing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201010502415.0A Division CN101957994B (zh) 2006-03-14 2007-03-13 三维传感的深度变化光场

Publications (2)

Publication Number Publication Date
CN101501442A true CN101501442A (zh) 2009-08-05
CN101501442B CN101501442B (zh) 2014-03-19

Family

ID=38509879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780009053.8A Active CN101501442B (zh) 2006-03-14 2007-03-13 三维传感的深度变化光场

Country Status (5)

Country Link
US (1) US8374397B2 (zh)
EP (1) EP1994503B1 (zh)
JP (1) JP5592070B2 (zh)
CN (1) CN101501442B (zh)
WO (1) WO2007105215A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062952A (zh) * 2009-11-15 2011-05-18 普莱姆森斯有限公司 带有光束监控器的光学投影仪
CN102565903A (zh) * 2012-01-11 2012-07-11 中国科学院上海光学精密机械研究所 随机达曼光栅的制备方法
CN102640087A (zh) * 2009-12-08 2012-08-15 秦内蒂克有限公司 基于距离的感测
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103097925A (zh) * 2010-08-06 2013-05-08 旭硝子株式会社 衍射光学元件和计测装置
CN105229412A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 用于主动立体的强度调制光图案
CN106017311A (zh) * 2015-03-31 2016-10-12 波音公司 跟踪测量系统和方法
CN108388072A (zh) * 2018-02-27 2018-08-10 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
CN108490630A (zh) * 2018-03-12 2018-09-04 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
WO2019165862A1 (zh) * 2018-02-27 2019-09-06 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
JP5106418B2 (ja) * 2006-01-11 2012-12-26 デンシス エルティーディー． 口腔内の３次元モデリング
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
FR2921719B1 (fr) 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
DE102007058590B4 (de) * 2007-12-04 2010-09-16 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung
KR20110025796A (ko) * 2008-06-02 2011-03-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 정보를 가진 비디오 신호
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8908016B2 (en) * 2008-10-06 2014-12-09 Mantivision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8781159B2 (en) * 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
DK2438397T3 (en) * 2009-06-01 2019-01-28 Dentsply Sirona Inc Method and device for three-dimensional surface detection with a dynamic frame of reference
US8417385B2 (en) * 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
JP5948948B2 (ja) * 2011-03-03 2016-07-06 旭硝子株式会社 回折光学素子及び計測装置
JP5948949B2 (ja) * 2011-06-28 2016-07-06 旭硝子株式会社 回折光学素子及び計測装置
US9052512B2 (en) 2011-03-03 2015-06-09 Asahi Glass Company, Limited Diffractive optical element and measuring apparatus
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8897523B2 (en) 2011-07-09 2014-11-25 Gauss Surgical System and method for counting surgical samples
US10426356B2 (en) 2011-07-09 2019-10-01 Gauss Surgical, Inc. Method for estimating a quantity of a blood component in a fluid receiver and corresponding error
US8948447B2 (en) * 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9518864B2 (en) 2011-12-15 2016-12-13 Facebook, Inc. Controllable optical sensing
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
AU2013219966B2 (en) 2012-02-15 2015-04-02 Apple Inc. Scanning depth engine
DE102012103766A1 (de) * 2012-04-27 2013-10-31 Bircher Reglomat Ag Verfahren zur Kontrolle und/oder Überwachung der Bereiche um wiederverschliessbare Gebäudeöffnungen
WO2013173356A1 (en) 2012-05-14 2013-11-21 Gauss Surgical System and methods for managing blood loss of a patient
CN109738621B (zh) 2012-05-14 2021-05-11 高斯外科公司 用于估计液体罐中的血液成分的量的系统和方法
US9014903B1 (en) * 2012-05-22 2015-04-21 Google Inc. Determination of object heading based on point cloud
WO2013184998A2 (en) 2012-06-08 2013-12-12 Unitedhealth Group Incorporated Interactive sessions with participants and providers
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
WO2014020603A2 (en) 2012-08-01 2014-02-06 Real View Imaging Ltd. Increasing an area from which a computer generated hologram may be viewed
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
GB2507813B (en) * 2012-11-13 2017-06-21 Focalspec Oy Apparatus and method for inspecting seals of items
CN102970548B (zh) * 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
WO2014171418A1 (ja) 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9208566B2 (en) * 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
CA2924622C (en) 2013-10-23 2020-03-10 Oculus Vr, Llc. Three dimensional depth mapping using dynamic structured light
CN105705903A (zh) 2013-11-06 2016-06-22 凸版印刷株式会社 3维形状计测装置、3维形状计测方法及3维形状计测程序
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
US10349037B2 (en) 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN106796661B (zh) 2014-08-12 2020-08-25 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
DE112015005073B4 (de) 2014-11-06 2020-08-06 Sony Corporation Abbildungssystem, enthaltend eine Linse mit longitudinaler chromatischer Aberration, Endoskop und Abbildungsverfahren
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
CN107532885B (zh) * 2015-02-25 2020-03-03 脸谱科技有限责任公司 光图案中的强度变化用于体积中的物体的深度绘制
JP6575795B2 (ja) 2015-03-11 2019-09-18 パナソニックＩｐマネジメント株式会社 人感検知システム
TWI623889B (zh) * 2015-03-17 2018-05-11 國立高雄應用科技大學 三維手勢影像辨識方法及其系統
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
EP3295239B1 (en) * 2015-05-13 2021-06-30 Facebook Technologies, LLC Augmenting a depth map representation with a reflectivity map representation
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
JP6934253B2 (ja) 2015-12-23 2021-09-15 ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. 外科織物内の血液構成要素の量の評価方法
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US11229368B2 (en) 2017-01-13 2022-01-25 Gauss Surgical, Inc. Fluid loss estimation based on weight of medical items
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
WO2018172610A1 (en) * 2017-03-19 2018-09-27 Kovilta Oy Systems and methods for modulated image capture
JP6970376B2 (ja) 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
WO2019240010A1 (ja) 2018-06-11 2019-12-19 Ａｇｃ株式会社 回折光学素子、投影装置および計測装置
JP7030757B2 (ja) * 2018-10-23 2022-03-07 ヴァイアヴィ・ソリューションズ・インコーポレイテッド 複数の領域を含む光学素子、該光学素子を備えた光学系、及び該光学系を使用する方法
US11442282B2 (en) 2018-10-26 2022-09-13 Viavi Solutions Inc. Optical element including a plurality of regions
CN112945141B (zh) * 2021-01-29 2023-03-14 中北大学 基于微透镜阵列的结构光快速成像方法及系统

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5588002A (en) * 1978-12-26 1980-07-03 Canon Inc Optical making method of diffusion plate
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPS6079108U (ja) * 1983-11-08 1985-06-01 オムロン株式会社 スペツクル距離計
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH01240863A (ja) * 1988-03-23 1989-09-26 Kowa Co スペックルパターン発生方法及び装置
JP2714152B2 (ja) * 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
JP2673196B2 (ja) * 1989-10-13 1997-11-05 株式会社小野測器 三次元形状センサ
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69226512T2 (de) 1992-03-12 1999-04-22 Ibm Verfahren zur Bildverarbeitung
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH11510248A (ja) 1995-07-18 1999-09-07 ザ バッド カンパニー 像の深度が拡張されたモアレ干渉測定のシステム及び方法
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
US5614948A (en) 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) * 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6750906B1 (en) 1998-05-08 2004-06-15 Cirrus Logic, Inc. Histogram-based automatic gain control method and system for video applications
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
JP2001166810A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) * 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) * 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
US6825985B2 (en) 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7385708B2 (en) 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
FR2842591B1 (fr) * 2002-07-16 2004-10-22 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
WO2004046645A2 (en) 2002-11-21 2004-06-03 Solvision Fast 3d height measurement method and system
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
FR2849245B1 (fr) * 2002-12-20 2006-02-24 Thales Sa Procede d'authentification et d'identification optique d'objets et dispositif de mise en oeuvre
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US20070057946A1 (en) 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) * 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP2008507719A (ja) 2004-07-23 2008-03-13 ジーイー・ヘルスケア・ナイアガラ・インク 共焦点蛍光顕微鏡法及び装置
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP1875162B1 (en) 2005-04-06 2014-06-11 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) * 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
DE102007045332B4 (de) * 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062952B (zh) * 2009-11-15 2015-01-07 苹果公司 带有光束监控器的光学投影仪
CN102062952A (zh) * 2009-11-15 2011-05-18 普莱姆森斯有限公司 带有光束监控器的光学投影仪
CN102640087A (zh) * 2009-12-08 2012-08-15 秦内蒂克有限公司 基于距离的感测
CN103097925B (zh) * 2010-08-06 2016-04-13 旭硝子株式会社 衍射光学元件和计测装置
CN103097925A (zh) * 2010-08-06 2013-05-08 旭硝子株式会社 衍射光学元件和计测装置
CN102565903A (zh) * 2012-01-11 2012-07-11 中国科学院上海光学精密机械研究所 随机达曼光栅的制备方法
CN102565903B (zh) * 2012-01-11 2014-08-13 中国科学院上海光学精密机械研究所 随机达曼光栅的制备方法
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103020988B (zh) * 2012-11-27 2015-02-25 宁波盈芯信息科技有限公司 一种激光散斑图像的运动向量生成方法
CN102999910B (zh) * 2012-11-27 2015-07-22 宁波盈芯信息科技有限公司 一种图像深度计算方法
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法
CN105229412A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 用于主动立体的强度调制光图案
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
CN105229412B (zh) * 2013-04-15 2018-12-07 微软技术许可有限责任公司 用于主动立体的强度调制光图案
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
CN106017311A (zh) * 2015-03-31 2016-10-12 波音公司 跟踪测量系统和方法
CN106017311B (zh) * 2015-03-31 2020-02-07 波音公司 跟踪测量系统和方法
TWI697729B (zh) * 2018-02-27 2020-07-01 大陸商Ｏｐｐｏ廣東移動通信有限公司 鐳射投射模組、深度相機和電子裝置
WO2019165862A1 (zh) * 2018-02-27 2019-09-06 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
US10890779B2 (en) 2018-02-27 2021-01-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Laser projection module, depth camera and electronic device
CN108388072A (zh) * 2018-02-27 2018-08-10 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
CN108490630A (zh) * 2018-03-12 2018-09-04 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置

Also Published As

Publication number Publication date
US20110158508A1 (en) 2011-06-30
US8374397B2 (en) 2013-02-12
WO2007105215A2 (en) 2007-09-20
WO2007105215A3 (en) 2009-04-09
EP1994503A2 (en) 2008-11-26
EP1994503A4 (en) 2014-02-26
JP5592070B2 (ja) 2014-09-17
JP2009530604A (ja) 2009-08-27
CN101501442B (zh) 2014-03-19
EP1994503B1 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
CN101501442B (zh) 三维传感的深度变化光场
CN101957994B (zh) 三维传感的深度变化光场
CN101496033B (zh) 利用散斑图案的三维传感
US10514148B2 (en) Pattern projection using microlenses
US8761495B2 (en) Distance-varying illumination and imaging techniques for depth mapping
JP5001286B2 (ja) 対象物再構成方法およびシステム
CN101496032B (zh) 使用斑纹解相关的距离映射的方法及设备
CN102636874B (zh) 具全幅对焦的3d影像撷取装置及方法
US20130088575A1 (en) Method and apparatus for obtaining depth information using optical pattern
JP2009511897A5 (zh)
US6587208B2 (en) Optical system for measuring diameter, distribution and so forth of micro bubbles and micro liquid drop
EP2256538B1 (en) Optical system with segmented pupil function
JP2001349713A (ja) 三次元形状測定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141114

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: Israel Tel Aviv

Patentee after: PRIME SENSE Ltd.

Address before: Israel Hachayaer

Patentee before: Prime Sense Ltd.

TR01 Transfer of patent right

Effective date of registration: 20141114

Address after: American California

Patentee after: APPLE Inc.

Address before: Israel Tel Aviv

Patentee before: Prime Sense Ltd.