CN101957994B - 三维传感的深度变化光场 - Google Patents

三维传感的深度变化光场 Download PDF

Info

Publication number
CN101957994B
CN101957994B CN201010502415.0A CN201010502415A CN101957994B CN 101957994 B CN101957994 B CN 101957994B CN 201010502415 A CN201010502415 A CN 201010502415A CN 101957994 B CN101957994 B CN 101957994B
Authority
CN
China
Prior art keywords
pattern
image
spot
shape
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010502415.0A
Other languages
English (en)
Other versions
CN101957994A (zh
Inventor
亚历山大·施蓬特
泽夫·扎勒夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/IL2006/000335 external-priority patent/WO2007043036A1/en
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN101957994A publication Critical patent/CN101957994A/zh
Application granted granted Critical
Publication of CN101957994B publication Critical patent/CN101957994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了三维传感的深度变化光场、绘图方法、成像方法、绘图设备和成像设备。所述绘图方法包括将带有多个斑点(52，54，80，82)的图案投影到物体(28)上，所述多个斑点具有各自的位置和形状，从而图案中的斑点的位置是不相关的，而这些形状具有相同的特征。捕捉和处理物体上的斑点的图像，从而得到该物体的三维(3D)图。

Description

三维传感的深度变化光场
本申请是基于2007年3月13日提交的、申请号为200780009053.8、发明名称为“三维传感的深度变化光场”的专利申请的分案申请。
技术领域
本发明总的来说涉及用于为三维(3D)物体绘图的方法和系统，具体地讲涉及3D光学测距和绘图。
背景技术
当相干光束穿过漫射体并被投影到一个表面上时，可以在该表面上观察到一级散斑图案。一级散斑是由漫射光束的不同分量之间的干涉形成的。在本专利申请中，这种意义上使用的术语“一级散斑”区别于二级散斑，二级散斑是相干光在物体的粗糙表面上漫反射形成的。
Hart在台湾专利TW 527528B和美国专利申请09/616,606中描述了散斑图案在高速3D成像系统中的应用，通过引用将这两个专利文献的公开内容并入本文。该系统包括具有主动成像元件和CCD元件的单透镜摄像机子系统以及相关处理子系统。主动成像元件可以是旋转光圈，该旋转光圈允许对散焦图像间的不等间距进行调整，以得到更大的场深和更高的子像素位移精度。散斑图案被投影到物体上，从多个角度获得所产生的图案的图像。采用图像相关技术，这些图像是局部互相关联的，通过采用相关摄像机位置信息来计算每个局部相关区域的三维坐标，可以解析出这个表面。
Hunter等人在美国专利6,101,269中描述了另一种基于散斑的3D成像技术，通过引用将该专利的内容并入本文。其中，将随机散斑投影到3D表面上，并用多个摄像机对随机散斑进行成像，以获得多个二维数字图像。处理这些二维图像来获得该表面的三维特征。
其他用于3D绘图和测距的方法采用结构化或编码照明。例如，Sazbon等人在“Qualitative Real-Time Range Extraction for PreplannedScene Partitioning Using Laser Beam Coding”，Pattern RecognitionLetters 26(2005)的第1772-1781页中描述了这种距离估计的方法，通过引用将该文的内容并入本文。纯相位滤光片将激光束编码成对应于工作空间内的M个不同的距离分段的M个不同的衍射图案。从而，用对应于从光源到每个平面的范围的图案来照到照明场景内的每个平面。可以采用普通摄像机来捕捉该场景的图像，可以对这些图像进行处理来确定场景内的物体的距离。作者描述了基于Gerchberg-Saxton算法来设计纯相位滤光片的迭代过程。
发明内容
下文描述的本发明的实施例提供了利用具有形状的斑点照明图案进行3D绘图和测距的方法和系统。这种图案包括具有受控的可识别形状的亮斑阵列。在一些实施例中，这些斑点的相对位置是不相关的(例如，在诸如散斑图案之类的随机或伪随机图案中)，但是，在任何情况下这些斑点都具有相似的预定形状特征。在某些实施例中，在某个方向上拉长斑点，这对于横切于照明光束的给定平面上的所有斑点都是一样的，但是，还可以可选地采用其他斑点形状。
在一些实施例中，斑点形状特征随与照明源的距离而变化。可以通过使照明光束穿过一个或多个光学元件来实现这种随距离变化而改变的形状特征，这些光学元件被设计为叠加两个光学约束：一个是将光束分成多个斑点，另一个是产生随距离变化而改变的形状。这种叠加方法允许简单灵活地创建多种随距离变化而改变的图案。由于存在这种随距离变化而改变的形状特征，所以出现在被图案照到的物体的部分表面上的斑点的形状可以被用来确定这些部分与照明源的距离。
在一些实施例中，表面上的部分图案相对于已知范围处的参考图案的横向位移被用来重构该表面的3D图。基于形状的测距和基于位移的绘图的结合可以被用来创建覆盖距照明源很大距离的范围的精确3D图。
从而，根据本发明的一个实施例提供了一种用于绘图的方法，其包括：
将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征；
捕捉物体上的斑点的图像；以及
处理该图像，以得出该物体的三维图。
在一个实施例中，带有多个斑点的图案包括随机散斑图案。
在一些实施例中，这些形状的共同特征作为距图案的源的距离的函数而变化，处理该图像的操作包括分析在图像中的物体的表面上的斑点的特征来确定表面距源的距离。在一个实施例中，这些斑点共同具有拉长的形状，该形状作为距图案的源的距离的函数而旋转，对特征进行分析的操作包括确定在物体表面上的斑点的方向。另外或者可选地是，处理该图像的操作包括发现图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移，并采用这些偏移连同所述距离来得到3D图。发现各个偏移的操作可包括响应于表面与源的距离而从多个参考图像中选择所述参考图像。
在另一个实施例中，图案中的斑点具有在第一方向上拉长的形状，处理该图像的操作包括：发现图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于第一方向的第二方向上的各个偏移，以便得出3D图。投影带有多个斑点的图案的操作可以包括使一束相干光穿过漫射体，其中，该束相干光在漫射体处具有在第二方向上拉长的轮廓。
在公开的实施例中，捕捉图像的操作包括在物体运动时捕捉连续图像，处理该图像的操作包括通过处理连续图像来跟踪物体的移动。在一个实施例中，物体是人体的一部分，跟踪运动包括对人体的该部分所形成的姿势进行识别，并响应于该姿势向计算机应用程序提供输入。
根据本发明的一个实施例，还提供了一种成像方法，其包括：
定义第一光学约束，以便通过将第一光学约束施加到一束光来将该束光分成带有多个斑点的图案；
定义第二光学约束，以便通过将第二光学约束施加到该束光来使该束光形成具有作为沿该束光的射束轴的距离的函数而以预定方式变化的形状特征；
设计至少一个光学元件来叠加第一光学约束和第二光学约束；以及
使该束光穿过所述至少一个光学元件来将图案投影到一个表面上，从而所述图案中的多个斑点具有所述形状特征。
在一些实施例中，所述至少一个光学元件包括用于将该束光分成图案的第一光学元件和用于施加形状特征的第二光学元件。在一个实施例中，所述图案包括散斑图案，第一光学元件包括漫射体。
另外或者可选地是，所述至少一个光学元件包括衍射光学元件(DOE)。在一个实施例中，DOE包括至少一个用于给予所述多个斑点拉长的形状的波带片。所述至少一个波带片可能包括多个叠加的波带片，这些叠加的波带片具有各自不同的周期和角定向，以使斑点的拉长的形状作为所述距离的函数而旋转。
另外或可选地是，所述至少一个光学元件包括折射光学元件。
通常，第一光学约束所限定的图案具有不大于1/4的占空比。
在一些实施例中，该图案限定了斑点的各个位置，从而这些位置是不相关的。
在公开的实施例中，第二光学约束使所述斑点具有作为所述距离的函数而旋转的拉长的形状。在另一个实施例中，第二光学约束使所述斑点具有环形形状。
在一些实施例中，该方法包括捕捉所述表面上的斑点的图像，还包括处理所述图像的操作，以确定表面与所述至少一个光学元件的距离。
根据本发明的实施例，还提供了用于绘图的设备，其包括：
照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而图案中的斑点的位置是不相关的，而所述形状具有共同特征；
成像组件，其被配置来捕捉物体上的斑点的图像；以及
图像处理器，将其耦接来处理该图像以得出该物体的三维(3D)图。
根据本发明的实施例还提供了成像设备，其包括：
至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，以便通过将第一光学约束施加到一束光，来将该束光分成带有多个斑点的图案，以及通过将第二光学约束施加到该束光，来使该束光形成具有作为沿该束光的射束轴的距离的函数以预定方式变化的形状特征；以及
光源，其被配置来使该束光穿过所述至少一个光学元件，以便将图案投影到一个表面上，从而所述图案中的多个斑点具有所述形状特征。
附图说明
结合附图，从本发明的实施例的下列详细描述中可以更全面地理解本发明，其中：
图1是根据本发明实施例的用于3D测距和绘图的系统的示意图；
图2是根据本发明实施例的散斑成像装置的示意性顶视图；
图3A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图案的示意图；
图3B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；
图3C和图3D是根据本发明实施例的由激光束穿过图3A和图3B的光学元件的投影所产生的散斑图案的示意图；
图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程图；
图5A-5P是根据本发明实施例的一组处于不同旋转角度的波带片的示意图，这些波带片被用来制造DOE；
图5Q是根据本发明实施例的通过叠加图5A-5P的波带片所产生的DOE的示意性正视图；
图6A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图案的示意图；
图6B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；
图6C和图6D是根据本发明实施例的由激光束穿过图6A和图6B的光学元件的投影所产生的散斑图案的示意图。
具体实施方式
系统综述
图1是根据本发明实施例的用于3D测距和绘图的系统20的示意图。系统20包括成像装置22，该成像装置22产生带有多个斑点的图案并将带有多个斑点的图案投影到物体28上，并捕捉出现在该物体上的斑点图案的图像。在下列附图中示出并参照附图在下文详细地描述了装置22的设计和操作细节。
在一些实施例中，被成像装置22投影的带有斑点的图案包括散斑图案。在本专利申请的上下文以及权利要求中，术语“散斑图案”指的是投影的亮斑点图案，这些亮斑点的位置在横切于投影光轴的平面上是不相关的。在作为横向位移的函数的图案中的散斑位置的自相关对于任何大于斑点尺寸的位移都无关紧要的意义上，这些位置是不相关的。诸如由一级激光散斑(如上文所述)生成的图案之类的随机图案在该意义上是不相关的。诸如伪随机和准随机图案之类的由人或计算机设计产生的图案也可能是不相关的。在2006年3月14日提交的PCT专利申请PCT/IL2006/000335和在2007年3月8日提交的名为“Three-Dimensional Sensing Using Speckle Patterns”的PCT专利申请中描述了可以在系统20中实现的基于散斑的3D绘图的理论和操作的其他方面。这两个申请被转让给本专利申请的受让人，在此通过引用将其内容并入本文。
在其他的实施例中，可以以诸如通过使照明光束穿过达曼光栅或适当的小透镜阵列所产生的图案类型之类的规则的、非随机的图案来布置这些斑点。
为了实现下文描述的测距和绘图应用中的良好性能，斑点图案具有低占空比是有利的，即具有高于平均亮度的图案区域的部分不大于1/e(期望小于1/4甚至1/10)是有利的。低占空比在增强用于3D绘图的斑点位移检测的信噪比方面是有利的。它还有助于避免相邻斑点重叠时产生的干涉效应。
即使斑点(散斑)的位置是不相关的，像在通常的激光散斑图案中的一样，但是在本发明实施例中采用的图案中斑点的形状也不是完全随机的，而是具有共同的形状特征。例如，如下文所述，在一些实施例中，沿某一轴拉长斑点。另外或可选地是，只要这些形状是受控的，这些斑点就可以具有其他共同的形状特征，并且作为沿照明光束的光轴的距离的函数的形状中的变化是可识别的。本文中的术语“形状改变”指的不是通常随着与照明源的距离而出现的斑点尺寸的简单线性增大的变化。
图像处理器24处理由装置22所产生的图像数据，以便执行深度测距以及可选地进行对物体28的3D绘图。在本专利申请书和权利要求中使用的术语“测距”指的是粗略测量从成像装置到物体的距离，而术语“3D图”指的是一组表示物体表面的3D坐标。这种基于图像数据对图的推导被称为“3D绘图”或等价地称为“3D重构”。如下文所述，在3D重构的过程中，可一起使用作为粗测阶段和精测阶段的测距和绘图。因此，测距还可被视为一种粗略的3D绘图。
执行这种测距和绘图的图像处理器24可以包括通用计算机处理器，对该通用计算机处理器进行软件编程来执行下文所述的功能。例如，这种软件可通过网络以电子形式被下载到处理器24，或者可选地是，在诸如光、磁或电子存储器介质之类的实体介质上提供这种软件。而且或可选地是，可以以诸如订制或半订制集成电路或可编程数字信号处理器(DSP)之类的专用硬件来实现该图像处理器的一些或全部功能。例如，虽然在图1中将处理器24示为从成像装置22分离的单元，但是可以通过在图像装置外壳中的或以其它方式与成像装置相关的适当的专用电路来执行处理器24的一些或全部处理功能。
处理器24产生的3D图可以被用于各种不同的目的。例如，可以将该图发送至输出装置，例如显示物体的伪3D图像的显示器26。在图1所示的例子中，物体28包括实验对象的身体的全部或一部分(例如手)。在这种情况下，系统20可以被用来提供基于姿势的用户接口，其中，代替诸如鼠标、操纵杆或其他附件的触觉接口元件，通过装置22检测到的用户移动控制着交互式计算机应用程序(例如游戏)。可选地是，系统20可以被用来创建其它类型物体的3D图，实质上可用于任何其中需要3D坐标轮廓的应用程序中。
图2是根据本发明实施例的装置22的示意性顶视图。如下文所述，装置22中的照明组件30包括相干光源34(通常是激光)以及一个或多个光学元件36、38，这两个光学元件通常被联合使用来创建散斑图案或其他带有斑点的图案。(在本专利申请的上文中的术语“光”指的是任何类型的光辐射，包括红外光和紫外光以及可见光。)从光源34发射的光束穿过光学元件36和38，并照到物体28所位于的目标区域46。图像捕捉组件32捕捉被投影在物体28上的图案的图像。组件32包括物镜光学系统40，其将图像聚焦在图像传感器42上。通常，传感器40包括诸如CCD或基于CMOS的图像传感器阵列之类的直线阵列的检测器元件44。
在图2所示的实施例中，照明组件30和图像捕捉组件32被保持在固定的空间关系中。这种结构和下文描述的处理技术使得可以在照明和图像捕捉组件之间没有相对运动以及在没有运动部件的情况下，利用单个图像捕捉组件来执行3D绘图。可选地是，下文描述的照明、测距和绘图技术可以与其他种类的图像捕捉组件以各种不同的结构结合使用，例如在上文的背景技术部分中所描述的那些结构。例如，图像捕捉组件可以相对于照明组件移动。而且或可选地是，两个或多个图像捕捉组件可被用来从不同的角度捕捉物体28的图像。
为了简化3D图的计算和由于图2结构中的物体28的运动而产生的图中的变化的计算，可以安装组件30和32，使得通过图像捕捉组件32的入射光孔中心和光源34在光学元件36上形成的斑点的轴平行于传感器40的一个轴(为了方便起见，记为X轴，而Z轴对应于距装置22的距离)。在上面提到的名为“Three-Dimensional SensingUsing Speckle Patterns”的PCT专利申请中更进一步地解释了这种装置的优点。
具体地讲，通过这种装置中的三角测量，在物体上的斑点的Z向位移δZ将产生在图像中观测到的斑点图案中的伴生横向位移δX。从而可以通过测量组件32捕捉到的图像中的斑点的X坐标相对于在已知距离Z处采集到的参考图像的位移，来确定在物体上的斑点的Z坐标以及Z坐标随时间的位移。可忽略Y向位移。虽然这种方法的方方面面还适于与其他类型的斑点图案配合使用，但这种三角测量方法特别适用于采用散斑图案的3D绘图。
换句话说，将捕捉到的图像的每个区域中的斑点的组与参考图像进行比较，以发现参考图像中的斑点的最接近匹配组。图像中的斑点的匹配组之间的相对位移给出了捕捉到的图像的区域相对于参考图像的Z向位移。采用本领域已知的图像相关或其他图像匹配计算方法可以测量斑点图案中的位移。在上文提到的PCT专利申请中描述了一些示范性方法。
产生具有共同形状特征的散斑图案
具有共同形状特征的斑点图案可以以多种方式被用来增强系统20的操作。例如，在上述装置22的结构中，其中在物体的3D重构中只有X向的位移是显著的，采用在Y向拉长的散斑图案是有利的。因此，当处理器24为了检测Z向位移而计算图像之间的相关性时，该计算结果对散斑在Y向的小位移是不灵敏的。这种特性改善了X向位移计算的鲁棒性(以及使得可以在计算中采用更小的相关窗口)。
可以采用多种方法来产生这种散斑图案，这种散斑图案在Y向上被拉长，并且其位置在X向上是不相关的。一种可行方案是将光学元件36配置为漫射体，该漫射体具有在X向上被拉长的颗粒的随机排列的阵列。(在这种情况下可能不需要元件38。)例如，这些颗粒可能是不透明的，或者可选地是，它们具有不同的厚度，以在透射光中产生相位变化。作为另一种可选方案，元件36可以包括传统的各向同性的漫射体，而来自光源34的光束在X向上被拉长。例如，在光源和漫射体之间的圆柱形透镜(未示出)可以被用于这个目的。
又一个可选方案是元件36包括漫射体(可以是各向同性的)，元件38包括衍射光学元件(DOE)。为了产生沿Y轴拉长的理想散斑，元件38可以仅包括适当的光栅或者具有被定向为平行于X轴的线条的波带片。
虽然为了概念清楚的缘故，在图2中示出了作为分离部件的元件36和38，但漫射体和DOE通常彼此接触，可以被粘在一起。可选地是，通过在光学毛坯的一侧形成DOE并研磨另一侧来形成漫射体，可以将元件36和38制作成单个器件。另外可选地是，例如，可以在单个DOE中组合漫射体和光栅或波带片所施加的光学约束，其中叠加了X向的线条和伪随机扩散图案。在所有这些情况中，在远场中的散斑图案是随机位置分布的卷积，漫射体使该随机位置分布具有了由DOE的傅立叶变换所限定的形状。
可以采用类似的叠加方法来产生随距离Z变化而更复杂图案的DOE。在一些实施例中，可以设计DOE来产生在不同距离范围内具有不同形状的斑点图案。参照图2，这些斑点在距离Z1处可具有一种形状，在距离Z2处可具有另一种形状，依此类推。例如，斑点的这些拉长的形状从一个范围到另一个范围被旋转了45°。因此，当物体28位于ZA时，斑点具有Z2范围的定向，而当物体位于ZB时，斑点具有Z3范围的定向。通过检测这些斑点的定向，处理器24(图1)然后可以独立于基于斑点位置相关性的3D重构过程来确定该物体的距离范围。如下文进一步描述的那样，可以联合使用测距和绘图来产生具有增大的范围和/或分辨率的3D图。
可以采用各种方法来设计产生具有理想的依赖于Z向距离的斑点图案的单个光学元件。可以被用来设计光学元件38以给出这种依赖于范围的散斑成形的一种方法是采用迭代Gerchberg-Saxton方法，在上述的Sazbon等人所著的文章中对这种方法进行了描述。然而，这种方法计算开销大，而且不能保证收敛。
可选地是，可以基于约束的叠加来设计用于这种目的的一组一个或多个光学元件。例如，通过叠加分光镜(其产生具有低占空比和不相关位置的带有斑点的图案)和一种元件(可以单独在四个预定范围内实现四个定向上的单个Z向变化的图案)，可以产生一个或多个这种用来产生在各自不同范围内具有四个不同定向的散斑的元件。例如，产生单个图案的元件可以是四个波带片的叠加，其中每个波带片均将光聚焦到一个范围内的各个适当方向上的线条上。
而且或可选地是，可以在适当的计算机产生的全息图(CGH)或其他DOE中计算然后实现这种叠加。给定一组可以在距离Zi(i＝1，2，…，K)处分别施加于光强(等同于光的幅度)的约束Ri(i＝1，2，…，K)，要实现这些约束的光学元件被分解为两个图案的卷积，
Figure BSA00000297362600111
其中，对于R1，R2，…，RK，S相同，而Pi随i任意变化(i＝1，2，…，K)。利用对应于光学元件36和38的两个滤光片FS、FV可以如下实现约束：
●滤光片FS产生远场的强度图案S，这意味着它是S的适当傅立叶逆变换(可以采用本领域已知的DOE设计技术来计算)。
●滤光片FV分别在距离Zi(i＝1，2，…，K)处产生强度图案Pi(i＝1，2，…，K)。这种强度图案通常比上述图案Ri(i＝1，2，…，K)更易于计算，并通常是采用本领域已知方法单独产生的。
组合滤光片F＝FS·FV将分别在距离Zi(i＝1，2，…，K)处实现强度图案Ri(i＝1，2，…，K)。
这种方法的一个缺陷是它只对可以被表示为
Figure BSA00000297362600112
的这种卷积的约束组有效。采用Fresnel-Sommerfeld等式的线性将任意约束组分解为卷积之和，可以减轻这种缺陷。然后可以通过上述技术产生每一个这种卷积的滤光片，叠加这些滤光片来给出理想的结果。
图3A-3D是通过对穿过根据本发明实施例设计的DOE 36和38的激光束进行投影所产生的图像的示意图。在这种设计中，物体产生拉长散斑的图案，该散斑的拉长轴在从Z0到Z0+ΔZ的给定范围上作为Z的函数变化超过180°。图3A和3B示出了分别由FS和FV产生的图案，将FS和FV定义如下：
●FS产生不用随Z变化的随机散斑的远场图案。例如，设计FS来产生1000×1000像素的图案，该图案包括200×200个随机分布的亮散斑50，其余为暗场。取决于斑点的尺寸，占空比通常大约在4％-25％之间。实现这种图案的光学元件36可包括采用本领域已知技术所制造的纯相位DOE。
●FV在面Z0和面Z0+ΔZ之间的近场体积内产生N个光强度图案。图3B示出了一个在给定
Figure BSA00000297362600121
的这种图案。这个图案包括V×W个像素，其中，V和W通常很小，在这个例子中，V＝W＝5。对于每一个p(p＝1，...，N)，图案相对于垂直方向被旋转了θ＝180*p/N度。可以利用上述的Gerchberg-Saxton方法，通过以下所述的方式叠加多个波带片，或者采用本领域中已知的其他任何合适的DOE设计方法来设计实现这个图案的光学元件38。由于这个图案比较小，在任何情况下产生DOE所需要的计算都相对简单。
图3C和图3D示出了在不同Z值处通过叠加对应于FS和FV的元件36和38所产生的散斑的图案。这些图案分别包括200×200个以取决于Z的不同角度定向的拉长的散斑52和54。随着距离从Z0增大到Z0+ΔZ，散斑旋转了180°。在将
Figure BSA00000297362600122
定为距装置22的表面的范围时，通过检测投影到物体28的表面上的散斑的角度θ，处理器24从而可以确定p＝Nθ/180。
图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程图。为了表达清楚起见，参照图1和图2中图示的系统20，采用图3C和图3D中所示的散斑图案，在下文对该方法进行了描述。然而，这种方法可以类似地应用于其他种类的基于散斑的成像系统，例如在上述参考文献中描述的那些系统。而且，可以可选地产生其他种类的斑点图案和Z向变化的斑点形状特征，并采用它们来代替在图3C和图3D中所示的散斑的旋转的线性形状。
在对物体进行测距和成像的准备过程中，操作成像装置22来捕捉一个或多个参考散斑图像。例如，出于这个目的，可以在一个或多个沿Z轴距原点已知基准距离处(例如，Z1，Z2，Z3，…)放置平面。成像组件32捕捉位于每个距离上的照明组件30投影到表面上的散斑图案的参考图像。可选地是，由于散斑图案在本质上是FV的小的Z向变化的图案和FS的远场斑点图案的卷积，所以可以分别地确定两个滤光片的各自的参考图像，然后进行卷积来给出在每个距离Z处的联合图案。这种方法可以减少用来存储参考图案所需要的存储量。而且可选地是，可以使整个图案的设计标准化，从而不必须捕捉参考图像。
在目标区域46中引入物体28，以及在测试捕捉步骤60，装置22捕捉被投影在物体表面上的散斑图案的测试图像。然后，在测距步骤62，处理器24计算散斑的定向角度。出于这个目的，例如，处理器可以执行测试图像的光谱分析。光谱的形状(例如，长轴和短轴的方向)对应于散斑的定向角度，定向角度又指示物体的范围。另外或可选地是，处理器可以计算出散斑形状和多个不同参考形状之间的互相关度。当然，如果物体纵深足够大，则散斑角度可在表面上变化，以至于物体的不同部分将具有不同的范围。处理器24可以将散斑角度中的任何突变的位置识别为物体边缘。
处理器24在产生物体28的粗略3D图的过程中可以单独地采用基于形状的范围测量步骤62。然而，在图4所示的实施例中，在重构步骤64中，处理器在重构物体28的3D图的过程中采用了与斑点位置三角测量结合的范围测量。出于这个目的，处理器通常测量在测试图像中物体表面上不同点的散斑图案和在适当的参考图像中的散斑图案的对应区域之间的局部偏移。然后，基于这个偏移，处理器采用三角测量来确定这些物体点的Z坐标。在上述PCT专利申请和上文引用的其他参考文献中描述了可以用于这些目的的方法。
步骤62的测距和步骤64的3D重构的结合使系统20能以比只通过基于散斑的三角测量通常可以达到的更高的精度和/或更少的计算开销来执行3D重构，这种结合还可以被用来增大在其上进行测量的Z向的范围。例如，如果在不同的基准距离上捕捉多个参考图像，像上文提到的那样，处理器可以测量相对于其基准距离最接近在步骤62中所找到的范围的参考图像的局部偏移。即使只采用了单个参考图像，由于处理器24可以采用测距结果来限制它必须以更高的精度来检查或计算的偏移中的不同的局部偏移值的数量，因此可以提高在步骤64的三角测量的精度和/或速度。
可以连续地重复步骤60至64来跟踪物体28在目标区域46中的运动。出于这个目的，装置22在物体运动时捕捉连续的测试图像，处理器24重复步骤62和64来跟踪物体的3D运动。通过假设物体没有从之前的迭代运动得太远，可以在一些迭代中跳过步骤62。
在可选的实施例中(在图中未示出)，基于散斑图案位移的三角测量被用作粗略的范围测量，散斑形状特征的变化被用作精确的3D绘图。三角测量的精度尤其取决于在照明组件30和图像捕捉组件32之间沿X轴的间隔。如果只需要粗略的三角测量，可以将组件30和32放置在一起，从而实现装置22的更紧凑的设计。
例如，通过在目标区域46内重复几个循环的散斑形状随Z值变化而变化的图案，可以提高基于形状的Z向测量的精度。换句话说，采用上述的旋转线性散斑形状和图2所示的布置的例子，在Z1和Z2之间、在Z2和Z3之间、以及在Z3和Z4之间，散斑定向变化可超过180°。处理器24采用散斑三角测量结果来确定物体28位于这三个范围中的哪一个范围内，然后采用散斑定向来构建在这个范围内的物体的精确3D图。可选地是，如文中早先提到的，取代图3C和图3D所示的方向变化，可以在上下文中采用其它的随Z值变化而变化的斑点形状特征。
可以采用多种方法来在Z方向上重复多循环的随Z值变化而变化的形状。例如，采用适当的多焦点透镜(未示出)来将图案聚焦在目标区域46上。例如，这种透镜可以包括多个具有各个不同焦距的Fresnel波带片的叠加。可选地是，可以采用Ben Eliezer等人在“AllOptical Extended Depth of Field Imaging System”，Journal of Opticaand Pure Physics-A，5(2003)第S164-S169页中描述的技术来设计适当的多焦点透镜，通过引用将该文的内容并入本文。另外，可选的是，可以采用上述的叠加技术来从头开始设计光学元件38，来给出重复多循环的散斑形状。
图5A-5Q示意性地示出了根据本发明实施例的用于生产光学元件38来产生具有带形状的斑点的图案的方法。图5A-5P是一组波带片70的示意性正视图，而图5Q是通过叠加图5A-5P的波带片而产生的DOE 72的示意性正视图。DOE 72可以作为滤光片FV，以与适当的漫射体或其他分束滤光片一起用来产生在上文图3C和图3D中所示的这种旋转的线性斑点。
每个波带片70均是为波长λ设计的焦距长度为fn(n＝1，…，N，在这个例子中，N＝16)的Fresnel波带片。这种波带片的透射函数由下式给出：
Figure BSA00000297362600151
其中，每个波带片中的X-Y轴被旋转了(n-1)π/N。可选地是，可以将波带片70设计为透明的纯相位波带片。DOE 72包括N个这些波带片的叠加74。这种叠加将产生作为Z的函数以π/N(fn-fn-1)rad/m的角速度旋转的线条。
可以采用多种方法来叠加波带片70。例如，如图5Q所示，可产生作为从十六个组件波带片中切割出来的“扇形片”的组合。可选地是，可以随机地抽取多个不同的波带片，并将它们装配在一起来产生这种叠加。另外可选地是，可在DOE 72中的每个点上对这些组件波带片进行取和，以产生单个图案，该图案在每个点上具有总的透射比或相移的适当量化。
可选地是，光学元件38可以包括折射透镜阵列，来代替上文描述的波带片。在这种情况下，可以采用扇形片或随机分布的不同定向的圆柱形透镜(例如微透镜)的叠加来产生理想的随Z值变化而变化的图案。
图6A-6D是通过对穿过根据本发明的实施例设计的DOE的激光束进行投影所产生的图像的示意图。虽然在上文的实施例中所示的示例具体地涉及到具有旋转线性形状的散斑图案，本发明的原则可以类似地应用于产生其他类型的随Z值变化而变化的图案以及应用于采用这种图案的光学测距中。图6A-6D示出了一个示例，在这个示例中，散斑80和82具有圆形或椭圆形的共同形态特征。每个斑点的形状的半径整体上以不同于图案线性放大倍数的速率随着与照明组件的距离的变化而变化，从而提供了有关距离的信息。其他类型的形状和图案对于所属领域的技术人员来说是显而易见的，并且被认为是在本发明的范围内。
图6A和图6B示出了分别由FS和FV产生的图案。与前文所述的示例相同，FS产生了不需要随Z值变化而变化的随机散斑图案50，FV在目标区域中产生了环形光强图案。环形半径以可以基于斑点的半径进行测距的方式随着Z变化，这些斑点是可以在图像捕捉组件32所捕捉到的图像中观察到的。如上文解释的那样，可以采用Gerchberg-Saxton方法，或者通过叠加多个产生具有不同的尺寸特征的简单的圆形或椭圆形图案的衍射光学元件，或者采用本领域中已知的任何其他合适的DOE设计方法来设计实现这种图案的光学元件。
图6C和图6D示出了通过使相干光穿过光学元件36和38(对应于FS和FV)而被投影到表面上的散斑图案的图像，其中，所述表面位于两个不同的Z值处。以图像将被图像捕捉组件32捕捉到的形式示出这些图像。所述图案包括椭圆形散斑80和82，这两种散斑分别具有不同的取决于Z的半径。随着距离从Z0增大到Z0+ΔZ，被投影到物体28的表面上并被成像于传感器42上的散斑的半径以已知的比例增大或减小。通过测量散斑的半径，处理器24从而可以确定表面与装置22的距离。而且，为了确定表面相对于X-Y平面的角度倾斜，处理器可以检测和分析散斑的形状改变。
虽然上述的实施例具体地涉及通常是采用两个光学元件36和38实现的两种图案的叠加，但是在这个实施例中采用的设计方法可以扩展到三个或更多的图案的叠加。如上所述，该方法适用于施加于投影的光图案上的约束i，这些光图案可以被表示为L个图案的卷积
Figure BSA00000297362600171
在这种情况下，设计L个滤光片Fl(l＝1，2，...，L)，以便滤光片Fl分别在Zi(i＝1，2，...，K)处实现图案Pli(i＝1，2，...，K)。组合滤光片
Figure BSA00000297362600172
在减小了L倍的Z尺度上实现了
Figure BSA00000297362600173
从而，在设计阶段，将滤光片按比例放大L倍。可以看到，采用通用的标量衍射理论，可以用来给出z处的场分布U(x，y，z)，其中，Ul(x，y，z)是滤光片l在距离z处产生的图案，
Figure BSA00000297362600175
表示卷积。
而且，虽然上文描述的实施例具体地涉及散斑成形和基于散斑的3D测距和绘图，上述用于设计多个约束的滤光片和其他光学元件(具体的是产生随Z值不同而变化的图案的元件)的方法还可以被用来产生其他其中需要复杂光学图案的应用中的光学元件。
从而，可以理解的是，通过示例引用了上述实施例，并且本发明不局限于文中所具体示出和描述的实施例。相反的是，本发明的范围包括上文描述的各种特征的组合和子组合，以及本领域技术人员在阅读了前文的叙述之后所想出的以及没有在现有技术中公开的各种特征的变型和修改。

Claims (22)

1.一种绘图方法，其包括：
将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征，所述共同特征作为距所述图案的源的距离的函数而变化；
捕捉所述物体上的斑点的图像；以及
通过对所述图像中的物体表面上的斑点特征的变化进行分析来获得物体表面距所述图案的源的距离以及发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移来处理所述图像，以得出所述物体的三维图；
其中发现所述偏移的操作包括响应于所述物体表面距所述图案的源的距离而从多个参考图像中选择所述一个参考图像，或者包括基于所述距离来限制在以更高的精度来检查或计算的偏移中的不同的局部偏移值的数量。
2.根据权利要求1所述的方法，其中，所述带有多个斑点的图案包括随机散斑图案。
3.根据权利要求1所述的方法，其中，对所述图案进行投影的操作包括使一束相干光穿过至少一个光学元件，所述至少一个光学元件被设计来叠加第一光学约束和第二光学约束，所述第一光学约束将该束相干光分成多个斑点，所述第二光学约束对至少一个斑点施加所述形状的共同特征。
4.根据权利要求3所述的方法，其中，所述至少一个光学元件包括用于产生所述图案的第一光学元件和用于施加所述共同特征的第二光学元件。
5.根据权利要求1所述的方法，其中，所述多个斑点都具有拉长的形状，所述拉长的形状作为距所述图案的源的距离的函数而旋转，以及其中，对所述特征进行分析的操作包括确定所述物体的表面上的斑点的方向。
6.根据权利要求1至4中的任一权利要求所述的方法，其中，所述图案中的斑点具有在第一方向上拉长的形状，以及其中，处理所述图像的操作包括：发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向上的偏移，从而得出所述三维图。
7.根据权利要求6所述的方法，其中，对所述带有多个斑点的图案进行投影的操作包括使一束相干光穿过漫射体，其中，该束相干光在所述漫射体处具有在所述第二方向上的拉长的轮廓。
8.根据权利要求1至4中的任一权利要求所述的方法，其中，捕捉所述图像的操作包括捕捉物体移动时的连续图像，以及其中，处理所述图像的操作包括通过处理所述连续图像来跟踪所述物体的移动。
9.根据权利要求8所述的方法，其中，所述物体是人体的一部分，以及其中，跟踪移动的操作包括识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
10.根据权利要求6所述的方法，其中，捕捉所述图像的操作包括捕捉物体移动时的连续图像，以及其中，处理所述图像的操作包括通过处理所述连续图像来跟踪所述物体的移动。
11.根据权利要求10所述的方法，其中，所述物体是人体的一部分，以及其中，跟踪移动的操作包括识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
12.一种绘图设备，其包括：
照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征，所述共同特征作为距所述图案的源的距离的函数而变化；
成像组件，其被配置来捕捉所述物体上的斑点的图像；以及
图像处理器，其被耦接来通过对所述图像中的物体表面上的斑点特征的变化进行分析来获得物体表面距所述图案的源的距离以及发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的各个偏移来处理所述图像，以得出所述物体的三维图，
其中所述图像处理器被配置来响应于所述物体表面距所述图案的源的距离而从多个参考图像中选择所述一个参考图像，或者基于所述距离来限制在以更高的精度来检查或计算的偏移中的不同的局部偏移值的数量。
13.根据权利要求12所述的设备，其中，所述带有多个斑点的图案包括随机散斑图案。
14.根据权利要求12所述的设备，其中，所述照明组件包括：
至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，所述第一光学约束将一束相干光分成多个斑点，所述第二光学约束对至少一个斑点施加所述形状的共同特征；以及
光源，其被配置来使一束相干光穿过所述至少一个光学元件。
15.根据权利要求14所述的设备，其中，所述至少一个光学元件包括用于产生所述图案的第一光学元件和用于对所述形状施加所述共同特征的第二光学元件。
16.根据权利要求12所述的设备，其中，所述斑点都具有拉长的形状，所述拉长的形状作为距所述图案的源的距离的函数而旋转，以及其中，所述图像处理器被配置来确定所述物体的表面上的斑点的方向。
17.根据权利要求12至15中的任一权利要求所述的设备，其中，所述图案中的斑点具有在第一方向上拉长的形状，以及其中，所述图像处理器被配置来发现所述图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向上的各个偏移，从而得出所述三维图。
18.根据权利要求17所述的设备，其中，所述照明组件包括漫射体和光源，所述光源被配置来使一束相干光穿过所述漫射体，其中，该束相干光在所述漫射体处具有在第二方向上被拉长的轮廓。
19.根据权利要求12至15中的任一权利要求所述的设备，其中，所述成像组件被配置来在物体移动时捕捉连续图像，以及其中，所述图像处理器被配置来通过处理所述连续图像来跟踪所述物体的移动。
20.根据权利要求19所述的设备，其中，所述物体是人体的一部分，以及其中，所述图像处理器被配置来识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
21.根据权利要求17所述的设备，其中，所述成像组件被配置来在物体移动时捕捉连续图像，以及其中，所述图像处理器被配置来通过处理所述连续图像来跟踪所述物体的移动。
22.根据权利要求21所述的设备，其中，所述物体是人体的一部分，以及其中，所述图像处理器被配置来识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提供输入。
CN201010502415.0A 2006-03-14 2007-03-13 三维传感的深度变化光场 Active CN101957994B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction
ILPCT/IL2006/000335 2006-03-14
US78518706P 2006-03-24 2006-03-24
US60/785,187 2006-03-24
US85243606P 2006-10-16 2006-10-16
US60/852,436 2006-10-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200780009053.8A Division CN101501442B (zh) 2006-03-14 2007-03-13 三维传感的深度变化光场

Publications (2)

Publication Number Publication Date
CN101957994A CN101957994A (zh) 2011-01-26
CN101957994B true CN101957994B (zh) 2014-03-19

Family

ID=43485311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010502415.0A Active CN101957994B (zh) 2006-03-14 2007-03-13 三维传感的深度变化光场

Country Status (3)

Country Link
US (1) US8050461B2 (zh)
KR (1) KR101408959B1 (zh)
CN (1) CN101957994B (zh)

Families Citing this family (215)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043036A1 (en) * 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP4917615B2 (ja) * 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN101496033B (zh) * 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) * 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) * 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
FR2921719B1 (fr) * 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
DE112009001652T5 (de) 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
EP2166304A1 (de) * 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
EP2166305B1 (de) * 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
CN102203551B (zh) * 2008-10-06 2015-02-11 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8462207B2 (en) * 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
TWI379224B (en) * 2009-06-30 2012-12-11 Cheng Uei Prec Ind Co Ltd Optical positing apparatus and positing method thereof
US8417385B2 (en) * 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110188054A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
WO2011146259A2 (en) 2010-05-20 2011-11-24 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
TWI428568B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
JP5704885B2 (ja) * 2010-10-25 2015-04-22 オリンパスイメージング株式会社 撮影機器、撮影方法及び撮影制御プログラム
WO2012066501A1 (en) 2010-11-19 2012-05-24 Primesense Ltd. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
CA2824606A1 (en) 2010-12-30 2012-07-05 Irobot Corporation Mobile human interface robot
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
WO2012147702A1 (ja) 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
CN104011772B (zh) 2011-10-19 2017-02-15 克朗设备公司 基于识别和跟踪图像场景中的多个对象来控制车叉
US9165401B1 (en) * 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9113043B1 (en) 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9243890B2 (en) * 2011-10-25 2016-01-26 Semiconductor Components Industries, Llc Video overlay systems
GB201118970D0 (en) 2011-11-02 2011-12-14 Univ Sussex Target position,movement and tracking system
EP2589981A1 (de) * 2011-11-07 2013-05-08 Sick Ag Verfahren und Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen
US9518864B2 (en) 2011-12-15 2016-12-13 Facebook, Inc. Controllable optical sensing
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
KR101914469B1 (ko) * 2012-02-07 2018-11-02 엘지이노텍 주식회사 카메라 시스템 및 3차원 이미지 생성 방법
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9306999B2 (en) 2012-06-08 2016-04-05 Unitedhealth Group Incorporated Interactive sessions with participants and providers
WO2013185937A1 (en) 2012-06-13 2013-12-19 Koninklijke Philips N.V. Determining a propagation velocity for a surface wave
US9286530B2 (en) 2012-07-17 2016-03-15 Cognex Corporation Handheld apparatus for quantifying component features
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US20140120319A1 (en) * 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140210707A1 (en) * 2013-01-25 2014-07-31 Leap Motion, Inc. Image capture system and method
US9415963B2 (en) 2013-01-30 2016-08-16 Fife Corporation Sensor controller for interpreting natural interaction sensor for web handling
KR101399060B1 (ko) * 2013-02-14 2014-05-27 주식회사 앰버스 오브젝트를 감지할 수 있는 감지 시스템, 감지 장치 및 감지 방법
US9558555B2 (en) 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
WO2014145279A1 (en) 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9733715B2 (en) 2013-03-15 2017-08-15 Leap Motion, Inc. Resource-responsive motion capture
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
DE102013209448A1 (de) 2013-05-22 2014-11-27 Robert Bosch Gmbh Laserlichtmusterprojektor sowie Multikamerasystem mit dem Laserlichtmusterprojektor
CN103279982B (zh) * 2013-05-24 2016-06-22 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
WO2014203110A1 (en) 2013-06-19 2014-12-24 Primesense Ltd. Integrated structured-light projector
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
MX2016005338A (es) 2013-10-23 2017-03-20 Facebook Inc Representacion de profundidad tri-dimensional con el uso de luz estructurada dinamica.
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
WO2015199553A2 (en) * 2014-06-27 2015-12-30 Crown Equipment Limited Lost vehicle recovery utilizing associated feature pairs
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10768708B1 (en) 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US10296098B2 (en) * 2014-09-30 2019-05-21 Mirama Service Inc. Input/output device, input/output program, and input/output method
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
ES2774390T3 (es) * 2014-11-17 2020-07-20 Triotech Amusement Inc Método y sistema de juego para proyectar imágenes volumétricas en una escena física
US9958758B2 (en) * 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
JP6575795B2 (ja) 2015-03-11 2019-09-18 パナソニックＩｐマネジメント株式会社 人感検知システム
CN107637074B (zh) 2015-03-22 2020-09-18 脸谱科技有限责任公司 使用立体摄像机与结构化光的头戴显示器的深度绘制
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
DE102016208049A1 (de) * 2015-07-09 2017-01-12 Inb Vision Ag Vorrichtung und Verfahren zur Bilderfassung einer vorzugsweise strukturierten Oberfläche eines Objekts
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10417529B2 (en) 2015-09-15 2019-09-17 Samsung Electronics Co., Ltd. Learning combinations of homogenous feature arrangements
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
CN109964148B (zh) 2016-11-17 2023-08-01 特里纳米克斯股份有限公司 用于光学检测至少一个对象的检测器
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
WO2018167215A1 (en) 2017-03-16 2018-09-20 Trinamix Gmbh Detector for optically detecting at least one object
CN110431441B (zh) 2017-03-19 2023-09-15 科维塔公司 用于调制的图像捕获的系统和方法
DE102017106217B4 (de) * 2017-03-22 2019-02-28 Sick Ag Verfahren und Vorrichtung zur optoelektronischen Entfernungsmessung
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability
US20190012835A1 (en) 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
EP3444782B1 (en) 2017-08-19 2022-03-30 Cognex Corporation Coding distance topologies for structured light patterns for 3d reconstruction
CN111344592B (zh) 2017-08-28 2023-07-18 特里纳米克斯股份有限公司 确定至少一个对象的位置的检测器
KR102685226B1 (ko) 2017-08-28 2024-07-16 트리나미엑스 게엠베하 적어도 하나의 기하학적 정보를 판정하기 위한 측거기
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
CN108267098B (zh) * 2017-11-08 2019-07-09 先临三维科技股份有限公司 三维扫描方法、装置、系统、存储介质和处理器
JP6970376B2 (ja) 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US11262192B2 (en) * 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system
WO2019185993A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Extended focal plane imaging by using a gemstone manipulator
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
WO2019240010A1 (ja) 2018-06-11 2019-12-19 Ａｇｃ株式会社 回折光学素子、投影装置および計測装置
CN109282757B (zh) * 2018-07-27 2020-09-25 深圳大学 一种光场度量标定方法及标定系统
WO2020080169A1 (ja) 2018-10-15 2020-04-23 Ａｇｃ株式会社 回折光学素子および照明光学系
US11442282B2 (en) 2018-10-26 2022-09-13 Viavi Solutions Inc. Optical element including a plurality of regions
WO2020093294A1 (zh) * 2018-11-08 2020-05-14 深圳市汇顶科技股份有限公司 垂直腔面发光激光器、结构光模块及光投射方法与终端
CN113840129A (zh) 2019-01-17 2021-12-24 深圳市光鉴科技有限公司 一种具有3d摄像模组的显示装置和电子设备
CN109884653A (zh) * 2019-04-09 2019-06-14 西安交通大学 激光测距装置和激光测距方法
US11051001B2 (en) * 2019-05-29 2021-06-29 Avigilon Corporation Method and system for generating a two-dimensional and a three-dimensional image stream
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
TWI726559B (zh) * 2019-12-30 2021-05-01 財團法人工業技術研究院 輪廓測量系統和輪廓測量方法
US11162784B2 (en) 2019-12-30 2021-11-02 Industrial Technology Research Institute Profile measurement system and profile measurement method
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
US11710945B2 (en) 2020-05-25 2023-07-25 Apple Inc. Projection of patterned and flood illumination
US11699715B1 (en) 2020-09-06 2023-07-11 Apple Inc. Flip-chip mounting of optoelectronic chips
WO2022197339A1 (en) 2021-03-17 2022-09-22 Apple Inc. Waveguide-based transmitters with adjustable lighting

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1745387A (zh) * 2002-12-20 2006-03-08 泰勒斯公司 物体光学鉴别和标识的方法及其装置

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6404553B1 (en) 1994-02-07 2002-06-11 Engineered Support Systems, Inc. Phase active diffractive optical method
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) * 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) * 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
CA2275411A1 (en) 1996-12-20 1998-07-02 Lifef/X Networks, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US7303281B2 (en) 1998-10-07 2007-12-04 Tracey Technologies, Llc Method and device for determining refractive components and visual function of the eye for vision correction
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
SG84619A1 (en) 1999-12-28 2001-11-20 Mitsubishi Gas Chemical Co Edge bead remover
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6631647B2 (en) 2001-04-26 2003-10-14 Joseph B. Seale System and method for quantifying material properties
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
US6825985B2 (en) 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040130730A1 (en) 2002-11-21 2004-07-08 Michel Cantin Fast 3D height measurement method and system
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP2006528770A (ja) 2003-07-24 2006-12-21 コグニテンス リミテッド 対象物の３次元表面再構築の方法およびシステム
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CN101031837B (zh) 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
EP2235584B1 (en) 2008-01-21 2020-09-16 Apple Inc. Optical designs for zero order reduction
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8773514B2 (en) * 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1745387A (zh) * 2002-12-20 2006-03-08 泰勒斯公司 物体光学鉴别和标识的方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Didi Sazbon,et al.Qualitative real-time range extraction for preplanned scene partitioning using laser beam coding.《Pattern Recognition Letters》.2005,1772-1781. *
代红军 等.数字散斑时间序列相关三维面形测量方法.《光学学报》.2001,第21卷(第10期),1208-1213. *

Also Published As

Publication number Publication date
CN101957994A (zh) 2011-01-26
KR101408959B1 (ko) 2014-07-02
US8050461B2 (en) 2011-11-01
US20080106746A1 (en) 2008-05-08
KR20090006825A (ko) 2009-01-15

Similar Documents

Publication Publication Date Title
CN101957994B (zh) 三维传感的深度变化光场
CN101501442B (zh) 三维传感的深度变化光场
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
US8761495B2 (en) Distance-varying illumination and imaging techniques for depth mapping
KR101331543B1 (ko) 스페클 패턴을 이용한 3차원 센싱
US9885459B2 (en) Pattern projection using micro-lenses
JP5001286B2 (ja) 対象物再構成方法およびシステム
US9142025B2 (en) Method and apparatus for obtaining depth information using optical pattern
CN101496032B (zh) 使用斑纹解相关的距离映射的方法及设备
CN102636874B (zh) 具全幅对焦的3d影像撷取装置及方法
CN109938837B (zh) 光学跟踪系统及光学跟踪方法
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
JP2009511897A5 (zh)
US20020159070A1 (en) Method and apparatus for measuring diameter, distribution and so forth of micro gas bubbles and micro liquid droplets and optical system for measuring diameter, distribution and so forth of micro bubbles and micro liquid drop
TWI752905B (zh) 畫像處理裝置及畫像處理方法
US10096113B2 (en) Method for designing a passive single-channel imager capable of estimating depth of field
JP2001349713A (ja) 三次元形状測定装置
Lópeza et al. GPGPU-based surface inspection from structured white light

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141114

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: Israel Tel Aviv

Patentee after: PRIME SENSE Ltd.

Address before: Israel Hachayaer

Patentee before: Prime Sense Ltd.

TR01 Transfer of patent right

Effective date of registration: 20141114

Address after: American California

Patentee after: APPLE Inc.

Address before: Israel Tel Aviv

Patentee before: Prime Sense Ltd.