CN109073370A - 使用结构化照明的深度感测 - Google Patents

使用结构化照明的深度感测 Download PDF

Info

Publication number
CN109073370A
CN109073370A CN201780023730.5A CN201780023730A CN109073370A CN 109073370 A CN109073370 A CN 109073370A CN 201780023730 A CN201780023730 A CN 201780023730A CN 109073370 A CN109073370 A CN 109073370A
Authority
CN
China
Prior art keywords
target area
equipment
interference pattern
light
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780023730.5A
Other languages
English (en)
Inventor
S·瓦柳斯
M·尤霍拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109073370A publication Critical patent/CN109073370A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02049—Interferometers characterised by particular mechanical design details
    • G01B9/02054—Hand held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instruments For Measurement Of Length By Optical Means (AREA)

Abstract

一种包括照明布置的移动或便携式设备，所述照明布置包括光源以及被配置为形成由该光源发射的光的干涉图的振幅拆分干涉仪。所述照明布置被配置为用干涉图来照明距设备至少10cm的距离处的目标区域，从而将结构化光图案投射到目标区域上。该设备进一步包括图像传感器以及处理单元，该图像传感器被配置为捕捉用干涉图来照明的目标区域的至少一个数字图像帧，该处理单元被配置为获取至少一个数字图像帧的图像数据，并基于所获得的图像数据确定该目标区域中的至少一个对象位置相对于参考位置的深度。

Description

使用结构化照明的深度感测
背景
在各种便携式和移动设备中可结合基于相机的系统，该基于相机的系统被配置为用于对由相机拍摄的目标区域中存在的对象进行深度感测。深度感测可在通过结构化照明照亮目标区域的同时基于由目标区域的相机捕捉的一个或多个数字图像来执行。由深度感测生成的深度信息可被用于各种目的和应用，诸如目标区域的三维映射、距离测量、和基于姿势的用户界面，仅举几个示例。
深度感测的准确性和可靠性可能受到作为结构化光图案投射到目标区域上的结构化照明的准确性和稳定性的影响。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
公开了一种设备，其可被用于各深度感测目的，例如，针对距离或位移测量或、目标区域或存在于此类目标区域中的特定对象的三维映射、运动或姿势感测等。该设备可以是便携式或移动设备，诸如移动电话、智能电话、膝上型计算机、平板计算机、游戏控制器、游戏控制台、以及便携式或移动深度感测设备。
该设备可包括照明布置，该照明布置包含光源的及被配置为形成由光源发射的光的干涉图的振幅拆分干涉仪。照明布置可被配置为用干涉图来照明距设备至少10cm的距离处的目标区域，从而将结构化光图案投射到目标区域上。
该设备可进一步包括一个或多个图像传感器，其被配置为捕捉由干涉图照明的目标区域的至少一个数字图像帧。此外，该设备可包括处理单元，该处理单元被配置为获得至少一个数字图像帧的图像数据，并且基于所获得的图像数据确定目标区域中的至少一个对象位置相对于参考位置的深度。
通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。
附图描述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1和2以及5例示了能够执行深度感测的设备和成像模块；以及
图3和4例示了可产生用于深度感测的结构化照明的照明布置。
在图1至5中，设备、成像模块和照明布置被例示为示意图。附图并不是按比例的。
详细描述
下面结合附图提供的详细描述旨在作为数个实施例的描述，并不旨在表示可以构建、实现或使用各实施例的唯一形式。
图1的设备100包括照明布置110，该照明布置110包括光源111和属于振幅拆分类型的干涉仪112。干涉仪能够形成最初由光源发射的光的干涉图121。
照明布置整体被配置为将干涉图分布到围绕照明轴124的照明光束123中。因此，照明布置可用干涉图121来照明位于距离设备100 10cm或更远处的目标区域130。然后，干涉图形成被投射到目标区域上的结构化光图案122，该结构化光图案包括具有不同光强度的区域。用干涉图的所述照明可被视为结构化照明。
光源可包括能够发射光的任何光生成和/或发射元件或组件，其中干涉图可由振幅拆分干涉仪形成。由光源发射的光可以是相干的。光源可包括例如诸如激光二极管之类的发光二极管LED或激光器，其在需要的情况下配备有任何适当的光学器件。光源还可以是具有比LED或激光二极管更大面积的另一种(或多种)类型的发光元件。使用此类光源时，可通过使用窄缝或微孔来产生相干的或基本上相干的光，最初发射的光传播通过该窄缝或微孔，进而该窄缝或微孔作为线光源或点光源来操作。
“振幅拆分干涉仪”指的是其中特定区域中的光强度首先被拆分成被引导以沿不同路径传播的两个部分，此后经拆分的部分被干涉地重组以形成干涉图的干涉仪。振幅拆分干涉仪可被实现为非衍射干涉仪，即，其中干涉是基于与光的衍射不同的光学现象的干涉仪。
例如，通过使用局部反射器或半透明镜可实现对来自单个区域的强度的所述拆分和随后对这些不同部分的重组。在拆分之前和重组之后，光可形成单个照明光束，其在重组之后包括干涉图。
照明光束可以是准直的，或如图1中所例示的实施例中那样，其可以是发散的，即具有当距照明布置的距离增加时扩展的横截面。
在图1的实施例中，由其照明目标区域130的干涉图121进而将结构化光图案122形成到目标区域上，该结构化光图案122包括平行的直线干涉线阵列125。在其他实施例中，不同的干涉图可被用于形成不同种类的结构化光图案。例如，结构化光图案可由具有不同取向的干涉线阵列的二维网格形成。此外，结构化光图案可由包括具有干涉环形式的干涉线的(单数个或复数个)干涉图形成。
在图1中，手140被例示在目标区域中，表示存在于目标区域中的一般三维对象。自然地，在不同的实施例中，任何种类的生物或非生物对象都可存在于目标区域中。作为被照明的对象的手可涉及例如将设备100使用或实现作为用户输入设备，诸如运动控制器或装备的其他类型的基于姿势的用户界面。在其他实施例中，设备可被用于例如距离测量、对目标区域或其中的对象进行三维映射、或者其中利用深度感测的任何其他应用。
该设备包括其能够捕捉由图像传感器拍摄的场景的数字图像帧170的图像传感器150。图像传感器150被定位在照明轴124之外，照明光束围绕该照明轴124分布。因此，它具有与照明轴124的方向不同的查看方向。
“数字图像帧”(或简称为“帧”)是指经由图像传感器的像素或(一个或多个)某种其他感光元件的曝光来捕捉的数据内容。帧因而包括如下图像数据：其允许在该图像数据的基础上合成可显示的数字图像。数字图像的图像数据可包括例如与由图像传感器的像素接收到的光的能量和波长有关的信息。
图像传感器150可作为普通图像传感器被结合在设备100中、被连接到适当的控制系统以控制图像传感器并接收由其捕捉的帧的图像数据。外部光学器件可被包含在设备中，以用于例如将场景的图像聚焦到图像传感器上。替换地，图像传感器可被实现为完整的数码相机或相机模块，其除了实际图像传感器之外还包括任何适当的控制电子器件和光学器件。此类相机或相机模块可进一步包括例如图像处理单元。
设备还包括连接到图像传感器以接收由图像传感器捕捉的数字图像帧的图像数据的处理单元160。
当使用该设备时，光源111发射照明光，干涉仪112用其形成干涉图121。照明布置110用干涉图来照明目标区域130，从而将结构化光图案122投射到目标区域上。光源可发射它的光，和/或照明布置可以以连续方式或以脉冲方式照明目标区域。
图像传感器150在目标区域130被干涉图121照明时捕捉该目标区域的一个或多个数字图像帧170。
一个或多个图像帧或至少其图像数据然后被传送到处理单元160并被处理单元160获得。
“获得”数字图像帧的图像数据或其图像数据指的是提供可用的此类数据内容，以用于自动数据处理和/或存储目的的任何适当方式。该设备可包括图像传感器和处理单元之间的任何适当的有线或无线数据传输连接。
基于所获得的图像数据，处理单元确定至少对象位置180A在目标区域中相对于参考位置的深度。
“深度”通常指的是目标区域和/或存在于目标区域中的对象的三维特征。“参考位置”指的是在虚拟参考平面上的位置，对象位置的深度相对于该平面被确定。位于与该参考平面平行的任何单个平面上的所有对象位置都具有相同的零深度。另一方面，对象位置与此类参考深度的偏差导致对象位置的非零深度。参考平面可被定义为位于偏离照明轴124的方向的任何方向上。
通常，参考位置可被定义为与设备的位置一致或以其他方式与设备的位置相关。然后，对象相对于此类参考位置的“深度”可被视为对象位置距设备或距相对于设备定义的另一参考位置的距离。例如，此类方式可被用于距离测量应用，其中存在于目标区域中的对象或此类对象的特定点距设备的距离将被测量。
在图1所例示的实施例中，替换方式被使用。处理单元160确定对象位置180A相对于目标域中的参考位置180B的深度DAB。此类相对深度信息可如此使用以指示对象位置180A距特定参考位置的深度。替换地，可针对多个对象位置确定此类相对深度信息，由此确定存在于目标区域130内的诸如手140之类的对象的三维轮廓是可能的。三维信息可被用于各种应用，诸如对设备周围环境的三维映射，或识别存在于目标区域中的人或人的身体部分的姿势或存在。
在实际深度判定中，可以应用利用结构化照明的深度感测已知的任何算法、方法和原理。深度判定可以基于当图像传感器从与结构化照明的照明轴124的方向不同的查看方向观察时，投射到存在于目标域内的一个或多个三维对象上的结构化光图案122的变形。此类变形通过使手140上的干涉线屈曲被例示在图1中，这通常表示有三维对象存在于目标区域130中。在一些应用中，深度感测可至少部分地基于作为对象或对象位置距照明布置的距离的函数的结构化光图案的特征的大小的变化。
使用干涉图作为结构化光图案的基础，即借助于干涉仪形成结构化照明可在确定一个或多个对象位置的深度方面提供某些优点。例如，振幅拆分干涉仪的操作以及由此产生的干涉图的特性可能对温度变化或照明光的实际波长较预期波长的小偏差相对不敏感。此外，干涉图可被实现为紧凑的、小型化的光学系统，其可有助于将照明布置特别地结合到具有有限可用空间和设备厚度的移动和便携式设备中。
被配置为照明距照明布置10cm或更远距离处的目标区域的照明布置可有利地实现多种不同目标区域的照明和用于多种不同目的的深度感测。目标区域距设备或照明布置的距离的上限可主要由可用的照明光强度定义。照明布置可被配置为例如，距设备或者距照明布置10cm至10m的距离处的照明目标区域。
为了促进对目标区域中的各种位置的深度感测并允许对大目标区域的三维映射，照明场可被配置为是相对宽的。例如，照明布置110可被配置为将干涉图121分布到具有50度或更高的最小角度αmin的照明场中。
“照明场”指的是包括干涉图的照明光由照明布置分布或传送到其中的光束或锥体。照明场可以是圆形对称的，在这种情况下，无论其定义的方向如何，照明场的角度都是相同的。替换地，照明光可被分布成具有例如矩形横截面的光束或锥体。被例示在图1中的实施例表示这种类型的示例。
照明场的“最小角度”αmin指的是在其最窄方向上定义的视野照明的角度。
光源111可被配置为发射红外光。“红外光”指的是具有在具有大约700或800纳米的下端的范围内具有波长的光。使用红外光作为照明光可改善在一些应用中的用户体验，因为用于深度感测的照明光可能对于人眼而言是不可见的。图像传感器150可被配置为检测或感测与光源发射的光的波长范围相同的光。
图2的设备200与图1的设备的不同之处在于它包括两个图像传感器250A、250B。这两者都连接到处理单元260。在图2的实施例中，两个图像传感器都被定位在照明轴224之外，并因此它们具有不同的查看方向。
当设备被使用时，每个图像传感器捕捉由干涉图照明的目标区域230的至少一个数字图像帧270A、270B，并从而在其上具有结构化光图案222。
一个或多个数字图像帧或其图像数据由处理单元260获得，该处理单元260基于所获得的图像数据确定至少一个对象位置280A相对于参考位置的深度。
参照由图1到2的设备100、200的处理单元160、260执行的操作，对于处理单元被配置成执行这些操作有各种可能性。例如，图像处理单元可以包括至少一个处理器和耦合到所述至少一个处理器的至少一个存储器，所述存储器存储程序代码指令，所述程序代码指令在所述至少一个处理器上运行时使所述处理器执行所讨论的(一个或多个)动作。替换地或附加地，在功能上描述的特征可以至少部分由一个或多个硬件逻辑组件来执行。作为示例而非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在任何设备中，处理单元可以是被专门设计成用于以上操作的单独单元。替换地，该处理单元可以是该装备的也执行其他操作和动作的共用处理单元。该处理单元可被分成具有单独目的的两个或更多个子单元。
在图2的实施例中，包括光源211和干涉仪212的照明布置210以及图像传感器250A、250B被实现为集成在设备200中的成像模块290。
成像模块290可具有成像模块的适当照明和图像捕捉操作所需的所有机械和光学组件，以及光源211、干涉仪212和图像传感器250A、250B之间的连接元件。此类成像模块可因此被实现为可集成到各种类型的设备的模块，并且该模块可将由图像传感器捕捉的数字图像帧的图像数据传送到外部处理单元以供进一步处理。
在另一实施例中，具有单个图像传感器的成像模块可被实现，该成像模块具有照明布置和图像传感器，其可以与上面参考图1所讨论的那些一致。
图1和2中的任何设备100、200可被实现为例如移动电话或智能电话。在其他实施例中，设备可被实现为膝上型计算机、平板计算机或用作诸如游戏控制台的运动感测输入设备或另一交互式可控的设备或装备之类的用户界面的游戏控制器(例如，运动控制器)。此外，设备可被实现为游戏控制台本身，或者实现为游戏控制台的运动检测器或运动感测设备。在又一实施例中，设备可被实现为特定深度感测设备或装备，诸如测距仪或三维映射设备。此类深度感测设备或装备可以是独立设备或装备。替换地，此类深度感测设备可被实现为模块化设备或深度感测模块，其可集成到任何类型的设备、装备、系统中，其中目标区域的深度信息被用于进一步的目的。
从操作或方法的观点来看，任何设备100、200都可执行下文描述的过程。设备及其单元、元件和部件因此代表能够执行过程的操作的实体的示例。
该过程始于：提供可包括红外光或完全由红外光组成的照明光。通过对照明光进行振幅拆分并干涉地组合由此拆分的照明光来形成干涉图。
用干涉图来照明目标区域，该目标区域位于距经拆分的照明光的干涉重组的位置至少10cm的距离处。由此，结构化光图案被投射到目标区域上。为了用干涉图来照明目标区域，干涉图和结构化光图案可被分布到具有50度或更大的最小角度的照明场中。
当目标区域被干涉图照明时，该干涉图的一个或多个数字图像帧被捕捉。
获得一个或多个数字图像帧的图像数据，并且基于至少一个数字图像帧的图像数据自动地确定目标区域中的至少一个对象位置相对于参考位置的深度。
“自动地”执行操作指的是由一个或多个合适的数据处理单元或模块(诸如上文参考图1和2讨论的处理单元)根据预定规则或规程来执行待裁决操作，而无需包含这一单元或模块的设备的用户提供任何贡献或执行任何判定。
执行上述过程不限于图1和2的设备。相反，该过程可由任何适当的设备或装备执行，或者由具有执行那些操作的能力的多个设备和/或装备执行。
图3的照明布置310表示可被用于图1和2的设备和成像模块的照明布置的示例。
照明布置包括用作光源的激光二极管311。在使用时，它发射可以是准直的照明光束323。此外，照明布置包括振幅拆分非衍射干涉仪320。
干涉仪320包括半透明镜313，该半透明镜313在照明光束323的路径中位于激光二极管311的前面。也可被认为是局部反射器的半透明镜用作将由激光二极管发射的照明光束的强度拆分成两个部分或子光束323A、323B的光束分束器。
镜313的半透明度或局部反射率可通过例如其上具有薄金属涂层的玻璃板来实现。
干涉仪320进一步包括两个反射器或镜314A、314B，它们位于半透明镜313的相对侧。这两个反射器不是完全平行的，而是相对于彼此以小角度(未被例示在图3的图中)定位。该角度可以是例如子角度范围。例如，它可以是0.05到0.3度(例如，0.1度)。
这些反射器反射子光束并将它们传送回半透明镜313，半透明镜313再次将它们重组为一个单个照明光束323。
由于两个反射器之间的轻微倾斜，两个子光束干涉地重组，使得在干涉仪之后，照明光束323包括干涉图321，该干涉图321具有形成结构化光图案322的多个平行的干涉线325或条纹，该结构化光图案322可作为结构化照明被投射到目标区域上。
图3的照明布置310进一步包括多个透镜315，该多个透镜315被配置成使重组的照明光束323成形并将其分布到扩展的锥形照明场中。
图4的照明布置410表示可被用于图1和2的设备和成像模块的照明布置的另一示例。
图4的照明布置410与图3的照明布置的不同之处在于它包括两个用作光源的激光二极管411’、411”，该两个激光二极管中的每一个激光二极管在使用时发射一照明光束。照明布置包括两个振幅拆分的非衍射干涉仪420’、420”，其可以是例如根据图3的干涉仪。每个干涉仪都被配置为接收来自一个激光二极管的照明光束，并且形成干涉图421’、421”，通过使用该干涉图421’、421”结构化光图案422可被投射到目标区域上。因此，目标区域可被两个干涉图421’、421”照明。
在另一实施例中，代替两个单独的激光二极管，照明布置可包括诸如激光二极管之类的一个单个光源，来自其的光可被拆分成向两个单独的干涉仪引导的两个照明光束。
在图4所例示的实施例中，由两个干涉仪形成的每个干涉图421’、421”包括平行的直线干涉线425’、425”或条纹阵列，两个干涉图的干涉线被基本上彼此垂直地引导。因此，这两个阵列形成干涉线的二维网格。在其他实施例中，干涉线的其他相对方向可被使用。此外，还可产生完全其他类型的干涉图，诸如包括同心干涉环的干涉图。两个干涉仪可产生不同类型的干涉图。
包括两个或甚至更多个干涉仪的照明布置可以在设计由至少两个干涉图形成的要投射到目标域上的结构化光图案方面提供更大的自由度。结构化光图案可然后被设计和产生，其与基于一个单个干涉仪和一个单个干涉图的实施例相比可进一步提高深度感测的准确度和/或可靠性。
图3和图4中的任何照明布置310、410可被实现为整体照明模块，其包括上面讨论的所有那些组件并具有允许结合到移动或便携式设备中的尺寸。例如，此类照明模块可具有约5至10毫米的最大尺寸。
在其他实施例中，可实现利用其他类型的光源而不是激光二极管的照明布置。例如，具有窄发射带的发光二极管可被用于发射照明光束。
可根据迈克尔逊(Michelson)型干涉仪的原理设计图3和4的各实施例的干涉仪320、420。在其他实施例中，代替基于光束分束器和镜的干涉仪，其他类型的振幅拆分干涉仪可被使用。例如，照明布置可以基于法布里-珀罗(Fabry-Pérot)干涉仪。此外，简单的干涉仪结构可被实现为仅基于具有两个相对的局部反射表面的薄光学透明膜的薄膜干涉仪
通常，照明布置可包括任何适当的振幅拆分或非衍射干涉仪类型，该振幅拆分或非衍射干涉仪类型能够形成可被用于深度感测的结构化照明的干涉图。
图5的设备500与图1的设备的不同之处在于其照明布置510被配置成在使用时用由具有不同波长的光形成的两个干涉图521A、521B来照明目标区域530。每个干涉图形成被一次一个地投射到目标区域530上的结构化光图案522A、522B。由于一次用一个干涉图来照明，在图5的图中仅示出了一个干涉图和相应的结构化光图案。
当使用时，图像传感器550针对每个不同波长捕捉目标区域的至少一个数字图像帧570A、570B。处理单元560针对每个波长获得至少一个数字图像帧的图像数据，并且基于由此获得的图像数据确定目标区域中的至少一个对象位置580相对于参考深度的深度。
在替换实施例中，照明布置可用不同波长的两个干涉图同时地照明目标区域。然后，图像传感器可捕捉一个或多个数字图像帧，每个数字图像帧都在用这两个波长照明目标区域的同时被捕捉。
具有至少两个不同波长的结构化照明可在深度感测方面提供优点，这是因为在干涉仪中不同波长的表现至少略有不同，结构光图案也有些不同。因此，与使用一个单个照明波长时相比，可以获得更多关于目标域中的深度条件的信息。
“波长”指的是波长范围的中间波长，其足够窄以用干涉图适当地提供结构化光图案。因此，此类波长范围实际上可以包括多个相邻波长。
“被配置为”以特定方式操作或执行特定操作的一些组件、设备、模块、或元件指的是包括或其自身用作”以此方式操作或执行这些操作的装置的组件、设备、模块、或元件。例如，被配置为用干涉图来照明目标区域的照明布置意味着所述照明布置包括或用作用干涉图来照明目标区域的装置。
以下进一步简短地讨论一些实施例。
在第一方面中，移动或便携式设备包括：照明布置，该照明布置包括光源和振幅拆分干涉仪，该振幅拆分干涉仪被配置为形成由该光源发射的光的干涉图，该照明布置被配置为用该干涉图来照明距该设备至少10cm的距离处的目标区域，从而将结构化光图案投射到该目标区域上；图像传感器，该图像传感器被配置为捕捉用干涉图来照明的目标区域的至少一个数字图像帧；以及处理单元，该处理单元被配置为获取至少一个数字图像帧的图像数据，并基于所获得的图像数据确定该目标区域中的至少一个对象位置相对于参考位置的深度。
从另一观点来看，移动或便携式设备可包括：用于发射光的装置；用于形成经发射的光的干涉图的装置；用于用该干涉图来照明距该设备至少10cm的距离处的目标区域从而将结构化光图案投射到该目标区域上的装置；用于捕捉用该干涉图来照明的该目标区域的至少一个数字图像帧的装置；用于获得该至少一个数字图像帧的图像数据，并基于所获得的图像数据确定该目标区域中的至少一个对象位置相对于参考位置的深度的装置。用于可集成两个或更多个操作的装置，使得相同的装置可用于多个操作。
在一个实施例中，照明布置或用于照明目标区域的装置被配置为将干涉图分布到具有至少50度的最小角度的照明场中。
在可根据前述实施例的实施例中，光源或用于发射光的装置被配置为发射红外光。
在可根据任一前述实施例的实施例中，光源或用于发射光的装置包括激光二极管。
在可根据任一前述实施例的实施例中，光源和干涉仪，或者用于发射光的装置和用于形成干涉图的装置被结合到照明模块中。
在可根据任一前述实施例的实施例中，照明布置或用于形成干涉图的装置包括：被配置为分别形成至少两个干涉图的至少两个振幅拆分干涉仪，照明布置或用于照明目标区域的装置被配置为用该至少两个干涉图来照明目标区域。
在可根据任一前述实施例的实施例中，照明布置或用于发射光的装置和用于形成干涉图的装置包括：至少两个光源和至少两个振幅拆分干涉仪，每个干涉仪都被配置为形成由至少两个光源中的一个光源发射的光的干涉图，该至少两个干涉仪进而形成至少两个干涉图，照明布置或用于照明目标区域的装置被配置为用该至少两个干涉图来照明目标区域。
在可根据任一前述实施例的实施例中，至少两个干涉图包括第一干涉图和第二干涉图，该第一干涉图包括在第一方向上延伸的用于将第一结构化光图案投射到该目标区域上的第一干涉线阵列，该第二干涉图包括在与该第一方向不同的第二方向上延伸的用于将第二结构化光图案投射到该目标区域上的第二干涉线阵列，该第一干涉线阵列和第二干涉线阵列形成干涉线的二维网格。
在可根据任一前述实施例的实施例中，照明布置或用于照明目标区域的装置被配置为用具有不同波长的光的至少两个干涉图来照明目标区域，从而将具有不同波长的至少两个结构化光图案投射到目标区域上；至少一个图像传感器或用于捕捉至少一个数字图像帧的装置被配置为捕捉用不同波长中的每一者照明的目标区域的至少一个数字图像帧；以及处理单元或用于获取图像数据和确定深度的装置，被配置为获得至少一个数字图像的图像数据，并基于所获得的图像数据确定目标区域中的至少一个对象位置的深度。
在上述实施例中，可一次用不同波长中的一者照明目标区域。然后，至少一个数字图像帧可包括针对每个照明波长捕捉的至少一个数字图像帧。替换地，可同时用不同波长中的每一者照明目标区域。
在可根据任一前述实施例的实施例中，相对于设备来定义参考位置。在替换实施例中，相对于目标区域中的位置来定义参考位置。
在可根据任一前述实施例的实施例中，该设备包括至少两个图像传感器，每个图像传感器都被配置为捕捉由干涉图照明的目标区域的至少一个数字图像帧；处理单元或用于获取图像数据和确定深度的装置被配置为获取至少两个图像传感器的至少一个数字图像帧的图像数据，并基于所获得的图像数据确定目标区域中的至少一个对象位置相对于参考位置的深度。
在可根据任一前述实施例的实施例中，设备被实现为移动电话、智能电话、膝上型计算机、平板计算机、游戏控制器、游戏控制台、和深度感测设备中的一者。
在第二方面，可集成到移动或便携式设备中的成像模块可被实现。成像模块包括被配置为产生照明光束的光源；被配置为形成干涉图的非衍射干涉仪，该成像模块被配置为绕照明轴将干涉图发射到距该成像模块至少10cm的距离处的目标区域上，该干涉图要被投射为包含具有不同光强度的区域的结构化光图案；以及图像传感器，该图像传感器被配置为捕捉由被投射到其上的该结构化光图案照明的该目标区域的数字图像帧，该图像传感器被定位在该照明轴之外以允许基于该数字图像帧的图像数据确定该目标区域中的至少一个对象位置相对于参考位置的深度。
在一实施例中，成像模块被配置为将干涉图发射到具有至少50度的最小角度的照明场中。
在可根据前述实施例的实施例中，成像模块包括两个图像传感器，每个图像传感器都被配置成捕捉由被投射到其上的结构化光图案照明的目标区域的数字图像帧，该两个图像传感器以不同于彼此的查看方向被定位在照明轴之外，以允许基于由两个图像传感器捕捉的数字图像帧的图像数据确定目标区域中的至少一个对象位置相对于参考位置的深度。
在第三方面，可执行一种方法，包括：提供照明光；通过对照明光进行振幅拆分并干涉地组合经拆分的照明光来形成干涉图；用干涉图来照明至少10cm的距离处的目标区域，从而将结构化光图案投射到目标区域上；捕捉由干涉图照明的目标区域的至少一个数字图像帧；获得至少一个数字图像帧的图像数据，并基于所获得的图像数据自动地确定目标区域中的至少一个对象位置相对于参考位置的深度。
可由包括一个或多个元件、单元或设备的任何适当的装置至少部分地自动执行每个操作。例如，可存在一种处理单元，其在使用时控制包括一个或多个光源和一个或多个干涉仪、以及一个或多个图像传感器的照明布置，从而导致以下操作：提供光、形成干涉图、用干涉图来照明目标区域、以及捕捉数字图像帧。相同或另一处理单元可执行以下操作：获得图像数据和确定至少一个对象位置的深度。以上参考第一和第二方面给出了执行操作的合适实体的更多示例。
在一实施例中，在用干涉图对目标区域进行照明时，结构化光图案被分布到具有至少50度的最小角度的照明场中。
在可根据前述实施例的实施例中，该方法包括形成至少两个干涉图；以及用至少两个干涉图来照明目标区域；其中在用至少两个干涉图对目标区域进行照明时，目标区域的至少一个数字图像帧被捕捉。
在可根据任一两个前述实施例的实施例中，照明光包括红外光。
虽然本发明实施例中的一些在本文中可被描述并例示为实现在诸如智能电话、移动电话、或平板计算机、膝上型计算机、游戏控制台或游戏控制器之类的特定类型的设备中，但它们只是设备的示例而非限制。如本领域技术人员将领会的，本公开各实施例适于应用在各种不同类型的设备和装备中。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
将会理解，以上所描述的益处及优点可以涉及一个实施例或可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例、或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。
术语“包括”在本说明书中被用来意指包括此后伴随的(一个或多个)特征或(一个或多个)动作，而不排除一个或多个附加特征或动作的存在。

Claims (15)

1.一种移动或便携式设备，包括：
照明布置，所述照明布置包括光源和振幅拆分干涉仪，所述振幅拆分干涉仪被配置为形成由所述光源发射的光的干涉图，所述照明布置被配置为用所述干涉图来照明距所述设备至少10cm的距离处的目标区域，从而将结构化光图案投射到所述目标区域上；
图像传感器，所述图像传感器被配置为捕捉由所述干涉图照明的所述目标区域的至少一个数字图像帧；以及
处理单元，所述处理单元被配置为获得所述至少一个数字图像帧的图像数据，并且基于所获得的图像数据确定所述目标区域中的至少一个对象位置相对于参考位置的深度。
2.如权利要求1所述的设备，其特征在于，所述照明布置被配置为将所述干涉图分布到具有至少50度的最小角度的照明场中。
3.如权利要求1所述的设备，其特征在于，所述光源被配置为发射红外光。
4.如权利要求1所述的设备，其特征在于，所述光源包括激光二极管。
5.如权利要求1所述的设备，其特征在于，所述光源和所述干涉仪被结合在照明模块中。
6.如权利要求1所述的设备，其特征在于，所述照明布置包括被配置为分别形成至少两个干涉图的至少两个振幅拆分干涉仪，所述照明布置被配置为用所述至少两个干涉图来照明所述目标区域。
7.如权利要求1所述的设备，其特征在于，所述照明布置包括至少两个光源和至少两个振幅拆分干涉仪，每个干涉仪被配置为形成由所述至少两个光源中的一个光源发射的光的干涉图，所述至少两个干涉仪从而形成至少两个干涉图，所述照明布置被配置为用所述至少两个干涉图来照明目标区域。
8.如权利要求6或7所述的设备，其特征在于，所述至少两个干涉图包括第一干涉图和第二干涉图，所述第一干涉图包括在第一方向上延伸的用于将第一结构化光图案投射到所述目标区域上的第一干涉线阵列，所述第二干涉图包括在与所述第一方向不同的第二方向上延伸的用于将第二结构化光图案投射到所述目标区域上的第二干涉线阵列，所述第一干涉线阵列和第二干涉线阵列形成干涉线的二维网格。
9.如权利要求1所述的设备，其特征在于，所述照明布置被配置为用具有不同波长的光的至少两个干涉图来照明所述目标区域，从而将具有不同波长的至少两个结构化光图案投射到所述目标区域上；所述至少一个图像传感器被配置为捕捉由所述不同波长中的每一个波长照明的所述目标区域的至少一个数字图像帧；所述处理单元被配置为获得所述至少一个数字图像帧的图像数据，并基于所获得的图像数据确定所述目标区域中的所述至少一个对象位置的所述深度。
10.如权利要求1所述的设备，其特征在于，所述参考位置是相对于所述设备来被定义的。
11.如权利要求1所述的设备，其特征在于，所述参考位置是相对于所述目标区域中的位置来被定义的。
12.如权利要求1所述的设备，其特征在于，包括至少两个图像传感器，每个图像传感器被配置为捕捉由所述干涉图照明的所述目标区域的至少一个数字图像帧；所述处理单元被配置为获取所述至少两个图像传感器的所述至少一个数字图像帧的图像数据，并基于所获得的图像数据确定所述目标区域中的至少一个对象位置相对于参考位置的深度。
13.如权利要求1所述的设备，其特征在于，被实现为移动电话、智能电话、膝上型计算机、平板计算机、游戏控制器、游戏控制台、和深度感测设备中的一者。
14.一种方法，包括：
提供照明光；
通过对所述照明光进行振幅拆分并干涉地组合经拆分的照明光来形成干涉图；
用所述干涉图来照明至少10cm的距离处的目标区域，从而将结构化光图案投射到所述目标区域上；
捕捉由所述干涉图照明的所述目标区域的至少一个数字图像帧；
获得所述至少一个数字图像帧的图像数据，并基于所获得的图像数据自动地确定所述目标区域中的至少一个对象位置相对于参考位置的深度。
15.如权利要求14所述的方法，其特征在于，在用所述干涉图对目标区域进行照明时，所述结构化光图案被分布到具有至少50度的最小角度的照明场中。
CN201780023730.5A 2016-04-15 2017-04-11 使用结构化照明的深度感测 Pending CN109073370A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/130,908 2016-04-15
US15/130,908 US10136120B2 (en) 2016-04-15 2016-04-15 Depth sensing using structured illumination
PCT/US2017/026878 WO2017180543A1 (en) 2016-04-15 2017-04-11 Depth sensing using structured illumination

Publications (1)

Publication Number Publication Date
CN109073370A true CN109073370A (zh) 2018-12-21

Family

ID=58578997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023730.5A Pending CN109073370A (zh) 2016-04-15 2017-04-11 使用结构化照明的深度感测

Country Status (4)

Country Link
US (1) US10136120B2 (zh)
EP (1) EP3443296B1 (zh)
CN (1) CN109073370A (zh)
WO (1) WO2017180543A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153347A (zh) * 2019-01-28 2022-10-11 原相科技股份有限公司 消除检测死角的机器人

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545457B2 (en) * 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
FI128523B (en) 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
CN109951695B (zh) * 2018-11-12 2020-11-24 北京航空航天大学 基于手机的自由移动光场调制三维成像方法和成像系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072122A1 (en) * 2004-09-30 2006-04-06 Qingying Hu Method and apparatus for measuring shape of an object
CN103148778A (zh) * 2011-12-05 2013-06-12 考克利尔维修工程 与3d轮廓术组合的相位步进错位干涉法的低相干干涉系统
US20140168370A1 (en) * 2012-12-14 2014-06-19 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
CN104677305A (zh) * 2015-02-11 2015-06-03 浙江理工大学 一种基于十字结构光的物体表面三维重建方法和系统
CN104937367A (zh) * 2013-01-17 2015-09-23 赛博光学公司 用于电路板的三维成像的多照相机传感器
CN105102925A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4387994A (en) * 1980-02-04 1983-06-14 Balasubramanian N Optical system for surface topography measurement
US5361308A (en) * 1992-01-10 1994-11-01 General Motors Corporation 3-D measurement of cutting tool wear
WO1999058930A1 (en) 1998-05-14 1999-11-18 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
GB9903638D0 (en) 1999-02-17 1999-04-07 European Community A measurement method and measurement apparatus
US6525824B1 (en) 1999-06-29 2003-02-25 California Institute Of Technology Dual beam optical interferometer
DE10056186A1 (de) * 2000-11-13 2002-05-29 Inb Vision Ag Verfahren zur optischen 3D-Vermessung durch Auswertung von Raum-Mustern
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7324214B2 (en) 2003-03-06 2008-01-29 Zygo Corporation Interferometer and method for measuring characteristics of optically unresolved surface features
US7230717B2 (en) 2003-08-28 2007-06-12 4D Technology Corporation Pixelated phase-mask interferometer
IL174590A (en) 2005-03-29 2015-03-31 Yoel Arieli A method and an imaging system for the analysis of optical properties of an object illuminated by a light source
US7564568B2 (en) 2006-03-02 2009-07-21 Zygo Corporation Phase shifting interferometry with multiple accumulation
DE102006021557B3 (de) 2006-05-08 2007-07-12 Carl Mahr Holding Gmbh Vorrichtung und Verfahren zur kombinierten interferometrischen und abbildungsbasierten Geometrieerfassung, insbesondere in der Mikrosystemtechnik
KR100737177B1 (ko) 2006-05-15 2007-07-10 경북대학교 산학협력단 수직 공진 표면광 레이저를 이용한 간섭계
US7414708B2 (en) 2006-08-01 2008-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Interferometric Rayleigh scattering measurement system
CA2672900C (en) 2006-12-21 2015-02-17 Johnson & Johnson Vision Care, Inc. Interferometry testing of lenses, and systems and devices for same
US8174761B2 (en) 2009-06-10 2012-05-08 Universitat Heidelberg Total internal reflection interferometer with laterally structured illumination
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8723923B2 (en) 2010-01-14 2014-05-13 Alces Technology Structured light system
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8526008B2 (en) 2010-12-17 2013-09-03 Corning Incorporated Interferometer with paraboloidal illumination and imaging optic and tilted imaging plane
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9867525B2 (en) 2011-04-01 2018-01-16 Nanyang Technological University High sensitivity temporal focusing widefield multiphoton endoscope capable of deep imaging
CN103322937A (zh) 2012-03-19 2013-09-25 联想(北京)有限公司 一种结构光法测量物体深度的方法及装置
US10095183B2 (en) 2013-06-21 2018-10-09 University Of South Florida Full-color incoherent digital holography
JP6297687B2 (ja) * 2013-11-06 2018-03-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． シェービング処理中に利用者をガイドするためのシステム及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072122A1 (en) * 2004-09-30 2006-04-06 Qingying Hu Method and apparatus for measuring shape of an object
CN103148778A (zh) * 2011-12-05 2013-06-12 考克利尔维修工程 与3d轮廓术组合的相位步进错位干涉法的低相干干涉系统
US20140168370A1 (en) * 2012-12-14 2014-06-19 Faro Technologies, Inc. Device for optically scanning and measuring an environment
CN104937367A (zh) * 2013-01-17 2015-09-23 赛博光学公司 用于电路板的三维成像的多照相机传感器
CN105102925A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
CN104677305A (zh) * 2015-02-11 2015-06-03 浙江理工大学 一种基于十字结构光的物体表面三维重建方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153347A (zh) * 2019-01-28 2022-10-11 原相科技股份有限公司 消除检测死角的机器人
CN115153347B (zh) * 2019-01-28 2023-12-26 原相科技股份有限公司 消除检测死角的机器人

Also Published As

Publication number Publication date
EP3443296B1 (en) 2022-02-16
US20170302907A1 (en) 2017-10-19
EP3443296A1 (en) 2019-02-20
US10136120B2 (en) 2018-11-20
WO2017180543A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
US10721459B2 (en) Scanning projectors and image capture modules for 3D mapping
US11067692B2 (en) Detector for determining a position of at least one object
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN107407727B (zh) 用于光检测与测距光学对准的方法与系统
US10571668B2 (en) Catadioptric projector systems, devices, and methods
US20160134860A1 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
US6977732B2 (en) Miniature three-dimensional contour scanner
CN109073370A (zh) 使用结构化照明的深度感测
AU2004291813B2 (en) Proximity detector
US20160044301A1 (en) 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN107896506A (zh) 距离传感器
CN107783353A (zh) 用于捕捉立体影像的装置及系统
EP3069100A2 (en) Collimation and homogenization system for an led luminaire
WO2017077276A1 (en) Systems and methods for forming models of three dimensional objects
CN109426818A (zh) 用于识别视线外对象的装置
JP5770495B2 (ja) 形状計測装置および格子投影装置
US11920919B2 (en) Projecting a structured light pattern from an apparatus having an OLED display screen
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
JP2009097940A (ja) 形状測定装置
JP2005331413A (ja) 距離画像取得システム
JP2023065240A (ja) パターンプロジェクタ、計測装置、制御システム、及び物品の製造方法
KR20210138451A (ko) 카메라 장치
KR20100089750A (ko) 센서로 이미지를 만들기 위한 디바이스, 및 이러한 디바이스를 포함하는 부품 배치 유닛

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221

RJ01 Rejection of invention patent application after publication