CN107209008B - 结构化光图案生成 - Google Patents

结构化光图案生成 Download PDF

Info

Publication number
CN107209008B
CN107209008B CN201680007326.4A CN201680007326A CN107209008B CN 107209008 B CN107209008 B CN 107209008B CN 201680007326 A CN201680007326 A CN 201680007326A CN 107209008 B CN107209008 B CN 107209008B
Authority
CN
China
Prior art keywords
light
pseudorandom
diffuser element
illumination
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680007326.4A
Other languages
English (en)
Other versions
CN107209008A (zh
Inventor
J·胡德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107209008A publication Critical patent/CN107209008A/zh
Application granted granted Critical
Publication of CN107209008B publication Critical patent/CN107209008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/021—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures
    • G02B5/0221—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures the surface having an irregular structure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0263—Diffusing elements; Afocal elements characterised by the diffusing properties with positional variation of the diffusing properties, e.g. gradient or patterned diffuser

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本文所公开的图案投射仪生成并投射适合用于各种主动深度感测技术的结构化光图案。在一个实现中，通过将相干光束引导通过伪随机漫射器元件来生成结构化光图案。伪随机漫射器元件的输出由被配置成空间滤波入射光以生成输出光斑照明并将该输出光斑照明投射到三维场景的中继光学器件接收。

Description

结构化光图案生成
背景
立体视觉涉及通过从两个不同视角比较关于场景的信息来从图像中提取三维信息。传统立体算法被用于根据彩色图像生成深度图。
概述
本文描述和要求保护的实现通过使相干光束通过伪随机漫射器元件来生成结构化光图案。来自伪随机漫射器元件的光输出被中继光学器件空间滤波并投射。经投射和空间滤波的光可被适当的光感测装置检测到，并被用于为二维图像中的物体计算第三维度。
在一个实现中，系统包括被配置成接收相干光输入并输出中间光斑照明的伪随机漫射器元件。中继光学器件被定位成从伪随机漫射器元件接收中间光斑照明。中继光学器件空间滤波中间光斑照明以生成输出光斑照明。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
本文还描述和列举了其他实现。
附图简述
图1例示出了包括被配置成生成三维场景的深度图的多媒体系统的示例多媒体环境。
图2例示出了用于将结构化光图案投射到三维场景的示例图案投射仪。
图3例示出了用于将结构化光图案投射到三维场景的另一示例图案投射仪。
图4例示出了用于主动深度感测的示例捕捉设备。
图5例示出了用于主动深度感测的示例操作。
图6例示了可以对实现所描述的技术有用的示例系统。
详细描述
传统立体算法在其有效性上受限于场景中相关特征的数量以及诸如场景中的亮度恒定之类的假设两者。
结构化红外(IR)图案被投射到场景上并被单个IR相机拍摄。基于光图案的形变，关于底层视频场景的几何形状信息可被确定并被用于生成深度图。在一些情况下，使用衍射光学元件(DOE)来生成结构化光图案。然而，目前的DOE制造工艺对可达到的分辨率和景深施加了难以逾越的限制。
如上文所描述的，在一些立体视觉技术中，结构化光图案被用于从场景中提取几何形状。然而，这些技术的深度图分辨率受限于各个被投射的光特征(例如点或其他图案)的密度和分辨率。“深度图”指的是例如常用于三维计算机图形应用的图像，其包含有关于从相机视角到三维场景中的物体的表面的距离的信息。与目前可用于主动深度感测的其他技术相比，本文所公开的技术便于生成具有增加的特征分辨率、密度和视野的可投射的结构化光图案。
图1例示出了包括被配置成生成三维场景114的深度图的多媒体系统102的示例多媒体环境100。多媒体系统102可不限于游戏系统、家庭安全系统、计算机系统、机顶盒或被配置成生成周围环境的深度图的任何其他设备。附加地，多媒体系统102可被用于各种应用，包括但不限于游戏应用、安全应用、军事应用等。用户104可通过用户界面106来与多媒体系统102交互，该用户界面106可包括图形显示器、音频系统以及用于深度感测、目标识别、跟踪等的系统。
多媒体系统102被配置成捕捉和监视来自通信地连接到多媒体系统102的各种传感器的视野内的光。在其他组件中，多媒体系统102包括图案投射仪112，该图案投射仪将诸如可见光(例如，RGB光)或不可见光(例如，IR光)之类的信号投射到视野(例如，三维场景114)中。信号从视野内的物体反射出来并被多媒体系统102中的一个或多个传感器检测。因此，多媒体系统102可捕捉由多媒体系统102生成的信号，该信号可被用于生成量化三维场景114中的各种物体的距离的深度图。
尽管任何数量的相机和传感器可被包括于各种实现中，但是多媒体系统102包括红外(IR)相机108和RGB相机110。多媒体系统102不限于使用IR和RGB相机，因为许多其它类型的相机和传感器可被用于补充主动深度感测操作(诸如在物体和运动检测中有用的技术)。例如，多媒体系统102的其他实现可以是电传感器、立体传感器、扫描激光传感器、超声传感器、毫米波传感器等一些实现包括独立地收集用于生成深度图的数据的单个相机。
在一个实现中，图案投射仪112将结构化(例如，已知的或预定的)光图案116投射到三维场景114内的空间。结构化光图案116具有可被多媒体系统102的至少一个传感器或相机检测的波长。例如，结构化光图案116可以是可被IR相机108检测的红外光或可被RGB相机110检测的可见光。
结构化光图案116包括经由分析多媒体系统102的一个或多个传感器所捕捉的数据而识别的任何数量的不同图案或特征。在图1中，结构化光图案116是光斑(例如点)图案。
根据一个实现，图案投射仪112包括诸如激光之类的光源，其引导相干光束通过漫射元件以散射光，从而生成具有互随机相位的光波。经散射的光然后被引导通过空间滤波经散射光并将经空间滤波的光投射到三维场景114上的中继光学器件。当被投射的光反射出各种物体时，结构化光图案116对于多媒体系统102中的一个或多个传感器而言是可见的。
相机(例如，IR相机108或RGB相机110)捕捉在三维场景114中被反射的结构化光图案的图像，并且分析图像以确定距三维场景114中各种物体的距离。在一个实现中，将在三维场景114中反射的结构化光图案116的图像与在不同环境下被捕捉或生成的结构化光图案116的所保存的虚拟图像进行比较。例如，虚拟图像可以是反射自距图案投射仪112已知距离的平的二维平面(例如，墙壁或屏幕)的结构化光图案116的图像。
存在于三维场景114中的对象在结构化光图案116中创建可测量的失真。例如，当从两个不同的位置观看时，所投射的特征(例如，点)被预期成按已知量偏移。即，光特征可能看起来在图案投射仪112的参考系中呈现第一位置和在IR相机108的参考系中呈现第二位置。如果光特征被投射到近场对象上，则观察到的偏移(例如，像素偏移)大于当特征被投射到远场对象上的偏移。当使用各种三角学原理进行分析时，这些在两个或更多个图像中的相应点之间所观察到的像素偏移可被用于确定图案投射仪112与三维场景114中的各种物体之间的深度。
根据一个实现，多媒体系统102的处理模块使用上述和/或其他图像分析技术来创建三维场景114的深度图。
RGB相机110通过获取三种不同的颜色信号(例如红、绿、以及蓝)来捕捉三维场景114的彩色图像。在一个实现中，RGB相机110的输出为许多应用(诸如，自由视角视频(FVV)、远程监控、以及医学成像应用)的深度图提供了有用的补充。多媒体系统102的一些实现不包括RGB相机110；其他实现包括多个RGB相机。
尽管在图1中示出了单个IR相机(例如，IR相机108)，但是其他实现包括相对于三维场景114的不同位置处的多个IR相机。在一个实现中，与RGB相机108一同锁定(gen-locked)或同步的两个不同的IR相机使得结构化光图案116的捕捉图像彼此直接相关。
图2例示出了用于将结构化光图案投射到三维场景214内的示例图案投射仪200。图案投射仪200包括光源202(例如，激光器)，该光源被定位成引导相干光束204通过伪随机漫射器元件206的对置表面。伪随机漫射器元件206散射光并在许多具有互随机相位的散射波之间创建干涉。伪随机漫射器元件206的光输出在本文中通常被称为中间光斑照明208。
中间光斑照明208被引导通过中继光学器件210，其将输出光斑照明212投射到图案投射仪200的视野中的三维场景214内的对象(例如，墙壁、家具、人等)上。
然而各种漫射器元件适用于其它实现，伪随机漫射器元件206包括透明(或半透明)粗糙表面218，该粗糙表面被设计成包括将相干光束204以多个角度散射通过粗糙表面218的表面特征(例如，凹陷、凹槽等)。在一个实现中，毛玻璃漫射器可被用作具有粗糙表面的光学窗口，但是也可使用其它粗糙表面。粗糙表面可通过使用喷砂、反射粒子层压和/或注入以及其它方法来形成。粗糙表面提供跨表面的一致的漫射图案。具有较大颗粒粗糙度的较粗糙的表面降低了传输效率，但提供了比具有较小颗粒粗糙度的表面更宽的漫射图案。
表面粗糙度是表面纹理的一种形式。各种粗糙度度量可被用于表征表面的“粗糙度”。轮廓粗糙度参数(例如，Ra,Rq,Rz,Rsk,...)是更常被使用的，尽管面积粗糙度参数(例如，Sa,Sq,Sz,...)被定义在了ISO 25178系列中。在所描述的技术中使用的粗糙度满足预期应用的传输效率和漫射图案宽度。
使光通过粗糙表面218创建选择性地省略衍射图案中的某些空间频率的预定衍射图案(中间光斑照明208)。改变粗糙表面218的特征的粗糙度会改变空间频率的采样，更改所得的中间光斑照明208。
在各种实现中，中继光学器件210是一起工作以投射并成像输出光斑照明212的独立的透镜或透镜组件。中继光学器件210更改入射光的衍射图案。因此，中间光斑照明208具有与输出光斑照明212不同的衍射图案。
中继光学器件210具有多个目的和功能。中继光学器件210的一种目的是为了便于将入射光传送到距光源202相当距离处(例如，几米)的成像空间(例如，三维场景214)。中继光学器件210的另一目的是选择性地滤波中间光斑照明208，并从而提高输出光斑照明212的图像的质量(例如，分辨率、特征密度、景深等)。
中继光学器件210的许多可选择的属性决定了空间滤波和其它相干成像效果。例如，中继光学器件210的一个可选择的属性是f-数(f-number)。f-数对应于中继光学器件210应用于中间光斑照明208的空间滤波程度。f-数中继光学器件210可被定制以在选定频率处提供空间滤波，以便增加输出光斑照明212的图像的分辨率和/或景深。
中继光学器件210的另一可选择的属性是焦距。中继光学器件212的焦距决定其上投射有输出光斑照明212的视野的大小。在一个实现中，输出光斑照明212被投射到具有使用通常可用的衍射光学元件(DOE)可实现的范围的两倍以上的视野上。当成像时，输出光斑照明212还具有超过通常使用DOE实现的密度的特征密度。
可为每个单独系统独立地调谐中继光学器件210的上述和其他属性，从而提供输出光斑照明208的多轴控制。
图3例示出了用于将结构化光图案投射到三维场景314内的另一示例图案投射仪300。图案投射仪300包括光源302(例如，激光器)，该光源将相干光束304侧向耦合到伪随机漫射器元件306(如图所示)的接收表面320。伪随机漫射器元件306包括相对于接收表面320旋转约90度的粗糙表面318。粗糙表面318是透明的(或半透明的)并且包括以多个不同角度散射出射光的一些表面特征(例如，凹陷、凹槽等)。
伪随机漫射器元件306散射相干光束304以形成中间光斑照明308，然后将该中间光斑照明引导通过中继光学器件310。中继光学器件310改变中间光斑照明(例如，通过引入用于空间滤波的附加干涉图案)，并将输出光斑照明312投射到三维场景314内的对象(例如，墙壁、家具、人等)上。
在各种实现中，相干光束304以多种不同的方式被引导(例如，转向)穿过粗糙表面318。在图3中，伪随机漫射器元件306充当波导并且包括反射通过粗糙表面318的入射光的反射内表面322。
粗糙表面318的粗糙度可对应于通过粗糙表面318的光吞吐量的强度。例如，表面粗糙度的降低可对应于光吞吐量的增加，而表面粗糙度的增加可对应于光吞吐量的降低。
在一个实现中，粗糙表面318具有不均匀的或不对称的表面纹理，以提供中间光斑照明308的更均匀的分布和亮度。例如，与粗糙表面318的下部(例如，远离光源302)相比，粗糙表面318的上部(例如，邻近光源302的部分)可具有增加的粗糙度。在一个实现中，粗糙表面318的粗糙度随着距光源的距离的增加而逐渐降低。还构想了其他实现。
图4例示出了用于主动深度感测的示例捕捉设备400。在其他组件中，捕捉设备400包括控制捕捉设备400的各种传感器的功率、参数、以及焦点的传感器管理器402。此外，捕捉设备400包括使用来自各种传感器的输入来计算三维场景的深度图的深度计算管理器406。尽管传感器管理器402和深度计算管理器406被示为在捕捉设备400内(例如，以固件来具体化)，但是这些组件中的一个或两个可被物理地移除出捕捉设备400。例如，捕捉设备400可与包括从远程存储器位置执行传感器管理器402和/或深度计算管理器406的处理器的计算系统无线地进行通信。
捕捉设备400进一步包括能够将结构化光图案投射到成像空间(例如，三维场景)的IR图案投射仪404。此外，捕捉设备400包括用于检测成像空间内的结构化光图案的诸如IR传感器410和RGB传感器408之类的一个或多个传感器。在其他实现中，捕捉设备400包括一个或多个附加的IR传感器、RGB传感器和其他类型的传感器。在一个实现中，IR传感器410是在能够检测所投射的结构化光图案的特征的IR光波长下操作的无源红外(IR)传感器。IR传感器410将原始IR图像数据传送到深度计算管理器406。
RGB传感器408被配置成获取RGB传感器408作为RGB数据输出的红、绿、以及蓝的颜色信号。传感器管理器402或另一组件可组合RGB数据中的信号以捕捉具有丰富色彩的图像。在一个实现中，RGB传感器408和IR传感器410是一同锁定或同步的相机。一同锁定或同步相机确保相机在时间上相干，使得相机所捕捉的图像直接相互关联。RGB数据可为许多应用的深度图提供有用的补充。
深度计算管理器406标识所接收的图像数据和/或被保存在存储器434中的所保存的图像数据中的对应点，并计算不同图像中的对应点之间的偏移。在一个实现中，深度计算管理器406检索所保存的结构化光图案的图像(例如，投射到平面上的图案的图像)，并将所保存的图像与从IR传感器410接收的原始图像数据进行比较。深度计算管理器406标识原始的和所保存的图像中的结构化光图案的相应特征之间的像素偏移，并且基于所述像素偏移，在IR传感器的视野中生成三维场景的深度图。
在其他实现中，深度计算管理器406基于比较来自相对于IR图案投射仪404而言处于不同位置处的多个同步相机(例如，多个IR相机、RGB相机等)的图像数据来生成三维场景的深度图。
图5例示出了用于生成结构化光斑图案的示例操作500。生成操作502生成诸如激光束之类的相干光束。在一个实现中，该相干光束是IR光。在其他实现中，相干光束是波长在IR范围之外的光，诸如可见光、紫外光、微波光等。方向操作504将相干光束引导通过粗糙表面以生成干涉图案并对该光进行空间滤波。
另一方向操作504将经空间滤波的光(也被称为中间光斑照明)引导通过中继光学器件。中继光学器件执行附加的空间滤波并将输出光斑照明投射到成像空间，诸如包括位于距输出光斑照明的投射源不同深度处的各物体的房间。
捕捉操作510捕捉输出光斑照明的图像，并将成像数据发送到处理器。处理器的比较操作512将所捕捉的图像数据与在不同情况下被捕捉或生成的输出光斑照明的一个或多个其他图像进行比较。例如，所捕捉的图像数据可与从平的二维平面(例如，墙壁或屏幕)反射的输出光斑照明的图像进行比较。基于该图像比较，生成操作514生成图像空间的深度图。
图6例示了可以对实现所描述的技术有用的示例系统。图6的用于实现所述技术的示例硬件和操作环境包括诸如游戏控制台、多媒体控制台或计算机20形式的通用计算设备之类的计算设备、移动电话、个人数据助理(PDA)、机顶盒或其他类型的计算设备。例如，在图6的实现中，计算机20包括处理单元21、系统存储器22，以及将包括系统存储器的各种系统组件在操作上耦合到处理单元21的系统总线23。可以有只有一个或可以有一个以上的处理单元21，以便计算机20的处理器包括单一中央处理单元(CPU)，或常常被称为并行处理环境的多个处理单元。计算机20可以是常规计算机、分布式计算机、或者任何其它类型的计算机，本发明不限于此。
系统总线23可以是若干类型的总线结构中的任何一种，包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器、外围总线，交换结构、点到点连接，以及局部总线。系统存储器也可以简称为存储器，并包括只读存储器(ROM)24和随机存取存储器(RAM)25。基本输入/输出系统(BIOS)26通常存储在ROM 24中，包含了诸如在启动过程中帮助在计算机20内的元件之间传输信息的基本例程。计算机20还包括用于对硬盘(未示出)进行读写的硬盘驱动器27、用于对可移动磁盘29进行读写的磁盘驱动器28、以及用于对可移动光盘31，如CD-ROM、DVD或其它光介质进行读写的光盘驱动器30。
硬盘驱动器27、磁盘驱动器28，以及光盘驱动器30分别通过硬盘驱动器接口32、磁盘驱动器接口33，以及光盘驱动器接口34连接到系统总线23。驱动器以及它们相关联的计算机可读介质为计算机20提供了计算机可读指令、数据结构、程序引擎，及其他数据的非易失存储器。本领域的技术人员应该理解，诸如磁带盒、闪存卡、数字视盘、随机访问存储器(RAM)、只读存储器(ROM)等等之类的可以存储可被计算机访问的数据的任何类型的计算机可读介质，也可以用于示例操作环境中。
可以有若干个程序引擎存储在硬盘、磁盘29、光盘31、ROM 24或RAM 25上，包括操作系统35、一个或多个应用程序36、其他程序引擎37、以及程序数据38。用户可以通过诸如键盘40和定向设备42之类的输入设备向个人计算机20中输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些及其他输入设备常常通过耦合到系统总线的串行端口接口46连接到处理单元21，但是，也可以通过其他接口，如并行端口、游戏端口或通用串行总线(USB)端口来进行连接。监视器47或其他类型的显示设备也可经由诸如视频适配器48之类的接口被连接到系统总线23。除了监视器之外，计算机还通常包括其他外围输出设备(未示出)，如扬声器和打印机。
计算机20可以使用到一个或多个远程计算机(如远程计算机49)的逻辑连接，在联网环境中操作。这些逻辑连接由耦合至或者作为计算机20一部分的通信设备来实现；本发明不限于特定类型的通信设备。远程计算机49可以是另一计算机、服务器、路由器、网络PC、客户机、对等设备或其他公共网络节点，并通常包括上文参考计算机20所描述的许多或全部元件，虽然在图6中只示出了存储器存储设备50。图6中所描绘的逻辑连接包括局域网(LAN)51和广域网(WAN)52。这样的联网环境在办公室网络、企业范围的计算机网络、内部网和因特网(它们都是各种网络)中是普遍现象。
当用于LAN联网环境中时，计算机20通过网络接口或适配器53(这是一种类型的通信设备)连接到局域网51。当用于WAN联网环境中时，计算机20通常包括调制解调器54、网络适配器、一种类型的通信设备，或用于通过广域网52建立通信的任何其他类型的通信设备。或为内置或为外置的调制解调器54经由串行端口接口46连接到系统总线23。在联网环境中，参考个人计算机20所描述的程序引擎，或其某些部分，可以存储在远程存储器存储设备中。可以理解，所示出的网络连接只是示例，也可以使用用于在计算机之间建立通信链路的其他装置和通信设备。
在一示例实现中，深度管理管理器、传感器管理器以及其它引擎和服务可由存储在存储器22和/或存储设备29或31中并由处理单元21处理的指令来具体化。传感器信号(例如，可见或不可见光和声音)、热信息、深度信息以及其它数据可被存储在存储器22和/或存储设备29或31中作为持久的数据存储。
一个示例系统包括被配置成接收相干光输入并输出中间光斑照明的伪随机漫射器元件和被定位成从所述伪随机漫射器元件接收所述中间光斑照明的中继光学器件。中继光学器件被配置成空间滤波所述中间光斑照明以生成输出光斑照明。
公开了任何前述系统的另一示例系统，其中光源被配置成将所述相干光输入投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明将被输出通过所述伪随机漫射器元件的第二相对表面。
公开了任何前述系统的另一示例系统，其中光源被配置成将所述相干光输入投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明将被输出通过所述伪随机漫射器元件的第二相对表面，所述第二表面基本上垂直于所述第一表面来取向。
公开了任何前述系统的另一示例系统，其中所述伪随机漫射器元件包括至少一个透明粗糙表面以接收所述相干光输入。
公开了任何前述系统的另一示例系统，其中所述粗糙表面在邻近所述相干光输入源的区域中具有增加的粗糙度，并且在远离所述相干光输入源的区域中具有降低的粗糙度。
任何前述系统的另一示例系统进一步包括被配置成检测在三维场景中的物体上所反射的所述输出光斑照明的传感器。
任何前述系统的另一示例系统进一步包括被配置成基于由所述传感器收集的数据来生成所述三维场景的深度图的处理器。
公开了任何前述系统的另一示例系统，其中所述相干光输入由激光生成。
示例方法包括将相干光束引导通过伪随机漫射器元件以输出中间光斑照明，以及将所述中间光斑照明引导通过中继光学器件。所述中继光学器件空间滤波中间光斑照明以生成输出光斑照明。
公开了任何前述方法的另一方法，其中光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二相对表面。
公开了任何前述方法的另一方法，其中光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二表面，所述第二表面基本上垂直于所述第一表面来取向。
任何前述方法的另一方法，进一步包括将所述输出光斑照明投射到三维场景，并用传感器检测在所述三维场景中在物体上所反射的所述输出光斑照明。
任何前述方法的另一方法，进一步包括基于由所述传感器收集的数据来生成所述三维场景的深度图。
公开了任何前述方法的另一方法，其中将相干光束引导通过伪随机漫射器元件进一步包括将相干光束引导通过粗糙表面。
公开了任何前述方法的另一方法，其中所述中间光斑照明包括与所述输出光斑照明不同的光干涉图案。
公开了任何前述方法的另一方法，其中所述中继光学器件具有被选择用于生成预定分辨率的所述输出光斑照明的f-数。
另一示例系统包括，被定位成从伪随机漫射器元件接收光的中继光学器件，所述中继光学器件对所述光进行空间滤波并将经空间滤波的光投射到三维场景。被配置成检测来自所述三维场景的所述经空间滤波的光的传感器。被配置成基于由所述传感器收集的数据来计算所述三维场景的深度图的处理器。
公开了任何前述系统的另一示例性系统，其中所述光是IR光，并且所述传感器是IR传感器。
公开了任何前述系统的另一示例系统，其中所述伪随机漫射器元件包括粗糙表面并且改变粗糙表面会改变对所述经空间滤波的光的采样。
公开了任何前述系统的另一示例系统，其中所述粗糙表面包括粗糙度不均匀的区域。
示例系统包括用于将相干光束引导通过伪随机漫射器元件以输出中间光斑照明的装置，以及用于将所述中间光斑照明引导通过中继光学器件的装置。所述中继光学器件空间滤波中间光斑照明以生成输出光斑照明。
公开了任何前述系统的另一示例系统，其中光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二相对表面。
公开了任何前述系统的另一示例系统，其中光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二表面，所述第二表面基本上垂直于所述第一表面来取向。
任何前述系统的另一示例系统，进一步包括用于将所述输出光斑照明投射到三维场景，并用传感器检测在所述三维场景中的物体上所反射的所述输出光斑照明的装置。
任何前述系统的另一示例系统，进一步包括用于基于由所述传感器收集的数据来生成所述三维场景的深度图的装置。
公开了任何前述系统的另一示例系统，其中用于将相干光束引导通过伪随机漫射器元件的装置进一步包括用于将相干光束引导通过粗糙表面的装置。
公开了任何前述系统的另一示例系统，其中所述中间光斑照明包括与所述输出光斑照明不同的光干涉图案。
公开了任何前述系统的另一示例系统，其中所述中继光学器件具有被选择用于生成预定分辨率的所述输出光斑照明的f-数。
在讨论中，除非另行说明，修改本公开的实施例的特征的条件或关系特性的诸如“基本上”和“大约”的形容词应被理解为该条件或特性被定义为针对该实施例所意图的应用在该实施例的操作可接受的容差范围以内。
本文所描述的主题的各实现可被实现为一个或多个计算机系统中的逻辑步骤。本公开主题的逻辑操作可被实现为：(1)在一个或多个计算机系统中执行的处理器实现的步骤的序列；以及(2)一个或多个计算机系统内的互连机器或电路模块。该实现是取决于实现所公开的主题的计算机系统的性能要求的选择问题。因此，构成本文所描述的所公开的主题的各实施例的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应该理解，逻辑操作可以以任何顺序执行、按需添加或忽略，除非明确地声明，或者按由权利要求语言固有地要求特定的顺序。
以上说明、示例和数据提供了对示例性实施例的结构和使用的全面描述。因为可以在不背离本发明的精神和范围的情况下做出本发明的许多实现方式，所以本发明落在所附权利要求的范围内。此外，不同实施例的结构特征可以与另一实现方式相组合而不偏离所记载的权利要求书。

Claims (20)

1.一种多媒体系统，包括：
伪随机漫射器元件，所述伪随机漫射器元件被配置成接收相干光输入并输出中间光斑照明；以及
被定位成从所述伪随机漫射器元件接收所述中间光斑照明的中继光学器件，所述中继光学器件被配置成对所述中间光斑照明进行空间滤波以生成输出光斑照明。
2.如权利要求1所述的多媒体系统，其特征在于，光源被配置成将所述相干光输入投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明将被输出通过所述伪随机漫射器元件的第二相对表面。
3.如权利要求1所述的多媒体系统，其特征在于，光源被配置成将所述相干光输入投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明将被输出通过所述伪随机漫射器元件的第二表面，所述第二表面基本上垂直于所述第一表面来取向。
4.如权利要求1所述的多媒体系统，其特征在于，所述伪随机漫射器元件包括至少一个透明粗糙表面以接收所述相干光输入。
5.如权利要求4所述的多媒体系统，其特征在于，所述粗糙表面在邻近所述相干光输入源的区域中具有增加的粗糙度，并且在远离所述相干光输入源的区域中具有降低的粗糙度。
6.如权利要求1所述的多媒体系统，其特征在于，进一步包括：
传感器，所述传感器被配置成检测在三维场景的物体上所反射的所述输出光斑照明。
7.如权利要求6所述的多媒体系统，其特征在于，进一步包括：
处理器，所述处理器被配置成基于由所述传感器收集的数据来生成所述三维场景的深度图。
8.如权利要求1所述的多媒体系统，其特征在于，所述相干光输入由激光生成。
9.一种用于生成光斑图案的方法，包括：
将相干光束引导通过伪随机漫射器元件以输出中间光斑照明；以及
将所述中间光斑照明引导通过中继光学器件，所述中继光学器件对所述中间光斑照明进行空间滤波以生成输出光斑照明。
10.如权利要求9所述的方法，其特征在于，光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二相对表面。
11.如权利要求9所述的方法，其特征在于，光源将所述相干光束投射通过所述伪随机漫射器元件的第一表面，并且所述中间光斑照明被输出通过所述伪随机漫射器元件的第二表面，所述第二表面基本上垂直于所述第一表面来取向。
12.如权利要求9所述的方法，其特征在于，进一步包括：
将所述输出光斑照明投射到三维场景；以及
用传感器检测在所述三维场景中的物体上所反射的所述输出光斑照明。
13.如权利要求12所述的方法，其特征在于，进一步包括：
基于由所述传感器收集的数据来生成所述三维场景的深度图。
14.如权利要求9所述的方法，其特征在于，将所述相干光束引导通过所述伪随机漫射器元件进一步包括：
将所述相干光束引导通过粗糙表面。
15.如权利要求9所述的方法，其特征在于，所述中间光斑照明包括与所述输出光斑照明不同的光干涉图案。
16.如权利要求9所述的方法，其特征在于，所述中继光学器件具有被选择用于生成预定分辨率的所述输出光斑照明的f-数。
17.一种多媒体系统，包括：
被定位成从伪随机漫射器元件接收光的中继光学器件，所述中继光学器件被配置成对所述光进行空间滤波并将经空间滤波的光投射到三维场景；以及
传感器，所述传感器被配置成检测来自所述三维场景的所述经空间滤波的光；以及
处理器，所述处理器被配置成基于由所述传感器收集的数据来计算所述三维场景的深度图。
18.如权利要求17所述的多媒体系统，其特征在于，所述光是IR光并且所述传感器是IR传感器。
19.如权利要求17所述的多媒体系统，其特征在于，所述伪随机漫射器元件包括粗糙表面并且改变粗糙表面会改变对所述经空间滤波的光的采样。
20.如权利要求19所述的多媒体系统，其特征在于，所述粗糙表面包括粗糙度不均匀的区域。
CN201680007326.4A 2015-01-31 2016-01-11 结构化光图案生成 Active CN107209008B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/611,197 2015-01-31
US14/611,197 US9817159B2 (en) 2015-01-31 2015-01-31 Structured light pattern generation
PCT/US2016/012784 WO2016122858A1 (en) 2015-01-31 2016-01-11 Structured light pattern generation

Publications (2)

Publication Number Publication Date
CN107209008A CN107209008A (zh) 2017-09-26
CN107209008B true CN107209008B (zh) 2019-05-10

Family

ID=55404781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007326.4A Active CN107209008B (zh) 2015-01-31 2016-01-11 结构化光图案生成

Country Status (4)

Country Link
US (1) US9817159B2 (zh)
EP (1) EP3250881B1 (zh)
CN (1) CN107209008B (zh)
WO (1) WO2016122858A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043404B2 (en) * 2016-04-18 2018-08-07 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
CN107543496B (zh) * 2017-03-23 2019-11-15 四川精视科技有限公司 一种双目立体视觉三维坐标测量方法
US10044922B1 (en) 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
US10666929B2 (en) 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
US10871262B2 (en) * 2017-11-02 2020-12-22 Spring Rainbow Optics Co., Ltd Structured light illumination module
US10545457B2 (en) * 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
US10310281B1 (en) * 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
CN113325392A (zh) * 2017-12-08 2021-08-31 浙江舜宇智能光学技术有限公司 广角tof模组及其应用
CN110068935A (zh) * 2018-01-22 2019-07-30 西安交通大学 一种微距激光散斑产生装置及方法
US10317684B1 (en) * 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
TWI671550B (zh) * 2018-02-12 2019-09-11 群邁通訊股份有限公司 光投射模組、三維影像感測裝置及其感測方法
CN110161786B (zh) * 2018-02-12 2021-08-31 深圳富泰宏精密工业有限公司 光投射模块、三维影像感测装置及其感测方法
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
KR20200017017A (ko) 2018-08-07 2020-02-18 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
US10839536B2 (en) * 2018-10-02 2020-11-17 Facebook Technologies, Llc Depth sensing using grid light patterns
CN109405765B (zh) * 2018-10-23 2020-11-20 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN111142323A (zh) * 2018-11-02 2020-05-12 三赢科技（深圳）有限公司 结构光投影模组及具有该模组的电子装置
US10585194B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN113050112B (zh) * 2019-03-21 2024-06-04 深圳市光鉴科技有限公司 用于增强飞行时间分辨率的系统和方法
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN112130336A (zh) * 2020-09-27 2020-12-25 欧菲微电子技术有限公司 光学组件、3d感测组件以及电子设备
KR20220047035A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 객체의 깊이를 측정하는 디바이스 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统
CN101592786A (zh) * 2008-04-15 2009-12-02 Jds尤尼弗思公司 用于激光照射系统的基于延迟器的去散斑器件
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置
DE102013209448A1 (de) * 2013-05-22 2014-11-27 Robert Bosch Gmbh Laserlichtmusterprojektor sowie Multikamerasystem mit dem Laserlichtmusterprojektor
CN104249597A (zh) * 2013-06-28 2014-12-31 中钞特种防伪科技有限公司 一种光学防伪元件

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7656768B2 (en) * 2004-01-27 2010-02-02 Micron Technology, Inc. Phase masks for use in holographic data storage
US7221356B2 (en) 2004-02-26 2007-05-22 Microsoft Corporation Data input device and method for detecting an off-surface condition by a laser speckle size characteristic
EP1771755B1 (en) * 2004-07-02 2016-09-21 The General Hospital Corporation Endoscopic imaging probe comprising dual clad fibre
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
JP2009139134A (ja) 2007-12-04 2009-06-25 Ministry Of National Defense Chung Shan Inst Of Science & Technology 大面積不変形光斑撮像装置及びその方法
US8054290B2 (en) 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统
CN101592786A (zh) * 2008-04-15 2009-12-02 Jds尤尼弗思公司 用于激光照射系统的基于延迟器的去散斑器件
DE102013209448A1 (de) * 2013-05-22 2014-11-27 Robert Bosch Gmbh Laserlichtmusterprojektor sowie Multikamerasystem mit dem Laserlichtmusterprojektor
CN104249597A (zh) * 2013-06-28 2014-12-31 中钞特种防伪科技有限公司 一种光学防伪元件
CN103983213A (zh) * 2014-05-30 2014-08-13 深圳先进技术研究院 一种结构光编码方法及相关装置

Also Published As

Publication number Publication date
WO2016122858A1 (en) 2016-08-04
US9817159B2 (en) 2017-11-14
CN107209008A (zh) 2017-09-26
EP3250881A1 (en) 2017-12-06
EP3250881B1 (en) 2019-08-28
US20160223724A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
CN107209008B (zh) 结构化光图案生成
Matsuyama et al. 3D video and its applications
US8736670B2 (en) 3D visualization system
US9928420B2 (en) Depth imaging system based on stereo vision and infrared radiation
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP2023503517A (ja) ディスプレイによる深度測定
CN101198964A (zh) 使用红外图案照射创建对象的三维图像
Berger et al. Depth from stereo polarization in specular scenes for urban robotics
Starck et al. The multiple-camera 3-d production studio
Huhle et al. Integrating 3D time-of-flight camera data and high resolution images for 3DTV applications
US20150373320A1 (en) Visual cognition system
WO2020238491A1 (zh) 电子装置的控制方法及电子装置
KR20200049958A (ko) 3차원 깊이 측정 장치 및 방법
JP2023552974A (ja) ディスプレイを介する深度測定
Shibata et al. Creating photorealistic virtual model with polarization-based vision system
Wang High resolution 2D imaging and 3D scanning with line sensors
Chandran et al. Slope disparity gating: System and applications
Gribben et al. Structured light 3D measurement of reflective objects using multiple DMD projectors
Zhou et al. Combinatorial photometric stereo and its application in 3D modeling of melanoma
Zhang Investigations into applications of photometric stereo and single-pixel imaging
Cunha Improved depth estimation algorithm using plenoptic cameras
Matsuyama et al. Multi-camera systems for 3d video production
JP2024512247A (ja) 顔ロック解除のための光学的皮膚検出
Haider Forgery Detection in Depth Images
Sathirasethawong Light Field Imaging and Reconstruction Tools for Small Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant