CN105659106B - 使用动态结构光的三维深度映射 - Google Patents

使用动态结构光的三维深度映射 Download PDF

Info

Publication number
CN105659106B
CN105659106B CN201480058469.9A CN201480058469A CN105659106B CN 105659106 B CN105659106 B CN 105659106B CN 201480058469 A CN201480058469 A CN 201480058469A CN 105659106 B CN105659106 B CN 105659106B
Authority
CN
China
Prior art keywords
laser
light
unit
array
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480058469.9A
Other languages
English (en)
Other versions
CN105659106A (zh
Inventor
尼他耶·罗曼诺
纳道维·格罗辛格
亚伊尔·阿尔珀恩
埃米尔·阿隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN105659106A publication Critical patent/CN105659106A/zh
Application granted granted Critical
Publication of CN105659106B publication Critical patent/CN105659106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/4255—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application for alignment or positioning purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Abstract

用于产生用于在三维空间中的光学追踪的动态结构光图案的设备，包括激光器的阵列，如VCSEL激光器阵列，以按图案透射光至三维空间中；以及布置在单元中的光学元件或者多个光学元件。该单元与该激光器阵列的子集对齐，并且每个单元单独地对来自该子集的激光器或多个激光器的光施加调制，特别是强度调制，以提供动态结构光图案的能区别的和能分离控制的部分。公开了产生结构光图案的方法，其中，从激光器的阵列提供光，并且从激光器的阵列的子集单独地投射光以提供结构光图案的区分部分。

Description

使用动态结构光的三维深度映射
技术领域
本发明涉及使用结构光的三维深度映射，并且更加具体而非排它地，涉及用于追踪的系统以便提供至计算机或者类似装置的输入。
背景技术
为了提供至计算机、或者其他计算装置的输入的追踪，包括这种普遍存在的技术如计算机鼠标。还可获得在计算机前面的在三维领域中的触针和手指的追踪并且使用各种追踪技术如视觉成像和IR成像以及超声。术语‘追踪’可以是指跟随对象的位置和运动，并且包括将追踪计算机接收的输入进行处理以便确定位置或者运动。因此在计算机鼠标的情况下，追踪可以包括处理鼠标输出以确定运动。在经视觉地跟随对象的情况下，术语追踪可以包括连续帧捕捉对象的成像处理。
一种映射法简单地使用相机以观察和处理场景。相机可以跟随放置在场景中的特定标志，或者成像系统可以寻找特别可识别的特征如手指。
这种视觉成像的缺点包括，要求三维区域是足够照亮的。此外，可以进行追踪的唯一特征是可提前识别的特征，并且与特征识别结合的运动追踪可能不能给出精确的结果。
为了克服以上问题，引入了使用结构光的追踪。将已知的像素的图案投射至发生追踪的空间上。图案在引人注意的表面上变形的方式允许视觉系统计算在场景中的对象的深度和表面信息。使用的典型图案是格网或者水平棒。各种装置使用结构光图案以使得能够使用手势识别和3D深度映射。该结构光图案传输器包括激光发射器和衍射光学元件(DOE)。
与投影仪相比，投射窄频带的光至三维成型的表面上产生从其他视角看起来变形的光线，并且可以用于表面形状的几何学重建。
一种更快并且更加通用的方法是投射由许多条带或者任意的条纹同时组成的图案，这允许同时地获取众多样品。从不同的观察点看出，由于对象的表面形状，该图案看起来是几何变形的。
尽管结构光投射的许多其他变体是可能的，但是广泛地使用平形条带的图案。条带的位移允许在对象表面上的任何细节的3D坐标的精确检索。
一种条带图案产生的已知方法是激光干涉法，其利用两个宽平面的激光束前部(laser beam fronts)。光束前部之间的干涉导致有规律的、等距的线形图案。通过改变这些光束之间的角度可以获得不同的图案尺寸。该方法允许精确和容易地产生具有无限制的视场深度的非常精细的图案。缺点是执行的高成本，提供理想的光束几何形状的困难，以及激光器典型的影响，如散斑噪声以及与由对象反射的部分光束的可能的自干扰。此外，不存在调制单独的条带的方法，如利用格雷码(Gray code)。
具体地，使用单一源发射器如矢线(edge)发射器激光二极管的劣势是，事实上其产生的光图案可以仅仅作为单一单元受到控制。这意味着可以将光图案全部地接通、关闭或者变暗淡，但是不能进行动态地改变。
使用不可见的光，如IR光，可以构造结构光图案。可替换地，高帧频可以致使结构光难以被使用者觉察到或者避免干涉计算机的其他视觉任务。
直立-腔表面-发射激光器，或者VCSEL是一种类型的半导体激光二极管，在其中激光束发射是垂直于顶部表面的，与由通过将单个芯片从晶片割开而形成的表面发射的常规的矢线-发射半导体激光器相反。
与矢线发射激光器相反，生产VCSEL存在一些的优势。直至生产过程结束才能测试矢线-发射器。如果矢线发射器没有适当地起作用，不管是由于接触不良或者是由于劣质材料增长的质量，已经将生产时间和加工材料浪费掉。可以在贯穿过程的一些步骤处测试VCSEL以检查材料质量和加工问题。例如，如果在蚀刻期间，没有从通路完全清理掉电介质材料，那么可以使用临时的测试方法以确定顶部金属层不是与初始金属层接触。此外，由于VCSEL发射垂直至激光器的作用区域的光束，可以同时地在三英寸的砷化镓晶片上加工数以万计的VCSEL。此外，即使VCSEL生产过程是更加劳动密集和材料密集的，但是可以产率可被控制至更加可预测的成果。
显著的优势在于使用VCSEL激光器阵列用于结构光系统，在于该阵列的使用允许降低结构光传输器装置的尺寸。该降低对于在具有尺寸限制的装置(如移动电话或者可佩戴装置)中嵌入传输器是特别重要的。
然而，尽管以上的优势，但是出于大量原因，目前没有将VCSEL阵列用于结构光扫描系统。许多衍射图案需要连贯的高斯型光束以便生成需要高分辨率追踪的高密度图案。VCSEL阵列仅仅提供了相互紧挨着定位的若干单独的高斯光束并且通常具有它们之间的重叠。在它们之间的若干点和重叠降低了在高密度区域中在光图案中的探测性能并且限制需要预定义的高斯光束的各种衍射的设计技术的使用。这种设计包括顶帽(Top-Hat)设计、均匀(Homogeneous)线生成器以及其他复合的高性能结构。
实际上，标准的衍射设计的问题是将全部的VCSEL激光器阵列用作单一光源。因此，当使用若干斑点设计时，对于每个斑点获得了阵列图像而不是具有集中的高斯光束。需要高斯光束作为输入的衍射设计将完全得不到所需要的输出。该问题在密集的光图案中变为更加严重的，因为在这些光图案中存在将光束源集中在微小斑点上以便分离特征的需要，并且如果该光源是激光器的阵列的话，这是不可能的。
发明内容
本实施方式提供了VCSEL激光器的阵列，其中将该阵列的激光器单独地或者成群地调制。可以将单独的激光器或者组静态地或者动态地调制以根据需要提供并且改变结构光图案。
因此被同时地缓和的在阵列中的每个激光器、或者激光器组提供有它自身的光学元件，通常是衍射元件。可以将衍射元件单独地控制以便对于给定的情况可以选择总体结构的光图案和/或可以动态地跟踪在关注的区域。
根据本发明的第一方面，提供了用于产生结构光图案的设备，包括：
激光器的阵列，被布置为按图案透射光至三维空间中；以及
多个光学元件，各学元件限定单元，该单元与各激光器阵列的子集对齐，每个单元的光学元件对穿过光学元件的来自各子集的光单独地施加调制，以提供结构光图案的能区别的部分。
在一个实施方式中，光学调制是任何的衍射调制、折射调制以及衍射调制和折射调制的组合。
在一个实施方式中，由单一塑造元件构造光学元件以及包括对应的单元的激光器的阵列的子集。
在一个实施方式中，该单元的宽度是1mm或更小。
在一个实施方式中，该光学元件的宽度是1mm或更小。
在一个实施方式中，该单元是单独地可控制的以改变衍射调制。
在一个实施方式中，基于接收以及分析至少一个捕捉的帧，该单元能动态控制以提供对于结构光图案的变化，该帧包括在二维布局中的多个像素。
在一个实施方式中，该单元相对于在结构光图案之内的定位以及相对于施加至光的形状能进一步控制。
在一个实施方式中，动态控制是可配置的以施加结构光图案的增加的分辨率至场景的部分，施加结构光图案的降低的分辨率至场景的其他部分。
在一个实施方式中，至结构光图案的动态变化包括结构光图案的方位的变化。
在一个实施方式中，至结构光图案的动态变化包括单元方面的(cellwise)变化。
在一个实施方式中，变化是在强度上的变化、在偏振上的变化、在滤波参数上的变化、以及在聚焦上的变化中的任何变化。
在一个实施方式中，子集是单个激光器、一对激光器、三重激光器、不同尺寸的激光器的组合、以及激光器的动态变化组合中的任何一种。
在一个实施方式中，由各子集投射的光是拼贴的或者重叠的。
在一个实施方式中，激光器阵列包括VCSEL激光器阵列。
在一个实施方式中，激光器阵列包括激光器棒。
可以将设备合并至以下中的任何一种：计算机、膝上型计算机、移动通信装置、平板装置、游戏机、以及运动捕捉装置。
可以将该设备用于追踪三维的场景。
根据本发明的第二方面，提供了产生用于三维追踪的结构光图案的方法，该方法包括：
从激光器的阵列提供光；
以及从激光器的阵列的子集单独地投射光，以提供结构光图案的能区别的部分。
根据本发明的第三方面，提供了用于产生结构光图案的设备，包括：
激光器的阵列，被布置为按图案透射光至三维空间中；以及
多个光学元件单元，用各激光器的阵列的子集校准该单元，每个单元对穿过该元件的来自各子集的光单独地施加强度调制，以提供结构光图案的能区别的部分。
除非另外规定，在本文中使用的所有技术术语和科学术语都与本发明所属于的领域中的普通技术人员通常理解的含义相同。尽管可以将与在本文中所描述的那些相似的或等效的方法和材料用于实践或者测试本发明的实施方式，如下描述了示例性的方法和/或材料。在冲突的情况下，本专利说明书，包括定义将会主导。此外，材料、方法、和实施例仅仅是示例性的并不旨在进行必需的限制。
本发明的实施方式的方法和/或系统的执行可以包括手动地、自动地、或者它们的组合进行或者完成选择的任务。而且，根据本发明的方法和/或系统的实施方式的实际的仪器和设备，可以使用操作系统通过硬件、通过软件或者通过程序包或者通过它们的组合执行一些选择的任务。
例如，可以将根据本发明的实施方式的用于进行选择的任务的硬件实现为芯片或者电路。作为软件，可以将根据本发明的实施方式的选择的任务实现为通过使用任何合适的操作系统的计算机完成的多个软件指令。在本发明的一个示例性实施方式中，通过数据处理器，如用于完成多个指令的计算机平台，进行根据如在本文中所描述的方法和/或系统的实施方式的一种或多种任务。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或非易失性存储器，例如，磁性的硬盘和/或可移动介质，用于存储指令和/或数据。可选地，同样提供了网络连接。同样可选地提供了显示器和/或用户输入装置如键盘或者鼠标。
附图说明
在本文中仅仅通过实施例的方式，参照附图，描述了本发明的一些实施方式。目前在细节上具体参考附图，应强调通过实施例的方式示出细节并且用于本发明的实施方式的示例性讨论的目的。在这个方面，结合附图所作的描述使得本领域技术人员对于如何可以实践本发明的实施方式是显而易见的。
附图中：
图1是示出了根据本发明的实施方式的结构光产生设备的基本设置的简化的示意图，其中，具有单独图案的光学元件的单元对应于在VCSEL激光器阵列中的特定的VCSEL；
图2是图1的实施方式的简化的示意图并且示出了光图案构造，其中，每个单元生成了总体的结构光图案的部分拼贴；
图3是示出了图1的实施方式的变化的示意图，其中，每个单元由三重VCSEL激光器组成；
图4是示出了图1的实施方式的变化的示意图，其中，由如前的不同的单元图案生成不同的光图案，但是该单元具有各种尺寸和方位；并且
图5是示出了图1的实施方式的变化的示意图，其中，由如前的不同的单元图案生成不同的光图案，并且单独的单元代表总体结构图案的各种光特征，该总体结构图案不必需组织为分隔的拼贴结构；
图6是示出了根据本发明的实施方式的具有相机和处理器的追踪系统的示意图；
图7是示出了可以通过根据本发明的实施方式的光学元件施加的不同调制的示意图；
图8是示出了通过根据本发明的实施方式的光学元件放置光束或者使光束方向改变的示意图；
图9是示出了使用本发明的光学元件用于聚焦光束的简化的图表；
图10是示出了根据本发明的实施方式的进行光束成形的光学元件的简化的图表；
图11是示出了根据本发明的实施方式，包括聚焦、光束引导以及光束成形的多步骤的光学元件的简化的图表；
图12a和12b举例说明了对指出手指使用条带的效果，并且示出了如果条带平行于手指的话，条带可能需要怎样转向；
图13示出了根据本发明的实施方式的在这种情况下的垂直线与水平线之间的图案的动态改变；
图14示出了根据本发明的实施方式的由大视野至小视野的图案的动态改变；
图15示出了根据本发明的实施方式的低密度线和高密度线之间的图案的动态改变；
图16示出了根据本发明的实施方式的实线和由短条组成的线之间的图案的动态改变；
图17示出了根据本发明的实施方式的低强度的线和高强度的线之间的图案的动态改变；
图18示出了根据本发明的实施方式的取决于对象的黑暗度或者亮度的光强度的改变；并且
图19是示出了根据本发明的实施方式的跟随帧分析进行的图案的动态改变的简化的流程图。
具体实施方式
在本发明的一些实施方式中，涉及使用结构光的三维深度映射，并且更加具体地，而不是唯一地，涉及用于追踪的系统以便提供对计算机的输入。
通过引证将相同受让人的以下申请合并于此，如全部地阐述在本文中，即，在2010年9月19号提交的美国专利申请号13/497,589、在2012年9月13号提交的国际专利申请号WO2013/088442，在2014年1月13号提交的美国临时专利申请号61/926,476，以及在2014年8月10号提交的美国临时专利申请号62/035,442。
如上所述，各种装置使用结构光图案以使得能够手势识别以及3D深度映射。结构光图案传输器包括光源，例如激光器发射器、以及光学元件如衍射光学元件(DOE)。如同许多衍射设计需要连贯的高斯型光束以便生成高密度的图案，VCSEL激光器阵列的使用通常是不可能的。光学元件，例如VCSEL阵列，生成若干具有重叠的高斯型光束，其降低在高密度区域在光图案中的探测性能，并且限制需要预定的高斯光束的各种衍射设计技术的使用。这种设计包括顶帽设计、均匀线发生器及其他复合的高性能结构。
然而，显著的优势在于使用VCSEL激光器阵列以降低结构光传输器装置的尺寸。对于在具有尺寸限制的装置(如移动电话或者可佩戴装置)中嵌入传输器是特别地重要的。
因此，本实施方式提供了VCSEL激光器的阵列，其中将该阵列的激光器单独地或者成群地调制。可以将单独的激光器或者组静态地或者动态地调制以根据需要提供并且改变结构光图案。
将同时地缓和的(moderated)在阵列中的每个激光器，或者激光器群提供有它自身的光学元件的单元，通常是衍射元件。可以单独地控制衍射元件的单元以提供在不同阵列部位的不同光图案，以便对于给定的情况可以选择总体的结构光图案和/或可以动态地跟踪在关注的区域，如将在以下更多的细节中所讨论的。
典型结构包括条带、格网和圆点。
如提及的，使用单一源发射器如矢线发射器激光二极管的问题是，事实上其产生的光图案可以仅仅作为单一单元受到控制。因此，可以将光图案全部地打开、关闭或者变暗淡，但是不能进行动态地改变。相反，由于控制是在光学元件的单元的水平并且受到合适的设计，因此可以单独地控制根据本实施方式的阵列中的每个VCSEL激光器，例如，DOE可以提供可以产生用于各种使用情况和回馈的柔性探测的动态光图案。在以下术语‘单元’中涉及与单一激光器或者激光器的任何群可运行的表面，将激光器同时地进行运行以提供图案的特定部分。单元结构可以随着图案变化而动态地变化。
代替衍射光学元件，可以使用折射元件，或者衍射元件和折射元件的组合。
根据一个实施方式，该单元和/或该单元的光学元件可以是尺寸受限的，例如，单元可以是数量级小于1mm。
更加详细地，本实施方式涉及通用的透镜/DOE设计，使得能够使用VCSEL阵列以产生动态的光图案。DOE是定位在邻近于VCSEL阵列的表面上使得DOE的平面平行于阵列/矩阵的平面。在本实施方式中，将DOE的表面划分成单元。每个单元代表了定位在单一VCSEL激光器或者VCSEL的子组(旨在同时地进行控制)上的区域。为了清楚起见，同时地控制在该组或子组中的激光器(从其他组或者子组中的激光器分离)。
可以为每个单元设计独特的衍射图案，生成需要的结构光图案的部分。紧接着每个单元的衍射图案，由VCSEL激光器产生的单独的图案生成结构光的子图案。然后由单个单元的图案形成总体图案，例如通过拼贴、重叠、或者用于定位单独特征的其他方式。
每个单元的设计可以包括两种光学功能。第一定位功能确定在整个结构光图像中的光特征的位置。例如，这种定位功能可以由弯曲衍射光的位置至所需图案中的拼贴(tile)的实际位置的棱镜闪耀光栅(prism blazed grating)组成。第二光学功能涉及光特征的形状。这种光学功能的实例可以包括线发生器、多斑点图案或者其他特征或者光图案的子特征。
利用VCSEL激光器矩阵以及基于DOE的单元之间的合适的对齐，由于避免了作为单一光源透视的整个阵列的相邻的高斯光束形状，可以可实现任何图案。
在另一个实施方式中，呈现了动态的光图案。通过在适当的位置处施加不同的电流至DOE，就输出强度而言可以单独地控制每个单元，从而同样可以控制在结构光图案中的各种特征。
动态控制，意味着在追踪过程中改变单元图案，使得各种功能起作用。就是说，根据接收的数据，可以动态地改变每个单元的光学元件，例如以激光器的初始配置开始的顺序。帧是捕捉的场景，例如是二维的像素排列的帧。分析所接收的帧。然后基于分析的帧，达到新的激光器配置。然后随着循环继续，新的激光器配置变为初始配置用于下一个步骤。相对于图19，以下示出并讨论了实施例。例如，通过改变猜测的VCSEL的强度，确认每个观察的光特征的来源是可能的。在三角测量类深度探测方法中这种配置是非常有用的。进一步的功能是改变光图案的密度的能力。在已经将情景大致地映射之后，改变密度使能够更高分辨率的取样，并且可以纠正由相机设置或者其他情景效果，如照明条件、反射率等所引起的强度误差。此外，有可能改变在光图案中的特征的方位。改变任一的强度或者方位提供了给图像处理软件另外的机会，以从有效新视角处理场景，并且根据如上文讨论的来源于相机的数据。
现在参照图1，这是描述了根据本实施方式的使用图案化的光用于三维追踪的装置的基本布置的简化的示意图。应理解，在这个及以下图中，如通过上下文提供的，圆点和短划线表示概念上的和结构上的线，并且在各实施方式中未必是物理可见的线。
在图1的布置中，光产生阵列，例如激光器阵列，其可以是VCSEL阵列10，包括激光器12.1.1...12.n.n的矩阵。光学元件14包括单元16.1.1...16.n.n，其外部对齐至激光器，以便使单独的单元定位以调制来自各激光器的光。每个激光器具有分离的单元，例如衍射光学元件，并且每个分离的单元具有不同的衍射图案。单元16的缩放18示出了四个衍射元件，每个具有独特的衍射图案。因此，衍射光学元件具有若干单独的设计，每个单元一个，其中每个设计衍射一个VCSEL激光器的光。
该设置可以从激光器阵列产生结构光图案，将其投射至的三维空间中，用于跟踪对象和在该空间内的场景的部分。结构光图案可以是可以进行解析以向计算机提供深度信息的任何合适的图案，并且包括包括条带、格网和/或圆点区域的图案。
将该单元与激光器的阵列的子集对齐，并且每个单元对穿过的光单独地施加衍射调制，以便每个子集提供结构光图案的能区别的部分。
单元16.1.1....16.n.n可以单独地是可控制的以改变衍射调制。因此，图案的不同部分可以是不同的，并且可以将不同的结构光图案用于不同的境况，或者用于场景的不同部分。
可以进一步地将单元动态地控制以提供至结构光图案的变化。因此，图案可以改变以增加视为在关注的场景的部分中的分辨率和/或可以减少不视为在关注的场景的部分中的分辨率。可替换地，可以暂时地将图案的特定部分改变以表示达到场景的特定部分的特定的光源，以便给出用于三角测量和深度估算的另外的线索。通常将会改变强度。就是说，改变是基于控制影响单元的激光器阵列的强度。作为替换，可以改变偏振、滤波参数、或者焦距，任何其他对本领域技术人员而言是显而易见的光特征。
在部分或者全部的图案上可以改变强度。例如，通过入射光可以明亮地照亮部分场景并且可以将其他部分的场景暗淡地照亮。高强度灯可以针对明亮照亮的部分，并且低强度灯针对暗淡照亮的部分，由此节省功率。
可替换地，可以改变图案的密度或者可以改变图案的方位，通常以给出不同的场景视图，用于追踪和深度估算，如以下将非常详细地讨论。关于方位，在给定的方位照明，场景的特征会是更加有效的。例如，通过垂直于它的纵向的条带，可以最有效地照明长窄的特征。在特征的方位随时间而变化时，可以更新条带的方向。密度也可以随着时间改动以允许被追踪的特定特征更加精确的，或者如同看得见细微特征。
在图1中示出的子集是单独的激光器。然而，如同与以下附图有关而将进行讨论的，替换的子集包括一对激光器、三重激光器、不同尺寸的激光器组的组合、以及激光器的动态变化的组合。该单元可以是1mm的数量级。
可以将投射的光组织为拼贴或者重叠或者任何其他合适的布置。
结构图案类追踪布置可以合并至计算机中，包含膝上型计算机，或者平板电脑或pod装置或者移动通信装置如移动电话、或者游戏机、或者运动捕捉装置，如用于动画家捕捉演员的动作的类型的装置，或者在三维追踪中可以提供有用的输入的任何种类的装置。
代替布置在单元中的单一衍射光学元件，可以使用若干衍射元件，并且在本文中对单元的所有引用应解释为另外地引用分离的光学元件。
因此本实施方式允许使用VCSEL激光阵列以及衍射光学元件(DOE)并且控制单独地用于动态地改变结构光图案的每个VCSEL，产生结构光图案。
动态控制可以包括改动在光图案中的单独特征的强度，或者特征的密度或者方位，或者实际上打开和关闭光图案的单独的特征，或者改变基于从结构光分析回馈的任何以上。例如，如果分析显示需要更大的分辨率，那么可以增加密度，如以下将非常详细地讨论。如果分析显示外界光干涉读出器，那么增加强度。如果来自外界光的光反射成为问题，那么可以将光图案的方位改变。如上所述的，除了外界光的问题以外，可以转向条带以便保持它们垂直于被追踪的对象。因此，将来自情景的回馈用于改动光图案。通过调节在受影响的图案内的亮度可以处理在场景中的入射光条件。因此，控制单独的单元可以允许基于来自场景的回馈更改图案的某些区域，而不是其他。在格网、条带和圆点或者可以使用的任何其他图案之间可以动态地改变图案，并且不同的单元可以具有不同图案，根据需要动态重新限定单元。
现在参照图2，其是示出了在其中可以使用图1的布置的一种方式的简化的示意图。在图2中，通过数字20指示激光器的阵列并且每个激光器22.1.1..22.n.n对应于单一单元。该单元照亮分别处于向前投影26中的不同的拼贴24.1.1...24.n.n。在投影26中，每个拼贴具有不同的图案，并且所有的拼贴混合起来以形成完整的光图案。
现在参照图3，其是示出了图1的布置的变体的简化的示意图，其中单元迎合两个或多个VCSEL激光器，特别地在举例说明的情况下三个。在图3中，通过数字30指示激光器的阵列并且通过光学元件将单独的激光器结合成三个激光器单元32.1.-32.3。该单元照亮分别处于向前投影36中的不同的拼贴三重体34.1..34.n。在投影36中，在相同的三重体中的所有的拼贴共享图案但是每个三重体在总体投射的光图案36之内具有不同的图案。
现在参照图4，其是示出了图1的布置的变体的简化的示意图，其中，不同的单元具有不同设计和不同方位。在图4中，通过数字40指示激光器的阵列并且单独的激光器42.1.1...42.n.n形成一个和两个激光器单元。该单元照亮分别处于向前投影46中的不同的拼贴44.1.1...44.n.n。在投影46中，拼贴是尺寸可变的，并且存在两个共享单一图案的一个单元尺寸。
现在参照图5，其是示出了图1的布置的进一步的变体的简化的示意图，其中，每个单元负责于生产不必需地按分离的拼贴结构组织的图案的各种光特性。在图5中，通过数字50指示激光器的阵列并且单独的激光器52.1.1...52.n.n形成单独的一个激光器单元。激光器52.1.1照亮在向前投影56中的拼贴三重体54.1以提供在拼贴的三重体内的水平线。
现在参照图6，其是示出了根据本发明的实施方式的用于追踪的示例性系统的简化的示意图。VCSEL阵列60产生通过光学元件62调制的激光以形成照成3D体积64的图案。相机66监测3D体积并且产生通过处理器68分析的图像帧。处理器68同时进行追踪以及更改光调制以便改善追踪，如以下将非常详细地讨论。该处理器可以是外部处理器如移动装置的外部处理器。相机可以是数码相机或者任何图像传感器，其可以是基于，例如补充的金属氧化硅(CMOS)阵列。可以将处理器连接到相机和激光器两者，以便一旦分析帧之后，处理器因此控制激光器。
现在参照图7，其是示出了各种操作的简化的示意图，即是光学元件的不同的光学功能，可利用于调制来自单一或者子光学单元70、或者大量单元，如在图1中示出的18的激光，使用激光阵列72以形成投射的图案。任何特定的单元可以允许更改光束的位置，76，或者可以更改光束的相78，或者可以更改聚焦，80，或者可以更改光束的形状82，或者可以更改光束的强度84，或者可以更改光束的偏振86。以上不是详细的清单并且其他更改对本领域技术人员而言将是显而易见的。通过单一的光学元件或者通过若干如图11中所示的光学元件可以利用另外的光学功能，其中，将多种功能如聚焦、成形等合并至单元元件中。
现在参照图8，其示出了改变光束方向的光学元件90。从装置体出现的特征92，导致光束方向的变化，并且取决于可以是由于折射、衍射或者折射和衍射的组合的构造。在举例说明的实施例中，锯齿形的配置(其中锯齿类的形状)具有导致光向下弯曲的向下倾斜的上部面以及水平的下部面。
现在参照图9，其示出了用于光束聚焦的构造94。将特征96布置在如同在图8中的锯齿形配置中，但是在构造的下半部处进行锯齿类特征的方位的交换，造成光束的上半部和下半部在焦点98处相遇。
现在参照图10，其是示出了用于光束成形的光学元件的变体100的简化的示意图。将预置的随机函数用于限定光学元件的表面102，以便将光束成形为区分该光束与其他光束的方式。
现在参照图11，其是示出了光学元件110的简化的图，其可以涉及单元或者子单元，并且其结合了先前三个图中的光学元件。第一部件112聚焦了通过VCSEL阵列113产生的光束。部件114在这种情况下以向下的方向弯曲该光束，并且部件116成形该光束。
现在参照图12A，其示出了由水平条带的图案122追踪的手120。显而易见的是，图案正好与手指的长度一致，并且因此提供的关于手指的信息/数据是受限的并且难以识别对象的形状。然而，由于手指提供系统用作命令的手势，手指通常可以是主要关注的点。系统可以因此改变，例如自动地改变在图12B中示出的条带的方位以便该条带穿过手指，因此提供更多信息。基于如包括在流程图中的图像分析回馈，完成改变。
图13至17举例说明了可以形成光图案以便改善追踪的各种变化。图13示出了在条带方位上如在先前图中的从水平至垂直的变化。图14示出了视野的变窄。变窄可以是有用的，例如在手指是关注的特征的情况下。一旦发现手指之后，那么可以将视野变窄以集中在它们上。
图15示出了条带的密度增加。图16示出了从纯的条带至短条线的形状的变化。图17示出了强度的变化。将在第一图像中的低强度的线变成在第二图像中的高强度的线，反之亦然。低密度和高密度的线的合适的选择可以用于追踪在深度维度中的对象。
现在参照图18，其示出了可以怎样使用图2的实施方式追踪亮对象和暗对象。将与在图2中相同的部件给定相同的参考数字，并且除了根据需要用于理解本实施方式外，不进行再次描述。在图18中，在单元区域24.1.1中发现了浅色对象180。该条带的强度是降低的。相反，在单元24.2.3的区域中发现了暗色对象182。对于暗对象，强度是增加的。不同的单元能够独立地运行并且每个区域适当地与分别追踪的对象反应。
现在参照图19，其是示出了根据本发明的实施方式的用于更改单元中的图案的程序的简化的流程图。特定的单元以初始配置-190开始循环。捕捉帧192并且分析帧194。基于定义的分析准则198，由分析确定新的激光器配置196。就是说，对于任何特定的情形，在图案中存在限定的变化，该限定的变化可以获得更多的有关在帧中的对象的信息。然后将新的激光器配置用作用于下一个帧的初始的激光器配置。
术语“包含”、“包括”、“含有”、“具有”以及它们的偶联物是指“包括但不限于”。
术语“由...组成”是指包括并且局限于。
如在本文中使用的，单数形式“一个”、“一种”和“该”包括复数引用，除非上下文另有明确规定。
应理解，为了清楚起见，将本发明的某些特征在分离的实施方式的上下文中进行描述，也可以在单一实施方式的组合中进行提供，并且以上描述应解释为这种组合是明确记载的。相反地，为了简便起见，将本发明的各种特征在单一的实施方式的上下文中进行描述，也可以分离地或者在任何合适的子组合或者适合于本发明的任何其他描述的实施方式中提供，并且以上描述应解释为这些分离的实施方式是明确记载的。在各种实施方式的上下文中描述的某些特征不应被认为是那些实施方式的必要特征，除非该实施方式在没有那些元件的情况下是不起作用的。
尽管本发明已经结合它们的特定实施方式进行了描述，明显的是，对于那些本领域的技术人员而言，许多替换、更改和变体，将是显而易见的。因此，其旨在涵盖落入所附权利要求的精神和广泛范围内的所有这种替换、更改和变体。
在本文中将在本说明书中提及的所有出版物、专利和专利申请，通过引证以将它们的全部内容合并至本说明书中，以相同的程度，每个单独的出版物、专利或专利申请被特定地和单独地指出以通过引证合并在本文中。此外，在本申请中的任何参考文献的引用或鉴定不应解释为承认这种参考文献可作为本发明的现有技术。一定程度上，使用了节标题，它们不应解释为必要的限制。

Claims (23)

1.一种用于产生结构光图案的设备，包括：
激光器的阵列，被布置为按图案透射光至三维空间中；以及
多个光学元件，各光学元件限定单元，所述单元与所述激光器的阵列的各子集对齐，每个单元的所述光学元件对穿过所述光学元件的来自相应的子集的光单独地施加调制，以提供所述结构光图案的能区别的部分，
其中，所述单元是能单独控制的以改变所述调制，并且
其中，所述单元能动态控制，以基于接收和分析至少一个捕捉的帧，提供变化至所述结构光图案，所述帧包括在二维布局中的多个像素。
2.根据权利要求1所述的设备，其中，光学的所述调制是由衍射调制、折射调制、以及衍射调制和折射调制的组合所组成的组中的一个成分。
3.根据权利要求1所述的设备，其中，所述光学元件以及所述激光器的阵列的所述子集是由单一塑造元件构造的，所述子集包括对应的单元。
4.根据权利要求1所述的设备，其中，所述单元的宽度是1mm或比1mm更小。
5.根据权利要求1所述的设备，其中，所述光学元件的宽度是1mm或比1mm更小。
6.根据权利要求5所述的设备，其中，所述单元相对于在所述结构光图案之内的定位以及相对于施加至所述光的形状能进一步控制。
7.根据权利要求1所述的设备，其中，所述动态控制是能配置的以施加所述结构光图案的增加的分辨率至场景的部分，施加所述结构光图案的降低的分辨率至所述场景其他部分。
8.根据权利要求1所述的设备，其中，至所述结构光图案的动态的所述变化包括所述结构光图案的方位的变化。
9.根据权利要求1所述的设备，其中，至所述结构光图案的动态的所述变化包括单元方面的变化。
10.根据权利要求9所述的设备，其中，所述变化是包括在强度上的变化、在偏振上的变化、在滤波参数上的变化、以及在聚焦上的变化的组中的一个成分。
11.根据任一前述权利要求所述的设备，其中，所述子集包括由以下组成的组中的一个成分：单个激光器、一对激光器、三重激光器、不同尺寸的激光器的组合、以及激光器的动态变化组合。
12.根据权利要求1至10中任一项所述的设备，其中，从各子集投射的光是拼贴的或者重叠的。
13.根据权利要求1至10中任一项所述的设备，其中，所述激光器的阵列包括VCSEL激光器阵列。
14.根据权利要求1至10中任一项所述的设备，其中，所述激光器的阵列包括激光器棒。
15.根据权利要求1至10中任一项所述的设备，合并至由以下组成的组中的任何成分：计算机、移动通信装置、平板装置、游戏机、以及运动捕捉装置。
16.根据权利要求1至10中任一项所述的设备，在使用时用于追踪三维的场景。
17.一种产生用于三维追踪的结构光图案的方法，所述方法包括：
从激光器的阵列提供光；以及
从所述激光器的阵列的子集单独地投射光，以提供所述结构光图案的能区别的部分，
其中，所述单独地投射包括通过对各子集的所述光施加调制以区分来自各子集的光，所述调制是包括衍射、偏振、改变波长、改变滤波参数、改变强度的组中的一个成分，
所述方法进一步包括基于接收以及分析至少一个捕捉的帧，动态地改变在各单元中的所述结构光图案，所述帧包括在二维布局中的多个像素，并且
其中，所述单元由光学元件限定，所述单元与所述激光器的阵列的各子集对齐。
18.根据权利要求17所述的方法,其中，所述单独地投射包括动态地改变施加至子集的各投射的光的调制。
19.根据权利要求17所述的方法,其中，动态地改变包括暂时改变所述子集中的一个的图案，从而以帮助在被追踪的场景内的深度确定。
20.根据权利要求17所述的方法，其中，动态地改变包括增加在视为关注的被追踪的场景的部分中的分辨率水平，并且减少在不视为关注的所述场景的部分中的分辨率水平。
21.根据权利要求17所述的方法，其中，动态地改变包括改变在结构光之内的图案的密度。
22.根据权利要求17所述的方法，其中，动态地改变包括改变在结构光之内的图案的方位。
23.一种用于产生结构光图案的设备，包括：
激光器的阵列，被布置为按图案透射光至三维空间中；以及
多个光学元件单元，所述光学元件单元与所述激光器的阵列的各子集对齐，每个光学元件单元对穿过所述光学元件的来自相应的子集的光单独地施加强度调制，以提供所述结构光图案的能区别的部分，
其中，所述光学元件单元是能单独控制的以改变所述调制，并且
其中，所述光学元件单元能动态控制，以基于接收和分析至少一个捕捉的帧，提供变化至所述结构光图案，所述帧包括在二维布局中的多个像素。
CN201480058469.9A 2013-10-23 2014-10-23 使用动态结构光的三维深度映射 Active CN105659106B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361894471P 2013-10-23 2013-10-23
US61/894,471 2013-10-23
PCT/IL2014/050922 WO2015059705A1 (en) 2013-10-23 2014-10-23 Three dimensional depth mapping using dynamic structured light

Publications (2)

Publication Number Publication Date
CN105659106A CN105659106A (zh) 2016-06-08
CN105659106B true CN105659106B (zh) 2018-12-28

Family

ID=51897406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480058469.9A Active CN105659106B (zh) 2013-10-23 2014-10-23 使用动态结构光的三维深度映射

Country Status (11)

Country Link
US (4) US10091494B2 (zh)
EP (1) EP3060941A1 (zh)
JP (2) JP6547104B2 (zh)
KR (1) KR102027184B1 (zh)
CN (1) CN105659106B (zh)
AU (1) AU2014338511B2 (zh)
BR (1) BR112016009202A8 (zh)
CA (1) CA2924622C (zh)
IL (1) IL245002B (zh)
MX (1) MX2016005338A (zh)
WO (1) WO2015059705A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2480955B1 (en) 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
US9552074B2 (en) 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6782239B2 (ja) * 2015-01-06 2020-11-11 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ パターン光を用いた深さマップを提供するための方法およびシステム
EP3274653B1 (en) * 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US9648698B2 (en) 2015-05-20 2017-05-09 Facebook, Inc. Method and system for generating light pattern using polygons
KR102311688B1 (ko) * 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
CN108604053B (zh) * 2015-10-21 2021-11-02 普林斯顿光电子股份有限公司 编码图案投影仪
KR20180105228A (ko) 2016-02-01 2018-09-27 헵타곤 마이크로 옵틱스 피티이. 리미티드 조명 모듈들 및 광전자 시스템들
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
EP3500820A4 (en) 2016-08-18 2020-04-29 Ramot at Tel-Aviv University Ltd. PROJECTOR OF STRUCTURED LIGHT
US10859676B2 (en) * 2016-09-30 2020-12-08 Magic Leap, Inc. Projector with spatial light modulation
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
US10904514B2 (en) * 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
EP3596492A4 (en) 2017-03-13 2020-12-16 Opsys Tech Ltd EYE-FREE SCANNING LIDAR SYSTEM
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
EP3655721B1 (en) * 2017-07-18 2023-05-10 AMS Sensors Singapore Pte. Ltd. Generating structured light
US10514444B2 (en) 2017-07-28 2019-12-24 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
US10551614B2 (en) * 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN107589623A (zh) * 2017-09-19 2018-01-16 深圳奥比中光科技有限公司 高密度的结构光投影仪
US10666020B2 (en) * 2017-09-20 2020-05-26 Lumentum Operations Llc Reconfigurable emitter array
CN111356934B (zh) 2017-11-15 2024-03-12 欧普赛斯技术有限公司 噪声自适应固态lidar系统
US11262192B2 (en) 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US10578717B2 (en) * 2018-01-31 2020-03-03 Honeywell International Inc. Dimmable glass for eye safety for LiDAR technology
CN110133853B (zh) * 2018-02-09 2021-09-21 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
JP6880512B2 (ja) 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US10935376B2 (en) 2018-03-30 2021-03-02 Koninklijke Philips N.V. System and method for 3D scanning
JP7324518B2 (ja) 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US11675114B2 (en) * 2018-07-23 2023-06-13 Ii-Vi Delaware, Inc. Monolithic structured light projector
JP2020020680A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、撮像装置、センシングモジュール
KR20200017017A (ko) 2018-08-07 2020-02-18 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
US11378724B2 (en) 2018-12-23 2022-07-05 Ii-Vi Delaware, Inc. Diffraction grating array for wide-angle illuminateon
CN109901191B (zh) * 2019-03-08 2023-02-10 中国科学院上海光学精密机械研究所 旋转扫描式激光雷达成像装置
CN110058424A (zh) * 2019-03-27 2019-07-26 努比亚技术有限公司 一种激光衍射装置、3d装置及终端
DE102019107957A1 (de) * 2019-03-27 2020-10-01 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische vorrichtung und lidar-system
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートｌｉｄａｒ送光機
EP3977159A4 (en) 2019-05-30 2023-03-01 Opsys Tech Ltd. EYE-SAFE LONG-RANGE LIDAR SYSTEM WITH ACTUATOR
US11644303B2 (en) 2019-12-16 2023-05-09 Faro Technologies, Inc. Three-dimensional coordinate measuring instrument coupled to a camera having a diffractive optical element
KR20220030007A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
CN112379530B (zh) * 2020-11-24 2022-06-10 北京华捷艾米科技有限公司 深度相机的光源装置和深度相机

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (de) 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu
US5212555A (en) 1991-12-17 1993-05-18 Texas Instruments Incorporated Image capture with spatial light modulator and single-cell photosensor
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
US6690474B1 (en) * 1996-02-12 2004-02-10 Massachusetts Institute Of Technology Apparatus and methods for surface contour measurement
US6102552A (en) 1996-10-18 2000-08-15 Hewlett-Packard Company Laser-array based digital illuminator
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6040910A (en) 1998-05-20 2000-03-21 The Penn State Research Foundation Optical phase-shift triangulation technique (PST) for non-contact surface profiling
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7140543B2 (en) * 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
US7242388B2 (en) 2001-01-08 2007-07-10 Vkb Inc. Data input device
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP2003228003A (ja) * 2002-02-04 2003-08-15 Olympus Optical Co Ltd 観察光学系
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20040119833A1 (en) * 2002-07-25 2004-06-24 Duncan Donald D. Three-dimensional context sensitive scanner
CN1176351C (zh) * 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7064810B2 (en) * 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7454103B2 (en) * 2004-04-23 2008-11-18 Parriaux Olivier M High efficiency optical diffraction device
JP4709571B2 (ja) * 2005-04-05 2011-06-22 国立大学法人広島大学 視覚情報処理システム及びその視覚情報処理方法
US8050461B2 (en) 2005-10-11 2011-11-01 Primesense Ltd. Depth-varying light fields for three dimensional sensing
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
EP2041640B1 (en) 2006-07-16 2012-01-25 I. Cherradi Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP4962852B2 (ja) 2007-03-05 2012-06-27 株式会社ニコン 形状測定方法および形状測定装置
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US7701580B2 (en) * 2008-02-01 2010-04-20 Palo Alto Research Center Incorporated Transmitting/reflecting emanating light with time variation
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP2009192620A (ja) 2008-02-12 2009-08-27 Panasonic Corp レーザ照射装置
FR2932562B1 (fr) 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
DE112009001652T5 (de) * 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
EP2166305B1 (de) 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
JP5161024B2 (ja) 2008-10-10 2013-03-13 富士フイルム株式会社 ３次元形状計測用撮影装置および方法並びにプログラム
CN101451826B (zh) 2008-12-17 2010-06-09 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
JP2011018090A (ja) 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
EP2480955B1 (en) 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
WO2012026550A1 (ja) 2010-08-25 2012-03-01 国立大学法人 東京農工大学 ホログラム表示用モジュールおよび立体表示装置
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US20120200829A1 (en) 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
JP5447465B2 (ja) * 2011-09-13 2014-03-19 住友電気工業株式会社 半導体レーザ素子の端面角度測定方法
WO2013088442A1 (en) 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
US9606237B2 (en) 2012-03-01 2017-03-28 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
US10386178B2 (en) 2012-11-29 2019-08-20 Philips Photonics Gmbh Laser device for projecting a structured light pattern onto a scene
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
WO2015059705A1 (en) 2015-04-30
JP2019164144A (ja) 2019-09-26
EP3060941A1 (en) 2016-08-31
AU2014338511B2 (en) 2018-08-09
US20160286202A1 (en) 2016-09-29
US20180324412A1 (en) 2018-11-08
BR112016009202A8 (pt) 2020-03-24
CA2924622A1 (en) 2015-04-30
JP2016540189A (ja) 2016-12-22
JP6547104B2 (ja) 2019-07-24
US10091494B2 (en) 2018-10-02
CA2924622C (en) 2020-03-10
KR102027184B1 (ko) 2019-10-01
KR20160075548A (ko) 2016-06-29
US11057610B2 (en) 2021-07-06
IL245002B (en) 2019-02-28
US20210297651A1 (en) 2021-09-23
IL245002A0 (en) 2016-05-31
AU2014338511A1 (en) 2016-04-21
MX2016005338A (es) 2017-03-20
CN105659106A (zh) 2016-06-08
US10687047B2 (en) 2020-06-16
US20200267377A1 (en) 2020-08-20
US11962748B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
CN105659106B (zh) 使用动态结构光的三维深度映射
JP6386194B2 (ja) ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング
US10721459B2 (en) Scanning projectors and image capture modules for 3D mapping
US10514148B2 (en) Pattern projection using microlenses
US9869580B2 (en) Controllable optical sensing
US8761495B2 (en) Distance-varying illumination and imaging techniques for depth mapping
JP4290733B2 (ja) ３次元形状計測方法及びその装置
US20150310670A1 (en) System and Method for Generating a Light Pattern for Object Illumination
CN109891187A (zh) 结构光投影仪
US20190086198A1 (en) Methods, systems and computer program products for determining object distances and target dimensions using light emitters
CN209690705U (zh) 投影装置及其光源和设备
CN209570791U (zh) 投影装置及其光源和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170330

Address after: California, USA

Applicant after: Facebook, Inc.

Address before: California, USA

Applicant before: OCULUS VR, LLC

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190327

Address after: California, USA

Patentee after: Facebook Technologies, LLC

Address before: California, USA

Patentee before: Facebook, Inc.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder