CN106796107A - 用于3d感测的结构光 - Google Patents

用于3d感测的结构光 Download PDF

Info

Publication number
CN106796107A
CN106796107A CN201580054744.4A CN201580054744A CN106796107A CN 106796107 A CN106796107 A CN 106796107A CN 201580054744 A CN201580054744 A CN 201580054744A CN 106796107 A CN106796107 A CN 106796107A
Authority
CN
China
Prior art keywords
transmitter
row
projection
line
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580054744.4A
Other languages
English (en)
Other versions
CN106796107B (zh
Inventor
盖伊·拉茨
纳达夫·格罗辛格
尼他耶·罗曼诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN106796107A publication Critical patent/CN106796107A/zh
Application granted granted Critical
Publication of CN106796107B publication Critical patent/CN106796107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Abstract

一种用于结构光扫描的设备，结构光包括一条或多条投影线或其他图案，该设备包括：用于每个投影线或图案的至少两个独立的发射器，通常布置成行，以及图案生成器，用于使来自给定行的相应发射器的光沿着图案轴重叠以形成投影图案。独立的发射器沿着图案提供不相干的光使得尽管重叠仍最小化斑点噪声。

Description

用于3D感测的结构光
技术领域
本发明在其一些实施方式中涉及一种用于3D感测的结构光感测生成，并且更具体地说(但非排他地)涉及一种使用多发射器的重叠图案的结构光方法和装置。
背景技术
一般而言，结构光感测是将已知的图案(诸如，栅格或水平条)投影到场景上的过程。当栅格或条撞击表面时栅格或条连续或不连续、变形以及位移的方式允许视觉系统计算场景中的对象的深度和表面信息。在3D扫描仪中可以使用结构光。
结构光常常是不可见的或觉察不到的，从而允许在用户感觉不到其存在的情况下进行使用。
结构光装置的要素是产生在3D扫描过程中要被测量的、投影到场景上的光图案。现有技术包括通常基于固定图案的空间结构光以及基于动态变化的图案的时间结构光。以两种方式中的一种产生光图案。在第一方法中，单个发射器经过一系列光学器件进行投影以产生整体图案。在第二方法中，多个发射器经过光学元件成像或投影使得发射器中的每一个产生图案的一部分。
在现有技术中对多个发射器的使用可以分成几种类别。在一种类别中，首先由直接附接至特定发射器的小透镜对发射器中的每一个进行准直。然后从全场视图上的准直束阵列中产生远场图案。
在第二种类别中，首先将非规则布置的发射器按原样投影到一小部分的远场上，然后复制该布置以覆盖大视场。
在第三种类别中，将单独的衍射光学元件放置在生成远场图案的特定部分的每个发射器的前方。
发明内容
由两个或更多个独立的发射器生成投影图案，并且来自每个发射器的光沿着图案的轴扩展以便使来自不同的发射器的光重叠。图案可以是线并且发射器阵列的附加行可以提供附加线以形成覆盖块的投影。该块是该图案的正方形或者矩形分片(tile)并且分片可以在待扫描的区域上拟合。
根据本发明的一些实施方式的一方面，提供一种用于使用至少一个投影图案的投影结构光的装置，该装置包括：
至少两个独立的发射器，每一个独立的发射器被配置为生成投影图案的一部分；以及
图案生成器，用于使来自相应发射器的光沿着相应图案轴重叠以形成投影图案。
术语“重叠”被用于指示投影图案上的点接收来自至少两个分开的独立发射器的光。发射器它们自身可以是相干的但彼此不相干地独立。换言之，每个发射器产生相干光。然而，两个不同的发射器彼此不相干，换言之，不彼此相干。
通常，该至少两个独立的发射器可以组成一行发射器中的一些或全部，并且图案可以是直线或曲线，甚至由子图案组成的复合物。应注意，根据观察光图案的视角，术语“行”可与列互换。
在图案是线的情况下，准直器在垂直于线轴的轴上对给定行的光进行准直。
实施方式可包括每行数量可变的可操作的发射器，从而提供用于每条投影线或其他图案的不同等级的强度。
在实施方式中，行设置有相同数量的发射器，其中，预定行的预定发射器关闭以提供较低等级的光强度。
可替换地，行分别设置有不同数量的发射器。
在实施方式中，通过将各个行设置成不同的长度并在发射器之间保持固定距离，提供不同数量的发射器。
在实施方式中，通过在各个行中的发射器之间提供不同的距离，提供不同的数量的发射器。
衍射元件可以用于复制一块投影线以填充视野。
准直透镜的行和/或焦距之间的间隔可以是预定的以限定在投影线之间展开的角度。
对于所有相邻的投影线，在投影线或其他图案之间展开的角度是恒定的，从而在投影线中提供规则图案。
独立的发射器可以例如使用激光棒或VCSEL阵列布置为发射器阵列。
根据本发明的第二方面，提供一种用于结构光投影的方法，结构光包括多条投影线，该方法包括：
从布置在多行中的独立的相干光发射器发射光；以及
使来自给定行的各个独立相干光发射器的光沿着线轴重叠以形成非相干光的相应投影线。
该方法可以包括在垂直于线轴的轴上对给定行的光进行准直，和/或每行设置不同数量的可操作发射器，使得不同的行提供不同强度的投影线。
该方法可能需要一次或多次复制一块投影线以填充视野。
该方法可以包括固定准直透镜的行和/或焦距之间的间隔以限定在投影线之间展开的角度。
该方法可以包括限定在投影线之间展开的角度以在所有相邻投影线之间恒定，从而在投影线中提供规则图案。
根据本发明的第三方面，提供一种通过移动或姿势操作的用户界面系统，该系统包括：
用于使用多条投影线的结构光投影的装置，该装置包括：
各行的独立发射器，每行被配置为生成投影线的相应投影线；以及
线发生器，用于使来自给定行的相应发射器的光沿着相应线轴重叠以形成投影线。
根据本发明的第四方面，提供一种包括投影线的3D投影光图案，投影线中的光由相干光的多个源提供，源是彼此不相干的，来自每个源的光重叠以形成相应投影线。
根据本发明的第五方面，提供一种使用多条投影线的投影结构光的设备，该设备包括：
多行的独立发射器，每行被配置为生成相应投影线；以及
线发生器，用于使来自给定行的各个发射器的光沿着相应线轴重叠以形成投影线中对应的投影线。
除非另有限定，否则本文中使用的所有技术和/或科学术语具有如本发明所属领域技术人员所通常理解的含义。尽管在本发明实施方式的实施或测试中可使用与本文中所描述的类似或等同的方法和材料，但在下文中描述了示例性方法和/或材料。在冲突的情况下，以包括定义的本专利说明书为准。另外，材料、方法和实例仅仅是示意性的并且不旨在为必要限制性的。
本发明实施方式的方法和/或系统的实施可包括手动地、自动地、或它们组合地来执行或完成所选任务。而且，根据本发明方法和/或系统的实施方式的实际仪器和设备，可通过硬件、通过软件、或通过固件或通过它们的组合使用操作系统来实施多个所选任务。
例如，根据本发明实施方式用于执行所选任务的硬件可实施为芯片或电路。作为软件，根据本发明实施方式的所选任务可实施为通过计算机使用任何合适的操作系统执行的多个软件指令。在本发明的示例性实施方式中，根据如本文所述方法和/或系统的示例性实施方式的一个或多个任务可通过数据处理器，如用于执行多个指令的计算平台来执行。可选地，该数据处理器包括用于存储指令和/或数据的易失性存储器，和/或用于存储指令和/或数据的非易失性存储器，例如，磁性硬盘和/或可移动介质。可选地，还提供网络连接。还可选地提供显示器和/或用户输入装置诸如键盘或鼠标。
附图说明
在此参照附图仅仅以实例的方式来描述本发明的一些实施例。针对现在具体对于附图的具体参照，应当强调的是，所示细节仅作为实例并且用于示意性讨论本发明实施例的目的。在这个方面，结合附图所做的说明使得如何实施本发明的实施例对于本领域技术人员而言是显而易见的。
在附图中：
图1是示出了根据本发明的实施方式的用于使用3D光扫描(投影线放大)控制计算机画面的手势的示意图；
图2是示出根据本发明的实施方式的投影光图案的示图；
图3是示出根据本发明实施方式的用于产生最小斑点噪声的光图案的设备的简化框图；
图4是示出根据本发明的实施方式的一行发射器的简图；
图5是示意性地示出根据本发明的实施方式的准直的简图；
图6是以夸张的形式示出根据本发明的实施方式来自不同的发射器的光如何重叠以形成投影线的简图；
图7是图3的实施方式的变型，其中，单个光学元件实现分离的光学元件的所有功能；以及
图8是示出本发明的实施方式的操作的简化流程图。
具体实施方式
本发明在其一些实施方式中涉及一种用于3D感测等的结构光生成，并且更具体地说(但非排他地)涉及一种使用多个发射器的重叠图案的结构光生成方法和设备。
结构光可包括多个投影线，并且提供用于每条投影线的独立发射器行。线生成器使得来自给定行的各个发射器的光沿着线轴重叠以形成投影线。发射器自身可以发射相干光但是不同的发射器彼此不相干。彼此不相干的独立的发射器确保沿着投影线排列的线是不相干的，使得由于重叠而引起的斑点噪声最小化。
在详细阐述本发明的至少一个实施例之前，应当理解，本发明不必将其应用限制于在以下说明中描述和/或在附图和/或实例中示出的部件的结构和布置和/或方法的细节。本发明能够具有其他实施例或以各种方式实施或执行。
现在参考附图，图1是示出手10做出姿势以经由虚拟现实面罩14控制画面12的的简化示图。如以下更详细地论述的，虚拟现实面罩包括摄像机和图案形成光学器件。
光图案从光学器件照射到视野(例如包括手)中。图案可以是曲线或直线或由更简单的图案构成的复杂图案。图案的一个实例是直线。在一个实例中可以使用一系列平行直线。
在图案的极限范围内，来自不同的发射器的光重叠或者混合，使得除了或许图案的末端之外，图案中任何给出的点投影到接收来自两个以上的发射器的光的探测区上。
条状光图案的投影线从画面上或在画面四周或者可替换地如所示出的位于摄像机上的光学器件16照射，并且为了说明而放大的投影线由于手的形状而失真。摄像机拾取具有投影线中失真的手的图像并且使用该失真确定对象10实际上是手并且确定手的位置、方位以及内部特征的位置以识别姿势，或者例如姿态等等。
图2是示出了根据本发明的典型的条状光图案的简图。通常均匀分布的亮条纹作为投影线照射到视野上。投影线失真表示下面的对象的形状。就是说，线落在对象上并且倾向于根据对象的轮廓而失真。投影线位移给出至感兴趣的3D区域的深度的指示。因此，在三角测量的过程中，可根据两个探测器处的角度确定对象位于空间中的深度。
现在参考图3，图3是示出设备的实施方式的简化框图。在图3中，多行20独立的发射器22以规则阵列24设置。每行生成投影线中的一个。通常，投影线沿着行的轴(由箭头25表示)。
每个独立的发射器22通常发出相干光。在从不同的发射器发射的光彼此不相干的意义上，发射器是独立的。
为了使来自发射器的光转化为跨视野的投影图案，提供了光学装置26。光学装置由沿着轴扩展点光的线发生器28构成。所选择的轴是行方向25的轴，并且对于多行的发射器使用线发生器的效果是使来自给定行的不同的发射器的光沿着线轴重叠以形成投影线。
为了使投影线独特，准直器30在垂直于线轴并与行交叉的轴上对给定行的光进行准直。
如果单独的线独特，那么更容易进行图像分析。本实施方式允许通过亮度或强度识别每条线。在每行可以使用不同数目的发射器，从而即使行图案自身是均一的，每行也具有唯一的强度。较亮的行可以与较暗的行交替，使得图像分析可以拾取在不连续(诸如对象的边缘)之后的正确投影线。因此，发射器可以设计成可切换的(即，开启和关闭)，以便每行设置不同数量的可操作发射器，使得不同的行提供不同强度的投影线。
作为对于关闭发射器的替换方案，实施方式在每行中保持相同数量的可操作发射器，但是改变用于每行的驱动电流，从而实现强度改变的相同结果。驱动电流中的变化可以设计到硬件中和/或可以由驱动器控制。
在另一替换方案中，阵列中不同的行的长度不同，因此具有数量不同的均匀间隔的发射器，以便实现不同的强度。关于这种实施方式的变型是在不同行的发射器之间具有不同行距。
还可以提供以上实施方式的任意组合以便实现强度变化的线。组合实施方式的原因是当被照亮的区域需要更大的对比时，为冗余强度等级的差提供增加强度差的进一步的选项。
示例性实施方式使用具有两种类型的行(高强度类型的行和低强度类型的行)的规则栅格阵列，低强度类型的行具有比高类型更少的可操作发射器。然而，行类型不是由发射器的数量定义的而是由每行的功率输出定义的。
发射器之间的距离在高强度行与低强度行两者中都是相同的，并且行之间的距离是固定的。
没必要使独特的投影线投射到整个视野中。相反，能够生成分片(其中，所有的投影线都是独特的)然后多次投射该分片。可以使用多斑或衍射元件32，其中，单个元件以单一维度进行分片。两个这样的元件可以用于在第二维度进行分片并且可以复制分片或块以填充视野。
可通过准直器以及准直透镜的焦距设置投影线的宽度。准直透镜的焦距和行22之间的间隔可以限定在相邻的投影线之间展开的角度。通常，使相邻投影线之间展开的角度保持不变以提供均匀的图案。
独立的发射器可以布置为发射器阵列24，并且该阵列可以由激光棒或者垂直腔表面发射激光器(VCSEL)阵列组成。VCSEL阵列可包括晶片中半导体激光器的单片结构，其中，光束发射方向垂直于晶片表面。
图4、图5以及图6是示出投影线的形成的示意图。如图4所示，一行发射器发射在独立发射器处相干但在发射器之间彼此不相干的光。
结果是在图5中然后被准直以提供不会延伸到预设行边界之外的光束的一行光斑。
图6是示出每个斑是如何由线发生器转变为沿着线轴延伸的线的放大图。线重叠，但由于发射器彼此不相干，存在的斑点噪声减少。
现在参考图7，图7示出了图3中的设备的变型，其中，单个统一的光学元件代替图3的所有光学部件。统一的光学元件34对每行的光进行准直，沿着行轴扩展每行中的光以形成相应投影线，并执行分片。
现在参考图8，图8是示出使用多条投影线和独立的发射器进行结构光扫描的方法的简化流程图。多行独立发射器布置成阵列并且光从元件发射，如框40示出。如所论述的，元件是独立的，因为尽管它们可以提供相干光，但它们彼此不相干。如以上相对于图6讨论的，来自给定行中的不同发射器的光然后比方说使用线发生器沿着行的轴扩展42，使来自行中的不同的发射器的光沿着线轴重叠以形成相应投影线。
尽管光沿着行的轴扩展，但在垂直轴上对光进行准直44以形成独特的行。
如所提到的，可通过例如在每行中设置不同数量的元件使每行具有独特的强度。其他方法可包括用不同的电流驱动每行。结果是具有独特强度图案的分片。然后可以复制分片以填充视野。在分片内，通常可以使用两个以上的强度等级并且可通过识别强度序列获得唯一性。例如，“高、低、高、高”的图案是唯一的，但是除非使用更大数量的强度等级，否则关于单独的线没什么独特的。
现在更详细地考虑线发生器和光学器件。使用多个发射器的优势是能够显著地减少斑点噪声。然而，仅当使用不同的发射器以交叠的方式照亮相同的图案时能够实现这样的优势。因此，本实施方式可以利用以下图案形成技术。图案一方面适合于结构光应用，而另一方面容易将其自身提供给与照明应用重叠的另外的多个发射器。使用发射器的规则阵列，诸如，激光棒或VCSEL阵列。在发射器之后是对一个轴进行准直并在第二垂直轴上形成线的光学元件的序列。线方向可以通过一行发射器形成一系列重叠线的方式沿着发射器阵列轴准确地对齐。
由于每个发射器形成相同(至多存在一些小侧向位移)的线，来自每个发射器的不同的线沿着增强线的长度重叠。由于发射器是不同的，光是不相干的，并且来自不同的发射器的光之间不存在干扰，从而导致线图案中斑点噪声大量减少。由于任何未对准可具有扩大线宽的效果，可以提供阵列轴与线方向之间的仔细对准。由于通过每个发射器形成的线在稍微有不同的位置终止，在线边缘处，重叠停止。就是说，不同的线端点相对于彼此移动。然而，与线的长度相比，不同的线结束的范围通常可以是小的。
使用相同的单个的光学元件，如在有规律地间隔开的阵列中，每行发射器导致投影图案中单条线的形成。投影图案中的线是等间隔的，且每个投影图案线对应于单行。每个投影图案线均包含来自发射器的重叠线，具体地来自该行中的每个发射器的一条线。通过发射器行与准直透镜焦距之间的实际间隔来固定在线之间展开的角度。
通常，由于光变得更加不相干的，给定行22中每个附加发射器20可进一步减少投影线中的斑点噪声。行22的数目然后可以确定由光学元件形成的投影线的数目。正如以上的讨论，为了产生更多的投影线，简单的衍射光学元件(DOE)32可以用于复制投影线图案若干次。
为了进一步增强图案，可以通过控制相应行中的有效发射器的数目来控制每个投影线的相对光强度。虽然仍使用规则阵列24，但可以通过消除来自每条线的少量发射器减少有效发射器的数目。以这种方式，每条投影线均可被设为预定线强度，该强度然后可以由分析软件用于识别单独的投影线。
实施方式使用简化光学设计用于以上图案形成技术。可以使用单个的光学元件34针对所有的发射器所共用，从而允许它们规则布置以变换成所希望的远场图案或投影图案。远场图案的独特的规则性可以允许本技术有效。光学器件包括准直器、线发生器以及多斑或DOE，以便复制线图案以填充视野。
通过至少一些本实施方式示出以下优点。
实施方式可以使得斑点噪声能够有效减少，这通常会是当存在相干光时发射器图案重叠的情况。
由于单独的投影线中的多源的重叠，实施方式可以允许改善的全局线均匀性。
实施方式可以使用对于所有的独立发射器所共用的简单的光学器件。
如所论述，实施方式可以允许通过设置每行中有效发射器的数量来控制线强度。
实施方式可以允许通过在发射器阵列布局中设置行到行的间隔和/或设置准直透镜的焦距控制线角间隔。
在实施方式中，发射器可以分成发射器子集，其中每个子集允许单独开/关切换或者单独控制驱动电流。
在实施方式中，基于行/列划分成子集，每行/列可单独寻址。可替换地，几行/列可以聚集成一个子集。举例来说，奇数行/列可聚集成一个子集，并且偶数行/列可聚集成另一个子集。与数据获取同步地交替地使用每个子集允许形成动态图案以提高分辨率。
可以期望到，在从本申请发展到专利的期间，会开发出许多相关的光学发射器和投影分析技术并且相应术语的范围旨在包括所有在前的这样的新技术。
术语“包括”、“包含”、“含有”、“含”、“具有”及其同源词是指“包含但不限于”。
术语“由……组成“表示“包括并且限于”。
如本文中所使用的，除非上下文明确地规定其它情况之外，否则单数形式“一”、“一个”和“该”也包括复数。
应理解，为了清楚而在分开的实施方式的上下文描述的本发明的某些特征还可以组合起来在单个的实施方式中提供，并且以上描述解释为该组合是否明确地书写。相反地，为了简便起见，在单个的实施方式的上下文描述的本发明的各种特征可以单独提供或以任何适当的子组合提供，或者适用于所描述的本发明的任何其他实施方式，并且以上描述解释为这些分开的实施方式是否明确地书写。在各个实施例的背景下描述的特定特征不应当被认为对于那些实施方式而言是实质性的特征，除非实施方式在不具备这些元素的情况下不能实施。
虽然本发明已经结合其特定的实施方式进行了描述，但是很明显的是，许多替换、修改和变化对本领域的技术人员来说是显而易见的。因此，其意在涵盖落入所附权利要求的精神和广泛范围内的所有此类替代、修改和变化。
本说明书中提及的所有出版物、专利和专利申请以其全部内容如同每个单独的出版物、专利或专利申请具体地且单独地指明结合于本文中作为参考的相同程度结合于本说明书中作为参考。另外，本申请中任何参考文献的引证或识别不应该解释为承认这种参考文献可作为针对本发明的现有技术。对于所使用章节标题的程度而言，它们不应当被认为是必要限制性的。

Claims (26)

1.一种用于使用至少一个投影图案的投影结构光的设备，所述设备包括：
至少两个独立的发射器，每个所述独立的发射器被配置为生成所述投影图案的相应部分；以及
图案生成器，用于使来自各发射器的光重叠以形成所述投影图案。
2.根据权利要求1所述的设备，其中，所述至少两个独立的发射器包括总体图案的行或列。
3.根据权利要求1所述的设备，其中，所述图案是由线或曲线组成的组的一部分。
4.根据权利要求2所述的设备，其中，所述至少两个独立的发射器重叠以形成子图案，并且所述总体图案包括多个子图案。
5.根据权利要求2所述的设备，进一步包括：准直器，所述准直器被配置为将给定行的光在垂直于线轴的轴上进行准直。
6.根据权利要求2所述的设备，包括：每行的数量能够变化的能够操作的发射器，因此提供不同强度等级的每条投影线。
7.根据权利要求6所述的设备，其中，所述行设置有相同数量的发射器，预定行中的预定发射器关闭以提供低等级的光强度。
8.根据权利要求5所述的设备，其中，所述行分别设置有不同数量的发射器。
9.根据权利要求8所述的设备，其中，通过将相应行设置成不同的长度并在发射器之间保持固定的距离，提供所述不同数量的发射器。
10.根据权利要求8所述的设备，其中，通过在相应行中的发射器之间提供不同的距离，提供所述不同的数量的发射器。
11.根据权利要求1所述的设备，进一步包括：衍射元件，所述衍射元件被配置为复制所述投影线的块以填充视野。
12.根据权利要求1所述的设备，其中，准直透镜的焦距与行之间的间隔是预定的以限定在所述投影线之间展开的角度。
13.根据权利要求12所述的设备，其中，对于所有相邻的投影线，在所述投影线之间展开的所述角度是恒定的，从而在所述投影线中提供规则图案。
14.根据权利要求1所述的设备，其中，所述独立的发射器布置为发射器阵列。
15.根据权利要求13所述的设备，其中，所述发射器阵列包括由激光棒和VCSEL阵列组成的组的一部分。
16.一种用于结构光投影的方法，所述结构光包括多个投影线，所述方法包括：
发射来自布置在多行中的独立相干光发射器的光；以及
使来自给定行的相应的独立相干光发射器的光沿着行轴重叠以形成非相干光的相应投影线。
17.根据权利要求16所述的方法，进一步包括：在垂直于所述行的轴的轴上对给定行的光进行准直。
18.根据权利要求16所述的方法，包括每行提供不同数量的能够操作的发射器，使得不同的行提供不同强度的投影线。
19.根据权利要求16所述的方法，进一步包括复制块一次或多次以填充视野，所述块包括多个所述投影线。
20.根据权利要求16所述的方法，包括：固定在准直透镜的焦距与行之间的间隔以限定在所述投影线之间展开的角度。
21.根据权利要求20所述的方法，包括：限定在所述投影线之间展开的角度在所有相邻投影线之间恒定，从而在所述投影线中提供规则图案。
22.一种通过移动或姿势操作的用户界面系统，所述系统包括：
用于使用多条投影线的结构光投影的装置，所述装置包括：
各个独立发射器行，每行被配置为生成所述投影线的相应投影线；以及
线发生器，用于使来自给定行的相应发射器的光沿着相应线轴重叠以形成所述投影线。
23.一种包括投影线的3D投影光图案，所述投影线中的光由相干光的多个源提供，所述源是彼此不相干的，来自每个源的光重叠以形成相应投影线。
24.根据权利要求23所述的3D投影光图案，包括规律地布置的多条所述线。
25.一种用于使用多条投影线的投影结构光的设备，所述设备包括：
多条独立发射器行，每行被配置为生成相应的所述投影线；以及
线发生器，用于使来自给定行的相应发射器的光沿着相应线轴重叠以形成所述投影线中的相应的投影线。
26.根据权利要求1所述的设备，其中，所述发射器聚集成子集，并且其中，每个发射器子集能够独立操作。
CN201580054744.4A 2014-08-10 2015-08-10 用于3d感测的结构光 Active CN106796107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462035442P 2014-08-10 2014-08-10
US62/035,442 2014-08-10
PCT/IL2015/050814 WO2016024273A1 (en) 2014-08-10 2015-08-10 Structured light for 3d sensing

Publications (2)

Publication Number Publication Date
CN106796107A true CN106796107A (zh) 2017-05-31
CN106796107B CN106796107B (zh) 2019-11-29

Family

ID=55303936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054744.4A Active CN106796107B (zh) 2014-08-10 2015-08-10 用于3d感测的结构光

Country Status (11)

Country Link
US (2) US10168147B2 (zh)
EP (1) EP3177890B1 (zh)
JP (1) JP6717804B2 (zh)
KR (1) KR102421236B1 (zh)
CN (1) CN106796107B (zh)
AU (1) AU2015302865A1 (zh)
BR (1) BR112017002679A2 (zh)
CA (1) CA2957514C (zh)
IL (1) IL250452A0 (zh)
MX (1) MX363283B (zh)
WO (1) WO2016024273A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820005A (zh) * 2017-10-27 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置和电子装置
CN108414978A (zh) * 2018-02-08 2018-08-17 北京理工大学 一种可扩展的基站阵列、光学跟踪系统及其跟踪方法
CN110133853A (zh) * 2018-02-09 2019-08-16 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
CN111065886A (zh) * 2017-07-18 2020-04-24 艾迈斯传感器新加坡私人有限公司 生成结构光
US11315268B2 (en) 2017-10-27 2022-04-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing methods, image processing apparatuses and electronic devices

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036618A2 (en) * 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
BR112017002679A2 (pt) * 2014-08-10 2017-12-12 Facebook Inc luz estruturada para sensoriamento em 3d
IL301447B2 (en) * 2017-04-24 2024-05-01 Magic Leap Inc Optical flow tracking of backscattered laser speckle samples
US10627709B2 (en) 2018-06-29 2020-04-21 Ricoh Company, Ltd. Light source, projection device, measurement device, robot, electronic device, mobile object, and shaping apparatus
JP7222200B2 (ja) 2018-08-27 2023-02-15 株式会社リコー 光学装置、計測装置、ロボット、電子機器、移動体、および造形装置
US11979548B2 (en) * 2022-04-08 2024-05-07 Himax Technologies Limited Structured light projector and three-dimensional image sensing apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810046A (zh) * 2003-05-23 2006-07-26 彼得·博尔 用于三维图像显示的方法和装置
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
CN102706290A (zh) * 2012-06-20 2012-10-03 北京航空航天大学 一种高速、高亮度变化范围结构光投射器
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
WO2013064801A1 (en) * 2011-11-05 2013-05-10 Optovate Limited Illumination system
US20130250066A1 (en) * 2012-03-26 2013-09-26 Mantis Vision Ltd. Three dimensional camera and projector for same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61149921A (ja) * 1984-12-25 1986-07-08 Fujitsu Ltd スリツト光源
JPS63153411A (ja) * 1986-12-18 1988-06-25 Fujitsu Ltd 形状計測装置
DE10247925A1 (de) * 2002-10-15 2004-04-29 Robert Bosch Gmbh Optischer Sensor
JP2010244480A (ja) * 2009-04-10 2010-10-28 Toyota Motor Corp ジェスチャ認識に基づく制御装置及び制御方法
EP2478602B1 (en) * 2009-08-20 2014-12-10 Koninklijke Philips N.V. Laser device with configurable intensity distribution
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
EP2849644A1 (en) * 2012-05-14 2015-03-25 Koninklijke Philips N.V. Apparatus and method for profiling a depth of a surface of a target object
KR101926321B1 (ko) * 2013-06-19 2018-12-06 애플 인크. 통합 구조화된 광 프로젝터
BR112017002679A2 (pt) * 2014-08-10 2017-12-12 Facebook Inc luz estruturada para sensoriamento em 3d
JP7145073B2 (ja) * 2015-10-21 2022-09-30 プリンストン・オプトロニクス・インコーポレイテッド コード化パターンプロジェクタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810046A (zh) * 2003-05-23 2006-07-26 彼得·博尔 用于三维图像显示的方法和装置
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
WO2013064801A1 (en) * 2011-11-05 2013-05-10 Optovate Limited Illumination system
US20130250066A1 (en) * 2012-03-26 2013-09-26 Mantis Vision Ltd. Three dimensional camera and projector for same
CN102706290A (zh) * 2012-06-20 2012-10-03 北京航空航天大学 一种高速、高亮度变化范围结构光投射器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111065886A (zh) * 2017-07-18 2020-04-24 艾迈斯传感器新加坡私人有限公司 生成结构光
CN111065886B (zh) * 2017-07-18 2022-05-06 ams传感器新加坡私人有限公司 生成结构光
CN107820005A (zh) * 2017-10-27 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置和电子装置
CN107820005B (zh) * 2017-10-27 2019-09-17 Oppo广东移动通信有限公司 图像处理方法、装置和电子装置
US11315268B2 (en) 2017-10-27 2022-04-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing methods, image processing apparatuses and electronic devices
CN108414978A (zh) * 2018-02-08 2018-08-17 北京理工大学 一种可扩展的基站阵列、光学跟踪系统及其跟踪方法
CN108414978B (zh) * 2018-02-08 2020-08-11 北京理工大学 一种可扩展的基站阵列、光学跟踪系统及其跟踪方法
CN110133853A (zh) * 2018-02-09 2019-08-16 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法

Also Published As

Publication number Publication date
AU2015302865A1 (en) 2017-03-16
IL250452A0 (en) 2017-03-30
EP3177890A1 (en) 2017-06-14
US10837765B2 (en) 2020-11-17
CA2957514A1 (en) 2016-02-18
JP2017532533A (ja) 2017-11-02
EP3177890B1 (en) 2019-10-09
JP6717804B2 (ja) 2020-07-08
MX363283B (es) 2019-03-19
CA2957514C (en) 2019-03-05
KR20170042645A (ko) 2017-04-19
US10168147B2 (en) 2019-01-01
US20190154437A1 (en) 2019-05-23
CN106796107B (zh) 2019-11-29
MX2017001951A (es) 2017-05-23
KR102421236B1 (ko) 2022-07-15
BR112017002679A2 (pt) 2017-12-12
US20170234679A1 (en) 2017-08-17
EP3177890A4 (en) 2018-01-17
WO2016024273A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN106796107B (zh) 用于3d感测的结构光
CN105659106B (zh) 使用动态结构光的三维深度映射
JP6484072B2 (ja) 物体検出装置
JP6371377B2 (ja) マルチ開口投射型ディスプレイおよびそのための単一像生成器
US9036246B2 (en) 3-dimensional image display apparatus
KR101227068B1 (ko) 3차원 영상 생성 방법 및 장치
CN104471348A (zh) 三维照相机及其投影仪
JP5994787B2 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム
CN103053167A (zh) 扫描投影机及用于3d映射的图像捕获模块
CN100576933C (zh) 跟踪最佳位置的方法、装置以及自动立体显示器
US9456172B2 (en) System and method for correcting optical distortions when projecting 2D images onto 2D surfaces
CN107430284A (zh) 具有改进的衍射光栅结构的虚拟和增强现实系统和方法
CN110476148A (zh) 用于提供多视图内容的显示系统和方法
EP4280589A1 (en) Imaging method and imaging device
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
JP2017101965A (ja) 装置
JP2006350452A (ja) 撮影表示装置およびそのキャリブレーションデータ算出方法
CN103876706A (zh) 检眼镜中的改进以及与检眼镜相关的改进
CN115867765A (zh) 漫射照明和多模式照明装置
EP4063935B1 (en) Diffractive optical element capable of being used for projecting oblique line, projection apparatus, and design method therefor
US20130063562A1 (en) Method and apparatus for obtaining geometry information, lighting information and material information in image modeling system
JP2014035198A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
CN209570791U (zh) 投影装置及其光源和设备
KR20220112495A (ko) 영상투사시스템 및 영상 투사 방법
CN110070584A (zh) 一种密度可调的散斑编码图案生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: American California

Applicant before: Facebook, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder