CN109891187A - 结构光投影仪 - Google Patents

结构光投影仪 Download PDF

Info

Publication number
CN109891187A
CN109891187A CN201780064346.XA CN201780064346A CN109891187A CN 109891187 A CN109891187 A CN 109891187A CN 201780064346 A CN201780064346 A CN 201780064346A CN 109891187 A CN109891187 A CN 109891187A
Authority
CN
China
Prior art keywords
light
pattern
structured light
patterns
rddoe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780064346.XA
Other languages
English (en)
Inventor
奥马里·巴勒夫
迈克尔·格鲁布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ramot at Tel Aviv University Ltd
Original Assignee
Ramot at Tel Aviv University Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ramot at Tel Aviv University Ltd filed Critical Ramot at Tel Aviv University Ltd
Publication of CN109891187A publication Critical patent/CN109891187A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提出了用于在3D扫描中使用的结构光投影仪和方法。投影仪包括被配置并作为结构光发生器可操作成产生至少一个结构光图案的光学设备，光学设备包括被配置并可操作成沿着预定的一个或更多个光路生成一个或更多个光束的光源单元，以及被容纳在一个或更多个光路中并且包括具有预定的操作波长范围的共振域衍射光学元件(RDDOE)，共振域衍射光学元件被配置并作为光束整形器可操作用于一个或更多个光束，以由此创建至少一个结构光图案。方法包括根据预定的时间图案将不同结构光图案的序列连续地投影到对象上，处理对应于不同结构光图案的图像数据片的序列，使得能够重建对象的3D图像。

Description

结构光投影仪
技术领域
本发明属于投影仪领域，并且具体地涉及可以在用于感测、成像、三维打印和计算机集成制造(CIM)的三维扫描中使用的结构光照明。
背景
可以通过将已知图案(例如随机的或确定性的，垂直或水平直条(bar)或光点(spot))投影到对象上来实现三维(3D)对象的计算重建。由于碰到(strike)表面时直条变形或光点偏离，视觉系统可以计算对象的深度和表面信息。在这样的重建应用中使用的现有光投影仪包括诸如DLP、LCD的空间光调制器(SLM)，和具有非相干LED或灯光源的LCoS。这些投影仪通常受限于可见光谱区域，具有有限数量的空间像素，具有有限的、高的功率通量(flux)的光学扩展(etendue)，并且由于多层结构而具有低的光效率。投影仪的光栅(raster)结构对用作三维扫描的结构光源的现有光投影仪施加了限制。因此，功率损耗、采集时间、帧速率、对象尺寸、太阳光或其他背景光中投影的结构光(SL)强度图案的对比度受到损害，从而降低了整个3D扫描系统的分辨率和工作距离范围。
WO 2013/127974公开了一种结构光投影仪，其中，由激光二极管阵列生成空间编码的结构光，以便执行结构光三角测量(triangulation)。激光二极管是VCSEL，其中在垂直于半导体晶片表面的方向上发射光。多个这样的激光二极管被单片地集成以形成阵列。阵列中各个激光二极管的位置被空间编码以形成非规则的唯一图案。激光器输出的光被折射或衍射光学系统投影到待监测的空间中，以形成结构光图案。待研究的对象可以被VCSEL阵列照亮，并且相机捕捉帧。处理单元控制VCSEL的功率并且处理来自相机的数据。
WO 2015/059705公开了一种用于生成用于三维空间中的光学跟踪的动态结构光图案的装置，装置包括激光器阵列(诸如VCSEL激光器阵列)，以将图案中的光投影到三维空间中；以及布置在单元中的一个或更多个光学元件。单元与激光器阵列的子集对准，并且每个单元分别对来自子集的一个或更多个激光器的光施加调制，特别是强度调制，以提供动态结构光图案的可区分的和单独可控的部分。
概述
本发明提供了一种用于创建结构光(SL)图案的新型投影仪。本发明的投影仪是高效的(例如在其光功率的使用方面)、具有成本效益、并且提供高分辨率的结构光图案。投影仪尤其可以用于以高分辨率对远对象(例如，5至200米以外)的3D成像，以及由于具有大扇形角的扫描能力，可以用于近距离的相对宽的对象。
尽管可见光和红外激光源在3D扫描中与现有DLP、LCD和LCoS不兼容，但是它们具有高功率、有利的低光学扩展和创建衍射受限SL图案的能力。具有微扫描镜和单个高功率激光器的投影仪需要对3D对象进行具有挑战性的高频时间扫描，并且可能会有激光器安全性问题，尤其是在镜子静止且激光器仍然开启的情况下。
或者，SL的静态激光投影仪，像激光笔或专业远心光学系统一样，投影固定的单个的SL图案，并且不支持具有不同SL图案的时变图案的投影，因此不适用于以SL图案集的高分辨率3D扫描。此外，单个SL图案的这些静态投影仪通常使用具有数十个光波长的局部周期的标量域衍射光学元件(DOE)，这在光图案的角度尺寸、扇形角、空间分辨率和光效率方面有严格的限制。
本文公开的新型投影仪设备包括能够以空间图案(例如，预定的一组空间图案)扫描对象的静态投影仪。投影仪包括结构光发生器，其被配置为可控地作为空间光调制器操作，该空间光调制器创建受限的一组高分辨率、高对比度和强有力的光空间图案，并且优选地包括静态结构光源阵列(光发射器，或者与外部发射器相关联的光输出区域)，例如与对发射器进行空间调制的静态光束整形器(shaper)相关联的激光器。
每个光源产生光束，并被电子控制/调谐，可切换开和关。光源阵列通过打开和关闭选择的静态光源来提供动态图案投影。光源阵列优选地由激光器(例如VCSEL)阵列构成。在一些实施例中，每个光源由激光器的子阵列或组(例如VCSEL阵列)形成，该子阵列或组与其自身/专用高效衍射光束整形器相关联。因此，投影仪包括衍射单元，该衍射单元被容纳使得每个激光器或激光器的每个子阵列/组与衍射元件的相应区域相关联(对准)，该衍射元件用作所述激光器/激光器的子阵列或组的光束整形器。所述区域中的图案可以不同，或者可以相同。
衍射单元包括共振域DOE(RDDOE)。RDDOE配置有与激光波长的周期相当的局部周期。RDDOE通常以相对于光源取向的离轴(off-axis)取向被布置。应当理解，如果RDDOE在其不同区域中具有不同的图案，则所有这些图案都具有与和其相关联的激光波长的周期相当的周期。根据具体应用来选择激光波长和相应的RDDOE周期。
发明人已经发现，衍射效率和承受80％-100％范围内的共振域衍射光束整形器的高光功率密度的能力支持增加的距离范围，而高NA支持3D扫描中增加的分辨率，并支持大的扇形角度，使得大的对象可以从短距离被照亮。
动态受控制的激光器阵列与静态共振域DOE的结合将高功率光、高空间保真度(fidelity)、宽角度范围、快速动态性、紧凑性和成本效率汇聚到动态SL投影仪上，用于3D扫描和其他领域。
因此，根据本发明的第一方面，提供了一种投影仪，其包括光学设备，该光学设备被配置并作为结构光发生器可操作成产生至少一个结构光图案，光学设备包括光源单元和衍射光学单元，光源单元被配置并可操作成沿着预定的一个或更多个光路生成一个或更多个光束，衍射光学单元被容纳在所述一个或更多个光路中，并且包括共振域衍射光学元件(RDDOE)，RDDOE具有预定的操作波长范围，并且被配置并作为光束整形器可操作用于所述一个或更多个光束，从而创建所述至少一个结构光图案。
根据本发明的一些方面，共振域DOE的使用；对于激光器或子阵列的每一个具有独立的时间电子控制的激光器(例如VCSEL)的几个子阵列/组的集合(每个这样的子阵列在本文有时被称为IAVA)；以及用于单个阵列的不同激光器的不同共振域DOE(或单个共振域DOE的不同区域)；提供创建结构光图案的时间系列(时间图案)的能力，使得每个光图案包括子图案和图元(primitive)形状。在这方面，应当理解，术语激光器的子阵列或组是指同时被激活从而形成结构光图案的子图案的多个激光器。此外，术语时间图案或时间系列是指连续产生的不同子图案；并且术语图元形状(例如，线条或矩形形状或光点)是指由单个激光器或一起操作的激光器组的激活产生的光图案。
通过单个阵列的激光器的组合操作来创建SL图案的每个子图案。
为此，在一些实施例中，投影仪包括控制单元，其被配置并可操作成操作所述光学设备以连续地执行多个照明会话(session)并产生不同结构光图案的期望的序列，所述控制单元控制光源单元中一组或更多组的一个或更多个光源的选择，以产生相应的一个或更多个光束，从而创建不同结构光图案中的每一个，并且根据预定的时间图案来对光源组的所述选择进行操作，以在预定的时间间隔期间创建不同结构光图案的所述期望的序列。
SL图案的整个时间序列被分解为有限数量的子图案和图元形状的时间帧(timeframe)，使得每个图元形状由单个共振域DOE或多个共振域DOE来创建，这些共振域DOE与单个激光器相对地以其离轴取向安装。更详细地说，每个激光器阵列(IAVA)包含几个激光器，每个激光器具有RDDOE。每个RDDOE创建图元形状(例如，光点的长直线的一部分)。全部属于一个IAVA的RDDOE创建子图案(例如，全长直线或多个/一组光点)。几个接通(puton)的IAVA创建SL图案中的一个。以适当的预定的时间序列来接通/断开(put off)整组IAVA产生SL图案的整个时间序列。
因此，本发明的技术有利地提供了至少以下特征：基于激光器阵列的高光功率的可缩放性；激光创建的结构图案的窄光谱，高光功率使得户外(阳光中)5-200米的中间范围3D扫描成为可能；降低时间相干性并最小化散斑(speckle)噪声(由于来自几个激光器的光的叠加)；投影的图案中的高的、衍射受限的空间保真度；对于SL图案延伸的宽角度范围；对数百个单独的线条条纹(stripe)的独立地打开和关闭切换，用于将二进制或灰度级结构图案投影到扫描的场景上；极快的动态性(典型的激光上升时间约为1ns)，以及前所未有的低功率损耗，光投影效率约为80％；并且没有投影透镜。
因此，本发明的技术能够将光投影到很远的距离，本发明能够在明亮的太阳光或其他明亮的光下操作(因为图案的窄光谱宽度)，由于激光功率的高效使用，减少了投影仪的散热，并且大大节省了投影仪和最终3D扫描仪产品的成本。
根据本发明，标准VCSEL阵列与高NA和高效共振域DOE的组合使得能够在用于3D扫描和其他领域的动态结构光投影仪中将高功率与高空间保真度、快速动态性和成本效率进行结合。它提供了一款紧凑的动态投影仪，能够提供高锐度、增加的扫描速度、低发热、可缩放的光功率和成本利润(margin)。这样的投影仪可以作为使用SL三角测量和时间复用技术进行户外和中间范围距离测量的高分辨率3D扫描仪的关键块。
使用本发明的应用的3D扫描领域可以是但不限于以下项：建筑物、建筑物的部分或交通工具的室外扫描(机械部件、汽车、飞机、建筑物和地形(terrain)的数字化和3D扫描)；需要低重量高分辨率同步3D扫描能力用于调查环境的无人驾驶交通工具和系统；基于3D扫描仪的增材制造(additive manufacturing)和3D打印；具有3D扫描仪的机器人制造和系统；部件的量纲表征(dimensional characterization)、测量和质量控制、生产中的自动测量；执法——犯罪现场调查、事故、指纹扫描；以及人脸识别。
在一些实施例中，本发明的控制单元包括致动器工具(utility)，该致动器工具可连接到结构光发生器的操作工具，以同时激活对于照明会话的相应光束组的生成，使得在照明会话期间由结构光发生器产生的光束与RDDOE上的对应位置相交，从而产生期望的结构光图案。
在一些实施例中，RDDOE上的对应位置的每一个创建不同结构光图案的每一个的一部分(子图案)，其中，不同结构光图案的每一个被拆分成以下中的一种：边界平行于水平轴延伸的部分，边界平行于垂直轴延伸的部分，边界在水平轴和垂直轴上延伸的部分，或者直边界在倾斜方向上延伸或弯曲边界在横向于光速的传播方向的平面中的部分。
在一些实施例中，RDDOE上的对应位置或区域的每一个相同地创建整个结构光图案，使得投影平面处的期望的结构光图案是由RDDOE上的多个同时激活的位置或区域创建的几个相同图案的叠加。这样，RDDOE对其相对于投影仪光轴的横向定位的公差几乎不敏感。
在一些实施例中，不同结构光图案中的每一个具有图案特征的不同布置。
在一些实施例中，控制单元包括分析器工具，其被配置并可操作成控制被执行来创建期望的结构光图案的所述序列的照明会话的数量。
在一些实施例中，不同的结构光图案具有图案特征的不同空间频率。
在一些实施例中，结构光图案包括间隔开的光条纹阵列。
在一些实施例中，结构光图案包括随机地或确定性地布置的间隔开的光点阵列。
在一些实施例中，RDDOE具有图案化区域阵列，每个这样的图案化区域阵列与结构光发生器的光源阵列的相应子阵列光学对准。
在一些实施例中，由一对光学对准的光源和RDDOE的图案化区域产生的结构光图案具有矩形形状。
在一些实施例中，光学单元被配置成产生结构光图案，其具有到对象所在的投影表面上的光投影的扇形角，扇形角大于20度。
在一些实施例中，空间图案的至少一个空间频率是每度至少3个周期。
根据本发明的又一方面，提供了一种用于在对象的3D成像中使用的方法，方法包括：将结构光图案投影到对象上，在被结构光图案照亮的同时由数码相机捕获对象的2D图像，对结构光图案的每一个的几何失真(distortion)进行数字分析，以及提供指示对象的图像数据，其中，所述投影包括投影序列，该投影序列包括根据预定的时间图案来连续地投影到对象上的不同结构光图案的投影，所述图像数据由此包括图像数据片的序列，该图像数据片的序列包括对应于不同结构光图案的数据片，从而使得能够处理所述图像数据以重建对象的3D图像。
在一些实施例中，基于正在进行的图像数据片的处理来确定投影到对象上的不同结构光图案的数量，使得使用特定数量的不同结构光图案来重建每个对象。
附图简述
为了更好地理解本文中所公开的主题并且举例说明如何可以在实践中执行该主题，现在将参考附图仅通过非限制性示例的方式来描述实施例，其中：
图1是根据本发明的示例性实施例的投影仪的示意性框图图示；
图2A-2C例示了根据本发明一个具体非限制性实施例的投影仪；
图3A-3C示出了用于3D成像的顺序(sequential)二进制编码的SL图案投影的非限制性示例。图3A示出了五个图案的示例性集合；图3B示出了结构光的二进制编码图案的空时序列；图3C示出了在不同时刻由不同结构光图案照亮的对象；
图4示出了典型的2D高功率VCSEL阵列(左侧)及其近场发射(中间和右侧)；
图5示出了共振域DOE的一部分的ESEM图像。放大率分别约为100,000和60,000的(a)俯视图和(b)截面图；
图6示出了共振域DOE光束整形器，其将VCSEL的高斯光束转换成具有均匀顶帽(top-hat)强度分布的矩形；
图7示出高斯光束到顶帽光束的离轴转换；
图8示出了共振域DOE光束整形器的映射变换设计的几何光学布置；
图9A-9D示出了局部衍射光栅(grating)的设计参数作为光束成形共振域DOE的平面处的相对坐标的函数；图9A示出了光栅周期；图9B示出了凹槽(groove)深度与周期的纵横比(aspect ratio)；图9C示出了倾斜角；图9D示出了凹槽峰值位置；
图10A-10B示出了结构照明的二进制编码图案的时间序列以及它们对应的打开的VCSEL阵列；图10A VCSEL阵列，图10B二进制编码图案；
图11示出了基于SL三角测量的具有投影仪的3D扫描系统以及静止和移动系统中投影的二进制编码图案的示意图；
图12A-12B示出了由衍射顶帽光束整形器创建的结构光图案的分辨率和功率密度的估计，以及3D扫描仪的分辨率的估计，假设相机的单个像素是分辨率极限；
图13例示了使用1200×1600分辨率投影仪和纹理图像，投影到模拟球体上的三种不同的选择的灰度图案；
图14A1-14A2示出了对于0.6328nm波长，作为入射角(AOI)分别相对于光栅深度和周期的函数的衍射效率；图14B1-14B2示出了对于0.86nm波长的相同情况；
图15示意性地示出了从单个VCSEL发射到DOE平面上然后被光束整形器衍射的光；
图16示出DOE平面处的高斯强度；
图17A-17C示出了具有在两个方向上的横截面的顶帽图像平面仿真(simulation)；
图18A-C示出了对于FOV＝10度，分别具有8、16和32的顶帽分裂(spliting)的在图像平面处从RDDOE光束整形器衍射的光的仿真；
图19A-19C示出RDDOE光束整形器布局的不同视图；
图20A-20B示出了用于电子束光刻(lithography)的参数和给定参数下的剂量测试的显微镜图像；
图21A-21B示出了蚀刻(etch)之后具有抗蚀剂(resist)和FS横截面的RDDOE光束整形器的ESEM图像的不同视图；
图22A-22B示出了作为VCSEL的驱动电流的函数的峰值光功率的典型对数-对数曲线图；
图23A-23B示出了与VCSEL一起使用的电流和触发脉冲的示例；
图24和图25示出了从单个顶帽光束整形器衍射的光纤耦合的HeNe激光器的光学设置的示例；
图26示出了根据本发明配置的3D扫描仪的校准；以及
图27示出了使用本发明的3D扫描仪的杯子的3D重建。
实施例的详细描述
可以利用本发明的工业领域之一是使用结构光(SL)三角测量方法的3D扫描和成像，其中需要低成本的大量生产、高分辨率和高功率的动态光投影仪。数字化获取3D对象的形状是计算机系统和现实世界之间的纽带(bridging)，反之亦然。广泛使用的三角测量原理基于成像传感器、SL投影仪和对象表面点的位置之间的几何关系。用于高分辨率和快速3D表面成像的主要方法是基于SL的使用，即，使用专门设计的2D空间变化强度图案对场景进行主动照明，这将在下面进一步说明。
参考图1，示出了本发明的投影仪100，其被配置用于创建结构光图案160。投影仪100包括光学设备140和控制光学设备140的操作的控制单元120。光学设备140和控制单元120经由连接130彼此通信，如本领域公知的，连接130可以是有线的或无线的。
光学设备140作为结构光发生器操作，其可控地操作以产生各种结构光图案。光学设备140包括生成一个或更多个光束的光源单元142。更具体地，本发明利用光源单元142形式的结构光发生器，光源单元142通过所包括的光源阵列144来产生光，每个光源通常产生光束。本发明更具体地利用激光器阵列，因此下面将参考该具体示例进行描述。然而，应当理解，并且如上所指示，本发明的原理不限于该具体示例。光源可以是任何合适的类型，例如LED。优选地，光源是激光器，并且更具体地是垂直腔面发射激光器(VCSEL)。如上所指示，通常，光源可以由光发射器本身(例如激光器)或与外部光发射器相关联(光学耦合到外部光发射器)的光输出区域构成。光源阵列144可以由单独的光源、单独的光源组或子阵列形成，其中每个子阵列包括一个或更多个单独的光源。因此，如本文使用的，光源阵列应当被广义地解释。
控制单元120包括致动器工具122，其通过控制位于光源单元142中并连接到光源阵列144中的光源的每一个的操作工具146来选择性地致动阵列中的光源。因此，控制单元120的致动器工具122接收来自用户(经由适当的用户接口)或预编程控制器(视情况而定)的输入，并生成相应的输出，该输出选择性地激活阵列中的预定的光源以产生用于创建特定结构光图案160的光束。为了创建特定图案，光源由致动器工具以单独或集体(即，以集合/组/子阵列)的方式进行控制。致动器工具122被配置成生成特定的基于时间的照明会话，其每次激活合适的光源。
这样，投影仪100被配置成当通过照明会话获得每个结构光图案时，连续地产生不同结构光图案160的期望的序列，该照明会话包括光源阵列144中不同光源的同时激活。投影仪因此包括光源阵列144，其根据感兴趣的不同结构光图案来被定义和选择。
光学设备140还包括衍射光学单元150，其用作光束整形器，用于引导、成形和聚焦由光源144产生的光束，从而在距投影仪100限定距离和高度(elevation)的预定的表面上产生具有足够的分辨率的结构光图案160。衍射光学单元150包括共振域衍射光学元件(RDDOE)152，其负责对穿过其中的光束进行成形。
RDDOE是具有与光束波长相当的局部周期的衍射元件。因此，RDDOE 152具有一个或更多个预定的操作波长范围，其对应于阵列中的光源产生的光的波长。在一个特定实施例中，每个特定光源具有其对应的RDDOE或RDDOE中的区域，其中特定光源和对应的RDDOE共享预定的工作波长范围。因此，选择衍射光学单元150来完善阵列中的光源，因为衍射光学单元包括一个或更多个RDDOE元件，其完善与其对准的一个或更多个光源。在一个特定的非限制性示例中，光源阵列包括在相同波长范围内工作的相同光源，即它们是单色光源。在该情况下，RDDOE具有对应的区域，每个区域与一个光源对准，区域具有与光源的波长范围匹配的相同操作波长范围。为此，RDDOE 152被容纳在由光源生成的光束的光路中，使得光束的每一个穿过RDDOE 152上的对应位置。在一个示例中，RDDOE具有图案化区域阵列(未示出)，每个这样的图案化区域阵列与光源阵列144的相应子阵列(例如，单个光源)光学对准。通常，由一对光学对准的单个光源和RDDOE的单个图案化区域产生的结构光图案具有矩形形状。因此，由与RDDOE中的对应图案化区域光学对准的光源的线阵列产生的结构光图案是亮线(light line)(例如，条纹)。
在所描述的示例中，控制单元120还包括分析器工具124，其被配置并可操作成控制创建期望的结构光图案序列所需的照明会话的数量。例如，分析器单元接收验证图像，并确定该数据是否足以进行3D图像重建，或者是否应当执行具有结构光的附加照明会话。
参考图2A-2C，示出了根据本发明的一个示例性实施例的投影仪的一个非限制性示例。在该示例中，示出了形成投影仪的一部分的光学设备240的示意图，用于SL图案260的时间序列的投影。光学设备240包括光源单元242和衍射光学单元250，通常如上所述被配置并可操作。光源单元240包括光源阵列244，例如VCSEL，具有可由与控制单元(未示出)通信的操作工具246操作的时间可控的光功率。在该示例中，如所示，光源阵列244包括一组四个子阵列244A-D，每个子阵列244A-D包括八个光源。光源被配置成被控制作为子阵列，使得每个子阵列中的所有光源一起被打开或关闭。衍射光学单元250包括共振域衍射光学元件，其被配置作为分别与光源的子阵列244A-D相关联的一组静态光学元件252A-D(RDDOE)的子阵列，如箭头270所示。这样，共振域衍射光学元件的每个子阵列包括与每个子阵列244A-D中的八个光源相关联的八个不同的RDDOE。RDDOE 252A-D被配置成将由各个光源生成的光引导并成形为一组子图案和图元形状，这些子图案和图元形状在它们的多个中构成每个结构光图案260。操作工具246用作多通道时间信号控制器，其电连接到光源的子阵列，并被配置成在专用于每个空间结构光图案的时间帧上接通所述子图案和图元形状集合。
图2B示出了本发明的投影仪的非限制性示例的光学方案，其中由光源的可独立寻址子阵列244X(这里有时称为IAVA)生成的光束由RDDOE 252X的相关联的子阵列成形，以创建二进制编码图案的单个子图案260X(线条条纹)。应当注意，光源阵列244和共振域衍射光学元件252相对于彼此倾斜，即它们是离轴且不平行的。离轴配置对于在衍射光学元件中实现与波长特征尺寸相当是必要的，这是衍射的共振域中的需要的。特别地，在一些实施例中，离轴配置中的角度对应于激光波长的布拉格(Bragg)衍射角。这样的配置导致高衍射效率、功率损耗最小化以及激光功率的有效使用。
图2C示出了由IAVA 244的所有打开的子阵列的集合和相应的RDDOE光束整形器252一起创建的整个结构光图案262。
RDDOE将每个IAVA转换成SL图案262中的子图案(例如线条条纹的一段)。为了提供顺序图案的时间可变(动态)序列，本发明的投影仪动态地控制每个IAVA(光源的子阵列)的打开和关闭。空间强度图案的每一个都将通过打开的和关闭的IAVA的不同组合来被形成。整个RDDOE和VCSEL集合在成像的3D对象的图像平面上产生二进制编码的结构光图案序列。投影仪能够投影二进制或灰度级结构光图案的任何时间序列。
在图2C的描述的示例中，结构光图案包括由平行于垂直轴延伸的边界分隔开的照亮的部分(线条、条纹)。应当理解，由本发明的投影仪创建的结构光图案可以是其它形式，包括但不限于拆分成下列之一的亮线：边界平行于水平轴延伸的部分，边界在水平轴和垂直轴上延伸的部分，直边界在倾斜方向上延伸的部分，或者弯曲边界在横向于光束传播方向的平面上的部分；或者结构光图案可以包括具有随机或确定性位置的一组光点。此外，单个结构光图案可以包括线条(条纹)和光点。
结构光图案和光学布置的各种方案对于3D扫描是已知的。图3A-C示出了时序二进制编码的结构光图案的示例。由动态投影仪生成空间变化的2D结构照明。SL图案上每个像素的强度由数字信号{Iij＝(i，j)，i＝1，2，....I，k＝1，2，....J}表示，其中(i，j)表示投影的SL图案的坐标(x，y)。图3A示出了例如五个SL图案的时间序列，其可以由本发明的投影仪生成并用于扫描的对象的3D扫描和重建。通过光源单元(图2A中的242)的打开的IAVA的对应组合来实现五个SL图案中的每一个。投影到对象上从而重建对象的各个SL图案的数量和顺序(按时间序列)可以由控制单元(图1中的120)基于在扫描过程期间接收的正在进行的重建数据来被确定并控制。重建数据受到重建对象/场景的一个或更多个特征的影响，包括但不限于表面复杂性、尺寸、距投影仪的距离等。换句话说，本发明的投影仪例如经由其控制单元能够产生定制数量和形式的结构光图案，以便重建特定对象。在扫描并分析在结构光图案在对象上的每一个或一组投影之后接收的图像数据期间，投影仪的控制单元确定是否需要更多的投影以及需要何种投影来以预定的分辨率和/或准确度成功地重建对象。
图3B示出了为了生成图3A的五个SL图案，光源单元中的各个IAVA的空时激活。当暗/黑表示特定IAVA的打开状态，并且亮/白表示特定IAVA的关闭状态时，沿水平轴X示出空间激活，并且沿垂直轴Y示出时间激活。水平轴X上的黑色和白色条纹对应于图3A中示出的空间图案。
图3C示出了为了在3D中重建对象而用顺序的不同的SL图案来照明对象的示例。
如下文将进一步描述的，可以利用本发明的投影仪使用已知的三角测量方法来重建对象/场景。成像传感器(例如摄像机)用于获取SL照明下对象/场景的2D图像。如果场景是没有任何3D表面变化的平面，则获取的图像中显示的图案类似于投影的SL图案。然而，当场景中的表面是非平面时，表面的几何形状会扭曲从相机上看到的投影的SL图案。SL 3D表面成像技术的原理是基于来自投影的SL图案的失真的信息来提取3D表面形状。通过使用各种SL原理和算法，可以计算场景中对象的准确3D表面轮廓(profile)。
在下文中，相对于由发明人进行的非限制性实验和选择的组件来描述本发明的投影仪的各个方面。
VCSEL阵列是用成熟的现成技术生产的，并被用于几个工业领域，包括光通信和传感器。VCSEL可以提供具有波长稳定性的高峰值功率，并降低时间相干性(无散斑)。可以通过将发射区域的直径(典型的Datacom VCSEL约为10μ0)缩放至100μ0或更大，或者使用单个发射器的二维阵列来实现VCSEL中的高功率操作。为了保持低制造成本并获得最佳的设备性能，使用单个发射器的2D阵列进行缩放。图4中示出了具有大约200个单独VCSEL发射器的典型顶部发射VCSEL激光器阵列的示例。
二维阵列的功率缩放在应用中有几个优点。首先，激光器都是独立发射的，因此光源的相干性降低了，但是由于VCSEL都非常接近，所以发射波长仍然受到非常严格的控制。第二，阵列中的单个元件可能会出现故障，但总体功率和源特性仅受到适度的影响。第三，由激光器生成的热量扩散到更大的区域，因此允许改善的散热。
脉冲驱动电流的好处取决于脉冲宽度和占空比，其最终决定了VCSEL和封装的整体温升。
共振域中的衍射光学元件可以以高NA提供超过80％的衍射效率。发明人设计并制造了高效的二元(binary)离轴共振域衍射透镜和衍射光栅，其光谱空间频率非常高，为2000lp/mm。制造技术包括空间图案的直接电子束写入，通过Cl2等离子反应离子蚀刻(RIE)将记录的图案转移到亚微米铬掩模，以及通过CHF3等离子RIE将空间图案从铬掩模转移到熔融石英(FS)衬底。图5示出了来自制造的FS共振域衍射光栅的放大截面、上视图和侧视图的典型环境扫描电子显微镜(ESEM)图像。透镜的高0.14NA超过标量衍射光学元件极限的10倍。测量的透镜的83％衍射效率超过了薄二元光学元件的已知极限的两倍。二元衍射光栅显示了第一衍射级和零衍射级之间的75知分离，以及测量的衍射效率为97.4％。
在非限制性示例性实施例中，顶帽光束整形器用于创建SL照明图案。如图6所示，RDDOE光束整形器752的操作目标是将由VCSEL 744生成的高斯光束770转换成在投影平面760处具有均匀顶帽强度分布的矩形772。这样的矩形可以是每个SL子图案的线条条纹的一部分。通过打开VCSEL阵列(IAVA)的所有光源元件，可以形成SL图案的完整线条条纹(子图案)。通过打开几个VCSEL阵列，形成了形成SL图案的几个线条条纹。根据预定的时间图案，通过在不同时间打开VCSEL阵列的不同组来实现SL图案的动态序列。
如图7所示，考虑具有尺寸为2A×2B的通光孔径(clear aperture)的光束整形器852，其中A是在u轴方向上的尺寸，B是在v轴方向上的尺寸，并且其中u、v是光束整形器平面中的笛卡尔(Cartesian)坐标。波长为λ的入射光束870优选地具有高斯强度，照亮光束整形器852的平面。光束整形器被配置成将入射光束870转换成具有强度分布I(x)的输出光束872，该强度分布在矩形内非零，矩形在位于距光束整形器距离l处的输出平面中尺寸为2a×2b。在顶帽光束整形器的情况下，强度分布是I＝const。方案优选以布拉格入射角偏离，以保持局部DOE周期在给定波长的共振域的范围内。
照明光束在DOE平面处提供笛卡尔坐标、程函(eikonal)Sinc(u)、相位kSinc(u)和强度Iinc(u)，k＝2π/λ。在高斯入射光束的特殊情况下，程函被定义为
并且强度是
Iinc(u)＝const exp(-2u2/σ2)， (2)
其中l0是入射高斯光束波阵面(wavefront)的曲率半径，σ是DOE平面中以exp(-2)的强度水平下降的高斯光束的尺寸参数，θinc是与并入RDDOE光束整形器的共振域光栅的布拉格角相对应的入射角。
RDDOE光束整形器由相位函数描述
就在RDDOE光束整形器之后创建的光场具有相位
并且强度I0从光束整形器的平面传播到输出平面，并在那里形成成形的强度。因此，光束整形器设计的问题可以被描述为以下的逆(inverse)任务：当给定λ、2A×2B、l0、2a×2b、l时，将找到函数
如图8所示，在此通过光束整形器的平面中的输入S0和输出S程函的射线跟踪考虑来提供光束整形器的相位函数的解析解(analytical solution)。在输出平面中定义二维笛卡尔坐标x＝(x,y)。光束成形中的几何光学程函等式N＝▽S与程函的一阶导数有关
其中，L是从点u到对应点x＝x(u)的距离，该对应点x预计与u位于同一条射线(ray)上；近似符号指示傍轴(paraxial)近似。因此，就在RDDOE光束整形器之后的程函S可以通过沿着u平面中的某个路径积分来从其梯度被恢复：
对应关系(correspondence)x＝x(u)是从用于非相互作用射线管而不是光束的总横截面的特殊形式的功率守恒关系中获得的。微分形式等式是
其中
积分形式的等式可以基于光通量守恒的积分坡印廷(Poynting)定理，这在几何光学中适用于受各自光束(ray bundle)限制的表面的任何部分。然后，获得了两个积分函数，对于Iinc(u)的Pinc和对于I(x)的P。Pinc0和P0被指示为Iinc(u)和I(x)的整个积分。
光束整形器的相位函数被求出为
kψ(u)＝k[S(u)-Sinc(u)] (12)
并且可以被表示为
其中l0是入射高斯光束波阵面的曲率半径，f是并入RDDOE光束整形器中的聚焦衍射透镜的焦距，并且是聚焦衍射透镜的成形附加。假设聚焦衍射透镜的焦点被选择使得在不成形情况下(当时)入射光束的点源的被成像到顶帽输出平面，即
在分离变量u，υ的情况下
ψ(u，υ)＝ψ(x)(u)+ψ(y)(υ) (16)
需要注意的是，应当在入射光束的一侧计算对于Iinc(u)的Pinc，因为它与入射光束有关，而应当在衍射光束的一侧计算对于I(x)的P。
在分离的矩形射线管的情况下，对于几何光学典型的，存在对应关系x(u)或标量形式x＝x(u)，y＝y(υ)，并且除了在光束的整个横截面中整体保存外，沿着光束保存光通量。由于整形器是透明的且仅调相，所以整形器之前和之后的光通量密度相同。由于Iinc(u)和I(x)的等式与实际光通量不匹配，发明人比较了归一化功率(即通过DOE的总光通量为1W/m2的功率)。因此，DOE整形器之前和之后的光通量的标度(scale)被定义为
Pinc0＝∫Iinc(u)d2u (17)
P0＝∫I(x)d2x (18)
其中积分分别在整个RDDOE孔径内和在整个成形的2D域内进行。
对于每个点u和对应的点x(u)，发明人定义从坐标原点开始，并由光束的扩展序列界定的对应的2D域。它们内部的积分光通量为
可以定义光束整形器之前和之后的归一化光通量
并且在光束的扩展序列中的每一个中根据能量守恒定律相等。
在1D情况下，或者在具有范围|u|≤A中可分离变量u，υ的情况下，等式(19)-(22)减少到以下程度。在入射光束侧(光束整形器之前)：
Pinc0＝Pinc(-A)+Pinc(A) (24)
具体地，对于高斯输入强度分布：
其中
然后
对于输出成形的光束
P0＝P(-a)+P(a) (32)
具体地，对于输出成形的光束的均匀“顶帽”输出分布
P(x)＝|x|I，|x|≤a (35)
P0＝2P(a)＝2a I (36)
1D几何光学功率守恒关系为
PincNorm(u)＝PoutNorm[x(u)]，|u|≤A，|x(u)|≤a，x(A)＝a (38)
射线跟踪对应关系的坐标的映射(“映射变换”)x＝x(u)可以通过用以下公式求解上述方程来找到
|u|≤A，|x(u)|≤a，x(A)＝a. (39)
具体地，在高斯入射光束和顶帽输出的情况下，坐标的映射由如下等式定义
现在，光束整形器之后的2D程函可以由如下等式确定
因此，1D程函由如下等式确定
积分形式的1D程函是
RDDOE的1D(在x中)相位函数为
其中
是DOE的1D程函。
在可分离的x，y变量的情况下，RDDOE光束整形器的2D程函为
ψ(u，υ)＝ψ(x)(u)+ψ(y)(υ) (47)
1D(在y中)函数y(υ)和由类似于函数x(u)和的等式定义，但是分别使用变量υ，b，B，而不是u，a，A。
在高斯光束用于该任务的特殊情况下：
对于高斯到顶帽傍轴光束整形器情况下的完整等式，
其中
从平滑的程函等式(3)中找到RDDOE衍射区的位置，求解等值线(isoline)方程：
其中m是2π衍射区数目。最后，RDDOE由二元衍射区组成，每个衍射区由相邻的等值线(编号为m和m+1)界定。每个二元衍射区包括凹槽和间隙，其相对宽度由局部占空比确定。应当注意，x轴附近的衍射槽与其垂直，这与严格光衍射的经典安装相同。
图9A-9D示出了局部衍射光栅的设计参数作为光束成形RDDOE平面上的相对坐标的函数。图9A示出了光栅周期；图9B示出了凹槽深度与周期的纵横比；图9C示出了倾斜角；图9D示出了凹槽峰值位置。图9A-9D中的曲线图提供了在例示的共振域光束整形器的设计中使用的数据。
在一些非限制性示例性实施例中，为了在布拉格入射角θinc＝θB处实现高衍射效率
在透射模式下，根据VCSEL入射光束的TE或TM偏振(polarization)来确定凹槽深度，如
其中系数κ和c＞0为
并且Λ是局部光栅周期、h是凹槽深度、q是占空比，nM和ni分别是光栅凹槽和间隙中的折射率，
是凹槽材料和空气的均方平均折射率，并且G1s是归一化二元矩形凹槽轮廓的一阶傅立叶系数
测距的常用技术是立体视觉(stereovision)。它基于从两个或更多个角度对场景进行成像，然后找到不同图像之间的对应关系，以便对3D位置进行三角测量。即使考虑到极线(epipolar)约束，也很难找到对应关系。编码的结构光包括用将光图案投影到测量表面上的设备替换两个相机中的一个。这样的设备投影具有特定结构的图像，从而通过局部编码策略可以容易地区分一组像素。因此，当在由剩余相机抓取的图像中定位这样的编码的点时，它们的对应关系问题被解决，而不需要几何约束。投影图像被称为图案，因为它们是全局结构化的。
在一些非限制性示例性实施例中，SL图案的动态序列用于测量3D表面。基于二进制编码的技术只有两个常用的照明级别，被编码为0和1。图案的每个像素都有它自己的码字，由0和1的序列形成，对应于每个投影的图案中它的值。因此，一旦序列完成，就获得了码字。
m个图案序列使用普通(plain)二进制代码对2m条纹进行编码。与每个像素相关联的码字是从m个图案中获得的0和1的序列，第一图案是包含最高有效位的图案。符号0对应于黑色强度，而1对应于全照亮的白色。因此，在每个连续的图案处，条纹的数量增加了两倍。最后一个图案中的每个条纹都有其自己的二进制码字。可以被投影的图案的最大数量是投影仪设备或成像设备的像素的分辨率，以先到者为准。
图10A-10B中示出了示例。图10A简单地示出了光源被布置在一起被激活或停用(inactivate)的子阵列(IAVA)中。两个示例性IAVA由虚线突出显示。应当理解，在其他示例中，光源可以在单独的基础上被激活，即每个子阵列包括一个光源，例如VCSEL，其被单独地激活或停用。图10B示出了四个IAVA的二进制激活状态，包括图形(图上部的图形)和数字(图下部的表格)，其中1表示IAVA被打开，并且0表示IAVA被关闭。如图所示，四个IAVA的激活状态总数为16(24)，表中有16种不同的组合(列)。
其他编码技术也是可能的。可以使用格雷(Gray)码而不是普通二进制。格雷码的优点是连续码字的汉明距离为1，对噪声更鲁棒。
如上所述，光源阵列优选为VCSEL，其可以在成熟的现成技术的基础上生产，并广泛应用于几个工业领域，包括光通信和传感器。VCSEL可以提供高峰值功率(对于30个VCSEL发出的50ns脉冲为～2W)，波长稳定，并且时间相干性降低。
共振域中的DOE可以提供超过85％的具有高NA～0.15的衍射效率的记录。共振域DOE可以被实现为一组衍射区，在衬底表面上具有密集的凹槽轮廓。
DOE的主要生产技术属于半导体行业，并且包括：直接电子束写入；熔融石英和铬层的反应离子蚀刻。制造技术的一个非限制性示例包括电子束抗蚀剂上的空间DOE图案的直接电子束写入，通过Cl2等离子反应离子蚀刻(RIE)将记录的图案转移到亚微米铬掩模，以及通过CHF3等离子RIE将空间图案从铬掩模转移到熔融石英(FS)衬底。
在下文中，给出了根据本发明执行的阶段的示例性非限制性实验数据。实验数据尤其涉及动态投影仪概念的设计、投影仪中DOE的设计和计算机仿真、以及DOE的制造。报告了共振域衍射光束整形器的设计和生产，以及用于衍射光束整形器和VCSEL的实验研究的光学设置(set-up)的布置。
动态投影仪概念的设计：
定义了投影仪的规格、视场(FOV)、投影的图案、景深、空间分辨率和深度分辨率。因此，确定了投影仪的结构、空间布置、IAVA的操作波长、每个阵列中的VCSEL数量、阵列数量以及DOE所需的功能。
图11示出了三角测量光学方案中投影仪的结构。三角测量参数为：d投影仪、相机距离、l投影仪、对象距离。投影仪和DOE参数为：DDOE宽度，λ-波长，2a顶帽宽度，2b顶帽高度，FOV角度视场。光源VCSEL投影仪的单个行由190×1VCSEL＝7.6mm×40μm组成。间距为40μm的单个VCSEL可以提供P峰值＝150mW的峰值功率。参数设置如下：
DDOE＝3mm或20mm，λ＝0.85μm，t脉冲＝30ns，
Δxcam＝1.67μm
fcam＝12mm 激活#像素＝3856Hx2764V
CamSensor＝6.44mm(H)X4.615mm(V) 角度FOV HxV＝30°x21°
考虑VCSEL功率和投影仪规格，并进行计算。
单个VCSEL的峰值功率密度为
投影仪放大率：
图像平面上的强度与平方放大率成比例即
假设相机的单个像素应当与DOE孔径的衍射分辨率极限相匹配，也估计了具有VCSEL和DOE的投影仪(3D扫描仪)的分辨率。图12A和12B的表格示出了计算的结果。图12A的表格示出了由衍射顶帽光束整形器创建的结构光图案的分辨率和功率密度的估计。
图12B的表格示出了3D扫描仪分辨率的估计，假设相机的单个像素是分辨率极限。
注意，对于某些信噪比，可以确定比单个像素更好的具有已知空间强度分布的线条的位置。因此，“子像素”分辨率(比图13B中更好)在适当的数字图像处理中可能是可行的。
基于上述估计，具有VECSEL和DOE的3D扫描仪将具有高达0.26mrad的估计的横向空间分辨率(离对象20m距离为5.2mm)以及距离的约0.04％的纵向(深度)分辨率(距离20m为8mm)。估计的视场可以从5°设计到100°。
为了进一步系统估计，基于互联网上的免费软件创建了3D扫描仪仿真器。仿真器重新创建由结构光投影仪照明并由相机采样的场景，并且根据给定的相机和指定的参数来重建3D数据。这些参数包括内在和外在参数，例如投影和视角、基线和几何失真。用于仿真的物理模型采用了“针孔”相机假设，得出以下等式。
X是相机参考帧中的对象坐标
w-世界(world)坐标
O-对象坐标
旋转矩阵按坐标系之间的角度旋转
u-相机平面中的X的图像的像素坐标
K1,2-径向失真系数
K3,4-切向失真系数
γ-剪切(sheering)，在数码相机中通常为0
注意，仿真还没有考虑失真。
考虑到像差(aberrations)和噪声，仿真器允许研究VCSEL-DOE投影仪中各种图案的3D重建性能。仿真结果如图13所示，示出了使用1200×1600分辨率投影仪和纹理图像，投影到作为对象的模拟球体上的三种不同的选择的灰度图案。因此，仿真结果证实了空间图案可以被投影到3D对象上。
投影仪中DOE的设计和计算机仿真：
开发了在DOE平面处由VCSEL阵列创建的强度图案的分析模型。对在自由空间中从VCSEL到DOE的光传播，以及从DOE到空间光图案的光传播进行了计算机仿真。对于光传播的自由空间仿真，使用了具有数值计算软件代码(MATLAB和DiffractMod Rsoft)的傅立叶光学方法。完成了共振域中DOE的设计，其将VCSEL阵列光图案转换到图像平面上的结构光图案中。DOE设计和仿真包括入射光束的可能像差和公差分析。
基本共振域衍射光栅的最佳参数：
DOE设计从寻找最佳共振域光栅参数开始，这些参数给出了具有对参数变化的最低敏感度的最大效率。设计了用于VCSEL和氦氖(HeNe)激光器的DOE。HeNe激光器因其高相干性而被用作参考。使用了基于严格耦合波分析(RCWA)技术的被称为DiffractMOD的衍射光学的设计和仿真工具。
图14A1-14A2和图14B1-14B2分别示出了波长λ＝632.8nm和λ＝860nm的HeNe和VCSEL激光器的仿真结果。在这两幅图中，示出了两种波长的衍射效率，衍射效率是AOI对光栅深度(左侧)和周期(右侧)的函数。对于HeNe和VCSEL，选择的参数依次地被选择为Λ0＝0.61μm，θB＝31.24，h＝1.082μm以及Λ0＝0.83μm，θB＝31.2，h＝1.474μm，其中θB是布拉格角、h是蚀刻深度、并且Λ0是DOE在其中心的周期性。
查找到DOE上的入射相位：
如图15所示，单个VCSEL被视为单模高斯光束，其发散角为θD，并且计算了其到DOE平面上的相位和振幅Ainc。因此，l0的传播距离和θB(布拉格入射角)的旋转之后，相位和振幅由以下公式给出：
其中u，υ是共振域顶帽光束整形器的平面中的笛卡尔坐标，相对于成形的顶帽图案的平面以角度θB倾斜。
查找共振域顶帽光束整形器DOE的期望输出相位：
共振域顶帽光束整形器之后的相位由以下公式给出：
其中l是到顶帽平面的距离，并且ψ(u)，ψ(v)是部分顶帽程函。在一个实施例中，共振域顶帽光束整形器相位函数是：
在另一实施例中，共振域顶帽光束整形器相位函数包含项ψ(x)(u)cosθB来代替ψ(x)(u)，其中，函数ψ(x)(u)相应地被配置成通过考虑入射角θB，将光束整形器平面处的坐标u直接映射到具有顶帽图案的输出平面处的坐标。
在又一实施例中，共振域顶帽光束整形器相位函数相应地被配置成通过考虑具有轴x方向的分量θBx和轴y方向的分量θBy的2D入射角，将光束整形器平面处的坐标u,υ直接映射到具有顶帽强度分布的输出平面处的坐标。
DOE孔径的尺寸：
为了进行有效的电子束光刻，DOE图案只在入射高斯强度高于＞exp(-8)的地方被写入。通过求解方程：
发现孔径是椭圆(见图16)，由如下等式给出：
其中
b＝tanθD(u sin θB+l0)
a＝tan θD(u sin θB+l0)/cosθD
图16示出了DOE平面处的高斯强度，其中虚线内的强度高于exp(-8)。
多个顶帽光束整形器：
通过将衍射光束分离器(光点阵列发生器)的相位添加到唯一的顶帽光束整形器的相位(通过映射-转换技术导出的)，可以实现具有N条纹的多个顶帽光束整形器。
光束分离器的相位是一个坐标u的周期函数，其周期为
其中Δx是相邻顶帽的中心之间的距离，l是从DOE到具有多个顶帽的输出平面的距离。可以通过将无量纲变量0＜ξ＜1的函数减少到具有长度1.0的单个周期来计算衍射光束分离器的相位，
其中mod(u，Pspl)是减去Pspl的倍数之后u的最小非负残基(residue)。在奇数条纹的情况下，被直接计算为具有交替值0和π的分段常数函数。在偶数条纹的情况下，通过在区间的一半0≤ξ≤0.5上定义的另一个函数来计算
是具有交替值0和π的分段常数函数，由下面提供的数组中的坐标定义。
DOE光束整形器的计算机仿真：
进行DOE整形器的2D仿真是为了确定并验证其在图像平面处的衍射光。图17A-17C示出了对于λ＝860nm和距DOE的距离为l＝1000mm的图像平面，具有宽度为a＝2mm并且高度为b＝1.3mm的顶帽的仿真结果。图17A中的3D图示出了顶帽中的强度分布，图17B和图17C中的图示出了穿过并沿着线条的横截面。后一幅图显示，强度分布确实如预期的那样是顶帽。
图18A-18C示出了来自多个顶帽光束整形器的衍射光的仿真，对于FOV＝10度、l＝120mm、λ＝632.8nm，顶帽分裂为8(图18A)、16(图18B)和32(图18C)。
DOE的制造
DOE设计数据被转换成工业标准文件，用于驱动电子束(electron beam)(e-beam)光刻机。电子束光刻过程是与分包商(sub-contractor)一起进行的，在电子束抗蚀剂层中的几平方毫米大DOE区域中精确拼接(stitch)子场。该过程需要对电子剂量进行彻底校准，以获得合适的特征尺寸和最小化拼接误差。电子束光刻之后，执行铬的离子束研磨(milling)阶段，以将电子束图案转移到金属铬掩模中。最后，对熔融石英(FS)衬底进行反应离子蚀刻(RIE)。借助于环境扫描电子显微镜(ESEM)对制造过程进行评估。每个过程阶段都进行了几次迭代。用采样的VCSEL执行光学设置的组装。对光学设置中的DOE进行了初步光学表征。
使用MATLAB创建GDSII文件：
Matlab和光束整形器平滑相位函数被用于查找光束整形器等值线的位置。等值线方程用数值方法求解。
每个等值线点(un,υn)被转换为GDSII文件以创建掩码。图19A示出了其中绘制选择的轮廓(contour)线的的小区域。图19B示出了整个DOE光束整形器布局文件，并且图19C示出了图19B的放大区域。
DOE制造：
使用以下步骤进行制造：(a)用电子束光刻在电子束抗蚀剂层中记录共振域光栅图案，(b)将记录的空间图案转移到精细(fine)金属掩模，以及(c)使用反应离子蚀刻技术(RIE)将空间图案从金属掩模转移到共振域光栅的衬底。最后，用环境扫描电子显微镜(ESEM)来拍摄DOE的图像。具体地，使用了以下主要设备：电子束写入器Raith EBPG 5200；AJA离子束研磨ATC-2020-IM、Nextral(Unaxis)NE 860机、和Quanta 200 FEG(ESEM)。
衬底材料是熔融石英(FS)，其尺寸为：18mm×18mm×0.42mm。涂层：用电子束蒸发沉积的100nm的铬。抗蚀剂：400-300nm的ZEP 520A，以2000-4000rpm旋转涂胶(spincoated)1分钟，然后在180℃的热板(真空)下方在铬的上方烘烤3分钟。
在电子束光刻中，测试了两组不同的参数，一组具有较慢的写入时间和较高的分辨率，并且另一组具有较快的写入时间和较低的分辨率。图20A-20B示出了电子束光刻参数和结果。
对于RIE，气体混合物为O2(6sccm)和CHF3(100sccm)。等离子体具有以下参数：压力为50mtor，以及ICP发生器频率为13.6Mhz，其功率为400W。最后，用He(5sccm)进行衬底冷却。
电子束光刻阶段完成之后，执行ESEM扫描以验证光栅的适当物理尺寸和拼接误差。在RIE到FS中完成之后，切割衬底用于横截面ESEM检查，以验证适当的蚀刻深度。图21A-21B分别示出了蚀刻进行到FS中之后，DOE光束整形器的选择的区域的顶部图像和横截面图像。
为了设计专门为VCSEL量身定制的DOE光束整形器，组装了VCSEL操作所需的具有非常短脉冲的大电流电路。来自PicoLAS的LDP-V 40-70超紧凑驱动器模块被用于驱动来自Finisar的“HVS7000”高功率VCSEL阵列。VCSEL阵列能够产生超过10瓦的光功率，并且需要大约10ns的脉冲持续时间，其电流为10-50A。图22A示出了阵列光功率与所需电流相比，其中示出了驱动条件的连续性。Y轴上的光功率和X轴上的驱动电流都以对数刻度被绘制。标准晶体管外形(TO)封装中的VCSEL的瞬态响应通常具有小于1ns的上升和下降时间。重要的是用电流受限的波形来驱动VCSEL，以确保激光器不被损坏。2D阵列的电阻显著小于1欧姆，并且当正向偏置时，总电容将小于几pF。封装电感和电容通常控制脉冲性能。图22B示出了制造的阵列的显微镜图像。
图23A示出了由函数发生器给出的触发信号，而图23B示出了如示波器上所示的VCSEL阵列电流(下降)和触发脉冲(上升)。
第一个制造的DOE光束整形器用于HeNe波长。这样做是为了由于HeNe的高度相干特性，验证整个过程的正确性。HeNe激光器耦合到单模光纤以实现高空间相干性。图24示出了从光纤耦合的HeNe激光器发射并从单个顶帽波束分离器和顶帽整形器衍射的光的光学设置，其FOV为10°、并且l＝1m、并且顶帽D8具有l＝120mm。
图25示出了FOV为10度并且l＝120mm的HeNe光纤照明顶帽D64的光学设置和图像平面。
构建现成产品(4000Lumen投影仪和Aptina 10Mp数字图像相机)的3D扫描仪。该扫描仪的目的是供将来参考。图26示出了3D扫描仪的校准过程，并且图27示出了使用根据本发明构建的3D扫描仪来对杯子进行3D重建。

Claims (19)

1.一种投影仪，包括光学设备，所述光学设备被配置并作为结构光发生器可操作成产生至少一个结构光图案，所述光学设备包括光源单元和衍射光学单元，所述光源单元被配置并可操作成沿着预定的一个或更多个光路生成一个或更多个光束，所述衍射光学单元被容纳在所述一个或更多个光路中并且包括具有预定的操作波长范围的共振域衍射光学元件(RDDOE)，并且所述共振域衍射光学元件被配置并作为光束整形器可操作用于所述一个或更多个光束以由此创建所述至少一个结构光图案。
2.根据权利要求1所述的投影仪，包括控制单元，所述控制单元被配置并可操作成操作所述光学设备以连续地执行多个照明会话并产生不同结构光图案的期望的序列，所述控制单元控制所述光源单元中的一组或更多组的一个或更多个光源的选择，以产生相应的一个或更多个所述光束，从而创建所述不同结构光图案中的每一个，并且根据预定的时间图案来对所述光源的所述组的所述选择进行操作，以在预定的时间间隔期间创建所述不同结构光图案的所述期望的序列。
3.根据权利要求2所述的投影仪，其中，所述光源是激光源。
4.根据权利要求3所述的投影仪，其中，所述光源是垂直腔面发射激光源(VCSEL)。
5.根据权利要求2至4中任一项所述的投影仪，其中，所述控制单元包括致动器工具，所述致动器工具可连接到所述结构光发生器的操作工具，以同时激活对于所述照明会话的相应组的所述光束的生成，使得由所述结构光发生器在所述照明会话期间产生的所述光束与所述RDDOE上的对应位置相交，从而产生期望的结构光图案。
6.根据权利要求5所述的投影仪，其中，所述RDDOE上的所述对应位置的每一个创建所述不同结构光图案的每一个的一部分，所述不同结构光图案的每一个被拆分成以下之一：边界平行于水平轴延伸的部分，边界平行于垂直轴延伸的部分，边界在所述水平轴和垂直轴(y)延伸的部分，直边界在倾斜方向上延伸或弯曲边界在横向于所述光束的传播方向的平面中的部分，或者具有随机或确定性位置的光点组。
7.根据权利要求5所述的投影仪，其中，所述RDDOE上的所述对应位置或区域的每一个相同地创建整个结构光图案，使得投影平面处的所述期望的结构光图案是由所述RDDOE上的多个同时激活的位置或区域创建的几个相同图案的叠加。
8.根据权利要求5所述的投影仪，其中，所述不同结构光图案的每一个具有所述图案的特征的不同布置。
9.根据权利要求1至5中任一项所述的投影仪，其中，所述不同结构光图案具有所述图案的特征的不同空间频率。
10.根据权利要求2至5中任一项所述的投影仪，其中，所述控制单元包括分析器工具，所述分析器工具被配置并可操作成控制被执行来创建所述不同结构光图案的所述期望的序列的所述照明会话的数量。
11.根据权利要求1至9中任一项所述的投影仪，其中，所述结构光图案包括间隔开的光条纹阵列或具有随机或确定性位置的光点组。
12.根据权利要求1至10中任一项所述的投影仪，其中，所述RDDOE具有图案化区域阵列，每个这样的图案化区域阵列与所述结构光发生器的光源阵列的相应子阵列光学对准。
13.根据权利要求11所述的投影仪，其中，由一对光学对准的光源和所述RDDOE的所述图案化区域产生的结构光图案具有矩形形状。
14.根据权利要求1至12中任一项所述的投影仪，其被配置为产生所述结构光图案，所述结构光图案具有到对象所在的投影表面上的光投影的扇形角，所述扇形角大于20度。
15.根据权利要求8至13中任一项所述的投影仪，其中，所述空间图案的所述特征的所述至少一个空间频率是每度至少3个周期。
16.根据权利要求1至14中任一项所述的投影仪，其中，所述光束具有高斯强度分布曲线，并且所述光束整形器被配置并可操作成将所述高斯曲线转换成单个或多个顶帽曲线。
17.一种用于在对象的3D成像中使用的方法，所述方法包括：将结构光图案投影到所述对象上，并利用所述投影的结构光图案来提取指示所述对象的3D图像数据，其中，所述投影包括投影序列，所述投影序列包括根据预定的时间图案连续地投影到所述对象上的不同结构光图案的投影，由所述不同结构光图案照明的所述对象的所述图像数据由此包括图像数据片的序列，所述图像数据片的序列包括对应于所述不同结构光图案的数据片，由此使得能够处理所述图像数据以重建所述对象的3D图像。
18.根据权利要求17所述的方法，其中，所述不同结构光图案中的每一个被拆分成以下构造之一：边界平行于水平轴延伸的部分，边界平行于垂直轴延伸的部分，边界在所述水平轴和垂直轴(y)上延伸的部分，直边界在倾斜方向上延伸或弯曲边界在横向于所述光束的传播方向的平面中的部分，或者具有随机或确定性位置的光点组。
19.根据权利要求17或18所述的方法，其中，投影到所述对象上的所述不同结构光图案的数量是基于所述图像数据片的正在进行的处理来确定的，使得使用特定数量的不同结构光图案来重建每个对象。
CN201780064346.XA 2016-08-18 2017-08-17 结构光投影仪 Pending CN109891187A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662376727P 2016-08-18 2016-08-18
US62/376,727 2016-08-18
PCT/IL2017/050908 WO2018033917A1 (en) 2016-08-18 2017-08-17 Structured light projector

Publications (1)

Publication Number Publication Date
CN109891187A true CN109891187A (zh) 2019-06-14

Family

ID=61196507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064346.XA Pending CN109891187A (zh) 2016-08-18 2017-08-17 结构光投影仪

Country Status (4)

Country Link
US (1) US10809056B2 (zh)
EP (1) EP3500820A4 (zh)
CN (1) CN109891187A (zh)
WO (1) WO2018033917A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880317A (zh) * 2020-05-08 2020-11-03 浙江水晶光电科技股份有限公司 激光投射模组的仿真系统及方法
CN114509879A (zh) * 2022-04-18 2022-05-17 杭州灵西机器人智能科技有限公司 一种用于3d测量的动态光栅图案产生方法与系统
CN115421349A (zh) * 2022-11-02 2022-12-02 四川川大智胜软件股份有限公司 非数字光机结构光投射模组、采集装置及三维测量系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924638B2 (en) 2016-06-27 2021-02-16 Intel Corporation Compact, low cost VCSEL projector for high performance stereodepth camera
CA3078897A1 (en) * 2017-11-15 2019-05-23 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements
CN109903719A (zh) * 2017-12-08 2019-06-18 宁波盈芯信息科技有限公司 一种时空编码的结构光编码图案生成方法及装置
EP3518356A1 (en) * 2018-01-24 2019-07-31 Koninklijke Philips N.V. Laser arrangement with irregular emission pattern
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
KR20200017017A (ko) 2018-08-07 2020-02-18 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
CN109274953A (zh) * 2018-09-30 2019-01-25 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和存储介质
US11333895B1 (en) 2019-01-11 2022-05-17 Facebook Technologies, Llc Systems and methods for structured light projector operational safety
US20220290976A1 (en) * 2019-09-04 2022-09-15 ams Sensors Singapore Pte. Ltd Designing and constructing dot projectors for three-dimensional sensor modules
DE112020005353T5 (de) * 2019-10-30 2022-08-18 Trumpf Photonic Components Gmbh Lichtquelle, Sensor und Verfahren zum Beleuchten einer Szene
US11580654B2 (en) * 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
JP2023522717A (ja) * 2020-04-21 2023-05-31 マジック アイ インコーポレイテッド コリメータ機能付き回折光学素子
CN115113409B (zh) * 2022-08-26 2022-12-30 成都莱普科技股份有限公司 基于达曼光栅的线性平顶光斑的发生系统、方法及设备
US20240077306A1 (en) * 2022-09-01 2024-03-07 Himax Technologies Limited Structured-light scanning system and method and an image projector thereof
US20240092259A1 (en) * 2022-09-21 2024-03-21 Gentex Corporation Structured lighting system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955720A (zh) * 2005-10-24 2007-05-02 通用电气公司 用于检查物体的方法和装置
US20090009838A1 (en) * 2007-07-04 2009-01-08 Koji Masuda Diffraction optical element, light beam detection device, optical scanner and image forming apparatus
CN102326169A (zh) * 2009-02-23 2012-01-18 立体光子国际有限公司 用于相干照明成像系统的散斑噪声减小
CN105659106A (zh) * 2013-10-23 2016-06-08 欧库勒斯虚拟现实有限责任公司 使用动态结构光的三维深度映射
US20160223828A1 (en) * 2014-08-12 2016-08-04 Mantisvision Ltd. Structured light projection and imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051976A1 (en) * 2002-08-29 2004-03-18 Accretech (Israel) Ltd Confocal microscope with diffractively formed virtual pinhole array
FR2932562B1 (fr) * 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
US20200057353A1 (en) * 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
JP5542410B2 (ja) 2009-10-27 2014-07-09 ジヤトコ株式会社 自動変速機及びその保護方法
US9606237B2 (en) 2012-03-01 2017-03-28 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955720A (zh) * 2005-10-24 2007-05-02 通用电气公司 用于检查物体的方法和装置
US20090009838A1 (en) * 2007-07-04 2009-01-08 Koji Masuda Diffraction optical element, light beam detection device, optical scanner and image forming apparatus
CN102326169A (zh) * 2009-02-23 2012-01-18 立体光子国际有限公司 用于相干照明成像系统的散斑噪声减小
CN105659106A (zh) * 2013-10-23 2016-06-08 欧库勒斯虚拟现实有限责任公司 使用动态结构光的三维深度映射
US20160223828A1 (en) * 2014-08-12 2016-08-04 Mantisvision Ltd. Structured light projection and imaging

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880317A (zh) * 2020-05-08 2020-11-03 浙江水晶光电科技股份有限公司 激光投射模组的仿真系统及方法
CN111880317B (zh) * 2020-05-08 2022-05-06 东莞埃科思科技有限公司 激光投射模组的仿真系统及方法
CN114509879A (zh) * 2022-04-18 2022-05-17 杭州灵西机器人智能科技有限公司 一种用于3d测量的动态光栅图案产生方法与系统
CN114509879B (zh) * 2022-04-18 2022-07-26 杭州灵西机器人智能科技有限公司 一种用于3d测量的动态光栅图案产生方法与系统
CN115421349A (zh) * 2022-11-02 2022-12-02 四川川大智胜软件股份有限公司 非数字光机结构光投射模组、采集装置及三维测量系统

Also Published As

Publication number Publication date
WO2018033917A1 (en) 2018-02-22
EP3500820A4 (en) 2020-04-29
US20190249984A1 (en) 2019-08-15
US10809056B2 (en) 2020-10-20
EP3500820A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
CN109891187A (zh) 结构光投影仪
US20210297651A1 (en) Three dimensional depth mapping using dynamic structured light
EP3274653B1 (en) Depth mapping with a head mounted display using stereo cameras and structured light
CN104730825B (zh) 光电投影设备
US11067692B2 (en) Detector for determining a position of at least one object
CN107044847A (zh) 包括微透镜阵列的激光器模块
US8493496B2 (en) Depth mapping using projected patterns
JP4290733B2 (ja) ３次元形状計測方法及びその装置
US9870068B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US20120236288A1 (en) Range Based Sensing
CN107850867A (zh) 动态全息聚焦深度打印装置
CN109212773B (zh) 紧凑式散斑投影模组及深度相机
CN107783353A (zh) 用于捕捉立体影像的装置及系统
CN110068984A (zh) 光学投影仪、光学投影的方法以及电子装置
CN106842606B (zh) 一种光衍射器件及其制备方法和三维显示装置
CN208239783U (zh) Vcsel阵列光源及其投影仪、深度相机
JP2004191092A (ja) ３次元情報取得システム
Jing et al. Single-shot 3D imaging with point cloud projection based on metadevice
JP7498651B2 (ja) 三次元計測装置
CN209728341U (zh) 分束光学模组及电子设备
US10522326B2 (en) Systems and methods for automated microscopy
JP2020060377A (ja) マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス
CN215572709U (zh) 一种基于超表面透镜的近红外双目立体视觉成像装置
CN115102036B (zh) 点阵激光发射结构、点阵激光系统及深度计算方法
US20230273015A1 (en) Three-dimensional measurement device, light source device, and light receiving and emitting module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190614

WD01 Invention patent application deemed withdrawn after publication