CN114391086A - 设计和构造用于三维传感器模块的点投影仪 - Google Patents

设计和构造用于三维传感器模块的点投影仪 Download PDF

Info

Publication number
CN114391086A
CN114391086A CN202080062377.3A CN202080062377A CN114391086A CN 114391086 A CN114391086 A CN 114391086A CN 202080062377 A CN202080062377 A CN 202080062377A CN 114391086 A CN114391086 A CN 114391086A
Authority
CN
China
Prior art keywords
optical
point
projector
relative
grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080062377.3A
Other languages
English (en)
Other versions
CN114391086B (zh
Inventor
奥列弗.里波尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ams Sensors Singapore Pte Ltd
Original Assignee
Ams Sensors Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ams Sensors Singapore Pte Ltd filed Critical Ams Sensors Singapore Pte Ltd
Publication of CN114391086A publication Critical patent/CN114391086A/zh
Application granted granted Critical
Publication of CN114391086B publication Critical patent/CN114391086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2013—Plural light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2046—Positional adjustment of light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

对于具有多个光发射器的光学点投影仪，确定光发射器相对于光学点投影仪的基板的位置和由点投影仪投射到成像平面上的点的对应第一位置之间的关系。基于该关系确定近似光学点投影仪的一个或多个光学元件的一个或多个光学特性的光栅。确定与光栅对光学点投影仪的一个或多个光学元件的替换相对应的点的第二位置，以及基于点的第二位置确定光发射器相对于基板的修改位置。根据确定的修改位置构造光学点投影仪。

Description

设计和构造用于三维传感器模块的点投影仪
技术领域
本公开涉及设计和构造用于三维传感器模块的点投影仪。
背景技术
三维传感器模块用于测量对象在三维中的物理特性和/或移动。例如，三维传感器模块可用于测量人的面部轮廓(例如，经由面部识别进行生物认证)。作为另一个示例，三维传感器模块可以用于测量物体的移动(例如，在三维中记录动态事件)。
发明内容
本公开描述了用于设计和构造用于在三维传感器模块中使用的点投影仪的技术。例如，为了测试或校准的目的，构造初始“样本”三维传感器模块。样本三维传感器模块包括具有光源的点投影仪，该光源在基板上具有光发射器的特定布置。点投影仪被操作使得它将光图案发射到测试成像表面上，并且测量投射的光图案的特性。基于这些测量，一个或多个光发射器的位置被修改以考虑投射的光图案中的未对准、间隙和/或点密度的局部变化。继而，构造一个或多个“生产”三维传感器模块，每个“生产”三维传感器模块具有光发射器的修改布置。
这些设计和构造技术可以提供各种好处。例如，在一些实施方式中，使用这些技术生产的三维传感器模块可操作来将更均匀分布的光图案投射到对象上(例如，与没有使用这些技术生产的三维传感器模块相比)。因此，三维传感器模块可以在其整个视场中更一致地检测和测量物理特性和/或移动。此外，三维传感器模块可以根据更大的细节程度来检测和测量物理特性和/或移动，这是由于减少或消除了间隙，否则这些间隙可能使得三维传感器模块无法检测到对象的特征。
在一个方面，本公开描述了一种方法，该方法包括对于具有多个光发射器的光学点投影仪，确定多个光发射器相对于光学点投影仪的基板的位置和由点投影仪投射到成像平面上的点的对应第一位置之间的关系。该方法还包括基于该关系确定近似光学点投影仪的一个或多个光学元件的一个或多个光学特性的光栅。该方法还包括确定与光栅对光学点投影仪的一个或多个光学元件的替换相对应的点的第二位置，以及基于点的第二位置确定多个光发射器相对于基板的修改位置以减少点投影仪投射的点的空间图案中的失真。该方法还包括构造多个光学点投影仪，每个光学点投影仪具有根据所确定的修改位置布置的相应多个光发射器。
实施方式可以包括以下一个或多个特征。
在一些实施方式中，该关系可以包括传递函数，该传递函数指示作为光发射器相对于光学点投影仪的基板的位置的函数的由点投影仪投射到成像平面上的点的第一位置。
在一些实施方式中，光发射器可以包括布置在基板上的多个垂直腔面发射激光器(VSCEL)发射器。
在一些实施方式中，可以基于点的第一位置相对于成像平面的水平维度的曲率来确定光栅。
在一些实施方式中，可以进一步基于点的第一位置相对于成像平面的垂直维度的曲率来确定光栅。
在一些实施方式中，一个或多个光学元件可以包括一个或多个衍射光学元件。
在一些实施方式中，确定近似光学点投影仪的一个或多个光学元件的光学特性的光栅可以包括确定光栅相对于第一维度的第一周期性。
在一些实施方式中，确定近似光学点投影仪的一个或多个光学元件的光学特性的光栅可以包括确定光栅相对于第二维度的第二周期性，第二维度与第一维度正交。
在一些实施方式中，该方法还可以包括构造多个光学传感器模块。构造光学传感器模块可以包括，对于每个光学传感器模块，在光学传感器模块中封装相应光学点投影仪和相应图像传感器。
在一些实施方式中，确定关系可以包括使用光学点投影仪将点投射到成像平面上，测量光发射器相对于光学点投影仪的基板的位置，测量点相对于成像平面的第一位置，以及基于所测量的光发射器相对于光学点投影仪的基板的位置和所测量的点相对于成像平面的第一位置来确定关系。
在附图和以下描述中阐述一个或多个实施方式的细节。其他方面、特征和优点将从描述和附图以及权利要求书中变得显而易见。
附图说明
图1是示例三维传感器模块的示意图。
图2是示出位于光源的平面基板上的几个示例光发射器的位置的图。
图3A和3B是投射到成像平面上的示例光图案的图。
图4是用于设计和构造点投影仪的示例过程的流程图。
图5是示出位于光源的平面基板上的几个示例光发射器的原始位置和修改位置的图。
图6是投射到成像平面上的示例光图案的图。
图7是示例计算系统的框图。
具体实施方式
图1是示例三维传感器模块100的示意图。三维传感器模块100可操作来测量对象在三维中的物理特性和/或移动。作为示例，三维传感器模块100可以用于测量人的面部轮廓(例如，经由面部识别进行生物认证)。作为另一个示例，三维传感器模块100可以用于测量物体随时间的移动(例如，在三维中记录动态事件)
在一些实施方式中，三维传感器模块100可以实施为独立设备。在一些实施方式中，三维传感器模块100可以集成到另一个设备中。例如，诸如智能电话、平板电脑和其他便携式计算设备的电子设备可以包括一个或多个三维传感器模块100，以记录三维图像、在三维中感测运动、进行面部识别和/或在三维中检测手势。
三维传感器模块100包括点投影仪110、图像传感器120和电子控制设备130。在三维传感器模块100的操作期间，点投影仪110将光图案132(例如，具有已知布置的点的图案)投射到对象134(例如，物体、人等)上。图像传感器120(例如，光电检测器、电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)测量投射到对象134上的光图案132，并将测量结果传输到电子控制设备130进行解释。在一些实施方式中，图像传感器120可以捕获指示特定时间点的投射点的位置的一个或多个图像。
电子控制设备基于图像确定对象在三维中的物理特性和/或移动。例如，光图案132将在图像中以不同的方式出现，这取决于它被投射到的对象的物理特性。例如，取决于某些物理特征的位置、这些特征的深度和/或特定区域中物理特征的缺失，光图案132将在某些区域(例如，具有更接近三维传感器模块100的物理特征的区域)中呈现更密集的点分布，在其他区域(例如，具有更远离三维传感器模块100的物理特征的区域)中呈现不那么密集的点分布，和/或在一些区域(例如，没有任何物理特征的区域)中完全没有点。电子控制设备可以基于这些图像生成表示对象表面的数据(例如，表面地图)。此外，电子控制设备可以基于图像确定对象的移动(例如，通过确定表面地图随时间的变化)。
点投影仪110包括可操作来发射光的光源102、一个或多个透镜104以及可操作来根据特定图案投射发射光的一个或多个衍射光学元件106。
光源102可以包括一个或多个激光器，例如垂直腔面发射激光器(VCSEL)或红外(IR)激光器。在一些实施方式中，光源102可以包括生成光的一个或多个其他设备，例如发光二极管(LED)、红外(IR)LED和有机LED(OLED)。在一些实施方式中，光源102可以包括定位在平面(例如，基板表面)上的一个或多个光发射器。作为示例，图2示出了位于平面基板202(例如，相对于笛卡尔坐标系在x和y方向上延伸的表面)上的几个代表性光发射器200(例如，VSCEL)的位置。尽管图2中示出了代表性的光发射器，但是应当理解，光源可以包括根据任何图案布置的任何数量的光发射器。
透镜104和衍射光学元件106与光源102光学通信，并且接收由光源102发射的光中的至少一些。透镜104接收由光源102发射的光，并将该光聚焦到衍射元件106上或使其聚集通过衍射元件106。当光穿过衍射光学元件106时，衍射光学元件106使光以特定方式衍射，导致光图案132的发射。例如，衍射光学元件106可以使光衍射，使得光在某些空间位置更强(例如，由于衍射光在这些位置的相长干涉)，而在某些空间位置不太强或甚至不存在(例如，由于衍射光在这些位置的相消干涉)。
在一些实施方式中，衍射光学元件106可以被配置成使得光图案132包括具有特定空间布置的多个点(例如，离散的局部光点)。例如，光图案132可以包括均匀分布或以其他方式跨越特定成像平面分布的多个点(例如，以用点的分布覆盖成像平面的特定部分)。作为示例，图3A示出了投射到成像平面302(例如，与点投影仪110的投射轴136正交的物体的假想平面或平面表面)上的光图案132。光图案132包括分布在成像平面302的一部分上的多个点300。在该示例中，光图案132包括以3×3配置布置的九个不同的“单元”304a-304i(例如，通常重复的点图案)。单元304a-304i中的每一个具有大致相似的点300的分布。然而，由于点投影仪110的光学元件的光学性质，光图案132呈现出“枕形(pin-cushion)”效应。例如，单元304a-304i的边界根据它们相对于光图案132的中心的位置和/或角度关系呈现不同程度的曲率(例如，根据双曲线关系)。此外，由于这种曲率，点300的分布也根据点的位置和/或相对于光图案132的中心的角度关系而变化。例如，中心单元304e的点300通常比角落单元304a、304c、304g和304i的点分布得更密集。
此外，由于点投影器110的光学元件的光学性质，单元304a-304i可能呈现相对于彼此的未对准或间隙。例如，图3B示出了光图案132的全视场(FOV)(面板A)，光图案132的放大部分(面板B)，以及光图案132的进一步放大部分(面板C、D和E)。如图3B(特别是面板D)所示，单元304b、304c、304e和304f在它们的界面处彼此未对准，导致它们之间存在间隙(例如，在这些间隙内没有投射点)。在一些实施方式中，这可能是不希望的。例如，由于这些间隙中缺少投射点，三维传感器模块100可能无法检测到与这些间隙相符的对象的特征和/或对象的移动。
此外，由于点投影仪110的光学元件的光学性质，单元304a-304i可以呈现点密度的局部变化。例如，如面板C所示，单元304e包括局部区域306，该局部区域306相对于其周围具有更高的点密度(例如，表现为密集的线或点簇)。作为另一个示例，如面板E所示，单元304e包括局部区域308，该局部区域308相对于其周围具有较低的点密度(例如，表现为点的稀疏性)。在一些实施方式中，这可能是不希望的。例如，由于点密度的变化，三维传感器模块100可能在其视场中表现出灵敏度的变化。
三维传感器模块100的性能可以通过消除或以其他方式减少这些未对准、间隙和/或投射光图案中点密度的局部变化的存在来增强。在一些实施方式中，光源102的光发射器的物理布置(例如，光发射器200在基板202上的位置)可以被修改或“预变形”，使得所得的光图案更加均匀。
例如，为了测试或校准的目的，构造初始“样本”三维传感器模块。样本三维传感器模块包括具有光源的点投影仪，该光源在基板上具有光发射器的特定布置。点投影仪被操作成使得它将光图案发射到测试成像表面上(例如，与光投影仪的投射轴正交并位于距光投影仪指定距离处的平面表面)。测量投射光图案的特性。基于这些测量，一个或多个光发射器的位置被修改(例如，相对于点光源的基板在x和/或y方向上移动)，以考虑投射光图案中的未对准、间隙和/或点密度的局部变化。继而，构造一个或多个“生产”三维传感器模块，每个“生产”三维传感器模块具有光发射器的修改布置。
具体地，在示例实施方式中，确定(i)点投影仪的光发射器的位置和(ii)由点投影仪产生的所得点之间的关系(例如，定义该关系的传递函数)。此外，确定近似光投影仪的行为的“理想化的”光栅配置。此外，如果衍射光学元件106之前的投影仪的光学元件(例如，透镜104)被理想化的光栅替换，则确定点的位置。传递函数反向应用于这些位置，以确定光发射器的“预失真”位置。
这些设计和构造技术可以提供各种好处。例如，在一些实施方式中，使用这些技术生产的三维传感器模块可操作来将更均匀分布的光图案投射到对象上(例如，与没有使用这些技术生产的三维传感器模块相比，图案的单元之间具有更少的未对准和/或间隙，具有点密度的局部变化等)。因此，三维传感器模块可以在其整个视场上更一致地检测和测量物理特征和/或移动。此外，三维传感器模块可以根据更大的细节程度来检测和测量物理特征和/或移动，这是由于间隙(例如盲点)的减少或消除，否则间隙可能使得三维传感器模块无法检测到对象的特征。
图4中示出了用于设计和构造点投影仪的示例过程400。在一些实施方式中，过程400可以至少部分地由一个或多个计算机系统(例如，如图8中所示)来执行。
在过程400中，对于具有多个光发射器的光学点投影仪，确定光发射器相对于光学点投影仪的基板的位置和由点投影仪投射到成像平面上的点的对应第一位置之间的关系(步骤402)。例如，该关系可以定义、描述、近似或以其他方式表示光学点投影仪的一个或多个光学元件的光学特性以及它们对点在成像平面上的投影的影响。作为示例，对于每个光发射器，该关系可以指示该光发射器相对于光学点投影仪的基板(例如，与光学点投影仪的投射轴正交的平面或基本平面的表面)的位置以及投影的一个或多个点相对于成像平面(例如，与光学点投影仪的投射轴正交并位于距光学点投影仪特定距离处的平面或基本平面的表面)的对应一个或多个位置。
在一些实施方式中，该关系可以至少部分地表示为传递函数，该传递函数指示由点投影仪投射到成像平面上的点的第一位置，作为光发射器相对于光学点投影仪的基板的位置的函数。例如，如果光学点投影仪呈现圆形对称，则每个点的径向位置可以表示为光发射器的径向位置的函数。例如，这可以表示为：
R＝f(r)，
其中R是特定点相对于基板的径向位置(例如，点距投射轴的径向距离)，r是对应的光发射器相对于成像平面的径向位置(例如，光发射器距投射轴的径向距离)，并且f(r)是具有r作为输入的传递函数。在一般情况下，这种关系可以表示为：
(X,Y)＝f(x,y)，
其中(X,Y)是特定点相对于基板(例如，沿着x-y平面延伸)的笛卡尔坐标，(x,y)是对应的光发射器相对于成像平面(例如，沿着x-y平面延伸)的笛卡尔坐标，并且f(x,y)是具有(x,y)作为输入的传递函数。请注意，给定距离z处的位置可以使用以下关系转换为对应的角度θ：
tan(θ)＝r/z。
在一些实施方式中，这些关系中的一个或多个可以凭经验确定。例如，具有预定光发射器布置的初始“样本”点投影仪可以被构造用于测试或校准目的。可以操作点投影仪，使得它将光图案发射到测试成像表面(例如，与光投影仪的投射轴正交并且位于距光投影仪指定距离处的平面表面)上。可以测量一个或多个投射点的位置。基于这些测量，可以确定表示光发射器相对于基板的位置和点相对于成像平面的位置之间的关系的传递函数。
在一些实施方式中，光发射器可以包括一个或多个VSCEL发射器、LED、IR LED、OLED和/或布置在基板上的任何其他类型的光发射器。
基于前述关系确定近似光学点投影仪的一个或多个光学元件的一个或多个光学特性的光栅(步骤404)。例如，可以使用光学点投影仪将点投射到成像平面上。可以测量光发射器相对于光学点投影仪的基板的位置。此外，还可以测量点相对于成像平面的第一位置。该关系可以基于光发射器相对于光学点投影仪的基板的测量位置和点相对于成像平面的测量的第一位置来确定。
在一些实施方式中，可以确定“理想化的”光栅配置，其近似点投影仪的光学元件的光学行为。理想化的光栅配置可以是例如光栅配置的概念、理论和/或简化的数学表示。例如，理想化的光栅可以是具有等间距狭缝和不透明狭缝的周期性布置的光栅布置(例如，“周期性光栅”)。因此，确定近似光学点投影仪的一个或多个光学元件的光学特性的光栅配置可以包括确定光栅相对于一个或多个维度的周期性(例如，光栅相对于水平维度x的周期性，以及光栅相对于正交于水平维度x的垂直维度y的周期性)。
在一些实施方式中，该光栅配置可以基于由单个光发射器产生的一组点相对于一个或多个维度(例如，水平和/或垂直)的曲率、该组中的点的数量(例如，衍射光学元件的有效相长干涉级数)、以及光发射器发射的光的波长等参数来确定。例如，相对于单个维度的光栅配置可以使用以下关系来确定：
Figure BDA0003532405230000081
其中θ是特定点相对于投射轴的角度，p是对应于该点的衍射级，λ是发射光的波长，Λ是理想化光栅配置中光栅之间的距离(例如，光栅的“周期”)。
作为说明性示例，代表性的光发射器将441个对应的点投射到成像平面上，通常对应于枕形的21×21网格。因此，在x方向上，点投影仪的衍射光元件呈现21个不同的级(例如，级-10、-9，...-1,0,+1,...+10)，如果光发射器发射波长为940nm的光，并且对应于第+10级的点关于x方向相对于投射轴成15°角定位，则上述关系可以写成：
Figure BDA0003532405230000082
因此，沿着x方向的理想化的光栅配置的周期是Λx＝36.3μm。类似地，在y方向上，点投影仪的衍射光元件也呈现21个不同的级(例如，级-10、-9，...-1,0,+1,...+10)，如果光发射器发射波长为940nm的光，并且对应于第+10级的点关于x方向相对于投射轴成15°角定位，则理想化的光栅配置沿着y方向的周期为Λy＝36.3μm。
确定与光栅对光学点投影仪的一个或多个光学元件的替换相对应的点的第二位置(步骤406)。例如，计算由每个光发射器产生的点的位置，为了计算的目的，假设衍射光学元件106之前的光学点投影仪的光学元件已经被前述理想化的光栅配置替换。作为示例，这些位置可以使用以下关系式相对于三维来确定：
Figure BDA0003532405230000091
其中Λx是理想化的光栅相对于x维度的周期，Λy是理想化的光栅相对于y维度的周期，(u,v,w)定义(x,y,z)轴中的单位矢量坐标，i是指入射光(例如，输入光)，d是指衍射光(例如，输出光)，而λx是波长(当输入和输出材料不同，例如具有不同折射率的材料时，λx可以不同)。因为对空气中的方向感兴趣，并且因为使用虚拟光栅的公式，所以λi和λd都可以简化为λ，即空气中的光波长。
基于点的第二位置确定光发射器相对于基板的修改位置(步骤408)。在一些实施方式中，可以使用关于步骤402确定的传递函数来确定修改位置。例如，可以通过将传递函数反向(例如，逆向)应用于关于步骤406确定的点的第二位置来确定修改位置。
这些修改位置减少了由点投影仪投射的点的空间图案中的失真。作为示例，图5示出了位于平面基板502上的几个代表性光发射器的原始位置500(用圆圈表示)，以及这些光发射器的修改位置504(用十字表示)(例如，关于步骤408确定)。此外，图6示出了对应于光发射器的修改位置504的光图案132的放大部分，示出了与图3B的面板B中相似的区域(例如，单元304b、304c、304e和304f之间的界面)。如图6所示，与对应于光发射器的原始位置500的光图案132相比，对应于光发射器的修改位置504的光图案132在单元之间呈现不太明显的间隙。此外，与对应于光发射器的原始位置500的光图案132相比，对应于光发射器的修改位置504的光图案132呈现出更一致的点密度。
构造多个光学点投影仪，每个光学点投影仪具有根据所确定的修改位置布置的相应光发射器(步骤410)。作为示例，可以构造一个或多个“生产”三维传感器模块，每个“生产”三维传感器模块具有关于步骤408确定的光发射器的修改布置。这可以包括产生每个光源具有光发射器的修改布置的几个光源102，以及安装与每个光源102光学通信的一个或多个衍射光学元件106(例如，以形成一个或多个点投影仪110)。
此外，可以构造一个或多个光学传感器模块。例如，三维传感器模块100可以通过将相应的光学点投影仪和相应的图像传感器封装在一起(例如，在壳体或外壳内)来构造。继而，构造的三维传感器模块可以安装在电子设备中，例如智能电话、平板电脑和其他便携式计算设备。
示例系统
本说明书中描述的主题和操作的一些实施方式可以以数字电子电路来实现，或者以计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)来实现，或者以它们中的一个或多个的组合来实现。例如，在一些实施方式中，三维传感器模块100的一个或多个组件(例如，电子控制设备130)可以使用数字电子电路，或者计算机软件、固件或硬件，或者它们中的一个或多个的组合来实现。在另一个示例中，图4中所示的过程可以至少部分地使用数字电子电路，或者计算机软件、固件或硬件，或者它们中的一个或多个的组合来实现。
本说明书中描述的一些实施方式可以被实现为数字电子电路、计算机软件、固件或硬件的一个或多个组或模块，或者实现为它们中的一个或多个的组合。尽管可以使用不同的模块，但是每个模块不必是不同的，并且多个模块可以在相同的数字电子电路、计算机软件、固件或硬件或其组合上实现。
本说明书中描述的一些实施方式可以被实现为一个或多个计算机程序，即，编码在计算机存储介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是，或可以包括在，计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。另外，虽然计算机存储介质不是传播的信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质中(例如，多个CD、盘或其他存储设备)。
术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统、或前述的多个或组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型架构，例如网络服务、分布式计算和网格计算架构。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明或过程语言。计算机程序可以但无需与文件系统中的文件对应。程序可以存储在保存其他程序或数据(例如标记语言文档中存储的一个或多个脚本)的文件的部分、专用于所讨论的程序的单个文件、或多个协调文件(例如存储一个或多个模块、子程序、或代码的部分的文件)中。计算机程序可以被部署为在一台计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
执行一个或多个计算机程序的一个或多个可编程处理器可以执行本说明书中所描述的过程和逻辑流程，以通过操作输入数据并且生成输出来执行动作。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，专用逻辑电路例如为FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
通过示例的方式，适合于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何类型的数字计算机的处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机包括用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。计算机还可以包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或者两者都有。然而，计算机无需具有这些设备。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备(例如，EPROM、EEPROM、闪存设备等)、磁盘(例如，内部硬盘、可移除盘等)、磁光盘以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。
为了提供与用户的交互，可以在具有用于向用户显示信息的显示设备(例如，监视器或另一种类型的显示设备)以及用户可以通过其向计算机提供输入的键盘和定点设备(例如，鼠标、轨迹球、平板电脑、触敏屏幕或另一种类型的定点设备)的计算机上实现操作。也可以使用其他种类的设备来提供与用户的交互；例如，被提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以包括声音、语音或触觉输入的任何形式来接收来自用户的输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求来将网页发送到用户客户端设备上的网络浏览器。
计算机系统可以包括单个计算设备或多个计算机，这些计算机彼此靠近或通常远离彼此操作，并且通常通过通信网络进行交互。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网(例如因特网)、包括卫星链路的网络以及对等网络(例如，自组织对等网络)。客户端和服务器的关系是通过运行在相应计算机上并且彼此具有客户端-服务器关系的计算机程序产生的。
图7示出了示例系统700，其包括处理器710、存储器720、存储设备730和输入/输出设备740。组件710、720、730和740中的每一个可以例如使用系统总线750互连。在一些实施方式中，计算机系统700可以用于控制点投影仪的操作、设计和/或构造。例如，图1所示的电子控制设备130可以包括计算机系统700，以控制点投影仪的一个或多个组件的操作。作为另一个示例，计算机系统700可以用于执行关于图4描述的一些或所有步骤。处理器710能够处理用于在系统700内执行的指令。在一些实施方式中，处理器710是单线程处理器、多线程处理器或另一种类型的处理器。处理器710能够处理存储在存储器720或存储设备730上的指令。存储器720和存储设备730可以在系统700内存储信息。
输入/输出设备740为系统800提供输入/输出操作。在一些实施方式中，输入/输出设备740可以包括网络接口设备(例如，以太网卡)、串行通信设备(例如，RS-232端口)和/或无线接口设备(例如，802.11卡)、3G无线调制解调器、4G无线调制解调器、5G无线调制解调器等中的一个或多个。在一些实施方式中，输入/输出设备可以包括被配置为接收输入数据并将输出数据发送到其他输入/输出设备(例如，键盘、打印机和显示设备760)的驱动器设备。在一些实施方式中，可以使用移动计算设备、移动通信设备和其他设备。
虽然本说明书包含许多细节，但这些细节不应被解释为对可要求保护的范围的限制，而是应被解释为对特定示例所特有的特征的描述。在单独实施方式的上下文中在该说明书中所描述的某些特征也可以被组合。相反地，在单个实施方式的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。
已经描述了许多实施方式。然而，在不脱离本发明的精神和范围的情况下，可以进行各种修改。因此，其他实施方式在权利要求的范围内。

Claims (10)

1.一种方法，包括：
对于具有多个光发射器的光学点投影仪，确定所述多个光发射器相对于所述光学点投影仪的基板的位置和由所述点投影仪投射到成像平面上的点的对应第一位置之间的关系；
基于所述关系，确定近似所述光学点投影仪的一个或多个光学元件的一个或多个光学特性的光栅；
确定与所述光栅对所述光学点投影仪的所述一个或多个光学元件的替换相对应的点的第二位置；
基于点的所述第二位置，确定所述多个光发射器相对于所述基板的修改位置以减少由所述点投影仪投射的点的空间图案中的失真；以及
构造多个光学点投影仪，每个光学点投影仪具有根据所确定的修改位置布置的相应多个光发射器。
2.根据权利要求1所述的方法，其中所述关系包括传递函数，所述传递函数指示作为所述多个光发射器相对于所述光学点投影仪的基板的位置的函数的由所述点投影仪投射到所述成像平面上的点的所述第一位置。
3.根据权利要求1所述的方法，其中所述多个光发射器包括布置在所述基板上的多个垂直腔面发射激光器(VSCEL)发射器。
4.根据权利要求1所述的方法，其中所述光栅基于点的所述第一点位置相对于所述成像平面的水平维度的曲率来确定。
5.根据权利要求4所述的方法，其中所述光栅还基于点的所述第一点位置相对于所述成像平面的垂直维度的曲率来确定。
6.根据权利要求1所述的方法，其中所述一个或多个光学元件包括一个或多个衍射光学元件。
7.根据权利要求1所述的方法，其中确定近似所述光学点投影仪的所述一个或多个光学元件的所述光学特性的所述光栅包括确定所述光栅相对于第一维度的第一周期性。
8.根据权利要求7所述的方法，其中确定近似所述光学点投影仪的所述一个或多个光学元件的所述光学特性的所述光栅还包括确定所述光栅相对于第二维度的第二周期性，所述第二维度与所述第一维度正交。
9.根据权利要求1所述的方法，还包括构造多个光学传感器模块，其中构造多个光学传感器模块包括，对于每个光学传感器模块，在所述光学传感器模块中封装多个光学点投影仪中的相应光学点投影仪和相应图像传感器。
10.根据权利要求1所述的方法，其中确定所述关系包括：
使用光学点投影仪将所述点投射到所述成像平面上；
测量所述多个光发射器相对于所述光学点投影仪的所述基板的位置；
测量所述点相对于所述成像平面的第一位置；以及
基于所测量的所述多个光发射器相对于所述光学点投影仪的所述基板的位置和所测量的所述点相对于所述成像平面的第一位置来确定所述关系。
CN202080062377.3A 2019-09-04 2020-09-03 设计和构造用于三维传感器模块的点投影仪 Active CN114391086B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962895581P 2019-09-04 2019-09-04
US62/895,581 2019-09-04
PCT/SG2020/050511 WO2021045685A1 (en) 2019-09-04 2020-09-03 Designing and constructing dot projectors for three-dimensional sensor modules

Publications (2)

Publication Number Publication Date
CN114391086A true CN114391086A (zh) 2022-04-22
CN114391086B CN114391086B (zh) 2024-05-24

Family

ID=

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323040A1 (en) * 2008-06-30 2009-12-31 Cornell Jim D Telecentricity corrector for microlithographic projection system
JP2011000357A (ja) * 2009-06-22 2011-01-06 Shigeki Kobayashi 頭顔部表面微小領域の繰り返し定位による撮像と毛髪計数の方法
TW201314343A (zh) * 2011-09-23 2013-04-01 Appotronics Corp Ltd 光源及其應用的投影系統
US20140333906A1 (en) * 2013-05-08 2014-11-13 Kabushiki Kaisha Toshiba Projector and portable terminal
CN105592310A (zh) * 2014-11-06 2016-05-18 迪士尼企业公司 用于投影仪校准的方法和系统
CN106454291A (zh) * 2015-08-07 2017-02-22 克里斯蒂数字系统美国有限公司 用于自动配准和投影映射的系统和方法
US20170186146A1 (en) * 2015-12-23 2017-06-29 Intel Corporation System and method for calibration of a depth camera system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323040A1 (en) * 2008-06-30 2009-12-31 Cornell Jim D Telecentricity corrector for microlithographic projection system
CN102077143A (zh) * 2008-06-30 2011-05-25 康宁股份有限公司 用于显微光刻投影系统的远心性校正器
JP2011000357A (ja) * 2009-06-22 2011-01-06 Shigeki Kobayashi 頭顔部表面微小領域の繰り返し定位による撮像と毛髪計数の方法
TW201314343A (zh) * 2011-09-23 2013-04-01 Appotronics Corp Ltd 光源及其應用的投影系統
US20140333906A1 (en) * 2013-05-08 2014-11-13 Kabushiki Kaisha Toshiba Projector and portable terminal
CN105592310A (zh) * 2014-11-06 2016-05-18 迪士尼企业公司 用于投影仪校准的方法和系统
CN106454291A (zh) * 2015-08-07 2017-02-22 克里斯蒂数字系统美国有限公司 用于自动配准和投影映射的系统和方法
US20170186146A1 (en) * 2015-12-23 2017-06-29 Intel Corporation System and method for calibration of a depth camera system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIAO, YX等: "Design of diffractive optical element projector for a pseudorandom dot array by an improved encoding method", 《APPLIED OPTICS》, vol. 58, no. 34, pages 169 *
汪辉等: "基于空间加权的虚拟视点绘制算法", 《计算机工程与应用》, vol. 52, no. 8, pages 174 - 179 *

Also Published As

Publication number Publication date
EP4025869A1 (en) 2022-07-13
WO2021045685A1 (en) 2021-03-11
US20220290976A1 (en) 2022-09-15
JP7273249B2 (ja) 2023-05-12
JP2022547286A (ja) 2022-11-11
EP4025869B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US10409083B2 (en) Structured light projection and imaging
RU2521725C2 (ru) Система и способ трехмерного измерения формы материальных объектов
US10877622B2 (en) Detection of structured light for depth sensing
JP5753422B2 (ja) ３ｄパターンマッチング方法
CN1952595A (zh) 三维形状计测装置及其方法、计算机可读取的记录介质
US20190072762A1 (en) Optical design using freeform tailoring
KR20130037152A (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
US10620511B2 (en) Projection device, projection system, and interface apparatus
Qiu et al. Scan planning for existing buildings without BIM based on user-defined data quality requirements and genetic algorithm
CN103885583A (zh) 对眼动追踪器进行硬件校准的装置和方法
JP2015219918A (ja) 材料のｃｇ表現のシェーディング
CN111602303A (zh) 包含主射线校正器光学元件之结构光照明器
AU2017272304A1 (en) Auto vr: an assistant system for virtual reality painting
EP4025869B1 (en) Designing and constructing dot projectors for three-dimensional sensor modules
CN108520543A (zh) 一种对相对精度地图进行优化的方法、设备及存储介质
US20200177794A1 (en) Calibration method and apparatus
CN114391086B (zh) 设计和构造用于三维传感器模块的点投影仪
Kot et al. Using virtual scanning to find optimal configuration of a 3D scanner turntable for scanning of mechanical parts
JP6319395B2 (ja) ３次元測定装置および３次元測定方法
Zhou et al. Depth detection in interactive projection system based on one-shot black-and-white stripe pattern
US20190377931A1 (en) Measurement system and measurement method
US20200137289A1 (en) Method and system for head mounted display infrared emitter brightness optimization based on image saturation
US8988393B2 (en) Optical touch system using overlapping object and reflection images and calculation method thereof
Rodriguez et al. Probabilistic Modeling of Multicamera Interference for Time-of-Flight Sensors
CN113168019B (zh) 用于大场成像的衍射光学元件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant