CN106415604B - 具有埃尔米特对称性的经译码光图案 - Google Patents

具有埃尔米特对称性的经译码光图案 Download PDF

Info

Publication number
CN106415604B
CN106415604B CN201580029415.4A CN201580029415A CN106415604B CN 106415604 B CN106415604 B CN 106415604B CN 201580029415 A CN201580029415 A CN 201580029415A CN 106415604 B CN106415604 B CN 106415604B
Authority
CN
China
Prior art keywords
constraint
code
primitive
bit sequence
code word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580029415.4A
Other languages
English (en)
Other versions
CN106415604A (zh
Inventor
詹姆斯·威尔逊·纳什
卡林·米特科夫·阿塔纳索夫
斯蒂芬·迈克尔·维罗尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201810420429.4A priority Critical patent/CN108764227A/zh
Publication of CN106415604A publication Critical patent/CN106415604A/zh
Application granted granted Critical
Publication of CN106415604B publication Critical patent/CN106415604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0944Diffractive optical elements, e.g. gratings, holograms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4266Diffraction theory; Mathematical models
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1847Manufacturing methods
    • G02B5/1857Manufacturing methods using exposure or etching means, e.g. holography, photolithography, exposure to electron or ion beams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • G06V10/893Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter
    • G06V10/895Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter the filter being related to phase processing, e.g. phase-only filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包含识别位序列中未能满足至少一个码字约束的一或多个码字。所述方法还包含将所述一或多个码字从所述位序列移除以产生删余位序列。所述方法进一步包含确定所述删余位序列是否对称。所述方法包含:响应于确定所述删余位序列是对称的,至少部分地基于所述删余位序列产生埃尔米特对称码本基元,其中所述埃尔米特对称码本基元可用以形成结构化光深度传感系统的衍射光学元件DOE。

Description

具有埃尔米特对称性的经译码光图案
相关申请案的交叉参考
本申请案请求来自共同拥有的于2014年6月20日申请的美国临时专利申请案第61/015,349号及于2014年9月19日申请的美国非临时专利申请案第14/491,521号的优先权,所述临时专利申请案的内容以全文引用的方式明确地并入本文中。
技术领域
本发明一般涉及具有埃尔米特对称性(hermitian symmetry)的经译码光图案的产生。
背景技术
技术进步已经产生较小且较强大的电子装置。举例来说,当前存在多种移动装置,例如无线电话、个人数字助理(PDA)和寻呼装置。无线装置可为小型轻量的,且容易由用户携带。例如蜂窝电话及因特网协议(IP)电话等无线电话可经由无线网络传达语音及数据包。而且,无线电话可处理可执行指令,包含软件应用程序,例如可用以接入因特网的网络浏览器应用程序。此外,许多无线电话包含并入其中的其它类型的装置。举例来说,无线电话还可包含数字静态相机、数码摄像机、数字记录器和音频文件播放器。因此,无线电话及其它移动装置可包含显著计算能力。
还被称作结构化光深度传感的主动传感为与电子装置及移动装置相关联的应用程序。在主动传感中,已知光学图案经照射或投射到场景上。接收器传感器可捕获场景的图像。所捕获图像中的光学图案可与最初投射的光学图案不同(例如,相对于最初投射的光学图案位移)。所捕获图像中的光学图案与最初投射的光学图案之间的差异可用以确认场景中的对象的深度。深度信息可用以(例如)重建场景和其中的对象的三维(3D)表示。
投射到场景上的光学图案的各种特性可影响主动深度传感和3D重建的精确性。举例来说,某些图案可产生“重影图像”,所述重影图像在深度传感过程期间造成干扰。作为另一实例,某些图案可产生大的零阶(即,非衍射)光束,所述光束可引起眼睛安全问题,例如,在使用激光器作为光源的系统的情况下。此外,提供充分深度估计分辨率的复杂图案制造起来可为昂贵的。举例来说,当复杂图案通过结构化光发射器内的光学元件形成时,发射器的光学元件可需要使用昂贵的多阶段、多掩模光刻过程来制造。
发明内容
本发明描述产生及使用具有埃尔米特对称性(或者被称作偶对称性)的光学(例如,经译码光)图案。使用埃尔米特对称图案可消除重影图像且与不对称图案相比可提供较小且较低强度的零阶光束。光学图案可包含经细分(tessellated)码本基元。码本基元可基于一或多个码字约束(例如,大小约束、最小和/或平均占空比约束、相位图约束等)而产生。举例来说,产生码本基元的反复法可包含删余随机初始化的位序列以移除不满足码字约束的码字。如果从经删余位序列产生的经译码图案具有埃尔米特对称性且满足唯一性规则,那么经译码图案可用以产生码本基元。如果经译码图案并非是埃尔米特对称的或不满足唯一性规则,那么可初始化新的位序列且可重复所述方法。
通过所描述的技术产生的码本基元可用以使用单掩模光刻过程制造衍射光学元件(DOE)。当在结构化光系统中使用时,DOE可接收来自光源的光(例如,激光)且可产生包含码本基元的细分的埃尔米特对称光学图案。埃尔米特对称光学图案可投射到场景(或其中的对象)上及用以执行深度估计。
在特定实施例中,方法包含识别位序列中未能满足至少一个码字约束的一或多个码字及将所述一或多个码字从位序列移除以产生删余位序列。方法进一步包含确定删余位序列是否对称。响应于确定经删余位序列为对称的,方法至少部分基于经删余位序列产生埃尔米特对称码本基元,其中埃尔米特对称码本基元可用以形成结构化光深度传感系统的衍射光学元件(DOE)。
在另一特定实施例中,非暂时性计算机可读媒体包含指令,所述指令在由计算机执行时使得计算机执行包含识别位序列中未能满足至少一个码字约束的一或多个码字的操作。所述操作还包含将一或多个码字从位序列移除以产生经删余位序列。所述操作进一步包含确定经删余位序列是否对称。所述操作包含:响应于确定经删余位序列为对称的,至少部分地基于所述经删余位序列产生埃尔米特对称码本基元,其中埃尔米特对称码本基元可用以形成结构化光深度传感系统的衍射光学元件(DOE)。
在另一特定实施例中,设备包含经配置以产生光学图案的衍射光学元件(DOE)。光学图案具有埃尔米特对称性且包含经产生以满足至少一个码字约束的经细分码本基元。
在另一特定实施例中,设备包含用于发射光的装置、用于聚焦光的装置及用于衍射光以产生光学图案的装置。光学图案具有埃尔米特对称性且包含经产生以满足至少一个码字约束的经细分码本基元。
由所公开的实施例中的至少一者提供的一个特定优点为产生埃尔米特对称光学图案的能力,所述埃尔米特对称光学图案提供产生3D深度图的结构化光深度传感系统的经改善性能。由所公开的实施例中的至少一者提供的另一特定优点为DOE,所述DOE制造起来便宜且所述DOE可并入结构化光深度传感系统中以产生并投射埃尔米特对称光学图案。
本发明的其它方面、优点和特征将在审阅整个申请案之后变得显而易见,所述整个申请案包含以下部分:附图说明、具体实施方式和权利要求书。
附图说明
图1为包含衍射光学元件(DOE)的结构化光深度传感系统的图,所述衍射光学元件(DOE)经配置以投射包含满足至少一个码字约束的经细分码本基元的埃尔米特对称光学图案;
图2为包含具有图1的DOE的发射器装置的结构化光深度传感系统的图;
图3为基于光学图案之经投射版本及光学图案之经捕获版本确定对象的深度信息的特定实施例的图;
图4为包含图1的DOE的发射器的特定实施例的图;
图5为说明经配置以产生满足一或多个码字约束的埃尔米特对称码本基元的装置的特定实施例的图;
图6为说明埃尔米特对称的码本基元的特定实施例的图;
图7为说明包含经细分码本基元的光学图案的特定实施例的图;
图8为说明埃尔米特对称光学图案消除重影图像并减小零阶光束的大小的能力的图;
图9为与埃尔米特对称码本基元相关联的示范性代码功率分布的图;
图10为说明确定码字是否满足码字约束的方法的特定实施例的图;
图11为制造图1的DOE的方法的特定实施例的图;
图12为在图5的装置处操作的方法的特定实施例的流程图;
图13为说明产生具有埃尔米特对称性及满足一或多个码字约束的码本基元的方法的替代实施例的图;以及
图14为说明经配置以支持参考图1至13所描述的一或多个系统或方法的电子装置的特定实施例的图。
具体实施方式
图1说明结构化光深度传感系统(或者在本文中被称作主动传感系统)的特定实施例,其中已知图案用以照明场景或对象。系统可从经照明场景获得深度信息且可使用深度信息从二维(2D)图像和/或信息产生三维(3D)信息。本文所描述的一或多个方面和/或特征可在此系统内实施。
在图1的系统中,发射器101将包含一或多个码字的光学图案104投射到场景或对象106上。每一码字可对应于光学图案的唯一可检测部分。举例来说,每一码字可对应于一或多个点的布置、一或多条线的布置、网格布置等。光学图案104可对应于通过衍射光学元件(DOE)190传递光场产生的光学图案。DOE 190可因此表示“代码掩码”,光场通过所述代码掩码传递以产生光学图案104。如本文进一步描述,通过DOE 190产生的光学图案104可具有埃尔米特对称性且可包含经产生(例如,经设计)以满足至少一个码字约束的经细分码本基元。参考图5至13进一步描述埃尔米特对称光学图案及经配置以产生此类图案的DOE。
接收器108捕获经反射光学图案110及其中的码字。在图1的实例中,光学图案104的区段/部分/窗口112)经投射(作为区段/部分/窗口114)到场景或对象106的表面(例如,经投射区段/部分/窗口116)上。经投射区段/部分/窗口116可由接收器108捕获作为经捕获片段118。区段/部分/窗口112可用作可经唯一识别的码字。经反射光学图案110可基于场景或对象106的特性(例如,形状、深度等)而与最初投射的光学图案104不同。因此,通过用唯一码字覆盖场景或对象106,可识别/标记场景或对象106的区段/部分,且可使用此信息用于深度传感,如本文中进一步描述。
可从接收器108所捕获的图像识别场景或对象106上的多个片段。每一片段(例如,片段118)在接收器108处可唯一地识别,且片段118相对于其它片段定位的位置可从光学图案104来确认。来自每一片段/部分/窗口的代码(例如,码字)的识别可涉及图案分段(例如,解决失真)及将所感知片段/部分/窗口解码成对应代码。另外,三角测量可应用于每一所捕获片段/部分/窗口以确认定向和/或深度。作为说明性非限制性实例,特定码字在所投射光学图案104中的位置相较于所捕获光学图案110的差异可用以确定对象106的深度信息,如参考图2至3进一步描述。多个此类片段/部分/窗口可经组合以将所捕获图像图案拼接在一起。以此方式,可针对场景或对象106产生3D点云数据和/或深度图107。在深度图107中,可使用相同色彩表示经确定距接收器108相同距离的对象(或其部分/表面)。深度图107可以用于各种应用程序,包含但不限于游戏、手势控制、房间/空间映射、3D打印等。
图2说明结构化光深度传感系统的另一特定实施例。发射器装置202可经由发射信道204投射埃尔米特对称光学图案220(例如,基于通过图1的DOE 190投射光)。举例来说,埃尔米特对称光学图案220可包含或对应于图1的埃尔米特对称光学图案104。所述光学图案可投射到目标(例如,场景或对象)上且反射光可由接收器传感器205捕获为图像。在接收器传感器205(例如,图1的接收器108)处,可捕获目标(例如,场景或对象)且可编码目标的形状/深度。可(例如)使用经投射光学图案执行形状/深度编码以确认深度信息。举例来说,包含所投射光学图案(例如,其经取代/修改版本)的场景或对象的所捕获图像可由分段/解码器206分段和/或解码以获得深度数据,例如,深度图208。深度图208可用以呈现、产生和/或提供目标的3D版本210a、210b、210c、210d、210e。本文所描述的一或多个方面或特征可在图1及2的示范性环境内实施。
图3说明在结构化光深度传感系统(例如,图1的系统或图2的系统)处操作的方法的特定实施例。如图3中所展示,发射器装置302可与接收器装置304在同一基线参考平面(例如,透镜平面305)上。举例来说,发射器装置302可为包含图1的DOE 190或图2的发射器装置202的发射器101。因此,发射器装置302可通过孔径或透镜将光学图案310投射到场景或对象上,其中光学图案310为埃尔米特对称的且包含满足至少一个码字约束的经细分码本基元,如参考图5至13进一步描述。
出于说明的目的,片段/部分/窗口312(表示码字)展示为所发射光学图案310的一部分。片段/部分/窗口312可以第一距离投射到场景或对象306上或以第二距离投射到另一场景或对象308上。接收器装置304可通过接收器孔径捕获所投射光学图案310(作为所接收的光学图案311),如图所示。在图3的实施例中,展示所发射光学图案310与所接收光学图案311在同一传感器平面307上。
当场景或对象306靠近发射器装置302定位时(例如,距发射器装置第一距离),所投射片段312可出现在距其初始位置一距离d1处。当场景或对象308位于更远处(例如,距发射器装置第二距离)时,所投射片段/部分/窗口312可出现在距其初始位置一距离d2处(其中d2<d1)。即,对象距发射器/接收器越远,所接收的投射片段/部分/窗口在接收器装置304处距其原始位置越近(例如,传出投射与传入投射更为平行)。相反,对象距发射器/接收器越近,所接收的投射片段/部分/窗口在接收器装置304处距其原始位置越远。
因此,所接收与所发射码字位置之间的差可用于确定场景或对象的深度。在一个实例中,此类深度(例如,相对深度)可提供每一像素或成群像素的子集(例如,具有两个或多于两个像素的区域)的深度。
各种类型的调制及译码方案可用以产生光学图案。举例来说,此类调制及译码方案可包含(但不限于)时间译码、空间译码及直接编码。在时间译码中,图案可连续地投射到测量表面上(例如,随时间推移)。在空间译码中,可基于形状和图案在局部邻域中编码信息。伪随机代码可基于De Bruijn序列。或者,M阵列可定义码本(例如,多进制强度或色彩调制)。在直接编码中,可编码水平及垂直像素坐标两者,且单调相位调制或强度波形调制可用以产生光学图案。
图4说明发射器101的特定实施例。如图4中所展示,发射器101为经配置以发射光的装置,例如,说明性激光器430(例如,激光投影仪)。发射器101还可包含经配置以聚焦光的装置,例如,说明性透镜432(例如,单色滤波器)。在特定实施方案中,透镜432为准直透镜。发射器101还包含图1的DOE 190。虽然图4中未展示,但发射器101还可包含额外组件,例如,电源、激光器430的底座和/或散热片、透镜432的透镜支架、经配置以启用用户接口的现场可编程门阵列(FPGA)、处理器、存储器、控制器等。发射器101(例如,独立投影仪或投影系统)可并入到计算装置或其部分中作为移动电话或平板计算机的一部分等。
在一些实施方案中,发射器101可包含多个DOE,例如,第一DOE(例如,DOE190)及第二DOE。第一DOE可经配置以产生第一光学图案且第二DOE可经配置以产生第二光学图案。第一光学图案可为埃尔米特对称的和/或可包含经产生满足一或多个第一码字约束的第一经细分码本基元。另外或替代地,第二光学图案可为埃尔米特对称的和/或可包含经产生满足一或多个第二码字约束的第二经细分码本基元。第一光学图案可与第二光学图案不同。
发射器101的控制器可经配置以确定与一或多个环境和/或应用条件相关联的一或多个参数,例如,距对象的距离、光量、分辨率、帧速率、可用功率量等。基于一或多个参数,控制器可选择多个DOE中的一者以供发射器101使用。在一些实施方案中,发射器101可包含组件和/或电路以在物理上改变一或多个DOE的位置使得所选择DOE经定位以产生对应光学图案。在一些实施方案中,控制器可经配置以经由发射器101的用户接口接收指示多个DOE的特定DOE的选择的输入(例如,用户输入)。因此,控制器可响应于输入选择特定DOE。
在特定实施方案中,控制器包含处理器及存储器。存储器可包含可执行指令,所述可执行指令在由处理器执行时使得处理器确定与一或多个环境和/或应用条件相关联的一或多个参数。指令可进一步使得处理器基于一或多个参数选择多个DOE中的一者并启动激光器430通过所选DOE传递光。虽然多个DOE经描述为包含两个DOE,但在其它实施方案中,多个DOE可包含多于两个DOE,其中多个DOE的每一DOE与不同对应光学图案相关联。
在操作期间,激光器430可发射由透镜432聚焦到DOE 190上的光。可制造(例如,经由光刻蚀刻)DOE 190,使得当光通过DOE 190时,形成埃尔米特对称光学图案104(或图2的埃尔米特对称光学图案220)并将其投射到场景或对象106上。当接收器捕获场景或对象106及投射到其上的光学图案时,由于光学图案的埃尔米特对称性,所捕获场景或对象可没有重影图像。此外,因为光学图案为埃尔米特对称的,零阶光束(例如,穿过DOE 190而不发生衍射的激光)可较小且相较于由非埃尔米特对称图案产生的零阶光束可具有较低强度,其在场景或对象106对应于个人时可改善眼睛安全性。
图5说明经配置以产生满足一或多个码字约束的埃尔米特对称码本基元的装置500的特定实施例。在特定实施方案中,装置500对应于固定或便携式计算设备,例如,移动电话、平板计算机、服务器、台式计算机、膝上型计算机等。
装置500包含存储器510和一或多个处理器520。存储器510可存储可由处理器520执行以产生码本基元的指令511。码本基元可为具有埃尔米特对称性的经2D译码的图案。举例来说,图6说明埃尔米特对称的码本基元602的特定实施例。当且仅当码本基元的每一点(x,y)关于原点(例如,点(0,0))反射到也在码本基元中的点(-x,-y)时,码本基元可具有埃尔米特对称性。出于说明的目的,在图6中展示码本基元602的三个点A、B和C,连同在原点处相交的X和Y轴。还展示对应的反射点A'、B'和C'以说明埃尔米特对称性。
埃尔米特对称码本基元(例如,码本基元602)可通过装置500自动产生,以满足存储于存储器510中的一或多个码字约束512。一或多个码字约束512可为预编程的和/或经由用户输入接收或选择。一或多个码字约束512也可响应于用户输入或在装置500的操作期间以编程方式被修改。一或多个码字约束512可在一维(1D)位序列的产生和处理期间反复地应用。当识别出满足一或多个码字约束512中的每一者的特定对称且唯一的位序列时,所述位序列可用以产生码本基元。因为位序列为对称的,所以码本基元可为埃尔米特对称的。在特定实施方案中,码本基元可经细分以形成较大2D光学图案,例如,图1的光学图案104或图2的光学图案220。图7说明包含经细分码本基元702的此类光学图案700的实例,其中码本基元702为埃尔米特对称的且满足码字约束。可通过使光通过DOE(例如,图1的DOE 190)而产生光学图案700。举例来说,可制造DOE,使得当光通过DOE时,光学图案700通过DOE产生且经投射到场景上。说明一下,DOE的不同部分可具有不同厚度。进入DOE的聚焦光束可通过DOE散射,且由DOE输出的光场的不同部分可具有不同相位,所述相位可由结构化光接收器检测并经解调以确定码字,如参考图1至3所描述。参考图11进一步描述制造DOE的方法的说明性实施例。
当光学图案包含码本基元的细分时,光学图案可与细分因子相关联。细分因子可对应于码本基元在光学图案中细分(例如,重复)的次数。举例来说,图7的光学图案700的细分因子为9。
如与使用非埃尔米特对称码本基元或图案相比,使用埃尔米特对称码本基元(其用以形成埃尔米特对称光学图案)可提供若干益处。图8为说明使用埃尔米特对称码本基元/图案的特定益处的图。如802处所展示,因为图案具有埃尔米特对称性且沿X和Y轴两者“翻转”,所以可消除(例如,可不由接收器接收)产生干扰的重影图像。对比而言,非埃尔米特对称图案可导致重影图像,在804处以灰色展示。消除重影图像可简化接收器侧信号处理。当用于深度传感的光学图案为埃尔米特对称时,码字辨识和解调精确性可提高,对移动中的对象(例如,运动中的对象)的容限可增大,对噪音的容限可增大,对场景中的照明变化的容限可增大等。
当光(例如,激光)穿过DOE时,光的一部分可穿过DOE的中心而不发生衍射,从而产生零阶光束。因为零阶光束为非衍射的,所以零阶光束可具有比衍射光束高的强度。零阶光束可在光学图案的中心产生“盲点”,因为对于接收器来说,可能难以准确地辨识并解调为较高强度零阶光束饱和的码字。如与808处所展示的与非埃尔米特对称图案相关联的零阶光束相比,如806处所展示的与埃尔米特对称图案相关联的零阶光束可具有减小的大小。因此,埃尔米特对称图案可提供较小“盲点”。806处的零阶光束还可具有比808处的零阶光束低的强度。806处的零阶光束的更小大小和更低强度可改善结构化光深度传感系统中的眼睛安全性,例如,在所使用的光为激光或可伤害眼睛(例如,人眼)的另一类型的光的情况下。
图8还说明埃尔米特对称码本基元810的实例。值得注意的是,埃尔米特对称的码本基元本质上可为二进制的。即,码本基元中的码字可具有二进制值。当码本基元为二进制时,通过细分码本基元而产生的光学图案也是二进制的。此外,可使用单掩模过程形成经制造以产生光学图案的DOE,如参考图10进一步描述。单掩模过程可比用以制造用于非二进制图案的DOE的多掩模过程便宜。在820处展示非二进制图案的相位空间(例如,傅立叶域(Fourier domain))实例。确切地说,图案820为4相位图案,其中每一底纹色彩对应于不同相位。四个相位可对应于光穿过图案820的四个不同量。因此,与4相位图案820对比,埃尔米特对称码本基元810可为2相位图案。
虽然埃尔米特对称码本基元可提供某些益处,但并非所有埃尔米特对称码本基元可适合用于结构化光深度传感系统中。举例来说,尽管码本基元为埃尔米特对称的,但如果码本基元具有低能量,包含重复码字等,那么码本基元可为不合适的。根据本发明,通过在埃尔米特对称码本基元的产生期间应用一或多个码字约束512(例如,通过移除未能满足一或多个码字约束512的码字),所产生的码本基元可非常适合用于结构化光深度传感系统中。
在一些实施方案中,一或多个码字约束512可包含大小约束,或者被称作分辨率约束。说明一下,码字越小,可由结构化光深度传感系统检测的对象就越小。举例来说,为了结构化光深度传感系统能够检测并确定衬衫上的纽扣与衬衫面料之间的深度差,码字应不大于纽扣的大小。一或多个码字约束512还可包含对应于码本基元中的唯一码字的数目的码本基数约束。举例来说,唯一码字的数目可基于并入到结构化光深度传感系统的接收器装置中的相机的相机分辨率。
在其它实施方案中,一或多个码字约束512可包含空间表示约束。举例来说,空间表示约束可指示码本基元中的码字是否应使用一或多个点、一或多条线、一或多个网格、一些其它形状或其任何组合来表示。
一或多个码字约束512还可包含一或多个占空比约束。码字的“占空比”可对应于码字中经确证位或部分(例如,“1”)的数目与未经确证位/部分(例如,“0”)的数目的比率。当包含码字的经译码光图案投射到场景上时,具有“1”值的每一位可具有能量(例如,光能),而具有“0”值的每一位可不含能量。码字的占空比可因此表示码字的能级。为了码字更容易被检测,码字应具有充足能量。低能量码字可更难以检测且可更易受噪音影响。举例来说,如果低能量码字包含一个“1”和十五个“0”,那么相机可不接收与单个“1”值相关联的光能且可因此不能检测码字。此外,十五个“0”值中的一或多者可由于噪音而错误地解释为“1”值。因此,一或多个码字约束512可具有对应于具有1值的多个码字中的每一者中的位数与具有0值的多个码字中的每一者中的位数的最小比率的最小占空比约束。替代地或另外,一或多个码字约束512可具有对应于具有1值的多个码字中的每一者中的位数与具有0值的多个码字中的每一者中的位数的平均比率的平均占空比约束。图9中展示码字功率(例如,能量)分布的说明性、非限制性实例。图9的分布可对应于根据特定最小(或最大)和/或平均占空比约束产生的码本基元。在图9的实例中,所有码字具有至少50%的占空比,且几乎一半的码字具有60%至65%之间的占空比。
在其它实施方案中,一或多个码字约束512可包含轮廓分辨率约束,其指示当码字少量移位(例如,一位旋转)时,所得数据表示另一码字。码字移位的量可被称为移位量。高轮廓分辨率可使得结构化光深度传感系统能够辨识相对小的对象边界并且针对不同对象提供辨识连续性(例如,辨识并区分衬衫的纽扣与衬衫面料的能力)。
在其它实施方案中,一或多个码字约束512可包含混叠距离约束。混叠距离约束可对应于相同的两个码字之间的距离。当光学图案包含经细分码本基元时及当码本基元中的每一码字是唯一的时,混叠距离可基于码本基元的大小。混叠距离可因此表示唯一性规则,其指示码本基元的每一码字与码本基元的每一其它码字不同且码本基元作为整体为唯一的。此外,因为混叠距离对于接收器装置可为已知的,接收器装置可能够防止在码字解调期间混叠。
一或多个码字约束512还可包含空间基函数约束,或者被称作相位重排(phaseshuffling)约束。说明一下,当码字映射到空间符号时,所述符号可随机移位。此增加的随机性可使得发生在对象边界上的码字解调更容易,由此改善靠近对象边界的深度图精确性。
在另一个实施方案中,一或多个码字约束512可包含边界约束。举例来说,当码本基元的边界区域包含可辨识码字时,甚至当码本基元经细分以形成较大光学图案(例如,图7的光学图案700)时,可满足边界约束。
在操作期间,装置500可基于一或多个码字约束512产生埃尔米特对称码本基元。在图5中,将处理器520说明为包含位序列初始化模块521、码字约束检查模块522、位序列删余模块523、对称性验证模块524、唯一性验证模块525以及码本基元产生模块526。模块521至526中的每一者可对应于处理器520内的硬件(例如,现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、控制器、逻辑门等)、由处理器520执行的软件(例如,指令511)或其组合。模块521至526中的一或多者可按任何次序和/或反复地执行,如本文进一步描述。
位序列初始化模块521可经配置以初始化码本基元可从其产生的位序列。举例来说,可基于随机接种的De Bruijn序列来初始化位序列。替代地,可基于另一机制产生位序列。在特定实施方案中,位序列初始化模块521可初始化位序列,使得位序列满足一或多个码字约束512中的至少一些。
码字约束检查模块522可经配置以识别位序列(例如,由位序列初始化模块521初始化的位序列)中未能满足一或多个码字约束512中的至少一者的一或多个码字。位序列删余模块523可经配置以移除(例如,“删余”)由约束检查模块522识别为未能满足一或多个码字约束512中的至少一者的一或多个码字。作为实例,图10说明检查是否满足“最小占空比>=50%”约束。“最小占空比>=50%”约束为正测试的第K个约束(其中K为大于或等于1的整数)。在1002处,展示测试与第一序列“12314241321”相关联的第一图案的第一码字。码字为4×4网格,其中16分之8个位(即,>=50%的位)经确证,产生针对最小占空比约束检查的“通过(PASS)”结果。在1004处,展示测试与第二序列“12514241521”相关联的第二图案的第二码字。码字为4×4网格,其中16分之6个位(即,<50%的位)经确证,产生针对最小占空比约束检查的“未通过(FAIL)”结果。
对称性验证模块524可经配置以确定位序列(例如,由位序列删余模块523产生的经删余位序列)是否对称。当一维位序列对称时,从位序列产生的二维码本基元可具有埃尔米特对称。举例来说,对称性验证模块524可对位序列“成镜像”,以产生镜像位序列且可确定当位序列与镜像位序列相同时位序列为对称的。
唯一性验证模块525可经配置以确定位序列(例如,由对称性验证模块524确定为对称的位序列)是否满足唯一性规则。举例来说,唯一性验证模块525可确定包含于位序列中的码字中的每一者是否与包含于位序列中的每一其它码字不同,位序列是否作为整体为唯一的,或其组合。在特定实施方案中,唯一性验证模块525还可执行相位重排操作。但是,因为相位重排操作可引入或再引入未能满足一或多个码字约束512中的一者的码字,所以相位重排操作可接着是在码字约束检查模块522处重检查位序列。
码本基元产生模块526可基于特定位序列产生码本基元(例如,图6的码本基元602或图7的码本基元702)。举例来说,可反复地执行模块521至525中的一或多者,直到识别出对称的,满足一或多个码字约束512中的每一者且满足唯一性规则的特定位序列为止。在特定实施方案中,码本基元产生模块526可通过执行符号映射(例如,将位序列中的码字中的每一者映射到特定符号)和/或空间调制(例如,将符号中的每一者映射到特定2D图案,例如,点、线、网格等)而从特定位序列产生码本基元。
图5的装置500可因此可操作以自动地产生可经细分以形成光学图案的埃尔米特对称码本基元,所述光学图案例如是通过使光通过结构化光深度传感系统的DOE而产生的光学图案。光学图案可不含重影图像且可具有较小和较低强度的零阶光束。此外,因为码本基元产生符合一或多个各种码字约束,所以包含码本基元的光学图案可在结构化光深度传感系统处实现简化的信号处理和改善的性能。
使用图5的装置500产生满足一或多个码字约束的埃尔米特对称码本基元还可使得DOE的制造较便宜。举例来说,图11为制造DOE(例如,图1的DOE 190)的方法的说明性实施例的图。如本文中所描述,制造DOE 190以产生具有埃尔米特对称性的光学图案,例如,包含由图5的装置500产生的经细分码本基元的光学图案。
DOE 190可由单掩模光刻过程1100制造。出于比较的目的,还展示多掩模光刻过程1150。单掩模光刻过程1100可包含光阻沉积阶段1104,在此期间光敏材料可沉积到对应于DOE的基底层上。对于多掩模光刻过程,DOE可由玻璃形成。相比之下,因为光学图案为涉及单个蚀刻阶段的二进制图案,所以单掩模光刻过程1100中的DOE可由玻璃或除玻璃外的材料(例如,比玻璃更便宜的聚合物或其它光衍射材料)形成。
单掩模光刻过程1100还可包含对准及曝光阶段1106。在对准及曝光阶段1106期间,掩模1102可与光阻材料对准并放置(例如,沉积)在光阻材料上。掩模及光阻材料可接着暴露于光(例如,紫外光)。掩模1102可对应于由DOE产生的光学图案(例如,包含由图5的装置500产生且满足一或多个码字约束512的埃尔米特对称码本基元的光学图案)或可基于所述光学图案而产生。
单掩模光刻过程1100可进一步包含显影阶段1108。在显影阶段1108期间,可移除光阻材料的未掩蔽部分,如图所示。单掩模光刻过程1100可进一步包含蚀刻阶段1110。在蚀刻阶段1110期间,可移除底座的暴露部分(例如,经由电子束(e光束)蚀刻)。通过蚀刻DOE的不同部分以具有不同厚度(例如,如由相位映射确定),当光穿过DOE时,DOE中的折射率可变化以产生光学图案。
与单掩模光刻过程1100相对比,多掩模光刻过程1150可反复阶段1104至1110多次,每一阶段使用不同掩模1102。举例来说,为了制造可产生图8的4相位图案820的DOE,可执行阶段1104至1110三次或四次,其中每一次反复使用不同掩模。每一额外掩模可增添制造复杂性和成本。举例来说,当使用多个掩模时,每一掩模以高精确度(例如,大约几纳米(nm))对准,这可增加制造成本并限制可用以制造DOE的材料的类型。
因此,由单掩模光刻过程1100形成的DOE(例如,图1的DOE 190)的制造可比由多掩模光刻过程1150形成的DOE更便宜。
此外,因为DOE 190可为对应于二进制光学图案的相对简单的单掩模DOE,所以DOE190的性能可由计算机精确模拟。因此,可在制造之前模拟、测试和/或验证DOE 190。与需要在每一测试反复之后制造新的DOE(例如,更复杂的DOE可需要的)相比,基于计算机的测试和验证更快且更便宜。当DOE测试完成时,可将对应于码本基元的数据、包含码本基元的光学图案和/或掩模1102提供到制造系统,这可使用单掩模光刻过程1100快速地“冲压出”聚合DOE。
说明一下,在一些实施例中,计算机系统(例如,图5的装置500)可经配置以测试和/或验证新的DOE。计算机系统可包含处理器和耦合到处理器的存储器。举例来说,处理器和存储器可分别包含或对应于图5的一或多个处理器520和存储器510。存储器可包含可执行指令,所述可执行指令在由处理器执行时使得处理器执行一或多个操作。
当计算机系统包含或对应于图5的装置500时,指令可使得处理器产生定义埃尔米特对称码本基元的数据文件并将所述数据文件存储在与计算装置相关联的特定存储器处。特定存储器可为存储指令的相同存储器或不同存储器。在其它实施方案中,计算机系统可与图5的装置500不同且指令可使得处理器存取定义埃尔米特对称码本基元的数据文件并使用定义埃尔米特对称码本基元的数据文件来执行模拟。举例来说,计算机系统可存取来自与图5的装置500相关联的存储器的数据文件。另外,无论计算机系统是对应于装置500还是与装置500不同,指令都可进一步使得处理器基于模拟的结果来校验埃尔米特对称码本基元。举例来说,处理器可启动经由用户接口呈现指示(例如,消息),其指示埃尔米特对称码本基元是否通过模拟。
另外,因为DOE 190可为功率高效的(例如,由于较小零阶束)且制造起来便宜,所以DOE 190可非常适合并入到移动装置(例如,无线电话或平板计算机)中。快速及低成本制造DOE的能力还可提供额外益处。举例来说,结构化光深度传感系统可经配置以基于环境和/或应用条件动态地选择多个可用DOE中的一者。可在不同时间选择并使用不同DOE。举例来说,产生较高分辨率图案的DOE可以用于近距离深度传感且产生较低分辨率图案的DOE可以用于更远对象的深度传感。说明一下,如参考图4所描述,发射器101可包含多个DOE及经配置以选择多个DOE中的特定DOE的电路。
应注意,虽然各种实施例可在本文中描述为产生可见光学图案,但这并不视为限制性的。在替代实施例中,人类眼睛不可见的光学图案可以用于结构化光应用。举例来说,可使用红外线光学图案。
图12为在图5的装置500处操作的方法1200的特定实施例的流程图。方法1200包含在1202处接收至少一个码字约束。举例来说,在图5中,装置500可接收一或多个码字约束512。方法1200还包含在1204处初始化位序列。可基于随机接种的De Bruijn序列初始化位序列。举例来说,在图5中,位序列初始化模块521可初始化位序列。
方法1200进一步包含在1206处识别位序列中未能满足至少一个码字约束的一或多个码字。举例来说,在图5中,码字约束检查模块522可识别未能满足一或多个码字约束512中的至少一者的一或多个码字。方法1200包含在1208处将一或多个码字从位序列移除以产生删余位序列。举例来说,在图5中,位序列删余模块523可将一或多个码字从位序列移除以产生删余位序列。
方法1200还包含在1210处确定删余位序列是否对称。举例来说,在图5中,对称性验证模块524可验证删余位序列是否对称。当删余位序列不对称时,方法1200可返回至1204且可初始化新的位序列。当删余位序列对称时,方法1210包含在1212处确定删余位序列是否满足唯一性规则。举例来说,在图5中,唯一性验证模块525可验证删余位序列和/或包含于其中的码字的唯一性。唯一性验证模块525还可执行相位重排操作,如参考图5所描述。
当删余位序列不满足唯一性规则时,方法1200可返回至1204且可初始化新的位序列。当删余位序列满足唯一性规则时,方法1200包含在1214处基于删余位序列产生码本基元。举例来说,在图5中,码本基元产生模块526可经由符号映射和/或空间调制产生码本基元。码本基元的细分形成待由结构化光深度传感系统的DOE产生的光学图案。在说明性实施方案中,DOE为图1的DOE 190且根据图11的单掩模光刻过程1100而制造。
应注意,在替代实施方案中,方法1200的步骤中的一或多者可以不同次序执行和/或可执行多次。作为说明性非限制性实例,可多次执行码字约束检查,例如在位序列初始化之后和验证唯一性之后。也可使用产生码本基元的替代方法。举例来说,图13说明产生具有埃尔米特对称性且满足一或多个码字约束的经译码图案(例如,码本基元)的方法的替代实施例,如通常指定为1300。
如图13中所展示,序列产生器1310可接收初始化种子1301和一或多个代码参数1302。在一些实施方案中,一或多个代码参数可对应于可在位序列产生期间使用的码字约束512的子集。举例来说,码字大小可为用以确定产生位序列的长度的参数。可在1320处空间调制所产生的位序列,及在1330处相移所产生的位序列。可在1340处检查经空间调制及相移的位序列以验证是否满足一或多个码字约束1303。举例来说,一或多个码字约束1303可对应于未包含在一或多个代码参数1302中的一或多个码字约束512。在1350处,可验证位序列(或由此序列产生的2D图案)的对称性。如果满足码字约束1303和对称性要求,那么可产生输出图案1304。如果不满足码字约束1303或对称性要求中的至少一者,那么可在1360处产生新的种子值,且将其用于产生新的位序列。
本文所描述的各种方法(包含但不限于图10至13的方法)可由以下各者实施:现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、处理单元(例如,图形处理单元(GPU)、中央处理单元(CPU)、数字信号处理器(DSP))、控制器、另一硬件装置、固件装置或其任何组合。作为一实例,可由一或多个处理器执行此类方法,所述一或多个处理器执行自动产生满足码字约束的埃尔米特对称码本基元,制造经配置以衍射光以产生包含埃尔米特对称码本基元的光学图案的DOE等的指令。
参考图14,描绘无线通信装置1400的特定说明性实施例的框图。装置1400可包含图1的结构化光系统、图2的结构化光系统、图3的结构化光系统、图5的装置500中的一或多个组件或其任何组合。
装置1400包含一或多个处理器1410(例如,一或多个处理核心),例如,数字信号处理器(DSP)、图形处理器单元(GPU)和/或中央处理单元(CPU)。举例来说,一或多个处理器1410可包含或对应于图5的一或多个处理器520。一或多个处理器1410可耦合到存储器1432。举例来说,存储器1432可包含或对应于图5的存储器510。存储器1432包含指令1468(例如,可执行指令),例如,计算机可读指令或处理器可读指令。指令1468可包含可由计算机(例如,由一或多个处理器1410中的每一者)执行的一或多个指令。应注意,存储器1432包含物理装置且并非信号。
举例来说,一或多个指令可由一或多个处理器1410执行以使得一或多个处理器1410执行图12的方法、图13的方法中的全部或一部分或其组合。举例来说,存储器1432可包含指令,所述指令在由处理器1410执行时使得处理器执行包含识别位序列中未能满足至少一个码字约束的一或多个码字的操作。所述操作可进一步包含将一或多个码字从位序列移除以产生删余位序列并确定删余位序列是否对称。响应于确定删余位序列是对称的,所述操作还可包含至少部分地基于删余位序列产生埃尔米特对称码本基元。埃尔米特对称码本基元可用以形成结构化光深度传感系统的衍射光学元件(DOE)。
存储器1432还可存储码字约束1472(例如,图5的一或多个码字约束512、图13的一或多个代码参数1302和/或一或多个码字约束1303)。在图14中,处理器1410包含图案产生模块1470。图案产生模块1470可经配置以自动产生满足码字约束1472的埃尔米特对称码本基元。举例来说,图案产生模块1470可包含或对应于位序列初始化模块521、码字约束检查模块522、位序列删余模块523、对称性验证模块524、唯一性验证模块525、码本基元产生模块526或其组合,作为说明性非限制性实例。
图14还展示耦合到一或多个处理器1410及耦合到显示器1428的显示控制器1426。编码器/解码器(CODEC)1434也可耦合到一或多个处理器1410。扬声器1436和麦克风1438可以耦合到CODEC 1434。一或多个处理器1410也可耦合到结构化光发射器1480(例如,投影仪)及结构化光接收器1482(例如,相机)。举例来说,结构化光发射器1480可包含或对应于图1的发射器1010或图2的发射器202。接收器1482可包含或对应于图1的接收器108。结构化光发射器1480可包含图1的DOD 190。因此,在特定实施方案中,结构化光深度传感系统的发射器侧操作和接收器侧操作两者可并入到单个装置中。
图14还指示无线接口1440(例如无线控制器)可耦合到一或多个处理器1410及耦合到天线1442。在特定实施方案中,一或多个处理器1410、显示控制器1426、存储器1432、CODEC 1434和无线接口1440包含于系统级封装或芯片上系统装置1422中。在特定实施方案中,输入装置1430和电力供应器1444耦合到芯片上系统装置1422。此外,在一些实施方案中,显示器1428、输入装置1430、扬声器1436、麦克风1438、天线1442、结构化光发射器1480、结构化光接收器1482和/或电力供应器1444可在芯片上系统装置1422外部。但是,显示器1428、输入装置1430、扬声器1436、麦克风1438、天线1442、结构化光发射器1480、结构化光接收器1482和/或电力供应器1444中的每一者可耦合到芯片上系统装置1422的组件,例如,接口、控制器、发射器(例如,发射器电路)、接收器(例如,接收器电路)等。
所公开实施例中的一或多者可实施于可包含通信装置、固定位置数据单元、移动位置数据单元、移动电话、蜂窝式电话、卫星电话、计算机、平板计算机、便携式计算机或台式计算机的系统或设备(例如,装置1400)中。替代地或另外,装置1400可包含机顶盒、娱乐单元、导航装置、个人数字助理(PDA)、监视器、计算机监视器、电视、调谐器、无线电、卫星无线电、音乐播放器、数字音乐播放器、便携式音乐播放器、视频播放器、数字视频播放器、数字视频光盘(DVD)播放器、便携式数字视频播放器、存储或检索数据或计算机指令的任何其它装置或其组合。作为另一说明性非限制性实例,所述系统或设备可包含远程单元,例如移动电话、手持式个人通信系统(PCS)单元、如个人数据助理的便携式数据单元、具备全球定位系统(GPS)功能的装置、导航装置、如仪表读取设备的固定位置数据单元或存储或检索数据或计算机指令的任何其它装置或其任何组合。
本发明的实施例可合适用于包含集成电路的任何装置中,所述集成电路包含存储器、处理器及芯片上电路。虽然图1至14中的一或多者可以说明根据本发明的教示的系统、设备和/或方法,但本发明不限于这些所说明的系统、设备和/或方法。如本文所说明或所描述的图1至14中的任一者的一或多个功能或组件可与图1至14中的另一者的一或多个其它部分组合。因此,本文中所描述的单个实施例不应被解释为限制性的,且在不脱离本发明的教示的情况下,本发明的实施例可适当组合。
与所描述的实施例结合,公开了包含用于发射光的装置的设备。举例来说,用于发射的装置可包含:包含于发射器101中或耦合到发射器101的光源;包含于发射器202中或耦合到发射器202的光源;包含于发射器装置302中或耦合到发射器装置302的光源;激光器430;红外光源;经配置以发射光的一或多个其它结构、装置或电路;或其任何组合。
所述设备还可包含用于聚焦光的装置。举例来说,用于聚焦光的装置可包含:包含于发射器101中或耦合到发射器101的透镜;包含于发射器202中或耦合到发射器202的透镜;包含于发射器装置302中或耦合到发射器装置302的透镜;透镜432;准直透镜;经配置以聚焦光的一或多个其它结构、装置或电路;或其任何组合。
所述设备可以进一步包含用于衍射光以产生光学图案的装置。光学图案具有埃尔米特对称性且包含经产生以满足至少一个码字约束的经细分码本基元。举例来说,用于衍射的装置可包含:包含于发射器101中或耦合到发射器101的光学元件;包含于发射器202中或耦合到发射器202的光学元件;包含于发射器装置302中或耦合到发射器装置302的光学元件;DOE 190;经配置以衍射光以产生包含经产生满足至少一个码字约束的经细分码本基元的埃尔米特对称光学图案的一或多个其它结构、装置或电路;或其任何组合。
所属领域的技术人员将进一步了解,结合本文中所公开的实施例所描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由处理器执行的计算机软件或两者的组合。各种说明性组件、块、配置、模块、电路和步骤已在上文大体按其功能性来描述。所述功能性是实施为硬件还是处理器可执行指令取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同的方式实施所描述的功能性,但此类实施决策不应被解释为会引起偏离本发明的范围。
结合本文中所公开的实施例而描述的方法或算法的步骤可直接体现在硬件、由处理器执行的软件模块或所述两者的组合中。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移除式磁盘、压缩光盘只读存储器(CD-ROM)或本领域中已知的任何其它形式的非暂时性存储媒体中。示范性存储媒体经耦合到处理器,使得处理器可从存储媒体读取信息以及将信息写入到存储媒体。在替代方案中,存储媒体可以与处理器成一体。处理器和存储媒体可以驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中,处理器及存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所公开的实施例的先前描述以使得所属领域的技术人员能够制作或使用所公开的实施例。对于所属领域的技术人员来说,对这些实施例的各种修改将为易于显而易见的,且可在不偏离本发明的范围的情况下将本文中所定义的原理应用于其它实施例。因此,本发明并不希望限于本文中所展示的实施例,而是将赋予本发明与如由所附权利要求书定义的原理和新颖特征一致的可能的最广范围。

Claims (30)

1.一种方法,其包括:
在包括处理器的计算装置处识别位序列中未能满足至少一个码字约束的一或多个码字;
将所述一或多个码字从所述位序列移除以产生删余位序列;及
响应于确定所述删余位序列是对称的,至少部分地基于所述删余位序列产生埃尔米特对称码本基元,其中所述埃尔米特对称码本基元可用于形成结构化光深度传感系统的衍射光学元件DOE。
2.根据权利要求1所述的方法,其中所述埃尔米特对称码本基元包括经二维2D译码的图案。
3.根据权利要求2所述的方法,其中所述经2D译码的图案的每一点(x,y)关于所述经2D译码的图案的原点反射到所述经2D译码的图案的点(-x,-y)。
4.根据权利要求2所述的方法,其中所述经2D译码图案包括多个码字。
5.根据权利要求4所述的方法,其中所述至少一个码字约束包括对应于所述多个码字中的每一者中具有值1的位的数目与所述多个码字中的每一者中具有值0的位的数目的平均比率的平均占空比约束。
6.根据权利要求4所述的方法,其中所述至少一个码字约束包括对应于所述多个码字中的每一者中具有值1的位的数目与所述多个码字中的每一者中具有值0的位的数目的最小比率的最小占空比约束。
7.根据权利要求1所述的方法,其中所述至少一个码字约束包括大小约束。
8.根据权利要求1所述的方法,其中所述至少一个码字约束包括码本基数约束、空间表示约束、轮廓分辨率约束、混叠距离约束、相位重排约束、边界约束或其任何组合。
9.根据权利要求1所述的方法,其进一步包括反复地初始化位序列,删余所述位序列,及验证对称性直到识别出对称的且满足所述至少一个码字约束和唯一性规则的特定位序列为止。
10.根据权利要求9所述的方法,其进一步包括基于所述特定位序列产生所述埃尔米特对称码本基元。
11.根据权利要求1所述的方法,其中所述埃尔米特对称码本基元的细分形成待由所述结构化光深度传感系统的所述DOE产生的光学图案。
12.根据权利要求11所述的方法,其中所述光学图案为埃尔米特对称的。
13.根据权利要求1所述的方法,其中所述DOE是使用单掩模光刻过程制造的。
14.根据权利要求1所述的方法,其进一步包括:
产生定义所述埃尔米特对称码本基元的数据文件;及
将所述数据文件存储在与所述计算装置相关联的存储器处。
15.根据权利要求14所述的方法,其进一步包括:
使用定义所述埃尔米特对称码本基元的所述数据文件执行模拟;及
基于所述模拟的结果校验所述埃尔米特对称码本基元。
16.一种包括指令的非暂时性计算机可读媒体,所述指令在由计算机执行时使得所述计算机执行包括以下各者的操作:
识别位序列中未能满足至少一个码字约束的一或多个码字;
将所述一或多个码字从所述位序列移除以产生删余位序列;及
响应于确定所述删余位序列是对称的,至少部分地基于所述删余位序列产生埃尔米特对称码本基元,其中所述埃尔米特对称码本基元可用于形成结构化光深度传感系统的衍射光学元件DOE。
17.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括大小约束、平均占空比约束、最小占空比约束、码本基数约束、空间表示约束、轮廓分辨率约束、混叠距离约束、相位重排约束、边界约束或其任何组合。
18.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括一或多个占空比约束,其中所述一或多个占空比约束包括平均占空比约束、最小占空比约束、最大占空比约束或其组合。
19.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括码本基数约束,其中所述码本基数约束对应于所述埃尔米特对称码本基元中的唯一码字的数目。
20.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括空间表示约束,其中所述空间表示约束指示所述埃尔米特对称码本基元将使用一或多个点、一或多条线、一或多个网格或其组合来表示。
21.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括轮廓分辨率约束,其中所述轮廓分辨率约束指示与所述埃尔米特对称码本基元的码字相关联的移位量,其中当所述码字经移位达所述移位量时,所述码字表示所述埃尔米特对称码本基元的另一码字。
22.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括混叠距离约束,其中所述混叠距离约束与所述埃尔米特对称码本基元的两个码字之间的距离相关联,且其中所述两个码字为相同的。
23.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括相位重排约束,其中所述相位重排约束与将所述埃尔米特对称码本基元的一或多个码字映射到空间符号相关联。
24.根据权利要求16所述的非暂时性计算机可读媒体,其中所述至少一个码字约束包括边界约束,其中所述边界约束与在所述埃尔米特对称码本基元的边界区域处可辨识的所述埃尔米特对称码本基元的一或多个码字相关联。
25.一种设备,其包括:
检测模块,其经配置以识别位序列中未能满足至少一个码字约束的一或多个码字;
删余模块,其经配置以将所述一或多个码字从所述位序列移除以产生删余位序列;以及
产生模块,其经配置以至少部分地基于所述删余位序列而产生埃尔米特对称码本基元,其中所述埃尔米特对称码本基元可用于形成衍射光学元件。
26.根据权利要求25所述的设备,其中所述衍射光学元件是基于光学图案使用单掩模光刻过程制造的。
27.根据权利要求25所述的设备,其中所述埃尔米特对称码本基元经配置以形成待由结构化光深度传感系统的所述衍射光学元件产生的光学图案。
28.根据权利要求25所述的设备,其中所述至少一个码字约束包括分辨率约束、空间表示约束、码字占空比、轮廓分辨率约束、混叠距离约束、空间基函数约束或码字边界约束中的一者。
29.一种设备,其包括:
用于识别位序列中未能满足至少一个码字约束的一或多个码字的装置;
用于将所述一或多个码字从所述位序列移除以产生删余位序列的装置;及
用于至少部分地基于所述删余位序列产生埃尔米特对称码本基元的装置,其中所述埃尔米特对称码本基元可用于形成结构化光深度传感系统的衍射光学元件。
30.根据权利要求29所述的设备,其中所述至少一个码字约束包括分辨率约束、空间表示约束、码字占空比、轮廓分辨率约束、混叠距离约束、空间基函数约束或码字边界约束中的一者。
CN201580029415.4A 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案 Active CN106415604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810420429.4A CN108764227A (zh) 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015349P 2014-06-20 2014-06-20
US62/015,349 2014-06-20
US14/491,521 US9558436B2 (en) 2014-06-20 2014-09-19 Coded light pattern having hermitian symmetry
US14/491,521 2014-09-19
PCT/US2015/033531 WO2015195309A1 (en) 2014-06-20 2015-06-01 Coded light pattern having hermitian symmetry

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810420429.4A Division CN108764227A (zh) 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案

Publications (2)

Publication Number Publication Date
CN106415604A CN106415604A (zh) 2017-02-15
CN106415604B true CN106415604B (zh) 2018-06-01

Family

ID=54869962

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810420429.4A Pending CN108764227A (zh) 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案
CN201580029415.4A Active CN106415604B (zh) 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810420429.4A Pending CN108764227A (zh) 2014-06-20 2015-06-01 具有埃尔米特对称性的经译码光图案

Country Status (7)

Country Link
US (2) US9558436B2 (zh)
EP (1) EP3158504B1 (zh)
JP (1) JP6224276B2 (zh)
KR (1) KR101781775B1 (zh)
CN (2) CN108764227A (zh)
CA (1) CA2952420C (zh)
WO (1) WO2015195309A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558436B2 (en) 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US10185906B2 (en) * 2016-04-26 2019-01-22 Hand Held Products, Inc. Indicia reading device and methods for decoding decodable indicia employing stereoscopic imaging
US20180007045A1 (en) * 2016-06-30 2018-01-04 Mehdi Arashmid Akhavain Mohammadi Secure coding and modulation for optical transport
JP6319395B2 (ja) * 2016-10-14 2018-05-09 オムロン株式会社 3次元測定装置および3次元測定方法
CN108181777A (zh) * 2018-02-27 2018-06-19 广东欧珀移动通信有限公司 激光投射模组、深度相机及电子装置
US11006094B2 (en) * 2018-08-02 2021-05-11 Himax Technologies Limited Depth sensing apparatus and operation method thereof
US11543696B2 (en) * 2019-07-18 2023-01-03 Himax Technologies Limited Optical surface mapping system
US11852439B2 (en) * 2021-11-24 2023-12-26 Wrap Technologies, Inc. Systems and methods for generating optical beam arrays

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7763841B1 (en) * 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102193295A (zh) * 2010-02-02 2011-09-21 普莱姆森斯有限公司 用于光学投影的集成光子学模块

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215620A (ja) 2000-02-07 2001-08-10 Mitsubishi Electric Corp 赤外線プロジェクタ
US7900836B2 (en) * 2002-08-20 2011-03-08 Illumina, Inc. Optical reader system for substrates having an optically readable code
US7391524B1 (en) * 2004-09-13 2008-06-24 N&K Technology, Inc. System and method for efficient characterization of diffracting structures with incident plane parallel to grating lines
US8142023B2 (en) 2007-12-21 2012-03-27 Honda Motor Co., Ltd. Optimized projection pattern for long-range depth sensing
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
WO2012125706A2 (en) * 2011-03-15 2012-09-20 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
US9188433B2 (en) * 2012-05-24 2015-11-17 Qualcomm Incorporated Code in affine-invariant spatial mask
EP2728305B1 (de) * 2012-10-31 2016-06-29 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren und Lichtmuster zum Messen der Höhe oder des Höhenverlaufs eines Objekts
US9558436B2 (en) 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7763841B1 (en) * 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102193295A (zh) * 2010-02-02 2011-09-21 普莱姆森斯有限公司 用于光学投影的集成光子学模块

Also Published As

Publication number Publication date
JP6224276B2 (ja) 2017-11-01
KR20170020787A (ko) 2017-02-24
EP3158504B1 (en) 2024-04-03
US9558436B2 (en) 2017-01-31
US20150371434A1 (en) 2015-12-24
CA2952420C (en) 2022-07-19
US20150371127A1 (en) 2015-12-24
CA2952420A1 (en) 2015-12-23
US9536186B2 (en) 2017-01-03
CN108764227A (zh) 2018-11-06
JP2017529579A (ja) 2017-10-05
WO2015195309A1 (en) 2015-12-23
CN106415604A (zh) 2017-02-15
KR101781775B1 (ko) 2017-09-25
EP3158504A1 (en) 2017-04-26
BR112016029616A2 (pt) 2017-08-22

Similar Documents

Publication Publication Date Title
CN106415604B (zh) 具有埃尔米特对称性的经译码光图案
JP6766102B2 (ja) コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ
CN103875004B (zh) 动态选择真实世界中的表面以用于在上面投影信息
JP6416083B2 (ja) アフィン不変空間マスクにおけるコードの設計
US9530215B2 (en) Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
CN107250721B (zh) 用于结构光中的误差校正的系统及方法
CN110998658A (zh) 利用结构化光和泛光的深度图
EP3489856A1 (en) Method and system for recognizing location information in two-dimensional code
CN104050656A (zh) 用于确定图像中对象深度的设备和技术
US8917317B1 (en) System and method for camera calibration
CN107408306B (zh) 一种产生对象的深度图信息的方法、设备及可读介质
WO2017109918A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN116157652A (zh) 为主动深度感测解码图像以应对光学失真
US10489933B2 (en) Method for modelling an image device, corresponding computer program product and computer-readable carrier medium
WO2015198148A2 (en) Active triangulation calibration
US20210264625A1 (en) Structured light code overlay
CN110276810A (zh) 一种结构光散斑编码图案的生成方法
Li et al. Maximum a posteriori-based depth sensing with a single-shot maze pattern
BR112016029616B1 (pt) Padrão de luz codificada tendo simetria par

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant