CN114089348A - 结构光投射器、结构光系统以及深度计算方法 - Google Patents

结构光投射器、结构光系统以及深度计算方法 Download PDF

Info

Publication number
CN114089348A
CN114089348A CN202111351395.6A CN202111351395A CN114089348A CN 114089348 A CN114089348 A CN 114089348A CN 202111351395 A CN202111351395 A CN 202111351395A CN 114089348 A CN114089348 A CN 114089348A
Authority
CN
China
Prior art keywords
structured light
depth
depth image
laser
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111351395.6A
Other languages
English (en)
Inventor
高岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202111351395.6A priority Critical patent/CN114089348A/zh
Publication of CN114089348A publication Critical patent/CN114089348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Projection Apparatus (AREA)

Abstract

本说明书提供的结构光投射器、结构光系统以及深度计算方法，通过定制超表面透镜的衍射单元的尺寸以及排列角度，使超表面透镜能够同时适用于两种或两种以上不同波长的激光，使两种波长的激光投射出两种不同的结构光图案，从而使结构光投射器可以适用于更广泛的应用场景。所述结构光系统以及深度计算方法可以根据使用场景中目标物体上的散斑在目标物体所占面积的比例，从两种波长对应的两种深度图像中选择至少一种，用于计算目标物体的深度信息，从而提高深度计算的精度。

Description

结构光投射器、结构光系统以及深度计算方法
技术领域
本说明书涉及深度相机技术领域，尤其涉及一种结构光投射器、结构光系统以及深度计算方法。
背景技术
基于结构光原理的距离测量是一种重要的深度测量手段，可以对目标进行距离测量以获取包含目标深度值的深度图像。随着科技的发展，基于结构光原理的距离测量越来越多的应用到各个领域，比如，三维重建领域、人脸识别领域、人机交互领域、消费电子领域、无人架驶领域、AR/VR领域，等等。目前的结构光方案一般为通过激光发射器发射光束，光束通过光学衍射元件(Difractive Optical Element，简称DOE)形成一种特定的结构光图案，比如散斑图案等；结构光图案经过目标物体(比如人手或人脸等)的反射发生形变，形变后的图案被图像传感器所接收，计算机对图像传感器接收的图案进行处理并利用三角法获取目标物体与激光发射器的距离。
但是，现有的结构光方案中，DOE元件的结构设计需与激光发射器发射的激光的波长相匹配，当激光的波长确定时，使用DOE元件仅能投射一种固定的结构光图案。当使用不同波长的激光时，已有的DOE元件可能无法投射出清晰的结构光图案。因此，现有的结构光方案仅适用于最优设计距离。以人脸识别为例，对于固定散斑图案，随着目标物体与结构光系统的距离增加，人脸所占面积减小，人脸上散斑点的数量随距离的增加会逐渐减少，同时每个散斑占人脸面积的相对面积比例增加。这样会造成人脸精度分辨率的下降。而且，现有的结构光方案只能选取一种激光波长。单一波长使得使用场景受到限制或存在额外功耗。
因此，需要提供一种能够支持多种波长并且能投射出多种不同的结构光图案的结构光投射器、结构光系统以及深度计算方法，以拓展使用场景，并提高深度计算结果。
发明内容
本说明书提供一种能够支持多种波长并且能投射出多种不同的结构光图案的结构光投射器、结构光系统以及深度计算方法。
第一方面，本说明书提供一种结构光投射器，包括激光组件以及超表面透镜，所述激光组件包括第一激光器以及第二激光器，所述第一激光器运行时发射第一波长的第一激光；所述第二激光器运行时发射第二波长的第二激光，所述第一波长大于所述第二波长；所述超表面透镜包括入光侧和出光侧，所述入光侧与所述激光组件相对，所述出光侧包括各向异性的超构表面，所述第一激光从所述入光侧射入所述超表面透镜，并从所述出光侧射出形成第一结构光图案，所述第二激光从所述入光侧射入所述超表面透镜，并从所述出光侧射出，形成第二结构光图案，所述第一结构光图案的散斑密度小于所述第二结构光图案的散斑密度。
在一些实施例中，所述第一激光为沿第一方向振动的线偏振光，所述第二激光为沿第二方向振动的线偏振光，其中，所述第一方向与所述第二方向呈预设夹角，所述预设夹角大于0，以使所述超表面透镜对所述第一激光与所述第二激光进行不同的相位调控，从而使所述第一结构光图案不同于所述第二结构光图案。
在一些实施例中，所述预设夹角为直角。
在一些实施例中，所述超表面透镜还包括透镜基底，所述透镜基底包括入射面和出射面，所述入射面位于所述入光侧，所述出射面位于所述出光侧，所述超构表面形成在所述透镜基底的所述出射面；所述超构表面包括多个衍射单元，由不同长宽比的亚波长尺度的纳米微柱以预定的方式和距离排列，其中，所述多个衍射单元中的每个衍射单元的尺寸以及旋转角度是基于所述第一波长对应的第一相位分布、所述第二波长对应的第二相位分布、当前衍射单元的位置以及所述预设夹角确定的。
在一些实施例中，所述超表面透镜还包括电介质弹性体，位于所述透镜基底的所述入射面，当所述电介质弹性体受到电压驱动时，所述电介质弹性体变形带动所述透镜基底形变，所述多个衍射单元发生位移，通过控制所述电压的大小，控制所述透镜基底的形变，从而控制所述多个衍射单元的位移变化，使所述薄膜变焦透镜的所述焦点在所述预定范围内移动。
在一些实施例中，所述结构光投射器还包括转折部件，位于所述激光组件与所述超表面透镜之间，对所述第一激光与所述第二激光进行转折，使所述第一激光与所述第二激光穿过所述转折部件后垂直射入所述超表面透镜。
第二方面，本说明书还提供一种结构光系统，包括本说明书第一方面所述的结构光投射器、图像传感器以及计算装置，所述结构光投射器运行时向目标视场投射结构光图案，所述结构光图案包括所述第一结构光图案或所述第二结构光图案；所述图像传感器，运行时采集所述目标视场的深度图像，所述深度图像包括所述结构光图案投射在目标物体上形成的图像；所述计算装置运行时与所述结构光投射器以及所述图像传感器通信连接，控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，基于所述深度图像计算所述目标物体的目标深度信息。
在一些实施例中，所述控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，包括：控制所述结构光投射器开启所述第一激光器，向所述目标视场内投射所述第一结构光图案；以及接收所述图像传感器采集的第一深度图像，所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第一深度图像；确定所述第一深度图像中所述目标物体对应的深度信息缺失比例，所述深度信息缺失比例包括所述第一深度图像中所述目标物体上不包含所述第一结构光图案的面积与所述目标物体总面积的比例；基于所述深度信息缺失比例，控制所述结构光投射器。
在一些实施例中，所述基于所述深度信息缺失比例，控制所述结构光投射器，包括：确定所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内，控制所述结构光投射器开启所述第二激光器，向所述目标视场内投射所述第二结构光图案，并接收所述图像传感器采集的第二深度图像，所述第二深度图像包括所述第二结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第二深度图像；或者确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，控制所述结构光投射器关闭。
在一些实施例中，所述基于所述深度图像计算所述目标物体的目标深度信息，包括以下情况中的一种：确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，基于所述第一深度图像确定所述目标深度信息；确定所述深度信息缺失比例超过所述阈值范围，基于所述第二深度图像确定所述目标深度信息；以及确定所述深度信息缺失比例在所述阈值范围内，基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息。
在一些实施例中，所述基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息，包括：基于所述第一深度图像确定所述目标物体的第一深度信息；基于所述第二深度图像确定所述目标物体的第二深度信息；以及对所述第一深度信息和所述第二深度信息进行融合处理，确定所述目标深度信息。
第三方面，本说明书还提供一种深度计算方法，用于本说明书第二方面所述的结构光系统，所述深度计算方法包括通过所述计算装置执行：控制所述结构光投射器投射的所述结构光图案并接收所述深度图像；以及基于所述深度图像计算所述目标物体的目标深度信息。
在一些实施例中，所述控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，包括：控制所述结构光投射器开启所述第一激光器，向所述目标视场内投射所述第一结构光图案；以及接收所述图像传感器采集的第一深度图像，所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第一深度图像；确定所述第一深度图像中所述目标物体对应的深度信息缺失比例，所述深度信息缺失比例包括所述第一深度图像中所述目标物体上不包含所述第一结构光图案的面积与所述目标物体总面积的比例；基于所述深度信息缺失比例，控制所述结构光投射器。
在一些实施例中，所述基于所述深度信息缺失比例，控制所述结构光投射器，包括：确定所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内，控制所述结构光投射器开启所述第二激光器，向所述目标视场内投射所述第二结构光图案，并接收所述图像传感器采集的第二深度图像，所述第二深度图像包括所述第二结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第二深度图像；或者确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，控制所述结构光投射器关闭。
在一些实施例中，所述基于所述深度图像计算所述目标物体的目标深度信息，包括以下情况中的一种：确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，基于所述第一深度图像确定所述目标深度信息；确定所述深度信息缺失比例超过所述阈值范围，基于所述第二深度图像确定所述目标深度信息；以及确定所述深度信息缺失比例在所述阈值范围内，基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息。
在一些实施例中，所述基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息，包括：基于所述第一深度图像确定所述目标物体的第一深度信息；基于所述第二深度图像确定所述目标物体的第二深度信息；以及对所述第一深度信息和所述第二深度信息进行融合处理，确定所述目标深度信息。
由以上技术方案可知，本说明书提供的结构光投射器、结构光系统以及深度计算方法，通过定制超表面透镜的衍射单元的尺寸以及排列角度，使超表面透镜能够同时适用于两种或两种以上不同波长的激光，使两种波长的激光投射出两种不同的结构光图案，从而使结构光投射器可以适用于更广泛的应用场景。所述结构光系统以及深度计算方法可以根据使用场景中目标物体上的散斑在目标物体所占面积的比例，从两种波长对应的两种深度图像中选择至少一种，用于计算目标物体的深度信息，从而提高深度计算的精度。
本说明书提供的结构光投射器、结构光系统以及深度计算方法的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的结构光投射器、结构光系统以及深度计算方法的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种结构光投射器的结构示意图；
图2示出了根据本说明书的实施例提供的一种超表面透镜的结构示意图；
图3示出了根据本说明书的实施例提供的一种衍射单元的结构示意图；
图4示出了根据本说明书的实施例提供的另一种衍射单元的结构示意图；
图5示出了根据本说明书的实施例提供的一种结构光系统的结构示意图；
图6示出了根据本说明书的实施例提供的一种计算装置的设备示意图；以及
图7示出了根据本说明书的实施例提供的一种深度计算方法流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
现有的结构光方案中，为了使经过DOE元件衍射后的光束能在成像平面聚焦，DOE元件的结构设计需与激光发射器发射的激光的波长相匹配。当焦距以及激光的波长确定时，DOE元件中各个衍射单元对应的相位分布也确定了，因此，经过DOE元件衍射后的光束只能投射出一种固定的结构光图案。当激光发射器发射的激光的波长改变时，使激光在成像平面成像所需的相位分布也相应发生改变，此时，已有的DOE元件所形成的相位分布已无法满足新的激光，可能无法使新的激光在成像平面呈现清晰的图像。
本说明书提供一种结构光投射器，通过定制超表面透镜的衍射单元的尺寸以及排列角度，使超表面透镜能够同时适用于两种或两种以上不同波长的激光，使两种波长的激光投射出两种不同的结构光图案，从而使结构光投射器可以适用于更广泛的应用场景。
图1示出了根据本说明书的实施例提供的一种结构光投射器100的结构示意图。结构光投射器100可以用于向外投射结构光图案，以用于深度信息的计算。结构光投射器100可以应用于任意需要进行深度计算或距离测量的场景。比如，三维重建场景、人脸识别场景、人机交互场景、消费电子场景、无人架驶场景、AR/VR场景，等等。为了方便展示，后面的描述中我们将以结构光投射器100应用于人脸识别场景为例进行描述。本领域技术人员应当明白，结构光投射器100应用于其他场景也在本说明书的保护范围内。结构光投射器100可以包括激光组件120以及超表面透镜140。在一些实施例中，结构光投射器100还可以包括转折部件160。在一些实施例中，结构光投射器100还可以包括基座(图1中未示出)。
所述基座为激光组件120、超表面透镜140以及转折部件160的安装部件。激光组件120、超表面透镜140以及转折部件160可以安装在所述基座上。
激光组件120可以向外发射激光。所述激光可以是任意形式的电磁波。在一些实施例中，所述激光可以是可见光。在一些实施例中，所述激光可以是非可见光，比如，红外光、近红外光，等等。由于用户看不到不可见光，因此不可见光可以做到无感探测。为了方便展示，我们将以激光组件120向外发射不可见光(比如近红外光)为例进行描述。激光组件120可以发射多种不同波长的激光。在一些实施例中，激光组件120可以发射两种不同波长的激光。在一些实施例中，激光组件120可以发射两种以上不同波长的激光。本领域技术人员应当明白，两种或两种以上不同波长的激光只是数量上的差别，其结构光发射器100的设计方法都是一样的。本说明书中将以激光组件120可以发射两种不同波长的激光为例进行描述。本领域技术人员应当明白，激光组件120可以发射两种以上不同波长的激光也在本说明书的保护范围内。
激光组件120可以包括第一激光器121和第二激光器122。第一激光器121运行时可以发射第一波长的第一激光。第二激光器122运行时可以发射第二波长的第二激光。其中，第一波长不同于第二波长。为了方便描述，我们以所述第一波长大于所述第二波长为例进行描述。在人脸识别场景中，常用的红外波长有850nm和940nm两种。其中，在光照强度较低的场景中，比如室内，850nm的红外光的光电转化比相较于940nm更高，反射率也更高。在光照强度较高的场景中，比如室外，940nm的红外光的抗干扰能力相较于850nm更高。为了方便描述，在本说明书中我们以第一波长λ1＝940nm，第二波长λ2＝850nm为例进行描述。本领域技术人员应当明白，第一波长λ1和第二波长λ2为其他长度时也在本说明书的保护范围内。
所述第一激光可以是沿第一方向振动的线偏振光。所述第二激光可以是沿第二方向振动的线偏振光。其中，所述第一方向与所述第二方向不平行。所述第一方向可以与所述第二方向呈预设夹角。所述预设夹角为大于0角。在一些实施例中，所述预设夹角可以是锐角。在一些实施例中，所述预设夹角可以是直角，即所述第一激光与所述第二激光为正交偏振光。
在一些实施例中，第一激光器121可以包括第一激光发射器121-1和第一准直器121-2。第一激光发射器121-1可以用于发射所述第一激光。第一准直器121-2可以位于第一激光发射器121-1的出光侧，并对第一激光发射器121-1发射的第一激光进行准直，使穿过第一准直器121-2的所述第一激光为平行光。
在一些实施例中，第二激光器122可以包括第二激光发射器122-1和第二准直器122-2。第二激光发射器122-1可以用于发射所述第二激光。第二准直器122-2可以位于第二激光发射器122-1的出光侧，并对第二激光发射器122-1发射的第二激光进行准直，使穿过第二准直器122-2的所述第二激光为平行光。
第一激光器121和第二激光器122可以以任意的相对位置进行安装。在一些实施例中，第一激光器121和第二激光器122可以平行安装。在一些实施例中，第一激光器121和第二激光器122可以呈一定的角度安装，比如呈90°正交安装。在一些实施例中，第一激光器121和第二激光器122可以还可以相对安装。第一激光器121和第二激光器122中第一激光和第二激光的光的传播方向可以相同也可以不同。激光投射器100可以通过转折部件160对第一激光和/或第二激光的传播方向进行调整，使第一激光和第二激光可以沿垂直于超表面透镜140的方向进行传播，并射入超表面透镜140。
转折部件160可以位于激光组件120和超表面透镜140之间。转折部件160可以对所述第一激光与所述第二激光进行转折，改变所述第一激光和所述第二激光的光路，使所述第一激光与所述第二激光穿过所述转折部件160后可以垂直射入超表面透镜140。转折部件160可以是任意形式的可以改变光路的传播方向。在一些实施例中，转折部件160可以是转折棱镜。在一些实施例中，转折部件160可以是多种转折棱镜的组合。在一些实施例中，转折部件160可以是反射装置的组合。在一些实施例中，转折部件160可以是折射装置的组合。
超表面透镜140可以位于激光组件120和转折部件160出射激光的一侧。经激光组件120和转折部件160射出的第一激光或第二激光可以穿过超表面透镜140。其中，超表面透镜140可以对射入其中的所述第一激光和所述第二激光进行相位调控，使其在焦点所在的成像平面呈现清晰的结构光图案。超表面透镜140可以包括入光侧141和出光侧142。入光侧141可以与激光组件120相对。出光侧142可以与入光侧141相对，位于远离激光组件120的一侧。所述第一激光或所述第二激光从入光侧141射入，并从出光侧142射出。超表面透镜140用于对从超表面透镜140的入光侧141射入的所述第一激光或所述第二激光进行折射和衍射，使得从出光侧142射出的光线射向成像平面，并在超表面透镜140的焦点汇聚，形成由散斑图案构成的结构光图案。具体地，所述第一激光穿过超表面透镜140射出后可以在成像平面形成清晰的第一结构光图案。所述第二激光穿过超表面透镜140射出后可以在所述成像平面形成清晰的第二结构光图案。所述结构光图案可以是所述第一结构光图案，也可以是所述第二结构光图案。其中，所述成像平面可以是位于焦点所在的垂直于中心光路的平面，所述成像平面也可以是包含所述焦点在内的垂直于中心光路的景深范围内的任意平面。
由于所述第一激光的第一波长λ1不同于所述第二激光的第二波长λ2，因此，所述第一结构光图案不同于所述第二结构光图案。散斑图案的整体发散角与入射波长成正比。即入射波长越长，散斑图案的整体发散角越大。同时，散斑图案的散斑数量与入射波长呈反比。即入射波长越段，波长对应的光电转换效率越高，其对应的散斑图案的散斑数量越多。由于第一波长λ1大于第二波长λ2，因此所述第一结构光图案的散斑发散角大于所述第二结构光图案的散斑发散角，并且所述第一结构光图案的散斑数量小于所述第二结构光图案的散斑数量。由此可知，所述第一结构光图案的散斑密度小于所述第二结构光图案的散斑密度。也就是说，当目标物体处于超表面透镜140的焦距允许的景深范围内时，所述第一结构光图案在所述目标物体表面形成的散斑数量小于所述第二结构光图案在所述目标物体表面形成的散斑数量。也就是说，在超表面透镜140的焦距允许的景深范围内，所述目标物体距离超表面透镜140的距离越远，目标物体上的散斑数量越少，单个散斑所占目标物体的面积比越大，深度测量的精度越低。因此，所述第一结构光图案适用于近距离的深度信息测量，所述第二结构光图案适用于远距离的深度信息测量。
如图1所示，超表面透镜140可以包括透镜基底144和超构表面146。在一些实施例中，超表面透镜还可以包括电介质弹性体148。
透镜基底144可以由透明的薄膜状材料制成。透镜基底144可以是均匀厚度层。透镜基底144的材料包括但不限于氧化硅，单晶硅，氮化硅，氮氧化硅。透镜基底144可以是超构表面146的载体。透镜基底144可以在外力刺激下发生形变，从而改变超构表面146的排列规则，进而改变超表面透镜140的焦距。透镜基底144可以包括入射面144-1和出射面144-2。入射面144-1面向入光侧141，出射面144-2面向出光侧142。
超构表面146可以是各向异性的超构表面。各向异性是指超构表面146的全部或部分化学、物理等性质随着方向的改变而有所变化，在不同的方向上呈现出差异的性质。比如，超构表面146在正交方向上的折射或衍射性质存在差异。各向异性是材料和介质中常见的性质，在尺度上有很大差异，从晶体到日常生活中各种材料，再到地球介质，都具有各向异性。超构表面146可以设置在出光侧142。具体地，超构表面146可以形成在透镜基体144的出射面144-2上。
图2示出了根据本说明书的实施例提供的一种超表面透镜140的结构示意图。图2为图1的俯视图。如图2所示，O-XY为超表面透镜140的坐标系。其中，圆点O为超表面透镜140的几何中心。图2中所示的超表面透镜140为长方形。本领域技术人员应当明白，其他形状的超表面透镜140也在本说明书的保护范围内。如图2所示，超构表面146设置在透镜基体144的出射面144-2上。超构表面146的材料包括但不限于硅，氮化硅，氧化硅，氮氧化硅，超构表面146材料的折射率高于透镜基底144。超构表面146可以包括多个衍射单元146-1。多个衍射单元146-1可以是由不同长宽比的亚波长尺度的纳米微柱以预定的方式和距离排列所构成的周期性阵列。具体地，多个衍射单元146-1中每个衍射单元146-1对应的几何中心按照预设的距离排列，形成预设的阵列。所述阵列可以是圆形阵列，也可以是环形阵列，还可以是矩形阵列，等等。所述阵列可以是均匀阵列，也可以是非均匀阵列。所述阵列中相邻衍射单元146-1的几何中心的距离可以一致也可以不一致。每个衍射单元146-1的几何中心的位置坐标已预先存储在其他计算装置中，比如后面描述的计算装置300。
多个衍射单元146-1可以对所述第一激光和所述第二激光进行相位调控，使所述第一激光或所述第二激光从入光侧141经过多个衍射单元146-1射入，从出光侧142射出，并在超表面透镜140的焦点汇聚。当超表面透镜140的焦距确定时，波长对应的相位分布只与波长以及衍射单元146-1的位置有关。当衍射单元146-1的位置也确定时，波长对应的相位分布只与波长有关。所述相位分布可以是超构表面146中的每个衍射单元146-1对入射光的相位调控。在一些实施例中，所述相位分布也可以是超构表面146中的每个衍射单元146-1对应的出射光与入射光之间的相位差。不同位置的衍射单元146-1对应的相位分布可以是不同的。同样的，不同位置的衍射单元146-1对应的形状和尺寸也可以是不同的。通过调整超构表面146中不同位置处衍射单元146-1的尺寸和旋转角度，可实现特定的相位分布。如前所述，衍射单元146-1可以是各向异性的纳米微柱体。衍射单元146-1的形状可以是任意的各向异性的形状，比如长方体、椭圆柱体、棱柱体，甚至其他不规则形状等。由于所述第一激光的第一波长λ1不同于所述第二激光的第二波长λ2，因此，在相同焦距下，第一激光和第二激光对应的相位分布是不同的。在设计超表面透镜140时需要对每个衍射单元146-1的结构进行定制，使其同时满足对第一激光和第二激光的相位调控。具体地，所述多个衍射单元146-1中的每个衍射单元146-1的尺寸以及旋转角度是基于第一波长λ1对应的第一相位分布、第二波长λ2对应的第二相位分布、当前衍射单元146-1的位置以及所述预设夹角确定的。
图3示出了根据本说明书的实施例提供的一种衍射单元146-1的结构示意图。图3所示的衍射单元146-1可以是多个衍射单元146-1中的一个。为了方便描述，我们将图3所示的衍射单元146-1的几何中心在O-XY坐标系中的坐标定义为(X0，Y0)。衍射单元146-1可以是单个纳米微柱体，也可以是多种不同形状的纳米微柱体的组合。为了方便描述，图3所示的衍射单元146-1为单个纳米微柱体。当衍射单元146-1的位置(X0，Y0)确定时，根据超表面透镜140的焦距以及衍射单元146-1的位置(X0，Y0)可以确定当前衍射单元146-1(X0，Y0)对应的第一波长λ1的第一相位分布
Figure BDA0003355906190000111
以及第二波长λ2的第二相位分布
Figure BDA0003355906190000112
当第一激光和第二激光延垂直于XY平面的方向垂直入射到衍射单元146-1时，第一激光和第二激光可以分解为X方向和Y方向的偏振分量。当衍射单元146-1为长方体，衍射单元146-1的旋转角度θ为0时，X方向的偏振分量的相位调控主要受衍射单元146-1的长度b的调控，在Y方向的偏振分量的相位调控主要受衍射单元146-1的宽度a的调控。由于衍射单元146-1为各向异性，因此衍射单元146-1对X方向的偏振分量的相位调控和对Y方向的偏振分量的相位调控是不同的。如前所述，所述第一方向与所述第二方向呈预设夹角。因此，第一激光和第二激光在X方向和Y方向的偏振分量是不同的。由此可见，衍射单元146-1对第一激光和第二激光的相位调控也是不同的。可通过改变衍射单元146-1的长度b、宽度a和旋转角度θ及长方体的高度来实现特定的第一波长λ1的第一相位分布
Figure BDA0003355906190000113
以及第二波长λ2的第二相位分布
Figure BDA0003355906190000114
如前所述，在一些实施例中，所述第一方向与所述第二方向正交。在一些实施例中，所述第一方向为X方向，所述第二方向为Y方向。
图3所示的衍射单元146-1的形状为长方体。图3所示的衍射单元146-1仅为示例性说明。本领域技术人员应当明白，衍射单元146-1的形状为其他形状时也在本说明书的保护范围内，比如椭圆柱。
图4示出了根据本说明书的实施例提供的另一种衍射单元146-1的结构示意图。图4所示的衍射单元146-1是多种不同形状的纳米微柱体的组合，其设计方法与前述设计方法相似，在此不再赘述。
如前所述，多个衍射单元146-1按照预定的方式和距离分布在透镜基底144上。透镜基底144为透明薄膜材质，在外力刺激下可产生形变。当透镜基底144发生形变时，多个衍射单元146-1会随着透镜基底144的形变发生位移，使得多个衍射单元146-1之间的相对距离发生变化，从而使得超表面透镜140的焦距发生变化，焦点的位置也发生变化，实现变焦功能。通过控制透镜基底144的形变，可以控制多个衍射单元146-1的位移变化以及多个衍射单元146-1之间的相对距离，从而实现对超表面透镜140的焦距的控制，使所述超表面透镜140的焦点在预定范围内移动。如图1所示，在一些实施例中，超表面透镜140还可以包括电介质弹性体148。
电介质弹性体148可以位于透镜基底144的入射面144-1上。电介质弹性体148可以是透明的可导电的弹性体。当电介质弹性体148受到电压驱动时，电介质弹性体148会在所述电压的刺激下发生变形。所述电压的大小不同，电介质弹性体148的变形也不同。电介质弹性体148的变形可以带动透镜基底144形变，使得多个衍射单元146-1发生位移，多个衍射单元146-1之间的相对距离发生变化，从而使得超表面透镜140的焦距发生变化，焦点的位置也发生变化，实现变焦功能。计算装置300可以通过控制所述电压的大小，来控制电介质弹性体148的变形，从而控制透镜基底144的形变和多个衍射单元146-1之间的相对距离，使超表面透镜140的焦点在所述预定范围内移动，从而使结构光投射器100适用于不同距离的目标物体的深度信息计算和距离测量，使结构光投射器100的使用场景更加广泛。比如，不同设备上的人脸识别的距离范围是不同的，再比如人脸识别场景和三维重建场景的距离测量范围是不同的。本说明书提供的结构光投射器100在不改变结构的情况下，可以适用于多种不同的智能设备。
需要说明的是，在一些实施例中，超表面透镜140也可以不包括电解质弹性体148.此时，超表面透镜140可以在固定焦距下使用，不进行变焦。
图5示出了根据本说明书的实施例提供的一种结构光系统001的结构示意图。结构光系统001可以对目标视场内的目标物体进行深度信息采集，并进行深度计算。所述目标视场可以是结构光系统001的工作范围。所述目标视场可以是任意空间区域，比如，超市、商场、餐饮店，等等。所述目标物体可以是任意需要进行深度信息采集和深度计算的待检测对象。结构光系统001可以应用于任意需要进行深度信息采集和深度计算的场合，比如，三维重建场景、人脸识别场景、无人驾驶场景，等等。为了方便展示，本说明书将以结构光系统001应用于人脸识别场景为例进行描述。人脸识别场景可以是各种需要对待检测对象进行人脸识别的场景，比如，人脸支付场景，再比如人脸解锁场景、人脸认证场景，等等。在人脸识别场景中，所述目标物体可以是待识别的人脸。如图5所示，结构光系统001可以包括前述的结构光投射器100、图像传感器200以及计算装置300。在一些实施例中，结构光系统001还可以包括探测传感器500。在一些实施例中，结构光系统001还可以包括光照强度传感器(图5中未示出)。
结构光投射器100运行时可以与计算装置300通信连接。具体地，结构光投射器100的激光组件120中的第一激光器121和第二激光器122可以与计算装置300通信连接。计算装置300可以基于所述通信连接控制结构光投射器100，从而控制第一激光器121和第二激光器122中的一个启动，以向目标视场投射结构光图案。所述结构光图案包括所述第一结构光图案或所述第二结构光图案。计算装置300可以控制第一激光器121启动，以向目标视场内投射所述第一结构光图案。计算装置300也可以控制第二激光器122启动，以向目标视场内投射所述第二结构光图案。在一些实施例中，结构光头设计100中的电介质弹性体148也可以与计算装置300电连接。计算装置300可以通过控制施加在电介质弹性体148上的电源啊，控制电介质弹性体148和透镜基底144的变形，从而控制超表面透镜140的焦距。
图像传感器200运行时可以与计算装置300通信连接。图像传感器200可以用于将拍摄的光学图像转换为图像信号，利用光电器件的光电转换功能将图像传感器200上的光学图像转换为与光学图像成相应比例关系的电信号。图像传感器200可以是任意形式的相机或摄像头。图像传感器200可以采集所述目标视场的深度图像。具体地，当所述目标物体处于所述目标视场内时，计算装置300可以控制结构光投射器100向所述目标物体投射所述结构光图案，并控制图像传感器200采集所述目标物体对所述结构光图案反射后形成的图像。也就是说，所述深度图像包括所述结构光图案投射在目标物体上形成的图像。图像传感器200既可以采集所述第一结构光图案投射在所述目标物体上所形成的第一深度图像，也可以采集所述第二结构光图案投射在所述目标物体上所形成的第二深度图像。所述深度图像可以包括所述第一深度图像，也可以包括所述第二深度图像。
需要说明的是，当第一激光和第二激光为红外光时，图像传感器200可以是能够捕捉红外光的传感器，比如红外相机，等等。
计算装置300运行时可以与结构光投射器100以及图像传感器200通信连接，以控制结构光投射器100向目标视场内投射所述结构光图案并接收图像传感器200采集的所述深度图像，基于所述深度图像计算所述目标物体的深度信息。所述深度信息可以包括所述目标物体的不同位置与图像传感器200的垂直距离。计算装置300可以存储有执行本说明书描述的深度计算方法的数据或指令，并可以执行或用于执行所述数据和/或指令。所述通信连接是指能够直接地或者间接地接收信息的任何形式的连接。在一些实施例中，计算装置300可以同结构光投射器100以及图像传感器200通过无线通信连接来彼此传递数据；在一些实施例中，计算装置300也可以同结构光投射器100以及图像传感器200通过电线直接连接来彼此传递数据；在一些实施例中，计算装置300也可以通过电线同其他电路直接连接来建立同结构光投射器100以及图像传感器200的间接连接，从而实现彼此传递数据。
计算装置300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。当然，计算装置300也可以仅为具有数据处理能力的硬件设备，或者，仅为运行在硬件设备中的程序。在一些实施例中，计算装置300可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、齿轮VR等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，计算装置300可以是具有定位技术的设备，用于定位计算装置300的位置。
图6示出了一种计算装置300的设备示意图。计算装置300可以执行本说明书描述的深度计算方法。所述深度计算方法在本说明书中的其他部分介绍。如图6所示，计算装置300可以包括至少一个存储介质330和至少一个处理器320。在一些实施例中，计算装置300还可以包括通信端口350和内部通信总线310。
内部通信总线310可以连接不同的系统组件，包括存储介质330、处理器320和通信端口350。
通信端口350用于计算装置300同外界的数据通信，比如，通信端口350可以用于计算装置300同结构光投射器100以及图像传感器200之间的数据通信。通信端口350可以是有线通信端口也可以是无线通信端口。
存储介质330可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘332、只读存储介质(ROM)334或随机存取存储介质(RAM)336中的一种或多种。存储介质330还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的深度计算方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器320可以同至少一个存储介质330以及通信端口350通过内部通信总线310通信连接。至少一个处理器320用以执行上述至少一个指令集。当结构光系统001运行时，至少一个处理器320读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的深度计算方法。处理器320可以执行深度计算方法包含的所有步骤。处理器320可以是一个或多个处理器的形式，在一些实施例中，处理器320可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算装置300中仅描述了一个处理器320。然而，应当注意，本说明书中计算装置300还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算装置300的处理器320执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器320联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。
在一些实施例中，结构光系统001还可以包括探测传感器500。探测传感器500可以用于对所述目标视场范围进行监测，生成监测数据，以监测是否有所述目标物体进入所述目标视场范围。所述计算装置300可以与探测传感器500通信连接，以进行数据传输。计算装置300可以接收探测传感器500对所述目标视场范围的监测数据，并可以基于探测传感器500的监测数据的变化，确定是否有所述目标物体进入所述视场范围。具体地，当没有所述目标物体进入所述目标视场范围内时，所述监测数据基本不变或变化微小，小于阈值；当有所述目标物体进入所述目标视场范围内时，所述监测数据发生变化，且变化大于所述阈值。当计算装置300确定有所述目标物体进入所述目标视场范围内时，计算装置300可以控制结构光投射器100启动以向所述目标视场内投射所述结构光图案，并执行本说明书描述的深度计算的方法的数据或指令，以对所述目标物体进行深度信息的计算。
在一些实施例中，所述探测传感器500可以包括距离传感器。在一些实施例中，图像传感器200可以作为探测传感器500使用。所述距离传感器包括红外传感器、激光传感器、超声波传感器以及雷达传感器中的至少一种。所述距离传感器可以向所述目标视场范围内发送距离信号，并接收所述目标视场范围内的物体反射回的距离信号。当有所述目标物体进入所述视场范围内时，所述距离传感器接收的距离信号会发生变化。在一些实施例中，计算装置300可以基于所述距离传感器检测的数据，计算所述目标物体距离所述距离传感器的距离范围，并根据所述距离范围控制电介质弹性体148上的电压，以控制超表面透镜140的焦距，使所述目标物体处于超表面透镜140的焦距允许的景深范围内。当探测传感器500为图像传感器200时，图像传感器200可以接收目标视场范围内的光信号。当有所述目标物体进入所述目标视场范围内时，图像传感器200接收的光信号的光照强度数据会发生变化。
在一些实施例中，结构光系统001还可以包括光照强度传感器(图5中未示出)。所述光照强度传感器可以用于监测所述目标视场的光照强度。所述计算装置300可以与所述光照强度传感器通信连接，以进行数据传输。计算装置300可以接收所述光照强度传感器对所述目标视场范围监测的光照强度数据，并可以基于光照强度数据，确定选用第一激光还是第二激光。如前所述，第一波长比第二波长的抗强光干扰力更好。在强光照下，计算装置300可以控制结构光投射器100中的第一激光器121开启，以向所述目标视场内投射所述第一结构光图案，以得到更清晰的深度图像。在非强光下，第二波长的光电转换效率比第一波长高，计算装置300可以控制结构光投射器100中的第二激光器122开启，以向所述目标视场内投射所述第二结构光图案，以降低结构光系统001的整体功耗。
在一些实施例中，图像传感器200可以作为光照强度传感器使用。当光照强度传感器为图像传感器200时，图像传感器200可以接收目标视场范围内的光信号，并根据所述光信号生成光照强度数据。
图7示出了根据本说明书的实施例提供的一种深度计算方法P100的流程图。如前所述，计算装置300可以执行本说明书提供的深度计算方法P100。具体地，计算装置300中的处理器320可以读取存储在其本地存储介质中的指令集，然后根据所述指令集的规定，执行本说明书提供的深度计算方法P100。在一些实施例中，所述方法P100可以包括：
S120：控制结构光投射器100投射的所述结构光图案并接收所述深度图像。
在一些实施例中，在步骤S120之前，计算装置300还可以根据探测传感器500检测到的目标物体与探测传感器500的距离，控制超表面透镜140的焦距，使目标物体位于超表面透镜140的焦距所允许的景深范围内。由此可见，结构光系统001和结构光投射器100可以通过改变超表面透镜140的焦距，使其应用场景更广泛。
如前所述，在超表面透镜140的焦距确定的情况下，当所述目标物体位于超表面透镜140的焦距所允许的景深范围内时，目标物体与结构光投射器100的距离越远，母包物体上所覆盖的散斑的数量越少。如前所述，第二激光所投射的第二结构光图案的散斑密度大于第一激光所投射的第一结构光图案的散斑密度。因此，在超表面透镜140的焦距确定的情况下，第二激光更适用于远距离深度信息的采集，第一激光更适用于近距离深度信息的采集。
具体地，步骤S120可以包括：
S122：控制结构光投射器100开启所述第一激光器121，向所述目标视场内投射所述第一结构光图案。
在一些实施例中，计算装置300可以默认首先开启第一激光器121投射第一结构光图案。在一些实施例中，计算装置300可以默认首先开启第二激光器122投射第二结构光图案。为了方便展示，这里我们以计算装置300默认首先开启第一激光器121投射第一结构光图案为例进行展示。当计算装置300通过探测传感器500的检测数据确定有目标物体进入所述目标视场内时，计算装置300可以控制结构光投射器100的第一激光其121打开，以向目标物体投射所述第一结构光图案。
S124：接收图像传感器200采集的第一深度图像。
计算装置300还可以控制图像传感器200采集目标视场内的深度图像。所述深度图像可以包括所述第一深度图像。所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像。
S126：确定所述第一深度图像中所述目标物体对应的深度信息缺失比例。
计算装置300可以基于所述第一深度图像计算所述第一深度图像中，所述目标物体的对应的深度信息缺失比例。在一些实施例中，所述深度信息缺失比例可以包括所述第一深度图像中所述目标物体上不包含所述第一结构光图案的面积与所述目标物体总面积的比例。如前所述，所述第一结构光图案为散斑图案。当所述散斑图案照射在所述目标物体上时，所述目标物体部分被所述散斑图案覆盖，部分没有被散斑图案覆盖。计算装置300可以计算所述第一深度图像中的所述目标物体上没有被所述散斑图案覆盖的面积与所述目标物体总面积的比例，作为所述深度信息缺失比例。在一些实施例中，所述深度信息缺失比例也可以是所述目标物体在所述第一深度图像中对应的第一像素点中无法计算深度信息的像素点与所述目标物体对应的总像素点的比例。如前所述，所述目标物体没有被所述散斑图案覆盖的位置无法获取深度信息。计算装置300可以根据无法获取所述目标物体的深度信息的像素点与所述目标物体在所述第一深度图像中对应的所有第一像素点的比例作为所述深度信息缺失比例。
S128：基于所述深度信息缺失比例，控制结构光投射器100。
计算装置300可以基于所述深度信息缺失比例，判断所述第一深度图像的质量是否满足使用需求。具体地，步骤S128可以包括以下情况中的一种：
S128-2：确定所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内，控制结构光投射器100开启所述第二激光器122，向所述目标视场内投射所述第二结构光图案，并接收图像传感器200采集的第二深度图像。
当所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内时，使用所述第一深度图像计算的所述目标物体的深度信息的精度较低。为了提高所述目标物体的深度计算精度，计算装置300可以控制结构光投射器100开启第二激光器122，向所述目标视场内投射所述第二结构光图案。计算装置300还可以控制图像传感器200采集目标视场内的深度图像。所述深度图像可以包括所述第二深度图像。所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像。
所述阈值可以是基于机器学习的方式获取的，也可以是基于实验统计的方式获取的。
S128-4：确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，控制所述结构光投射器100关闭。
当所述深度信息缺失比例小于预先设定的阈值范围内时，使用所述第一深度图像计算的所述目标物体的深度信息的精度较高。此时，计算装置300可以控制结构光投射器100关闭。
如图7所示，所述方法P100还可以包括：
S140：基于所述深度图像计算所述目标物体的目标深度信息。
具体地，步骤S140可以包括以下情况中的一种：
S142：确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，基于所述第一深度图像确定所述目标深度信息。
当所述深度信息缺失比例小于预先设定的阈值范围时，使用所述第一深度图像计算的所述目标物体的深度信息的精度较高。此时，计算装置300可以基于第一深度图像计算的所述目标物体的深度信息。具体地，计算装置300可以基于所述第一深度图像中所述第一结构光图案在所述目标物体上的形变，确定所述目标物体的深度信息。对于所述目标物体上没有被所述第一结构光图案覆盖的位置，计算装置300可以通过插值的方法获取器深度信息。
S144：确定所述深度信息缺失比例超过所述阈值范围，基于所述第二深度图像确定所述目标深度信息。
当所述深度信息缺失比例超过预先设定的阈值范围时，使用所述第一深度图像计算的所述目标物体的深度信息的精度较低。此时，计算装置300可以基于第二深度图像计算的所述目标物体的深度信息。具体地，计算装置300可以基于所述第二深度图像中所述第二结构光图案在所述目标物体上的形变，确定所述目标物体的深度信息。对于所述目标物体上没有被所述第二结构光图案覆盖的位置，计算装置300可以通过插值的方法获取器深度信息。
S146：确定所述深度信息缺失比例在所述阈值范围内，基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息。
当所述深度信息缺失比例位于预先设定的阈值范围内时，计算装置300可以将所述第一深度图像以及所述第二深度图像进行融合，计算的所述目标物体的深度信息。具体地，步骤S146可以是：计算装置300基于所述第一深度图像确定所述目标物体的第一深度信息；计算装置300基于所述第二深度图像确定所述目标物体的第二深度信息；计算装置300对所述第一深度信息和所述第二深度信息进行融合处理，确定所述目标深度信息。所述融合处理可以是加权求和。
在一些实施例中，所述方法P100还可以是：计算装置300通过所述光照强度传感器测量所述目标视场的光照强度；当所述光照强度超过光照强度阈值时，计算装置300开启所述第一激光器121，向所述目标物体投射所述第一结构光图案，然后计算装置300控制图像传感器200采集所述第一结构光图案投射在所述目标物体上所形成的第一深度图像，计算装置300从图像传感器200中获取所述第一深度图像，并基于所述第一深度图像中第一结构光图案的形变计算所述目标物体的深度信息；当所述光照强度不超过光照强度阈值时，计算装置300开启所述第二激光器122，向所述目标物体投射所述第二结构光图案，然后计算装置300控制图像传感器200采集所述第二结构光图案投射在所述目标物体上所形成的第二深度图像，计算装置300从图像传感器200中获取所述第二深度图像，并基于所述第二深度图像中第二一结构光图案的形变计算所述目标物体的深度信息。
综上所述，本说明书提供的结构光投射器100、结构光系统001以及深度计算方法P100，通过定制超表面透镜140的衍射单元146-1的尺寸以及排列角度，使超表面透镜140能够同时适用于两种或两种以上不同波长的激光，使两种波长的激光投射出两种不同的结构光图案，从而使结构光投射器100可以适用于更广泛的应用场景。所述结构光系统001以及深度计算方法P100可以根据使用场景中目标物体上的散斑在目标物体所占面积的比例，从两种波长对应的两种深度图像中选择至少一种，用于计算目标物体的深度信息，从而提高深度计算的精度。
本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行深度计算的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的深度计算方法P100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算装置300上运行时，所述程序代码用于使计算装置300执行本说明书描述的深度计算的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算装置300上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统(例如处理器320)使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算装置300上执行、部分地在计算装置300上执行、作为一个独立的软件包执行、部分在计算装置300上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
本说明书另一方面提供一种电子设备。所述电子设备包括壳体以及本说明书提供的结构光系统001。结构光系统001可以安装在所述壳体上。在一些实施例中，所述电子设备还可以包括其他模块，比如显示装置、人机交互装置，等等。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (16)

1.一种结构光投射器，包括：
激光组件，包括：
第一激光器，运行时发射第一波长的第一激光；以及
第二激光器，运行时发射第二波长的第二激光，所述第一波长大于所述第二波长；以及
超表面透镜，包括入光侧和出光侧，所述入光侧与所述激光组件相对，所述出光侧包括各向异性的超构表面，所述第一激光从所述入光侧射入所述超表面透镜，并从所述出光侧射出形成第一结构光图案，所述第二激光从所述入光侧射入所述超表面透镜，并从所述出光侧射出，形成第二结构光图案，所述第一结构光图案的散斑密度小于所述第二结构光图案的散斑密度。
2.如权利要求1所述的结构光投射器，其中，所述第一激光为沿第一方向振动的线偏振光，所述第二激光为沿第二方向振动的线偏振光，其中，所述第一方向与所述第二方向呈预设夹角，所述预设夹角大于0，以使所述超表面透镜对所述第一激光与所述第二激光进行不同的相位调控，从而使所述第一结构光图案不同于所述第二结构光图案。
3.如权利要求2所述的结构光投射器，其中，所述预设夹角为直角。
4.如权利要求2所述的结构光投射器，其中，所述超表面透镜还包括：
透镜基底，包括入射面和出射面，所述入射面位于所述入光侧，所述出射面位于所述出光侧，所述超构表面形成在所述透镜基底的所述出射面；以及
所述超构表面包括多个衍射单元，由不同长宽比的亚波长尺度的纳米微柱以预定的方式和距离排列，其中，所述多个衍射单元中的每个衍射单元的尺寸以及旋转角度是基于所述第一波长对应的第一相位分布、所述第二波长对应的第二相位分布、当前衍射单元的位置以及所述预设夹角确定的。
5.如权利要求4所述的结构光投射器，其中，所述超表面透镜还包括：
电介质弹性体，位于所述透镜基底的所述入射面，当所述电介质弹性体受到电压驱动时，所述电介质弹性体变形带动所述透镜基底形变，所述多个衍射单元发生位移，通过控制所述电压的大小，控制所述透镜基底的形变，从而控制所述多个衍射单元的位移变化，使所述薄膜变焦透镜的所述焦点在所述预定范围内移动。
6.如权利要求1所述的结构光投射器，其中，还包括：
转折部件，位于所述激光组件与所述超表面透镜之间，对所述第一激光与所述第二激光进行转折，使所述第一激光与所述第二激光穿过所述转折部件后垂直射入所述超表面透镜。
7.一种结构光系统，包括：
权利要求1-6中任一项所述的结构光投射器，运行时向目标视场投射结构光图案，所述结构光图案包括所述第一结构光图案或所述第二结构光图案；
图像传感器，运行时采集所述目标视场的深度图像，所述深度图像包括所述结构光图案投射在目标物体上形成的图像；以及
计算装置，运行时与所述结构光投射器以及所述图像传感器通信连接，控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，基于所述深度图像计算所述目标物体的目标深度信息。
8.如权利要求7所述的结构光系统，其中，所述控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，包括：
控制所述结构光投射器开启所述第一激光器，向所述目标视场内投射所述第一结构光图案；以及
接收所述图像传感器采集的第一深度图像，所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第一深度图像；
确定所述第一深度图像中所述目标物体对应的深度信息缺失比例，所述深度信息缺失比例包括所述第一深度图像中所述目标物体上不包含所述第一结构光图案的面积与所述目标物体总面积的比例；
基于所述深度信息缺失比例，控制所述结构光投射器。
9.如权利要求8所述的结构光系统，其中，所述基于所述深度信息缺失比例，控制所述结构光投射器，包括：
确定所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内，控制所述结构光投射器开启所述第二激光器，向所述目标视场内投射所述第二结构光图案，并接收所述图像传感器采集的第二深度图像，所述第二深度图像包括所述第二结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第二深度图像；或者
确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，控制所述结构光投射器关闭。
10.如权利要求9所述的结构光系统，其中，所述基于所述深度图像计算所述目标物体的目标深度信息，包括以下情况中的一种：
确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，基于所述第一深度图像确定所述目标深度信息；
确定所述深度信息缺失比例超过所述阈值范围，基于所述第二深度图像确定所述目标深度信息；以及
确定所述深度信息缺失比例在所述阈值范围内，基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息。
11.如权利要求10所述的结构光系统，其中，所述基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息，包括：
基于所述第一深度图像确定所述目标物体的第一深度信息；
基于所述第二深度图像确定所述目标物体的第二深度信息；以及
对所述第一深度信息和所述第二深度信息进行融合处理，确定所述目标深度信息。
12.一种深度计算方法，用于权利要求7所述的结构光系统，所述深度计算方法包括通过所述计算装置执行：
控制所述结构光投射器投射的所述结构光图案并接收所述深度图像；以及
基于所述深度图像计算所述目标物体的目标深度信息。
13.如权利要求12所述的深度计算方法，其中，所述控制所述结构光投射器投射的所述结构光图案并接收所述深度图像，包括：
控制所述结构光投射器开启所述第一激光器，向所述目标视场内投射所述第一结构光图案；以及
接收所述图像传感器采集的第一深度图像，所述第一深度图像包括所述第一结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第一深度图像；
确定所述第一深度图像中所述目标物体对应的深度信息缺失比例，所述深度信息缺失比例包括所述第一深度图像中所述目标物体上不包含所述第一结构光图案的面积与所述目标物体总面积的比例；
基于所述深度信息缺失比例，控制所述结构光投射器。
14.如权利要求13所述的深度计算方法，其中，所述基于所述深度信息缺失比例，控制所述结构光投射器，包括：
确定所述深度信息缺失比例超过预先设定的阈值范围或在所述阈值范围内，控制所述结构光投射器开启所述第二激光器，向所述目标视场内投射所述第二结构光图案，并接收所述图像传感器采集的第二深度图像，所述第二深度图像包括所述第二结构光图案投射在所述目标物体上所形成的图像，所述深度图像包括所述第二深度图像；或者
确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，控制所述结构光投射器关闭。
15.如权利要求14所述的深度计算方法，其中，所述基于所述深度图像计算所述目标物体的目标深度信息，包括以下情况中的一种：
确定所述第一深度图像的所述深度信息缺失比例小于所述阈值范围，基于所述第一深度图像确定所述目标深度信息；
确定所述深度信息缺失比例超过所述阈值范围，基于所述第二深度图像确定所述目标深度信息；以及
确定所述深度信息缺失比例在所述阈值范围内，基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息。
16.如权利要求15所述的深度计算方法，其中，所述基于所述第一深度图像以及所述第二深度图像确定所述目标深度信息，包括：
基于所述第一深度图像确定所述目标物体的第一深度信息；
基于所述第二深度图像确定所述目标物体的第二深度信息；以及
对所述第一深度信息和所述第二深度信息进行融合处理，确定所述目标深度信息。
CN202111351395.6A 2021-11-16 2021-11-16 结构光投射器、结构光系统以及深度计算方法 Pending CN114089348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111351395.6A CN114089348A (zh) 2021-11-16 2021-11-16 结构光投射器、结构光系统以及深度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111351395.6A CN114089348A (zh) 2021-11-16 2021-11-16 结构光投射器、结构光系统以及深度计算方法

Publications (1)

Publication Number Publication Date
CN114089348A true CN114089348A (zh) 2022-02-25

Family

ID=80300779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111351395.6A Pending CN114089348A (zh) 2021-11-16 2021-11-16 结构光投射器、结构光系统以及深度计算方法

Country Status (1)

Country Link
CN (1) CN114089348A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102036A (zh) * 2022-08-24 2022-09-23 立臻精密智造(昆山)有限公司 点阵激光发射结构、点阵激光系统及深度计算方法
CN116222433A (zh) * 2023-03-22 2023-06-06 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102036A (zh) * 2022-08-24 2022-09-23 立臻精密智造(昆山)有限公司 点阵激光发射结构、点阵激光系统及深度计算方法
CN116222433A (zh) * 2023-03-22 2023-06-06 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法
CN116222433B (zh) * 2023-03-22 2023-09-05 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法

Similar Documents

Publication Publication Date Title
US11373321B2 (en) Projector including meta-lens
US10055854B2 (en) Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9832357B2 (en) Time-of-flight camera system with scanning iluminator
CN109752905B (zh) 包括元透镜在内的投影仪
CN106662640B (zh) 智能照明飞行时间系统和方法
CN114089348A (zh) 结构光投射器、结构光系统以及深度计算方法
US11815795B2 (en) Structured light projector and electronic apparatus including the same
US20120236288A1 (en) Range Based Sensing
JP2019028450A (ja) メタプロジェクタ、及びそれを含む電子装置
US11287712B2 (en) Pattern generation device
EP3936908A1 (en) Phase modulator and phase modulator array including the same
CN111856483A (zh) 可调式光投射器
US11977312B2 (en) Optical modulator and electronic apparatus including the same
CN111176061B (zh) 结构光投影仪和包括结构光投影仪的电子设备
US11575875B2 (en) Multi-image projector and electronic device having multi-image projector
US11256011B2 (en) Pattern generation device
CN115102036B (zh) 点阵激光发射结构、点阵激光系统及深度计算方法
KR20230057902A (ko) 메타 광학 소자 및 이를 포함하는 전자 장치
KR20230049902A (ko) 거리 센서를 포함하는 전자 장치 및 거리 측정 방법
CN115291242A (zh) 飞行时间(tof)相机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination