CN113050112B - 用于增强飞行时间分辨率的系统和方法 - Google Patents
用于增强飞行时间分辨率的系统和方法 Download PDFInfo
- Publication number
- CN113050112B CN113050112B CN202110269640.2A CN202110269640A CN113050112B CN 113050112 B CN113050112 B CN 113050112B CN 202110269640 A CN202110269640 A CN 202110269640A CN 113050112 B CN113050112 B CN 113050112B
- Authority
- CN
- China
- Prior art keywords
- light
- flight
- structured light
- time
- switchable diffuser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 2
- 230000005684 electric field Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 17
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 229920000642 polymer Polymers 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000149 argon plasma sintering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000005264 High molar mass liquid crystal Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及用于增强飞行时间分辨率的系统和方法,公开了用于投射和检测光的系统和方法,还公开了使用飞行时间(ToF)检测器确定表面深度信息的系统和方法,ToF检测器被配置为:测量与泛光反射、结构光反射和/或二者融合有关的飞行时间(例如,以有选择的、受控的和/图案化的方式)。本发明的一些部分还涉及这样一些技术实施例,其被配置为用于与可切换式漫射器有关的操作。
Description
技术领域
本发明涉及光投射和检测的系统和方法以及使用飞行时间(ToF)检测器确定表面深度信息的先进技术。ToF检测器被配置为:用来测量与泛光反射、结构光反射和/或二者融合有关的飞行时间(例如,以有选择的、受控的和/或图案化的方式)。本发明的一些部分还涉及技术方案的一些实施例,这些实施例被配置为:用于与可切换式漫射器有关的操作。
背景技术
光投射技术对于实现几种重要的设备功能是至关重要的。例如,手机的3D相机模块中可利用结构光投射和检测组件来进行面部特征识别(例如,用于身份验证目的和表情生成等)。在这种系统中,投射光可被用户的面部特征反射出去,并被检测器采集,并且通过算法进行分析,以“感知”或“分辨”用户面部的拓扑结构。光投射技术还与面部识别以外的很多其他功能相关,当然,包括:生成3D点云用于场景重建(例如,用在建模、虚拟化环境等)、计算真实空间的深度或其他尺寸 (例如,建造或设计中使用的用于计算建筑物内房间尺寸的移动app)、激光雷达 (LiDAR)应用等。
但是,目前的光投射技术的缺点是成本高、尺寸大、集成度低且基于ToF的图像的深度分辨率差。特别是传统的ToF技术依靠泛光照射来分辨深度。即,用泛光光源照射目标,然后用ToF传感器采集泛光的反射(被泛光投射在其上的表面反射出去的)来测量反射光的返回时间差异。
不幸的是,传统上使用泛光光源照射表面进行基于ToF的测量无法产生高度准确的深度分辨率。确实,泛光检测受到环境中不是来自投射光源的光发射的影响更大,因此信噪比较低。
而且,传统光投射技术没有充分利用可用光源来实现可能对上述各种功能有用的很多成像目标。反之,传统光系统利用多个投射光源来实现它们的目的。这些低效率阻碍了以光投射特征为基础或围绕着光投射特征建立的设备结构和功能的发展。因此,对于消费市场和整个行业来说,均期望对现有光投射技术进行改进。
发明内容
本发明提供了一种采用结构光的投射图案以增强基于飞行时间的深度测定的系统和方法,其单独使用或与投射的泛光结合使用。
根据各实施例,本发明的系统可包括:光投射子系统,其被配置为投射结构光图案;ToF传感器,其被配置为:检测表面对投射的结构光图案的反射,并且提供与结构光图案的一个或多个部分相关联的一个或多个飞行时间指征;以及处理引擎 (例如,控制器),其与非暂时性计算机可读介质电连接,所述非暂时性计算机可读介质具有存储于其上的机器可读指令,当处理引擎执行机器可读指令时,使得系统:根据与结构光图案相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值。采集与所述表面的多个部分相关联的深度测量值可告知所述表面的多个部分的3D拓扑结构。应当理解的是,基于本发明的目的,术语“计算机可读介质”涵盖被配置为存储可由处理引擎执行的机器可读指令的任何介质。例如,这种介质可存在于微控制单元、可以是芯片上的系统,或前述的任意组合。
在一些实施例中,所述光投射子系统可包括被配置为投射结构光的光源。在进一步的实施例中,所述光投射子系统包括光源和光投射结构,所述光投射结构与所述光源结合使用来投射结构光图案。在更进一步的实施例中,所述光投射子系统可进一步包括可切换式漫射器,其被配置为:根据与其连接的控制源的状态(例如,电压源为“开”或“关”)有选择地漫射入射光。即,当采用可切换式漫射器时,所述光投射子系统可被配置为:当可切换式漫射器处于第一状态时投射泛光,当可切换式漫射器处于第二状态时投射结构光。控制源可根据控制器(或处理引擎)的指令进行操作,所述控制器或处理引擎可调节由控制源输送至可切换式漫射器的电压。这种控制器可使控制源在第一条件和第二条件之间振荡,以使可切换式漫射器在第一状态和第二状态之间振荡,从而引起泛光和结构光的振荡投射。这种控制器可使控制源以预定的速率(或以预定的时序)在两种条件之间振荡,以实现泛光和结构光的期望时序、比例或多路复用属性(例如,在给定的图像采集周期内)。
在具有可切换式漫射器的实施例中,ToF传感器可进一步被配置为:检测表面对投射的泛光的反射,以及提供与投射的泛光的一个或多个部分相关联的一个或多个飞行时间指征。在这种实施例中,非暂时性计算机可读介质可进一步包括机器可读指令,当处理引擎执行该机器可读指令时,可使得系统:根据与投射的泛光相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值(除了与结构光相关联的飞行时间指征以外、作为其替代,或与其任何期望的结合/融合)。
在一些示例中,与所述表面的一部分相关联的深度测量值可以仅基于与投射的结构光相关联的飞行时间测量值/指征。
在一些示例中,控制器被配置为实现和调节系统的操作,可根据正在使用的应用或到正在成像的物体的预估距离(或根据任何其他标准)使系统仅生成结构光、仅生成泛光或生成结构光和泛光的结合。类似地,在一些例子中,控制器被配置为实现和调节系统的操作,可根据正在使用的应用或到正在成像的物体的预估距离 (或根据任何其他标准)使系统根据仅与结构光有关、仅与泛光有关或与结构光和泛光的结合有关的飞行时间测量值/指征来确定深度测量值。
在一些实施例中,飞行时间测量基于结构光反射和泛光反射。在一些实施例中,与所述表面的特定部分相关联的融合的飞行时间测量值可根据结构光飞行时间测量值和泛光飞行时间测量值的结合而生成。在一些实施例中,控制器被配置为实现和调节系统的操作,可根据正在使用的应用或到正在成像的物体的预估距离(或根据任何其他标准)使系统根据泛光飞行时间测量值/指征来确定正在成像的表面的一些部分的深度测量值,并根据结构光飞行时间测量值/指征来确定正在成像的表面的其他部分的深度测量值。
在一些实施例中,控制器被配置为实现和调节系统的操作,可根据正在使用的应用或到正在成像的物体的预估距离(或根据任何其他标准)使系统通过使用仅对泛光、仅对结构光或对泛光和结构光的结合的第一选择来确定一些部分的深度测量值,并通过使用仅对泛光、仅对结构光或对泛光和结构光的结合的第二选择来确定其他部分的深度测量值。在一些实施例中,第一选择与第二选择不同。
在一些实施例中,非暂时性计算机可读介质可进一步包括存储在其上的机器可读指令,当处理引擎执行该机器可读指令时,可使得系统:从若干可选的结构光图案中选择用于投射的结构光图案。该图案可为任意图案,包括但不限于:均匀点阵列图案、不均匀点阵列图案、均匀条纹图案、不均匀条纹图案、均匀方格图案、不均匀方格图案、前述中任一种或多种中的随机图案等。可根据正在使用的应用、光投射子系统和表面之间的预估距离或用于给定实施例的任何其他特定标准而进行选择。
在一些实施例中,所述系统可进一步包括存储在非暂时性计算机可读介质(例如,在控制器的存储器内)上的机器可读指令,当处理引擎(例如,控制器的处理器)执行该机器可读指令时,使得系统:根据振幅调制、频率调制、相位调制和脉冲调制中的一个或多个来对投射光进行调制。在一些实施例中,当指令被执行时,可使系统:根据振幅调制、频率调制、相位调制和脉冲调制方案中的一个或多个来对结构光进行调制。在一些实施例中,当执行指令时,可使系统:从若干可选的调制方案中选择用于对结构光进行调制的调制方案,该选择基于(i)被集成有ToF 模块的设备所使用的应用,(ii)表面距光投射系统的预估距离,和/或(iii)特定实施所需的任何其他标准。
根据各实施例,通过单独使用或与投射泛光结合使用的结构光投射图案来增强基于飞行时间的深度测量的方法,包括实现本文所述的任何功能的步骤,包括前文所述的系统、子系统、设备或其他元件的文中所述的任何功能。
本文在此所公开的系统、方法和非暂时性计算机可读介质的这些和其他特征,以及操作方法、结构相关元件的功能、部件的组合和产品的经济性,将通过下文的描述以及参考附图的从属权利要求变得更加清楚,所有这些形成了本说明书的一部分,其中附图标记标明了各附图中的相应部分。然而需要明确理解的是,附图仅用于说明和描述,而不作为对本发明的限制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为根据本发明的各种实施例的示例性系统的示意图,该系统用于基于ToF 的分辨率增强的深度检测。
图2为根据本发明的各中实施例的示例性系统的侧视图,该系统投射结构光图案以用于基于ToF的分辨率增强的深度检测。
图3为根据本发明的各种实施例的示例性系统的示意图,该系统生成结构光和泛光的多路复用投射以用于基于ToF的分辨率增强的深度检测。
图4显示了示例性可切换式漫射器的变化,该示例性可切换式漫射器纳入在根据本发明各种实施例的图案化ToF模块中,图示的这种可切换式漫射器的变化基于穿过可切换式漫射器的施加电场的变化而发生。
图5显示了一示例性架构,其描述了根据本发明的各种实施例,可能被应用的控制器的各个子组件。
图6显示了根据本发明的一个或多个实施例所应用的示例性方法的流程图。
附图并非旨在穷举或将本发明仅限制在所公开的内容。应当理解的是,可以对本发明进行修改和变化,并且所公开的内容仅受权利要求及其等效内容的限制。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
专利申请号为16/036,776、16/036,801和16/036,814的美国专利申请的公开内容和附图在此通过整体引用而被并入本申请。对于本领域普通技术人员来说显而易见的是,各说明书中的相似特征和元件可以替换或重新应用于下文所述的一个或多个元件。
图1为根据本发明的各种实施例的示例性系统100的示意图,该系统100用于基于ToF的分辨率增强的深度检测。系统100可包括光投射子系统130、安装在模块110(该模块提供结构、光学和/或电气的支持)上或由模块110保持的ToF检测器170,以及与模块110(或模块110的一个或多个元件)可操作通信连接的控制器140。光投射子系统130可被配置为:在图像采集期间产生结构光投射,并且ToF检测器170可被配置为:采集表面对结构光投射的反射,并确定光反射的时间差、相移(phase shift)或频移 (frequency shift)中的一个或多个,并生成其指征。即,系统100被配置为:利用投射到表面上的结构光(例如,点阵)的反射(而不是表面对泛光的反射)来根据飞行时间检测确定表面的深度和/或拓扑结构。
光投射子系统130可被配置为:以特定图案投射结构光。基于本发明的目的,“图案”可单独地或共同地指代结构光投射的形式、设计或表述、结构光投射在其中的边界、区域、空间或地带、和/或结构光的一个或多个部分的投射角度。例如,光投射子系统 130可被配置为:生成、引导或集中来自光源的光,以使光以规定的或随机的形式投射在局部或全场区域。例如,光投射子系统130可被配置为:生成点阵形式的结构光,其中点光束以规定的排列方式(例如,均匀的)或随机的排列方式被投射。在另一个例子中,光投射子系统130可被配置为:生成条纹阵形式的结构光,其中准直光条纹以规定的排列方式(例如,分布和尺寸均匀)或随机的排列方式(例如,不均匀堆叠、纵横交错、交叉阴影线的等)被投射。本文中的示例不旨在以任何方式进行限制,并且应当理解,在本文公开的技术方案的实施中,也可以投射任何其他结构光图案。
在一些实施例中,光投射子系统130可被配置为:将光跨越投射在光投射子系统130 能投射的全场投射空间内。例如,对于给定的应用,期望在光投射子系统130能投射的整个空间范围(即,全场投射空间)内生成类似于棋盘图案的结构光图案。在另一应用中,可以期望在全场内生成点均匀分布的类似于网格的图案。在一些实施例中,光投射子系统130可进一步被配置为:将光投射在局部边界以内,即,在一些实施例中,光被投射在比光投射子系统130能投射的全场投射空间小的区域内。在一些特定的实施例中,可以期望生成点均匀分布的类似于网格的图案,其不是投射在全场内,而是集中在由局部边界界定的区域中,该区域呈椭圆形(例如,用于面部识别),该椭圆由小于光投射子系统130的全场光投射极限的边界来限制。在面部识别实施中,例如,光投射子系统130可在椭圆形边界内投射点均匀分布的网格图案,其在距模块110约1.5-2.5英尺的投射距离(或其他距用户面部的预估距离)处可跨越预估可基本上采集普通用户整个面部以便进行面部识别的尺寸。在一些实施例中,系统100可配置为:在全场内进行特征检测,然后根据目标表面的检测尺寸和/或位置来调整投射边界以采集目标表面。在这些实施例中,考虑到表面与全投射场相对彼此的移动,通过调整可界定具有缓冲区的投射边界。
通过光投射子系统130投射结构光图案并将ToF检测器170配置为分辨这些结构光的反射(代替泛光反射,或除泛光反射外),信噪比(“SNR”)可相对于仅用相同或类似光源的泛光照射获得的信噪比显著增大。也就是说,根据一些实施例,由光投射子系统 130产生的一个或多个结构光投射(例如,点阵列中的点投射)实现的SNR(用于ToF 检测)可显著高于由相同或类似光源产生的泛光投射所实现的SNR。部分地,这是由于相对于相同或类似光源(例如,相同或类似的激光或二极管)产生的简单泛光照射的密度,光投射子系统130产生的结构光投射提供了较高的功率密度。因此,与现有技术的系统相比,通过实施本发明的图案化的ToF系统的实施例(而不是传统上使用的仅有泛光照射的系统)而得到的基于ToF的深度测量的分辨率有了显著的提高。
通过在比全场边界小的局部空间内投射结构光,在投射的结构光束内可增强功率密度,并且另外还可减少光投射系统130相对于其他附近的设备所引起的噪音量。
如图1所示,系统100可包括控制器140,其可操作地与光投射系统130和ToF检测器170中的一个或多个连接,除了模块110的组件和子系统以外(其中一些如图2- 图5所示)。虽然图中未将控制器140作为模块110的一个集成元件来说明,但在一些实施例中,可将其集成在模块110中。在一些实施例中,处理操作可通过板外处理引擎 (例如,如图所示的控制器140)或板上处理引擎(例如,集成在模块110内的控制器) 来进行,或者被分配在二者的组合之间。
控制器140可被配置为:激发光源以使光源进行光发射。控制器140可进一步被配置为:激发和/或处理ToF检测器170在控制器140激发光源期间或之后接收到的光信息。在一些实施例中,控制器140被配置为:调制光投射系统130投射的光以产生调制的光信号。例如,控制器140可被配置为:与光投射子系统130的一个或多个元件一起操作,以提供脉冲调制、振幅调制、频率调制或特定部署所需的任何其他类型的调制。也就是说,控制器140可被配置为:与系统100的一个或多个元件(例如,ToF检测器 170)一起操作,以根据实行的调制方案来分辨光反射。换句话说,控制器140可被配置为:与系统100的一个或多个元件(例如,ToF检测器170)一起操作,以对ToF检测器170接收的光反射进行解调。
在一些实施例中,控制器140被配置为:根据下述各项修改所实行的调制方案:(i)集成有ToF模块的设备所使用的应用,(ii)要成像表面距光投射系统的预估距离,和/ 或(iii)特定实施所需的任何其他标准。例如,控制器140可与光投射系统130协同操作,以根据应用为短距离生成振幅调制的光发射(例如,当成像物体预计在模块110 的10米以内时)。例如,控制器140还可与光投射系统130协同操作,以根据应用为长距离生成脉冲、相位或频率调制的光发射(例如,当成像物体预计在大于10米或20米处时)。
继续参考图1,在一些实施例中,光投射子系统130可包括光源本身以及可根据需要以特定方式引导和/或投射光的其他元件或组件。在其他实施例中,可将光源视为与光投射子系统130不同的组件,且光源生成的光在某阶段耦合进光投射子系统130中(其可包括其他光学元件,例如,波导器件器件、光栅结构等,以获得期望的图案)。
图2为根据本发明的一个或多个实施例的示例性系统100的侧视图,系统100用于从光投射子系统投射出结构光投射,以实现基于ToF的分辨率增强的深度检测。参考图 2,示例性系统100(图1中所示)的一示例性光投射子系统130可包括:光源132和光投射结构134。示例性光投射结构134可为光束阵列投射结构,以使得投射的光束阵列在表面(例如,2D表面、3D表面等)上形成阵列(例如,点阵列)。在操作中,来自光源132的光进入并离开光投射结构134,以到达成像的目标物(图中未示出)。ToF检测器170(图1中所示)可包括:光传感器172,其被配置为:接收和处理要被成像的物体所反射的光。ToF检测器可为被配置为测量光投射子系统130生成的光的反射的时间差、相位差或频率差的任何传感器或相机模块。例如,ToF检测器可包括CMOS阵列、SPAD 检测器或被配置为检测目标表面对结构光的反射的任何其他传感器。在一些例子中,ToF 检测器170可包括:一个或多个其他光学或光电元件,以将期望的光反射过滤、传导或导向到光传感器172。图2所示的滤光片174是光学元件的一个示例,其可以但并不是必须与光传感器172相连而使用。
光源132可包括任何形式的能产生结构光或产生可转换成结构光的形式的光的光源。例如,光源132可发射红外(IR)光或在电磁波谱任何范围内的任何其他可见或不可见光,其可单独地或连同光投射结构134引起的转换而向目标表面投射结构光,包括给定使用例所需的特定图案的结构光。
光源132可以包括单个激光器(例如边发射激光器,垂直腔面发射激光器(VCSEL)),具有光准直的发光二极管(LED)或类似装置。可选地,光源132可以包括多个激光器或二极管(例如边发射激光器阵列,VCSEL阵列,LED阵列)。光源132可包括美国专利申请16/036,776、16/036,801和16/036,814所公开的一个或多个光源,其全部内容通过引用的方式在此并入本发明。
光投射结构134可包括波导器件,所述波导器件被配置为:接收光源132发射的光和投射结构光(例如,若干个点光束、若干个条纹结构光或任何其他结构光图案)。在这种实施例中,光源132发出的光可从光投射结构134的任何表面或一个表面的任何部分耦合进光投射结构134,和/或从光投射结构134的任何表面或一个表面的任何部分耦合出光投射结构134。
光投射子系统130可包括美国专利申请16/036,776、16/036,801和16/036,814所公开的一个或多个光投射装置和光投射结构,这些美国专利申请的全部内容通过引用的方式在此并入本发明。在一个非限制性示例中,一些实施例的光投射系统130可以包括投射镜结构,例如美国专利申请16/036,801中的投射镜结构231,其可被配置为:对光源发出的光线进行准直,和/或投射任意的图案化的点阵列。例如,根据不同应用的工作距离要求,通过投射镜结构231进行准直的投射光束阵列的激光束腰在10毫米到1 米范围内变化。因此,投射镜结构231可对输出光进行准直,以在所需距离(例如根据所使用的应用情况在10厘米至10米范围内)为投射形成清晰的图案(例如点阵列图案、条纹堆叠图案、方格图案)。在另一个非限制性示例中,美国专利申请16/036,801公开的任何光栅结构可用作、采用本发明中的光源132、投射镜和/或光投射结构/波导器件 134中的一个或多个,或和其一起或结合使用。在另一个非限制性示例中,光投射子系统130可以包括美国专利申请16/036,801中的系统102。
在一些可替代的实施例中,光投射子系统130可以包括多个二极管(例如诸如边发射激光器阵列或VCSEL阵列的激光器,诸如LED阵列的二极管)或任何其他结构,该其他任何结构产生的光束阵列被设置为可射到目标表面上(或另一种光学元件上,光从该光学元件中穿过后到达目标表面(例如,参考图3所示的可切换式漫射器))。光投射系统130可包括美国专利申请16/036,776、16/036,801和16/036,814公开的结构或系统中的一个或多个,其全部内容通过引用的方式在此并入本发明。
在一些可替代的实施例中,光投射子系统130可以包括衍射光学元件(“DOE”) 以与VCSEL阵列结合而生成多个点。例如,如果VCSEL阵列包括250个点(例如准直光的光束),与其结合使用的DOE可有效提供10X的倍增器以在输出平面上生成2500个点。在另一个示例中,如果VCSEL阵列包括300个点(例如准直光的光束),与其结合使用的DOE可有效提供100X的倍增器以在输出平面上生成30000个点。可采用任何类型的 DOE,包括由入射光生成/产生的任何期望的结构光图案,包括(仅举例来说)生成/产生下面VCSEL阵列产生的倍增的入射点光束(例如10X-100X,或更大,或更小)。
在一些实施例中,光投射结构134射出的光束可从光投射结构134的表面耦合出,以投射在物体的目标表面(例如面部)上。在控制器140(或其他处理引擎)的控制下,由此产生的反射可通过ToF检测器170的光传感器172进行检测和转换。
在一些实施例中,可在本发明的系统中纳入可切换式漫射器,以实现对来自单个光源的泛光和结构光的受控投射。可切换式漫射器可在控制器140的控制下被配置为:例如可选地生成/投射泛光照射和结构光投射,以供ToF检测器170和/或可设在模块110 内部或附近的任何其他感光组件(例如,用途不同于ToF光传感器172的IR相机)进行检测。
例如,在控制器140的控制下,可切换式漫射器可被配置为:在一种或多种状态(例如,“开”状态或“关”状态)之间进行切换,可切换式漫射器由此可有选择地使结构光漫射或允许结构光通过。采用根据本发明的可切换式漫射器使得ToF测量能够基于泛光照射和结构光投射的结合或融合。可与本发明的实施例结合纳入的可切换式漫射器至少包括申请号为16/259,812和16/268,493的美国专利申请以及申请号为 201910035662.5和201910073808.5的中国专利申请所述的那些内容,其全部内容通过引用的方式在此并入本发明。
图3为本发明的分辨率增强的基于ToF的示例性成像系统200的示意图,其中纳入了可切换式漫射器。图1-图2中的系统100和图3-图4中的系统200之间的常见元件保留了常见的编号,以便于参考。可以看出,图2和图3之间的主要差别包括:在图3 中,光投射系统130包括与控制器140耦合(通过接触垫144和142)的可切换式漫射器136,而图2不包括。
这种示例性系统200可基于光投射子系统130的结构光投射和/或基于光投射子系统130的泛光和图案化结构光投射的融合而获得高分辨率的基于ToF的深度测量结果和 3D成像。用于实现图案化和/或融合的ToF检测的这种系统200可包括:光投射子系统 130、安装在模块110(该模块提供结构的、光学的和/或电气的支持)上的ToF检测器 170及与模块110(或模块110的一个或多个元件)可操作通信连接的控制器140。如本文中更详细讨论的,光投射子系统130可被配置为:在图像采集期间有选择性地产生泛光和点光投射,从而当根据正在使用的应用可能需要泛光照射和/或结构光照射时,避免了在给定模块内要安装和使用多个不同的光投射系统。系统200可与手机、电脑、平板电脑、可穿戴设备、车辆等各种系统或设备结合地安装或实施。
这种光投射子系统130的光源可在表面上投射预定或随机图案的结构光束或准直光束。结构光或准直光可耦合进并穿过光投射子系统130的一个或多个其他光学和光电元件,例如,光投射结构(例如透镜)和/或可切换式漫射元件,如上所述的。在操作中,可切换式漫射元件发出的光可被引导至目标物体的表面(例如,面部)。物体表面对光的反射可由一个或多个检测器(例如,相机传感器)采集,检测器包括但不限于ToF检测器170的光传感器172。
ToF检测器170采集的光信息可被用于根据测试目标飞行时间测量结果来确定与该表面的不同部分关联的深度信息。在一些实施例中,基于ToF的深度测量结果是基于返回光反射的不同部分之间的返回时间差(或传播和返回时间差)的。这种测量结果可以基于物体的表面(或不同物体的多个表面)的返回光反射之间的绝对或相对时间差。根据ToF检测器170的传感器172采集的反射光,可确定各种其他光学导出参数。在一些实施例中,检测器被配置为:接收远处物体的多个位置对耦合出光束的反射,以确定该多个位置相对于系统或系统的指定元件或相对系统的指定参考点的距离。
如图所示,光投射子系统130和ToF检测器170可安装在同一个模块结构(例如,模块110)上或与所述同一个模块结构连接。在一些实施例中,光投射子系统130和ToF 检测器170安装在不同的模块上或与不同模块连接。在每种情况下,ToF检测器170可被设置为:相对于光投射子系统130呈一定的取向,使得远处物体的多个位置对投射子系统的光反射可被ToF检测器170的光传感器172接收。可采用接收的反射来确定多个位置相对于其他反射、相对于模板(template)、相对于绝对时间与距离转换公式或转换系数、或相对于预定的参考点(例如,光投射子系统130的位置)的距离。在一些实施例中,可将物体的表面上单个位置所在的虚拟平坦反射平面作为参考面,并且可以将参考面对投射光的反射作为参考反射光束,该参考反射光束用于计算其他被采集反射的相对差。例如,可以根据被检测反射光束与参考反射光束之间的飞行时间差来确定表面的拓扑结构(例如,在面部表面情况下的面部特征)。
仍然参阅图3,可切换式漫射器136可以包括基于混合物的任何液晶或聚合物,该混合物具有响应于所施加电压的可调分子取向,其包括例如任何现有技术中的混合物。例如,可切换式漫射器136可包括任何聚合物液晶混合物,或任何其他液晶混合物。在一些实施例中,可切换式漫射器136可以包括液晶和聚合物的互不相溶的混合物,例如聚合物分散液晶(PDLC)或聚合物网络液晶(PNLC)或数字光处理(DLP)材料。此类混合物结合了液晶的光电属性和聚合物的结构属性。在其他实施例中,可切换式漫射器 136可以包括亚稳态液晶(MSLC)。
在一些实施例中,可切换式漫射器136在未受到实质性电场影响的情况下,可表现出光散射属性。例如,PDLC类型的可切换式漫射器136可以提供这种光散射属性。在采用PDLC类型的可切换式漫射器136的一些实施例中,液晶内部聚合物的浓度可以在 20%-60%之间,以实现散射。在采用PDLC类型的可切换式漫射器136的一些实施例中,液晶内部聚合物的浓度可以在60%-80%之间。聚合物在液体/聚合物乳液中发生固化,以使液晶液滴在聚合物结构中分离出来。每个液滴内的液晶分子局部有序(localized order),但每个液滴可相对于混合物中的其他液滴随机排列。在采用可切换式漫射器136 的一些实施例中,小液滴尺寸和PDLC混合物中液滴的各向同性取向的结合,将在无实质性电场的情况下导致高光散射结构。
当向PDLC类型的可切换式漫射器136施加实质性电场时,混合物中的液晶液滴取向将改变,当光线耦合进结构并从另一侧穿出时,光散射的程度降低。根据本发明的一个或多个实施例,如果向PDLC类型的可切换式漫射器136施加足够大的电场,可切换式漫射器136的结构将达到得基本透明的状态,以使耦合进的光线穿过时发生极少散射或无散射。
类似地,例如PNLC类型的可切换式漫射器136也可以提供这种光散射/扩散属性。PNLC类型的可切换式漫射器136包括遍及整个结构的聚合物链网络,液晶内部的聚合物的浓度可以约为1%至15%之间。和PDLC类似的,在施加合适电场的情况下,PNLC可以在实质散射状态和实质透明状态之间进行切换。
在进一步的实施例中,MSLC类型的可切换式漫射器136可以响应于某些条件以提供光学散射/漫射特性,并且响应于其他条件提供光学透明特性。MSLC是一种液晶,其可以基于适当电场的施加而在基本散射的状态和基本透明的状态之间切换。但是与大多数PNLC和PDLC不同的是,MSLC不需要维持施加的电场以维持在给定状态(例如,散射状态或透明状态)。与之相反,MSLC可以被配置为:基于临时的/瞬时的施加电场在这两种状态之间切换。例如,驱动电路可仅需发送一个持续时间足够长的AC信号以实现基本散射状态和基本透明状态的转换,反之亦然。例如,本发明的一些实施例可以包括MSLC 类型的可切换式漫射器136,其被配置为:基于AC电压信号(例如,具有1kHz,50%占空比的60V)的施加,以从基本漫射/散射的状态切换到基本透明的状态,该AC电压信号持续至少足够长的时间以实现状态之间的转换(即,切换)。类似地,为了从基本透明的状态切换到基本扩散/散射的状态,可以施加另一个AC电压信号(例如,具有 50kHz,50%占空比的80V),持续至少足够长的时间段以转换回来。然而,一旦发生转变,就不需要进一步施加电场来维持基本透明或基本扩散/散射的状态。也就是说,在这种实施例中,一旦状态之间的切换发生,就可以中断电压信号,并且直到希望转换回另一状态之前,都不需要额外的电压信号。
可切换式漫射器136还可以进一步包括与散射元件结合的附加层。此类附加层可与 PDLC、PNLC和/或MSLC材料结合以提供偏振稳定性、结构支撑和导电性。
相应地,可对可切换式漫射器136进行控制,以根据施加的电场,设定至少两种不同状态(即扩散/散射状态和透明状态)中的一个。基于本发明的目的,扩散/散射状态在此还可以被称为“第一状态”或“关闭状态”,透明状态在此还可以被称为“第二状态”或“开启状态”。
仍参考图3,系统100可包括:控制器140,其与ToF检测器170的光传感器172、光投射子系统130的光源132和可切换式漫射器136中的一个或多个可操作地连接。控制器140可被配置为:激发光源132以使光源132投射光。控制器140可进一步被配置为:处理ToF检测器170(通过光传感器172)在控制器140激发光源132的期间或之后采集/生成的ToF指征或其他信息。控制器140可进一步被配置为:有选择地向可切换式漫射器136施加电场(例如,电压),以实现关闭状态(漫射/散射状态)和打开状态(透明状态)之间的切换。控制器140可被配置为:使光传感器172、光源132和可切换式漫射器136同步操作,以实现泛光投射和图案化结构光投射(例如,均匀点阵图案投射)的多路复用(例如,时分复用)传播。
特别地,控制器140可以被配置为:当光源132发出的光(其可选地通过光投射结构134)在可切换式漫射器136的第一表面耦合进去,以及在可切换式漫射器136的第二表面耦合出来时,选择性地对应用于可切换式漫射器136的电场进行振荡(或者改变)。这种可选的振荡(或改变)会使得可切换式漫射器136在关闭和开启状态之间切换,从而使得在第一时间段内,从可切换式漫射器136的第二表面射出的光包含泛光投射,以及在第二或后续的时间段内,从可切换式漫射器136的第二表面射出的光包含点投射。
可切换式漫射器136可采用任何方式,以及通过被配置为控制适当电场施加的任何元件的组合而启动,以使操作发生变化,从而使光投射子系统130发出的光投射达到平衡。图4显示了从第一电压条件切换到第二电压条件引起的可切换式漫射器136上施加的电场发生变化,从而使一个示例性的可切换式漫射器136的操作发生变化,其中第一电压条件和第二电压条件(以及相应地可切换式漫射器136的“关闭”状态和“开启”状态)之间的变化受控制器140(图中未显示)的控制。
控制器140可与电路连接,该电路包括可将电压施加至可切换式漫射器136的电压源。导电元件142和/或144可集成到或连接到可切换式漫射器136,从而在可切换式漫射器136上施加电场。控制器140可通过与其连接的电路,选择性地对施加于可切换式漫射器136的来自于电压源的电压进行调节。在一些实施例中,控制器140可启动将电压源与一个或多个导电元件142和/或144连接和/或断开的开关。
如图所示,当电压源被控制为向可切换式漫射器136(上部附图表示为136a)输送第一电压(图4中的上部附图采用变量V1表示)时,可切换式漫射器可保持在其自然状态,并作为入射光的漫射器/散光器。这可以被称为“关闭”状态。在一些实施例中,第一电压V1可以为0V,其中“关闭”状态实际对应于从可切换式漫射器136的视角“关闭”的电压。然而,应当理解的是,“关闭”状态不一定必须要与关闭的电压源的电压相对应。
在一些实施例中,当第一电压约为0V和1V之间时,可切换式漫射器136的“关闭”状态可实现。在其他实施例中,当第一电压为任何允许或使得可切换式漫射器的聚合物结构内的液晶保持或实现分子排布或取向(该分子排布或取向使耦合进的光在穿过时变得实质性分散且由此提供泛光投射)的电压时,可切换式漫射器136可实现“关闭”状态。
如图所示,在第一电压条件下,光源132可提供耦合进光投射结构134的光。从投射结构134投射的光可包括特定图案的结构光(例如若干个点投射形成的均匀点阵列(即,投射的若干个窄光束基本上均匀地分布在至少一个平面内))。示例性的点投射在图3中一般采用附图标记135来表示。点投射135可入射到可切换式漫射器136的第一表面,或耦合进可切换式漫射器136。在第一电压条件下,耦合到可切换式漫射器136的点投射135通过可切换式漫射器136的分子结构发生散射(例如,用数字136a来标明可切换式漫射器136的这种状况)。由此,可切换式漫射器136将其第一表面接收的入射的结构光135转换为从第二表面投射出的泛光。从可切换式漫射器136a第二表面投射出的泛光在图4中一般采用附图标记137来表示。
在对图3中的下部附图进行详细讨论前,应注意可切换式漫射器136在上部附图中采用附图标记136a来表示,以表示“关闭”状态(或称为漫射器/散射器状态),并在下部附图中采用附图标记136b来表示,以表示“开启”状态(或称为透明或实质透明状态)。即图3中的可切换式漫射器136a(阴影部分)和136b(无阴影部分)为相同的可切换式漫射器,只是基于施加(或视情况而未施加)不同的电场或电压(在第一电压条件和第二电压条件之间)而具有不同的操作状态。
如图3中的下部附图所示的,当电压源被控制为向可切换式漫射器136(在下部附图中采用附图标记136b表示)输出第二电压(在图3的下部附图中采用变量V2表示)时,可切换式漫射器的分子取向可能会发生变化,以使可切换式漫射器对入射光透明或实质性透明。该状态称为“开启”状态。在一些实施例中,第二电压V2可以在1V至50V 的范围内,其中“开启”状态实际上对应于从可切换式漫射器136的视角“开启”的电压。然而,应当理解的是,“开启”状态不一定必须对应于开启的电压源的电压。
如上所述,应当理解的是,上文中提到的“关闭”状态不一定必须对应于关闭的电压源的电压,并且“开启”状态不一定必须对应于开启的电压源的电压。在一些实施例中,“开启”状态和“关闭”状态可被设定为与上文所讨论的状态相反的状态。也就是说,第一电压条件可实现“开启”状态,以使与可切换式漫射器耦合的结构光发射(例如点投射)通过可切换式漫射器的分子结构实质上未散射地穿过,并且第二电压条件可实现“关闭”状态,以使与可切换式漫射器耦合的结构光发射(例如点投射)通过可切换式漫射器的分子结构而发生散射/漫射,并且作为泛光而从可切换式漫射器耦合出。因此,第一电压条件下的可切换式漫射器(实现“开启”状态)可能会由此产生结构光投射(例如呈均匀图案的点投射),第二电压条件下的可切换式漫射器(实现“关闭”状态)可能会由此产生泛光投射。
在一些实施例中,可切换式漫射器在其自然状态下或第一电压条件下对耦合的结构光发射(例如点投射)呈实质性透明状态(例如当施加的电压约为0V至1V时),并且在其非自然状态下或第二电压条件下对耦合的结构光发射(例如点投射)呈散射/漫射状态(例如当施加的电压约为1V至50V时)。根据所需使用习惯,上述任何一种情形均可称为“开启”状态或“关闭”状态。
在一些实施例中,可切换式漫射器136的“开启”状态可在第二电压为0V时实现。在其他实施例中,当第一电压为任何该种电压:其允许或使得可切换式漫射器136的聚合物结构内部的液晶保持或实现使可切换式漫射器对入射光呈透明或实质性透明状态的分子布局或取向,并由此使来自光投射结构134和/或光源132的耦合进的光在穿过时不发生实质性扩散、漫射或其他实质性干扰光的结构光特性的发散现象,由此允许结构化或随机模式的点光束投射到目标物的表面且反射回ToF检测器170(如图1-2所示) 时,可切换式漫射器136可以实现“开启”状态。
如图4中的下部附图所示的,在第二电压条件下,光源132可继续提供耦合进光投射结构134的光。如上文所述的,从光投射结构134投射的光还是包括结构光发射(例如多个点投射)。这种结构光发射(例如点投射135)可入射到可切换式漫射器136的第一表面,或耦合进可切换式漫射器136。在第二电压条件下,与可切换式漫射器136耦合的结构光发射(例如点投射135)并未通过可切换式漫射器136的分子结构发生实质性散射。因此,可切换式漫射器136可使在第一表面接收的点光束135穿过并离开第二表面,并作为窄光束点投射继续向前。从可切换式漫射器136b的第二表面射出的结构光发射(例如点投射)在图4中一般采用附图标记138表示。
虽然图4显示了(仅举例来说)可切换式漫射器136设置在光投射结构134(例如,投射透镜)的后面,但是可切换式漫射器136还可设在相对于光投射子系统130的元件的其他位置。例如,关于本发明可实施的各种布置方式的更详细的描述可以参考申请号为16/259,812和16/268,493的美国专利申请以及申请号为201910035662.5和 201910073808.5的中国专利申请所述的那些内容,其在此通过整体引用而纳入本文中。
在进一步的实施例中,控制器140可根据一个或多个设备运行能力或要求、环境条件、默认的或用户定义的设置或任何其他输入,对上述元件进行操作以使其同步。例如,如果光传感器172被控制为在1/60秒内以给定的帧采集飞行时间信息,控制器140会使可切换式漫射器136在该时间段内(在该时间段内图像信息以给定的帧被采集),在“关闭”状态和“开启”状态之间进行切换。也就是说,对于给定帧的采集,控制器140 会进行可切换式漫射器136的切换操作,以使在所述帧的光采集时间段内,检测器172 仅生成和/或分辨结构光投射、仅生成和/或分辨泛光投射或生成和/或分辨结构光和泛光投射的融合(采用如上文所述的时分复用的方式)。在一些例子中,例如,控制器140 可调节可切换式漫射器136的状态(并确保对ToF检测器170处接收的信息进行多路解编和解调),以作用于最初的泛光投射以在视场内映射出基本的图像(例如,从泛光生成较低的深度分辨率),然后根据所识别的看起来深度基本相同的图像的片段(patches of the image)对获取的基本图像进行分割,随后有选择地投射泛光以生成较高深度分辨率的信息,这些信息可用于增强深度片段(patches)中的一个或多个(有时是所有深度片段)的深度精度。前述内容提供了融合了ToF深度图像的一个示例,该图像可由本发明的系统和方法生成或以其他方式实现。
在一些实施例中,控制器140可被配置为:对施加于可切换式漫射器的电场进行振荡(或改变),从而以比图像采集的帧速率快2-100倍的速率施加可切换式漫射器状态的转换。例如,如果给定场景中的帧速率是每秒20帧,则控制器140可以被配置为:改变施加到可切换式漫射器的电场,以使可切换式漫射器以100次/秒的速率(例如,比帧速率快5倍)在基本透明状态和基本散射状态之间来回变化。在一些实施例中,控制器140可被配置为:以比图像采集的帧速率快100倍的速率还快的速率,对施加于可切换式漫射器的电场进行振荡。
图5显示了包含控制器140的各种子组件的示例性架构,通过控制器140的执行操作,并结合系统100(或系统200)的一个或多个其他元件(包括光投射子系统130和 ToF检测器170的任何一个或多个元件),可以启用本发明的一个或多个特征。如图所示,控制器140可以被配置(或可操作地耦合)为:具有一个或多个处理引擎150和一个或多个机器可读指令160,当一个或多个处理引擎150执行机器可读指令160时,将启用本发明的一个或多个特征。机器可读指令160可保存在机器可读介质上。机器可读指令 160可具有机器可读代码,机器可读代码包括激活组件161、场操作组件(field manipulation component)162、同步组件163、动态调整组件164和/或一个或多个其他组件165。
激活组件161可以被配置为:检测何时需要使用成像系统100/200,以及相应地使系统100/200激活光投射子系统130和/或ToF检测器170的一个或多个元件。例如,如果用户的手机安装有系统100/200,用户的输入指示请求进行3D面部识别(或要求深度分辨率的其他3D拓扑结构投影),激活组件161可识别出用户提供的指示,并使系统 100/200激活光投射子系统130的光源132和/或ToF检测器170。激活组件161还可被配置为:确定光投射子系统130和/或ToF检测器170的运行状态。如果光投射子系统 130和/或ToF检测器170的运行状态令人满意,则激活组件161激活场操作组件162。
场操作组件162可以被配置为:使系统100向光投射子系统130的可切换式漫射器136元件施加、修改或调整电场。例如,场操作组件162可以使控制器140将来自电压源的电压施加到可切换式漫射器136、调整该电压或移除该电压。通过施加、调整或移除该电场,场操作组件162可使可切换式漫射器136在“关闭”状态(漫射/散射状态) 和“开启”状态(透明状态)之间来回切换。场操作组件162可被配置为:根据系统100 的其他元件(例如ToF检测器170和控制器140的其他组件)的操作,来对其操作进行计时。在实施上述操作时,场操作组件162可调用同步组件163确定、保存或提供的信息。
同步组件163可以被配置为:通过ToF检测器170和/或控制器140与ToF检测器 170的结合,来确定所进行的或能够进行的ToF信息采集的操作速度或速率。此外,同步组件163可确定或控制这些元件的操作时序,并通知场操作组件162。例如,如上所述的,如果光传感器172被控制为采集1/60秒或更短时间段内的飞行时间信息,同步组件163可以识别此运行能力(基于检测或基于预设定/保存的信息),并可以进一步向激活组件161和场操作组件162的至少其中之一提供开始和/或停止时间。换言之,在一些实施例中,同步组件163可以被配置为具有时钟,其可与激活组件161和场操作组件162(或本发明所述的系统的任何其他组件)的操作结合使用,以使功能同步,从而实现所需性能。指定情形下的所需性能可进行预定,或者其可在给定一个或多个其他可检测条件下进行动态调节。可通过动态调整组件164的全部或部分来启用当前公开的技术中的动态调节特征。
动态调整组件164可以被配置为:检测一个或多个内部或外部的条件或请求,其需要调整到系统100的任何默认或预定的操作设置。动态调整组件164可以被与一个或多个其他组件165结合操作的一个或多个传感器或检测引擎通知。动态调整组件164功能的例子还可包括申请号为16/259,812和16/268,493的美国专利申请以及申请号为 201910035662.5和201910073808.5的中国专利申请中详述的那些内容。所述申请在此通过引用整体并入本文件中。
如上文所述的,控制器140可以控制可切换式漫射器136在以给定帧进行图像信息采集的时间段内,在“关闭”状态和“开启”状态之间进行切换。还需指出的是,控制器140(例如通过场操作组件162)可使可切换式漫射器136在给定的采集时间段内在关闭状态和状态之间进行多次切换。也就是说,对于给定采集时间段,控制器140可以实现可切换式漫射器136的切换,以使点投射反射和泛光投射反射在给定采集周期内进行光采集的期间内,均被ToF检测器170接收到(采用如上文所述的时分复用的方式)。在一些实施例中,控制器140可以被配置为:以比给定采集时间段内的帧速率快2-100 倍的速率,对施加到可切换式漫射器的电场进行振荡(或改变)。在一些实施例中,控制器140可以被配置为:以比用于图像采集的帧速率快100倍还多的速率,对施加到可切换式漫射器的电场进行振荡。
同步组件163可以通知系统的其他元件光投射时间,由此通知被ToF检测器170的光传感器172接收的光信息的处理情况,以使系统可对与反射的泛光相关的光信息和反射的结构光投射相关的光信息进行区分或辨别,并相应地调整其他操作。换言之,同步组件163可提供与所接收的光信息有关的多路复用功能。因此,例如同步组件163可使 ToF检测器170能在结构光检测的时间段内采集结构光反射,并且可以使另一成像检测器(例如,可见光波长相机)在泛光投射的时间段内采集光反射。
本领域内技术人员可以想到的是,尽管图5采用了机器可读指令160进行实施,但是一个或多个激活组件161、场操作组件162、同步组件163、动态调整组件164,和/ 或其他组件165中的一个或多个可以采用硬件和/或软件实施。
本发明的ToF检测特征可以根据需要将飞行时间原理应用于特定使用例,以实现期望的结果。脉冲飞行时间原理认识到:光从光源传播到物体并返回到检测器所需的时间根据物体离光源和/或ToF检测器有多远而变化,即光传播所穿过空间的距离越远,光到达ToF检测器所需的时间就越长。为了使ToF检测正确地操作,光源和ToF检测器必须被同步,以便可以从检测到的时间差中提取和计算出距离。特别地,应该严格控制和 /或监测由光源产生的光脉冲的时序细节(timing details)和在ToF检测器处接收的返回光的时序细节。基于ToF的图像的分辨率随着时序监测和/或控制的增强以及本发明所实现的信噪比的增强而增强。
本领域普通技术人员可以理解的是,参考图5所讨论的控制器140的所有元件还可扩展到采用其他非ToF类型检测器的实施例。例如,在本发明的ToF检测器170与例如 IR检测器结合使用的实施例中,同步组件163还可被配置为:将其同步功能扩展到这种其他的检测器。例如,可将本发明的增强的ToF深度分辨率系统用于诸如申请号为 16/268,493的美国专利申请以及申请号为201910073808.5的中国专利申请所描述的组合系统中。该申请在此通过引用整体而纳入本文件中。照此,根据系统500或其变体的系统实施例可使增强的3DToF照片/图像信息的采集与2D IR点照片/图像信息的采集同步。提供这种融合操作模式的实施例,使得本发明的实施例能够获得:(1)从点投射得到较高深度分辨率的益处;以及(2)从泛光投射得到较高x-y分辨率的益处,以及其他优点。
图6显示了根据本发明的一个或多个实施例而实施的方法的流程图。如图所示,在操作步骤302,方法300包括通过光投射子系统投射结构光图案。在操作步骤304,方法300包括采用ToF检测器检测表面对投射的结构光图案的反射。在操作步骤306,方法300包括生成与结构光图案的一个或多个部分相关联的一个或多个飞行时间指征。在操作步骤308,方法300包括根据与结构光图案相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值。
上文所述的各种特征和过程可相互独立地使用,或以各种方式组合。所有可能的组合和子组合均在本发明的范围内。此外,在一些实施应用中可省略某些方法或过程块。此处描述的方法和过程不限于任何特定顺序,与之相关的块或状态可采用其他合适的顺序进行实施。例如,所述块或状态可采用不同于特定公开的顺序进行实施,或多个块或状态可组合到单个块或状态内。示例块或状态可采用串行、并行或其他一些方式进行实施。块或状态可添加至公开的示例性实施例,或从其中移除。在此描述的示例性系统和组件可采用不同于所描述的方式进行配置。例如,元件可添加至公开的示例性实施例,从其中移除,或相较于公开的示例性实施例进行重新布局。
在本说明书的通篇中,多个例子可作为单个例子进行所描述的组件、操作或结构的实施应用。虽然一个或多个方法的单个操作是作为独立的操作进行阐述和描述的,但是一个或多个单个操作可同时实施,且不是必须采用显示的顺序进行操作。在示例性配置中显示为独立组件的结构和功能可以作为组合结构或组件来实施应用。类似地,显示为单个组件的结构和功能可以作为单独组件来实施应用。这些和其他变型、修改、增加和改善均落入到本技术方案的范围内。
虽然本技术方案已经参照具体实施例进行了综述,但可以在不偏离本技术方案实施例广义范围的情况下,对这些实施例进行各种修改和变更。本技术方案的这些实施例可以单独地或共同地通过术语“发明”来表示,这仅仅是为了方便。而并不是意味着,在实际公开了多个方案的情况下,将本申请的范围主动地限制于任何单个公开方案或概念。
本文对实施例进行了足够详细的描述说明,以使本领域内技术人员可以实施这些公开的方案。可以使用其他实施例并从中导出其他实施例,使得可以在不脱离本发明范围的情况下进行结构的和逻辑的替换和更改。因此,详细的描述并不应被视为具有限制意义,且各实施例的范围仅通过附属权利要求以及这些权利要求所赋予的等同概念的全部范围来进行限定。
如本文所采用的,词语“或”可以以包含性或排他性的含义来解释。此外,多个例子还可作为单个例子用于其中描述的资源、操作或结构。此外,不同资源、操作、引擎和数据保存之间的边界是任意的,且特定操作在特定说明性配置的环境下被阐述。功能的其他配置也是可以预期的,并且其落入本发明的各个实施例的范围内。通常,在示例性配置中作为独立资源呈现的结构和功能可作为组合的结构或资源以实施应用。类似地,作为单个资源呈现的结构和功能可作为单独资源以实施应用。如附属权利要求所述的这些及其他变型、修改、添加和改善均属于本发明实施例的范围内。相应地,说明书和附图均是用于解释说明,而不具有限制意义。
除非另有说明,条件性语词,例如尤其是“可以”、“可能”、“可能会”或“可”或本文中采用的其他作此理解的词语,通常旨在表达某些实施例包括某些特征、元件和 /或步骤,而其他实施例不包括。因此,此类条件性语词通常并不表示特征、元件和/或步骤必须要以任何方式用于一个或多个实施例,或一个或多个实施例必须要包括决定这些特征、元件和/或步骤是否要被纳入或者是否在任何特定的实施例中实施的逻辑,而不论具有或不具有用户输入或提示。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (8)
1.一种用于增强飞行时间分辨率的系统,其特征在于,包括:
光投射子系统,其被配置为投射结构光图案;
ToF传感器,其被配置为:检测表面对投射的结构光图案的反射,并且提供与结构光图案的一个或多个部分相关联的一个或多个飞行时间指征;以及
处理引擎,其与非暂时性计算机可读介质电连接,所述非暂时性计算机可读介质具有存储于其上的机器可读指令,当处理引擎执行该机器可读指令时,使得系统:
根据与结构光图案相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值;
存储在非暂时性计算机可读介质上的机器可读指令,当处理引擎执行该机器可读指令时,使得系统:
根据振幅调制、频率调制、相位调制和脉冲调制中的一个或多个以对结构光进行调制;
从若干可选的调制方案中选择用于对结构光进行调制的调制方案,该选择基于所述表面距所述光投射子系统的预估距离。
2.根据权利要求1所述的用于增强飞行时间分辨率的系统,其特征在于,所述光投射子系统包括光源和光投射结构。
3.根据权利要求1所述的用于增强飞行时间分辨率的系统,其特征在于,所述光投射子系统包括可切换式漫射器,并且其中所述光投射子系统被配置为:
当可切换式漫射器处于第一状态时投射泛光,当可切换式漫射器处于第二状态时投射结构光。
4.根据权利要求3所述的用于增强飞行时间分辨率的系统,其特征在于,所述ToF传感器进一步被配置为:检测所述表面对投射的泛光的反射,并且提供与投射的泛光的一个或多个部分相关联的一个或多个飞行时间指征;以及
其中所述非暂时性计算机可读介质还包括存储在其上的机器可读指令,当处理引擎执行该机器可读指令时,使得系统:根据与投射的泛光相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值。
5.根据权利要求3所述的用于增强飞行时间分辨率的系统,其特征在于,所述可切换式漫射器被配置为:对从第一条件转变到第二条件的控制源做出响应,以从第一状态转变到第二状态。
6.根据权利要求4所述的用于增强飞行时间分辨率的系统,其特征在于,飞行时间测量基于结构光反射和泛光反射。
7.根据权利要求1所述的用于增强飞行时间分辨率的系统,其特征在于,所述图案包括点阵列图案、条纹图案和棋盘图案中的一种或多种。
8.一种用于增强飞行时间分辨率的方法,其特征在于,包括:
采用光投射子系统投射结构光图案;
采用ToF传感器检测表面对投射的结构光图案的反射;
生成与结构光图案的一个或多个部分相关联的一个或多个飞行时间指征;以及
根据与结构光图案相关联的一个或多个飞行时间指征来确定与所述表面的一个或多个部分相关联的一个或多个深度测量值;
其中,根据振幅调制、频率调制、相位调制和脉冲调制中的一个或多个以对结构光进行调制;
从若干可选的调制方案中选择用于对结构光进行调制的调制方案,该选择基于所述表面距所述光投射子系统的预估距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110269640.2A CN113050112B (zh) | 2019-03-21 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110269640.2A CN113050112B (zh) | 2019-03-21 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
CN201910215970.6A CN111322961B (zh) | 2019-03-21 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910215970.6A Division CN111322961B (zh) | 2019-01-15 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113050112A CN113050112A (zh) | 2021-06-29 |
CN113050112B true CN113050112B (zh) | 2024-06-04 |
Family
ID=71170891
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110269640.2A Active CN113050112B (zh) | 2019-03-21 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
CN201910215970.6A Active CN111322961B (zh) | 2019-01-15 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910215970.6A Active CN111322961B (zh) | 2019-01-15 | 2019-03-21 | 用于增强飞行时间分辨率的系统和方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3944000B1 (zh) |
CN (2) | CN113050112B (zh) |
WO (1) | WO2020187176A1 (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102640087A (zh) * | 2009-12-08 | 2012-08-15 | 秦内蒂克有限公司 | 基于距离的感测 |
CN104751482A (zh) * | 2013-12-30 | 2015-07-01 | 联想(北京)有限公司 | 结构光光斑图案生成方法和结构光光斑图案生成设备 |
CN106773489A (zh) * | 2017-01-13 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种光学投影装置及深度相机 |
CN107395974A (zh) * | 2017-08-09 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理系统及方法 |
CN207909195U (zh) * | 2018-02-27 | 2018-09-25 | 上海图漾信息科技有限公司 | 深度数据测量组件和设备 |
CN108833888A (zh) * | 2018-06-28 | 2018-11-16 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8629975B1 (en) * | 2010-08-18 | 2014-01-14 | The United States Of America As Represented By The Secretary Of The Air Force | Apparatus and method for a multiple aperture coherent ladar |
US9535537B2 (en) * | 2010-11-18 | 2017-01-03 | Microsoft Technology Licensing, Llc | Hover detection in an interactive display device |
US9335425B2 (en) * | 2011-10-12 | 2016-05-10 | Koninklijke Philips N.V. | Modelling of ToF-DOI detector arrays |
US9208566B2 (en) * | 2013-08-09 | 2015-12-08 | Microsoft Technology Licensing, Llc | Speckle sensing for motion tracking |
KR102312273B1 (ko) * | 2014-11-13 | 2021-10-12 | 삼성전자주식회사 | 거리영상 측정용 카메라 및 그 동작방법 |
US9817159B2 (en) * | 2015-01-31 | 2017-11-14 | Microsoft Technology Licensing, Llc | Structured light pattern generation |
CN109477966B (zh) * | 2016-02-18 | 2022-06-03 | 苹果公司 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
CN107836112B (zh) * | 2016-06-08 | 2019-03-12 | 松下知识产权经营株式会社 | 投影系统 |
CN107783353B (zh) * | 2016-08-26 | 2020-07-10 | 光宝电子(广州)有限公司 | 用于捕捉立体影像的装置及系统 |
CN107424187B (zh) * | 2017-04-17 | 2023-10-24 | 奥比中光科技集团股份有限公司 | 深度计算处理器、数据处理方法以及3d图像设备 |
US10705214B2 (en) * | 2017-07-14 | 2020-07-07 | Microsoft Technology Licensing, Llc | Optical projector having switchable light emission patterns |
CN107343148B (zh) * | 2017-07-31 | 2019-06-21 | Oppo广东移动通信有限公司 | 图像补全方法、装置和终端 |
CN109143607B (zh) * | 2018-09-17 | 2020-09-18 | 深圳奥比中光科技有限公司 | 补偿显示屏、屏下光学系统及电子设备 |
CN113253473A (zh) * | 2019-01-25 | 2021-08-13 | 深圳市光鉴科技有限公司 | 可切换式漫射器投射系统和方法 |
-
2019
- 2019-03-21 CN CN202110269640.2A patent/CN113050112B/zh active Active
- 2019-03-21 CN CN201910215970.6A patent/CN111322961B/zh active Active
-
2020
- 2020-03-16 WO PCT/CN2020/079428 patent/WO2020187176A1/zh unknown
- 2020-03-16 EP EP20773373.4A patent/EP3944000B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102640087A (zh) * | 2009-12-08 | 2012-08-15 | 秦内蒂克有限公司 | 基于距离的感测 |
CN104751482A (zh) * | 2013-12-30 | 2015-07-01 | 联想(北京)有限公司 | 结构光光斑图案生成方法和结构光光斑图案生成设备 |
CN106773489A (zh) * | 2017-01-13 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种光学投影装置及深度相机 |
CN107395974A (zh) * | 2017-08-09 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理系统及方法 |
CN207909195U (zh) * | 2018-02-27 | 2018-09-25 | 上海图漾信息科技有限公司 | 深度数据测量组件和设备 |
CN108833888A (zh) * | 2018-06-28 | 2018-11-16 | Oppo广东移动通信有限公司 | 深度处理器和三维图像设备 |
CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3944000B1 (en) | 2024-01-24 |
CN111322961B (zh) | 2021-04-06 |
EP3944000A4 (en) | 2022-05-04 |
WO2020187176A1 (zh) | 2020-09-24 |
CN113050112A (zh) | 2021-06-29 |
CN111322961A (zh) | 2020-06-23 |
EP3944000A1 (en) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901353B (zh) | 一种光投射系统 | |
US10585173B1 (en) | Systems and methods for enhanced ToF resolution | |
CN111323931B (zh) | 光投射系统和方法 | |
US10564521B1 (en) | Switchable diffuser projection systems and methods | |
JP6894851B2 (ja) | マルチパラメータ検出のためのレーザセンサ | |
US10585194B1 (en) | Switchable diffuser projection systems and methods | |
CN110691983A (zh) | 具有结构光及集成照明和检测的基于lidar的3-d成像 | |
EP3424278B1 (en) | Staggered array of light-emitting elements for sweeping out an angular range | |
CN111263899A (zh) | 照明装置、飞行时间系统和方法 | |
CN112799080A (zh) | 深度感测装置及方法 | |
WO2020187175A1 (zh) | 一种光投射系统及光投射方法 | |
KR102101865B1 (ko) | 카메라 장치 | |
CN113050112B (zh) | 用于增强飞行时间分辨率的系统和方法 | |
JP5351028B2 (ja) | レーザコントローラ | |
CN112066907B (zh) | 深度成像装置 | |
JP6626552B1 (ja) | マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス | |
US9158417B2 (en) | Position detection system and display system with input function | |
JP2023157575A (ja) | 測距システム、発光装置および受光装置 | |
JP6256990B2 (ja) | 検出装置、及び検出方法 | |
KR20200041851A (ko) | 카메라 장치 | |
CN117308811A (zh) | 一种结构光相机及智能设备 | |
CN112068144A (zh) | 光投射系统及3d成像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |