CN109690247A - 光电子系统 - Google Patents

光电子系统 Download PDF

Info

Publication number
CN109690247A
CN109690247A CN201780015701.4A CN201780015701A CN109690247A CN 109690247 A CN109690247 A CN 109690247A CN 201780015701 A CN201780015701 A CN 201780015701A CN 109690247 A CN109690247 A CN 109690247A
Authority
CN
China
Prior art keywords
data
interest
photosensitive
area
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780015701.4A
Other languages
English (en)
Inventor
田宜彬
亨德里克·沃尔克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ams Sensors Singapore Pte Ltd
Original Assignee
Heptagon Micro Optics Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heptagon Micro Optics Pte Ltd filed Critical Heptagon Micro Optics Pte Ltd
Publication of CN109690247A publication Critical patent/CN109690247A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开描述用于有效地捕获三维数据的光电子系统和方法。所述光电子系统包括三维成像模块和距离测量模块。经由所述距离测量模块收集的数据用来收集三维数据，诸如三维对象的三维图或其他表示。此外，所述方法可扩展到多个感兴趣区域，并且可被应用于生物计量数据的获取。

Description

光电子系统
技术领域
本公开涉及用于距离测量的光电子模块，并且涉及用于确定数据和生物计量数据的方法。
背景
各种技术可以用来使用图像捕获设备捕获场景中的对象的三维数据。例如，三维数据可在增强现实技术中使用于机器人，并且使用于自然用户接口技术(诸如眼睛追踪或凝视检测)。此外，三维数据可被使用于游戏，和生物计量数据(例如，面部和虹膜识别数据，和面部表情分析)的收集。
三维数据可用基于三角测量的三维成像捕获。基于三角测量的三维成像包括有源和无源立体技术，和编码光技术。此类技术使用特征匹配。
立体技术需要捕获立体图像对(即，自藉由已知基线距离分离的不同观点拍摄的至少两个图像)。至少两个图像中的对应的特征必须被确定来收集三维数据。例如，块匹配技术可用来确定对应的特征。典型的块匹配技术涉及将立体图像对中的至少两个图像中的一个界定为参考图像并且将另一个界定为搜索图像。在参考图像内选择展现特定强度分布的像素块，并且针对对应的块(即，展现相同或大致上相同的特定强度分布的块)扫描搜索图像。相对于块在参考图像中的位置的对应的块在搜索图像中的位置界定视差。视差与基线距离和用来收集参考图像和搜索图像的光学系统的焦距一起可用来确定三维数据。扫描可为相对耗时的，并且可需要显著的计算能力。因此，涉及块匹配技术的实时或近实应用可难以或不可能达到。此外，移动设备或具有有限硬件、能力，和计算资源的其他个人计算机可努力实现块匹配技术。在一些情况下，块匹配技术可失败或需要额外的非必要步骤来充分地鉴别缺少充足纹理的图像中的块。
编码光技术是基于三角测量的三维成像技术的另一实例。编码光技术需要照明器以使已知的编码光图案生成(例如，投射)到场景中的一个或多个对象上。生成的图案通过场景中的对象扭曲。图案扭曲的程度可对应于场景中的对象与生成图案的照明器之间的距离。扭曲图案的图像被捕获，然后已知图案与扭曲图案之间的比较可用来收集场景中的一个或多个对象的三维数据。类似以上提到的块匹配技术，必须针对对应的编码光特征扫描图像；因此，编码光技术可面向类似的挑战(例如，扫描为计算上昂贵的)。
三维数据通常用于生物计量数据收集/分析和行为分析，其中两者可用移动设备和个人计算机广泛的实施。例如，生物计量数据可用于用户鉴别(诸如面部或虹膜识别)。另外，行为分析可用来经由如眼睛追踪和面部表情分析的此类技术增强与移动设备或个人计算机的用户交互。然而，先前实例需要三维数据，如以上与基于三角测量的技术相结合所描述的扫描/搜索(例如，块匹配)的挑战可妨碍生物计量数据的收集和/或用户行为的分析。
发明内容
本公开描述用于收集三维数据的光电子系统和方法。在一方面，例如，光电子系统包括三维成像模块、距离测量模块，和处理器。所述三维成像模块包括强度成像器。所述强度成像器包括光敏强度元件阵列和光学组件。所述三维成像模块可操作以收集场景的至少一个强度图像。所述距离测量模块包括第一发光部件和光敏距离元件阵列。所述第一发光部件可操作以生成第一特定波长或波长范围。所述光敏距离元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感。所述距离测量模块可操作以收集所述场景的数据。所述处理器可操作以从所述至少一个强度图像和由所述距离测量模块收集的所述数据生成所述三维数据。
一些实现方式包括以下特征中的一个或多个。例如，尺寸成像模块可包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。
在一些情况下，所述第二发光部件可操作以将纹理生成到场景上。三维数据可由生成到所述场景上的所述纹理增强。
在一些情况下，所述第二发光部件可操作以将编码光生成到场景上。三维数据可由生成到所述场景上的所述编码光增强。
在一些实现方式中，所述第一发光部件可操作以生成调制光并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。
在一些情况下，光敏强度元件阵列和光敏距离元件阵列对由第一发光部件生成的第一特定波长或波长范围敏感。
所述光电子系统可包括至少一个额外的强度成像器，所述至少一个额外的强度成像器通过基线与另一个强度成像器分离。所述至少一个额外的强度成像器包括光敏强度元件阵列和光学组件。
在一些情况下，所述光电子系统包括光敏强度元件阵列，所述光敏强度元件阵列对由第一发光部件生成的光的第一特定波长或波长范围敏感。
在一些实现方式中，所述光电子系统包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在所述非暂时性计算机可读介质上的指令。当所述指令由处理器执行时，进行以下操作：用强度成像器捕获强度图像；在所述强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述强度图像内的感兴趣区域；以及用所述强度图像和所述数据生成三维数据。
在一些情况下，当由处理器执行时，所述机器可读指令使以下操作被进行：用强度成像器捕获强度图像；用至少一个额外的强度成像器捕获额外的强度图像；在所述强度图像或所述额外的强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述强度图像或所述额外的强度图像内的感兴趣区域；以及用所述强度图像和所述数据生成三维数据，使得与所述感兴趣区域相关联的块匹配协议由所述数据增强。
在一些情况下，所述光电子系统实现包括生成三维数据的方法，所述生成三维数据包括从由距离测量模块捕获的数据估计视差和用所述估计视差增强块匹配协议。
在一些情况下，所述方法包括在强度图像或额外的强度图像内建立感兴趣区域，所述在强度图像或额外的强度图像内建立感兴趣区域包括用对象识别协议建立所述感兴趣区域。
在一些实现方式中，所述方法包括在强度图像或额外的强度图像内建立感兴趣区域，所述在强度图像或额外的强度图像内建立感兴趣区域包括用机器学习建立所述感兴趣区域。
在一些情况下，所述光电子系统还包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围。光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。所述第二发光部件可操作以将纹理生成到场景上，并且所述三维数据由生成到所述场景上的所述纹理增强。
所述第一发光部件可为可操作以生成调制光。所述光电子系统可包括光敏距离元件阵列，所述光敏距离元件阵列可操作以解调入射在光敏距离元件阵列上的调制光。
在一些情况下，所述光电子系统可还包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围。光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。所述第二发光部件可操作以将编码光生成到场景上，其中三维数据由生成到所述场景上的所述编码光增强。
在一些情况下，所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。
根据另一方面，一种方法包括用强度成像器捕获强度图像；在所述强度图像内建立感兴趣区域；用距离测量模块捕获数据；将所述数据映射到所述第一感兴趣区域；以及用所述强度图像和所述数据生成所述三维数据。
在另一方面，一种方法包括用至少一个额外的强度图像捕获额外强度图像；以及用所述强度图像和所述数据生成三维数据，使得与所述感兴趣区域相关联的所述块匹配协议由所述数据增强。
在一些情况下，用于用光电子系统捕获三维数据的方法包括从由距离测量模块捕获的数据估计视差和用所述估计视差增强块匹配协议。
其他方面、特征和优点将从以下详述、附图和权利要求书显而易见。
附图简述
图1A至图1C描绘用于收集三维数据的光电子系统的实例。
图2A至图2C描绘用于收集三维数据的光电子系统的另一实例。
图3A至图3C描绘用于收集三维数据的光电子系统的又一实例。
图4A至图4C描绘用于收集三维数据的光电子系统的仍然又一实例。
图5描绘用于收集三维数据的示例性过程步骤。
图6描绘用于收集三维数据的其他示例性过程步骤。
图7描绘用于收集三维数据的仍然其他示例性过程步骤。
详述
图1A至图1C描绘用于收集三维数据的光电子系统。三维数据可包括例如场景中的一个或多个感兴趣区域的三维图或其他三维表示。光电子系统100包括三维成像模块102和距离测量模块110。光电子系统100进一步包括处理器(未描绘)，并且在一些情况下，可包括非暂时性计算机可读介质。处理器可为可操作以进行支持三维成像模块102和距离测量模块110的操作。此外，非暂性电脑可读媒体可包括存储在所述非暂性计算机可读介质上的机器可读指令，所述机器可读指令在由处理器执行时，实现三维成像协议的执行以获取三维数据。在一些情况下，处理器被实现为集成在诸如智能电话、平板计算机或膝上型计算机的主机设备内的中央处理单元(CPU)的部分。在一些情况下，例如，处理器包括微处理器芯片，或与光电子系统100的各种部件相关联的多个微处理器芯片。仍然在一些情况下，处理器包括驱动器、计算机代码、集成电路和为光电子系统100的操作所必需的其他电子部件，如本领域普通技术人员将明白的。
距离测量模块110包括第一发光部件112(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)和光敏距离元件阵列114。光敏距离元件阵列114包括一个或多个光敏元件115，诸如光电二极管、互补金属氧化物半导体(CMOS)和/或如图1B中所描绘的基于电荷耦合器件(CCD)的像素。第一发光部件112可为可操作以生成第一特定波长(例如，704nm、850nm、940nm)或波长范围116(例如，红外和/或近红外光)。在一些情况下，第一发光部件112可操作以生成大致上漫射光，而在其他情况下，第一发光部件112可操作以生成编码光或可为可操作以生成纹理(例如，纹理光)。在一些情况下，距离测量模块110可操作以经由诸如间接飞行时间技术的调制光技术收集数据。例如，第一发光部件112可为可操作以生成调制光，而光敏距离元件阵列114可为可操作以收集并且解调调制光。
距离测量模块110可为可操作以从包括单个或多个感兴趣区域诸如第一感兴趣区域118和额外的感兴趣区域120的场景收集数据。在一些情况下，第一感兴趣区域118包括人面部，而额外的感兴趣区域120包括与第一感兴趣区域118的人面部相关联的一只眼睛或一双眼睛。在一些情况下，例如，第一感兴趣区域118包括眼睛，而额外的感兴趣区域120包括虹膜和/或瞳孔。仍然其他变化在本公开的范围内，例如，多个额外的感兴趣区域120是可能的。在一些情况下，第一感兴趣区域118和额外的感兴趣区域120两者可表示两个相异面部。在一些情况下，可通过预定所需要的对象距离建立感兴趣区域。例如，当面部或虹膜在所需要的距离d1处时，面部或虹膜建立第一感兴趣区域118。在一些情况下，感兴趣区域可通过面部识别协议、对象识别协议、机器学习或用三维成像模块102和处理器，并且在一些情况下用非暂时性计算机可读介质实现的其他协议建立，如以下进一步所公开的。
从场景收集的数据可包括到第一感兴趣区域118和额外的感兴趣区域120的距离或接近度。感兴趣区域诸如第一感兴趣区域118和额外的感兴趣区域120可在距光电子系统100的不同距离处，在图1A中分别由d1和d2表示，但是所述第一感兴趣区域和所述额外的感兴趣区域不需要在不同距离处。从第一发光部件112生成的光可从感兴趣区域118、120反射并且撞击光敏距离元件阵列114。图1B描绘示意性地覆盖到光敏距离元件阵列114上的第一感兴趣区域118和额外的感兴趣区域120。因此，距离测量模块110可生成从光敏距离元件115收集的数据值126的数据阵列124。数字与感兴趣区域118、120的图像相当，其中用来显示图像的像素或其他元件对应于光敏距离元件115。
例如，在一些情况下，第一感兴趣区域118反射由第一发光部件112生成的光，所述光随后撞击位于如图1B中所例示的y6，x1处的光敏距离元件115。光敏距离元件115可以生成数据值126(例如，从间接飞行时间技术导出的距离值)，所述数据值被收集在数据阵列124内作为示意性地例示在图1B的底部处的值D16。可收集若干数据值126，直到数据阵列124包括有用的数据值的集合(例如，多个数据值可从每个光敏距离元件115被收集并且随后平均)，如本领普通技术人员将明白的。在一些情况下，数据阵列124可被保存到非暂时性计算机可读介质。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个数据值126或数据阵列124(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。数据阵列124可以结合三维成像模块102用来快速地收集三维数据，如以下进一步所论述。
三维成像模块102包括强度成像器103。强度成像器103可包括光学组件(未描绘)和如图1C中所描绘的光敏强度元件阵列104。光敏强度元件阵列104包括一个或多个光敏元件105，诸如光电二极管、CMOS，和/或基于CCD的像素。在一些情况下，光敏元件105的数目可显著地大于光敏距离元件115。例如，光敏元件105的数目可以数千或数百万计，而光敏距离元件115的数目可以个位数(例如，三个或九个)到数百计。
三维成像模块102进一步包括第二发光部件106(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)。第二发光部件106可为可操作以产生第二特定波长(例如，704nm、850nm、940nm)或波长范围108(例如，红外和/或近红外光)。在一些情况下，第二发光部件106可操作以生成大致上漫射光，而在其他情况下，第二发光部件106可操作以生成编码光且或生成纹理(例如，纹理光)。
光敏强度元件至少对于由第二发光部件106生成的第二特定波长或波长范围108敏感。在一些情况下，强度成像器103包括实质上使除第二特定波长或波长范围108以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。在一些情况下，光敏强度元件105分别对于第一特定波长或波长范围116和第二特定波长或波长范围108敏感。在一些情况下，强度成像器103包括分别实质上使除第一特定波长或波长范围116和第二特定波长或波长范围108以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。
三维成像模块102可操作以收集由单个或多个感兴趣区域诸如第一感兴趣区域118和额外的感兴趣区域120构成的场景的三维成像数据。强度成像器103可收集一个强度图像122或多个强度图像。类似于数据阵列124，从光敏元件105中的每一个收集的强度值或信号可有助于示意性地覆盖到如图1C中所描绘的光敏元件阵列104上的强度图像122。此外，可以收集多个强度值或信号，直到强度图像122适合于进一步分析或处理(例如，多个强度值或信号可以从每个光敏元件105被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，强度图像122被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个强度值或多个强度图像122(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。此外，在一些情况下，第一感兴趣区域118和额外的感兴趣区域120是通过对象识别协议和/或通过机器学习建立。
可通过使用从三维成像模块102收集的强度图像122和数据阵列124快速地收集三维数据。也就是说，由三维成像模块102收集的数据可通过由距离测量模块110收集的数据增强。例如，数据值126(例如，D16)可指示面部或虹膜在所需要的距离(例如，d1)处，借此建立第一感兴趣区域118。对应于每一光敏元件115的数据值126可与光敏强度元件105或一组光敏强度元件105相关(例如，用所述光敏强度元件或所述一组光敏强度元件映射)。相关将需要关于三维成像模块102和距离测量模块110两者的信息，诸如光学组件(如果并入强度成像器103中)的焦距、光敏强度元件阵列104的尺寸，和光敏距离元件阵列114的尺寸，如本领域普通技术人员将明白的。因此，与捕获所需要的距离(例如，d1)内的数据值126的光敏元件115相关的那些光敏强度元件105可在强度图像122内建立第一感兴趣区域118。因此，如果需要强度图像122的进一步处理(例如，块匹配)，则仅对应于所需要的距离(例如，d1)的强度图像122的那个部分需要涉及进一步处理，借此最小化进一步处理强度图像122所需要的时间量。
除了三维数据的收集之外，光电子系统100的各种部件可为可操作以执行其他协议或收集额外的数据。例如，在一些情况下，第一发光部件112可以与强度成像器104协同使用来进行诸如眼睛追踪或凝视检测的任务。在这类情况下，第一发光部件112可以相对于强度成像器104倾斜以加强眼睛追踪或凝视检测(例如，以减少或消除直接视网膜反射和/或诸如来自眼镜或隐形眼镜的光谱反射)。在这类情况下第一发光部件112可以倾斜5°，而在其他情况下第一发光部件112可根据由光电子系统100的特定规格诸如工作距离(即，例如，光电子模块100与用户或对象之间的预期使用的距离)所必需的倾斜大于或小于5°。
图2A至图2C描绘用于收集三维数据的光电子系统的实例。三维数据可包括例如场景中的一个或多个感兴趣区域的三维图或其他三维表示。光电子系统200包括三维成像模块202和距离测量模块210。光电子系统200进一步包括处理器(未描绘)，并且在一些情况下，可包括非暂时性计算机可读介质。处理器可为可操作以支持三维成像模块202和距离测量模块210的操作，如本领域普通技术人员将明白的。此外，非暂时性计算机可读介质可包括存储在所述非暂时性计算机可读介质上的机器可读指令，所述机器可读指令在由处理器执行时，实现三维成像协议以获取三维数据。在一些情况下，处理器被实现为集成在诸如智能电话、平板计算机或膝上型计算机的主机设备内的中央处理单元(CPU)的部分。在一些情况下，例如，处理器包括微处理器芯片，或与光电子系统200的各种部件相关联的多个微处理器芯片。仍然在一些情况下，处理器包括驱动器、计算机代码、集成电路和为光电子系统200的操作所必需的其他电子部件，如本领域普通技术人员将明白的。
距离测量模块210包括第一发光部件212(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)和光敏距离元件阵列214。光敏距离元件阵列214包括一个或多个光敏元件215，诸如光电二极管、互补金属氧化物半导体(CMOS)和/或如图2B中所描绘的基于电荷耦合器件(CCD)的像素。第一发光部件212可为可操作以生成第一特定波长(例如，704nm、850nm、940nm)或波长范围216(例如，红外和/或近红外光)。在一些情况下，第一发光部件212可操作以生成大致上漫射光，而在其他情况下，第一发光部件212可操作以生成编码光或可为可操作以生成纹理(例如，纹理光)。在一些情况下，距离测量模块210可操作以经由调制光技术诸如间接飞行时间技术收集数据。例如，第一发光部件212可为可操作以生成调制光，而光敏距离元件阵列214可为可操作以收集并且解调调制光。
距离测量模块210可为可操作以从包括单个或多个感兴趣区域诸如第一感兴趣区域218和额外的感兴趣区域220的场景收集数据。在一些情况下，第一感兴趣区域218包括人面部，而额外的感兴趣区域220包括与第一感兴趣区域218的人面部相关联的一只眼睛或一双眼睛。在一些情况下，例如，第一感兴趣区域218包括眼睛，而额外的感兴趣区域220包括虹膜和/或瞳孔。仍然其他变化在本公开的范围内，例如，多个额外的感兴趣区域220是可能的。在一些情况下，第一感兴趣区域218和额外的感兴趣区域220两者可表示两个相异面部。在一些情况下，可通过预定所需要的对象距离建立感兴趣区域。例如，当面部或虹膜在所需要的距离d1处时，面部或虹膜建立第一感兴趣区域218。在一些情况下，感兴趣区域可通过面部识别协议、对象识别协议、机器学习或用三维成像模块202和处理器，并且在一些情况下用非暂时性计算机可读介质实现的其他协议建立，如以下进一步所公开的。
从场景收集的数据可包括到第一感兴趣区域218和额外的感兴趣区域220的距离或接近度。感兴趣区域诸如第一感兴趣区域218和额外的感兴趣区域220可在距光电子系统200的不同距离处，在图2A中分别由d1和d2表示，但是所述第一感兴趣区域和所述额外的感兴趣区域不需要在不同距离处。从第一发光部件212生成的光可从感兴趣区域218、220反射并且撞击光敏距离元件阵列214。图2B描绘示意性地覆盖到光敏距离元件阵列214上的第一感兴趣区218和额外的感兴趣区域220。因此，距离测量模块210可以生成从光敏距离元件215收集的数据值226的数据阵列224。数字与感兴趣区域218、220的图像相当，其中用来显示图像的像素或其他元件对应于光敏距离元件215。
例如，在一些实现方式中，第一感兴趣区域218反射由第一发光部件212生成的光，所述光随后撞击位于如图2B中所例示的y6，x1处的光敏距离元件215。光敏距离元件215可生成数据值226(例如，从间接飞行时间技术导出的距离值)，所述数据值被收集在数据阵列224内作为示意性地例示在图2B的底部处的值D16。可以收集若干数据值226，直到数据阵列224包括有用的数据值的集合(例如，多个数据值可从每个光敏距离元件215被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，数据阵列224被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个数据值226或数据阵列224(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。数据阵列224可以结合三维成像模块202用来快速地收集三维数据，如以下进一步所论述。
三维成像模块202包括强度成像器203。强度成像器203可包括光学组件(未描绘)和如图1C中所描绘的光敏强度元件阵列204。光敏强度元件阵列204包括一个或多个光敏元件205，诸如光电二极管、CMOS，和/或基于CCD的像素。在一些情况下，光敏元件205的数目可显著地大于光敏距离元件215。例如，光敏元件205的数目可以数千或数百万计，而光敏距离元件215的数目可以个位数(例如，三个或九个)到数百计。
光敏强度元件至少对由第一发光部件212生成的第一特定波长或波长范围216敏感。在一些情况下，强度成像器203包括实质上使除第一特定波长或波长范围216以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。
三维成像模块202可操作以收集由单个或多个感兴趣区域诸如第一感兴趣区域218和额外的感兴趣区域220构成的场景的三维成像数据。强度成像器203可收集一个强度图像222或多个强度图像。类似于数据阵列224，从光敏元件205中每一个收集的强度值或信号可有助于示意性地覆盖到如图2C中所描绘的光敏元件阵列204上的强度图像222。此外，可以收集多个强度值或信号，直到强度图像222适合于进一步分析或处理(例如，多个强度值或信号可以从每个光敏元件205被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，强度图像222可被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个强度值或多个强度图像222(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。此外，在一些情况下，第一感兴趣区域218和额外的感兴趣区域220是通过对象识别协议和/或通过机器学习建立。
可通过使用从三维成像模块202收集的强度图像222和数据阵列快速地收集三维数据。也就是说，由三维成像模块202收集的数据可通过由距离测量模块210收集的数据增强。例如，数据值226(例如，D16)可指示面部或虹膜在所需要的距离(例如，d1)处，借此建立第一感兴趣区域218。对应于每个光敏元件215的数据值226可与光敏强度元件205或一组光敏强度元件205相关(例如，用所述光敏强度元件或所述一组光敏强度元件映射)。相关将需要关于三维成像模块202和距离测量模块210两者的信息，诸如光学组件(如果并入强度成像器203中)的焦距、光敏强度元件阵列204的尺寸，和光敏距离元件阵列214的尺寸，如本领域普通技术人员将明白的。因此，与捕获所需要的距离(例如，d1)内的数据值226的光敏元件215相关的那些光敏强度元件205可在强度图像222内建立第一感兴趣区域218。因此，假如需要强度图像222的进一步处理(例如，块匹配)，仅对应于所需要的距离(例如，d1)的强度图像222的那个部分需要涉及进一步处理，借此最小化进一步处理强度图像222所需要的时间量。此外，在一些情况下，数据阵列224和强度图像222可在相同时间，或大致上相同时间被收集，因为光敏强度元件阵列204和光敏距离元件阵列214两者至少对由第一发光部件212生成的第一特定波长或波长范围216敏感。
除了三维数据的收集之外，光电子系统200的各种部件可为可操作以执行其他协议或收集额外的数据。例如，在一些情况下，第一发光部件212可以与强度成像器204协同使用来进行诸如眼睛追踪或凝视检测的任务。在这类情况下，第一发光部件212可以相对于强度成像器204倾斜以加强眼睛追踪或凝视检测(例如，以减少或消除直接视网膜反射和/或诸如来自眼镜或隐形眼镜的光谱反射)。在这类情况下第一发光部件212可以倾斜5°，而在其他情况下第一发光部件212可根据由光电子系统200的特定规格诸如工作距离(即，例如，光电子模块200与用户或对象之间的预期使用的距离)所必需的倾斜大于或小于5°。
图3A至图3C描绘用于收集三维数据的光电子系统的另一实例。三维数据可包括例如场景中的一个或多个感兴趣区域的三维图或其他三维表示。光电子系统300包括三维成像模块302和距离测量模块310。光电子系统300进一步包括处理器(未描绘)，并且在一些情况下，可包括非暂时性计算机可读介质。处理器可操作以支持三维成像模块302和距离测量模块310的操作，如本领域普通技术人员将明白的。此外，非暂时性计算机可读介质可包括存储在所述非暂时性计算机可读介质上的机器可读指令，所述机器可读指令在由处理器执行时实现三维成像协议以获取三维数据。在一些情况下，处理器被实现为集成在诸如智能电话、平板计算机或膝上型计算机的主机设备内的中央处理单元(CPU)的部分。在一些情况下，例如，处理器包括微处理器芯片，或与光电子系统300的各种部件相关联的多个微处理器芯片。仍然在一些情况下，处理器包括驱动器、计算机代码、集成电路和为光电子系统300的操作所必需的其他电子部件，如本领域普通技术人员将明白的。
距离测量模块310包括第一发光部件312(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)和光敏距离元件阵列314。光敏距离元件阵列314包括一个或多个光敏元件315，诸如光电二极管、互补金属氧化物半导体(CMOS)和/或如图3B中所描绘的基于电荷耦合器件(CCD)的像素。第一发光部件312可为可操作以生成第一特定波长(例如，704nm、850nm、940nm)或波长范围316(例如，红外和/或近红外光)。在一些情况下，第一发光部件312可操作以生成大致上漫射光，而在其他情况下，第一发光部件312可操作以生成编码光或可为可操作以生成纹理(例如，纹理光)。在一些情况下，距离测量模块310可操作以经由调制光技术诸如间接飞行时间技术收集数据。例如，第一发光部件312可为可操作以生成调制光，而光敏距离元件阵列314可为可操作以收集并且解调调制光。
距离测量模块310可为可操作以从包括单个或多个感兴趣区域诸如第一感兴趣区域318和额外的感兴趣区域320的场景收集数据。在一些情况下，第一感兴趣区域318包括人面部，而额外的感兴趣区域320包括与第一感兴趣区域318的人面部相关联的一只眼睛或一双眼睛。在一些情况下，例如，第一感兴趣区域318包括眼睛，而额外的感兴趣区域320包括虹膜和/或瞳孔。仍然其他变化在本公开的范围内，例如，多个额外的感兴趣区域320是可能的。在一些情况下，第一感兴趣区域318和额外的感兴趣区域320两者可表示两个相异面部。在一些情况下，可通过预定所需要的对象距离建立感兴趣区域。例如，当面部或虹膜在所需要的距离d1处时，面部或虹膜建立第一感兴趣区域318。在一些情况下，感兴趣区域可通过面部识别协议、对象识别协议、机器学习或用三维成像模块302和处理器，并且在一些情况下用非暂时性计算机可读介质实现的其他协议建立，如以下进一步所公开的。
从场景收集的数据可包括例如到第一感兴趣区域318和额外的感兴趣区域320的距离或接近度。感兴趣区域诸如第一感兴趣区域318和额外的感兴趣区域320可在距光电子系统300的不同距离处，在图3A中分别由d1和d2表示，但是所述第一感兴趣区域和所述额外的感兴趣区域不需要在不同距离处。在一些情况下，从第一发光部件312生成的光从感兴趣区域318、320反射并且撞击光敏距离元件阵列314。图3B描绘示意性地覆盖到光敏距离元件阵列314上的第一感兴趣区318和额外的感兴趣区域320。因此，距离测量模块310可生成从光敏距离元件315收集的数据值326的数据阵列324。数字与感兴趣区域318、220的图像相当，其中用来显示图像的像素或其他元件对应于光敏距离元件315。
例如，第一感兴趣区域318反射由第一发光部件312生成的光，所述光随后撞击位于如在图3B中所例示的y6，x1处的光敏距离元件315。光敏距离元件315可生成数据值326(例如，从间接飞行时间技术导出的距离值)，所述数据值被收集在数据阵列324内作为示意性地例示在图3B的底部处的值D16。可以收集若干数据值326，直到数据阵列324包括有用的数据值的集合(例如，多个数据值可从每个光敏距离元件315被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，数据阵列324可被保存到非暂时性计算机可读介质。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个数据值326或数据阵列324(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。数据阵列324可以结合三维成像模块302用来快速地收集三维数据，如以下进一步所论述。
三维成像模块302可以是例如立体摄影机组件并且可包括通过基线距离Δ分离的两个或更多个强度成像器303。两个或更多个强度成像器303可各自包括光学组件(未描绘)和如图3C中所描绘的光敏强度元件阵列304。光敏强度元件阵列304包括一个或多个光敏元件305，诸如光电二极管、CMOS，和/或基于CCD的像素。在一些情况下，光敏元件305的数目显著地大于光敏距离元件315。例如，光敏元件305可以数千或数百万计，而光敏距离元件315可以个位数(例如，三个或九个)或数百计。
光敏强度元件305至少对由第一发光部件312生成的第一特定波长或波长范围316敏感。在一些情况下，强度成像器303包括实质上使除第一特定波长或波长范围316以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。
三维成像模块302可操作以收集由单个或多个感兴趣区域诸如第一感兴趣区域318和额外的感兴趣区域320构成的场景的三维成像数据(例如，经由立体图像捕获)。强度成像器303可各自收集强度图像322或多个强度图像。类似于数据阵列324，从光敏元件305中每一个收集的强度值或信号可有助于示意性地覆盖到如图3C中所描绘的光敏元件阵列304上的强度图像322。此外，可以收集多个强度值或信号，直到强度图像322中每一个适合于进一步分析或处理(例如，多个强度值或信号可以从每个光敏元件305被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，强度图像322中每一个被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个强度值或多个强度图像322(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。此外，在一些情况下，第一感兴趣区域318和额外的感兴趣区域320是通过对象识别协议和/或通过机器学习建立。
对应于每个光敏元件315的数据值326可与光敏强度元件305或一组光敏强度元件305相关(例如，用所述光敏强度元件或所述一组光敏强度元件映射)。相关可需要关于三维成像模块302和距离测量模块310两者的信息，诸如光学组件(如果并入强度成像器303中)的焦距、光敏强度元件阵列304的尺寸，和光敏距离元件阵列314的尺寸，如本领域普通技术人员将明白的。
例如，可通过使用从三维成像模块302收集的强度图像322中的一个或多个和数据阵列324快速地收集三维数据。也就是说，由三维成像模块302收集的数据可通过由距离测量模块310收集的数据增强。
在另一实例中，在一些情况下，当数据值326(例如，D16)指示面部或虹膜在所需要的距离(例如，d1)处时，可快速地收集三维数据，借此建立第一感兴趣区域318。因此，与捕获所需要的距离(例如，d1)内的数据值326的光敏元件315相关的那些光敏强度元件305可在强度图像322内建立第一感兴趣区域318。因此，假如需要强度图像322的进一步处理(例如，块匹配)，则仅对应于所需要的距离(例如，d1)的强度图像322的那个部分需要涉及进一步处理，借此最小化进一步处理强度图像322所需要的时间量。
在一些情况下，当需要块匹配以确定两个或更多个强度图像322之间的视差时，可快速地收集三维数据。块匹配可通过首先根据数据阵列324建立视差的估计截短到强度图像322内的特定范围。因此，三维成像协议(例如，基于立体匹配、块匹配)可被有效地加速并且可使用较少计算和/或功率资源。
可通过使用从三维成像模块302收集的强度图像322中的一个或多个和数据阵列324快速地收集三维数据。也就是说，由三维成像模块302收集的数据可通过由距离测量模块310收集的数据增强。例如，数据值326(例如，D16)可指示面部或虹膜在所需要的距离(例如，d1)处，借此建立第一感兴趣区域318。对应于每个光敏元件315的数据值326可与光敏强度元件305或一组光敏强度元件305相关(例如，用所述光敏强度元件或所述一组光敏强度元件映射)。相关可需要关于三维成像模块302和距离测量模块310两者的信息，诸如光学组件(如果并入强度成像器303中)的焦距、光敏强度元件阵列304的尺寸，和光敏距离元件阵列314的尺寸，如本领域普通技术人员将明白的。因此，与捕获所需要的距离(例如，d1)内的数据值326的光敏元件315相关的那些光敏强度元件305可以在强度图像322内建立第一感兴趣区域318。因此，假如需要强度图像322的进一步处理(例如，块匹配)，则仅对应于所需要的距离(例如，d1)的强度图像322的那个部分需要涉及进一步处理，借此最小化进一步处理强度图像322所需要的时间量。此外，在一些情况下，数据阵列324和强度图像322是在相同时间，或大致上相同时间收集，因为光敏强度元件阵列304和光敏距离元件阵列314两者至少对由第一发光部件312生成的第一特定波长或波长范围316敏感。
除了三维数据的收集之外，光电子系统300的各种部件可为可操作以执行其他协议或收集额外的数据。例如，在一些情况下，第一发光部件312与强度成像器304协同使用来进行诸如眼睛追踪或凝视检测的任务。在这类情况下，第一发光部件312可以相对于强度成像器304倾斜以加强眼睛追踪或凝视检测(例如，以减少或消除直接视网膜反射和/或诸如来自眼镜或隐形眼镜的光谱反射)。在这类情况下第一发光部件312可以倾斜5°，而在其他情况下第一发光部件312可根据由光电子系统300的特定规格诸如工作距离(即，例如，光电子模块300与用户或对象之间的预期使用的距离)所必需的倾斜大于或小于5°。
图4A至图4C描绘用于收集三维数据的光电子系统的实例。三维数据可包括例如场景中的一个或多个感兴趣区域的三维图或其他三维表示。光电子系统400包括三维成像模块402和距离测量模块410。光电子系统400进一步包括处理器(未描绘)，并且在一些情况下，可包括非暂时性计算机可读介质。处理器可为可操作以支持三维成像模块402和距离测量模块410的操作，如本领域普通技术人员将明白的。此外，非暂时性计算机可读介质可包括存储在所述非暂时性计算机可读介质上的机器可读指令，所述机器可读指令在于处理器上执行时，实现三维成像协议以获取三维数据。在一些情况下，处理器被实现为集成在诸如智能电话、平板计算机或膝上型计算机的主机设备内的中央处理单元(CPU)的部分。在一些情况下，例如，处理器包括微处理器芯片，或与光电子系统400的各种部件相关联的多个微处理器芯片。仍然在一些情况下，处理器包括驱动器、计算机代码、集成电路和为光电子系统400的操作所必需的其他电子部件，如本领域普通技术人员将明白的。
距离测量模块410包括第一发光部件412(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)和光敏距离元件阵列414。光敏距离元件阵列414包括一个或多个光敏元件415，诸如光电二极管、互补金属氧化物半导体(CMOS)和/或如图4B中所描绘的基于电荷耦合器件(CCD)的像素。第一发光部件412可为可操作以生成第一特定波长(例如，704nm、850nm、940nm)或波长范围416(例如，红外和/或近红外光)。在一些情况下，第一发光部件412可操作以生成大致上漫射光，而在其他情况下，第一发光部件412可操作以生成编码光或可为可操作以生成纹理(例如，纹理光)。在一些情况下，距离测量模块410可操作以经由调制光技术诸如间接飞行时间技术收集数据。例如，第一发光部件412可为可操作以生成调制光，而光敏距离元件阵列414可为可操作以收集并且解调调制光。
距离测量模块410可为可操作以从包括单个或多个感兴趣区域诸如第一感兴趣区域418和额外的感兴趣区域420的场景收集数据。在一些情况下，第一感兴趣区域418包括人面部，而额外的感兴趣区域420包括与第一感兴趣区域418的人面部相关联的一只眼睛或一双眼睛。在一些情况下，例如，第一感兴趣区域418包括眼睛，而额外的感兴趣区域420包括虹膜和/或瞳孔。仍然其他变化在本公开的范围内，例如，多个额外的感兴趣区域420是可能的。在一些情况下，第一感兴趣区域418和额外的感兴趣区域420两者可表示两个相异面部。在一些情况下，可通过预定所需要的对象距离建立感兴趣区域。例如，当面部或虹膜在所需要的距离d1处时，面部或虹膜建立第一感兴趣区域418。在一些情况下，感兴趣区域可通过面部识别协议、对象识别协议、机器学习或用三维成像模块402和处理器，并且在一些情况下用非暂时性计算机可读介质实现的其他协议建立，如以下进一步所公开的。
从场景收集的数据可包括到第一感兴趣区域418和额外的感兴趣区域420的距离或接近度。感兴趣区域诸如第一感兴趣区域418和额外的感兴趣区域420可在距光电子系统400的不同距离处，在图4A中分别由d1和d2表示，但是不需要在不同距离处。从第一发光部件412生成的光可从感兴趣区域418、420反射并且撞击光敏距离元件阵列414。图4B描绘示意性地覆盖到光敏距离元件阵列414上的第一感兴趣区418和额外的感兴趣区域420。因此，距离测量模块410可以生成从光敏距离元件415收集的数据值426的数据阵列424。数字与感兴趣区域418、420的图像相当，其中用来显示图像的像素或其他元件对应于光敏距离元件415。
例如，第一感兴趣区域418反射由第一发光部件412生成的光，所述光然后撞击位于如图4B中所例示的y6，x1处的光敏距离元件415。光敏距离元件415可生成数据值426(例如，从间接飞行时间技术导出的距离值)，所述数据值被收集在数据阵列424内作为示意性地例示在图4B的底部处的值D16。可以收集若干数据值426，直到数据阵列424包括有用的数据值的集合(例如，多个数据值可从每个光敏距离元件415被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，数据阵列424被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个数据值426或数据阵列424(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。数据阵列424可以结合三维成像模块402用来快速地收集三维数据，如以下进一步所论述。
三维成像模块402可为立体摄影机组件并且可包括通过基线距离Δ分离的两个或更多个强度成像器403。两个或更多个强度成像器403可各自包括光学组件(未描绘)和如4C中所描绘的光敏强度元件阵列404。光敏强度元件阵列404包括一个或多个光敏元件405，诸如光电二极管、CMOS，和/或基于CCD的像素。在一些情况下，光敏元件405的数目显著地大于光敏距离元件415。例如，光敏元件405可以数千或数百万计，而光敏距离元件415可以个位数(例如，三个或九个)或数百计。
三维成像模块402进一步包括第二发光部件406(例如，发光二极管、激光二极管，或发光二极管和/或激光二极管阵列)。第二发光部件406可为可操作以产生第二特定波长(例如，704nm、850nm、940nm)或波长范围408(例如，红外和/或近红外光)。在一些情况下，第二发光部件406可操作以生成大致上漫射光，而在其他情况下，第二发光部件406可操作以生成编码光和/或生成纹理(例如，纹理光)。
光敏强度元件405至少对由第二发光部件406生成的第二特定波长或波长范围408敏感。在一些情况下，强度成像器403包括实质上使除第二特定波长或波长范围408以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。在一些情况下，光敏强度元件405分别对第一特定波长或波长范围416和第二特定波长或波长范围408敏感。在一些情况下，强度成像器403包括分别实质上使除第一特定波长或波长范围416和第二特定波长或波长范围408以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。
光敏强度元件对由第二发光部件406生成的第二特定波长或波长范围408敏感。在一些情况下，强度成像器403包括实质上使除第二特定波长或波长范围408以外的所有波长衰减的一个光谱滤波器或多个光谱滤波器(例如，电介质和/或染料光谱滤波器)。
三维成像模块402可操作以收集由单个或多个感兴趣区域诸如第一感兴趣区域418和额外的感兴趣区域420构成的场景的三维成像数据(例如，经由立体图像捕获)。强度成像器403可各自收集强度图像422或多个强度图像。类似于数据阵列424，从光敏元件405中每一个收集的强度值或信号可有助于示意性地覆盖到如图4C中所描绘的光敏元件阵列404上的强度图像422。此外，可以收集多个强度值或信号，直到强度图像422中每一个适合于进一步分析或处理(例如，多个强度值或信号可以从每个光敏元件405被收集并且随后平均)，如本领域普通技术人员将明白的。在一些情况下，强度图像422中每一个可被保存到计算机可读介质(例如，计算机存储器)。此外，在一些情况下，处理器可进行操作或执行步骤以操纵每个强度值或多个强度图像422(例如，插值、平均，和滤波)，如本领域普通技术人员将明白的。此外，在一些情况下，第一感兴趣区域418和额外的感兴趣区域420是通过对象识别协议和/或通过机器学习建立。
对应于每个光敏元件415的数据值426可与光敏强度元件405或一组光敏强度元件405相关(例如，用所述光敏强度元件或所述一组光敏强度元件映射)。相关可需要关于三维成像模块402和距离测量模块410两者的信息，诸如光学组件如果并入强度成像器403中)的焦距、光敏强度元件阵列404的尺寸，和光敏距离元件阵列414的尺寸，如本领域普通技术人员将明白的。
可通过使用从三维成像模块402收集的强度图像422中的一个或多个和数据阵列424快速地收集三维数据。也就是说，由三维成像模块402收集的数据可通过由距离测量模块410收集的数据增强。
例如，在一些情况下，当数据值426(例如，D16)指示面部或虹膜在所需要的距离(例如，d1)处时，可快速地收集三维数据，借此建立第一感兴趣区域418。因此，与捕获所需要的距离(例如，d1)内的数据值426的光敏元件415相关的那些光敏强度元件405可在强度图像422内建立第一感兴趣区域418。因此，如果需要强度图像422的进一步处理(例如，块匹配)，则仅对应于所需要的距离(例如，d1)的强度图像422的那个部分需要涉及进一步处理，借此减少或最小化进一步处理强度图像422所需要的时间量。
在另一实例中，在一些情况下，当需要块匹配以确定两个或更多个强度图像422之间的视差时，可快速地收集三维数据。块匹配可通过首先根据数据阵列424建立视差的估计截短到强度图像422内的特定范围。因此，三维成像协议(例如，基于立体匹配、块匹配)可被有效地加速并且可使用较少计算和/或功率资源。
除了三维数据的收集之外，光电子系统400的各种部件可为可操作以执行其他协议或收集额外的数据。例如，在一些情况下，第一发光部件412与强度成像器403协同使用来进行诸如眼睛追踪或凝视检测的任务。在这类情况下，第一发光部件412可以相对于强度成像器403倾斜以加强眼睛追踪或凝视检测(例如，以减少或消除直接视网膜反射和/或诸如来自眼镜或隐形眼镜的光谱反射)。在这类情况下第一发光部件412可以倾斜5°，而在其他情况下第一发光部件412可根据由光电子系统400的特定规格诸如工作距离(即，例如，光电子模块400与用户或对象之间的预期使用的距离)所必需的倾斜大于或小于5°。
图5至图7描绘用于以示例性光电子系统400的三维数据的收集的示例性过程。然而，其他光电子系统可将所公开的示例性过程或其变体使用于根据本公开的三维数据的收集，如本领域普通技术人员将明白的。此外，以下示例性过程可被执行来用于经由通过数据增强的三维成像协议的生物计量数据的收集；然而，过程不需要限于生物计量数据的收集。例如，可经由所公开的过程或其变体收集场景中的对象(未必是得到生物计量数据的对象)的三维数据，如本领域普通技术人员将明白的。
图5描绘用于通过示例性三维成像模块402的三维数据的收集的示例性处理，所述三维数据通过由距离测量模块410收集的数据阵列424增强。在强度图像收集操作502中，用三维成像模块402捕获含有对象的场景的至少两个强度图像422。例如，第二发光部件406可在场景中生成纹理，随后两个强度成像器404中每一个可以捕获至少一个强度图像422。在一些情况下，对象是人受试者。在数据收集步骤504中，用距离测量模块410捕获含有三维对象的场景的数据。距离测量模块410可以经由飞行时间技术收集数据。例如，第一发光部件412可生成具有第一特定波长或波长范围416的调制光。并且光敏距离元件阵列414可以检测并解调入射调制光。因此，可生成数据阵列424(例如，距离值阵列)。
在映射操作506中，将数据424映射到强度图像422中的至少一个。可通过使用如本领域普通技术人员将明白的例如校准数据、基线距离和光学参数执行映射操作506。映射506提供强度图像422中的至少一个与数据阵列424之间的对应。因此，强度图像422中至少一个的部分(例如，一个像素或多个像素)可与数据阵列424的部分相关联。例如，与位于y6，x1(参见图4B)处的光敏距离元件415相关联的数据可与强度图像422中一个的对应部分(例如，在图4C中突出的部分)相关联。
在增强操作508中，用数据阵列424增强三维成像协议(例如，立体匹配，和块匹配)。例如，可使用至少两个强度图像422执行块匹配(即，一个强度图像可为参考图像，并且另一个强度图像可为搜索图像，如以上所论述)。因为块匹配协议被执行以便经由针对搜索图像中的匹配参考块(即，来自参考图像)搜索/扫描确定视差(并且随后确定距离、深度数据)，所以可通过首先使用数据阵列424作为第一视差估计将搜索截短到特定范围。因此，三维成像协议(例如，基于立体匹配、块匹配)可被有效地加速并且可使用较少计算和/或功率资源。
图6描绘用于通过示例性三维成像模块402的三维数据的收集的示例性处理，所述三维数据通过由距离测量模块410收集的数据阵列424增强。在强度图像收集操作602中，用三维成像模块402捕获含有对象的场景的至少两个强度图像422。例如，第二发光部件406可在场景中生成纹理；随后两个强度成像器404中每一个可以捕获至少一个强度图像422。在一些情况下，对象是例如人受试者。在第一感兴趣区域步骤604中，经由第一感兴趣区域协议建立第一感兴趣区域418。例如，在一些情况下，通过对象识别协议和/或机器学习建立第一感兴趣区域418。在一些情况下，第一感兴趣区域418是例如面部；因此，在这类情况下，第一感兴趣区域协议可包括面部识别协议(例如，基于人面部的特征的鉴别协议)。
在数据收集操作606中，用距离测量模块410捕获含有对象的场景的数据。距离测量模块410可以经由飞行时间技术收集数据。例如，第一发光部件412可生成具有第一特定波长或波长范围416的调制光。并且光敏距离元件414可检测并解调入射调制光。因此，可生成数据阵列424(例如，深度图)。
在映射操作608中，将数据424映射到强度图像422中至少一个中的第一感兴趣区域418。可根据本公开通过使用如普通技术人员将明白的例如校准数据、基线距离和光学参数执行映射操作608。映射操作608提供强度图像422中至少一个中的第一感兴趣区域418与数据阵列424之间的对应。因此，强度图像422中至少一个的第一感兴趣区域418内的部分(例如，一个像素或多个像素)可与数据阵列424的部分相关联。例如，与位于y6，x1(参看图4B)处的光敏距离元件415相关联的数据可与强度图像422中一个的对应部分(例如，在图4C中突出的部分)相关联。
在增强操作610中，用数据阵列424增强三维成像协议(例如，包括立体匹配、块匹配)。此外，在增强操作610中，三维成像协议可限于对应于第一感兴趣区域418的强度图像422中至少两个中的部分。例如，可使用对应于至少两个强度图像422内的第一感兴趣区域418的部分执行块匹配(即，一个强度图像中的第一感兴趣区域418可为参考图像，并且另一个强度图像中的第一感兴趣区域418可为搜索图像)。因为块匹配协议被执行以便经由针对搜索图像中的匹配参考块(即，来自参考图像)搜索/扫描确定视差(并且随后确定距离、深度数据)，所以可通过首先使用数据阵列424作为第一视差估计将搜索截短到特定范围。因此，三维成像协议(例如，包括立体匹配、块匹配)可被有效地加速并且可使用较少计算和/或功率资源。在这个实例中，因为仅获得第一感兴趣区域418(例如，人受试者的面部)的三维成像数据，所以可进一步加速三维成像协议。
图7描绘用于通过示例性三维成像模块402的三维数据的收集的示例性处理，所述三维数据通过由距离测量模块410收集的数据阵列424增强。在强度图像收集操作702中，用三维成像模块402捕获含有对象的场景的至少两个强度图像422。例如，第二发光部件406可在场景中生成纹理；随后两个强度成像器404可各自捕获至少一个强度图像422。在一些情况下，对象是例如人受试者。在第一感兴趣区域步骤704中，经由第一感兴趣区域协议建立第一感兴趣区域418。例如，在一些情况下，通过对象识别协议和/或机器学习建立第一感兴趣区域418。在一些情况下，第一感兴趣区域418是例如面部；因此，在这类情况下，第一感兴趣区域协议可包括面部识别协议(例如，基于人面部的特征的鉴别协议)。
在数据收集操作706中，用距离测量模块410捕获含有对象的场景的数据。距离测量模块410可以经由飞行时间技术收集数据。例如，第一发光部件412可生成具有第一特定波长或波长范围416的调制光。并且光敏距离元件414可检测并解调入射调制光。因此，可生成数据阵列424(例如，深度图)。
在映射操作708中，将数据424映射到强度图像422中至少一个中的第一感兴趣区域418。可根据本公开使用如普通技术人员将明白的例如校准数据、基线距离和光学参数执行映射操作708。映射708提供强度图像422中至少一个中的第一感兴趣区域418与数据阵列424之间的对应。因此，强度图像422中至少一个的第一感兴趣区域418内的部分(例如，一个像素或多个像素)可与数据阵列424的部分相关联。例如，与位于y6，x1(参看图4B)处的光敏距离元件415相关联的数据可与强度图像422中一个的对应部分(例如，在图4C中突出的部分)相关联。
在额外的感兴趣区域操作710中，经由额外的感兴趣区域协议建立额外的感兴趣区域420。例如，在一些情况下，通过对象识别协议和/或机器学习建立额外的感兴趣区域420。在一些情况下，通过使用数据阵列424建立额外的感兴趣区域420。在一些情况下，额外的感兴趣区域420是例如眼睛、虹膜、角膜，和/或瞳孔。在另一映射操作712中，将数据424映射到强度图像422中至少一个中的额外的感兴趣区域420。可根据本公开使用如普通技术人员将明白的例如校准数据、基线距离和光学参数执行映射操作712。映射操作712提供强度图像422中至少一个中的额外的感兴趣区域420与数据阵列424之间的对应。因此，强度图像422中至少一个的额外的感兴趣区域420内的部分(例如，一个像素或多个像素)可与数据阵列424的部分相关联。在增强步骤714中，用数据阵列424增强三维成像协议(例如，包括立体匹配、块匹配)。
此外，在增强操作714中，三维成像协议可限于对应于第一感兴趣区域418和额外的感兴趣区域420的强度图像422中至少两个中的部分。例如，可使用对应于至少两个强度图像422内的第一感兴趣区域418的部分执行块匹配(即，一个强度图像中的第一感兴趣区域418可为参考图像，并且另一个强度图像中的第一感兴趣区域418可为搜索图像)。此外，可使用对应于至少两个强度图像422内的额外的感兴趣区域420的部分执行块匹配(即，一个强度图像中的额外的感兴趣区域420可为参考图像，并且另一个强度图像中的额外的感兴趣区域420可为搜索图像)。
在一些情况下，使用在使用对应于第一感兴趣区域418的部分的块匹配中的参数，和使用在使用对应于额外的感兴趣区域420的部分的块匹配中的参数可以是不同的。例如，在一些情况下，第一感兴趣区域418对应于人受试者的面部，而额外的感兴趣区域420对应于人受试者的角膜。在这类情况下，从具有相比于额外的感兴趣区域420的较粗糙参数(例如，块大小和/或搜索步骤)的第一感兴趣区域418收集视差数据(经由块匹配)可成为优点。例如，大块大小和/或大搜索步骤可以实现在与第一感兴趣区域418相关联的块匹配协议中，而较小块大小和/或较小搜索步骤可实现在与额外的感兴趣区域420相关联的块匹配协议中。尽管这个实例描述了与有源和/或无源立体三维成像技术相关联的参数，但可如以上所描述类似地改变与其他三维成像技术诸如编码光技术相关联的其他参数。在这类情况下，可针对额外的感兴趣区域420获得较准确和/或精确的三维成像数据，而可针对第一感兴趣区域418获得不太准确和/或精确的三维数据。
当确定例如精确的角膜曲率半径时，前面提到的方法可为有利的，其中这样的精确度对于面部(第一感兴趣区域418的实例)并非必要的。如以上所公开，可通过首先使用数据阵列424作为第一视差估计将块匹配搜索截短到特定范围。因此，三维成像协议(例如，包括立体匹配、块匹配)可被有效地加速并且可使用较少计算和/或功率资源。在这个实例中，因为仅获得第一感兴趣区域418(例如，人受试者的面部)和额外的感兴趣区域420(例如，人受试者的眼睛、虹膜、角膜或瞳孔)的三维成像数据，所以可进一步加速三维成像协议。此外，块匹配算法可被定制到每个感兴趣区域，如以上所公开，从而进一步加速三维成像数据的获取。
本说明书中所描述的主题和功能操作的各种方面可实现于数字电子电路系统中，或计算机软件、固件，或硬件，包括本说明书中所公开的结构和它们的结构等效物中，或它们中的一个或多个的组合中。本说明书中所描述的主题的实施方案可被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码用于由数据处理装置执行或以便控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机可读介质可为机器可读存储设备、机器可读存储衬底、存储器设备、实现机器可读传播信号的物质构成，或它们中的一个或多个的组合。术语“数据处理装置”和“计算机”涵盖用于处理数据的所有装置、设备，和机器，包括例如可编程处理器、计算机，或多个处理器或计算机。除了硬件之外，装置可包括为所讨论的计算机程序创造执行环境的代码，例如，构成处理器固件、协议堆栈、数据库管理系统、操作系统，或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用程序、脚本，或代码)可以任何形式的编程语言书写，所述编程语言包括编译或解释语言，并且所述计算机程序可部署为任何形式，包括作为独立程序或作为模块、部件、子例程，或适合在计算环境中使用的其他单元。计算机程序不必对应于文件系统中的文件。程序可存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论程序的单个文件中，或存储在多个协调一致的文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可被部署成在一个计算机上或在多个计算机上执行，所述多个计算机位于一个部位或跨多个部位分布并且通过通信网络互连。
本说明书中所描述的过程和逻辑流程可通过一个或多个可编程处理器进行，所述一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据操作和生成输出进行功能。过程和逻辑流程也可以由特殊用途逻辑电路系统进行，并且装置也可以被实现为特殊用途逻辑电路系统，所述特殊用途逻辑电路系统例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于计算机程序的执行的处理器包括例如通用微处理器和特殊用途微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。一般来说，处理器将从只读存储器或随机访问存储器或两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般来说，计算机将还包括，或操作性地连接来从用于存储数据的一个或多个大容量存储设备或将数据传送到所述一个或多个大容量存储设备，或进行两者操作，所述一个或多个大容量存储设备例如磁盘、磁光盘，或光盘。然而，计算机不需要具有这种设备。此外，计算机可嵌入另一设备中，所述另一设备例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，仅举数例。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如，EPROM、EEPROM，和闪速存储器设备；磁盘，例如，内部硬盘或可移除盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可通过特殊用途逻辑电路系统补充或合并在所述特殊用途逻辑电路系统中。
为了提供与用户的相互作用，可在计算机上实现本说明书中所描述的主题的实施方案，所述计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可借以向计算机提供输入的键盘和指向设备(例如，鼠标或跟踪球)。也可使用其他种类的设备来提供与用户的相互作用；例如，提供给用户的反馈可为任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以任何形式接收，包括声音、语言或触觉输入。
本说明书中所描述的主题的方面可在计算系统中实现，所述计算系统包括后端部件(例如，作为数据服务器)，或包括中间件部件(例如，应用程序服务器)，或包括前端部件(例如，具有用户可借以与所描述的主题的实现方式进行交互的图形用户界面或网络浏览器的客户端计算机)，或一个或多个这种后端、中间件或前端部件的任何组合。系统部件可通过任何数字数据通信形式或介质(例如，通信网络)而互连。通信网络的实例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络交互。客户端与服务器的关系由于在相应的计算机上运行且彼此具有客户端-服务器关系的计算机程序而产生。
尽管本说明书含有许多细节，但是这些细节不应被解释为对所要求保护的本发明的范围的限制，而应解释为特定于本发明的特定实施方案的特征的描述。本说明书中描述于单独实施方案的上下文中的某些特征也可在单个实施方案中以组合形式实现。相反，描述于单个实施方案的上下文中的各种特征也可以单独地或以任何适合的子组合实现于多个实施方案中。此外，虽然以上可将特征描述为在某些组合中起作用并且甚至最初如此要求，但是来自所要求组合的一个或多个特征在一些情况下可从组合去除，并且所要求组合可针对子组合或子组合的变化。
类似地，虽然操作在附图中以特定次序加以描绘，但是这不应被理解为要求这类操作以所示的特定次序或以相继次序进行，或者进行所有所例示的操作，以实现合乎需要的结果。在某些环境中，多任务和平行处理可为有利的。此外，以上所描述的实施方案中的各种系统部件的分离不应理解为在所有实施方案中要求这种分离，而应理解，所描述的程序部件和系统通常可一起整合在单个软件产品中或封装到多个软件产品中。
可对先前实现方式做出各种修改。以上在不同实现方式中所描述的特征可以组合在同一实现方式中。因而，其它实现方式在权利要求书的范围内。

Claims (20)

1.一种用于收集三维数据的光电子系统，所述光电子系统包含：
三维成像模块、距离测量模块，和处理器；
所述三维成像模块包括强度成像器，所述强度成像器包括光敏强度元件阵列和光学组件，该三维成像模块可操作以收集场景的至少一个强度图像；
所述距离测量模块包括第一发光部件和光敏距离元件阵列，所述第一发光部件可操作以生成第一特定波长或波长范围，所述光敏距离元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感，所述距离测量模块可操作以收集所述场景的数据；并且
所述处理器可操作以从所述至少一个强度图像和由所述距离测量模块收集的所述数据生成所述三维数据。
2.如权利要求1所述的光电子系统，其中所述三维成像模块进一步包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且其中所述光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感。
3.如权利要求2所述的光电子系统，其中所述第二发光部件可操作以将纹理生成到所述场景上，所述三维数据由生成到所述场景上的所述纹理增强。
4.如权利要求2所述的光电子系统，其中所述第二发光部件可操作以将编码光生成到所述场景上，所述三维数据由生成到所述场景上的所述编码光增强。
5.如权利要求1所述的光电子系统，其中所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。
6.如权利要求1所述的光电子系统，其中所述光敏强度元件阵列和所述光敏距离元件阵列对由所述第一发光部件生成的所述第一特定波长或波长范围敏感。
7.如权利要求1所述的光电子系统，其中所述三维成像模块进一步包括至少一个额外的强度成像器，所述至少一个额外的强度成像器通过基线与所述强度成像器分离，所述至少一个额外的强度成像器包括光敏强度元件阵列和光学组件。
8.如权利要求1所述的光电子系统，其中所述光敏强度元件阵列对由所述第一发光部件生成的光的所述第一特定波长或波长范围敏感。
9.如权利要求1所述的光电子系统，其进一步包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包含存储在所述非暂时性计算机可读介质上的指令，所述指令在由所述处理器执行时，使操作将被进行，所述操作包括：
用所述强度成像器捕获强度图像；
在所述强度图像内建立感兴趣区域；
用所述距离测量模块捕获所述数据；
将所述数据映射到所述强度图像内的所述感兴趣区域；以及
用所述强度图像和所述数据生成所述三维数据。
10.如权利要求7所述的光电子系统，其中所述非暂时性计算机可读介质进一步包含存储在所述非暂时性计算机可读介质上的指令，所述指令在由所述处理器执行时，使操作将被进行，所述操作包括：
用所述强度成像器捕获强度图像；
用所述至少一个额外的强度成像器捕获额外的强度图像；
在所述强度图像或所述额外的强度图像内建立感兴趣区域；
用所述距离测量模块捕获数据；
将所述数据映射到所述强度图像或所述额外的强度图像内的所述感兴趣区域；以及
用所述强度图像和所述数据生成所述三维数据，使得与所述感兴趣区域相关联的块匹配协议由所述数据增强。
11.如权利要求10所述的光电子系统，其中生成所述三维数据进一步包括从由所述距离测量模块捕获的所述数据估计视差和用所述估计视差增强所述块匹配协议。
12.如权利要求10所述的光电子系统，其中在所述强度图像或所述额外的强度图像内建立感兴趣区域包括用对象识别协议建立所述感兴趣区域。
13.如权利要求10所述的光电子系统，其中在所述强度图像或所述额外的强度图像内建立感兴趣区域包括用机器学习建立所述感兴趣区域。
14.如权利要求7所述的光电子系统，其中所述三维成像模块进一步包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且其中所述光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感，并且所述第二发光部件可操作以将纹理生成到所述场景上，所述三维数据由生成到所述场景上的所述纹理增强。
15.如权利要求14所述的光电子系统，其中所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。
16.如权利要求7所述的光电子系统，其中所述三维成像模块进一步包括第二发光部件，所述第二发光部件可操作以生成第二特定波长或波长范围，并且其中所述光敏强度元件阵列对由所述第二发光部件生成的所述第二特定波长或波长范围敏感，并且所述第二发光部件可操作以将编码光生成到所述场景上，所述三维数据由生成到所述场景上的所述编码光增强。
17.如权利要求16所述的光电子系统，其中所述第一发光部件可操作以生成调制光，并且所述光敏距离元件阵列可操作以解调入射在所述光敏距离元件阵列上的调制光。
18.一种用于用光电子系统捕获三维数据的方法，所述方法包含以下步骤：
用强度成像器捕获强度图像；
在所述强度图像内建立感兴趣区域；
用距离测量模块捕获数据；
将所述数据映射到所述第一感兴趣区域；以及
用所述强度图像和所述数据生成所述三维数据。
19.如权利要求18所述的用于捕获三维数据的方法，所述方法进一步包括：
用至少一个额外的强度图像捕获额外的强度图像；以及
用所述强度图像和所述数据生成所述三维数据，使得与所述感兴趣区域相关联的所述块匹配由所述数据增强。
20.如权利要求19所述的用于捕获三维数据的方法，所述方法进一步包括从由所述距离测量模块捕获的所述数据估计视差和用所述估计视差增强所述块匹配协议。
CN201780015701.4A 2016-02-17 2017-02-16 光电子系统 Pending CN109690247A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662296207P 2016-02-17 2016-02-17
US62/296,207 2016-02-17
PCT/SG2017/050071 WO2017142483A2 (en) 2016-02-17 2017-02-16 Optoelectronic systems

Publications (1)

Publication Number Publication Date
CN109690247A true CN109690247A (zh) 2019-04-26

Family

ID=59626242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780015701.4A Pending CN109690247A (zh) 2016-02-17 2017-02-16 光电子系统

Country Status (4)

Country Link
US (1) US20190107627A1 (zh)
CN (1) CN109690247A (zh)
TW (1) TWI731036B (zh)
WO (1) WO2017142483A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6965784B2 (ja) * 2018-02-13 2021-11-10 株式会社リコー 距離測定装置、およびこれを用いた移動体
CN110609299B (zh) * 2019-10-12 2023-08-01 合肥泰禾智能科技集团股份有限公司 一种基于tof的三维成像系统
KR102374211B1 (ko) * 2019-10-28 2022-03-15 주식회사 에스오에스랩 객체 인식 방법 및 이를 수행하는 객체 인식 장치
US20220136817A1 (en) * 2020-11-02 2022-05-05 Artilux, Inc. Reconfigurable Optical Sensing Apparatus and Method Thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115993A1 (en) * 2005-09-30 2009-05-07 Gunter Doemens Device and Method for Recording Distance Images
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
WO2013114890A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および測距装置
US20140071319A1 (en) * 2012-09-12 2014-03-13 Canon Kabushiki Kaisha Imaging device and imaging apparatus
WO2015008587A1 (ja) * 2013-07-16 2015-01-22 富士フイルム株式会社 撮影装置及び３次元計測装置
TW201544848A (zh) * 2014-04-03 2015-12-01 Heptagon Micro Optics Pte Ltd 包括用於不同波長之獨立成像器之結構化立體成像組件

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389315B2 (en) * 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115993A1 (en) * 2005-09-30 2009-05-07 Gunter Doemens Device and Method for Recording Distance Images
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
WO2013114890A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および測距装置
US20140071319A1 (en) * 2012-09-12 2014-03-13 Canon Kabushiki Kaisha Imaging device and imaging apparatus
WO2015008587A1 (ja) * 2013-07-16 2015-01-22 富士フイルム株式会社 撮影装置及び３次元計測装置
TW201544848A (zh) * 2014-04-03 2015-12-01 Heptagon Micro Optics Pte Ltd 包括用於不同波長之獨立成像器之結構化立體成像組件

Also Published As

Publication number Publication date
TW201740083A (zh) 2017-11-16
TWI731036B (zh) 2021-06-21
WO2017142483A3 (en) 2017-09-28
WO2017142483A2 (en) 2017-08-24
US20190107627A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
Hasinoff Photon, poisson noise
CN110427917B (zh) 用于检测关键点的方法和装置
Fanello et al. Learning to be a depth camera for close-range human capture and interaction
Hinojosa et al. Learning privacy-preserving optics for human pose estimation
US20170372527A1 (en) Systems and methods for scanning three-dimensional objects
EP3101624B1 (en) Image processing method and image processing device
JP2022525204A (ja) 少なくとも１つの材料特性を識別するための検出器
US20170059305A1 (en) Active illumination for enhanced depth map generation
US20120242795A1 (en) Digital 3d camera using periodic illumination
CN109690247A (zh) 光电子系统
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
Baek et al. Polka lines: Learning structured illumination and reconstruction for active stereo
KR102134476B1 (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
Carraro et al. Cost-efficient RGB-D smart camera for people detection and tracking
Gil et al. Online training of stereo self-calibration using monocular depth estimation
Sinha Pan-tilt-zoom (PTZ) camera
Zhang Perspective camera
Al-Temeemy The development of ViBe foreground detection algorithm using Lévy flights random update strategy and Kinect laser imaging sensor
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR102039166B1 (ko) 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Sun et al. Seeing far in the dark with patterned flash
Cheng et al. [Retracted] Design of Children’s Motor Skills Training Management System Based on Human Movement Recognition Algorithm of Depth Information
Zickler Photometric Invariants
Atkinson Polarized light in computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426