CN113272624A - 包括具有多个通带的带通滤波器的三维传感器 - Google Patents

包括具有多个通带的带通滤波器的三维传感器 Download PDF

Info

Publication number
CN113272624A
CN113272624A CN202080009889.3A CN202080009889A CN113272624A CN 113272624 A CN113272624 A CN 113272624A CN 202080009889 A CN202080009889 A CN 202080009889A CN 113272624 A CN113272624 A CN 113272624A
Authority
CN
China
Prior art keywords
light
wavelengths
human eye
photodetectors
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080009889.3A
Other languages
English (en)
Inventor
木村昭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magik Eye Inc
Original Assignee
Magik Eye Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magik Eye Inc filed Critical Magik Eye Inc
Publication of CN113272624A publication Critical patent/CN113272624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

一种示例设备包括光投射系统、光接收系统和控制器。光投射系统投射不可见的波长的光束。当各束入射在表面上时，各束在表面上形成图案。光接收系统获取在表面上的图案的图像。控制器基于图像计算到表面的距离。光接收系统包括透镜、成像传感器和带通滤波器。成像传感器包括对于可见光波长灵敏的第一光电检测器子集和对于不可见光波长灵敏的第二光电检测器子集。带通滤波器包括其范围对应于可见光波长的第一通带和其范围对应于不可见光波长的第二通带。

Description

包括具有多个通带的带通滤波器的三维传感器
相关申请的交叉引用
本申请要求2019年1月20日提交的美国临时专利申请序列号62/794,631的优先权，其全部内容被通过引用合并于此。
背景技术
序列号为14/920,246、15/149,323和15/149,429的美国专利申请描述了距离传感器的各种结构。这样的距离传感器可以是在各种应用中有用的，所述应用包括安全、游戏、无人载具控制和其它应用。
在这些申请中描述的距离传感器包括光投射系统(例如包括激光器、衍射光学元件和/或其它协作组件)，其将对于人眼实质上不可见的波长上的光束(例如红外光)投射到视场中。光束扩布以创建可以由适当的光接收系统(例如，透镜、图像捕获装置和/或其它组件)检测的图案(点、划线或其它人造物的图案)。当图案入射在视场中的物体上时，可以基于可以由传感器的光接收系统捕获的视场的一个或多个图像中的图案外观(例如，点、划线或其它人造物的位置关系)来计算从传感器到物体的距离。还可以确定物体的形状和尺寸。
例如，图案外观可以随着到物体的距离而改变。作为示例，如果图案包括点的图案，则当物体更靠近传感器时各点可以呈现为更靠近彼此，并且当物体更远离传感器时各点可以呈现为更远离彼此。
发明内容
一种示例设备包括光投射系统、光接收系统和控制器。光投射系统投射对于人眼不可见的波长的多个光束。当多个光束入射在表面上时，该多个光束在表面上形成图案。光接收系统获取表面上的图案的图像。控制器基于表面上的图案的图像计算到表面的距离。光接收系统包括透镜；成像传感器；以及位于透镜和成像传感器之间的带通滤波器。成像传感器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集。带通滤波器至少包括其范围对应于对于人眼可见的光波长的第一通带和其范围对应于对于人眼不可见的光波长的第二通带。
在另一示例中，一种方法包括：由距离传感器的处理系统控制距离传感器的光投射系统以投射多个光束，其中多个光束包括对于人眼不可见的波长的光，并且其中当多个光束入射在表面上时该多个光束在表面上形成图案；由处理系统控制距离传感器的光接收系统以获取表面上的图案的图像；以及由处理系统基于表面上的图案的图像计算到表面的距离。光接收系统包括：透镜；成像传感器，其包括多个光电检测器，其中多个光电检测器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集；以及第一带通滤波器，其位于透镜和成像传感器之间，其中第一带通滤波器至少包括其范围对应于对于人眼可见的光波长的第一通带和其范围对应于对于人眼不可见的光波长的第二通带。
在另一示例中，一种非暂态机器可读存储介质被编码有由距离传感器的处理器可执行的指令，其中当被执行时，指令引起处理器执行操作。操作包括：控制光投射系统以投射多个光束，其中多个光束包括对于人眼不可见的波长的光，并且其中当多个光束入射在表面上时，该多个光束在表面上形成图案；控制光接收系统以获取表面上的图案的图像；以及基于表面上的图案的图像计算到表面的距离。光接收系统包括：透镜；成像传感器，其包括多个光电检测器，其中多个光电检测器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集；以及第一带通滤波器，其位于透镜和成像传感器之间，其中第一带通滤波器至少包括其范围对应于对于人眼可见的光波长的第一通带和其范围对应于对于人眼不可见的光波长的第二通带。
附图说明
图1是图示本公开的示例距离传感器的框图。
图2图示图1的成像传感器的一个示例。
图3A至图3B是图示在图1中图示的示例距离传感器的光接收系统的滤波器和成像传感器的示例波长透射特性的线图。
图4图示示例定时图，其示出来自图1中图示的距离传感器的光投射系统和照明系统的发射的相对定时。
图5是图示根据本公开的用于操作用于三维深度感测和二维图像捕获的距离传感器的方法的一个示例的流程图，以及。
图6描绘用于操作用于三维深度感测和二维图像捕获的距离传感器的示例电子装置的高层级框图。
具体实施方式
本公开广泛地描述了用于操作包括具有多个通带的带通滤波器的三维传感器的设备、方法和非暂态计算机可读介质。如上面讨论的那样，诸如在序列号为14/920,246、15/149,323和15/149,429的美国专利申请中描述的那些的距离传感器通过投射光束——该光束扩布以在包括物体的视场中创建图案(例如点、划线或其它人造物的图案)——来确定到物体的距离(以及可能地确定物体的形状和尺寸)。光束可以被从一个或多个激光源进行投射，该激光源发射如下的光：其波长对于人眼实质上不可见但是对于(例如光接收系统的)适当检测器是可见的。然后可以基于图案的到检测器的外观来计算到物体的三维距离。
在一些示例中，光接收系统的检测器可以包括红、绿、蓝、红外(RGB+IR)传感器。RGB+IR传感器典型地包括用于捕获可见光和不可见(例如，红外)光这两者的图像的分离的感测元件(例如与带通滤波器组合的光电检测器)。这允许距离传感器同时产生物体的二维(例如RGB)图像和三维(例如IR)深度映射。在这样的应用中，RGB+IR传感器的红外感测元件典型地包括窄带宽滤波作用，其以由光投射系统发射的红外光的波长为中心。
然而，由于RGB+IR传感器的主要目的经常是获取正常的红外图像，因此红外感测元件(并且更具体地，红外带通滤波器)的传输带宽可能太宽而不允许同时获取二维图像和三维图像。例如，来自可见光波长(用于捕获二维图像)的噪声可能使得对不可见光波长(用于计算用于三维深度映射的距离)的检测困难。此外，由于大小和/或成本的考虑，利用窄带干涉滤波器(例如涂层滤波器)替代红外带通滤波器可能是不可行的。
本公开的示例包括具有光接收系统的距离传感器，其中成像传感器包括带通滤波器，该带通滤波器包括至少两个通带(即能够通过的频率或波长的范围)：可见光(即对于人眼可见的光，诸如RGB波长中的光)的第一通带和不可见光(即对于人眼不可见的光，诸如红外波长中的光)的第二通带。因此，不可见光通往成像传感器的被配置为检测不可见光的光电检测器，但是被阻止通往并非被配置为检测不可见光的光电检测器。
虽然本公开的示例是在RGB+IR传感器的示例上下文中描述的，但是在此公开的光接收系统的检测器可以替代地包括青色、品红色、黄色(CMY)+IR传感器。因此，虽然以下描述的示例可能参照RGB+IR传感器或RGB范围内的光波长，但是将领会的是，任何这样的参照等同地可应用于CMY+IR传感器和CMY范围内的光的波长。
图1是图示本公开的示例距离传感器100的框图。距离传感器100可以被用于检测到物体或表面102的距离。在一个示例中，距离传感器100共享在序列号为14/920,246、15/149,323和15/149,429的美国专利申请中描述的距离传感器的许多组件。例如，在一个示例中，距离传感器包括光投射系统104、光接收系统106和控制器108。可选地，距离传感器100可以进一步包括照明系统110。
在一个示例中，光投射系统可以是以类似于美国专利申请序列号16/701,949中描述的任何布置的方式布置的。例如，光投射系统104可以一般地包括激光发射器112、透镜114和衍射光学元件(DOE) 116。激光发射器112可以包括至少一个激光发光二极管(LED)，其发射在对于人眼实质上不可见的波长上的光束(例如，红外光)。在一个示例中，激光发射器112包括至少一个垂直腔表面发射激光器(VCSEL)或至少一个边发射激光器(EEL)。
透镜114可以包括被配置为放大由激光发射器112发射的光束的透镜。例如，透镜114可以包括具有正的光学焦强(power)的会聚透镜(例如双凸或平凸透镜)。在这种情况下，通过透镜114的准直光束可以在从焦点扩布或发散之前会聚到透镜114后面的焦点。
衍射光学元件116可以包括锥形镜、全息膜、光栅或使用干涉和衍射从准直的(例如单个的)束创建光束分布的另外的相位元件。衍射光学元件116可以被定位在透镜114的焦点处或附近，例如在透镜114和表面102之间。因此，光束可以通过衍射光学元件116，正如各束会聚在透镜114的焦点处或被在透镜114的焦点处准直那样。衍射光学元件116然后可以将准直的光划分成多个光束，该多个光束被分布以在表面102上产生投射图案。
虽然图1图示单个激光发射器112、透镜114和衍射光学元件116的组合，但是应当注意，光投射系统104可以包括任何数量的激光发射器/透镜/衍射光学元件的组合。例如，多个激光发射器/透镜/衍射光学元件的组合可以被布置在光接收系统106周围，例如以使得光接收系统106位于多个激光发射器/透镜/衍射光学元件的组合的中心。在此情况下，多个激光发射器/透镜/衍射光学元件的组合中的每个激光发射器/透镜/衍射光学元件的组合可以是以类似于在图1中图示的激光发射器112、透镜114和衍射光学元件116的方式配置的。
在一个示例中，由光投射系统104发射的多个光束从中心轴在多个不同的方向上散开。多个光束中的每对束之间的角度可以相等。当多个光束入射在表面102上时，每个束可以在表面102上创建光点(例如点、划线等)。总体上，由多个光束创建的光点形成上面描述的图案，可以根据该图案计算到表面102的距离。例如，图案可以包括其中多个点被布置成多个行和列的网格。
距离传感器100的光接收系统106定位为捕获被由光投射系统104投射到表面102上的图案的反射图像。在一个示例中，光接收系统106可以一般地包括透镜118、滤波器120和成像传感器122。
在一个示例中，透镜118可以是广角透镜，诸如鱼眼透镜，其创建达到180度的视场(例如，半球形视场)。
在一个示例中，滤波器120可以包括具有多个通带的第一带通滤波器(例如干涉滤波器)，其中多个通带中的至少第一通带和第二通带被配置为允许不同波长的光通过(但是阻断所有其它波长的光)。例如，第一通带可以传输对于人眼可见的一个或多个波长的光(例如RGB波长)，而第二通带可以传输对于人眼不可见的一个或多个波长的光(例如红外波长)。在一个示例中，第一带通滤波器的与第二通带对应的部分可以被涂覆。
在一个示例中，成像传感器122包括多个光电检测器(或像素)，其中多个光电检测器可以被布置成阵列。例如，图2图示图1的成像传感器122的一个示例。如在图2中图示那样，成像传感器122可以包括多个光电检测器2001-200n(下文中单独地称为“光电检测器200”或统称为“光电检测器200”)，其中光电检测器200被布置成正方形(例如，6×6)阵列。然而，在其它示例中，阵列可以更大或更小并且可以具有不同的形状。光电检测器200可以包括互补金属氧化物半导体(CMOS)光电检测器。
如由图2中的键指示的那样，多个光电检测器200可以包括对于不同波长的光灵敏的光电检测器。例如，多个光电检测器可以包括对于对人眼可见的光波长灵敏的光电检测器，诸如红光光电检测器(例如光电检测器2001)、绿光光电检测器(例如光电检测器2002)和蓝光光电检测器(例如光电检测器200n-1)。多个光电检测器还可以包括对于对人眼不可见的光波长灵敏的光电检测器，诸如红外光电检测器(例如光电检测器200n)。因此，多个光电检测器可以包括对于对人眼可见的光波长灵敏的第一光电检测器子集(例如RGB光电检测器)和对于对人眼不可见的光波长灵敏的第二光电检测器子集(例如IR光电检测器)。
滤波器120的通带可以被相应地定位。例如，允许可见的红光通过的通带可以位于成像传感器122的红光光电检测器200之上；允许可见的绿光通过的通带可以位于成像传感器122的绿光检测器200之上；允许可见的蓝光通过的通带位于成像传感器122的蓝光检测器200之上；并且允许不可见的红外光(或对于人眼不可见的其它波长的光)通过的通带可以位于成像传感器122的红外光电检测器200之上。因此，为了进行三维距离感测而发射的红外光可以仅被输入到具有IR滤波器的光电检测器200，而其它波长的光可以被由具有RGB滤波器的光电检测器辨识为彩色图像。因此，成像传感器122可以检测红光、绿光、蓝光和红外光，同时可以仅检测红外光，或者可以仅检测红光、绿光和蓝光。因为三维距离感测取决于光的投射图案的强度，并且二维成像取决于外部亮度，所以用于成像传感器122的IR部分和RGB部分的最佳曝光时间可以不同。
照明系统110——如果其被包括在距离传感器100中的话——可以被配置为提供在对于人眼不可见的波长上的光(例如红外光)。在一个示例中，照明系统110可以包括光源124、反射器126和滤波器128。
光源124可以包括LED光源，诸如通过脉冲电流操作的一个或多个白光LED。光源124可以能够发射包括可见波长和不可见(例如红外)波长这两者的光谱。反射器126可以包括反射表面(例如镜面)，其被构形为以均匀方式扩布由光源124发射的光。例如，反射器126可以包括闪光扩散器。反射器126可以具有锥形、抛物线形或其它形状。滤波器128可以包括第二带通滤波器，其允许对于人眼不可见的波长的光(例如红外光)通过，同时阻断由光源124发射的其它波长的光。
控制器108可以是可操作的以向光投射系统104、光接收系统106和照明系统110发送信号。例如，控制器108可以向光投射系统104发送信号以引起光投射系统104将光图案投射到表面102上。控制器108还可以控制在其期间内光投射系统104将光图案投射到表面102上的持续时间，以及光投射系统104利用其将光图案投射到表面102上的定时。例如，控制器108可以控制由光投射系统104的激光发射器112发射的脉冲的持续时间。
控制器108还可以向光接收系统106发送信号，以引起光接收系统106捕获投射到表面102上的光图案的图像和/或捕获表面102的二维(例如RGB)图像。在进一步的示例中，控制器108可以控制光接收系统106的曝光时间(例如在其期间内光接收系统的快门打开的持续时间)以及光接收系统106利用其捕获图像(包括表面102的图像)的定时。在一个示例中，控制器108可以为光接收系统106设置两个分离的曝光持续时间：第一曝光持续时间和第二曝光持续时间，在第一曝光持续时间期间，在光投射系统104将图案或光投射到表面102上的同时捕获表面102的图像(例如用于三维距离感测)，在第二曝光持续时间期间，在光投射系统104未将光图案投射到表面102上时的时间捕获表面102的图像(例如用于二维图像获取)。在一个示例中，控制器108可以在第一曝光持续时间和第二曝光持续时间之间交替。
控制器108还可以向照明系统110发送信号以引起照明系统110发光。控制器108还可以控制在其期间内照明系统110发射光的持续时间以及照明系统110利用其发射光的定时。例如控制器108可以控制由照明系统110的光源124发射的脉冲的持续时间。
在进一步的示例中，控制器108可以处理由光接收系统106获取的图像。例如控制器108可以被配置为处理所捕获的图像数据(例如三维距离数据和二维图像数据)以便计算到表面102的距离。例如该距离可以是根据在序列号为14/920,246、15/149,323和15/149,429的美国专利申请中描述的方法计算的。因此，在一个示例中，控制器108可以包括处理器，诸如在图6中图示并且在下面进一步详细描述的处理器602。
图3A至图3B是图示在图1中图示的示例距离传感器100的光接收系统106的滤波器120和成像传感器122的示例波长透射特性的线图。更具体地，图3A至图3B绘制了针对示例滤波器120和成像传感器122的对比于波长(以纳米为单位)的量子效率(作为所透射的光的百分比)。
在图3A中图示的示例中，滤波器120的红外通带实质上匹配于或窄于成像传感器122的红外光电检测器的通带。此外，由光投射系统104投射的相干光的波长与滤波器120的红外通带和成像传感器122的红外光电检测器的通带的重叠区匹配。
在图3B中图示的示例中，滤波器120的红外通带与成像传感器122的红外光电检测器的通带部分地匹配。此外，由光投射系统104投射的相干光的波长与滤波器120的红外通带和成像传感器122的红外光电检测器的通带的重叠区匹配。
如上面讨论的那样，由光投射系统104发射的相干光被表面102反射，被成像到光接收系统106的成像传感器122上，并且仅被成像传感器122(其中成像传感器122还包括RGB光电检测器)的红外光电检测器捕获。此外，当诸如滤波器120的带通滤波器被包括在光接收系统106中时，可以显著地截断不同于由光投射系统106发射的可能被由红外光电检测器接收的波长的光波长(例如可见或非红外波长)，这可以改进光接收系统106的信噪比(SNR)和由光接收系统106获取的图像。同时，成像传感器122的其它光电检测器(例如RGB光电检测器)可以捕获可见波长的光并且获取典型的二维(例如RGB)图像。
因此，将具有多个通带(包括可见光和不可见光这两者)的带通滤波器120包括在距离传感器的光接收系统106中确保成像传感器122的红外光电检测器200接收由光投射系统104发射的红外光，而RGB光电检测器200不接收由光投射系统104发射的红外光。此外，通过截断由光投射系统104发射的(多个)波长周围的波长，带通滤波器120还可以降低光接收系统106的SNR并且改进距离传感器100的三维感测能力。
在本公开的进一步的示例中，所公开的配置(包括带通滤波器120)可以与许多不同种类的RGB+IR成像传感器组合地实现。
在进一步的示例中，所公开的配置还可以与产生红外二维图像(例如暗场图像)而不是RGB二维图像的距离传感器配置组合地使用。在这种情况下，用于二维成像的红外照明可以是与为了进行三维距离感测而发射的红外光分离地发射的(例如从分离的红外光源发射和/或在不同的时间发射以最小化干扰)。针对用于二维成像的红外照明的曝光时间和针对为了进行三维距离感测而发射的红外光的曝光时间也可以不同(并且该差异可能随着在被成像的(多个)物体上的变化而变化)。然而，用于二维成像的红外照明仍然可以包括处在带通滤波器120的红外通带内的红外波长。
在还进一步的示例中，本公开的距离传感器100可以被实现在被配置为使用投射图像作为特征点来检测距离的立体相机配置中。
图4图示示例定时图，其示出来自图1中图示的距离传感器100的光投射系统104和照明系统110的发射的相对定时。如上面描述的那样，由照明系统110发射的光波长可以包括可见波长区和不可见(例如红外)波长区。
当由照明系统110发射的光波长是红外的时，光接收系统的成像传感器122的红外光电检测器可以检测由照明系统110发射的光。在这种情况下，由照明系统110发射的光可能干扰由光投射系统104发射的光束(其也可能包括红外波长)。这可能损害光接收系统的准确地检测由光投射系统104投射的光图案的能力。
因此，如在图4中图示那样，可以对光投射系统104和照明系统110进行控制(例如通过控制器108)从而光投射系统104和照明系统110在不同的时间发射其相应的光，以便最小化在成像传感器122处的干扰。
此外，如由定时偏移O1和O2图示的那样，可以控制光接收系统的快门的定时，从而在其期间内快门打开的时间并不与在其期间内光被(光投射系统104或照明系统110)发射的时间精确地相同。例如快门可以刚好在光发射开始之前或刚好在光发射开始之后打开，和/或快门可以刚好在光发射开始之前或刚好在光发射开始之后关闭。
图5是图示根据本公开的用于操作用于三维深度感测和二维图像捕获的距离传感器的方法500的一个示例的流程图。方法500可以是例如由图1中图示的控制器108或由图6中图示并且在下面进一步详细讨论的处理器602执行的。为了示例的目的，方法500被描述为由处理系统执行。
方法500可以在步骤502开始。在步骤504中，处理系统可以控制距离传感器的光投射系统以将光图案投射到表面(举例来说，例如其距离要被检测的物体)上，其中光图案是由具有对于人眼不可见的波长的多个光束创建的。例如多个光束可以包括红外光。如上面讨论的那样，光图案可以包括被布置成在表面上形成诸如网格的图案的光点。
在步骤506中，处理系统可以控制距离传感器的光接收系统以获取在表面上的光图案的三维图像，其中光接收系统包括RGB+IR成像传感器和具有多个通带的带通滤波器，包括允许不可见光波长通过的至少一个通带。
例如RGB+IR成像传感器可以包括多个光电检测器(或像素)，其中该多个光电检测器可以包括对于不同波长的光灵敏的光电检测器。作为示例，多个光电检测器可以包括对于对人眼可见的光波长灵敏的光电检测器，诸如红光光电检测器、绿光光电检测器和蓝光光电检测器。多个光电检测器还可以包括对于对人眼不可见的光波长灵敏的光电检测器，诸如红外光电检测器。
在这种情况下，带通滤波器的多个通带可以至少包括第一通带和第二通带。第一通带和第二通带可以被配置为允许不同波长的光通过(但是阻断所有其它波长的光)。例如第一通带可以传输对于人眼可见的一个或多个波长的光(例如RGB波长)，而第二通带可以传输对于人眼不可见的一个或多个波长的光(例如红外波长)。
因此，在步骤506的情况下，在步骤504中发射的不可见(例如红外)光可以由成像传感器的被配置为检测不可见光的光电检测器接收(可以通向所述光电检测器)；然而，不可见光可能不被成像传感器的其它光电检测器(例如RGB光电检测器)接收(可能被阻断去往该其它光电检测器)。
在步骤508中，基于在步骤506中获取的图像，处理系统可以计算到表面的距离或可以计算表面的三维深度映射。可以如序列号为14/920,246、15/149,323和15/149,429的美国专利申请中描述的那样执行计算。
在可选的步骤510(以虚框图示)中，处理系统可以控制距离传感器的照明系统以照明表面，其中由照明系统发射的光可以包括具有对于人眼不可见的波长的光以及具有对于人眼可见的波长的光。
在可选的步骤512(以虚框图示)中，处理系统可以控制距离传感器的光接收系统以获取被照射表面的二维图像。因此，在步骤512的情况下，在步骤510中发射的可见(例如RGB)光可以由成像传感器的被配置为检测可见光的光电检测器接收(可以通向所述光电检测器)；然而，可见光可能不被成像传感器的其它光电检测器(例如红外光电检测器)接收(可能被阻断去往该其它光电检测器)。
方法500可以在步骤514处结束。
应当注意，虽然没有明确指明，但是上面描述的方法500的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定应用，在方法500中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另外的装置。更进一步地，图5中的记述确定操作或涉及判定的框、功能或操作并非暗示实践确定操作的两个分支。换句话说，取决于确定操作的结果，可以不执行确定操作的分支之一。
图6描绘用于操作用于三维深度感测和二维图像捕获的距离传感器的示例电子装置600的高层级框图。像这样，电子装置600可以被实现为电子装置或系统的处理器，诸如距离传感器(例如如图1中的控制器108)。
如在图6中描绘的那样，电子装置600包括：硬件处理器元件602，例如中央处理单元(CPU)、微处理器或多核处理器；存储器604，例如随机存取存储器(RAM)和/或只读存储器(ROM)；用于操作用于三维深度感测和二维图像捕获的距离传感器的模块605；以及各种输入/输出装置606，例如存储装置，包括但是不限制于磁带驱动器、软盘驱动器、硬盘驱动器或光盘驱动器、接收器、发送器、显示器、输出端口、输入端口；以及用户输入装置，诸如键盘、小键盘、鼠标、麦克风、相机、激光源、以及LED光源等。
虽然示出一个处理器元件，但是应当注意，电子装置600可以采用多个处理器元件。更进一步地，虽然在图中示出一个电子装置600，但是如果针对特定的说明性示例以分布式或并行的方式实现如上面讨论的(多个)方法，即跨多个的或并行的电子装置实现上面的(多个)方法或整体的(多个)方法的框，则那么该图的电子装置600意图表示那些多个电子装置中的每个。
应当注意，本公开可以由机器可读指令实现和/或以机器可读指令和硬件的组合实现，例如，使用专用集成电路(ASIC)、包括现场可编程门阵列(FPGA)的可编程逻辑阵列(PLA)、或部署在硬件设备、通用计算机或任何其它硬件等同物上的状态机，例如与上面讨论的(多个)方法有关的计算机可读指令可以被用于配置硬件处理器以执行上面公开的(多个)方法的框、功能和/或操作。
在一个示例中，针对用于操作用于三维深度感测和二维图像捕获的距离传感器的本模块或处理605的指令和数据(例如机器可读指令)可以被加载到存储器604中并且被由硬件处理器元件602执行以实现如在上面与方法500有关地讨论的框、功能或操作。更进一步地，当硬件处理器执行指令以执行“操作”时，这可以包括硬件处理器直接执行操作和/或促进、引导另外的硬件设备或组件(例如协处理器等)或与另外的硬件设备或组件(例如协处理器等)协作以执行操作。
执行与上面描述的(多个)方法有关的机器可读指令的处理器可以被认为是编程的处理器或专用处理器。像这样，本公开的用于操作用于三维深度感测和二维图像捕获的距离传感器的本模块605可以被存储在有形的或物理的(广义上非暂态的)计算机可读存储装置或介质上，计算机可读存储装置或介质例如为易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁或光驱动器、装置或磁盘等。更具体地，计算机可读存储装置可以包括提供存储信息的能力的任何物理装置，所述信息诸如为要由处理器或电子装置(诸如安全传感器系统的计算机或控制器)访问的数据和/或指令。
将领会的是，上面公开的变型和其它特征和功能或其替换可以被组合到许多其它不同的系统或应用中。随后可以作出其各种当前未预见或未预期的替换、修改或变化，这些也意图被由随后的权利要求涵盖。

Claims (20)

1.一种设备，包括：
光投射系统，用于投射多个光束，其中所述多个光束包括对于人眼不可见的波长的光，并且其中当所述多个光束入射在表面上时，所述多个光束在表面上形成图案；
光接收系统，用于获取在表面上的图案的图像，其中光接收系统包括：
透镜；
成像传感器，其包括多个光电检测器，其中所述多个光电检测器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集；以及
第一带通滤波器，其位于透镜和成像传感器之间，其中第一带通滤波器至少包括第一通带和第二通带，第一通带的范围对应于对于人眼可见的光波长，第二通带的范围对应于对于人眼不可见的光波长；以及
控制器，用于基于表面上的图案的图像来计算到表面的距离。
2.根据权利要求1所述的设备，其中对于人眼不可见的光波长包括红外光。
3.根据权利要求1所述的设备，其中对于人眼可见的光波长包括红光、绿光和蓝光。
4.根据权利要求1所述的设备，其中对于人眼可见的光波长包括青色、品红色和黄色光。
5.根据权利要求1所述的设备，其中第二通带与第二光电检测器子集对于其灵敏的光波长重叠。
6.根据权利要求1所述的设备，其中第二通带比第二光电检测器子集对于其灵敏的光波长窄。
7.根据权利要求1所述的设备，其中第一通带与第一光电检测器子集对于其灵敏的光波长的范围相同。
8.根据权利要求1所述的设备，其中所述多个光束包括相干光。
9.根据权利要求1所述的设备，其中光投射系统包括垂直腔表面发射激光器。
10.根据权利要求1所述的设备，其中带通滤波器包括干涉滤波器。
11.根据权利要求1所述的设备，其中控制器进一步用于控制由光投射系统进行的多个束的投射并且用于控制由光接收系统进行的图像的获取。
12.根据权利要求1所述的设备，进一步包括：
照明系统，用于发射由光接收系统可检测的光，其中由照明系统发射的光包括对于人眼可见的光波长和对于人眼不可见的光波长。
13.根据权利要求12所述的设备，其中照明系统包括第二带通滤波器。
14.根据权利要求1所述的设备，其中第一带通滤波器被定位为允许在对于人眼不可见的光波长中的光通向第二光电检测器子集但是被阻止通向第一光电检测器子集。
15.根据权利要求14所述的设备，其中第一带通滤波器进一步被定位为允许在对于人眼可见的光波长中的光通向第一光电检测器子集但是被阻止通向第二光电检测器子集。
16.一种方法，包括：
通过距离传感器的处理系统控制距离传感器的光投射系统以投射多个光束，其中所述多个光束包括对于人眼不可见的波长的光，并且其中当所述多个光束入射在表面上时，所述多个光束在表面上形成图案；
通过处理系统控制距离传感器的光接收系统以获取在表面上的图案的图像，其中光接收系统包括：
透镜；
成像传感器，其包括多个光电检测器，其中所述多个光电检测器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集；以及
第一带通滤波器，其位于透镜和成像传感器之间，其中第一带通滤波器至少包括第一通带和第二通带，第一通带的范围对应于对于人眼可见的光波长，第二通带的范围对应于对于人眼不可见的光波长；以及
通过处理系统基于表面上的图案的图像来计算到表面的距离。
17.根据权利要求16所述的方法，其中对于人眼不可见的光波长包括红外光。
18.根据权利要求16所述的方法，进一步包括：
通过处理系统控制距离传感器的照明系统以对表面进行照明，其中由照明系统发射的光包括对于人眼可见的光波长和对于人眼不可见的光波长；以及
通过处理系统控制光接收系统以在对表面进行照明的同时获取表面的图像。
19.根据权利要求16所述的方法，其中第一带通滤波器被定位为允许在对于人眼不可见的光波长中的光通向第二光电检测器子集但是被阻止通向第一光电检测器子集，并且其中第一带通滤波器进一步被定位为允许在对于人眼可见的光波长中的光通向第一光电检测器子集但是被阻止通向第二光电检测器子集。
20.一种编码有由距离传感器的处理器可执行的指令的非暂态机器可读存储介质，其中当被执行时，指令引起处理器执行操作，操作包括：
控制光投射系统以投射多个光束，其中所述多个光束包括对于人眼不可见的波长的光，并且其中当所述多个光束入射在表面上时，所述多个光束在表面上形成图案；
控制光接收系统以获取在表面上的图案的图像，其中光接收系统包括：
透镜；
成像传感器，其包括多个光电检测器，其中所述多个光电检测器包括对于对人眼可见的光波长灵敏的第一光电检测器子集和对于对人眼不可见的光波长灵敏的第二光电检测器子集；以及
第一带通滤波器，其位于透镜和成像传感器之间，其中第一带通滤波器至少包括第一通带和第二通带，第一通带的范围对应于对于人眼可见的光波长，第二通带的范围对应于对于人眼不可见的光波长；以及；
基于表面上的图案的图像来计算到表面的距离。
CN202080009889.3A 2019-01-20 2020-01-13 包括具有多个通带的带通滤波器的三维传感器 Pending CN113272624A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962794631P 2019-01-20 2019-01-20
US62/794631 2019-01-20
PCT/US2020/013300 WO2020150131A1 (en) 2019-01-20 2020-01-13 Three-dimensional sensor including bandpass filter having multiple passbands

Publications (1)

Publication Number Publication Date
CN113272624A true CN113272624A (zh) 2021-08-17

Family

ID=71608472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009889.3A Pending CN113272624A (zh) 2019-01-20 2020-01-13 包括具有多个通带的带通滤波器的三维传感器

Country Status (6)

Country Link
US (1) US11483503B2 (zh)
EP (1) EP3911920A4 (zh)
JP (1) JP2022518023A (zh)
CN (1) CN113272624A (zh)
TW (1) TW202043804A (zh)
WO (1) WO2020150131A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234955B (zh) 2016-12-07 2022-03-29 魔眼公司 投影平行图案的距离传感器
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
EP3769505A4 (en) 2018-03-20 2021-12-01 Magik Eye Inc. ADJUSTING THE EXPOSURE OF A CAMERA FOR THREE-DIMENSIONAL DEPTH DETECTION AND TWO-DIMENSIONAL IMAGING
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020121677A1 (ja) * 2018-12-14 2020-06-18 パナソニックＩｐマネジメント株式会社 カメラシステム
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11578968B1 (en) * 2019-10-31 2023-02-14 President And Fellows Of Harvard College Compact metalens depth sensors
JP2023504157A (ja) 2019-12-01 2023-02-01 マジック アイ インコーポレイテッド 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
CN115151945A (zh) 2020-01-05 2022-10-04 魔眼公司 将三维相机的坐标系转成二维相机的入射点
CN113985425A (zh) * 2020-07-10 2022-01-28 广州印芯半导体技术有限公司 测距装置以及测距方法
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1126412A2 (en) * 2000-02-16 2001-08-22 Fuji Photo Film Co., Ltd. Image capturing apparatus and distance measuring method
JP2005300210A (ja) * 2004-04-07 2005-10-27 Ryoei Engineering Kk 高熱対象物形状測定装置および高熱対象物距離測定装置
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
CN102483326A (zh) * 2009-07-03 2012-05-30 莱卡地球系统公开股份有限公司 用于生成对象的三维图像的设备
WO2012132087A1 (ja) * 2011-03-25 2012-10-04 三洋電機株式会社 受光装置、情報取得装置及び情報取得装置を有する物体検出装置
CN103196385A (zh) * 2012-01-10 2013-07-10 华新丽华股份有限公司 立体扫瞄装置及其立体扫瞄方法
CN204887163U (zh) * 2014-06-26 2015-12-16 半导体元件工业有限责任公司 图像像素阵列和照相机模块
KR20160020323A (ko) * 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
WO2016084926A1 (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
US20160288330A1 (en) * 2015-03-30 2016-10-06 Google Inc. Imager for Detecting Visual Light and Projected Patterns
US20170347086A1 (en) * 2016-05-27 2017-11-30 Panasonic Intellectual Property Management Co., Ltd. Imaging system including light source, image sensor, and double-band pass filter
US20180041718A1 (en) * 2016-08-08 2018-02-08 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
CN107709925A (zh) * 2015-03-27 2018-02-16 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107850420A (zh) * 2015-05-10 2018-03-27 魔眼公司 距离传感器
US20180180404A1 (en) * 2016-12-22 2018-06-28 The Boeing Company Surface sensing systems and methods for imaging a scanned surface of a sample via sum-frequency vibrational spectroscopy

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
US5061062A (en) 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
ES2122536T3 (es) 1994-01-11 1998-12-16 Shell Int Research Composicion limpiadora.
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US6122039A (en) 1998-10-28 2000-09-19 Banner Engineering Corp. Method and apparatus to detect and report object displacement utilizing optical triangulation principles
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
JP2002056348A (ja) 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US20040041996A1 (en) 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US7460250B2 (en) 2003-10-24 2008-12-02 3Dm Devices Inc. Laser triangulation system
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US20050288956A1 (en) 2004-06-16 2005-12-29 Ewald Speicher Systems and methods for integrating business process documentation with work environments
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
EP2149268A1 (en) 2007-04-23 2010-02-03 California Institute of Technology An aperture system with spatially-biased aperture shapes for 3-d defocusing-based imaging
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8285025B2 (en) 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US9170097B2 (en) 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
CN102027388B (zh) 2008-04-11 2013-08-28 瑞士联邦理工大学，洛桑(Epfl) 采用显示器作为照明源的基于飞行时间的成像系统
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE102008031942A1 (de) 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
JP5583761B2 (ja) 2009-06-01 2014-09-03 ホスラー ゲルト 動的基準フレームを用いた３次元表面検出方法及び装置
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US9151607B2 (en) 2010-05-31 2015-10-06 University Of North Carolina At Charlotte Dimensional measurement through a combination of photogrammetry and optical scattering
JP5612916B2 (ja) 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
CN103069250B (zh) 2010-08-19 2016-02-24 佳能株式会社 三维测量设备、三维测量方法
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
WO2012057008A1 (en) 2010-10-27 2012-05-03 Nikon Corporation Profile measuring apparatus, method for manufacturing structure, and structure manufacturing system
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
EP2685811B1 (en) 2011-03-17 2016-03-02 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
CN102859321A (zh) 2011-04-25 2013-01-02 三洋电机株式会社 物体检测装置以及信息取得装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
CN103649680B (zh) 2011-06-07 2016-11-09 形创有限公司 用于3d扫描的传感器定位
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
JP2014238259A (ja) 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
US9186470B2 (en) 2012-02-08 2015-11-17 Apple Inc. Shape reflector and surface contour mapping
CN104160243B (zh) 2012-03-01 2017-03-01 日产自动车株式会社 距离测量装置和距离测量方法
JP6079772B2 (ja) 2012-03-28 2017-02-15 富士通株式会社 撮像装置
WO2013173674A1 (en) 2012-05-18 2013-11-21 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US20150131054A1 (en) 2012-07-10 2015-05-14 Wavelight Gmbh Process and apparatus for determining optical aberrations of an eye
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
JP2014044113A (ja) 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9275459B2 (en) 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
KR102556725B1 (ko) 2012-10-24 2023-07-17 시리얼 테크놀로지즈 에스.에이. 조명 디바이스
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
DE102012022039B4 (de) 2012-11-09 2020-03-26 Mbda Deutschland Gmbh Modulare Laserbestrahlungseinheit
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
JP6211876B2 (ja) 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
EP2869263A1 (en) 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
BR112016015664A8 (pt) 2014-01-06 2020-06-09 Eyelock Llc aparelho para gerar repetidamente imagens de uma íris e dispositivo de reconhecimento de imagem de íris de uso repetitivo
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) * 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
WO2015166915A1 (ja) 2014-04-30 2015-11-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US20150347833A1 (en) 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
WO2016010481A1 (en) 2014-07-14 2016-01-21 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules operable to distinguish between signals indicative of reflections from an object of interest and signals indicative of a spurious reflection
CN206583415U (zh) 2014-07-29 2017-10-24 苹果公司 确定反射表面的均匀度的系统、表面分析设备和系统
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016024200A2 (en) 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
CN107407553B (zh) 2014-10-24 2020-07-28 魔眼公司 距离传感器
CN105981074B (zh) 2014-11-04 2018-02-02 深圳市大疆创新科技有限公司 用于标定成像装置的系统、方法和装置
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
WO2016094439A1 (en) * 2014-12-08 2016-06-16 Munoz Luis Daniel Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6152395B2 (ja) 2015-03-09 2017-06-21 テスト リサーチ， インク． 光学検出システム
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
KR101904181B1 (ko) 2015-03-22 2018-10-04 페이스북, 인크. 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑
JP6340477B2 (ja) 2015-03-26 2018-06-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2016157601A1 (ja) 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
DE112015006244T5 (de) 2015-03-30 2017-11-16 Fujifilm Corporation Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
KR102473740B1 (ko) 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
DE102015209143B4 (de) 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
CN108271407B (zh) 2015-06-09 2020-07-31 三菱电机株式会社 图像生成装置、图像生成方法以及图案光生成装置
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
EP3115742B1 (en) 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
US10223793B1 (en) 2015-08-05 2019-03-05 Al Incorporated Laser distance measuring method and system
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
EP3349643B1 (en) 2015-09-23 2021-02-17 East Carolina University Methods, systems and computer program products for determining object distances and target dimensions using light emitters
US20170094251A1 (en) 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN108369089B (zh) 2015-11-25 2020-03-24 三菱电机株式会社 3维图像测量装置及方法
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
CN110234955B (zh) 2016-12-07 2022-03-29 魔眼公司 投影平行图案的距离传感器
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
WO2018155486A1 (ja) * 2017-02-21 2018-08-30 株式会社ナノルクス 固体撮像素子及び撮像装置
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
WO2018211588A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
WO2019041116A1 (zh) 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
WO2019106033A1 (en) 2017-11-28 2019-06-06 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
EP3769505A4 (en) 2018-03-20 2021-12-01 Magik Eye Inc. ADJUSTING THE EXPOSURE OF A CAMERA FOR THREE-DIMENSIONAL DEPTH DETECTION AND TWO-DIMENSIONAL IMAGING
JP7039388B2 (ja) 2018-05-24 2022-03-22 株式会社トプコン 測量装置
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10916023B2 (en) 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US10638104B2 (en) 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US11158074B1 (en) 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
JP2020139869A (ja) 2019-02-28 2020-09-03 キヤノン株式会社 計測装置、算出方法、システム及びプログラム
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1126412A2 (en) * 2000-02-16 2001-08-22 Fuji Photo Film Co., Ltd. Image capturing apparatus and distance measuring method
JP2005300210A (ja) * 2004-04-07 2005-10-27 Ryoei Engineering Kk 高熱対象物形状測定装置および高熱対象物距離測定装置
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
CN102483326A (zh) * 2009-07-03 2012-05-30 莱卡地球系统公开股份有限公司 用于生成对象的三维图像的设备
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
WO2012132087A1 (ja) * 2011-03-25 2012-10-04 三洋電機株式会社 受光装置、情報取得装置及び情報取得装置を有する物体検出装置
CN103196385A (zh) * 2012-01-10 2013-07-10 华新丽华股份有限公司 立体扫瞄装置及其立体扫瞄方法
US20150381907A1 (en) * 2014-06-26 2015-12-31 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
CN204887163U (zh) * 2014-06-26 2015-12-16 半导体元件工业有限责任公司 图像像素阵列和照相机模块
KR20160020323A (ko) * 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
WO2016084926A1 (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
CN107709925A (zh) * 2015-03-27 2018-02-16 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
US20160288330A1 (en) * 2015-03-30 2016-10-06 Google Inc. Imager for Detecting Visual Light and Projected Patterns
CN107850420A (zh) * 2015-05-10 2018-03-27 魔眼公司 距离传感器
US20170347086A1 (en) * 2016-05-27 2017-11-30 Panasonic Intellectual Property Management Co., Ltd. Imaging system including light source, image sensor, and double-band pass filter
US20180041718A1 (en) * 2016-08-08 2018-02-08 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
US20180180404A1 (en) * 2016-12-22 2018-06-28 The Boeing Company Surface sensing systems and methods for imaging a scanned surface of a sample via sum-frequency vibrational spectroscopy

Also Published As

Publication number Publication date
US11483503B2 (en) 2022-10-25
WO2020150131A1 (en) 2020-07-23
EP3911920A4 (en) 2022-10-19
US20200236315A1 (en) 2020-07-23
JP2022518023A (ja) 2022-03-11
TW202043804A (zh) 2020-12-01
EP3911920A1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
US11483503B2 (en) Three-dimensional sensor including bandpass filter having multiple passbands
US11381753B2 (en) Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
KR101951318B1 (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US10574909B2 (en) Hybrid imaging sensor for structured light object capture
KR102432765B1 (ko) Tof 카메라 시스템 및 그 시스템과의 거리를 측정하는 방법
US9599463B2 (en) Object detection device
US9743065B2 (en) Method and apparatus generating color and depth images
JP5201825B2 (ja) 距離画像取得装置及び方法
WO2011102025A1 (ja) 物体検出装置および情報取得装置
KR20150065473A (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
US11614517B2 (en) Reducing interference in an active illumination environment
KR20130027671A (ko) 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
WO2016149570A1 (en) Spectral imaging sensors and methods with time of flight seneing
CN108507944B (zh) 用于光学检测物体的系统及方法
WO2013015145A1 (ja) 情報取得装置および物体検出装置
US10890839B1 (en) Structured light imaging device
WO2023078986A1 (en) Eye safety for projectors
CN114270220A (zh) 利用激光脉冲串突发和门控传感器的3d主动深度感测
RU2543688C2 (ru) Камера и оптическая система для получения 3d изображений (варианты)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination