CN113330327A - 使用脉冲束稀疏阵列的深度感测校准 - Google Patents

使用脉冲束稀疏阵列的深度感测校准 Download PDF

Info

Publication number
CN113330327A
CN113330327A CN201980090030.7A CN201980090030A CN113330327A CN 113330327 A CN113330327 A CN 113330327A CN 201980090030 A CN201980090030 A CN 201980090030A CN 113330327 A CN113330327 A CN 113330327A
Authority
CN
China
Prior art keywords
array
regions
target scene
incident
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980090030.7A
Other languages
English (en)
Inventor
Z·罗斯
M·肖娃尔
M·拉芬费尔德
S·齐诺
T·欧吉雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113330327A publication Critical patent/CN113330327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by at least one potential-jump barrier or surface barrier, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier or surface barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier or surface barrier the potential barrier working in avalanche mode, e.g. avalanche photodiode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/30—Structure or shape of the active region; Materials used for the active region
    • H01S5/32—Structure or shape of the active region; Materials used for the active region comprising PN junctions, e.g. hetero- or double- heterostructures

Abstract

深度感测装置(20)包括辐射源(21)，该辐射源被配置为朝向目标场景(32)发射第一多个光脉冲束(30)。第二多个感测元件(78)的阵列(24)被配置为输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个光脉冲束。光收集光学器件(34)被配置为将目标场景成像到感测元件的阵列上。处理和控制电路(26,28,35)被耦接以从该阵列接收信号，并且被配置为在感测元件上搜索，以便响应于该信号而标识阵列的从目标场景反射的光脉冲入射在其上的相应区域，并且处理来自所标识区域的信号以便确定光脉冲的相应到达时间。

Description

使用脉冲束稀疏阵列的深度感测校准
技术领域
本发明整体涉及用于深度映射的系统和方法，并且具体地涉及光束源和在飞行时间感测中使用的传感器阵列。
背景技术
现有的和新兴的消费者应用已产生对实时三维(3D)成像器日益增长的需求。这些成像设备也称为深度传感器、深度映射器或光探测和测距(LiDAR)传感器，其使得能够通过用光学束照明目标场景并分析反射的光学信号来远程测量与目标场景中每个点的距离(并且常常还有强度)-被称为目标景深。用于确定与目标场景上每个点的距离的常用技术涉及将一个或多个脉冲光学束朝向目标场景传输，然后测量光学束在从源行进到目标场景并返回到与源相邻的检测器阵列时所花费的往返时间，即飞行时间(ToF)。
一些ToF系统在测量光子到达时间中使用单光子雪崩二极管(SPAD)(也称为盖革模式雪崩光电二极管(GAPD))。例如，美国专利9,997,551(其公开内容以引用方式并入本文)描述了包括SPAD感测元件阵列的感测设备。每个感测元件包括光电二极管和局部偏置电路，该光电二极管包括p-n结，该局部偏置电路被耦接以在偏置电压下将p-n结反向偏置，该偏置电压大于p-n结的击穿电压足够的裕度，使得入射在p-n结上的单个光子触发从该感测元件输出的雪崩脉冲。偏置控制电路被耦接以将感测元件中的不同感测元件中的偏置电压设定为不同的相应值。
美国专利申请公布2017/0176579(其公开内容以引用方式并入本文)描述了这种可变偏置能力在选择性地致动SPAD阵列中的各个感测元件或感测元件组中的用途。为此，电光设备包括发射至少一束光脉冲的激光源、跨目标场景传输并扫描至少一个光束的光束转向设备、以及感测元件阵列。每个感测元件输出指示感测元件上的单个光子的入射时间的信号。(此类阵列中的每个感测元件还称为“像素”。)集光光学器件将由所传输的束扫描的目标场景成像到阵列上。电路被耦接以致动阵列的仅选定区域中的感测元件，并且与该至少一个束的扫描同步地在阵列上方扫过所述选定区域。
发明内容
下文描述的本发明的实施方案提供了改进的深度映射系统和此类系统的操作方法。
因此，根据本发明的一个实施方案提供了包括辐射源的深度感测装置，该辐射源被配置为朝目标场景发射第一多个光脉冲束。第二多个感测元件的阵列被配置为输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个脉冲束。光收集光学器件被配置为将目标场景成像到感测元件的阵列上。处理和控制电路被耦接以从该阵列接收信号，并且被配置为在感测元件上搜索，以便响应于该信号而标识阵列的从目标场景反射的光脉冲入射在其上的相应区域，并且处理来自所标识区域的信号以便确定光脉冲的相应到达时间。
在一些实施方案中，辐射源包括至少一个垂直腔面发射激光器(VCSEL)，并且可包括VCSEL的阵列。除此之外或另选地，感测元件包括单光子雪崩二极管(SPAD)。
在一些实施方案中，该处理和控制电路被配置为将所标识区域中的每一个所标识区域中的感测元件分组在一起以限定超像素，并且将来自超像素中的每一个超像素中的感测元件的信号一起处理以便确定相应到达时间。在所公开的实施方案中，该处理和控制电路包括多个处理单元，其中每一个处理单元被耦接以处理来自超像素中的相应一个超像素的信号。除此之外或另选地，该处理和控制电路被配置为在标识相应区域之后，仅致动所标识区域中的每一个所标识区域中的感测元件，而阵列中的其余感测元件处于非活动状态。
在一些实施方案中，该处理和控制电路被配置为通过以下操作来标识阵列的从目标场景反射的光脉冲入射在其上的相应区域：选择所述反射光脉冲可能入射在其上的一组候选区域；以及在阵列上从候选区域中的每一个候选区域开始执行迭代搜索，同时操作辐射源并接收该信号以找到阵列的从目标场景反射的光脉冲入射在其上的区域。在一个实施方案中，该处理和控制电路被配置为基于装置的标称设计值以及组装公差和操作公差来标识候选区域。该处理和控制电路可被配置为通过重复地从未从其接收到时序信号的那些感测元件移位到相邻感测元件来执行迭代搜索，直到从其接收到信号的区域的数量超过预设阈值。
在其他实施方案中，该处理和控制电路被配置为通过以下操作来标识阵列的从目标场景反射的光脉冲入射在其上的相应区域：找到阵列的从目标场景反射的光脉冲入射在其上的候选区域的初始集合；基于该初始集合来计算模型，该模型预测阵列的预期从目标场景反射的光脉冲入射在其上的附加区域的位置；以及在由该模型预测的位置上搜索，同时操作辐射源并接收该信号以便标识阵列的预期从目标场景反射的光脉冲入射在其上的附加区域。在本发明所公开的实施方案中，该处理和控制电路被配置为迭代地调整该模型，直到从其接收到信号的区域的数量超过预设阈值。该处理和控制电路可被配置为通过以下操作来调整模型：将所标识的附加区域添加到该初始集合以产生区域的新集合，并且基于该新集合来更新模型。
另选地或除此之外，该模型选自由同型模型、二次模型和低阶样条组成的模型类型组。
根据本发明的一个实施方案还提供了一种用于深度感测的方法，其包括驱动辐射源以朝向目标场景发射第一多个光脉冲束。将该目标场景成像到第二多个感测元件的阵列，该第二多个感测元件的阵列被配置为输出信号，该信号指示感测元件上光子的相应入射时间，其中第二多个感测元件超过第一多个光脉冲束。在感测元件上搜索，以便响应于该信号标识阵列的从目标场景反射的光脉冲入射在其上的相应区域。处理来自所标识区域的信号，以便确定光脉冲的相应到达时间。
结合附图，从下文中对本发明的实施方案的详细描述将更全面地理解本发明，在附图中：
附图说明
图1是根据本发明的实施方案的深度映射系统的示意性侧视图；
图2A是根据本发明的实施方案的用于图1的深度映射系统中的辐射源的示意性侧视图；
图2B是根据本发明的实施方案的用于图2A的辐射源中的发射器阵列的示意性前视图；
图2C是根据本发明的另一实施方案的可用于图2A的辐射源中的发射器阵列的示意性前视图；
图3A是根据本发明的实施方案的投影到目标场景上的斑点图案的示意图；
图3B是根据本发明的实施方案的ToF感测阵列的示意性前视图；
图3C是根据本发明的实施方案的图3B的ToF感测阵列的一部分的示意性细部图，图3A的目标场景的区域中的斑点的图像被投射到这一部分上；
图4A和图4B是根据本发明的实施方案的ToF感测阵列的示意性前视图，其示出了被选择用于在两个不同时间段内激活和读出的多组超像素；
图5是示意性地示出根据本发明的实施方案的用于处理来自超像素的信号的电路的框图；
图6是示意性地示出根据本发明的实施方案的用于标识接收激光斑点的SPAD阵列上的像素的方法的流程图；以及
图7是示意性地示出根据本发明的另一实施方案的用于标识接收激光斑点的SPAD阵列上的像素的方法的流程图。
具体实施方式
概述
在上述美国专利申请公布2017/0176579中描述的一些实施方案中，SPAD被分组在一起成为“超像素”，其中术语“超像素”是指一组相互相邻的像素以及直接耦接到这些像素的数据处理元件。在系统操作期间的任何时刻，仅阵列的将接收来自光束的反射照明的一个或多个区域中的感测元件例如通过所选超像素中SPAD的适当偏置而被致动，而其余的感测元件处于非活动状态。因此，感测元件只有在其信号提供有用信息时才被致动。该方法减少了背景信号，从而增强了信号与背景的比率，并且降低了检测器阵列的电力需求和必须附接到SPAD阵列的数据处理单元的数量这两者。
在这种深度映射系统中要解决的一个问题是要使用的超像素的尺寸和位置。对于准确深度映射，在高信号/背景比的情况下，重要的是超像素包含反射束的大部分能量被成像到上面的检测器元件，而不接收反射束的感测元件保持不活动。然而，即使在使用发射器的静态阵列时，反射束在检测器阵列上的位置也可例如由于随时间推移的热和机械变化以及光学效应(诸如视差)而改变。
响应于该问题，本发明的一些实施方案提供了用于校准SPAD阵列上激光斑点的位置的方法。为此，处理和控制电路从阵列接收定时信号并在感测元件上搜索，以便标识阵列的相应区域，从目标场景反射的光脉冲入射在其该相应区域上。可以使用深度映射系统的详细知识以便预先计算要成像到SPAD阵列上的反射激光斑点的可能区域。这些区域中的随机搜索将快速会聚到阵列上的激光斑点的正确位置。另选地或除此之外，可在初始化阶段中标识激光斑点的位置的一小部分子集。这些位置可在后续迭代阶段中被使用以预测和验证进一步的激光斑点的位置，直到已定位足够数量的激光斑点。
即使在精细校准之后，在深度映射系统的操作中也可能发生：激光斑点预期被成像在其上的像素或超像素中的一些不能输出可用的定时信号。在一些情况下，辅助图像数据可用于标识场景的在深度映射方面有问题的区域，并且在必要时重新校准超像素位置。该辅助图像数据可例如由彩色图像传感器提供，该彩色图像传感器捕获与SPAD阵列配准的二维(2D)图像。
在下文所述的实施方案中使用的发射器阵列是“稀疏的”，因为朝向目标场景发射的光学辐射脉冲束的数量显著小于阵列中接收从场景反射的辐射的像素(即，SPAD或其他感测元件)的数量。可从发射器阵列获得的照明功率被投射到场景中的斑点的对应稀疏网格上。然后，装置中的处理和控制电路接收并处理仅来自这些斑点被成像到其上的像素的信号，以便测量深度坐标。
斑点被成像到其上的像素在本文中被称为“有效像素”，并且“超像素”由多组相邻有效像素构成，例如2×2组。阵列中落入有效像素之间的像素被忽略，并且根本不需要被致动或读出，因为它们不会有助于深度测量并且仅增加背景水平和噪声。另选地，超像素中可包括不同数量的像素，诸如一个、两个、三个或更多个像素。此外，尽管本文所述的实施方案具体地涉及矩形超像素，但超像素中的该组SPAD像素可具有不同的形状，诸如例如菱形、三角形、圆形或不规则形状。由于少量视差，斑点在SPAD像素内的确切位置根据到场景的距离而略微变化。在任何给定时间，来自超像素的SPAD像素的信号被一起处理，以测量给定激光斑点的强度(亮度(intensity))和其飞行时间两者。另外，来自SPAD像素的信号可被处理为用于确定超像素内的激光斑点的位置的单个信号。
使用稀疏发射器阵列的优点在于可用功率预算可集中在少量投射斑点中，而不是分布在感测阵列的整个视场上。由于该光学功率集中在少量的斑点中，来自对应的有效像素的信号电平(以及因此这些像素的ToF测量的准确性)得到增强。这种信号增强对于长程深度测量和在强环境光的条件下(诸如户外)的深度映射特别有益。
斑点的稀疏阵列中的光学功率的集中可通过将发射器布置成多个群组并且交替致动这些群组来进一步增强。由发射器生成的激光束通常由准直透镜准直，并且可由衍射光学元件(DOE)复制，以便增加投射斑点的数量。从发射器的不同群组发射的光学辐射脉冲在从目标场景反射之后入射在不同的相应组的有效像素上。然后，处理和控制电路可与对应发射器群组的致动同步地接收和处理来自这些相应组中的有效像素的信号。因此，在装置操作中的任何给定周期期间，处理和控制电路需要接收和处理仅来自一组有效感测元件的信号，而所有其他组保持非活动状态。这种多群组同步操作使得可以在不同组感测元件之间对处理资源进行时分复用，从而降低电路复杂性和功耗。
由于从目标场景反射的斑点稀疏地成像到SPAD阵列上，因此可能的超像素的数量远大于激光斑点的数量，并且SPAD阵列中的像素总数的仅一小部分应在任何给定时间有效并且耦接到处理单元以用于测量飞行时间的目的。因此，需要关于在任何给定时间激活哪些SPAD超像素的信息。
可在工厂校准期间初始确定SPAD像素到处理单元的映射，即SPAD像素到超像素的分配。然而，操作期间的温度变化以及机械冲击可改变映射的机械参数，从而修改SPAD阵列上激光斑点的位置，并且需要在现场操作期间重新校准。可以使用穷举搜索来确定哪些SPAD像素连接到处理单元，其中搜索所有像素以检测激光斑点；但是该方法具有至少两个基本问题：
·一些激光斑点可能不会落在场景中的对象上，或者可能落在吸收激光波长的对象上，因此不返回脉冲。因此，搜索可能并不总是成功的。
·由于激光斑点的分布在与SPAD阵列的像素数量进行比较时非常稀疏，因此穷举搜索将需要大量曝光并且将花费很长时间。
本文所述的本发明的实施方案通过提供用于校准SPAD阵列上激光斑点的位置的改进方法来解决这些问题。这些方法不仅可应用于附图中所示和下文所述的各种阵列，而且可应用于其他基于SPAD的系统，诸如包括多个SPAD群组的系统，以及各种尺寸的SPAD，以及使用各种发射器和发射器阵列(包括其光束由DOE复制的发射器)的系统。然后可通过激活SPAD像素并逐个群组执行校准来将本发明的方法扩展(加以必要的变更)到多群组系统。
在所公开的实施方案中，利用深度映射系统的详细知识预先计算待成像到SPAD阵列上的反射激光斑点的可能区域。这些区域中的搜索(例如随机搜索)将快速会聚到阵列上的激光斑点的正确位置。
另一个所公开的实施方案使用两阶段解决方案：在初始化阶段中，标识激光斑点的位置的一小部分子集，并且在后续迭代阶段中，通过模型预测并验证另外的激光斑点的位置。利用斑点检测的迭代步骤来精修模型并添加位置，直到已定位足够数量的激光斑点。
系统描述
图1是根据本发明的实施方案的深度映射系统20的示意性侧视图。深度映射系统20包括辐射源21，其发射M个单独光束(例如，M可为大约500)。辐射源包括布置成二维阵列22的多个发射器群组(如图2B中详细所示)、以及光束光学器件37。发射器通常包括固态器件，诸如垂直腔面发射激光器(VCSEL)或其他类型的激光器或发光二极管(LED)。光束光学器件通常包括准直透镜并且可包括衍射光学元件(DOE，未示出)，该衍射光学元件复制阵列22所发射的实际光束以产生投射到场景32上的M个光束。(例如，每个群组中具有4×4布置的16个VCSEL的四个像素群组的阵列可用于创建8×8光束，并且DOE可将每个光束分成3×3复本以给出总共24×24个光束。)为简单起见，波束光学器件37的这些内部元件未示出。
系统20中的接收器23包括二维SPAD阵列24，连同J个处理单元28和用于将处理单元耦接到SPAD的选择线31，以及组合单元35和控制器26。SPAD阵列24包括多个检测器元件N，其远大于M，例如100×100像素或200×200像素。处理单元28的数量J取决于每个处理单元耦接到的SPAD阵列24的像素的数量，这将参考图4进行进一步描述。
阵列22与光束光学器件37一起朝向目标场景32发射M个脉冲束30。尽管光束30在图1中被描绘为宽度恒定的平行光束，但每个光束如衍射所指示的那样发散。此外，波束30彼此发散以覆盖场景32的所需区域。场景32反射或以其他方式散射入射在场景上的那些波束30。反射和散射的光束被物镜光学器件34收集，该物镜光学器件由图1中的透镜表示，其在阵列24上形成场景32的图像。因此，例如，波束30a已入射于的场景32上的小区域36被成像到SPAD阵列24上的小区域38上。
笛卡尔坐标系33限定深度映射系统20和场景32的取向。x轴和y轴在SPAD阵列24的平面中取向。z轴垂直于阵列并指向被成像到SPAD阵列32上的场景32。
为了清楚起见，处理单元28被图示成好像与SPAD阵列24分开，但是它们通常与SPAD阵列集成。类似地，组合单元35通常与SPAD阵列24集成。处理单元28与组合单元35一起包括硬件放大和逻辑电路，该硬件放大和逻辑电路感测和记录相应超像素中由SPAD输出的脉冲，并且因此测量产生脉冲的光子的到达时间以及入射在SPAD阵列24上的光学脉冲的强度。
如下文参考图4进一步描述的，处理单元28与组合单元35可组装阵列22所发射的多个脉冲的到达时间的直方图，并且因此输出指示与场景32中相应点的距离以及信号强度的信号。可用于该目的的电路例如在上述美国专利申请公布2017/0176579中有所描述。另选地或除此之外，处理单元28和组合单元35的一些或所有部件可与SPAD阵列24分开，并且可例如与控制器26集成。为了一般性起见，控制器26、处理单元28和组合单元35在本文中统称为“处理和控制电路”。
控制器26耦接到辐射源21和接收器23两者。控制器26交替致动阵列22中的发射器组以发射脉冲束。控制器还向接收器23中的处理和组合单元提供外部控制信号29，并且从处理和组合单元接收输出信号。输出信号可包括直方图数据，并且可由控制器26用于导出入射时间和信号强度两者，以及成像到SPAD阵列24上的每个激光斑点的精确位置。
为了最佳地利用可用的感测和处理资源，控制器26标识从目标场景32的对应区域反射的光学辐射的脉冲被透镜34成像到的SPAD阵列24的相应区域，并且选择超像素以对应于这些区域。不使用由这些区域之外的感测元件输出的信号，因此这些感测元件可被去激活，例如通过降低或关断这些感测元件的偏置电压。用于初始选择超像素以及用于验证和更新超像素的选择的方法在例如上述临时专利申请中有所描述。
外部控制信号29控制选择线31，使得每个处理单元28耦接到相应的超像素，该超像素包括例如四个SPAD像素。控制信号与对应的发射器群组的致动同步地选择要从其接收输出信号的超像素。因此，在任何给定时间，处理单元28和组合单元35读取和处理仅来自SPAD阵列24的从场景32接收反射脉冲的区域中的感测元件的信号，而阵列中的其余感测元件处于非活动状态。参考图4进一步描述对来自SPAD阵列24的信号的处理。为了简单起见，发射器阵列22和SPAD阵列24的详细结构未在图1中示出。
为清楚起见，发射器阵列22和SPAD阵列24的尺寸在图1中相对于场景32被放大。发射器阵列22和SPAD阵列24的横向分离(称为“基线”)实际上比从发射器阵列22到场景32的距离小得多。因此，从场景32到SPAD阵列24的主光线40(穿过物镜光学器件34的中心的光线)几乎平行于光线30，仅导致少量视差。
在那些被激活并耦接到J个处理单元28的M个超像素中，所有这些超像素或m个超像素的子集(其中m≤M)将接收反射的激光束30。m的大小取决于两个因素：
1.SPAD阵列24的校准，即M个超像素的选择，以及
2.实际从场景32反射的激光束30的数量。
值M可对应于当所有发射器被一起致动时发射器的总数，或者对应于当群组被交替致动时每个群组中的发射器的数量，如在本实施方案中那样。
即使所有M个激光束30将从场景32反射，如果SPAD阵列24未被正确校准，则m将小于M。(上述临时专利申请中所述的校准程序可用于使m最大化。)因此，控制器26将仅从m个处理单元28接收指示到达时间和信号强度的信号。控制器26由VCSEL阵列22发射光束30的定时和由m个处理单元28所测量的到达时间来计算m个光束的飞行时间，从而映射与场景32上的对应m个点的距离。
控制器26通常包括可编程处理器，该可编程处理器以软件和/或固件编程来执行本文所述的功能。另选地或除此之外，控制器26包括执行控制器的至少一些功能的硬连线和/或可编程硬件逻辑电路。虽然为了简单起见，控制器26在图中被图示成单个单片功能块，但在实施过程中，控制器可包括单个芯片或者一组两个或更多个芯片，其具有用于接收和输出信号的合适的接口，所述信号在图中示出并且在本文中描述。
控制器26的功能单元之一是深度处理单元(DPU)27，其处理来自处理单元28和组合单元35两者的信号，如下文将进一步描述的。DPU 27计算每个波束30中的光子的飞行时间，并且因此映射与目标场景32中的对应点的距离。这个映射是基于发射器阵列22发射波束30的定时和处理单元28所测量的到达时间(即，反射光子的入射时间)。控制器26通常将深度坐标存储在存储器中，并且可以输出对应的深度图以用于显示和/或进一步处理。
发射器阵列
图2A是根据本发明的实施方案的辐射源21的示意性侧视图。VCSEL阵列22包括集成电路芯片，在该集成电路芯片上形成多个VCSEL群组(例如，如图2B所示)。VCSEL朝向光学器件37发射相应光束30，该光学器件将光束准直并朝向目标场景投射。光学器件37任选地包括衍射光学元件(DOE)，其将由VCSEL中的每一个发射的光学辐射分成多个光束30，例如3×3光束阵列。
为了使得能够实现不同群组之间的选择和切换，阵列22安装在驱动器芯片50上，例如，具有用于选择和驱动各个VCSEL或VCSEL群组的CMOS电路的硅芯片。在这种情况下，VCSEL群组可物理地分开以便于制造和控制，或者它们可在VCSEL芯片上交错，具有与驱动器芯片50的合适连接以使得能够交替致动这些群组。因此，波束30同样以时分复用模式照射目标场景，其中不同组波束在不同时间入射在场景的相应区域上。
图2B是根据本发明一实施方案的在光束源21中使用的阵列22的示意性前视图。该示例中的阵列22包括八个群组52，其中每个群组中具有七十二个发射器54，诸如VCSEL。在这种情况下，阵列22生成578个光束。
图2C是根据本发明的另一实施方案的可用于光束源21中取代阵列22的竖直发射器54的阵列60的示意性前视图。在这种情况下，发射器54的四个群组62a、62b、62c和62d在基板64(诸如半导体芯片)上作为交替的竖直条纹交错：每个群组包括在基板上与其他群组中的条纹交替的多个条纹。另选地，可使用其他交错方案。
作为图示实施方案的另外替代形式，阵列22可包括更多或更少数量的群组和发射器。通常，为了用静态(非扫描)光束充分覆盖目标场景，阵列22包括至少四个群组52或62，每个群组中具有至少四个发射器54，并且可能具有DOE以用于分割每个发射器发射的辐射。对于更密集的覆盖，阵列22包括至少八个群组52或62，其中每个群组中具有二十个或更多个发射器54。这些选项在光学和电功率预算以及处理资源的时分复用方面增强了系统20的灵活性。
超像素选择和致动
图3A是根据本发明的实施方案的投射到目标场景32上的光学辐射的斑点70的图案的示意图。每个斑点70由对应的光束30投射(图1)。在本实施方案中，不同组的斑点70交替投射到场景32上，对应于发射器54的对应群组52的交替致动(图2B)。
图3B是根据本发明的实施方案的目标场景32被成像到其上的SPAD阵列24的示意性前视图。阵列24中的感测元件诸如SPAD太小而不能在该图中看到。相反，图3B示出了从目标场景70反射并被透镜34成像到阵列24上的斑点72的位置。换句话讲，每个斑点72是被发射器阵列22投射到场景32上的对应斑点70的在阵列24上的图像。透镜34将目标场景32的区域74(图3A)(包括该区域包含的斑点70)成像到阵列24上的对应区域76上。
图3C是根据本发明的实施方案的阵列24的区域76的示意性细部图，示出了被成像到阵列上的斑点72的位置。如果这些斑点72源自同一发射器群组，则它们可同时成像，或者如果它们源自不同的群组，则它们可在不同的交替时间成像。在图3C所示的视图中，可以看出，阵列24包括感测元件78(诸如SPAD)的矩阵。(如前所述，阵列中的感测元件78也称为“像素”。)控制器26将每个处理单元28分配给包括2×2组感测元件78的超像素80。在该示例中，假设在初始校准阶段期间，斑点72在位置72a处被成像到阵列24上。因此，控制器26选择感测元件78来分配给每个超像素80，以使对应斑点72与超像素之间的重叠最大化，并且因此使从每个超像素接收的信号最大化。
然而，在某个稍后阶段，斑点72移位到阵列24上的新位置72b。例如由于成像设备22中的机械震动或热效应，或由于其他原因，可能已经发生了这个移位。位置72b处的斑点72不再与区域76中的超像素80重叠，或仅与超像素最小程度地重叠。然而，斑点现在被成像于其上的感测元件78处于非活动状态，并且不连接到任何处理单元28。为了校正这种情况，控制器26可以重新校准超像素80的位置，如上述临时专利申请中所述。
图4A和图4B是根据本发明的实施方案的SPAD阵列24的示意性前视图，其示出了被选择用于在两个不同时间段内激活和读出的多组超像素80a和80b。在该实施方案中，该组超像素的选择与发射器群组的选择同步。具体地讲，假设阵列60(图2C)用于生成目标场景上的斑点，则当群组62a被致动时将使用超像素80a，并且当群组62b被致动时将使用超像素80b(对于群组62c和62d以此类推)。因此，在集成时分复用方案中，在系统20的操作中的任何给定周期期间，处理单元28仅服务于一组有效的超像素80，而所有其他组保持处于非活动状态。
图5是示意性地示出根据本发明的实施方案的对来自超像素80的信号的处理的框图。在图示实施方案中，超像素80包括SPAD阵列24的四个感测元件78。每个处理单元28包括一个或多个时间数字转换器(TDC)143，其中TDC是将来自每个感测元件78的雪崩事件(由于检测到的光子而来自SPAD像素的信号)转换为到达时间信息的硬件元件。对于每个TDC143，每个处理单元28还包括权重144，并且可包括直方图单元(未示出)，其中到达时间信息被聚合成直方图，通常超过来自VCSEL阵列22的数千个脉冲。然而，在本实施方案中，直方图针对超像素集中聚合，处理单元28中没有单独的直方图单元。
在图5中，每个处理单元28耦接至单个感测元件78，因此需要一个TDC 143。另选地，处理单元28可耦接到两个或更多个感测元件78，并且然后将包括等于像素数量的多个TDC 143。例如，如果每个处理单元28耦接到四个SPAD像素24，则每个处理单元的TDC 143的数量将为4，并且J＝4*M。除此之外或另选地，如前所述，处理单元28可在不同的感测元件78之间切换，该感测元件与发射器54的对应群组52的交替致动同步地在不同的交替时间被激活(图2B)。
来自四个处理单元28的到达时间信息由组合单元35使用权重144聚合，以产生超像素80的单个直方图146。该组合直方图146被发送到DPU27，DPU 27继而基于直方图146来检测超像素80在场景32中是否检测到任何对象或结构，并且如果检测到任何对象或结构，则基于飞行时间数据来报告其深度信息。
另外，由四个处理单元28报告的事件的相应数量可在组合单元35中在预定到达时间间隔内单独相加，以产生每个感测元件78的该间隔的接收信号强度的指示。通常，间隔被配置为在所谓的“杂散脉冲”结束之后开始并继续到直方图的结束。杂散脉冲是由于例如光学表面的不完美涂层而在系统20内生成的脉冲，其导致由VCSEL阵列22发射的脉冲直接反射回到至SPAD阵列24的光路中。这通常是不期望的脉冲，但非常难以完全消除。杂散脉冲可用于如下校准时序信号：记录杂散脉冲的到达时间，并且由于已被场景32反射的激光脉冲而从后续时序信号中减去杂散脉冲的到达时间。该减法产生所接收的激光脉冲的相对飞行时间，并且补偿VCSEL阵列22的任何随机发射延迟，以及与温度变化相关的大多数VCSEL和SPAD漂移。
这四个信号强度指示器也被传输到DPU 27(结合组合直方图146)。DPU 27可使用指示器来确定感测元件78上的斑点的精确位置。
在一些实施方案中，TDC 143的四个单元以及组合单元35驻留在与SPAD阵列24相同的芯片中，而信号处理的其余部分(包括DPU 27)驻留在单独的控制器26中。生成超像素80的单个组合直方图146的主要原因是减少从SPAD阵列24传输到DPU 27并传输到控制器26的信息。划分成两个独立单元反映了以下事实：SPAD阵列24和相关联的单元主要执行光学和模拟功能，而控制器26主要执行数字和软件驱动的操作。
通过搜索在预先计算的区域中进行超像素校准
图6是示意性地示出根据本发明的实施方案的用于标识接收激光斑点的感测阵列中的像素的方法的流程图。为了方便和清楚起见，参考SPAD阵列24和系统20的其他元件(图1)描述了该方法。例如，每当系统20打开时，可执行该方法。另选地，该方法可在系统20的初始使用之前进行，并且可存储结果以供将来使用。然后可周期性地和/或当系统性能指示可能需要重新校准时重复该方法。
然而，另选地，该方法的原理可应用于(加以必要的变更)类似配置的其他深度映射系统中。例如，VCSEL阵列22可由单个激光器(或少量激光器)替换，该激光器具有分束元件，诸如衍射光学元件(DOE)，以将激光器输出分成多个光束。又如，可使用包括其他种类的探测器元件的其他类型的感测阵列来代替SPAD。如下所述，图7的方法类似地不仅适用于系统20，而且也适用于其他深度映射系统。
在图6的方法中，三个输入步骤：标称设计值步骤150、组装公差步骤152和操作公差步骤154为预计算步骤156提供输入。设计值步骤150提供用于深度映射系统20(图1)的标称系统设计值；组装公差步骤152提供深度映射系统的组装公差；并且操作公差步骤154提供预期的操作公差，诸如环境温度的变化和机械冲击对深度映射系统的影响。
上述输入包括多个参数。例如，集光透镜34的典型焦距具有2mm的标称值、0.1mm的组装公差和0.05mm的操作公差。每个公差通常分布在零附近，其中标准偏差等于上述公差。焦距的概率分布是从两个正态分布组合并以标称值2mm为中心的正态分布。参数的附加示例是VCSEL阵列22和SPAD阵列24之间的基线。多个参数(诸如上述两个示例)允许控制器26准确地对激光脉冲所采取的光路进行建模，从而计算斑点投射在SPAD阵列24上的位置。
基于这些输入，控制器26在预计算步骤156中计算SPAD阵列24(图1)上预期的M个激光斑点中的每个激光斑点的搜索区域。每个搜索区域包括一组像素，针对该组像素，接收从场景32反射的激光束的概率被估计为高于预设阈值，诸如99.9％。作为由控制器26执行的计算的示例，集光透镜34的焦距增加1％将SPAD阵列24上的图像放大1％，从而在向外径向方向上移动斑点。该参数和输入的所有其他参数的概率分布转化为围绕SPAD阵列24上的标称斑点位置中的每个标称斑点位置的区域，其中存在高于99.9％的概率来找到斑点。
一旦在预计算步骤156中选择了搜索区域，控制器26就在随机迭代搜索步骤158中从VCSEL阵列22(图1)发射光束32的连续脉冲，并且同时在搜索区域内执行随机搜索以标识接收脉冲束的M个超像素。另选地，控制器26可以在搜索区域内应用其他搜索策略，而不一定是随机的。在步骤158期间，每个处理单元28被耦接以在每个激光脉冲或多个脉冲的序列之后从不同像素接收信号，并且控制器26使用DPU 27检查哪些像素由于入射光子而具有输出信号并且哪些像素没有输出信号。基于结果，控制器26选择要包括在每个超像素中的像素作为发现光子入射到其上的那些像素。在模拟中，发现搜索在脉冲束32的连续8-10个重复序列内会聚，并且因此标识接收M个光束的SPAD阵列24的M个超像素。
一旦控制器26已经发现M个超像素，它就完成搜索并在分配步骤160中分配这些超像素以用于深度映射系统20对场景32的3D映射。
用于超像素校准的两阶段解决方案
图7是示意性地示出根据本发明的另一实施方案的用于标识接收激光斑点的SPAD阵列24(图1)中的超像素的两阶段方法的流程图。第一阶段以在输入步骤200中提供少量m0的潜在过程候选开始，其中在该上下文中，术语“过程候选”用于可能接收激光斑点的那些SPAD超像素。潜在过程候选的典型数量是固定数量，诸如m0＝5，或者数量M的百分比，诸如10％。这些潜在过程候选可以例如从深度映射系统20的先前使用获得。
在候选处理步骤202中，将这些潜在候选耦接到相应的处理单元28。在第一检测步骤204中，控制器26从VCSEL阵列22发射光束32的脉冲序列并查询处理单元28和组合单元35，以找出SPAD阵列24上的m0过程候选中的多少个报告“命中”，即输出指示它们已经接收到光子的信号。在第一比较步骤206中，控制器26检查在第一检测步骤204中报告命中的数量是否超过第一预设阈值，例如M的8％(如果初始选择M的10％作为过程候选)。
如果命中数量低于阈值，则在搜索步骤208中，控制器26通过从VCSEL阵列22发射连续脉冲束32并在候选周围执行单个像素搜索来搜索过程候选周围的区域中的命中。在已经标识新命中之后，过程候选步骤202中的先前过程候选被新命中替换，并且重复步骤204和206，直到在第一比较步骤206中检测到的命中的数量超过第一预设阈值。
在第一比较步骤206中检测到的命中由控制器26用于在建模步骤210中构建模型。例如，该模型表示SPAD阵列24中的命中的位置相对于其标称位置(即，根据系统20的设计几何形状，预期反射的激光束入射在SPAD阵列24上的位置)的偏差。该模型可以是例如二次模型、简化针孔相机模型或同型模型，并且其可以考虑如前所述的系统公差。
同型模型h是八参数变换(h1,…,h8)，通过以下关系将点p＝(x,y)映射到另一个点p'＝(x',y')：
Figure BDA0003176428800000161
坐标x和y是指图1的笛卡尔坐标系33。在场景34包括平面(例如，墙壁)的情况下，此类模型表示SPAD阵列24上的正确斑点位置。
二次模型由下式给出：
x′＝a1+b1x+c1y+d1x2+e1y2+f1xy
y′＝a2+b2x+c2y+d2x2+e2y2+f2xy
简化针孔相机模型的公式如下：给定笛卡尔坐标系33中的点(x，y，z)，我们首先计算未失真的图像坐标：
Figure BDA0003176428800000162
然后我们应用失真操作以获得最终图像坐标：
xd＝cx+(xu-cx)·p(r),yd＝cy+(yu-cy)·p(r),
其中
Figure BDA0003176428800000171
并且p(r)＝1+k1r2+k2r4+k3r6为失真多项式。因此，模型的参数是以下常数：f,cx,cy,k1,k2,k3(参见G.Bradski和A.Kaehler，Learning OpenCV，第1版，O'ReillyMedia，Inc.，Sebastopol，California，2008)。
除此之外或另选地，可采用其他模型，诸如将系统20的光学器件描述到更高复杂度的样条或更复杂的模型。
基于上述模型中的一者，在候选添加步骤212中，控制器26通过将模型应用于预期入射其他反射激光束的多个附加像素的标称位置来预测多个新过程候选的位置，从而构成现在总共m1个过程候选。通常，在候选添加步骤212处，m1在每次迭代中增加。在第二检测步骤214中，控制器26从VCSEL阵列22发射光束30的附加脉冲序列，并查询SPAD阵列24上的m1个过程候选中的多少个已经报告命中。
在第二比较步骤216中，控制器26将命中的相对数量(命中与脉冲束30的总数M之间的比率)与第二预设阈值进行比较。后一阈值通常被设置为高值，对应于大多数光束30被对应的超像素成功接收的情况。如果命中的相对数量小于第二预设阈值，则控制器26在建模步骤210中基于检测到的命中调整模型。模型的调整包括重新计算模型系数，以及在需要的情况下增加模型的复杂性。在5-8个循环的迭代过程中，例如，控制器26基于候选添加步骤212中的模型添加新的过程候选，在第二检测步骤214中查询命中，并在第二比较步骤216中将它们的相对数量与第二预设阈值进行比较。只要命中的相对数量不超过第二预设阈值，控制器26就保持循环回到模型步骤210，从而基于新命中来改善模型。
一旦检测到的命中的相对数量超过第二预设阈值，控制器26就完成搜索并在分配步骤218中分配检测到的命中以用于深度映射系统20对场景32的3D映射。
如果在步骤214处过程候选的数量在迭代的给定阶段不增加并且仍然太低，则控制器26可在偏移搜索步骤222中发起单像素偏移搜索。在偏移搜索步骤222中，以围绕其预期位置的单像素偏移来执行对尚未检测到的激光斑点的搜索。
应当理解，上文所描述的实施方案以示例的方式引用，并且本发明不限于上文已特别示出和描述的内容。相反，本发明的范围包括上文所述的各种特征，以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。

Claims (20)

1.一种深度感测装置，包括：
辐射源，所述辐射源被配置为朝向目标场景发射第一多个光脉冲束；
第二多个感测元件的阵列，所述第二多个感测元件的阵列被配置为输出信号，所述信号指示所述感测元件上光子的相应入射时间，其中所述第二多个超过所述第一多个；
光收集光学器件，所述光收集光学器件被配置为将所述目标场景成像到所述感测元件的阵列上；和
处理和控制电路，所述处理和控制电路被耦接以从所述阵列接收所述信号，并且被配置为在所述感测元件上搜索，以便响应于所述信号而标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的相应区域，并且处理来自所标识区域的信号以便确定所述光脉冲的相应到达时间。
2.根据权利要求1所述的装置，其中所述辐射源包括至少一个垂直腔面发射激光器(VCSEL)。
3.根据权利要求2所述的装置，其中所述至少一个VCSEL包括VCSEL的阵列。
4.根据权利要求1所述的装置，其中所述感测元件包括单光子雪崩二极管(SPAD)。
5.根据权利要求1所述的装置，其中所述处理和控制电路被配置为将所标识区域中的每一个所标识区域中的感测元件分组在一起以限定超像素，并且将来自所述超像素中的每一个超像素中的感测元件的所述信号一起处理以便确定所述相应到达时间。
6.根据权利要求5所述的装置，其中所述处理和控制电路包括多个处理单元，其中所述处理单元中的每一个处理单元被耦接以处理来自所述超像素中的相应一个超像素的所述信号。
7.根据权利要求1所述的装置，其中所述处理和控制电路被配置为在标识所述相应区域之后，仅致动所标识区域中的每一个所标识区域中的感测元件，而所述阵列中的其余感测元件处于非活动状态。
8.根据权利要求1至7中任一项所述的装置，其中所述处理和控制电路被配置为通过以下操作来标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的所述相应区域：选择反射光脉冲可能入射在其上的一组候选区域；以及从所述候选区域中的每一个候选区域开始在所述阵列上执行迭代搜索，同时操作所述辐射源并接收所述信号以找到所述阵列的从所述目标场景反射的所述光脉冲入射在其上的区域。
9.根据权利要求8所述的装置，其中所述处理和控制电路被配置为基于所述装置的组装公差和操作公差以及标称设计值一起来标识所述候选区域。
10.根据权利要求9所述的装置，其中所述处理和控制电路被配置为通过重复地从未从其接收到时序信号的那些感测元件移位到相邻感测元件来执行所述迭代搜索，直到从其接收到所述信号的所述区域的数量超过预设阈值。
11.根据权利要求1至7中任一项所述的装置，其中所述处理和控制电路被配置为通过以下操作来标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的所述相应区域：找到所述阵列的从所述目标场景反射的所述光脉冲入射在其上的候选区域的初始集合；基于所述初始集合来计算模型，所述模型预测所述阵列的从所述目标场景反射的所述光脉冲预期入射在其上的附加区域的位置；以及在由所述模型预测的所述位置上搜索，同时操作所述辐射源并接收所述信号，以便标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的附加区域。
12.根据权利要求11所述的装置，其中所述处理和控制电路被配置为迭代地调整所述模型，直到从其接收到所述信号的所述区域的数量超过预设阈值。
13.根据权利要求12所述的装置，其中所述处理和控制电路被配置为通过以下操作来调整所述模型：将所标识的附加区域添加到所述初始集合以产生所述区域的新集合，并且基于所述新集合来更新所述模型。
14.根据权利要求11所述的装置，其中所述模型选自由同型模型、二次模型和低阶样条组成的模型类型组。
15.一种用于深度感测的方法，包括：
驱动辐射源以朝向目标场景发射第一多个光脉冲束；
将所述目标场景成像到第二多个感测元件的阵列，所述第二多个感测元件的阵列被配置为输出信号，所述信号指示所述感测元件上光子的相应入射时间，其中所述第二多个超过所述第一多个；
在所述感测元件上搜索，以便响应于所述信号标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的相应区域；以及
处理来自所标识区域的所述信号，以便确定所述光脉冲的相应到达时间。
16.根据权利要求15所述的方法，其中处理所述信号包括将所标识区域中的每一个所标识区域中的感测元件分组在一起以限定超像素，以及将来自所述超像素中的每一个超像素中的感测元件的所述信号一起处理以便确定所述相应到达时间。
17.根据权利要求15所述的方法，其中处理所述信号包括在标识所述相应区域之后，仅致动所标识区域中的每一个所标识区域中的感测元件，而所述阵列中的其余感测元件处于非活动状态。
18.根据权利要求15至17中任一项所述的方法，其中在所述感测元件上搜索包括：
通过选择所述反射光脉冲可能入射在其上的候选区域的集合来标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的所述相应区域；以及
从所述候选区域中的每一个候选区域开始在所述阵列上执行迭代搜索，同时操作所述辐射源并接收所述信号以找到所述阵列的从所述目标场景反射的所述光脉冲入射在其上的区域。
19.根据权利要求18所述的方法，其中标识所述相应区域包括基于标称设计值以及组装公差和操作公差一起来选择所述候选区域。
20.根据权利要求15至17中任一项所述的方法，其中在所述感测元件上搜索包括：
通过找到所述阵列的从所述目标场景反射的所述光脉冲入射在其上的候选区域的初始集合来标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的所述相应区域；
基于所述初始集合来计算模型，所述模型预测所述阵列的从所述目标场景反射的所述光脉冲预期入射在其上的附加区域的位置；以及
在由所述模型预测的所述位置上搜索，同时操作所述辐射源并接收所述信号，以便标识所述阵列的从所述目标场景反射的所述光脉冲入射在其上的附加区域。
CN201980090030.7A 2019-02-11 2019-09-04 使用脉冲束稀疏阵列的深度感测校准 Pending CN113330327A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962803612P 2019-02-11 2019-02-11
US62/803,612 2019-02-11
US201962809647P 2019-02-24 2019-02-24
US62/809,647 2019-02-24
PCT/US2019/045187 WO2020167337A1 (en) 2019-02-11 2019-09-04 Calibration of depth sensing using a sparse array of pulsed beams

Publications (1)

Publication Number Publication Date
CN113330327A true CN113330327A (zh) 2021-08-31

Family

ID=67777399

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980090098.5A Pending CN113330328A (zh) 2019-02-11 2019-08-06 使用脉冲束稀疏阵列的深度感测
CN201980090030.7A Pending CN113330327A (zh) 2019-02-11 2019-09-04 使用脉冲束稀疏阵列的深度感测校准

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980090098.5A Pending CN113330328A (zh) 2019-02-11 2019-08-06 使用脉冲束稀疏阵列的深度感测

Country Status (7)

Country Link
US (3) US10955234B2 (zh)
EP (1) EP3887852A1 (zh)
KR (1) KR102604902B1 (zh)
CN (2) CN113330328A (zh)
AU (1) AU2019429696B2 (zh)
DE (1) DE112019006845T5 (zh)
WO (2) WO2020167338A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11105925B2 (en) * 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
JP6764529B2 (ja) * 2017-05-18 2020-09-30 シャープ株式会社 光検出器および携帯型電子機器
WO2019110447A1 (en) * 2017-12-04 2019-06-13 Ams International Ag Distance time-of-flight modules
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
CN113330328A (zh) * 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
WO2020181136A1 (en) 2019-03-05 2020-09-10 Physmodo, Inc. System and method for human motion detection and tracking
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
US11500094B2 (en) * 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11147436B2 (en) 2019-06-20 2021-10-19 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11671691B2 (en) * 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
WO2022166583A1 (zh) * 2021-02-08 2022-08-11 深圳市灵明光子科技有限公司 投射装置、三维成像系统、三维成像方法及电子产品
CN113176579A (zh) * 2021-03-01 2021-07-27 奥比中光科技集团股份有限公司 光斑位置自适应搜索方法、时间飞行测距系统及测距方法
WO2022217564A1 (zh) * 2021-04-16 2022-10-20 睿镞科技(北京)有限责任公司 激光雷达系统、空间测量设备及方法
JP2022168740A (ja) 2021-04-26 2022-11-08 キヤノン株式会社 投光ユニットおよびそれを用いた測距装置
KR20220151477A (ko) * 2021-05-06 2022-11-15 삼성전자주식회사 라이다 장치 및 이를 포함하는 전자 장치
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
WO2023041761A1 (en) 2021-09-20 2023-03-23 Trinamix Gmbh Emitter array with two or more independently driven areas
KR20230049902A (ko) * 2021-10-07 2023-04-14 삼성전자주식회사 거리 센서를 포함하는 전자 장치 및 거리 측정 방법
WO2023083117A1 (zh) * 2021-11-10 2023-05-19 华为技术有限公司 一种探测方法、装置和终端
DE102022131100B3 (de) 2022-11-24 2024-03-21 Elmos Semiconductor Se Treiberchip mit mehreren Treiberblöcken für ein Beleuchtungssystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176579A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
US20170179173A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Spad array with pixel-level bias control
US20170242102A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar System with Dichroic Photodetector for Tracking the Targeting of a Scanning Ladar Transmitter
US20190011567A1 (en) * 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with mems scanned emitter array and synchronized electronically scanned sensor array
CN109212538A (zh) * 2017-06-29 2019-01-15 苹果公司 具有视差补偿的飞行时间深度映射

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384903B1 (en) 1977-02-28 2002-05-07 Bae Systems Information And Electronic Systems Integration, Inc. Range gated remote measurement utilizing two-photon absorption
US4623237A (en) 1984-07-07 1986-11-18 Canon Kabushiki Kaisha Automatic focusing device
US4757200A (en) 1986-07-28 1988-07-12 Visidyne, Inc. Pulsed radiation detection system
GB8902080D0 (en) 1989-01-31 1989-03-22 York Ltd Optical detection apparatus for counting optical photons
JPH02287113A (ja) 1989-04-27 1990-11-27 Asahi Optical Co Ltd 測距装置
US5164823A (en) 1990-12-21 1992-11-17 Kaman Aerospace Corporation Imaging lidar system employing multipulse single and multiple gating for single and stacked frames
JPH0567195A (ja) 1991-09-05 1993-03-19 Matsushita Electric Ind Co Ltd 形状測定装置
US5270780A (en) 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
JP3240835B2 (ja) 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
JPH09197045A (ja) 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JPH10170637A (ja) 1996-12-16 1998-06-26 Omron Corp 光走査装置
JPH1163920A (ja) 1997-08-26 1999-03-05 Matsushita Electric Works Ltd 光走査式変位測定装置
JP3832101B2 (ja) 1998-08-05 2006-10-11 株式会社デンソー 距離測定装置
IT1316793B1 (it) 2000-03-09 2003-05-12 Milano Politecnico Circuito monolitico di spegnimento attivo e ripristino attivo perfotodiodi a valanga
JP4595197B2 (ja) 2000-12-12 2010-12-08 株式会社デンソー 距離測定装置
US6771103B2 (en) 2001-03-14 2004-08-03 Denso Corporation Time measurement apparatus, distance measurement apparatus, and clock signal generating apparatus usable therein
US6486827B2 (en) 2001-04-18 2002-11-26 Raytheon Company Sparse frequency waveform radar system and method
JP4457525B2 (ja) 2001-06-11 2010-04-28 株式会社デンソー 距離測定装置
US7126218B1 (en) 2001-08-07 2006-10-24 Amkor Technology, Inc. Embedded heat spreader ball grid array
US7899339B2 (en) 2002-07-30 2011-03-01 Amplification Technologies Inc. High-sensitivity, high-resolution detector devices and arrays
US7312856B2 (en) 2002-09-12 2007-12-25 Lockheed Martin Corporation Programmable pulse capture device with automatic gain control
AU2003266875A1 (en) 2002-09-16 2004-04-30 Joule Microsystems Canada Inc. Optical system and use thereof for detecting patterns in biological tissue
EP1576385A2 (en) 2002-11-26 2005-09-21 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
US7428997B2 (en) 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
DE10361870B4 (de) 2003-12-29 2006-05-04 Faro Technologies Inc., Lake Mary Laserscanner und Verfahren zum optischen Abtasten und Vermessen einer Umgebung des Laserscanners
DE102005027208B4 (de) 2004-11-16 2011-11-10 Zoller & Fröhlich GmbH Verfahren zur Ansteuerung eines Laserscanners
WO2006077588A2 (en) 2005-01-20 2006-07-27 Elbit Systems Electro-Optics Elop Ltd. Laser obstacle detection and display
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US7812301B2 (en) 2005-10-28 2010-10-12 Sony Corporation Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
US7303005B2 (en) 2005-11-04 2007-12-04 Graftech International Holdings Inc. Heat spreaders with vias
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
DE102006013290A1 (de) 2006-03-23 2007-09-27 Robert Bosch Gmbh Vorrichtung zur optischen Distanzmessung sowie Verfahren zum Betrieb einer solchen Vorrichtung
US7405812B1 (en) 2006-05-18 2008-07-29 Canesta, Inc. Method and system to avoid inter-system interference for phase-based time-of-flight systems
US7969558B2 (en) 2006-07-13 2011-06-28 Velodyne Acoustics Inc. High definition lidar system
US8259293B2 (en) 2007-03-15 2012-09-04 Johns Hopkins University Deep submicron and nano CMOS single photon photodetector pixel with event based circuits for readout data-rate reduction communication system
US7652252B1 (en) 2007-10-08 2010-01-26 Hrl Laboratories, Llc Electronically tunable and reconfigurable hyperspectral photon detector
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
WO2010042253A2 (en) 2008-04-30 2010-04-15 Board Of Regents, The University Of Texas System An apparatus and method for noninvasive evalution of a target versus a non- target
US20090273770A1 (en) 2008-04-30 2009-11-05 Honeywell International Inc. Systems and methods for safe laser imaging, detection and ranging (lidar) operation
DE102008031681A1 (de) 2008-07-04 2010-01-14 Eads Deutschland Gmbh LIDAR-Verfahren zur Messung von Geschwindigkeiten und LIDAR-Vorrichtung mit zeitgesteuerter Detektion
US8026471B2 (en) 2008-07-23 2011-09-27 Princeton Lightwave, Inc. Single-photon avalanche detector-based focal plane array
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
IL200332A0 (en) 2008-08-19 2010-04-29 Rosemount Aerospace Inc Lidar system using a pseudo-random pulse sequence
US9554770B2 (en) 2008-09-29 2017-01-31 Siemens Medical Solutions Usa, Inc. High pulse repetition frequency for detection of tissue mechanical property with ultrasound
US20100096459A1 (en) 2008-10-16 2010-04-22 Vladimir Gurevich Electro-optical reader with extended working range
IT1392366B1 (it) 2008-12-17 2012-02-28 St Microelectronics Rousset Fotodiodo operante in modalita' geiger con resistore di soppressione integrato e controllabile, schiera di fotodiodi e relativo procedimento di fabbricazione
US8447563B2 (en) 2009-03-31 2013-05-21 The United States Of America As Represented By The Secretary Of The Navy Method and system for determination of detection probability or a target object based on a range
US8675181B2 (en) 2009-06-02 2014-03-18 Velodyne Acoustics, Inc. Color LiDAR scanner
US8766808B2 (en) 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
CN101923173B (zh) 2009-06-10 2014-10-01 圣戈本陶瓷及塑料股份有限公司 闪烁体以及检测器组件
WO2010149593A1 (en) 2009-06-22 2010-12-29 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
DE102009029372A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
JP2011089874A (ja) 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
US8390791B2 (en) 2009-11-30 2013-03-05 General Electric Company Light detection and ranging system
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
DE102010003843A1 (de) 2010-04-12 2011-10-13 Robert Bosch Gmbh Entfernungsmessgerät mit homogenisierender Messauswertung
LU91688B1 (en) 2010-05-17 2011-11-18 Iee Sarl Scanning 3D imager
US8687174B2 (en) 2010-08-11 2014-04-01 Samsung Electronics Co., Ltd. Unit pixel, photo-detection device and method of measuring a distance using the same
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8836250B2 (en) 2010-10-01 2014-09-16 Accuray Incorporated Systems and methods for cargo scanning and radiotherapy using a traveling wave linear accelerator based x-ray source using current to modulate pulse-to-pulse dosage
GB2485995B (en) 2010-11-30 2014-01-01 St Microelectronics Res & Dev Improved proximity sensor and associated method, computer readable medium and firmware
GB2486165A (en) 2010-11-30 2012-06-13 St Microelectronics Res & Dev Oven using a Single Photon Avalanche Diode (SPAD) array
AT510296B1 (de) 2010-12-21 2012-03-15 Riegl Laser Measurement Sys Verfahren zur entfernungsmessung mittels laserimpulsen
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
JP5834416B2 (ja) 2011-02-01 2015-12-24 セイコーエプソン株式会社 画像形成装置
KR101318951B1 (ko) 2011-02-28 2013-10-17 한국과학기술원 듀얼 가이거 모드 어밸런치 광다이오드를 운용하는 스캐닝 3차원 영상화 펄스 레이저 레이더 시스템 및 방법
DE102011005746A1 (de) 2011-03-18 2012-09-20 Robert Bosch Gmbh Messvorrichtung zur mehrdimensionalen Vermessung eines Zielobjekts
US9234967B2 (en) 2011-04-25 2016-01-12 Generic Imaging Ltd System and method for linearization of multi-camera flat panel X-ray detectors
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
EP2535755A1 (en) 2011-06-14 2012-12-19 Ecole Polytechnique Fédérale de Lausanne (EPFL) Cumulant microscopy
US11231502B2 (en) * 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
DE102011107645A1 (de) 2011-07-12 2013-01-17 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zum Detektieren von Licht
DE102011081561A1 (de) 2011-08-25 2013-02-28 Ifm Electronic Gmbh Lichtlaufzeitkamerasystem mit Signalpfadüberwachung
US9557285B2 (en) 2011-08-25 2017-01-31 Georgia Tech Research Corporation Gas sensors and methods of preparation thereof
US9538987B2 (en) 2011-09-28 2017-01-10 General Electric Company System and method for ultrasound imaging
WO2013058978A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US20130092846A1 (en) 2011-10-18 2013-04-18 Uwm Research Foundation, Inc. Fiber-optic sensors for real-time monitoring
JP2013113669A (ja) 2011-11-28 2013-06-10 Mitsubishi Electric Corp レーザレーダ装置
US9024246B2 (en) 2011-12-19 2015-05-05 Princeton Lightwave, Inc. Two-state negative feedback avalanche diode having a control element for determining load state
FR2984522B1 (fr) 2011-12-20 2014-02-14 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US9052356B2 (en) 2012-02-15 2015-06-09 International Business Machines Corporation Embedded photon emission calibration (EPEC)
US8989596B2 (en) 2012-03-06 2015-03-24 Northrop Grumman Systems Corporation Multiple sensor optical communication systems and methods
US9109888B2 (en) 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
US9335220B2 (en) * 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
US20130258099A1 (en) 2012-03-29 2013-10-03 Samsung Electronics Co., Ltd. Depth Estimation Device And Operating Method Using The Depth Estimation Device
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
US20130342835A1 (en) 2012-06-25 2013-12-26 California Institute Of Technology Time resolved laser raman spectroscopy using a single photon avalanche diode array
GB2504291A (en) 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
EP2708914A1 (de) 2012-09-18 2014-03-19 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
GB201300334D0 (en) 2013-01-09 2013-02-20 St Microelectronics Ltd Sensor circuit
GB2510890A (en) 2013-02-18 2014-08-20 St Microelectronics Res & Dev Method and apparatus
KR102048361B1 (ko) 2013-02-28 2019-11-25 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
DE202013101039U1 (de) 2013-03-11 2014-03-12 Sick Ag Optoelektronischer Sensor zur Entfernungsmessung
US9182278B2 (en) 2013-03-14 2015-11-10 Sciaps, Inc. Wide spectral range spectrometer
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
JP6383516B2 (ja) 2013-04-19 2018-08-29 ライトスピン テクノロジーズ、インク． 集積アバランシェ・フォトダイオード・アレイ
GB2513408B (en) 2013-04-26 2017-12-13 Toshiba Res Europe Limited A photon detector and a photon detection method
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
GB2514576A (en) 2013-05-29 2014-12-03 St Microelectronics Res & Dev Methods and apparatus
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9268012B2 (en) * 2013-07-12 2016-02-23 Princeton Optronics Inc. 2-D planar VCSEL source for 3-D imaging
GB2520232A (en) 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US8925814B1 (en) 2013-10-09 2015-01-06 Symbol Technologies, Inc. Apparatus for and method of monitoring output power of a laser beam during reading of targets
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
JP6489320B2 (ja) 2013-11-20 2019-03-27 パナソニックＩｐマネジメント株式会社 測距撮像システム
US9210350B2 (en) 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US9625580B2 (en) 2014-01-03 2017-04-18 Princeton Lightwave, Inc. LiDAR system comprising a single-photon detector
US9312401B2 (en) 2014-01-15 2016-04-12 Omnivision Technologies, Inc. Single photon avalanche diode imaging sensor for complementary metal oxide semiconductor stacked chip applications
US9331116B2 (en) 2014-01-15 2016-05-03 Omnivision Technologies, Inc. Back side illuminated single photon avalanche diode imaging sensor with high short wavelength detection efficiency
JP6207407B2 (ja) 2014-01-17 2017-10-04 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置、物体検出方法、及び、プログラム
US9456201B2 (en) * 2014-02-10 2016-09-27 Microsoft Technology Licensing, Llc VCSEL array for a depth camera
CN103763485A (zh) 2014-02-17 2014-04-30 苏州超锐微电子有限公司 一种用于智能图像传感器的单光子级分辨率图像采集芯片前端电路模块
SG11201606510XA (en) 2014-03-14 2016-09-29 Heptagon Micro Optics Pte Ltd Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
US9761049B2 (en) 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
US9952323B2 (en) 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US20170142393A1 (en) 2014-06-27 2017-05-18 Heptagon Micro Optics Pte. Ltd. Structured Light Imaging System and Method
DE202014005508U1 (de) 2014-07-02 2014-10-09 Robert Bosch Gmbh Entfernungsmessvorrichtung
EP3171241A4 (en) 2014-07-16 2017-12-13 Ricoh Company, Ltd. System, machine, control method, and program
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US9810777B2 (en) 2014-08-22 2017-11-07 Voxtel, Inc. Asynchronous LADAR and imaging array
US20160072258A1 (en) * 2014-09-10 2016-03-10 Princeton Optronics Inc. High Resolution Structured Light Source
US9596440B2 (en) 2014-09-11 2017-03-14 Microvision, Inc. Scanning laser planarity detection
US10295658B2 (en) 2014-10-02 2019-05-21 The Johns Hopkins University Optical detection system
TWI679442B (zh) * 2014-12-02 2019-12-11 新加坡商新加坡恒立私人有限公司 深度感測模組及深度感測方法
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10088557B2 (en) 2015-03-20 2018-10-02 MSOTEK Co., Ltd LIDAR apparatus
FR3034204A1 (zh) * 2015-03-23 2016-09-30 Stmicroelectronics (Grenoble 2) Sas
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US9864048B2 (en) 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
WO2016187345A1 (en) 2015-05-18 2016-11-24 Lasermotive, Inc. Light curtain safety system
CN104914446B (zh) 2015-06-19 2017-06-27 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10063849B2 (en) 2015-09-24 2018-08-28 Ouster, Inc. Optical system for collecting distance information within a field
CN108604053B (zh) * 2015-10-21 2021-11-02 普林斯顿光电子股份有限公司 编码图案投影仪
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017079483A1 (en) 2015-11-05 2017-05-11 Luminar Technologies, Inc. Lidar system with improved scanning speed for high-resolution depth mapping
FR3043797A1 (zh) 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
WO2017095817A1 (en) 2015-11-30 2017-06-08 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads and pulsed laser for lidar system
EP3182156B1 (en) 2015-12-18 2021-01-27 STMicroelectronics (Research & Development) Limited Ranging apparatus
JP6644892B2 (ja) * 2015-12-20 2020-02-12 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 光検出測距センサ
EP3185038B1 (de) 2015-12-23 2018-02-14 Sick Ag Optoelektronischer sensor und verfahren zur messung einer entfernung
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
US9823118B2 (en) 2015-12-26 2017-11-21 Intel Corporation Low power, high resolution solid state LIDAR circuit
US10386487B1 (en) 2015-12-30 2019-08-20 Argo AI, LLC Geiger-mode LiDAR system having improved signal-to-noise ratio
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
CA3017811C (en) 2016-03-21 2021-04-27 Velodyne Lidar, Inc. Lidar based 3-d imaging with varying pulse repetition
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
JP2017195573A (ja) 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
US10986998B2 (en) 2016-04-26 2021-04-27 Illinois Institute Of Technology Apparatus and method for enhanced early photon detection in optical projection tomography
US10690756B2 (en) 2016-05-10 2020-06-23 Texas Instruments Incorporated Methods and apparatus for LIDAR operation with pulse position modulation
JP6780308B2 (ja) 2016-06-10 2020-11-04 株式会社リコー 物体検出装置、センシング装置及び移動体装置
US10823826B2 (en) 2016-06-14 2020-11-03 Stmicroelectronics, Inc. Adaptive laser power and ranging limit for time of flight sensor
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US10890649B2 (en) 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
WO2018028795A1 (en) 2016-08-12 2018-02-15 Fastree3D Sa Method and device for measuring a distance to a target in a multi-user environment by means of at least one detector
EP3285087A1 (en) 2016-08-19 2018-02-21 ams AG Sensor arrangement and method for determining time-of-flight
US20180059220A1 (en) 2016-08-30 2018-03-01 Qualcomm Incorporated Laser ranging device with beam signature and signature recognition
US10305247B2 (en) 2016-08-30 2019-05-28 Apple Inc. Radiation source with a small-angle scanning array
US20180081041A1 (en) 2016-09-22 2018-03-22 Apple Inc. LiDAR with irregular pulse sequence
US10291895B2 (en) * 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
DE102016221049A1 (de) 2016-10-26 2018-04-26 Robert Bosch Gmbh Vorrichtung und Verfahren zum Empfangen eines reflektierten Lichtpulses in einem Lidar-System
CN106405572B (zh) 2016-11-10 2019-02-26 西安交通大学 基于空间编码的远距离高分辨率激光主动成像装置及方法
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
EP3428574A1 (en) 2017-07-11 2019-01-16 Fondazione Bruno Kessler Device for measuring a distance and method for measuring said distance
WO2019014494A1 (en) * 2017-07-13 2019-01-17 Apple Inc. EARLY-DELAYED PULSE COUNTING FOR DEPTH SENSORS EMITTING LIGHT
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
TWI661211B (zh) 2017-12-08 2019-06-01 財團法人工業技術研究院 距離感測裝置及其方法
US10158038B1 (en) 2018-05-17 2018-12-18 Hi Llc Fast-gated photodetector architectures comprising dual voltage sources with a switch configuration
CN113039457A (zh) 2018-11-16 2021-06-25 ams传感器新加坡私人有限公司 通过透射盖使用光学飞行时间技术进行深度感测
CN113330328A (zh) * 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
EP3715907B1 (en) 2019-03-27 2024-02-28 Infineon Technologies AG Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US20220196812A1 (en) 2019-04-02 2022-06-23 Ams International Ag Time of flight sensor
CN110609293B (zh) 2019-09-19 2022-05-27 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176579A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
US20170179173A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Spad array with pixel-level bias control
US20170242102A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar System with Dichroic Photodetector for Tracking the Targeting of a Scanning Ladar Transmitter
CN109212538A (zh) * 2017-06-29 2019-01-15 苹果公司 具有视差补偿的飞行时间深度映射
US20190011567A1 (en) * 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with mems scanned emitter array and synchronized electronically scanned sensor array

Also Published As

Publication number Publication date
EP3887852A1 (en) 2021-10-06
AU2019429696B2 (en) 2022-06-23
WO2020167338A1 (en) 2020-08-20
US20200256993A1 (en) 2020-08-13
US10955234B2 (en) 2021-03-23
DE112019006845T5 (de) 2021-10-28
US20200256669A1 (en) 2020-08-13
AU2019429696A1 (en) 2021-07-22
WO2020167337A1 (en) 2020-08-20
KR102604902B1 (ko) 2023-11-21
CN113330328A (zh) 2021-08-31
US20210164776A1 (en) 2021-06-03
KR20210113312A (ko) 2021-09-15
US11371833B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN113330327A (zh) 使用脉冲束稀疏阵列的深度感测校准
US11808891B2 (en) Integrated LIDAR illumination power control
CN111830530B (zh) 一种距离测量方法、系统及计算机可读存储介质
CN110927734B (zh) 一种激光雷达系统及其抗干扰方法
KR102433815B1 (ko) 비행 시간을 감지하기 위한 펄스 반복 주기의 선택
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
US11914078B2 (en) Calibration of a depth sensing array using color image data
CN110687541A (zh) 一种距离测量系统及方法
US10955552B2 (en) Waveform design for a LiDAR system with closely-spaced pulses
CN109791207A (zh) 用于确定到对象的距离的系统和方法
CN112198519B (zh) 一种距离测量系统及方法
CN111766596A (zh) 一种距离测量方法、系统及计算机可读存储介质
CN111796295B (zh) 一种采集器、采集器的制造方法及距离测量系统
CN110780312B (zh) 一种可调距离测量系统及方法
WO2022011974A1 (zh) 一种距离测量系统、方法及计算机可读存储介质
CN213091889U (zh) 一种距离测量系统
CN111796296A (zh) 一种距离测量方法、系统及计算机可读存储介质
US20220364849A1 (en) Multi-sensor depth mapping
US20220283307A1 (en) Depth sensor calibration using internal reflections
CN114355384B (zh) 飞行时间tof系统和电子设备
CN216211121U (zh) 深度信息测量装置以及电子设备
CN112068149B (zh) 感测装置和用于感测的方法
US20230016025A1 (en) close-range measurement of time of flight using parallax shift
JP2021089248A (ja) レーザレーダ
CN113822875A (zh) 深度信息测量装置、全场景避障方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination