CN112740065A - 使用视觉惯性测距的增强深度映射 - Google Patents

使用视觉惯性测距的增强深度映射 Download PDF

Info

Publication number
CN112740065A
CN112740065A CN201980062540.3A CN201980062540A CN112740065A CN 112740065 A CN112740065 A CN 112740065A CN 201980062540 A CN201980062540 A CN 201980062540A CN 112740065 A CN112740065 A CN 112740065A
Authority
CN
China
Prior art keywords
histogram
target scene
image
movement
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980062540.3A
Other languages
English (en)
Other versions
CN112740065B (zh
Inventor
D·西尔韦
E·希尔什
M·拉芬费尔德
T·凯特茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112740065A publication Critical patent/CN112740065A/zh
Application granted granted Critical
Publication of CN112740065B publication Critical patent/CN112740065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

公开了一种成像装置(22)，其包括辐射源(40)，该辐射源朝向目标场景(24)发射光学辐射的脉冲束(42)。感测元件的阵列(52)输出指示感测元件上光子的相应入射时间的信号。物镜光学器件(54)在感测元件的阵列上形成目标场景的第一图像。图像传感器(64)捕获目标场景的第二图像。处理和控制电路(56,58)被配置为处理第二图像以检测目标场景中至少一个对象与所述装置之间的相对运动，并且被配置为响应于来自所述阵列的所述信号而构建感测元件上光子的入射时间的直方图，以及响应于所检测到的相对运动来调节直方图，并且基于所调节的直方图生成目标场景的深度图。

Description

使用视觉惯性测距的增强深度映射
相关申请的交叉引用
本申请要求2018年9月25日提交的美国临时专利申请62/735,864的权益，该申请以引用方式并入本文。
技术领域
本发明整体涉及用于深度映射的系统和方法，并且具体地涉及使用飞行时间感测的深度映射。
背景技术
现有的和新兴的消费者应用已产生对实时三维(3D)成像器日益增长的需求。这些成像设备也称为深度传感器或深度映射器，其使得能够通过用光束照明目标场景并分析反射的光学信号来远程测量与目标场景中每个点的距离(并且常常还有强度)-被称为目标景深。一些系统也捕获目标场景的彩色图像，并且将深度图与该彩色图像配准。
用于确定与目标场景中每个点的距离的一种常用技术涉及将一个或多个脉冲光束朝向目标场景传输，然后测量光束在从源行进到目标场景并返回到与源相邻的检测器阵列时所花费的往返时间，即飞行时间(ToF)。
在测量光子到达时间时，一些ToF系统使用单光子雪崩二极管(SPAD)(也称为盖革模式雪崩光电二极管(GAPD))，或者可能使用SPAD感测元件阵列。在一些系统中，偏置控制电路将阵列中不同SPAD中的偏置电压设定为不同的相应值。
发明内容
下文描述的本发明的实施方案提供了改进的深度映射系统和此类系统的操作方法。
因此，根据本发明的一个实施方案提供了包括辐射源的成像装置，该辐射源被配置为朝目标场景发射光学辐射的脉冲束。感测元件的阵列被配置为输出信号，该信号指示感测元件上光子的相应入射时间。物镜光学器件被配置为在感测元件阵列上形成目标场景的第一图像。图像传感器被配置为捕获目标场景的第二图像。处理和控制电路被配置为处理该第二图像以检测目标场景中至少一个对象与该装置之间的相对运动，并且该处理和控制电路被配置为响应于来自该阵列的信号而构建该感测元件上光子的入射时间的直方图，以及响应于所检测到的相对运动调节该直方图，并基于所调节的直方图生成目标场景的深度图。
在一些实施方案中，该相对运动是该所述装置的移动，并且该处理和控制电路被配置为过滤直方图以补偿该装置的移动。在所公开的实施方案中，该装置包括惯性传感器，该惯性传感器被配置为感测该装置的移动并输出该移动的指示，其中处理和控制电路被配置为在检测该装置的移动中结合处理第二图像来应用由惯性传感器输出的指示。
除此之外或另选地，处理和控制电路被配置为在检测到目标场景与该装置之间不存在相对运动时延长累积直方图的暴露时间。
在另外的实施方案中，相对运动包括目标场景中对象的移动，并且该处理和控制电路被配置为过滤直方图以补偿对象的移动。在所公开的实施方案中，该处理和控制电路被配置为处理第二图像以提取对象移动的轨迹，并且对于该轨迹被物镜光学器件成像到上面的感测元件校正直方图。
除此之外或另选地，该处理和控制电路被配置为标识直方图中的边缘，并且在检测相对运动中应用所标识的边缘。
根据本发明的一个实施方案还提供了包括辐射源的成像装置，该辐射源被配置为朝目标场景发射光学辐射的脉冲束。感测元件的阵列被配置为输出信号，该信号指示感测元件上光子的相应入射时间。物镜光学器件被配置为在感测元件阵列上形成目标场景的第一图像。图像传感器被配置为捕获目标场景的第二图像。处理和控制电路被配置为处理第二图像以估计目标场景中至少一个对象的深度范围，并且该处理和控制电路被配置为响应于来自该阵列的信号而构建感测元件上光子的入射时间的直方图，同时响应于所估计的深度范围对该直方图中的一者或多者的时间范围进行门控，并基于所调节的直方图生成目标场景的深度图。
在一些实施方案中，第二图像是彩色图像。除此之外或另选地，感测元件包括单光子雪崩二极管(SPAD)。
根据本发明的一个实施方案，还提供了一种成像方法，该方法包括将光学辐射的脉冲束朝目标场景引导。将目标场景成像到成像设备中的感测元件阵列上。从感测元件接收指示感测元件上光子的相应入射时间的信号。捕获目标场景的图像，并且处理所捕获的图像以检测目标场景中至少一个对象与成像设备之间的相对运动。响应于来自所述阵列的信号，构建感测元件上光子的入射时间的直方图。响应于所检测到的相对运动调节直方图，并且基于所调节的直方图生成目标场景的深度图。
根据本发明的一个实施方案还提供了一种深度映射方法，该方法包括将光学辐射的脉冲束朝向目标场景引导，以及接收指示从目标场景反射的光子在成像设备中的感测元件阵列上的相应入射时间的信号。响应于在所选暴露时间上累积的来自该阵列的信号，构建感测元件上光子的入射时间的直方图。捕获并处理目标场景的图像，以检测目标场景中对象与成像设备之间的相对运动。从惯性传感器接收成像设备的移动的指示。在检测到成像设备和目标场景静止时，增加累积该直方图的该暴露时间。在检测到成像设备已移动时，对直方图进行过滤以针对该移动进行校正。在检测到对象已移动时，针对对象的运动校正直方图。
结合附图，从下文中对本发明的实施方案的详细描述将更全面地理解本发明，在附图中：
附图说明
图1是根据本发明的实施方案的深度映射系统的示意性图示说明；
图2是根据本发明的实施方案的图1所示深度映射系统的示意性侧视图；
图3是根据本发明的实施方案的示意性地示出用于处理ToF信息的方法的流程图；
图4A是根据本发明的实施方案的静止成像设备和在该成像设备所生成的深度图中捕获的包含边缘的场景的示意性顶视图；
图4B是根据本发明的实施方案的在场景中边缘的位置处由图4A的成像设备捕获的ToF直方图；
图5A是根据本发明的实施方案的移动成像设备和在该成像设备所生成的深度图中捕获的场景的示意性顶视图；
图5B是根据本发明的实施方案的由图5A的成像设备捕获的ToF直方图；
图6A是根据本发明一实施方案的静止成像设备和在该成像设备所生成的深度图中捕获的渐变深度的场景的示意性顶视图；
图6B是根据本发明的实施方案的由图6A的成像设备捕获的ToF直方图；
图7A是根据本发明的实施方案的移动成像设备和在该成像设备所生成的深度图中捕获的场景的示意性顶视图；以及
图7B是根据本发明的实施方案的由图7A的成像设备捕获的ToF直方图。
具体实施方式
概述
对于具有精细距离分辨率的深度映射，需要ToF的精细时间分辨率。为此，已经开发出求平均和多测量技术，诸如时间相关单光子计数(TCSPC)。在该技术中，每个测量周期以开始信号或同步信号开始，并且以在该周期中第一光子到达时由SPAD提供的停止信号结束(假设光子在下一周期开始之前到达)。通常在这种类型的许多周期上构建到达时间的直方图，然后处理以定位统计峰值。
这些能力可在处理电路阵列中使用，该处理电路阵列耦接到感测元件阵列并且包括存储器，该存储器记录每个采集周期中入射在每个感测元件上的光子的入射时间。为此，耦接到每个SPAD感测元件的处理电路可包括相应的时间-数字转换器(TDC)，其在存储器中使在多个不同的时间柱条中感测元件上光子的相应入射时间的计数递增。在每个帧结束时，控制器处理存储在像素存储器中的相应计数的直方图，以便推导和输出对应感测元件的相应到达时间值。
以这种方式，基于ToF的深度映射器能够在变化的环境光条件下测量大的距离范围上的目标景深。然而，现有的这种深度映射器经受高噪声和低分辨率影响。可通过增大构建ToF直方图的暴露时间来改善信号/噪声比和分辨率，这意味着直方图在照明目标场景的该一个或多个束的更大数量的脉冲上累积。
然而，增加暴露时间也增大了深度测量对运动伪影的易感性。这些伪影可能是由于目标场景中对象与深度映射装置之间的各种类型的相对运动而出现，包括场景中对象的移动和深度映射装置自身的移动两者。虽然可通过在该场景中的不同时间和位置处构建的直方图之间进行比较来推断和校正一些运动伪影，但该方法在计算上是低效的，并且可能无法区分某些类型的运动伪影和场景中产生类似直方图特征的特征。
本文所述的本发明的实施方案在检测目标场景中的对象与深度映射装置之间的相对运动中利用辅助信息，即，来自除ToF感测元件之外的源的信息。在一些实施方案中，通过处理场景的附加图像诸如彩色视频图像来提供该辅助信息，该附加图像由与装置相关联的图像传感器捕获。附加图像也可例如利用基于图案或立体景深感测来提供深度信息，其可指示三维运动。除此之外或另选地，辅助信息可由装置中的惯性传感器提供，该惯性传感器指示装置是否已移动，并且如果已移动，则指示沿什么方向移动。这种对图像和惯性信号的组合处理被称为“视觉惯性测距”。
因此，本发明的实施方案提供了成像装置，该成像装置包括：辐射源，该辐射源朝向目标场景发射光学辐射的脉冲束；以及感测元件阵列，该感测元件阵列输出指示感测元件上光子的相应入射时间的信号；以及物镜光学器件，用于将目标场景成像到所述阵列上。处理和控制电路基于来自感测元件的信号来构建感测元件上光子的入射时间(也称为光子的“到达时间”)的直方图。
附加图像传感器捕获其自己的目标场景图像。在一些实施方案中，该处理和控制电路处理后一图像，以检测目标场景中至少一个对象与该装置之间的相对运动。该处理和控制电路基于所检测到的运动(或没有检测到运动)调节直方图，并且基于所调节的直方图生成目标场景的深度图。如果以这种方式检测到该装置或场景中的对象的移动，则该处理和控制电路可过滤直方图以补偿该移动，并且因此可消除或至少减少深度图中的对应运动伪影。另一方面，当检测到不存在相对运动(这意味着该装置和目标场景两者都是静止的)时，处理和控制电路可延长累积直方图的暴露时间，从而增强深度图的信号/噪声比和精度。
在其他实施方案中，该处理和控制电路处理附加图像以便估计目标场景中对象的深度范围，并且在对光子入射时间的直方图的时间范围进行门控时使用所估计的深度范围。因此，可以更高的分辨率构建直方图，同时忽略落在门控范围之外的伪影。被优化以产生有界错误(而不是使平均误差最小化)的引导过滤器(诸如交叉双边和导向过滤器)可在本上下文中用于给出对每个帧中的每个点的估计深度的预测。这些估计可用于滤除其中真实信号无法证实的直方图的部分，从而给出更高的检测速率。
系统描述
图1是根据本发明的实施方案的深度映射系统20的示意性图示说明。在所描绘的场景中，成像设备22生成设备的视场26内的目标场景24的深度图。在该示例中，目标场景24包含移动对象诸如人类身影28，以及静止对象，包括椅子30、墙壁32、图片34、窗36和地毯38。虽然成像设备22在图1中被图示成桌面单元，但是该成像设备可另选地是移动设备或手持设备，并且因此也可在采集深度图期间移动。
成像设备22通过将光学辐射的束朝向目标场景24中的点引导并测量从每个点反射的光子的到达时间来测量深度值。为方便起见，将设备22的前平面取为X-Y平面，并且沿Z轴测量目标场景中的点的深度坐标。因此，成像设备22所生成的深度图将目标场景24表示为X-Y平面中的点的网格，具有指示到每个点的测量距离的深度坐标。
图2是根据本发明的实施方案的系统20的示意性侧视图，示出成像设备22的细节。为了简洁和清楚起见，这些细节以举例的方式示出，以有助于理解本发明在生成深度图中的操作原理，并且具体地讲，在生成此类深度图中对辅助的运动相关信息的使用。另选地，这些原理可应用于具有合适的深度映射和成像能力的其他类型的系统。
成像设备22包括辐射源40，该辐射源朝向目标场景24发射光学辐射的多个脉冲束42。术语“光学辐射”在本说明书和权利要求书中用于指代任何可见、红外和紫外范围内的电磁辐射，并且在该上下文中可与术语“光”互换使用。在本示例中，辐射源40包括垂直腔面发射激光器(VCSEL)的二维阵列44，这些垂直腔面发射激光器被驱动以发射光学辐射的短脉冲序列。衍射光学元件(DOE)46可任选地用于复制阵列44中的VCSEL所发射的实际光束，以相对于辐射源40以不同的相应角度输出更大数量的束42(例如，大约500个束)。准直透镜48将束42朝向目标场景24投射。
成像设备中的接收器50(也称为“深度相机”)包括感测元件(诸如SPAD或雪崩光电二极管(APD))的二维阵列52，这些感测元件输出信号，该信号指示感测元件上光子的相应入射时间。物镜光学器件54在阵列52上形成目标场景24的图像。处理单元56耦接到多组相互相邻的感测元件(其在本文中被称为“超像素”)，并且一起处理来自每个超像素中的感测元件的信号，以便在束42的每个脉冲之后生成该组中感测元件上光子的到达时间的量度。为了解释清楚起见，处理单元56在图2中被图示成与阵列52分开，但是在一些具体实施中，处理单元和阵列集成在单个集成电路设备中。另选地，每个感测元件可具有其自己的专用处理单元。
处理单元56包括感测和记录由SPAD(或其他感测元件)输出的脉冲的硬件放大和逻辑电路。因此，处理单元56测量产生由SPAD输出的脉冲的光子的到达时间，并且可能测量入射在阵列52上的反射激光脉冲的强度。处理单元56可包括例如时间-数字转换器(TDC)以及数字电路，该数字电路用于在由阵列44中的VCSEL发射的多个脉冲上构建入射在相应感测元件(或感测元件的超像素组)上的光子的到达时间的直方图。处理单元56因此输出指示与场景24中相应点的距离的值，并且还可输出信号强度的指示。
另选地或除此之外，处理单元56的一些或所有部件可与阵列52分开，并且可例如与控制处理器58集成。为了一般性起见，控制处理器58和处理单元56在本文中统称为“处理和控制电路”。
基于处理单元56所构建的直方图，控制处理器58计算每个束42中光子的飞行时间，并且因此生成深度图，该深度图包括对应于与目标场景24中对应点的距离的深度坐标。这个映射基于辐射源40发射束42的定时和处理单元56所测量的到达时间(即，反射光子的入射时间)。控制处理器58将深度坐标存储在存储器60中，并且可输出对应的深度图以用于显示和/或进一步处理。
除了上述深度感测功能之外，成像设备22还包括二维成像相机62。本示例中的相机62包括图像传感器64，诸如RGB颜色传感器，如本领域中所公知的。成像透镜66在图像传感器64上形成目标场景24的图像，其因此输出目标场景的电子图像。因为相机62相对于接收器50以固定的空间和光学关系安装，所以相机62所输出的电子图像通常将与阵列52上的物镜光学器件54所形成的图像对准。控制处理器58接收相机62所输出的图像数据，并在检测目标场景24中的对象与成像设备22之间的相对运动中、以及在响应于所检测到的相对运动来调节处理单元56所构建的直方图中使用，如下文进一步所述。
在图示实施方案中，成像设备22还包括惯性传感器68，诸如大多数智能电话和其他种类的移动设备中存在的固态加速度计的种类。惯性传感器68感测并输出成像设备22的移动的指示，如本领域中所公知的。控制处理器58在调节由处理单元所构建的直方图以补偿成像设备的移动中通常结合相机62所提供的图像数据来应用这个指示。通过结合相机62所输出的图像来处理惯性传感器的输出，如下文进一步解释的，控制处理器58能够更精确地对成像设备的移动对深度图的影响进行建模，以及区分成像设备22的移动的影响和目标场景中对象的移动的影响。
控制处理器58通常包括可编程处理器，该可编程处理器以软件和/或固件编程来执行本文所述的功能。另选地或除此之外，控制器26包括执行控制处理器的至少一些功能的硬连线和/或可编程硬件逻辑电路。虽然为了简单起见，控制处理器58在图2中被图示成单个单片功能块，但在实施过程中，控制处理器可包括单个芯片或者一组两个或更多个芯片，其具有用于接收和输出信号的合适的接口，该信号在图中示出并且在本文中描述。
操作方法
图3是根据本发明的实施方案的示意性地示出用于处理ToF信息的方法的流程图。为了清楚和简洁起见，这里参考系统20的元件和成像设备22描述该方法，如图1和图2所示。另选地，本方法的原理可以必要的变更应用于其他种类的基于ToF的深度映射系统。虽然图3的方法的步骤以某种顺序示出，但在实施过程中，这些步骤可并行执行。除此之外或另选地，可省略这些步骤中的一个或多个，并且剩余的步骤可单独地或以各种不同的子组合来执行。所有这些另选具体实施被视为在本发明的范围内。
控制处理器58周期性地启动图3的方法，例如在接收器(深度相机)50采集的直方图数据的每个帧之后启动。控制处理器检查惯性传感器68的输出并处理相机62所输出的图像，以便确定在当前帧期间是否已存在成像设备22与场景24中的对象之间的任何相对运动。例如，控制处理器58可将当前帧中对象的位置与前一帧中的相同对象进行比较以便确定其位置是否已改变，并且如果已改变，则可将对象运动与惯性传感器68所指示的相机运动进行比较以确定对象位置的改变是由于对象的运动还是相机的运动。另选地，该步骤可仅基于对来自相机62的图像的处理以及发现相对于在前一帧中捕获的图像没有变化。
当在该步骤中根本未检测到运动时，控制处理器58可决定延长累积直方图的暴露时间。例如，控制处理器58可指示处理单元56继续在附加的一个或多个帧上累积光子到达时间并构建相应的直方图。另选地，控制处理器58可读出存储器60中的连续直方图并对其求和。在任一种情况下，所得直方图的信号/噪声比通常将随着暴露时间的平方根而增大，从而提高可从直方图中提取的深度坐标的准确性。
否则，控制处理器58检查在相机62所输出的图像中检测到的运动是由于成像设备22的运动还是场景24中的运动。就这一点而言，来自惯性传感器68的信号提供可靠的指示器。除此之外或另选地，控制处理器58可利用本领域已知的用于此目的的图像处理技术来计算其从相机62接收的场景24的图像或图像序列上的光流场。整个场上一致的平移和/或旋转流通常将指示成像设备22的移动，而局部流将限定正在移动的一个或多个对象。此类移动对ToF直方图的影响在以下附图中示出。
在发现成像设备22已相对于场景24移动时，控制处理器58可对处理单元56所构建的直方图过滤以补偿这个移动。例如，Z方向上(在图1和图2中所定义的坐标系中，朝向或远离场景24)的突然移动可产生在不同飞行时间具有多个峰的直方图，而逐渐移动将导致直方图峰的加宽。(这些效果在图5A/B和图7A/B中示出。)在此类情况下，控制处理器58可以能够滤除无效数据或折叠多个峰或加宽峰以给出正确的深度值。
另一方面，当控制处理器58标识已在目标场景24中移动的对象时，其可对直方图过滤以补偿该对象的移动。例如，控制处理器可处理相机62所输出的图像或可能处理此类图像的序列，以便提取对象的移动的轨迹，然后对于阵列52中该轨迹被物镜光学器件成像到其上的那些感测元件校正直方图。例如，对象在Z方向上(朝向或远离成像设备22)移动将产生在连续帧中的不同深度处的直方图峰的序列。对象横向地、即在X-Y平面中(平行于图像传感器64的平面，如图2所示)移动将产生在某个深度坐标处的直方图峰，该直方图峰将在连续帧中跨深度图移位。一旦控制处理器58已标识移动对象，其可滤除或合并不同Z坐标或X-Y坐标处的峰，以便校正所考虑的帧序列。关于是滤除还是合并直方图数据的决定取决于应用要求和数据的质量。
现在参见图4A和图4B，其示意性地示出了根据本发明的实施方案的由成像设备22映射的场景70中的边缘72的处理的效果和模式。图4A是成像设备22和场景70的示意性顶视图，而图4B是成像设备22在场景70中的边缘72的位置处捕获的ToF直方图。由于成像设备22所生成的深度图中像素的有限宽度，边缘72在这个直方图中表现为双峰。(像素包括从边缘72的两侧反射的光子；因此，图4A中从边缘的上侧上的表面反射的光子将在较短距离处产生一个峰，而从下侧上的表面反射的那些光子将在较长距离处产生另一峰。)控制处理器58可标识直方图中的此类边缘、连同它们在相机62所输出的图像中的对应边缘，并在检测和校正场景中的对象与成像设备22之间的相对运动中使用。
图5A和图5B示意性地示出了根据本发明的实施方案的成像设备22相对于在成像设备所生成的深度图中捕获的场景74的突然运动的效果。图5A是示意性顶视图，示出了成像设备22在位置76和78之间的移动。图5B是成像设备所捕获的ToF直方图，其中两个峰对应于成像设备的这两个位置。尽管图5B中的直方图与图4B中的直方图非常相似，但控制处理器58能够基于场景70中出现在相机62所捕获的图像中的边缘以及惯性传感器68所输出的信号来区分这两种情况。例如，如果边缘出现在相机62所捕获的图像中，而惯性传感器68没有检测到任何移动，则控制处理器58可以推断直方图中的双峰是由于深度图中的实际边缘。另一方面，当惯性传感器检测到成像设备的移动和/或未能检测到图像中的对应边缘时，该控制处理器将推断双峰是伪的。然后控制处理器58将相应地校正图5B的直方图，例如通过消除这两个峰中的一个或将这两个峰合并成单个峰，其中调节从位置76到位置78的移动。
图6A/B和图7A/B示出了根据本发明的另一实施方案的类似种类的比较。图6A是在生成渐变深度的场景80的深度图的过程中的成像设备22的示意性顶视图，而图6B是在这种情况下由成像设备22捕获的ToF直方图。在这种情况下，成像设备22是静止的，但是图6B中的直方图中的峰由于深度图中对应像素所涵盖的深度值的范围而被加宽。
另一方面，在图7A的示意性顶视图中，成像设备22在Z方向上在范围82内逐渐移动，从而类似地产生加宽的峰，如图7B的ToF直方图所示。再次，控制处理器58能够基于惯性传感器68的输出和/或由相机62捕获的图像的分析来检测成像设备22的运动，并且因此能够例如通过缩窄直方图的扩展以补偿所检测到的运动并计算更精确的深度值来调节和校正直方图。
尽管上述实施方案涉及设备22的特定物理配置，但是本发明的原理可类似地应用于其他种类的基于ToF的深度映射设备。例如，虽然设备22，但可应用上述技术来提高准确度。应当理解，上述实施方案以举例的方式引用，并且本发明不限于上文具体示出和描述的内容。相反，本发明的范围包括上文所述的各种特征，以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。

Claims (20)

1.一种成像装置，包括：
辐射源，所述辐射源被配置为朝向目标场景发射光学辐射的脉冲束；
感测元件的阵列，所述感测元件的阵列被配置为输出信号，所述信号指示所述感测元件上光子的相应入射时间；
物镜光学器件，所述物镜光学器件被配置为在所述感测元件的阵列上形成所述目标场景的第一图像；
图像传感器，所述图像传感器被配置为捕获所述目标场景的第二图像；以及
处理和控制电路，所述处理和控制电路被配置为处理所述第二图像以检测所述目标场景中至少一个对象与所述装置之间的相对运动，并且所述处理和控制电路被配置为响应于来自所述阵列的所述信号而构建所述感测元件上所述光子的所述入射时间的直方图，以及响应于所检测到的相对运动来调节所述直方图，并基于经调节的直方图生成所述目标场景的深度图。
2.根据权利要求1所述的装置，其中所述相对运动是由于所述装置的移动导致的，并且其中所述处理和控制电路被配置为过滤所述直方图以补偿所述装置的所述移动。
3.根据权利要求2所述的装置，并且包括惯性传感器，所述惯性传感器被配置为感测所述装置的所述移动并输出所述移动的指示，其中所述处理和控制电路被配置为在检测所述装置的所述移动中结合处理所述第二图像来应用所述惯性传感器所输出的所述指示。
4.根据权利要求1所述的装置，其中所述处理和控制电路被配置为在检测到所述目标场景与所述装置之间不存在所述相对运动时延长累积所述直方图的暴露时间。
5.根据权利要求1所述的装置，其中所述相对运动包括所述目标场景中对象的移动，并且其中所述处理和控制电路被配置为过滤所述直方图以补偿所述对象的所述移动。
6.根据权利要求5所述的装置，其中所述处理和控制电路被配置为处理所述第二图像以提取所述对象的所述移动的轨迹，以及针对所述轨迹被所述物镜光学器件成像到其上的所述感测元件校正所述直方图。
7.根据权利要求1所述的装置，其中所述处理和控制电路被配置为标识所述直方图中的边缘，并且在检测所述相对运动中应用所标识的边缘。
8.一种成像装置，包括：
辐射源，所述辐射源被配置为朝向目标场景发射光学辐射的脉冲束；
感测元件的阵列，所述感测元件的阵列被配置为输出信号，所述信号指示所述感测元件上光子的相应入射时间；
物镜光学器件，所述物镜光学器件被配置为在所述感测元件的阵列上形成所述目标场景的第一图像；
图像传感器，所述图像传感器被配置为捕获所述目标场景的第二图像；以及
处理和控制电路，所述处理和控制电路被配置为处理所述第二图像以估计所述目标场景中至少一个对象的深度范围，并且所述处理和控制电路被配置为响应于来自所述阵列的所述信号而构建所述感测元件上所述光子的所述入射时间的直方图，同时响应于所估计的深度范围对所述直方图中的一者或多者的时间范围进行门控，并基于经调节的直方图生成所述目标场景的深度图。
9.根据权利要求1至8中任一项所述的装置，其中所述第二图像是彩色图像。
10.根据权利要求1至8中任一项所述的装置，其中所述感测元件包括单光子雪崩二极管(SPAD)。
11.一种用于成像的方法，包括：
将光学辐射的脉冲束朝向目标场景引导；
将所述目标场景成像到成像设备中的感测元件的阵列上；
从所述感测元件接收信号，所述信号指示所述感测元件上光子的相应入射时间；
捕获所述目标场景的图像；
处理所捕获的图像以检测所述目标场景中至少一个对象与所述成像设备之间的相对运动；
响应于来自所述阵列的所述信号，构建所述感测元件上所述光子的所述入射时间的直方图；
响应于所检测到的相对运动调节所述直方图；以及
基于经调节的直方图生成所述目标场景的深度图。
12.根据权利要求11所述的方法，其中所述相对运动是由于所述成像设备的移动导致的，并且其中调节所述直方图包括过滤所述直方图以补偿所述成像设备的所述移动。
13.根据权利要求12所述的方法，并且包括利用惯性传感器感测所述成像设备的所述移动，所述惯性传感器输出所述移动的指示，其中过滤所述直方图包括在检测所述成像设备的所述移动中结合处理所述图像来应用所述惯性传感器所输出的所述指示。
14.根据权利要求11所述的方法，其中构建所述直方图包括在检测到在所述目标场景与所述成像设备之间不存在所述相对运动时延长累积所述直方图的暴露时间。
15.根据权利要求11所述的方法，其中所述相对运动包括所述目标场景中对象的移动，并且其中调节所述直方图包括过滤所述直方图以补偿所述对象的所述移动。
16.根据权利要求15所述的方法，其中处理所述图像包括提取所述对象的所述移动的轨迹，并且过滤所述直方图包括针对所述轨迹被所述物镜光学器件成像到其上的所述感测元件校正所述直方图。
17.根据权利要求11所述的方法，其中调节所述直方图包括标识所述直方图中的边缘，以及在检测所述相对运动中应用所标识的边缘。
18.一种用于深度映射的方法，包括：
将光学辐射的脉冲束朝向目标场景引导，以及接收信号，所述信号指示从所述目标场景反射的光子在成像设备中的感测元件的阵列上的相应入射时间；
响应于在所选暴露时间上累积的来自所述阵列的所述信号，构建所述感测元件上所述光子的所述入射时间的直方图；
捕获所述目标场景的图像；
处理所捕获的图像以检测所述目标场景中的对象与所述成像设备之间的相对运动；
从惯性传感器接收所述成像设备的移动的指示；
在检测到所述成像设备和所述目标场景静止时，增加累积所述直方图的所述暴露时间；
在检测到所述成像设备已移动时，过滤所述直方图以针对所述移动进行校正；以及
在检测到所述对象已移动时，针对所述对象的所述移动校正所述直方图。
19.根据权利要求11至18中任一项所述的方法，其中所述第二图像是彩色图像。
20.根据权利要求11至18中任一项所述的方法，其中所述感测元件包括单光子雪崩二极管(SPAD)。
CN201980062540.3A 2018-09-25 2019-09-02 成像装置、用于成像的方法和用于深度映射的方法 Active CN112740065B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862735864P 2018-09-25 2018-09-25
US62/735,864 2018-09-25
PCT/US2019/049253 WO2020068377A1 (en) 2018-09-25 2019-09-02 Enhanced depth mapping using visual inertial odometry

Publications (2)

Publication Number Publication Date
CN112740065A true CN112740065A (zh) 2021-04-30
CN112740065B CN112740065B (zh) 2024-06-25

Family

ID=67982184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062540.3A Active CN112740065B (zh) 2018-09-25 2019-09-02 成像装置、用于成像的方法和用于深度映射的方法

Country Status (4)

Country Link
US (1) US20210270969A1 (zh)
EP (1) EP3857259A1 (zh)
CN (1) CN112740065B (zh)
WO (1) WO2020068377A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489858A (zh) * 2021-07-07 2021-10-08 曜芯科技有限公司 成像系统以及相关成像方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914078B2 (en) 2018-09-16 2024-02-27 Apple Inc. Calibration of a depth sensing array using color image data
CN112099033B (zh) * 2020-09-11 2024-03-15 深圳市力合微电子股份有限公司 一种平衡资源与定位精度的测距方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059391A1 (en) * 2007-11-07 2009-05-14 Institut National D'optique Digital signal processing in optical systems used for ranging applications
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
US20140064555A1 (en) * 2012-09-04 2014-03-06 Digital Singnal Corporation System and Method for Increasing Resolution of Images Obtained from a Three-Dimensional Measurement System
CN106772430A (zh) * 2016-12-30 2017-05-31 南京理工大学 基于多分辨率小波逼近的单像素光子计数三维成像系统及方法
CN107533139A (zh) * 2015-03-17 2018-01-02 康奈尔大学 景深成像设备、方法和应用
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN108431626A (zh) * 2015-12-20 2018-08-21 苹果公司 光检测和测距传感器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059391A1 (en) * 2007-11-07 2009-05-14 Institut National D'optique Digital signal processing in optical systems used for ranging applications
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
US20140064555A1 (en) * 2012-09-04 2014-03-06 Digital Singnal Corporation System and Method for Increasing Resolution of Images Obtained from a Three-Dimensional Measurement System
CN107533139A (zh) * 2015-03-17 2018-01-02 康奈尔大学 景深成像设备、方法和应用
CN108431626A (zh) * 2015-12-20 2018-08-21 苹果公司 光检测和测距传感器
CN106772430A (zh) * 2016-12-30 2017-05-31 南京理工大学 基于多分辨率小波逼近的单像素光子计数三维成像系统及方法
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489858A (zh) * 2021-07-07 2021-10-08 曜芯科技有限公司 成像系统以及相关成像方法

Also Published As

Publication number Publication date
EP3857259A1 (en) 2021-08-04
CN112740065B (zh) 2024-06-25
US20210270969A1 (en) 2021-09-02
WO2020068377A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US11693115B2 (en) Determining positional information of an object in space
CN109725326B (zh) 飞行时间相机
US10120066B2 (en) Apparatus for making a distance determination
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
CN107430187B (zh) 深度传感器模块和深度感测方法
US10652489B2 (en) Vision sensor, a method of vision sensing, and a depth sensor assembly
CN110596722A (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN112740065B (zh) 成像装置、用于成像的方法和用于深度映射的方法
US20090091738A1 (en) Surface profile measurement
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
WO2021051480A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
US20130194390A1 (en) Distance measuring device
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
US20150193934A1 (en) Motion sensor apparatus having a plurality of light sources
CN112689776A (zh) 使用彩色图像数据校准深度感测阵列
US20150062302A1 (en) Measurement device, measurement method, and computer program product
JP2020008531A (ja) 距離補正機能を有する測距装置
KR20170035844A (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
JP2020160044A (ja) 測距装置および測距方法
US20220244392A1 (en) High resolution lidar scanning
US20230019246A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method
CN113597534B (zh) 测距成像系统、测距成像方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant