CN110876006A - 混合使用多次曝光获得的深度图像 - Google Patents

混合使用多次曝光获得的深度图像 Download PDF

Info

Publication number
CN110876006A
CN110876006A CN201910812322.9A CN201910812322A CN110876006A CN 110876006 A CN110876006 A CN 110876006A CN 201910812322 A CN201910812322 A CN 201910812322A CN 110876006 A CN110876006 A CN 110876006A
Authority
CN
China
Prior art keywords
depth
exposure
imager
estimated
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910812322.9A
Other languages
English (en)
Other versions
CN110876006B (zh
Inventor
R·哈特迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices Inc
Original Assignee
Analog Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analog Devices Inc filed Critical Analog Devices Inc
Publication of CN110876006A publication Critical patent/CN110876006A/zh
Application granted granted Critical
Publication of CN110876006B publication Critical patent/CN110876006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及混合使用多次曝光获得的深度图像。为了扩展动态范围，深度成像仪可以曝光具有两种不同曝光的场景以获得两个深度。选择两种不同的曝光以具有彼此重叠的相应深度范围。可以通过考虑曝光的差异以及两个深度相对于两个深度范围的重叠范围的边界的位置来组合两个深度。以这种方式组合两个深度可以帮助避免图像伪像，例如轮廓。

Description

混合使用多次曝光获得的深度图像
技术领域
本公开涉及集成电路领域，尤其涉及用于扩展飞行时间深度成像的动态范围。
背景技术
深度成像技术在飞行时间相机和测距仪中实现。深度成像技术可以脉冲光源并测量反射光以感测物体的存在、距离信息、深度信息和/或速度信息。这些光学系统具有广泛的用途，例如安全系统、医疗系统、汽车系统(例如用于自动驾驶车辆和/或驾驶员辅助)、航空航天系统、消费电子设备、工业应用、游戏等。
附图说明
为了更完整地理解本公开及其特征和优点，结合附图参考以下描述，其中相同的附图标记表示相同的部分，其中：
图1示出了根据本公开的一些实施例的深度成像仪和相关的飞行时间操作；
图2示出了根据本公开的一些实施例的对应于两种不同曝光的深度范围；
图3示出了根据本公开的一些实施例的用于混合利用多次曝光获得的深度图像的方法；
图4示出了根据本公开的一些实施例的仅基于第一示例的曝光权重的混合结果；
图5示出了根据本公开的一些实施例的仅基于第一示例的插值权重的混合的结果；
图6示出了根据本公开的一些实施例的基于第一示例的曝光权重和插值权重的混合结果；
图7示出了根据本公开的一些实施例的仅基于第二示例的曝光权重的混合结果；
图8示出了根据本公开的一些实施例的仅基于第二示例的插值权重的混合的结果；
图9示出了根据本公开的一些实施例的基于第二示例的曝光权重和插值权重的混合的结果。
具体实施方式
综述
为了扩展动态范围，深度成像仪可以使用两种不同的曝光来曝光场景以获得两个深度。选择两种不同的曝光以具有彼此重叠的相应深度范围。可以通过考虑曝光的差异以及两个深度相对于两个深度范围的重叠范围的边界的位置来组合两个深度。以这种方式组合两个深度可以帮助避免图像伪像，例如轮廓。
飞行时间操作
图1示出了根据本公开的一些实施例的深度成像仪和相关联的飞行时间(TOF)操作。深度成像仪包括用于发光的光源102(例如，一个或多个发光二极管、一个或多个激光器等)。深度成像仪可包括一个或多个传感器，在图1中的示例中描绘为传感器阵列104。透镜106可以包括在传感器阵列的前面。场景可以具有多个对象。为简单起见，示出了一个对象114。传感器阵列104可包括布置在二维区域上的电荷耦合器件(CCD)传感器。传感器阵列104中的传感器称为像素。
深度成像仪包括用于驱动光源102和传感器阵列104的TOF控制器120。深度成像仪可包括用于接收和处理来自传感器阵列104的信号的电路。传感器阵列104可以进行光测量并将光测量值作为信号传输到TOF控制器120。这种深度成像仪还可以同时输出场景的规则图像，例如红-绿-蓝(RGB)图像或红外图像。
深度成像仪还包括深度计算器122，以从光测量值导出深度。从光测量计算的深度可以形成场景的深度图像，其中深度图像的每个像素表示在该像素的视场中到物体的距离。以下段落描述了基于由传感器阵列104中的像素进行的一组光测量来计算深度的示例性方式。
用于创建深度图像的深度成像技术的示例是TOF成像。TOF通过使光源102将光发射到场景上来进行操作，称为曝光。光源102可以发射光脉冲(例如，一串光脉冲)以暴露场景。在一些情况下，光源102打开一段时间以暴露场景。然后光从场景中的物体(例如物体112)反射。反射光照射传感器阵列104。从传感器阵列104输出的信号可用于计算距离信息并形成深度图像。
通常，深度成像仪的光源靠近(邻近)传感器阵列，并且如果传感器阵列是移动的，则与传感器阵列一起移动(例如，光源相对于传感器阵列具有固定位置)。为简单起见，传感器阵列有时在本文中称为“传感器”。在一些其他情况下，人们也可以考虑静态光源，或者随着时间的推移已知其位置的任何光源。参考深度成像仪的光源靠近传感器的情况，可以理解，光返回并撞击传感器所花费的时间与到物体的距离成比例。更确切地说，物体的深度D由下式给出：
Figure BDA0002185400080000031
其中c是光速，tR是光线返回并撞击传感器所需的时间。
等式(1)中的因子2是由于光必须到达物体并返回。该因子可以根据光源相对于传感器的位置而不同。
为了获得传感器阵列104中的每个像素的深度，在每个像素处执行一组测量。实际上，像素可以具有多个电荷存储单元，用于收集多个光测量值，因此可以使用多个单独的传感器信号来以不同的时序单独地控制电荷存储单元。像素可以将入射光子转换成电子并将这些电子存储在电荷存储单元中。可以利用不同的传感器信号单独控制电荷存储单元，以实现不同的传感器定时并进行不同的测量。例如，每个像素包括用于感测光子并将光子转换成电子的一个或多个光电二极管(或光敏元件)以及用作存储电子的一个或多个电容器，用作电荷存储单元。传感器信号可以通过电容器以指定的时序开始和停止电子的收集。该系列电容器可以被认为是存储元件，即电荷存储单元，其存储不同的收集光测量值。存储在像素的电荷存储单元中的电荷量可以由其他电路读取，并且由其他电路进一步处理以计算深度。该组测量值(即存储在电荷存储单元中的电荷)提供了计算深度的信息。每个像素可以使得能够计算或估计相应的深度；传感器阵列104可以使得能够基于相应的深度生成深度图像。
发射的光从物体反弹，并且可以返回并击中传感器阵列104。除了来自物体的返回光之外，传感器阵列104还可以接收可能破坏TOF测量的其他外来光。外来光的一种形式是背景(BG)光。BG光可能来自其他来源，例如阳光、与系统无关的其他光源、以及与其他深度成像仪相关的光源。期望设计对BG光具有一定容差的TOF深度成像仪。对于一些测量，所收集的信号可以包括BG光和在集成期间从撞击像素的物体反射的返回光。通过适当的测量和计算集，可以基于容忍BG光的方案从三次光测量估计深度。像素可以包括三个电荷存储单元，S0、S1和S2，其可以存储不同的收集光测量值。光源102可以从t＝0到t＝TL开启。S0可以从t＝t0到t＝t0+TL收集光。S1可以从t＝t1到t＝t1+TL收集光。在一个案例中，t1＝t0+TL。S2可以在光源102关闭的情况下收集TL时间的BG光。对于三个电荷存储单元，像素感测光的时间间隔的持续时间不一定必须是TL。可以通过计算以下示例性等式来获得像素的深度D：
Figure BDA0002185400080000041
当t0＝t1，
Figure BDA0002185400080000042
时得到等式2。
Dmin是深度成像仪报告深度的最小距离。一般而言，深度成像仪可以具有由最小距离Dmin和最大距离Dmax限定的深度范围。在深度范围之外，深度成像仪不报告距离。Dmin不为零的一个原因可能是，对于比Dmin更接近的大反射率的物体的返回光是如此强烈以至于返回光使传感器阵列104饱和。Dmax通常是没有足够的光返回到传感器阵列104(例如，收集的测量结果太嘈杂)以确定距离的距离。
通过减去由S2收集的BG光，分别通过S0和S1对所收集的光进行BG光调整。在进行BG光S2的调节之后，基于S1收集的光的总量与S0和S1的收集光的总量的比率来计算深度。因此，利用等式(2)计算的深度D和所描述的测量具有对背景光具有容忍/不敏感的优点，因为从由S0和S1完成的测量中减去S2测量BG光。
考虑到光脉冲和传感器信号不是完全正方形脉冲，可以测量作为深度函数的比率
Figure BDA0002185400080000051
并将值存储在查找表中。查找表实现函数H(x)，使得
Figure BDA0002185400080000052
并且可以针对非理想脉冲形状调整深度。换句话说，基于比率
Figure BDA0002185400080000053
的查找表的结果可以输出校正的深度。H(x)的值可以在已知H(x)的x的值之间外推。深度方程变为：
Figure BDA0002185400080000054
深度成像仪的动态范围限制
如前所述，深度成像仪具有由最小距离Dmin和最大距离Dmax限定的深度范围。在深度范围之外，深度成像仪不报告距离。通常，由于深度成像仪正在使用的给定曝光水平的限制，深度成像仪(例如，3D红外成像系统)的深度范围是固定的。虽然基于场景的重复(但相同)曝光的多次测量可以增加信号强度，但是测量的动态范围保持基本固定。
有时，希望找到基本上扩展深度范围的方法，以适应物体距离传感器阵列的大范围距离的场景。为了扩展深度范围(也称为深度成像仪的动态范围)，可以使用在场景的不同曝光水平下的多次曝光。可以从多次曝光中在每个像素处进行多组测量，以扩展像素的动态范围。为简单起见，在给定曝光下进行的一组测量在以下段落中称为“测量”(其实际上可包括像素处的若干光测量)。选择不同的曝光并组合从不同曝光中获得的不同测量值并非易事。
选择不同的曝光以扩展深度成像仪的动态范围
选择曝光(即，曝光水平)是不同的，以基本上扩展深度成像仪的动态范围。此外，曝光具有相应的重叠深度范围，以确保深度成像仪具有连续的扩展深度范围。这里，曝光可以通过光源打开多长时间或光源发射多少脉冲来定义。不同的曝光意味着曝光水平不同，例如，光源发出不同数量的脉冲。
图2示出了根据本公开的一些实施例的对应于两种不同曝光的深度范围。第一曝光IR1具有对应的第一深度范围R1202。第二曝光IR2具有对应的第二深度范围R2204。给定曝光水平的深度范围由反射光使传感器饱和的距离DS到测量深度值的信噪比低于噪声容限的距离DT确定。DS称为饱和距离，其中短距离返回的光量使传感器饱和。DT称为噪声容限距离，其中返回光量太低，信号太嘈杂，无法计算好的深度。因此，第一曝光IR1的第一深度范围R1202被定义为从饱和距离DS1到噪声容限距离DT1的范围。用于第二曝光IR2的第二深度范围R2204被定义为从饱和距离DS2到噪声容限距离DT2的范围。
对于不同的曝光，比率DS/DT通常是相同的，因为无论暴露水平如何，光强度都以1/D2的速率下降。噪音是红外线强度的函数N(IR)。在DS处的IR水平IRS是在使传感器饱和之前的最大值，并且DT处的IR水平IRT随着距离平方的倒数减小：IRT＝IRS×DS/DT 2。
因此，第一深度范围R1202具有深度限制DS1和DT1，并且第二深度范围R2204具有深度限制DS2和DT1。选择曝光使得对应于第一曝光IR1的第一深度范围R1202与对应于第二曝光IR2的第二深度范围R2204重叠。这意味着第二次曝光IR2的饱和距离DS2小于第一曝光IR1的噪声容限距离DT1(DS2＜DT1)，或者第一曝光IR1的噪声容限距离DT1大于第二曝光IR2的饱和距离DS2(DT1＞DS2)。
结合多次曝光的多个测量
当使用来自多个曝光水平的多个测量值来增加动态范围时，多个测量可以报告对象的不同深度(在某个实际距离处)，但是每个深度仍然在系统的某个精度容限内。因此，当在两个深度范围的重叠区域(例如，从DS2到DT1的定义的范围)中报告深度时，如果没有处理和适当地组合测量，则可能出现诸如轮廓的图像伪像。
为了混合由不同曝光水平或深度范围产生的两个深度，当深度在两个深度范围的重叠区域内时，例如，第一深度范围R1202和第二深度范围R2204，可以通过使用两个权重来组合每个像素的深度。第一权重可以解释暴露水平的差异。第二权重可以解释深度与重叠区域的边界的接近度。两个权重的组合可以产生混合结果而没有图像伪影。
返回参照图1，深度成像仪还包括混合器124，其获取由深度计算器122计算的深度，并且以避免或减少图像伪像的方式组合深度以扩展深度成像仪的动态范围。
图3示出了根据本公开的一些实施例的用于混合利用多次曝光获得的深度图像的方法。该方法可以由图1的深度成像仪执行，以通过多次曝光来扩展深度成像仪的动态范围。深度成像仪进行场景的第一曝光和场景的第二曝光(例如，使用图1的TOF控制器120进行第一曝光和第二曝光)。可以如图2所示选择第一曝光和第二曝光，其中所述第二曝光与所述第一曝光不同。传感器(例如，在传感器阵列104中)可以基于场景的第一曝光IR1进行第一次测量(例如，一组光测量)。传感器可以基于场景的第二曝光IR2进行第二次测量(例如，一组光测量)。由传感器完成的第一次测量和第二次测量可以传输到图1的TOF控制器120。
深度计算器(例如，图1的深度计算器122)可以基于从场景的第一曝光IR1获得的第一测量值来确定第一深度D1。深度计算器还可以基于从场景的第二曝光IR2获得的第二测量值来确定第二深度D2。可以将第一深度D1和第二深度D2提供给混合器124以进行处理。
图1的混合器124取第一深度D1和第二深度D2作为输入。混合器124还接收诸如第一曝光和第二曝光(例如，IR1和IR2)的曝光水平以及第一曝光和第二曝光的深度范围(例如，深度限制DS1、DT1、DS2和DT1))的参数。混合器124产生调整的深度Dout作为结合第一深度D1和第二深度D2的最终深度。
可选地，在302中，混合器124确定第二深度D2是否指示饱和。在某些情况下，第二深度D2为零，或者具有指示传感器处于饱和状态的值。在这种情况下，响应于确定第二深度D2指示饱和(在“Y”分支之后)，混合器124将第一深度D1设置为调整后的深度Dout。当第二深度D2指示饱和时，第一深度D1将是可以获得的最准确的深度。因此，Dout＝D1。
在304中，混合器124基于第一深度D1、第二深度D2以及第一曝光IR1和第二曝光IR2之间的关系来计算估计深度Dest。第一曝光IR1和第二曝光IR2之间的关系基于第二曝光IR2和第一曝光IR1的比率ER。例如，ER＝IR2/IR1。第一曝光IR1和第二曝光IR2可以是光脉冲的数量，或光源所在的持续时间。该关系可以通过作为比率ER的函数的曝光权重WE来捕获，即WE(ER).。在一些情况下，第一曝光IR1和第二曝光IR2之间的关系可以定义一个比第一深度D1(通过具有较低曝光水平的第一曝光IR1获得)更重的第二深度D2(通过具有较高曝光水平的第二曝光IR2获得)的曝光权重WE。
为了确定估计深度Dest，混合器124可以基于第一曝光IR1和第二曝光IR2之间的关系确定第一深度D1和第二深度D2的加权组合。曝光权重WE(和补充曝光权重(1-WE))可以用于计算第一深度D1和第二深度D2的加权组合，并且混合器124可以使用加权组合作为估计深度Dest。例如，估计深度Dest可以通过以下方式计算：
Dest＝WE·D1+(1-WE)·D2 (等式101)
曝光权重WE可以通过以下方式计算：
Figure BDA0002185400080000081
在某些情况下，曝光权重WE是介于0和1之间的值。在某些情况下，曝光权重WE的值设置为一个值，以确保第一深度D1和第二深度D2分别与第一曝光IR1和第二曝光IR2的水平成比例地加权。可以基于第一曝光IR1和第二曝光IR2的已知设置来定义曝光权重WE。在一些情况下，可以基于代表第一曝光和第二曝光IR2的曝光量的传感器测量来定义曝光权重WE。
曝光权重WE背后的直觉是，较高曝光所获得的深度(与更高的信号强度相关)被认为优于较低曝光所获得的深度(与较低信号强度相关)。结果，曝光权重WE将通过较高曝光获得的深度加权，而不是通过较低曝光获得的深度。由于利用较低曝光获得的深度仍具有关于真实/实际深度的一些信息，因此将利用较高曝光获得的深度和利用较低曝光获得的深度组合在一起以使用曝光权重WE形成估计深度。
在306中，混合器124确定估计深度Dest是否小于第二曝光IR2的饱和距离DS2。这将检查第二深度D2是否可能处于饱和状态(并且第一深度D1可能是比D2更精确的深度)。换句话说，混合器124检查Dest＜DS2是否为真。如果是(在“Y”分支之后)，则将第一深度D1设置为调整后的深度Dout。当第二深度D2可能饱和时，第一深度D1将是可以获得的最准确的深度。因此，Dout＝D1。如果否(在“N”分支之后)，则方法进行到308。
在308中，混合器124确定估计深度Dest是否大于第一曝光IR1的噪声容限距离DT1。这将检查第一深度D1是否可能太嘈杂(并且第二深度D2可能是比D1更精确的深度)。换句话说，混合器124检查Dest＞DT1是否为真。如果是(在“Y”分支之后)，则将第二深度D2设置为调整后的深度Dout。当第一深度D1可能太嘈杂时，第二深度D2将是可以获得的最准确的深度。因此，Dout＝D2。
如果否(在来自308的“N”分支之后)，则确定估计深度Dest大于第二曝光IR2的饱和距离DS2并且估计深度Dest小于第一曝光IR1的噪声容限距离DT1。换句话说，估计深度Dest在第一深度范围R1和第二深度范围R2的重叠区域中。该方法继续基于组合权重设置调整深度Dout。组合权重是两个权重的组合：曝光权重WE(ER)和插值权重WP(Dest)。组合权重的使用可以消除可能在重叠区域的边界处发生的任何图像伪像。基于第一曝光和第二曝光(例如WE(ER))和插值权重(例如WP(Dest))之间的关系确定组合权重。
插值权重由估计深度Dest、第二曝光IR2的饱和距离DS2和第一曝光IR1的噪声容限距离DT1来定义。例如，插值权重(例如WP(Dest))可以取决于估计深度Dest与第一曝光IR1的噪声容限距离DT1或第二曝光IR2的饱和距离DS2的接近度或距离。在某些情况下，插值权重WP可以通过以下公式计算：
Figure BDA0002185400080000101
换句话说，插值权重(例如WP(Dest))是(1)估计深度Dest与第一曝光IR1的噪声容限距离DT1之间的距离(例如DT1-Dest)和(2)重叠区域的宽度(例如DT1-DS2)的比率。因此，插值权重WP测量估计深度Dest与第一深度范围R1和第二深度范围R2的重叠区域的边界的接近程度。等式(103)中的计算基于线性插值，但是可以设想插值权重WP的计算可以基于其他插值方案。插值权重WP使得能够在该重叠区域内进行平滑(线性)插值，并避免重叠区域边界处的不连续性。
一旦计算出插值权重WP(和互补插值权重(1-WP))，就可以将曝光权重WE(ER)和插值权重WP(Dest)组合成组合权重W1。组合权重W1可以是曝光权重WE和插值权重WP的乘积：
W1＝WE·WP (等式104)
互补组合权重W2可以是互补曝光权重(1-WE)和互补插值权重(1-WP)的乘积：
W2＝(1-WE)(1-WP). (等式105)
优选地，将组合权重W1和互补组合权重W2标准化，使得标准化组合权重WNorm1和互补标准化组合权重WNorm2加起来为1。标准化组合权重WNorm1可以定义为组合权重W1与组合权重W1与互补组合权重W2之和的比率：
Figure BDA0002185400080000102
互补的标准化组合权重WNorm2可以定义为互补组合权重W2与组合权重W1和互补组合权重W2之和的比率：
Figure BDA0002185400080000111
扩展方程(106)和(107)，归一化的组合权重WNorm1可以定义为：
Figure BDA0002185400080000112
互补的归一化组合权重WNorm2可以定义为：
WNorm2＝1-WNorm1 (等式109)
使用(标准化的)组合权重，混合器124可以通过基于(标准化的)组合权重W1或Wnorm1(及其互补版本)计算第一深度D1和第二深度D2的加权组合来计算调整后的深度Dout，并设置第一深度D1和第二深度D2的加权组合/平均值作为调整后的深度Dout。因此：
Dout＝D1*Wnorm1+D2*Wnorm2 (等式110)
图3的306和308捕获混合器124如何基于估计深度Dest、第一曝光和第二曝光(例如WE(ER))之间的关系、第二曝光IR2的饱和距离DS2和第一曝光IR1的噪声容限距离DT1来计算调整的深度Dout。
具有扩展动态范围的示例性深度成像仪
在一个示例中，具有扩展动态范围的深度成像仪包括：TOF控制器(例如TOF控制器120)，用于控制光源(例如光源102)；以及一个或多个传感器(例如，传感器阵列104)，用于基于场景的第一曝光进行第一次测量，并基于不同于第一曝光的场景的第二曝光进行第二次测量。示例性的第一和第二测量结果在图2中示出。TOF控制器可以控制光源发射第一数量的光脉冲用于第一曝光，并控制光源发射第二数量的光脉冲用于第二曝光。
深度成像仪还包括深度计算器(例如，深度计算器122)，用于基于第一测量计算第一深度，并基于第二测量计算第二深度。例如，可以基于通过第一曝光IR1和第二曝光IR2获得的传感器测量来计算第一深度D1和第二深度D2。
深度成像仪还包括混合器(例如，混合器124)，以基于所述第一深度和所述第二深度计算估计深度。在一些情况下，曝光权重基于第二脉冲数与第一脉冲数的比率。可以基于图3的304计算估计深度。混合器可以通过计算通过曝光权重加权的第一深度和第二深度的平均值来计算估计深度。等式(101)和(102)可用于计算曝光权重和估计深度。
混合器还基于第一深度、第二深度、与第一曝光和第二曝光相关的曝光权重以及基于估计深度计算的插值权重输出调整后的深度。可以基于图3的306和308计算调整后的深度。如果所述估计深度小于所述第二曝光的饱和距离，则所述混合器输出所述第一深度作为调整的深度(图3的306，然后是306的“Y”分支)。如果所述估计深度大于所述第一曝光的噪声容限距离，则所述混合器输出第二深度作为调整后的深度(图3的308，然后是308的“Y”分支)。如果所述估计深度位于所述第二曝光的饱和距离和所述第一曝光的噪声容限距离之间，则所述混合器输出所述第一深度和所述第二深度的平均值作为调整深度，其中所述平均值由所述曝光权重和所述插值权重加权(然后是308的“N”分支)。等式(103)-(110)可用于计算调整后的深度。
在另一示例中，具有扩展的动态范围的深度成像仪可包括通过用第一数量的光脉冲曝光场景进行第一测量并且通过用第二数量的光脉冲曝光所述场景进行第二测量的装置。该装置可包括TOF控制器120、光源102和图1的传感器阵列104。深度成像仪还可包括用于确定来自所述第一测量的第一深度和来自所述第二测量的第二深度的装置。该装置可以包括图1的深度计算器122。深度成像仪还可包括用于将第一深度和第二深度混合的装置，其组合为(1)与第一数量的光脉冲和第二数量的光脉冲相关的曝光权重和(2)插值权重。该装置可以包括图1的混合器124，可以实现图3的部分的电路。
本公开包括可以包括用于实现本文公开的各种技术的任何一个或多个部分的装置的装置。此外，本公开包括包括一个或多个处理器，用于存储指令的一个或多个存储器的装置。一个或多个处理器可以执行指令以执行本文公开的各种技术的任何一个或多个部分(例如，图3中所见的功能)。
第一个例子
假设第二曝光IR2与第一曝光IR1的比例ER为4，第二曝光IR2的饱和距离DS2为80cm，第一曝光IR1的噪声容限距离DT1为100cm。第一深度D1为84厘米。第二深度D2是90厘米。因此，基于等式(102)的曝光权重为0.2。因此，基于等式(101)的估计深度Dest为0.2*84+0.8*90＝88.8cm。因此，基于等式(103)的插值权重WP为(100-88.8)/(100-80)＝0.56。因此，基于等式(108)的归一化组合权重WNorm1为0.241，并且基于等式(109)的互补归一化组合权重WNorm2因此为0.759。因此，基于等式(110)的调整深度为0.241*84+0.759*90＝88.6cm。
图4示出了根据本公开的一些实施例的仅基于第一示例的曝光权重的混合结果。区域402和404在最终深度Dout中显示出明显的过渡，这将导致深度图像伪影。图5示出了根据本公开的一些实施例的仅基于第一示例的插值权重的混合的结果。区域502示出最终深度Dout的急剧转变，这也将导致深度图像伪影。图6示出了根据本公开的一些实施例的基于第一示例的曝光权重和插值权重的混合结果。使用图1的混合器124，基于图3所示的方案获得结果。在各种第一深度D1和第二深度D2值上的调整深度Dout中不出现尖锐的过渡。因此，所产生的所得深度图像不会受到由两个深度范围的重叠区域的边界处的不连续性引起的轮廓或图像伪影的影响。
第二个例子
假设第二曝光IR2与第一曝光IR1的比例ER为5，第二曝光IR2的饱和距离DS2为80cm，第一曝光IR1的噪声容限距离DT1为120cm。第一深度D1为110厘米。第二深度D2是92厘米。因此，基于等式(102)的曝光权重WE为0.167。因此，基于等式(101)的估计深度Dest为0.167×110+0.833×92＝95cm。因此，基于等式(103)的插值权重WP是(120-95)/(120-80)＝0.625。因此，基于等式(108)的归一化组合权重WNorm1为0.25，并且基于等式(109)的互补归一化组合权重WNorm2因此为0.75。因此，基于等式(110)的调整深度为0.25*110+0.75*92＝96.5cm。
图7显示了根据本公开的一些实施方案，仅基于第二实施例的曝光权重的共混结果。区域702和704在最终深度Dout中显示出明显的过渡，这将导致深度图像伪影。图8示出了根据本公开的一些实施例的仅基于第二示例的插值权重的混合的结果。区域802显示最终深度Dout的急剧转变，这也将导致深度图像伪影。图9示出了根据本公开的一些实施例的基于第二示例的曝光权重和插值权重的混合结果。使用图1的混合器124，基于图3所示的方案获得结果。在各种第一深度D1和第二深度D2值上的调整深度Dout中不出现尖锐的过渡。因此，所产生的所得深度图像不会受到由两个深度范围的重叠区域的边界处的不连续性引起的轮廓或图像伪影的影响。
变化、优点、应用和例子
例子1是一种通过多次曝光扩展深度成像仪的动态范围的方法，该方法包括：确定从场景的第一次曝光获得的第一深度；确定从所述场景的第二次曝光获得的第二深度，其中所述第二曝光与所述第一曝光不同；基于所述第一深度、所述第二深度以及所述第一曝光和所述第二曝光之间的关系计算估计深度；和基于所述估计深度、以及所述第一曝光和所述第二曝光之间的关系、所述第二曝光的饱和距离、和所述第一曝光的噪声容限距离来计算调整的深度。
在例子2中，例子1可任选地包括：对应于所述第一曝光的第一深度范围与对应于所述第二曝光的第二深度范围重叠。
在例子3中，例子1或2可任选地包括：所述第二曝光的饱和距离小于所述第一曝光的噪声容限距离。
在例子4中，例子1-3中任一项可任选地包括：所述第一曝光和所述第二曝光之间的关系基于所述第二曝光和所述第一曝光的比率。
在例子5中，例子1-4中任一项可任选地包括：所述第一曝光和所述第二曝光之间的关系限定比所述第一深度更重的第二深度的曝光权重。
在例子6中，例子1-5中任一项可任选地包括：计算估计深度包括：基于所述第一曝光和所述第二曝光之间的关系确定所述第一深度和所述第二深度的加权组合。
在例子7中，例子1-6中任一项可任选地包括：计算调整的深度包括：响应于确定所述估计深度小于所述第二曝光的饱和距离，将所述第一深度设置为调整的深度。
在例子8中，例子1-7中任一项可任选地包括：计算调整的深度包括：响应于确定所述估计深度大于所述第一曝光的噪声容限距离，将所述第二深度设置为调整的深度。
在例子9中，例子1-8中任一项可任选地包括：计算调整的深度包括：基于下列确定组合权重：(1)所述第一曝光与所述第二曝光之间的关系和(2)由所述估计深度、所述第二曝光的饱和距离和所述第一曝光的噪声容限距离限定的插值权重。
在例子10中，例子9可任选地包括：所述插值权重取决于所述估计深度与所述第一曝光的噪声容限距离或所述第二曝光的饱和距离的接近。
在例子11中，例子9或10可任选地包括：计算调整的深度包括：基于所述组合权重计算所述第一深度和所述第二深度的加权组合；和将所述第一深度和所述第二深度的加权组合设置为调整的深度。
在例子12中，例子1-11中任一项可任选地包括：响应于确定第二深度指示饱和，将所述第一深度设置为调整的深度。
例子13是具有扩展的动态范围的深度成像仪，深度成像仪包括：飞行时间控制器，用于控制光源和一个或多个传感器以基于场景的第一曝光进行第一测量，并基于与所述第一曝光不同的场景的第二曝光进行第二测量；深度计算器，用于基于所述第一测量计算第一深度和基于所述第二测量计算第二深度；和混合器，用于：基于所述第一深度和所述第二深度计算估计深度；和基于所述第一深度、所述第二深度、与所述第一曝光和所述第二曝光相关的曝光权重、以及基于估计深度计算的插值权重来输出调整的深度。
在例子14中，例子13可任选地包括：所述飞行时间控制器控制光源为所述第一曝光发射第一数量的光脉冲，并控制所述光源为所述第二曝光发射第二数量的光脉冲。
在例子15中，例子14可任选地包括：所述曝光权重基于第二数量和第一数量的比。
在例子16中，例子13-15中任一项可任选地包括：所述混合器通过计算由所述曝光权重加权的第一深度和第二深度的平均值来计算估计深度。
在例子17中，例子13-16中任一项可任选地包括：如果所述估计深度小于所述第二曝光的饱和距离，则所述混合器输出所述第一深度作为调整的深度。
在例子18中，例子13-17中任一项可任选地包括：如果所述估计深度大于所述第一曝光的噪声容限距离，则所述混合器输出第二深度作为调整后的深度。
在例子19中，例子13-18中任一项可任选地包括：如果所述估计深度位于所述第二曝光的饱和距离和所述第一曝光的噪声容限距离之间，则所述混合器输出所述第一深度和所述第二深度的平均值作为调整深度，其中所述平均值由所述曝光权重和所述插值权重加权。
例子20是具有扩展的动态范围的深度成像仪，深度成像仪包括：构件，用于通过用第一数量的光脉冲曝光场景进行第一测量，并且通过用第二数量的光脉冲曝光所述场景进行第二测量；构件，用于确定来自所述第一测量的第一深度和来自所述第二测量的第二深度；和构件，用于使用(1)涉及第一数量的光脉冲和第二数量的光脉冲的曝光权重和(2)插值权重的组合将所述第一深度和所述第二深度混合。
一般而言，这里公开的实施例适用于深度成像仪，其可以受益于具有扩展的动态范围。可以使用多次曝光以较低帧速率的成本大幅增加动态范围。深度成像仪可以配置有对应于不同动态范围的不同模式，以允许用户交换帧速率以增加动态范围。还可以基于期望的应用来选择/选择模式。
深度成像仪用于确定深度、距离和/或速度，可以从扩展的动态范围中受益，可以在许多应用中找到，包括光学系统、测距系统、运动电子、消费电子、医疗设备、航空航天/军用设备、汽车电子、安全系统、工业系统等。深度成像仪可用于手机、增强现实产品、虚拟现实产品、游戏设备等消费产品。
这里提到的深度成像仪可以实现连续波测距技术(通过比较接收信号的调制相位与发射光的调制相位来提取发射调幅光和距离信息)和脉冲飞行时间范围寻找技术(其发射一系列光脉冲并测量发射光和接收光之间的时间间隔)。这些深度成像仪往往具有类似的动态范围限制。进行多次曝光并混合从多次曝光获得的深度可以有利地扩展动态范围。这里的实施例通常适用于通过测量由发射光产生的反射光来获得深度的测距系统，因为这些测距系统通常表现出图2所示的特征深度范围限制。
在某些情况下，深度成像仪是基于雷达的。在其他一些情况下，深度成像仪是基于声纳的。
本公开可以设想，可以使用两种以上的不同曝光，只要曝光的深度范围彼此重叠并提供扩展的动态范围即可。例如，可以使用三种不同的曝光，其中对应于第一曝光的第一深度范围与对应于第二曝光的第二深度范围重叠，并且第二深度范围与对应于第三曝光的第三深度范围重叠。
本公开包括可以包括用于实现本文公开的各种技术的任何一个或多个部分的装置的装置。
还必须注意，本文概述的所有规范、尺寸和关系(例如，电路组件)仅出于示例和教学的目的而提供。在不脱离本公开的精神或所附权利要求(如果有的话)和/或示例的范围的情况下，可以显着地改变这样的信息。该规范仅适用于一个非限制性例子，因此，它们应被解释为如此。在前面的描述中，已经参考特定的组件布置描述了实例。在不脱离所附权利要求(如果有的话)和/或示例的范围的情况下，可以对这些实施例进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的。
注意，利用本文提供的众多示例，可以根据两个、三个、四个或更多个电子组件来描述交互。然而，这仅出于清楚和示例的目的而进行。应该理解，系统可以以任何合适的方式合并。沿着类似的设计替代方案，附图中的任何所示组件可以以各种可能的配置组合，所有这些配置都明显在本说明书的宽范围内。在某些情况下，仅通过参考有限数量的电气元件来描述给定流程集的一个或多个功能可能更容易。应当理解，附图及其教导的电路易于扩展，并且可以容纳大量部件，以及更复杂/复杂的布置和配置。因此，所提供的示例不应限制范围或抑制可能应用于无数其他架构的电路的广泛教导。
注意，在本说明书中，对“一个实施例”、“示例实施例”、“实施例”、“另一个实施例”、“一些实施例”、“各种实施例”、“其他实施例”、“替代实施例”等中包括的各种特征(例如，元件、结构、模块、组件、步骤、操作、特性等)的引用旨在表示任何这样的特征包括在本公开的一个或多个实施例中，但是可以或可以不必在相同的实施例中组合。
同样重要的是要注意，与混合有关的功能仅示出了可由图中所示的电路执行的一些可能的功能。在适当的情况下可以删除或移除这些操作中的一些，或者可以在不脱离本公开的范围的情况下显着地修改或改变这些操作。此外，这些操作的时间可能会大大改变。出于示例和讨论的目的提供了业务流程。本文描述的实施例提供了实质的灵活性，因为可以提供任何合适的布置、时间顺序、配置和定时机制而不脱离本公开的教导。
本领域技术人员可以确定许多其他改变、替换、变化、替代和修改，并且本公开旨在涵盖落入本公开范围内的所有这样的改变、替换、变化、替代和修改。注意，本文描述的装置的所有可选特征也可以关于本文描述的方法或过程来实现，并且示例中的细节可以在一个或多个实施例中的任何地方使用。

Claims (20)

1.一种通过多次曝光扩展深度成像仪的动态范围的方法，该方法包括：
确定从场景的第一次曝光获得的第一深度；
确定从所述场景的第二次曝光获得的第二深度，其中所述第二曝光与所述第一曝光不同；
基于所述第一深度、所述第二深度以及所述第一曝光和所述第二曝光之间的关系计算估计深度；和
基于所述估计深度、以及所述第一曝光和所述第二曝光之间的关系、所述第二曝光的饱和距离、和所述第一曝光的噪声容限距离来计算调整的深度。
2.权利要求1所述的方法，其中对应于所述第一曝光的第一深度范围与对应于所述第二曝光的第二深度范围重叠。
3.权利要求1所述的方法，其中:
所述第二曝光的饱和距离小于所述第一曝光的噪声容限距离。
4.权利要求1所述的方法，其中:
所述第一曝光和所述第二曝光之间的关系基于所述第二曝光和所述第一曝光的比率。
5.权利要求1所述的方法，其中:
所述第一曝光和所述第二曝光之间的关系限定比所述第一深度更重的第二深度的曝光权重。
6.权利要求1所述的方法，其中计算估计深度包括：
基于所述第一曝光和所述第二曝光之间的关系确定所述第一深度和所述第二深度的加权组合。
7.权利要求1所述的方法，其中计算调整的深度包括:
响应于确定所述估计深度小于所述第二曝光的饱和距离，将所述第一深度设置为调整的深度。
8.权利要求1所述的方法，其中计算调整的深度包括:
响应于确定所述估计深度大于所述第一曝光的噪声容限距离，将所述第二深度设置为调整的深度。
9.权利要求1所述的方法，其中计算调整的深度包括:
基于下列确定组合权重：(1)所述第一曝光与所述第二曝光之间的关系和(2)由所述估计深度、所述第二曝光的饱和距离和所述第一曝光的噪声容限距离限定的插值权重。
10.权利要求9所述的方法，其中:
所述插值权重取决于所述估计深度与所述第一曝光的噪声容限距离或所述第二曝光的饱和距离的接近。
11.权利要求9所述的方法，其中计算调整的深度包括:
基于所述组合权重计算所述第一深度和所述第二深度的加权组合；和
将所述第一深度和所述第二深度的加权组合设置为调整的深度。
12.权利要求1所述的方法，还包括：
响应于确定第二深度指示饱和，将所述第一深度设置为调整的深度。
13.具有扩展的动态范围的深度成像仪，所述深度成像仪包括：
飞行时间控制器，用于控制光源和一个或多个传感器以基于场景的第一曝光进行第一测量，并基于与所述第一曝光不同的场景的第二曝光进行第二测量；
深度计算器，用于基于所述第一测量计算第一深度和基于所述第二测量计算第二深度；和
混合器，用于：
基于所述第一深度和所述第二深度计算估计深度；和
基于所述第一深度、所述第二深度、与所述第一曝光和所述第二曝光相关的曝光权重、以及基于估计深度计算的插值权重来输出调整的深度。
14.权利要求13所述的深度成像仪，其中所述飞行时间控制器控制光源为所述第一曝光发射第一数量的光脉冲，并控制所述光源为所述第二曝光发射第二数量的光脉冲。
15.权利要求14所述的深度成像仪，其中所述曝光权重基于第二数量和第一数量的比。
16.权利要求13所述的深度成像仪，其中所述混合器通过计算由所述曝光权重加权的第一深度和第二深度的平均值来计算估计深度。
17.权利要求13所述的深度成像仪，其中如果所述估计深度小于所述第二曝光的饱和距离，则所述混合器输出所述第一深度作为调整的深度。
18.权利要求13所述的深度成像仪，其中如果所述估计深度大于所述第一曝光的噪声容限距离，则所述混合器输出第二深度作为调整后的深度。
19.权利要求13所述的深度成像仪，其中如果所述估计深度位于所述第二曝光的饱和距离和所述第一曝光的噪声容限距离之间，则所述混合器输出所述第一深度和所述第二深度的平均值作为调整深度，其中所述平均值由所述曝光权重和所述插值权重加权。
20.具有扩展的动态范围的深度成像仪，所述深度成像仪包括：
构件，用于通过用第一数量的光脉冲曝光场景进行第一测量，并且通过用第二数量的光脉冲曝光所述场景进行第二测量；
构件，用于确定来自所述第一测量的第一深度和来自所述第二测量的第二深度；和
构件，用于使用(1)涉及第一数量的光脉冲和第二数量的光脉冲的曝光权重和(2)插值权重的组合将所述第一深度和所述第二深度混合。
CN201910812322.9A 2018-08-30 2019-08-30 混合使用多次曝光获得的深度图像 Active CN110876006B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/118,389 2018-08-30
US16/118,389 US10708514B2 (en) 2018-08-30 2018-08-30 Blending depth images obtained with multiple exposures

Publications (2)

Publication Number Publication Date
CN110876006A true CN110876006A (zh) 2020-03-10
CN110876006B CN110876006B (zh) 2021-09-07

Family

ID=69526862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812322.9A Active CN110876006B (zh) 2018-08-30 2019-08-30 混合使用多次曝光获得的深度图像

Country Status (3)

Country Link
US (1) US10708514B2 (zh)
CN (1) CN110876006B (zh)
DE (1) DE102019121202B4 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
WO2022137919A1 (ja) * 2020-12-22 2022-06-30 パナソニックＩｐマネジメント株式会社 撮像装置
US11800244B1 (en) * 2022-08-13 2023-10-24 Mojtaba Vaziri Method and apparatus for an imaging device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819837A (zh) * 2012-07-12 2012-12-12 清华大学 基于反馈控制的深度图处理方法及装置
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和系统
US20160245920A1 (en) * 2015-02-23 2016-08-25 Mitsubishi Electric Research Laboratories, Inc. Intensity-Based Depth Sensing System and Method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638118A (en) 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
US5420635A (en) 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5309243A (en) 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US7379100B2 (en) * 2004-02-12 2008-05-27 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US8406569B2 (en) 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
EP3171201B1 (de) 2012-03-07 2018-05-09 Safran Vectronix AG Entfernungsmesser
DE102013207654B4 (de) 2012-05-21 2021-12-23 pmdtechnologies ag Lichtlaufzeitkamerasystem
US10255888B2 (en) 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US9383548B2 (en) * 2014-06-11 2016-07-05 Olympus Corporation Image sensor for depth estimation
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备
CN102819837A (zh) * 2012-07-12 2012-12-12 清华大学 基于反馈控制的深度图处理方法及装置
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
US20160245920A1 (en) * 2015-02-23 2016-08-25 Mitsubishi Electric Research Laboratories, Inc. Intensity-Based Depth Sensing System and Method
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和系统

Also Published As

Publication number Publication date
US10708514B2 (en) 2020-07-07
DE102019121202A1 (de) 2020-03-05
DE102019121202B4 (de) 2023-04-06
US20200077011A1 (en) 2020-03-05
CN110876006B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110876006B (zh) 混合使用多次曝光获得的深度图像
US11209528B2 (en) Time-of-flight depth image processing systems and methods
JP6241793B2 (ja) ３次元測定装置および３次元測定方法
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
JP6751137B2 (ja) 距離画像生成装置および距離画像生成方法
US20060221250A1 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US9366759B2 (en) Apparatus and method for generating depth image
CN105190426B (zh) 飞行时间传感器装仓
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US8675182B2 (en) Method and system to reduce stray light reflection error in time-of-flight sensor arrays
WO2006130734A2 (en) Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing
EP2717069B1 (en) Method for determining and/or compensating range offset of a range sensor
JP2011257402A (ja) 飛行時間撮像装置
US20160232684A1 (en) Motion compensation method and apparatus for depth images
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US11423572B2 (en) Built-in calibration of time-of-flight depth imaging systems
JP2020112443A (ja) 距離測定装置及び距離測定方法
CN111292368A (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法
US20220244394A1 (en) Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system
CN111522024A (zh) 解决飞行时间深度图像的多路径损坏
Agarwal et al. Three dimensional image reconstruction using interpolation of distance and image registration
Davis et al. Enhanced shape recovery with shuttered pulses of light
US20210142510A1 (en) Self-position estimation device, self-position estimation method, and program thereof
US20240134053A1 (en) Time-of-flight data generation circuitry and time-of-flight data generation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant