CN116917759A - 配置控制电路和配置控制方法 - Google Patents
配置控制电路和配置控制方法 Download PDFInfo
- Publication number
- CN116917759A CN116917759A CN202280013649.XA CN202280013649A CN116917759A CN 116917759 A CN116917759 A CN 116917759A CN 202280013649 A CN202280013649 A CN 202280013649A CN 116917759 A CN116917759 A CN 116917759A
- Authority
- CN
- China
- Prior art keywords
- configuration
- configuration parameters
- configuration control
- sub
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000005259 measurement Methods 0.000 claims abstract description 110
- 238000003384 imaging method Methods 0.000 claims abstract description 79
- 238000005286 illumination Methods 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000010354 integration Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种用于飞行时间系统的配置控制电路，飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，其中，配置控制电路被配置为：从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
Description
技术领域
本公开总体上涉及用于飞行时间系统的配置控制电路和用于飞行时间系统的相对应配置(configuration)控制方法。
背景技术
通常，已知飞行时间(ToF)设备或系统。这种ToF系统通常用于确定到场景中的对象的距离或用调制光照明的场景中的(对象)的深度图。已知的飞行时间系统通常包括照明单元(例如，包括发光二极管(“LED”)阵列)和成像单元，成像单元包括具有读出电路和光学部件(例如，透镜)的图像传感器(例如，电流辅助光子解调器(“CAPD”)像素阵列或单光子雪崩二极管(“SPAD”)像素阵列)，并且例如，当在ToF设备上生成表示场景的深度图的深度数据时，它可以包括处理单元(例如，处理器)。
通常，飞行时间包括测量时间的各种方法，例如，光波在介质中传播一段距离所需的时间。已知的ToF系统可以针对用成像单元捕获的深度图像的每个像素获得场景中对象的深度信息。例如，已知的直接ToF(“dToF”)系统和间接ToF(“iToF”)系统都可以被配置作为使用泛光(如在全场ToF中)照射，或者使用具有另一光束轮廓的照射(例如，如在光斑ToF、线扫描ToF、结构光等中)。
为了在iToF系统中捕获深度图像，iToF系统通常用例如调制光波照射场景，并用图像传感器上的光学透镜部分对反向散射/反射光波成像，如通常所知。图像传感器可以包括像素阵列，其中，根据解调信号调制像素阵列的像素的增益，该解调信号可以相对于光波的调制进行相移，从而生成指示到场景中的对象的距离的图像数据。生成的图像数据可以被输出到用于图像处理和深度信息生成的处理单元。
通常，ToF系统以预定配置操作，该预定配置包括ToF系统设置的不同配置参数，包括对照明单元和成像单元的设置，例如输出功率、调制频率和传感器积分时间。
尽管存在用于设置ToF系统的配置的技术，但是通常期望改进现有技术。
发明内容
根据第一方面，本公开提供了一种用于飞行时间系统的配置控制电路，飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，配置控制电路被配置为：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
根据第二方面，本公开提供了一种用于飞行时间系统的配置控制方法，飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，配置控制方法包括：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
在从属权利要求、下面的描述和附图中阐述了进一步的方面。
附图说明
参考附图通过示例的方式解释实施例，其中：
图1示意性地示出了图1A中的间接飞行时间系统的实施例和图1B中的直接飞行时间系统的实施例；
图2在框图中示意性地示出了用于飞行时间系统的配置控制电路的第一实施例；
图3在框图中示意性地示出了用于飞行时间系统的配置控制电路的第二实施例；
图4示意性地示出了在ToF系统中调整配置参数的实施例；
图5在框图中示意性地示出了神经网络的第一子网络的训练过程的实施例；
图6在框图中示意性地示出了神经网络的训练过程的实施例；
图7在流程图中示意性地示出了配置控制方法的第一实施例；以及
图8在流程图中示意性地示出了配置控制方法的第二实施例。
具体实施方式
在给出参考图2的实施例的详细描述之前，进行一般性说明。
如开头所述，已知直接ToF(“dToF”)系统和间接ToF(“iToF”)系统，它们都可以被配置作为全场或光斑ToF系统。
为了增强对本公开的总体理解，参考图1讨论了iToF系统1A的实施例和dToF系统1B的实施例，它们也适用于本公开的其他实施例，其中图1A示意性地示出了iToF系统1a，图1B示意性地示出了dToF系统1b。
iToF系统1a包括照明单元2a和成像单元3a，其中，iToF系统1a被配置作为用于提供距离测量的全场ToF系统。
照明单元2a包括诸如激光二极管阵列的光源，其向场景4a发射光。根据施加到照明单元2a的调制信号(这里，例如，具有根据调制频率的周期性调制的矩形调制信号)在时间上调制光的强度。发射到场景4a的光在场景4a中的对象(未示出)处反射。
成像单元3a根据从场景反射的光量和根据施加到成像单元3a的调制信号生成图像数据。因此，成像单元3a生成反射光和调制信号的相关波形的样本。
成像单元3a捕获四帧图像数据，其中，这四帧对应于施加到照明单元2a的调制信号的不同延迟或相移(例如，0°、90°、180°和270°)。
因此，成像单元3a为成像单元3a中的图像传感器的每个像素生成相关波形的四个样本。一个像素的四个样本在图1A中示例性地示出在曲线图中，作为分别在四个帧中累积的电荷Q1、Q2、Q3和Q4(如通常已知的，累积的电荷Q1、Q2、Q3和Q4与例如像素的电压信号(电信号)成比例，从该像素获得像素值(数字值)并由图像传感器输出作为图像数据的数据点，因此，累积的电荷Q1、Q2、Q3和Q4代表像素值)。
从四个样本中，计算通常已知的分量数据(IQ值：Q是正交分量，I是同相分量)(这里：对于iToF系统，图像数据因此可以包括分量数据和/或像素值，并且原始数据指的是图像数据)。由此计算相关波形的相位，并且如通常已知，基于相关波形的相位计算表示场景的深度图的深度数据。
dToF系统1b包括照明单元2b和成像单元3b，其中，dToF系统1b被配置作为用于提供距离测量的全场ToF系统。
照明单元2b包括诸如激光二极管阵列的光源，其向场景4b发射光。根据施加到照明单元2b的调制信号(这里，例如，具有根据调制频率的周期性调制的矩形调制信号)在时间上调制光的强度。发射到场景4b的光在场景4b中的对象(未示出)处反射。
成像单元3b根据从场景反射的光量和根据施加到成像单元3b的调制信号生成图像数据。
然而，在dToF系统中并且与iToF系统相反，调制信号基于扩展脉冲，即，比iToF系统中更低的占空比，并且施加到照明单元2b和成像单元3b的调制信号是同步的。两个连续光脉冲之间的时间被划分为通常具有相等时间间隔的时间间隔(单个时间间隔的持续时间被称为采样间隔)。
成像单元3b为成像单元3b中的图像传感器的每个像素生成直方图形式的图像数据。直方图基于反射光脉冲的到达时间表示每个时间间隔中的事件数量(例如，检测到的光子)。该过程可以重复几次以增加信噪比(SNR)。因此，在dToF系统中，图像数据对应于每个像素处的直方图。
如通常所知，根据直方图中事件数量的峰值，计算表示场景的深度图的深度数据。
然而，如开头所述，这种ToF系统通常以预定配置操作，该预定配置包括ToF系统的不同配置参数，包括对照明单元和成像单元的设置，例如调制频率和积分时间。
因此，在ToF系统针对给定用例投入操作之前，选择包括ToF系统的配置参数集的预定配置模式，以便确保可靠的ToF测量。例如，可以预先配置积分时间以避免深度图中的饱和。
然而，已经认识到，应该动态控制配置参数集，并且应该控制一个以上的配置参数，以便考虑各种不同的情况。
通常，已知在原始数据(图像数据)或场景的相应深度图中，可能存在质量问题，例如，由于噪声、像素饱和、干扰、距离混叠、多径贡献等。
已经进一步认识到，可以在测量阶段已经避免这种质量问题，而不是在之后对已经获取的数据应用图像校正算法来减少质量问题以改进深度图。
此外，在一些情况下，如通常所知，当原始数据中已经存在质量问题时，可能难以生成没有质量问题的深度图。
例如，如果图像传感器饱和，深度信息可能会丢失。然而，还有其他情况更复杂的示例。例如，发射到场景的光的波长可能不适合可能产生光的衰减的环境条件，这可能不再允许测量深度。例如，在具有多个照明单元和成像单元的ToF系统(多ToF系统)中，可能不适用于多ToF系统的照明单元或成像单元的配置参数可能最终在记录中产生干扰信号，该干扰信号可能降低恢复深度信息的可能性。例如，可能不适用于场景的调制频率(在iToF系统中)，或者不适用的直方图采样间隔(在dToF系统中)可能产生深度精度的损失。例如，不适用于场景的照明功率设置可能不允许恢复深度信息。另外，此外，这些情况中的几个的关联可能甚至更复杂，并且ToF系统的适用的预配置可能难以实现以解决这些情况。
因此，已经认识到，不同配置参数之间的依赖性及其对ToF测量质量的影响可能难以分析或用固定的最佳设置来预测。
此外，已经认识到，配置参数应该动态地适用于给定的场景或识别的质量问题，使得在测量阶段(数据获取阶段)中可以已经减少相应的质量问题。
此外，已经认识到，例如基于神经网络的(机器)学习算法可以学习配置参数之间的复杂的非线性依赖性，并且可以学习为给定场景和/或识别的质量问题找到配置参数的折衷解决方案，以改进后续的ToF测量。
因此，已经认识到，如果可以识别飞行时间测量中的质量问题，则学习算法可以学习以确定配置参数，该配置参数可以适用于改进后续的飞行时间测量，以减少识别的质量问题。
因此，一些实施例涉及一种用于飞行时间系统的配置控制电路，飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，其中，配置控制电路被配置为：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
通常，在一些实施例中，第一子模块估计测量指示符，测量指示符是从数据中提取的特征，并传送关于其质量、噪声水平和诸如像素饱和度、干扰、距离混叠、多径贡献等伪像的存在的信息。在一些实施例中，第二子模块将特征映射到配置参数集，该配置参数表示给定测量指示符的最佳ToF系统设置。
在下文中，对配置控制电路和ToF系统的实施方式进行了一些一般性的解释。
通常，ToF系统可以是dToF系统或iToF系统，并且可以是全场ToF系统或光斑ToF系统。
配置控制电路可以包括在飞行时间系统中或者可以是飞行时间系统的一部分。配置控制电路可以嵌入在ToF系统中包括的控制单元或处理单元中。配置控制电路可以包括在或者可以是可以包括ToF系统的电子设备(例如，移动设备或相机等)的一部分，并且配置控制电路可以例如通过数据总线(接口)(例如，根据MIPI(移动工业处理器接口)规范的相机串行接口(CSI)(例如，MIPIICSI-2等)等)与ToF系统通信。配置控制电路可以包括用于通过数据总线传输(和接收)数据的数据总线接口。
配置控制电路可以基于或者可以包括或者可以实施为集成电路逻辑，或者可以由CPU(中央处理单元)、应用处理器、图形处理单元(GPU)、微控制器、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等实施。可以由处理器(如应用处理器等)执行的软件来实施该功能。配置控制电路可以基于或者可以包括或者可以由被配置为实现如本文所描述的功能的典型电子部件实施。配置控制电路可以基于或者可以包括或者可以部分地由典型的电子部件和集成电路逻辑实施并且部分地由软件实施。
配置控制电路可以包括通信接口，通信接口被配置为经由诸如 或移动电信系统(可以基于UMTS、LTE等)的有线或无线连接(并且实施对应的通信协议)，通过网络(例如，互联网)与计算机或处理器(例如，应用处理器等)通信和交换数据。
配置控制电路可以包括用于存储数据的数据存储能力，例如可以基于半导体存储技术(例如，RAM、EPROM等)或磁存储技术(例如，硬盘驱动器)等的存储器。
ToF系统包括照明单元、成像单元和用于控制ToF系统的整体操作的控制单元。
照明单元包括光源，并且可以包括光学部件，例如透镜等。光源可以是激光器(例如，激光二极管)或多个激光器(例如，以行和列布置成阵列的多个激光二极管)、发光二极管(LED)或多个LED(例如，以行和列布置成阵列的多个LED)等。照明单元可以发射可见光或红外红色光等。
成像单元包括图像传感器(具有读出电路)，并且可以包括光学部件，例如透镜等。图像传感器可以包括像素电路，该像素电路具有根据入射到每个像素上的光量生成像素值的多个像素(根据预定图案布置，例如，在图像传感器中以行和列布置成阵列)。
多个像素可以是电流辅助光子解调器(CAPD)像素、单光子雪崩二极管(SPAD)像素、光电二极管像素或基于例如CMOS(互补金属氧化物半导体)技术的有源像素等。
图像数据可以是图像传感器的每个像素的像素值或分量数据(对于iToF系统)或直方图(对于dToF系统)。
在下文中，对配置控制电路的功能进行一些一般性的解释。
配置控制电路确定用于照明单元和成像单元中的至少一者的配置参数集。
配置参数集可以包括成像单元和照明单元中的至少一者的一个或多个配置参数。例如，由配置控制电路确定的配置参数集被发送到ToF系统的控制单元，该控制单元在后续的ToF测量中设置配置参数集中包括的配置参数，而其他配置参数保持如前。
在一些实施例中，配置参数集包括发射到场景的光的输出功率、照明图案和波长中的至少一项。
输出功率可以是由照明单元(或光源)输出的光学功率。因此，配置控制电路可以确定例如光源的电流值等。
可以由照明单元中的可适用透镜部分控制照明图案。可以通过调整照明单元中光源的单独光源元件(也可以打开和关闭)的输出功率来控制照明图案，例如，阵列中的单独激光二极管、LED等。因此，配置控制电路可以确定例如光源的每个单独光源元件的电流值等。
可以通过修改图像传感器设置来控制传感器积分时间(即，曝光时间)，例如，增加传感器累积电荷的周期的长度。
可以通过调整通过激光二极管的电流和激光二极管(例如，热电冷却元件)的温度或者通过在具有不同波长的LED之间切换等来控制波长。因此，配置控制电路可以确定这样的值。
在一些实施例中，飞行时间系统是间接飞行时间系统，并且配置参数集包括发射到场景的光的调制频率和占空比中的至少一项。因此，配置控制电路可以确定调制频率或占空比。
可以通过相应地调整照明和图像传感器设置来控制调制频率和占空比。
在一些实施例中，配置参数集包括积分时间(传感器积分时间)和像素装仓(pixelbinning，像素合并)中的至少一项。
可以通过图像传感器中的模拟或数字像素装仓来控制像素装仓，例如，如通常所知，通过对两个或更多行或两个或更多列等进行平均。因此，配置控制电路可以确定例如应该平均多少行或列等。
在一些实施例中，飞行时间系统是直接飞行时间系统，并且配置参数集包括采样间隔和检测效率中的至少一项。
如通常已知的，例如，可以通过调整SPAD像素的阈值触发来控制SPAD像素中的检测效率。配置控制电路可以确定例如增益值等。
配置控制电路利用(机器)学习算法确定配置参数集，该学习算法可以由神经网络实现。(机器)学习算法基于第一子模块(例如，子(神经)网络)和第二子模块(例如，子(神经)网络)。这两个模块都可以实施或者可以基于已知的学习算法(例如，逻辑回归、决策树或支持向量机等)或者(深度、卷积或递归)神经网络等，其共同特性是需要训练这些算法以提供最佳性能。如通常所知，诸如神经网络的学习算法适用于在各种情况下检测输入变量和输出变量之间的复杂模式和复杂关系，而不需要针对每种情况设计特定的特征。
因此，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符。
通常，测量指示符指示深度图或ToF数据(包括图像数据和深度数据)中的质量问题。测量指示符是从数据(图像数据和深度图)中提取的特征，并且特定于质量问题的类型和质量问题的程度(例如，饱和像素的数量、噪声方差)。
如上所述，如果可以识别飞行时间测量中的质量问题，则可以确定配置参数集以改进后续的飞行时间测量，因为所确定的配置参数集可以适用以减少质量问题。
已经认识到，表示深度图的深度数据可能不包括足够的用于估计深度图中的质量问题的信息，因为深度数据是已经处理过的数据，其可能在测量阶段中(数据获取阶段)混淆关于质量问题的一些细节。
因此，已经认识到，额外的原始数据(图像数据)应该用于估计深度图中的质量问题。
因此，第一子模块基于获得的图像数据和获得的深度数据来估计深度图的测量指示符。
在一些实施例中，估计的测量指示符指示以下(质量问题)中的至少一项：像素饱和度、噪声水平、多径贡献、距离混叠/相位包装、干扰、运动模糊。
例如，可以通过分析SNR来识别噪声水平。例如，可以通过分析分量数据(IQ值)来识别多径贡献。例如，可以通过相邻像素之间的大的相位跳跃来识别距离混叠/相位包装。
通常，这些类型的质量问题对于本领域技术人员是已知的，然而，可能难以预测对于给定场景或在后续的ToF测量中如何减少这种质量问题，因为不同配置参数之间的依赖性及其对给定场景的ToF测量的质量的影响可能是高度非线性的、分析上未知的并且难以预测。
然而，已经认识到，可以训练学习算法，如神经网络(如将在参考图5和图6中讨论的)以估计这种质量问题并估计用于减少这种质量问题的配置参数集。
因此，第二子模块(例如，神经网络)被配置为基于所估计的测量指示符来估计用于改进后续飞行时间测量的配置参数集。
通常，学习算法的使用可以允许确定ToF系统的配置参数的组合，因为可以训练学习算法来推断配置参数的相互依赖性，否则相互依赖性可能难以预测。
在一些实施例中，第二子模块(例如，子网络)进一步基于照明单元和成像单元中的至少一者的预定配置参数集来估计配置参数集。
预定配置参数集指示例如由于ToF系统的技术或物理约束而不允许改变的配置参数。
在一些实施例中，第二子模块(例如，子网络)进一步基于照明单元和成像单元的预定配置参数集以及照明单元和成像单元中的至少一者的预定配置参数集限制，来估计配置参数集。
预定配置参数集限制指示例如由于ToF系统的技术或物理约束而允许改变的配置参数的限制。
在一些实施例中，基于真实和/或模拟的飞行时间数据以及真实和/或模拟的基本事实数据来训练学习算法。
在一些实施例中，配置控制电路进一步被配置为基于获得的图像数据生成深度数据。
一些实施例涉及一种用于飞行时间系统的(对应的)配置控制方法，飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，配置控制方法包括：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
可以由电子部件、集成电路逻辑、CPU、FPGA、软件来执行配置控制方法，或者部分地由电子部件来执行，部分地由处理器等执行的软件来执行。也可以由配置控制电路来执行该方法，如本文所讨论的。
在一些实施例中，本文描述的方法还被实施为计算机程序，当在计算机和/或处理器上执行时，计算机程序使计算机和/或处理器执行该方法。在一些实施例中，还提供了一种在其中存储有计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品在由诸如上述处理器的处理器执行时使得执行本文所述的方法。
返回到图2，其在框图中示意性地示出了用于iToF系统10的配置控制电路20-1的第一实施例，下面参考图2讨论配置控制电路20-1的第一实施例。
iToF系统10包括照明单元11、成像单元12和控制单元13。
尽管图2的实施例示出了iToF系统10，该实施例也可以类似于dToF系统。
成像单元12包括图像传感器14(例如，CAPD像素阵列)和光学透镜部分15。
控制单元13控制iToF系统10的整体操作，并设置用于ToF测量的照明单元11和成像单元12的配置参数。
照明单元11包括光源(未示出，例如，激光二极管阵列)并向其中存在对象17的场景16发射调制光。
成像单元12基于从场景16中的对象17反射的光生成表示ToF测量的图像数据18，如在参考图1A中所讨论的(因此，为了避免不必要的重复，省略了更详细的描述)。
iToF系统10进一步包括处理单元19。
处理单元19包括配置控制电路20-1和深度图生成单元21。
由成像单元12经由控制单元13输出的图像数据18被发送到配置控制电路20-1和深度图生成单元21。
深度生成单元21获得图像数据18，并基于获得的图像数据18生成表示场景16的深度图的深度数据22，并将深度数据22发送到配置控制电路20-1和应用处理器(未示出)以供进一步处理。
配置控制电路20-1获得图像数据18和深度数据22。
配置控制电路20-1基于获得的图像数据18和获得的深度数据22，利用学习算法(未示出)确定用于照明单元11和成像单元12中的至少一者的配置参数集23，以改进后续的ToF测量。学习算法可以基于神经网络、支持向量机、决策树、回归技术等。
配置控制电路20-1将确定的配置参数集23发送到控制单元13，控制单元根据确定的配置参数集23设置照明单元11和成像单元12中的至少一者的对应配置参数。
图3在框图中示意性地示出了用于ToF系统40的配置控制电路20-2的第二实施例。
通常，ToF系统40可以是dToF系统或iToF系统，其中，为了说明的目的，在下文中，假设ToF系统40是iToF系统。
ToF系统40生成场景的ToF数据41(包括图像数据和深度数据)，并将ToF数据41发送到配置控制电路20-2(其获得的)。
配置控制电路20-2包括基于(训练的)第一子网络31和(训练的)第二子网络32的(训练的)神经网络30。
通常，如上所述，在其他实施例中，(训练的)神经网络30(作为学习算法的示例)、(训练的)第一子网络31(作为第一子模块的示例)和(训练的)第二子网络32(作为第二子模块的示例)可以用其他学习算法替换，例如基于支持向量机、决策树或回归技术的学习算法。这也适用于下面进一步参考图5和图6讨论的实施例。
然后，配置控制电路20-2将ToF数据41输入到第一子网络31。
第一子网络31被配置为基于获得的ToF数据来估计测量指示符42。
由第一子网络31输出的估计的测量指示符42指示ToF数据41中的质量问题，例如，与饱和度、噪声水平、多径贡献、距离混叠、干扰或运动模糊相关。估计的测量指示符42指示质量问题的类型和质量问题的大小。
例如，由第一子网络输出的测量指示符42指示在ToF数据41中存在与噪声水平相关的质量问题。
然后，将估计的测量指示符42输入到第二子网络32。
第二子网络被配置为基于估计的测量指示符42估计ToF系统40的配置参数集43。
将配置参数集43反馈到ToF系统40，从而连续地调整ToF系统40的配置参数以改进后续的ToF测量。
例如，当测量指示符42指示噪声水平(质量问题)时，配置控制电路20-2可以连续地确定成像单元中的图像传感器的积分时间和用于增加SNR(SNR可以是噪声水平的质量度量)的照明单元的输出功率。
图4示意性地示出了在ToF系统中调整配置参数的实施例。
图4中的示图显示了由配置参数、测量指示符和质量度量给出的三维坐标系(仅用于说明目的，因为可以调整多于一个的配置参数)。
最初，例如，在启动ToF系统之后，点P1表征ToF系统的配置和ToF测量质量。在P1中，测量指示符可以指示噪声水平(质量问题)，当配置参数(例如，照明单元的输出功率)具有第一值时，这导致相关联的质量度量(这里，例如，SNR的倒数)的第一值。
然后，配置控制电路(例如，图3的配置控制电路20-2)确定照明单元的输出功率的第二值。
然后，在随后的ToF测量中，点P2表征ToF系统的配置和ToF测量质量。在P2中，测量指示符指示小于P1的噪声水平(质量问题)，当配置参数具有第二值时，这导致第二值低于相关联的质量度量的第一值。
因此，通过连续地调整配置参数，可以改进SNR或噪声水平。
图5在框图中示意性地示出了神经网络的第一子网络31-t的训练过程的实施例。
第一子网络31-t处于训练阶段，并且利用数据集50进行训练，以便学习以识别ToF数据中的质量问题并估计深度图的测量指示符。
在下文中，ToF数据集包括表示场景的ToF测量的图像数据(ToF测量可以是真实的或模拟的ToF测量)、表示场景的深度图的深度数据以及作为场景的深度图的测量指示符的特征。
数据集50包括表示具有质量问题的多个场景的ToF测量的多个ToF数据集和表示没有质量问题的相同多个场景的ToF测量的多个基本事实ToF数据集。
多个ToF数据集包括具有各种特征的ToF数据集，使得包括了具有饱和度(质量问题)、噪声水平(质量问题)、多径贡献(质量问题)、距离混叠(质量问题)、干扰(质量问题)和运动模糊(质量问题)中的每一项的ToF数据集。
因此，用具有饱和质量问题的多个ToF数据集、具有噪声水平质量问题的多个ToF数据集等来训练第一子网络31-t。
因此，对指示饱和度、噪声水平、多径贡献、距离混叠、干扰和运动模糊中的至少一项的测量指示符的估计被训练。
在训练阶段中，将ToF数据51a输入到估计测量指示符52的第一子网络31-t。
将测量指示符52输入到损失函数33，该损失函数也具有目标特征51b作为输入。这里，目标特征51b是对应于ToF数据51a的测量指示符。
基于估计的测量指示符52和目标特征51b之间的差异，优化损失函数33以确定最佳拟合权重53，然后将其分配给第一子网络31-t。
这里，在第一训练阶段，用多个用于训练第一子网络31-t的基本事实ToF数据集训练第一子网络31-t，以识别没有质量问题的ToF数据。
然后，在第二训练阶段，基于具有质量问题的ToF数据集和对应的(相同场景)基本事实ToF数据集之间的差异来训练第一子网络31-t，以识别质量问题模式(并因此估计测量指示符)。
然后，在第三训练阶段，用多个ToF数据集训练第一子网络31-t，用于识别ToF数据或深度图中的质量问题(并因此估计测量指示符)。
一旦完成第一子网络31-t的训练，就获得(训练的)第一子网络31。
图6在框图中示意性地示出了神经网络30-t的训练过程的实施例。
神经网络30-t处于训练阶段，并且基于处于训练阶段的(训练的)第一子网络31和第二子网络32-t。
用数据集60训练神经网络30-t和第二子网络32-t，以便学习以确定照明单元和成像单元中的至少一者的配置参数集。
在下文中，ToF数据集包括表示场景的ToF测量的图像数据(ToF测量可以是真实的或模拟的ToF测量)、表示场景的深度图的深度数据以及作为照明单元和成像单元中的至少一者的配置参数集的特征。
数据集60包括表示由于非最佳配置参数而具有质量问题的多个场景的ToF测量的多个ToF数据集和表示由于最佳配置参数而没有质量问题的相同多个场景的ToF测量的多个基本事实ToF数据集。
多个ToF数据集包括具有各种质量问题的ToF数据集，例如饱和度(质量问题)、噪声水平(质量问题)、多径贡献(质量问题)、距离混叠(质量问题)、干扰(质量问题)和运动模糊(质量问题)。
因此，由于各种非最佳配置参数，用具有饱和质量问题的多个ToF数据集、具有噪声水平质量问题的多个ToF数据集等来训练神经网络30-t和第二子网络32-t。
因此，针对各种场景的各种质量问题来训练以确定配置参数集。
在训练阶段中，将ToF数据61a输入到估计测量指示符62的第一子网络31。
将测量指示符62输入到第二子网络32-t。基于测量指示符62，第二子网络32-t估计配置参数集63。将估计的配置参数集输入到损失函数34，该损失函数也使得目标特征61b作为输入。这里，目标特征61b是对应于基本事实配置参数的配置参数集(其可以由配置参数的向量表示)，即场景的最佳配置参数。
基于估计的配置参数集63和目标特征(例如，基本事实配置参数的向量)61b之间的差异，损失函数34确定反馈到第二子网络32-t的权重更新64。
这里，在第一训练阶段，用多个用于训练第二子网络32-t的基本事实ToF数据集训练第二子网络32-t，以确定没有质量问题的ToF数据的配置参数集。
然后，在第二训练阶段，用多个ToF数据集训练第二子网络32-t，用于确定给定场景和给定质量问题的配置参数集，因为第二子网络32-t了解到给定质量问题是由于估计的配置参数集63和基本事实配置参数集61b之间的差异造成的。因此，它被训练来减少差异。因此，它被训练成基于估计的测量指示符来估计更接近基本事实配置参数的配置参数集。
一旦完成第二子网络32-t的训练，就获得(训练的)神经网络30和(训练的)第二子网络32。
图7在流程图中示意性地示出了配置控制方法100的第一实施例。
在101，如本文所讨论的，从成像单元获得图像数据，并且获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据。
在102，如本文所讨论的，确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
图8在流程图中示意性地示出了配置控制方法200的第二实施例。
在201，如本文所讨论的，从成像单元获得图像数据。
在202，如本文所讨论的，基于获得的图像数据生成表示场景的深度图的深度数据。
在203，如本文所讨论的，确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
如果没有另外说明，则在本说明书中描述的和在所附权利要求中要求的所有单元和实体可以实施为集成电路逻辑，例如在芯片上，并且如果没有另外说明，可以通过软件实施由这些单元和实体提供的功能。
就至少部分使用软件控制的数据处理装置来实现上述公开的实施例而言，将会理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意，本技术也可以被配置为如下所述。
(1)一种用于飞行时间系统的配置控制电路，该飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，其中，配置控制电路被配置为：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一者的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
(2)根据(1)的配置控制电路，其中，估计的测量指示符指示像素饱和度、噪声水平、多径贡献、距离混叠、干扰和运动模糊中的至少一项。
(3)根据(1)或(2)的配置控制电路，其中，配置参数集包括发射到场景的光的输出功率、照明图案和波长中的至少一项。
(4)根据(1)至(3)中任一项的配置控制电路，其中，飞行时间系统是间接飞行时间系统，并且配置参数集包括发射到场景的光的调制频率和占空比中的至少一项。
(5)根据(1)至(4)中任一项的配置控制电路，其中，配置参数集包括积分时间和像素装仓中的至少一项。
(6)根据(1)至(5)中任一项的配置控制电路，其中，飞行时间系统是直接飞行时间系统，并且配置参数集包括采样间隔和检测效率中的至少一项。
(7)根据(1)至(6)中任一项的配置控制电路，其中，配置控制电路进一步被配置为基于获得的图像数据生成深度数据。
(8)根据(1)至(7)中任一项的配置控制电路，其中，第二子模块进一步基于照明单元和成像单元中的至少一者的预定配置参数集来估计配置参数集。
(9)根据(1)至(8)中任一项的配置控制电路，其中，第二子模块进一步基于照明单元和成像单元的预定配置参数集以及照明单元和成像单元中的至少一者的预定配置参数集限制来估计配置参数集。
(10)根据(1)至(9)中任一项的配置控制电路，其中，基于真实或模拟的飞行时间数据和真实或模拟的基本事实数据来训练神经网络。
(11)一种用于飞行时间系统的配置控制方法，该飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从场景反射的光的飞行时间测量的图像数据的成像单元，配置控制方法包括：
从成像单元获得图像数据并获得表示场景的深度图的深度数据，其中，基于图像数据生成深度数据；
确定用于照明单元和成像单元中的至少一在后者则的配置参数集，其中，配置参数集是用学习算法确定的，其中，学习算法基于第一子模块和第二子模块，其中，第一子模块被配置为基于获得的图像数据和获得的深度数据来估计深度图的测量指示符，其中，第二子模块被配置为基于估计的测量指示符来估计配置参数集，用于改进后续飞行时间测量。
(12)根据(11)的配置控制方法，其中，估计的测量指示符指示像素饱和度、噪声水平、多径贡献、距离混叠、干扰和运动模糊中的至少一项。
(13)根据(11)或(12)的配置控制方法，其中，配置参数集包括发射到场景的光的输出功率、照明图案和波长中的至少一项。
(14)根据(11)至(13)中任一项的配置控制方法，其中，飞行时间系统是间接飞行时间系统，并且配置参数集包括发射到场景的光的调制频率和占空比中的至少一项。
(15)根据(11)至(14)中任一项的配置控制方法，其中，配置参数集包括积分时间和像素装仓中的至少一项。
(16)根据(11)至(15)中任一项的配置控制方法，其中，飞行时间系统是直接飞行时间系统，并且配置参数集包括采样间隔和检测效率中的至少一项。
(17)根据(11)至(16)中任一项的配置控制方法，进一步包括：
基于获得的图像数据生成深度数据。
(18)根据(11)至(17)中任一项的配置控制方法，其中，第二子模块进一步基于照明单元和成像单元中的至少一者的预定配置参数集来估计配置参数集。
(19)根据(11)至(18)中任一项的配置控制方法，其中，第二子模块进一步基于照明单元和成像单元的预定配置参数集以及照明单元和成像单元中的至少一者的预定配置参数集限制来估计配置参数集。
(20)根据(11)至(19)中任一项的配置控制方法，其中，基于真实或模拟的飞行时间数据和真实或模拟的基本事实数据来训练神经网络。
(21)一种计算机程序，包括当在计算机上执行时使计算机执行根据(11)至(20)中任一项的方法的程序代码。
(22)一种非暂时性计算机可读记录介质，其中存储计算机程序代码产品，当由处理器执行时，使得执行根据(11)至(20)中任一项的方法。
Claims (20)
1.一种用于飞行时间系统的配置控制电路，所述飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从所述场景反射的光的飞行时间测量的图像数据的成像单元，所述配置控制电路被配置为：
从所述成像单元获得所述图像数据并获得表示所述场景的深度图的深度数据，其中，基于所述图像数据生成所述深度数据；
确定用于所述照明单元和所述成像单元中的至少一者的配置参数集，其中，所述配置参数集是用学习算法确定的，其中，所述学习算法基于第一子模块和第二子模块，其中，所述第一子模块被配置为基于获得的图像数据和获得的深度数据来估计所述深度图的测量指示符，其中，所述第二子模块被配置为基于估计的测量指示符来估计所述配置参数集，用于改进后续飞行时间测量。
2.根据权利要求1所述的配置控制电路，其中，所述估计的测量指示符指示像素饱和度、噪声水平、多径贡献、距离混叠、干扰和运动模糊中的至少一项。
3.根据权利要求1所述的配置控制电路，其中，所述配置参数集包括发射到所述场景的所述光的输出功率、照明图案和波长中的至少一项。
4.根据权利要求1所述的配置控制电路，其中，所述飞行时间系统是间接飞行时间系统，并且所述配置参数集包括发射到所述场景的所述光的调制频率和占空比中的至少一项。
5.根据权利要求1所述的配置控制电路，其中，所述配置参数集包括积分时间和像素装仓中的至少一项。
6.根据权利要求1所述的配置控制电路，其中，所述飞行时间系统是直接飞行时间系统，并且所述配置参数集包括采样间隔和检测效率中的至少一项。
7.根据权利要求1所述的配置控制电路，其中，所述配置控制电路进一步被配置为基于所述获得的图像数据生成所述深度数据。
8.根据权利要求1所述的配置控制电路，其中，所述第二子模块进一步基于所述照明单元和所述成像单元中的至少一者的预定配置参数集来估计所述配置参数集。
9.根据权利要求1所述的配置控制电路，其中，所述第二子模块进一步基于所述照明单元和所述成像单元的预定配置参数集以及所述照明单元和所述成像单元中的至少一者的预定配置参数集限制，来估计所述配置参数集。
10.根据权利要求1所述的配置控制电路，其中，基于真实或模拟的飞行时间数据和真实或模拟的基本事实数据，来训练神经网络。
11.一种用于飞行时间系统的配置控制方法，所述飞行时间系统包括被配置为向场景发射光的照明单元和被配置为生成表示从所述场景反射的光的飞行时间测量的图像数据的成像单元，所述配置控制方法包括：
从所述成像单元获得所述图像数据并获得表示所述场景的深度图的深度数据，其中，基于所述图像数据生成所述深度数据；
确定用于所述照明单元和所述成像单元中的至少一者的配置参数集，其中，所述配置参数集是用学习算法确定的，其中，所述学习算法基于第一子模块和第二子模块，其中，所述第一子模块被配置为基于获得的图像数据和获得的深度数据来估计所述深度图的测量指示符，其中，所述第二子模块被配置为基于估计的测量指示符来估计所述配置参数集，用于改进后续飞行时间测量。
12.根据权利要求11所述的配置控制方法，其中，所述估计的测量指示符指示像素饱和度、噪声水平、多径贡献、距离混叠、干扰和运动模糊中的至少一项。
13.根据权利要求11所述的配置控制方法，其中，所述配置参数集包括发射到所述场景的所述光的输出功率、照明图案和波长中的至少一项。
14.根据权利要求11所述的配置控制方法，其中，所述飞行时间系统是间接飞行时间系统，并且所述配置参数集包括发射到所述场景的所述光的调制频率和占空比中的至少一项。
15.根据权利要求11所述的配置控制方法，其中，所述配置参数集包括积分时间和像素装仓中的至少一项。
16.根据权利要求11所述的配置控制方法，其中，所述飞行时间系统是直接飞行时间系统，并且所述配置参数集包括采样间隔和检测效率中的至少一项。
17.根据权利要求11所述的配置控制方法，进一步包括：
基于所述获得的图像数据生成所述深度数据。
18.根据权利要求11所述的配置控制方法，其中，所述第二子模块进一步基于所述照明单元和所述成像单元中的至少一者的预定配置参数集，来估计所述配置参数集。
19.根据权利要求11所述的配置控制方法，其中，所述第二子模块进一步基于所述照明单元和所述成像单元的预定配置参数集、以及所述照明单元和所述成像单元中的至少一者的预定配置参数集限制，来估计所述配置参数集。
20.根据权利要求11所述的配置控制方法，其中，基于真实或模拟的飞行时间数据和真实或模拟的基本事实数据，来训练神经网络。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21156541.1 | 2021-02-11 | ||
| EP21156541 | 2021-02-11 | ||
| PCT/EP2022/052980 WO2022171607A1 (en) | 2021-02-11 | 2022-02-08 | Configuration control circuitry and configuration control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116917759A true CN116917759A (zh) | 2023-10-20 |
Family
ID=74591842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280013649.XA Pending CN116917759A (zh) | 2021-02-11 | 2022-02-08 | 配置控制电路和配置控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240094400A1 (zh) |
| EP (1) | EP4291918A1 (zh) |
| CN (1) | CN116917759A (zh) |
| WO (1) | WO2022171607A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10841491B2 (en) * | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
| CN110235024B (zh) * | 2017-01-25 | 2022-10-28 | 苹果公司 | 具有调制灵敏度的spad检测器 |
| US20200074233A1 (en) * | 2018-09-04 | 2020-03-05 | Luminar Technologies, Inc. | Automatically generating training data for a lidar using simulated vehicles in virtual space |
| CN114942453A (zh) * | 2019-03-08 | 2022-08-26 | 欧司朗股份有限公司 | Lidar传感器系统、用于该系统的光学部件、传感器和方法 |
| WO2020193412A1 (en) * | 2019-03-22 | 2020-10-01 | Sony Semiconductor Solutions Corporation | Analysis portion, time-of-flight imaging device and method |
| US20220229161A1 (en) * | 2019-06-05 | 2022-07-21 | Innoviz Technologies | Electro-optical systems for scanning illumination onto a field of view and methods |
-
2022
- 2022-02-08 CN CN202280013649.XA patent/CN116917759A/zh active Pending
- 2022-02-08 US US18/275,808 patent/US20240094400A1/en active Pending
- 2022-02-08 EP EP22708063.7A patent/EP4291918A1/en active Pending
- 2022-02-08 WO PCT/EP2022/052980 patent/WO2022171607A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20240094400A1 (en) | 2024-03-21 |
| WO2022171607A1 (en) | 2022-08-18 |
| EP4291918A1 (en) | 2023-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8786678B2 (en) | 3D time-of-flight camera and method | |
| CN109100702B (zh) | 用于测量到对象的距离的光电传感器和方法 | |
| US10928518B2 (en) | Range image generation apparatus and range image generation method | |
| US9194953B2 (en) | 3D time-of-light camera and method | |
| US20220128658A1 (en) | Waveform reconstruction in a time-of-flight sensor | |
| EP3379291A1 (en) | Imaging device and solid-state imaging element used in same | |
| US8849616B2 (en) | Method and system for noise simulation analysis useable with systems including time-of-flight depth systems | |
| KR101944208B1 (ko) | 색 보정을 위한 장치 및 방법 | |
| US9684840B2 (en) | Detection system | |
| US20170278260A1 (en) | Image processing apparatus, image processing method, and non-transitory recording medium storing program | |
| JP6621767B2 (ja) | 飛行時間データをビニングするための方法 | |
| CN110709722A (zh) | 飞行时间摄像机 | |
| CN109991581B (zh) | 飞行时间获取方法和飞行时间相机 | |
| JP7204052B1 (ja) | 周囲光画像補正を実行するためのシステム | |
| JP2020052001A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| CN116917759A (zh) | 配置控制电路和配置控制方法 | |
| JP6439181B2 (ja) | 光通信装置、及びプログラム | |
| CN110554397A (zh) | 距离图像生成摄像机和距离图像生成方法 | |
| JP2020051991A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| JP2020193957A (ja) | 測距異常を補正する距離画像生成装置 | |
| Kirmani et al. | Spatio-temporal regularization for range imaging with high photon efficiency | |
| EP3430472B1 (en) | Method of producing video images that are independent of the background lighting | |
| CN114866703A (zh) | 基于tof成像系统的主动曝光方法、装置及电子设备 | |
| JP2014021100A (ja) | ３次元情報検出装置および３次元情報検出方法 | |
| JP7330403B2 (ja) | 信号対雑音比のターゲティング |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |