CN114902074A - 飞行时间物体检测电路及飞行时间物体检测方法 - Google Patents

飞行时间物体检测电路及飞行时间物体检测方法 Download PDF

Info

Publication number
CN114902074A
CN114902074A CN202080087451.7A CN202080087451A CN114902074A CN 114902074 A CN114902074 A CN 114902074A CN 202080087451 A CN202080087451 A CN 202080087451A CN 114902074 A CN114902074 A CN 114902074A
Authority
CN
China
Prior art keywords
time
flight
reflectivity
object detection
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087451.7A
Other languages
English (en)
Inventor
阿历山大·卡莫维彻
弗拉迪米尔·兹洛科利察
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114902074A publication Critical patent/CN114902074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开通常涉及飞行时间物体检测电路，该电路被配置成：获得指示场景反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的对象的区域；以及基于所确定的所述对象的区域生成飞行时间图像数据，用于检测所述物体。

Description

飞行时间物体检测电路及飞行时间物体检测方法
技术领域
本公开整体涉及飞行时间物体检测电路和飞行时间物体检测方法。
背景技术
通常，物体检测(object detection，目标检测)方法和系统是已知的。这样的系统通常基于RGB数据、亮度分布(例如，灰度)等执行物体检测(或物体识别)。
此外，飞行时间系统是已知的。通常，在飞行时间中，测量在场景处反射的发射光的运行时间，以确定到场景的距离。
这可以通过直接测量从光发射到检测到反射光的时间来完成，这通常被称为dToF(直接飞行时间)。
另一方面，在iToF(间接飞行时间)的情况下，测量指示运行时间的相位漂移。
尽管存在用于物体检测的技术，但通常期望提供飞行时间物体检测电路和飞行时间物体检测方法。
发明内容
根据第一方面，本发明提供了一种飞行时间物体检测电路，其被配置成：获得指示场景反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的所述物体的区域生成飞行时间图像数据，用于检测所述物体。
根据第二方面，本发明提供了一种飞行时间物体检测方法，包括：获得指示场景反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的物体的区域生成飞行时间图像数据，用于检测所述物体。
在从属权利要求、下面的描述和附图中阐述了进一步的方面。
附图说明
参照附图通过实例的方式说明实施方式，其中：
图1在框图中描绘了根据本公开的飞行时间成像方法；
图2在框图中描绘了根据本公开的飞行时间成像方法的另一实施方式；
图3在框图中描绘了根据本公开的飞行时间成像方法的另一实施方式；
图4在框图中描绘了根据本公开的飞行时间成像系统；
图5描绘了根据本公开的用于获得ALR数据、MAAR数据和深度数据的方法的实施方式；以及
图6示出了根据本公开的飞行时间成像设备的实施方式。
具体实施方式
在参考图1给出的实施方式的详细描述之前，进行通常性说明。
如开头所述，已知飞行时间成像系统。
已经认识到，在来自飞行时间传感器的飞行时间成像信号中，可以获得主动光反射率(ALR)信号。
然而，在已知的系统中，这样的信号可以基于到物体的距离而劣化。例如，如果物体靠近相机，它看起来可能比离相机更远的时候更亮。因此，这样的信号通常不适用于计算机视觉，如目标识别。
此外，已经认识到，在飞行时间的情况下，除了ALR信号之外，还可以获得到这种物体的实际距离。因此，已经认识到可以通过知道距离(或深度)来补偿这种反射率的劣化，或者反之亦然，可以基于反射率来改进距离测量。
此外，对于主动光反射率数据(或ALR数据)和深度数据，飞行时间成像系统可以能够提供YSC信号(Y通道和表面特性)，其可以包括亮度信息(例如，众所周知的单色相机的Y通道)和表面特性，其可以指示物体(或材料)的反射和/或吸收。
因此，已经认识到，通过利用飞行时间成像系统的这些信号(其可以概括为YSC-D信号(Y通道、表面特性和深度)以及ALR信号)，可以执行物体区域检测、物体检测和物体识别。
在已知系统中，这样的信号可能不能被最佳地使用或组合。例如，已知系统中的飞行时间信号可以是距离相关的，可以具有增加的运动模糊，可以不具有最佳曝光控制，可以具有增加的镜面反射等。因此，在已知的系统中，没有设想基于物体反射率的动态曝光和/或增益控制，并且已经认识到期望在飞行时间领域中提供动态曝光/增益控制。
因此，在已知系统中，物体检测或识别可能不是最佳的。
此外，已经认识到，期望改进面部识别和/或面部认证，例如在汽车区域或移动应用中，而不在这方面限制本公开。
因此，一些实施方式涉及飞行时间物体检测电路，该电路被配置成：获得指示场景反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的物体的区域生成飞行时间图像数据，用于检测所述物体。
根据本发明，可以产生与距离无关的反射率信号，该反射率信号可以与确定的深度(或距离)信号一起使用，或者可以基于其进行深度确定，从而可以有效地执行物体的区域的检测、特征提取、物体识别等。
该飞行时间物体检测电路可以适用于任何飞行时间技术，如间接飞行时间(iToF)、直接飞行时间(dToF)等。
通常，在iToF中，通过评估发射的调制光的至少一个相位漂移来确定深度或距离。因此，它可以归结为指示到物体或场景的距离的光的运行时间。
在dToF中，深度是通过直接测量发射光的运行时间来确定的。通常，可以通过检测由发射光的返回(由于反射)引起的事件并将检测到该事件的时间点与发射光的时间点进行比较来确定运行时间。
基本上，在飞行时间的范围内，可以获得场景和/或物体的反射率(或反射比)，如上所述。所生成的飞行时间图像数据包括关于反射率的信息，或者它可以在单独的测量中确定。通常，反射率也可以通过与飞行时间技术不同的技术获得。
例如，可以通过将发射(调制)光的量(例如，强度)与接收光的量进行比较来确定反射率。此外，反射率可以由置信度数据指示，正如在飞行时间领域中通常已知的那样。
例如，在iToF的情况下，置信度数据可以是对所产生的光信号的不同相位的粗略(快速)测量。由此，可以获得可以推断反射率的主动光反射率(ALR)信号。
此外，反射率可以是基于预定波长范围。通常，预定波长范围可以对应于发射光的波长范围。因此，可以在一次测量中获得反射率和深度。
预定波长范围可以包括可见光(例如，预定颜色通道的，例如，红、蓝等)、红外、紫外等。通常，本公开不限于任何波长范围。
众所周知，物体的反射率取决于波长范围。例如，物体在预定红外波长范围内可以具有80％的反射率，而同一物体在预定可见波长范围内(例如，在绿色通道内)可以具有40％的反射率。
因此，有些物体可以更易于可见，因此在相应的波长范围内可以探测到，或者换句话说：对于每个波长范围，不同物体的反射率可以是已知的。例如，在预定波长范围(例如，红外)中，第一物体可以具有第一反射率，第二物体可以具有第二反射率(而不将本公开限制为两个不同的反射率或物体)，使得通过检测第一反射率，可以检测第一物体，并且通过检测第二反射率，可以检测第二物体。
在这种情况下，飞行时间物体检测电路可以包括适合于评估数据(如飞行时间数据、反射率数据等)的任何电路。
因此，该电路可以包括处理器，如CPU(中央处理单元)、GPU(图形处理单元)、FPGA(现场可编程门阵列)等。此外，根据本发明，多个命名处理器(或其他处理器)可以被连接以形成电路。
此外，电路可以包括计算机、服务器、多个计算机和/或服务器等，如众所周知的。
在一些实施方式中，飞行时间物体检测电路被配置成获得指示场景反射率的反射率数据。
如上所述，反射率可以指示场景的至少一种材料(例如，物体的)的至少一种材料属性等。通常，反射率可以指示在场景、物体、材料等处被反射的光量，与入射的光量相比，与吸收的光量相比，与透射的光量相比等，如众所周知的。
反射率数据可从例如可以被配置成生成反射率数据的成像电路获得。
成像电路可以属于或包括图像传感器、数据存储器等，并且成像电路可以被配置成主动地向飞行时间物体检测电路提供反射率数据，使得飞行时间物体检测电路可以被配置成(被动地)接收反射率数据。此外，成像电路可以被配置成基于飞行时间物体检测电路的请求提供反射率数据，使得飞行时间物体检测电路可以(主动地)获取反射率数据。
此外，反射率数据可以由飞行时间物体检测电路直接从图像数据(例如，基于光电转换产生的电信号)中获得。
在这样的实施方式中，飞行时间物体检测电路可以耦接到图像传感器、包括在图像传感器中或包括图像传感器，使得可以直接处理图像数据以确定反射率数据。
在一些实施方式中，飞行时间物体检测电路还被配置成确定场景的反射率。
例如，飞行时间物体检测电路可以将图像传感器的每个成像元件(例如，像素)的发射光的光强度与检测光的光强度进行比较，使得对于每个成像元件，可以确定反射率。
由此，可以确定两维或三维空间中的反射率图像或反射率分布，从而可以对具有不同反射率的区域进行定位。
例如，物体可以具有与场景的背景不同的反射率，使得在一些实施方式中，可以基于所确定的反射率来确定场景中物体的区域。
然而，本公开不限于物体的区域，因为可以基于反射率来确定任何感兴趣区域(ROI)。
由此，可以获得与到物体或到场景的距离无关的反射率值，该反射率值可以是深度信息和反射率数据(或如本文所述的ALR)的函数。
在一些实施方式中，可以另外执行深度测量以获得深度信息，或者，基于图像数据，可以获得深度数据(以与反射率数据相似或不同的方式)，使得可以基于确定的深度来确定或可确定物体的区域。
在一些实施方式中，深度信息可以被平滑(例如，通过高斯滤波器)。
例如，物体及其背景可以具有相同或相似的反射率，或者它们各自反射率的差可以低于(预定的)(可检测的)阈值，使得可能不能基于反射率来检测物体的区域。
在这样的实施方式中，可以例如基于深度阈值来确定物体的区域。例如，如果由至少两个成像元件检测到的预定差值高于深度阈值，则可以确定物体和背景之间的边界。由此，也可以确定物体的区域。
在一些实施方式中，基于所确定的物体的区域，可以生成用于检测物体的飞行时间图像数据。
众所周知，对物体的感知可以取决于所使用的光学系统。例如，物体在离光学系统更近的时候看起来更亮，而在更远的时候看起来更暗。这也可以应用于飞行时间图像的情况，使得当物体移出理想焦平面时，深度测量可能会劣化。此外，由于三维物体的深度被测量，焦平面的范围可以小于物体的范围，从而可以适当地成像物体的一部分，而至少在另一部分处，深度测量可能劣化。
这种感知也可能取决于物体的反射率。因此，在本领域中通常不设想将反射率或反射率数据直接用于计算机视觉(例如，物体识别)，其中，计算机视觉通常基于RGB、物体的亮度(例如，灰度)等。
因此，在进行深度假设时，可以考虑物体的确定区域。此外，所确定的反射率可以用于校正现有的深度测量。
通常，可以生成飞行时间图像数据。这可以包括(如上所述的)(当前图像帧的)预先存在的图像数据的适配，并且还可以包括用于后续测量的测量参数的适配，如增益、曝光时间等。
因此，在一些实施方式中，飞行时间物体检测电路还被配置成基于所确定的反射率来调整曝光时间，以生成飞行时间图像数据。
众所周知，曝光时间可以包括在此之后可以触发快门(电子和/或机械式)的时间，使得与图像采集的开始相比，图像采集可以停止。
在一些实施方式中，飞行时间物体检测电路还被配置成基于所确定的反射率来调整增益，以生成飞行时间图像数据。
通常，曝光时间和增益都可以被调整，然而，在一些实施方式中，仅调整曝光时间和增益中的一者。
通常，本公开不限于曝光时间和增益的情况，从而可以适配任何成像参数或测量参数，例如ISO值(如通常所知，基于ISO 5800)等。
通常，根据本公开，增益和/或曝光时间的适配可得到改进，具体是在物体区域检测、物体检测和物体识别方面。
此外，如上所述，并且如通常所知，图像采集可以包括多个成像帧(或子帧)。
例如，在第一帧(或当前帧)中，图像数据可以包括反射率数据和飞行时间图像数据，使得飞行时间图像数据可以基于同一帧的反射率数据来生成或校正。
此外，在任何后续帧(即，在获得反射率数据之后获取的任何帧)中，可以基于反射率数据(或基于物体的区域，如本文所述)来生成飞行时间图像数据。
此外，在每一帧(或多个帧)中，可以获得反射率数据，用于生成飞行时间图像数据。然而，在一些实施例中，在大致恒定的环境条件下(例如，恒定的照明、摄像机和/或物体的恒定位置)，一次获得反射率数据可能就足够了。
在一些实施方式中，飞行时间物体检测电路还被配置成基于所确定的反射率检测物体。
检测物体可以涉及基于物体的区域检测物体的存在。例如，通过确定预定反射率(如上所述)并定位物体的区域，可以检测物体，其中可能不能识别所检测物体的类别，即，物体可能不被识别。
例如，物体的检测可以指将预定反射率分配给物体类别。例如，物体类别可以指物体的预定反射率范围的反射率，例如在低红外范围内大约80％的人体皮肤反射率。因此，通过确定80％的反射率，可以确定物体类别人体部位，其中还不能识别确切的身体部位(例如，脸、手)。
然而，在一些实施方式中，飞行时间物体检测电路还被配置成基于反射率和基于生成的飞行时间图像数据，识别物体。
如上所述，飞行时间图像数据可以指示被检测物体的深度信息或深度图像。由此，可以确定被检测物体的深度结构，其中可以识别至少一个特征，从而可以识别物体。
物体识别可以基于已知的方法，如人工智能等。
人工智能(AI)可以使用基于机器学习的方法或基于显式特征的方法，如形状匹配，例如通过边缘检测、基于直方图的方法、基于模板匹配的方法、基于颜色匹配的方法等。在一些实施方式中，机器学习算法可以用于执行物体识别，例如，用于将检测的预限定物体与识别的物体进行比较以增加检测的正确性，其可基于以下至少一者：尺度不变特征转移(SIFT)、灰度共生矩阵(GLCM)、Gabor特征、Tubeness等。此外，机器学习算法可以基于分类器技术，其中这样的机器学习算法可以基于以下至少一者：随机森林(Random Forest)；支持向量机；神经网络，贝叶斯网络等。此外，机器学习算法可以应用深度学习技术，其中这种深度学习技术可以基于以下至少一者：自动编码器，生成对抗网络，弱监督学习，自举等。
监督学习还可以基于回归算法、感知器算法、贝叶斯分类(Bayes-classification)、朴素贝叶斯分类(Naiver Bayer classification)、次邻分类、人工神经网络等。
在这些实施方式中，人工智能可以被馈送有地面真值数据，地面真值数据可以对应于预限定物体或基于预限定物体，使得人工智能可以学习以识别物体。
在一些实施方式中，如本文所述，识别是基于预定的物体类别。
在一些实施方式中，如本文所述，基于物体的预定反射率范围来限定预定物体类别。
在一些实施方式中，物体包括身体部位。
通常，本公开不限于人类身体部位，因为可以识别任何身体(动物等的)的任何部位。此外，本公开不限于作为身体部位的物体，因为任何物体可以被检测。
在一些实施方式中，如本文所述，身体部位包括面部。
一些实施方式涉及飞行时间物体检测方法，包括：获得指示场景反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的物体的区域生成飞行时间图像数据以用于检测物体，如本文所述。
飞行时间物体检测方法可以由根据本发明的飞行时间物体检测电路来执行。
在一些实施方式中，如本文所述，飞行时间物体检测方法还包括基于所确定的反射率来调整曝光时间以生成飞行时间图像数据。在一些实施方式中，如本文所述，飞行时间物体检测方法还包括基于所确定的反射率来调整增益以生成飞行时间图像数据。在一些实施方式中，如本文所述，生成的飞行时间图像数据包括当前图像帧和至少一个后续图像帧中的至少一者。在一些实施方式中，如本文所述，飞行时间物体检测方法还包括基于所确定的反射率检测物体。在一些实施方式中，如本文所述，如权利要求15所述的飞行时间物体检测方法还包括基于反射率和基于生成的飞行时间图像数据识别物体。在一些实施方式中，如本文所述，识别是基于预定的物体类别。在一些实施方式中，基于物体的预定反射率范围来限定预定物体类别。在一些实施方式中，如本文所述，物体包括身体部位。在一些实施方式中，如本文所述，身体部位包括面部。
在一些实施方式中，如本文所述的方法还被实现为计算机程序，当在计算机和/或处理器上执行时，使计算机和/或处理器执行该方法。在一些实施方式中，还提供了一种存储有计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品当由诸如上述处理器的处理器执行时，使得执行本文所述的方法。
返回到图1，在框图中描绘了根据本公开的飞行时间成像方法1。
飞行时间图像传感器2提供表示包括物体的场景的图像数据Ml和M2。
在3处，从图像数据M2中滤波并提取主动光反射数据(ALR数据)4(或如本文所述的反射率数据)和深度数据5(或如本文所述的飞行时间数据)。
在6，通过将常数k与平方深度信号d*d相乘并与ALR信号相乘，来组合ALR数据4和深度数据5。
在该公式k*d*d*ALR中，深度d补偿与距离相关的ALR信号，使得结果与距离无关。
在这个实施方式中，这个公式是一种经验公式。然而，本公开在这方面不受限制，从而可以应用任何公式。
由此，在7处，生成表示亮度和表面特性的YSC信号。
YSC信号近似于单色照相机(即，Y通道)的输出。然而，除了单色信息之外，关于场景(或通常关于表面特性)(和/或物体)的反射和/或吸收度的信息由YSC信号表示。
如本文所述，YSC信号包括表面特性和亮度。基于该信号，可以采用聚类方法来区分物体和周围材料(或场景)(即，在8处确定感兴趣区域)，其中YSC信号的亮度可以用于物体的检测和/或识别(如下所述)。
在8，如上所述，基于深度数据和YSC信号，确定表示位物体区域的感兴趣区域(ROI)。
基于此，在9处生成物体ROI掩模，该掩模用于对曝光时间和增益控制计算统计量。此外，在11处，将基于传感器2的信号Ml的MAAR信号10(混合环境光和主动光反射信号)用于计算。
基于ROI掩模的统计量的计算可以例如包括ROI信号强度估计(例如，平均值)，其可以用于调整曝光和增益(如下所述)。
MAAR信号包含未知量的环境光(或者，在其它实施方式中，包含已知(精确)量的环境光和主动光贡献)。因此，如果未处理，MAAR信号可以具有低质量，例如，就最佳亮度和对比度而言。
然而，如本文所述(进一步如下)，MAAR信号可以适合于减少物体的运动模糊伪影。
在12，确定曝光时间和增益的控制值，该控制值以递归方式馈送到传感器2(包括控制曝光时间和增益的控制电路，未示出)。
因此，对于每一帧，前一帧的信息被用于改善该帧的成像质量。此外，避免了亮度(亮度闪烁)将高于预定阈值的亮度变化。
由此，可以生成亮度和对比度优化的(后续)图像帧，即，在后续帧中，从图像信号Ml生成(优化的)用于物体识别14的MAAR信号13。
此外，ALR数据4和深度数据5用于物体识别14。
图2描述了，在框图中，飞行时间物体检测方法20的另一实施方式，与图1的飞行时间物体检测方法1不同的是，在21处执行面部ROI检测而不是物体ROI检测(在8处)，并且在22处执行面部识别而不是物体识别(在14处)，使得8和14分别被21和22代替，并且省略对框图的剩余块的重复描述，因为相应步骤与图1的第一实施方式相同。
图3在框图中示出了飞行时间物体检测方法30的另一实施方式。
在31，从飞行时间图像传感器的置信度测量中获得指示场景的反射率的反射率数据。
在32，基于反射率数据，获得场景的反射率。
在33，如上所述基于所确定的反射率，并基于反射率范围，确定场景中物体的区域。
在34，如本文所述，基于图像的反射率和区域，生成飞行时间图像数据。
在35和36，如本文所述，分别调整曝光时间和增益。
在37处，如本文所述，检测物体。
在38处，如本文所述，识别该物体。
图4在框图中描绘了根据本发明的飞行时间成像系统40，其可以被配置成分别实现和/或执行图1的方法10、图2的方法20和图3的方法30中的至少一者。
飞行时间成像系统40被适配为飞行时间照相机，其具有被配置成将光聚焦到包括多个像素43的飞行时间图像传感器42上的透镜堆41。像素43包括CAPD(电流辅助光子解调器)，并且每个像素43被配置成生成反射率数据和深度数据，如本文所述。
飞行时间成像系统还具有包括多个VCSEL(垂直腔面发射激光器)的光源44，所述VCSEL被配置成发射调制光。
在这个实施方式中，飞行时间成像系统正在测量发射光的相位漂移。然而，本公开不限于这种情况(即，如上所述，iToF)，因为可以应用任何飞行时间技术。
飞行时间成像系统还包括根据本公开的飞行时间物体检测电路45，其在本实施方式中被适配为CPU，并且被配置成执行根据本公开的飞行时间物体检测方法，如参照图1所述的飞行时间物体检测方法1，在这方面不限制本公开，因为在其他实施方式中，相应的飞行时间对象电路被适配为执行图2的飞行时间物体检测方法20或图3的飞行时间物体检测方法30等。
图5描绘了用于获得反射率数据或ALR数据、MAAR数据(或信号)和深度数据的方法50的实施方式，例如，如参考图1所述，其中使用参考图4所述的飞行时间成像系统，如飞行时间成像系统40。
在51，开始飞行时间测量。
参考符号52至55表示四个后续的子帧，在iToF的情况下可以将其称为分量或相位，而在dToF的情况下可以将其称为测量值。
一个接一个地获取子帧，使得刻度56表示时间。
在一次飞行时间测量中，即在两个起始点51之间，获取一帧。
一个子帧，例如，子帧52表示单个分量的积分时间(在iToF情况下)，其中两个子帧之间的时间，例如，帧52和53之间的时间表示相应分量(即本示例中的帧52)的读出时间。
在本实施方式中，为了获得ALR数据，使用至少两个相位(或子帧)。
然而，如果物体和/或飞行时间成像系统在两个子帧之间移动(并且如果移动速度高于预定阈值)，则由于子帧是在不同的时间实例测量的，因此可以生成运动模糊伪影。
由此，计算机视觉(例如，物体识别、面部识别等)等可能劣化。
因此，这样的运动模糊伪影可能必须被去除。
通常，如上文所述，可以从一个子帧，例如子帧52，获得MAAR信号。然而，MAAR信号包含环境光和ALR，并且环境光的量是未知的。
因此，可以从一个单帧(或至少一个单帧)读出MAAR信号，而对于ALR数据，至少需要两个帧。
此外，众所周知，为了获得深度数据，通常使用所有四个子帧(或相位)。
因此，通过读出子帧52至55，可以执行诸如方法1的方法。
参考图6，示出了飞行时间(ToF)成像设备60的实施方式，其可以用于深度感测或提供距离测量，具体是用于如本文所述的技术，其中，ToF成像设备60被配置为iToF相机。ToF成像设备60具有飞行时间物体检测电路67，该电路被配置成执行如本文所述的方法，并且形成对ToF成像设备60的控制(并且，如本领域技术人员通常所知，它包括(未示出的)相应的处理器、存储器和存储装置)。
ToF成像设备60具有调制光源61，并且包括发光元件(基于激光二极管)，其中在本实施方式中，发光元件是窄带激光元件。
光源61向场景62(感兴趣区域或物体)发射光，即，如本文所述的调制光，该场景62反射该光。反射光由光学堆63聚焦到光检测器64。
光检测器64具有飞行时间成像部分，如本文所述，其基于形成在像素阵列中的多个CAPD，以及将从场景62反射的光聚焦到飞行时间成像部分65(聚焦到图像传感器65的每个像素)的微透镜阵列66，来实现。
当检测到从场景62反射的光时，将光发射时间和调制信息馈送到包括飞行时间测量单元68的飞行时间物体检测电路或控制器67，所述飞行时间测量单元68还从飞行时间成像部分65接收相应的信息。基于从光源61接收的调制光、和在粗成像模式下获取的粗深度数据和/或在精成像模式下获取的精深度数据，飞行时间测量单元68计算从光源61发射并被场景62反射的接收的调制光的相位漂移，并基于此计算图像传感器65和场景65之间的距离d(深度信息)。
此外，如本文所述，两个相位被用于获得反射率数据(ATR数据)，而单个相位被用于获得MAAR数据。
深度信息从飞行时间物体检测电路67的飞行时间测量单元68馈送到3D图像重建单元69，该3D图像重建单元69基于从飞行时间测量单元68接收的深度数据、ALR数据、MAAR数据信息，来重建(生成)场景62的3D图像。此外，执行如本文所述的物体ROI检测、物体检测和物体识别。
应当认识到，实施方式描述了具有方法步骤的示例性顺序的方法。然而，方法步骤的具体顺序仅用于说明目的，不应被解释为绑定。例如，图1和图2的实施方式中的4和5的顺序可以交换。对技术人员来说，方法步骤顺序的其他变化可能是显而易见的。
请注意，将飞行时间成像系统40划分为单元41至单元45只是为了说明目的，并且本公开不限于特定单元中的任何特定功能划分。例如，图像传感器42和飞行时间成像电路45可以由相应的编程图像传感器、现场可编程门阵列(FPGA)等实现。
所述方法还可以被实现为计算机程序，当在计算机和/或处理器上执行时，所述计算机程序使计算机和/或处理器(例如上面讨论的CPU 45)执行所述方法。在一些实施方式中，还提供了一种存储有计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品当由诸如上述处理器的处理器执行时，使得执行所述方法。
在本说明书中描述的和在所附权利要求中要求的所有单元和实体，如果没有另作说明，可以实现为集成电路逻辑，例如在芯片上，并且如果没有另作说明，可以通过软件实现由这些单元和实体提供的功能。
就上述公开的实施方式而言，至少部分地使用软件控制的数据处理装置来实现，应当理解，提供这种软件控制的计算机程序以及通过其提供这样的计算机程序的传输、存储或其他介质，被设想为本公开的方面。
注意，本技术也可以如下所述被配置。
(1)一种飞行时间物体检测电路，被配置成：获得指示场景的反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的物体的区域生成飞行时间图像数据，用于检测所述物体。
(2)如(1)的飞行时间物体检测电路，还被配置成：基于所确定的反射率来调整曝光时间，以生成飞行时间图像数据。
(3)如(1)和(2)中任一项的飞行时间物体检测电路，还被配置成：基于所确定的反射率调整增益，以生成飞行时间图像数据。
(4)如(1)至(3)中任一项的飞行时间物体检测电路，其中，所生成的飞行时间图像数据包括当前图像帧和至少一个后续图像帧中的至少一者。
(5)如(1)至(4)中任一项的飞行时间物体检测电路，还配置成：基于所确定的反射率检测所述物体。
(6)如(5)的飞行时间物体检测电路，还配置成：基于反射率和基于生成的飞行时间图像数据，识别物体。
(7)如(6)的飞行时间物体检测电路，其中，所述识别是基于预定的物体类别。
(8)如(7)的飞行时间物体检测电路，其中，预定物体类别是基于所述物体的预定反射率范围来限定的。
(9)如(1)至(8)中任一项的飞行时间物体检测电路，其中，所述物体包括身体部位。
(10)如(9)的飞行时间物体检测电路，其中，所述身体部位包括面部。
(11)一种飞行时间物体检测方法，包括：获得指示场景的反射率的反射率数据；确定场景的反射率；基于所确定的反射率确定场景中的物体的区域；以及基于所确定的物体的区域生成飞行时间图像数据，用于检测所述物体。
(12)如(11)的飞行时间物体检测方法，还包括：基于所确定的反射率调整曝光时间，以生成飞行时间图像数据。
(13)如(11)和(12)中任一项的飞行时间物体检测方法，还包括：基于所确定的反射率调整增益，用于生成飞行时间图像数据。
(14)如(11)至(13)中任一项的飞行时间物体检测方法，其中，所生成的飞行时间图像数据包括当前图像帧和至少一个后续图像帧中的至少一者。
(15)如(11)至(14)中任一项的飞行时间物体检测方法，还包括：基于所确定的反射率检测所述物体。
(16)如(15)的飞行时间物体检测方法，还包括：基于反射率和基于生成的飞行时间图像数据，识别物体。
(17)如(16)的飞行时间物体检测方法，其中，所述识别是基于预定的物体类别。
(18)如(17)的飞行时间物体检测方法，其中，基于所述物体的预定反射率范围来限定所述预定物体类别。
(19)如(11)至(18)中任一项的飞行时间物体检测方法，其中，所述物体包括身体部位。
(20)如(19)的飞行时间物体检测方法，其中，所述身体部位包括面部。
(21)一种计算机程序，包括程序代码，所述程序代码当在计算机上执行时使计算机执行根据(11)至(20)中任一项的方法。
(22)一种非暂时性计算机可读记录介质，存储有计算机程序产品，该计算机程序产品在由处理器执行时使得执行根据(11)至(20)中任一项的方法。

Claims (20)

1.一种飞行时间物体检测电路，所述飞行时间物体检测电路被配置成：
获得指示场景的反射率的反射率数据；
确定所述场景的所述反射率；
基于确定的反射率，确定所述场景中的物体的区域；以及
基于确定的所述物体的区域，生成飞行时间图像数据，用于检测所述物体。
2.根据权利要求1所述的飞行时间物体检测电路，还被配置成：
基于所述确定的反射率，来调整曝光时间，以生成所述飞行时间图像数据。
3.根据权利要求1所述的飞行时间物体检测电路，还被配置成：
基于所述确定的反射率，来调整增益，以生成所述飞行时间图像数据。
4.根据权利要求1所述的飞行时间物体检测电路，其中，生成的飞行时间图像数据包括当前图像帧和至少一个后续图像帧中的至少一者。
5.根据权利要求1所述的飞行时间物体检测电路，还被配置成：
基于所述确定的反射率，检测所述物体。
6.根据权利要求5所述的飞行时间物体检测电路，还被配置成：
基于所述反射率和基于生成的飞行时间图像数据，识别所述物体。
7.根据权利要求6所述的飞行时间物体检测电路，其中，所述识别是基于预定物体类别。
8.根据权利要求7所述的飞行时间物体检测电路，其中，所述预定物体类别是基于所述物体的预定反射率范围来限定的。
9.根据权利要求1所述的飞行时间物体检测电路，其中，所述物体包括体部位。
10.根据权利要求9所述的飞行时间物体检测电路，其中，所述体部位包括面部。
11.一种飞行时间物体检测方法，所述飞行时间物体检测方法包括：
获得指示场景的反射率的反射率数据；
确定所述场景的所述反射率；
基于确定的反射率，确定所述场景中的物体的区域；以及
基于确定的所述物体的区域生成飞行时间图像数据，用于检测所述物体。
12.根据权利要求11所述的飞行时间物体检测方法，还包括：
基于所述确定的反射率调整曝光时间，以生成所述飞行时间图像数据。
13.根据权利要求11所述的飞行时间物体检测方法，还包括：
基于所述确定的反射率调整增益，以生成所述飞行时间图像数据。
14.根据权利要求11所述的飞行时间物体检测方法，其中，生成的飞行时间图像数据包括当前图像帧和至少一个后续图像帧中的至少一者。
15.根据权利要求11所述的飞行时间物体检测方法，还包括：
基于所述确定的反射率检测所述物体。
16.根据权利要求15所述的飞行时间物体检测方法，还包括：
基于所述反射率和基于生成的飞行时间图像数据，识别所述物体。
17.根据权利要求16所述的飞行时间物体检测方法，其中，所述识别是基于预定物体类别的。
18.根据权利要求17所述的飞行时间物体检测方法，其中，所述预定物体类别是基于所述物体的预定反射率范围来限定的。
19.根据权利要求11所述的飞行时间物体检测方法，其中，所述物体包括体部位。
20.根据权利要求19所述的飞行时间物体检测方法，其中，所述体部位包括面部。
CN202080087451.7A 2019-12-23 2020-12-16 飞行时间物体检测电路及飞行时间物体检测方法 Pending CN114902074A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19219552 2019-12-23
EP19219552.7 2019-12-23
PCT/EP2020/086425 WO2021130076A1 (en) 2019-12-23 2020-12-16 Time-of-flight object detection circuitry and time-of-flight object detection method

Publications (1)

Publication Number Publication Date
CN114902074A true CN114902074A (zh) 2022-08-12

Family

ID=69024145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087451.7A Pending CN114902074A (zh) 2019-12-23 2020-12-16 飞行时间物体检测电路及飞行时间物体检测方法

Country Status (5)

Country Link
US (1) US20230033352A1 (zh)
EP (1) EP4081830A1 (zh)
KR (1) KR20220112791A (zh)
CN (1) CN114902074A (zh)
WO (1) WO2021130076A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935467A (zh) * 2021-08-12 2023-10-24 荣耀终端有限公司 数据处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112844B (zh) * 2008-07-29 2013-04-24 微软国际控股私有有限公司 成像系统
JP2010175488A (ja) * 2009-01-31 2010-08-12 Keyence Corp 光走査型光電スイッチ
JP2012198337A (ja) * 2011-03-18 2012-10-18 Toshiba Corp 撮像装置
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
US11397077B2 (en) * 2018-01-05 2022-07-26 Stmicroelectronics, Inc. Power and security adjustment for face identification with reflectivity detection by a ranging sensor

Also Published As

Publication number Publication date
US20230033352A1 (en) 2023-02-02
WO2021130076A1 (en) 2021-07-01
KR20220112791A (ko) 2022-08-11
EP4081830A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
US10339363B2 (en) Apparatus and method using optical speckle
US10156437B2 (en) Control method of a depth camera
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
US11636615B2 (en) Depth acquisition device and depth acquisition method
US20170258391A1 (en) Multimodal fusion for object detection
JP2015143979A (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
US20230078604A1 (en) Detector for object recognition
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
US10516875B2 (en) Method and apparatus for obtaining depth image by using time-of-flight sensor
KR20170088259A (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
CN112313541A (zh) 设备和方法
US20230177818A1 (en) Automated point-cloud labelling for lidar systems
US11373324B2 (en) Depth acquisition device and depth acquisition method for providing a corrected depth image
JP2018160049A (ja) 画像認識装置
US20230033352A1 (en) Time-of-flight object detection circuitry and time-of-flight object detection method
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
CN114866703A (zh) 基于tof成像系统的主动曝光方法、装置及电子设备
US10805549B1 (en) Method and apparatus of auto exposure control based on pattern detection in depth sensing system
US12026904B2 (en) Depth acquisition device and depth acquisition method
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
US20240027188A1 (en) 8bit conversion
KR20220165678A (ko) 라이다 장치
WO2023069070A1 (en) Method and apparatus for generating an image enhancement model using pairwise constraints
CN116434286A (zh) 识别方法、识别系统和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination