CN112351270A - 确定故障的方法和装置以及传感器系统 - Google Patents

确定故障的方法和装置以及传感器系统 Download PDF

Info

Publication number
CN112351270A
CN112351270A CN202010781695.7A CN202010781695A CN112351270A CN 112351270 A CN112351270 A CN 112351270A CN 202010781695 A CN202010781695 A CN 202010781695A CN 112351270 A CN112351270 A CN 112351270A
Authority
CN
China
Prior art keywords
camera
image
luminance
optical
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010781695.7A
Other languages
English (en)
Inventor
F·M·达勒
M·格雷夫林
B·基里洛夫
S·门德尔
C·斯坦纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN112351270A publication Critical patent/CN112351270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)

Abstract

本公开的实施例总体上涉及确定故障的方法和装置以及传感器系统。提供了一种用于确定故障的方法。该方法包括从基于飞行时间的3D相机接收场景的1D或2D亮度图像。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收的背景光的强度。该方法还包括从光学2D相机接收场景的2D光学图像，并将亮度图像与光学图像进行比较。如果亮度图像与光学图像不匹配，则该方法附加地包括确定3D相机和2D相机中的一个相机的故障。

Description

确定故障的方法和装置以及传感器系统
技术领域
本公开涉及使用基于飞行时间(ToF)的三维(3D)相机和光学二维(2D)相机的传感器系统的功能安全性。特别地，示例涉及用于确定故障的方法和装置。此外，示例涉及传感器系统。
背景技术
在基于ToF的系统中，例如光检测和测距(LiDAR)或3D成像，光被转换为电信号。然后使用某些参数处理电信号，并将处理后电信号转换为数字域。从LiDAR系统向对象发射激光到接收从对象反射的光的时间被用于生成3D图像。然后，数字3D图像经历图像后处理。
在开发符合功能安全标准(诸如，国际标准化组织(ISO)的ISO26262)的系统期间，需要检测和控制随机的硬件故障。基于ToF的系统的电领域可能会被常规安全机制覆盖。
然而，对于包括例如像素矩阵、包括玻璃盖和光学器件的封装的光到电信号的转换，没有可用于检测随机硬件故障的直接方法。
光学2D相机也需要随机硬件故障检测。
发明内容
因此，可能存在检测基于ToF的3D相机和光学2D相机的故障的需求。
可以通过所附权利要求的主题来满足该需求。
一个示例涉及用于确定故障的方法。该方法包括从基于ToF的3D相机接收场景的1D或2D亮度图像。亮度图像包括一个或多个像素，该一个或多个像素表示3D相机的图像传感器接收到的背景光的强度。该方法还包括从光学2D相机接收场景的2D光学图像，并且将亮度图像与光学图像进行比较。如果亮度图像与光学图像不匹配，则该方法附加地包括确定3D相机和2D相机中的一个相机的故障。
另一个示例涉及用于确定故障的装置。该装置包括被配置为从基于ToF的3D相机接收场景的1D或2D亮度图像的第一输入接口。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收的背景光的强度。该装置还包括被配置为从光学2D相机接收场景的2D光学图像的第二输入接口。附加地，该装置包括处理电路，该处理电路被配置为将亮度图像与光学图像进行比较，以及如果亮度图像与光学图像不匹配，则确定3D相机和2D相机中的一个相机的故障。
另一个示例涉及传感器系统。传感器系统包括基于ToF的3D相机和光学2D相机。另外，传感器系统包括根据本文所述的用于确定故障的装置。传感器系统附加地包括用于融合3D相机和2D相机的图像的装置。用于融合3D相机和2D相机的图像的装置包括第一输入接口和第二输入接口，第一输入接口被配置为从3D相机接收场景的3D图像，第二输入接口被配置为从2D相机接收场景的2D光学图像。附加地，用于融合3D相机和2D相机的图像的装置包括处理单元，处理单元被配置为将3D图像和2D光学图像融合为场景的组合图像。
附图说明
装置和/或方法的一些示例将在下面仅通过示例的方式并参考附图进行描述，其中
图1示出了用于确定故障的方法的示例的流程图；
图2示出了传感器系统的示例；
图3示出了2D亮度图像的示例；
图4示出了传感器系统的另一个示例；
图5示出了1D亮度图像的示例；以及
图6示出了传感器系统的另一个示例。
具体实施方式
现在将参考示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。
因此，尽管其它示例能够进行各种修改和替代形式，但是其一些特定示例在附图中示出并且随后将详细描述。然而，该详细描述不将其他的示例限于所描述的特定形式。其他的示例可以覆盖落入本公开范围内的所有修改、等同形式和替代形式。在整个附图的描述中，相同或相似的附图标记指代相同或相似的元件，当提供彼此相同或相似的功能时，可以在相互比较时相同地或以修改的形式实现。
将理解的是，当一个元件被称为“连接”或“耦合”到另一个元件时，元件可以被直接地连接或经由一个或多个中间元件耦合。如果没有另外明确地或隐含地定义，如果两个元件A和B使用“或”来组合，则应理解为公开所有可能的组合，即仅A、仅B以及A和B。相同组合的备选的措词是“A和B中的至少一个”或“A和/或B”。加以必要的变更，同样适用于两个以上元件的组合。
本文中用于描述特定示例的术语不旨在限制其它示例。每当使用诸如“一”、“一个”和“该”的单数形式并且仅明确地或隐含地将单个元件定义为强制性时，其它示例也可以使用多个元件来实现相同的功能。同样，当随后将功能描述为使用多个元件来实现时，其它示例可以使用单个元件或处理实体来实现相同的功能。将进一步理解的是，当使用术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”和/或“包含(including)”时，指定所述特征、整数、步骤、操作、过程、动作、元件和/或部件的存在，但不排除一个或多个其它特征、整数、步骤、操作、过程、动作、元件和/或其任何组的存在或添加。
除非另有定义，否则所有术语(包括技术和科学术语)在本文中均以示例所属的领域的普通含义使用。
图1示出了用于确定传感器系统中的故障的方法100的示例，传感器系统包括基于ToF的3D相机(图像传感器)和光学2D相机(图像传感器)。基于ToF的3D相机是使用ToF原理生成3D图像数据的相机(例如，LiDAR相机(传感器))。光学2D相机是捕获可见光谱的光以生成2D图像数据(例如，静止图像或运动图像)的相机。应当注意，除了3D相机和2D相机之外，传感器系统还可以可选地包括其他的传感器(诸如，雷达传感器)。
3D相机包括用于利用调制光(例如，红外光)照明场景的照明元件。照明元件基于(电)调制射频信号(诸如连续波调制信号)(例如，通过基于调制信号来控制一个或多个发光二极管、LED或者一个或多个激光二极管)生成调制光。被调制光照明的场景中的对象将调制光的至少一部分反射回ToF相机的光捕获元件(例如，包括光学器件、图像传感器和驱动电子器件)。换句话说，光捕获元件接收来自对象的反射光(以及来自场景的背景光)。
光捕获元件的图像传感器被像素化并且每一个像素测量反射光的一部分。即，图像传感器包括用于测量入射光的一个或多个光敏元件。例如，图像传感器可以包括单个光敏元件、光敏元件的1D像素阵列或光敏元件的2D像素阵列。换句话说，一个或多个光敏传感器元件可以沿着一个或两个不同(例如，正交)的空间方向布置。因此，基于从场景接收的光生成一个或多个(电)测量信号。例如，光敏传感器元件可以是光电二极管、雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)或作为硅光电倍增管(SiPM)的SPAD阵列。
基于发射光的ToF来计算对象到3D相机的距离。对象相对于3D相机的位置由所发射的光的发射角以及可选地由一个或多个光敏元件的视角确定。因此，3D相机可以输出场景的3D图像数据。
2D相机包括光学系统，用于将入射光聚焦在像素化的图像传感器上。即，2D相机的图像传感器包括用于测量入射光的光敏元件。例如，光敏元件可以是互补金属-氧化物-半导体(CMOS)技术中的电荷耦合器件(CCD)或有源像素传感器。快门机制控制光线可以进入2D相机的时间长度。因此，2D相机可以输出场景的2D图像数据。
3D相机以及2D相机可能会遭受各种硬件故障的影响，从而导致相机故障。例如，相机的光学路径中可能存在障碍物和/或灰尘。盖子(玻璃)处可能会出现凝结的湿气，光线通过它射出/进入相机。另外，盖子(玻璃)可能会破裂。相机的(多个)光敏传感器元件(即，(多个)光检测器)可能会降级(例如，3D相机的一个或多个APD可能降级)。2D相机和3D相机相对于彼此的预期对准可能会随时间推移而漂移。换句话说，2D相机和3D相机可能相对于彼此失准。另外，相机的一种或多种内部误差补偿机制(例如，直流电流补偿)可能随时间推移而漂移。而且，相机的行和/列解码器可能会失效。要注意的是，以上潜在的硬件故障的列表是示例性的而不是限制性的。3D相机以及2D相机可能同样遭受上述列表中未包含的一个或多个其它硬件故障。
上述硬件故障可能会导致3D相机的错误3D图像数据和/或2D相机的错误2D图像数据。另外，如果将3D相机的3D图像数据和2D相机的2D图像数据进行组合(融合)，则以上所列出故障可能导致错误的组合(融合)结果。3D相机的错误3D图像数据和/或2D相机的错误2D图像数据可能降低使用传感器系统的实体的安全性。例如，如果车辆使用3D相机和2D相机(可选地与其它传感器组合)扫描其环境，则3D相机的错误3D图像数据或2D相机的2D图像数据可能导致车辆对环境的错误感知。方法100可以允许检测3D相机和2D相机的故障，从而可以避免使用3D相机的错误3D图像数据和/或2D相机的错误2D图像数据。
方法100包括从基于ToF的3D相机接收102场景的1D或2D亮度图像。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收到的背景光的强度。背景光是由3D相机的图像传感器从感测的场景接收到的环境光。即，亮度图像的一个或多个像素指示从针对相应像素的给定立体角内的场景接收的光的总量。换句话说，亮度图像的一个或多个像素表示针对场景的亮度信息。取决于3D相机的图像传感器的结构，亮度图像可以是1D或2D图像。例如，如果图像传感器是单个光敏元件或光敏元件的1D像素阵列，则场景的亮度图像可以是1D图像。备选地，如果图像传感器是光敏元件的2D像素阵列，则场景的亮度图像可以是2D图像。
方法100还包括从光学2D相机接收104场景的2D光学图像。2D光学图像是包括表示由2D相机的图像传感器接收的可见光谱的光的颜色和/或亮度的多个像素的2D图像。在一些示例中，2D相机的2D光学图像可以是亮度图像。
附加地，方法100包括将亮度图像与光学图像进行比较106。例如，可以将整个亮度图像与光学图像的全部或一部分进行比较。在其它示例中，可以将亮度图像的一部分与光学图像的全部或一部分进行比较。当将亮度图像与光学图像进行比较时，可以考虑2D相机和3D相机的一个或多个特性，以便使得能够进行适当的比较。例如，当比较106亮度图像与光学图像时，可以考虑亮度图像和光学图像的不同分辨率，2D相机和3D相机的预期视场(FoVs)和/或2D相机和3D相机的预期对准彼此之间的相互影响。
如果亮度图像与光学图像不匹配，则方法100附加地包括确定1083D相机和2D相机中的一个相机的故障。如果亮度图像与光学图像匹配，则方法100可以包括确定1103D相机和2D相机的适当功能。如本公开中所使用的“匹配”是指亮度图像和光学器件的要描绘场景的相同部分的部分表示关于场景的等效信息。即，由描绘场景的给定部分的亮度图像的一部分表示的亮度等于或对应于由描绘场景的相同部分的光学图像的一部分表示的亮度。如果两个图像中的亮度信息不相等，则亮度图像与光学图像不匹配。在本公开中使用的“相等的”或“对应的”亮度是指由亮度图像和光学图像的对应部分表示的亮度(基本上)相同/相似，或者由图像中的一个图像表示的缩放亮度(基本上)与由其它图像表示的亮度相同/相似。缩放可以被用于针对3D相机和2D相机的不同特性(例如，结构、对准、曝光时间等)的补偿。
例如，将亮度图像与光学图像进行比较106可以包括选择亮度图像的第一区域和光学图像的第二区域。当选择第一区域和第二区域时，假定第一区域和第二区域描绘场景的相同部分。换句话说，亮度图像的第一区域和光学图像的第二区域将描绘场景的相同部分。另外，将亮度图像与光学图像进行比较106可以包括确定第一区域的第一亮度和确定第二区域的第二亮度。将第一亮度与第二亮度进行比较。如果第一亮度不对应于第二亮度(例如，如果第一亮度或缩放的第一亮度不等于第二亮度)，则确定亮度图像与光学图像不匹配。考虑到常规的光学2D相机提供比基于ToF的3D相机更高的分辨率，第二区域可以包括比第一区域更多的像素。
3D相机的故障导致错误的亮度图像，而2D相机的故障导致错误的光学图像。因此，如果图像中的一个图像由于相应相机的故障而错误，则亮度图像和光学图像不匹配。因此，将亮度图像与光学图像进行比较106，可以允许检测3D相机或2D相机的故障。例如，方法100可以允许检测3D相机和2D相机中的光学器件、像素、解码器和/或光电转换中的其它元件中的故障。类似地，可以通过方法100检测相机的机械设置中的故障，诸如指向误差、倾斜或聚焦问题。可以通过所提出的方法检测相关参数的任何快速变化或缓慢恶化。通常，方法100可以被理解为使得能够连续检查使用2D相机的3D相机的光学到电子转换或3D相机的光路的多样化技术，反之亦然。
如果确定了3D相机和2D相机中的一个相机的故障，则方法100还可以包括输出指示3D相机和2D相机中的一个相机的故障的错误信号。例如，可以由实体/系统使用3D相机的3D图像数据和/或2D相机的2D图像数据来评估误差信号，以确定3D相机和/或2D相机的数据是否可靠/没有错误，即确定是否应当由实体进一步处理3D相机和/或2D相机的数据。例如，如果错误信号指示3D相机和2D相机中的一个相机的故障，则将3D相机和/或2D相机的数据(可选地具有来自其他的传感器的数据)组合(融合)的实体可以决定不使用3D相机或2D相机的数据。在其它示例中，如果错误信号指示3D相机和2D相机中的一个相机的故障，则可以经由人机接口(HMI；例如，可以激活警告灯或发出警告音)向用户输出警告。
常规的2D相机提供比基于ToF的3D相机更高的分辨率。因此，光学图像的分辨率可以高于亮度图像的分辨率。考虑到光学图像和亮度图像的不同分辨率，还可以允许识别3D相机和2D相机中的哪一个相机发生故障(错误)。由于2D相机和3D相机的分辨率不同，因此场景的相同部分由光学图像中比亮度图像中更多数目的像素表示。如果在光学图像中表示场景中的给定对象的多个像素表示某个亮度，而表示相同对象的像素在亮度图像中较少，则表示亮度与由光学图像中的多个像素表示的亮度不对应，因此可以假设3D相机发生故障，因为亮度图像中的几个像素比光学图像中的多个像素更容易出错。另一方面，如果亮度在描述场景中的给定对象的光学图像中的多个像素之间变化，并且如果亮度图像中要描述相同对象的较少的像素表示相似的亮度，可能会假设2D相机由于亮度变化而出现故障。
在下文中，将参照图2至图5描述使用LiDAR相机作为3D相机的两个示例性传感器系统。所提出的故障确定被用于验证LiDAR相机的功能。
图2示出了传感器系统200，传感器系统200包括作为基于ToF的3D相机的示例的LiDAR相机210、光学2D相机220和用于传感器系统200的信号处理和整体控制的集成电路230。在图2的示例中，集成电路230是专用集成电路(ASIC)。然而应注意，集成电路230不限于该特定实现。
LiDAR相机210包括激光线源211和振荡镜212(例如，以微机电系统、MEMS技术实现)，以将线形激光脉冲发射到环境，以借助于光学刺激来扫描环境。如图2所示，振荡镜212的振荡运动使得能够水平扫描环境。反射光由接收器光学器件213投射到包括APD的2D像素阵列(例如，包括m*n个APD像素)的2D图像传感器214上。APD的2D像素阵列将从环境中接收的光学信号(激光+背景光的反射)转换为电信号。解码器215被用于按列读出APD的2D像素阵列。解码器操作由集成电路230控制。从各个APD读出的电信号在线缓冲区216中缓冲，并借助于模拟多路复用器217传输到接收器芯片219。APD的2D像素阵列与解码器215、线缓冲区216和模拟多路复用器217一起在APD芯片218上被实现。针对每列n个APD的接收器芯片219的n个跨导放大器(TIA)241放大并滤波电信号。随后，经滤波和放大的电信号借助于模数转换器(ADC)242被转换为数字信号。数字信号表示环境的3D图像数据，并被提供给集成电路230的图像处理器231。
各个APD像素的DC电流与接收到的背景光成正比。经由TIA241测量DC电流，并通过ADC 242将其转换为数字信号。表示DC电流的数字信号，即数字化的DC信息，被作为2D亮度图像传达至集成电路230。另外，通过光学2D相机220将环境的光学2D图像提供给集成电路230。
通过比较3D LiDAR相机210的2D亮度图像和来自2D相机的2D光学图像，图像处理器231确定LiDAR相机210是否正确地运行。例如，所提出的图像匹配可以允许验证APD的2D阵列是否正确地运行。如上所述，如果3D LiDAR相机210的2D亮度图像与来自2D相机的2D光学图像不匹配，则集成电路230可以确定LiDAR相机210的故障。
在图3中示出了由LiDAR相机210看到的FoV的示例性2D亮度图像300。图3中描绘的场景是夜间的道路。在亮度图像300中，可以看到三辆正在驶近的汽车的前灯以及道路标记。例如，根据上述说明，可以将表示前灯中的一个前灯或道路标记中的一个道路标记的一个或多个像素的亮度与光学图像中表示场景的同一对象的像素的亮度进行比较。
图4示出了类似于上述传感器系统200的另一个传感器系统400。与传感器系统200相比，传感器系统400的LiDAR相机410使用包括APD的1D像素阵列的1D图像传感器414代替2D图像传感器214。因此，与LiDAR相机210相比，在LiDAR相机410中可以省略解码器215。在图4的示例中，一个APD像素收集整个水平场的背景光，但是仅在小的竖直角度之上。
类似于上面针对传感器系统200所描述的那样，通过线缓冲区216来读取APD的电信号。等同于以上针对传感器系统200所描述的来进行信号处理和故障检测。
在图5中示出了与图3中描绘的相同场景的示例性1D亮度图像500。亮度图像500的n条竖直线表示由LiDAR相机410的n个APD像素测量的亮度强度。当比较1D亮度图像500和2D亮度图像300时，可以看到1D亮度图像500中的三个高亮度强度510、520和530表示三个正在驶来的汽车的前灯(以及道路标记)，而其它低亮度强度仅表示道路标记。类似于结合2D亮度图像300所描述的，可以将表示前灯中的一个前灯(或道路标记中的一个道路标记)的1D亮度图像500的像素的亮度与光学图像中的像素的亮度进行比较，光学图像中的像素的亮度表示场景中的相同对象，以便确定LiDAR相机410的故障。
即，不管亮度图像是1D图像还是2D图像，都可以提取用于与2D相机的2D图像进行比较的相关特征。
总结以上结合图2至图5描述的示例，所提出的方法可以包括：测量3D相机的至少一个光敏元件的DC电流，以便获取针对至少一个光敏元件的DC电流的至少一个测量值；并且基于至少一个测量值生成亮度图像。
在备选的示例中，可以测量(多个)光敏元件的电压来代替电流。取决于3D相机的(多个)光敏元件的实现，(多个)光敏元件的电压可以指示相应的光敏元件接收到的背景光的强度。因此，所提出的方法可以备选地包括测量3D相机的至少一个光敏元件的电压(例如，DC电压)以获取针对至少一个光敏元件的电压的至少一个测量值，并且基于至少一个测量值生成亮度图像。
如上所述，针对至少一个光敏元件的电流或电压的至少一个测量值可以是模拟测量值。然后，所提出的方法还可以包括基于至少一个模拟测量值来生成至少一个数字测量值，其中基于至少一个数字测量值生成亮度图像。
通过提供由3D光传感器生成的背景光(亮度)图像并且将其与由2D相机生成的图像进行比较，可以使得能够对光路和光电信号转换器(像素)中的故障进行检测。
图6示出了另一个传感器系统600。传感器系统600包括基于ToF的3D相机610和光学2D相机620。另外，传感器系统600包括集成电路630，集成电路630控制相机并且实现所提出的用于确定故障的装置640的功能以及用于融合3D相机610的图像和2D相机620的图像的装置650的功能。例如，集成电路630可以是单个专用处理器、单个共享处理器或多个单独的处理器(其中一些或全部可以被共享)、数字信号处理器(DSP)硬件、ASIC或现场可编程门阵列(FPGA)。集成电路630可以可选地被耦合到(例如)用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和/或非易失性存储器。传感器系统600还可以包括其它硬件——常规的和/或定制的(例如，另一种传感器，诸如雷达传感器)。
集成电路630借助于相应的(例如双向)控制信号631和632来控制3D相机610和2D相机620的操作。如图6所示，3D相机610的和2D相机620的图像传感器611、621可以包括光敏元件的相应的2D像素阵列。然而应注意，图像传感器611的2D像素阵列仅仅是示例性的，并且图像传感器611可以备选地包括单个光敏元件或光敏元件的1D像素阵列。
用于确定故障的装置640包括第一输入接口641，第一输入接口641被配置为从3D相机610接收表示场景的2D(或者备选地1D)亮度图像的输入数据。如上面详细描述的，亮度图像包括一个或多个像素，一个或多个像素表示由3D相机610的图像传感器611接收的背景光的强度。用于确定故障的装置640还包括第二输入接口643，第二输入接口643被配置为从2D相机620接收表示场景的2D光学图像的输入数据。附加地，用于确定故障的装置640包括处理电路642，处理电路642被配置为将亮度图像与光学图像进行比较，并且如果亮度图像与光学图像不匹配，则确定3D相机610和2D相机620中的一个相机的故障。
用于融合3D相机610和2D相机620的图像的装置650包括第一输入接口651，第一输入接口651被配置为从3D相机610接收表示场景的3D图像的输入数据。用于融合3D相机610和2D相机620的图像的装置650还包括第二输入接口653，第二输入接口653被配置为从2D相机620接收的表示场景的2D光学图像的输入数据。附加地，用于融合3D相机610和2D相机620的装置650包括处理电路652，处理电路652被配置为将3D图像和2D光学图像融合为场景的组合图像。
2D相机620的2D图像(例如，亮度图像)可以表现出最高的分辨率，而3D相机610的3D图像可以表现出较低的分辨率。通过比较2D相机620的2D图像和3D相机610的3D图像(以及可选地其他的图像，诸如由雷达传感器提供的低分辨率的距离图像或速度图像)，并且进一步检查图像的有效性，可以生成场景/环境的2D或3D模型。
通过从基于ToF的3D相机610生成1D或2D亮度图像并且将其与2D相机的2D(例如，亮度)图像直接地比较，可以使得能够进行有效的故障检测。因此，对于各种应用(例如，汽车应用)，可以以容易且廉价的方式实现功能安全。换句话说，传感器系统600可以实现用于基于ToF的3D相机(例如，LiDAR相机)的功能安全和传感器融合。
本文描述的示例可以总结如下：
一些示例涉及用于确定故障的方法。方法包括从基于ToF的3D相机接收场景的1D或2D亮度图像。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收的背景光的强度。方法还包括从光学2D相机接收场景的2D光学图像，并且将亮度图像与光学图像进行比较。如果亮度图像与光学图像不匹配，则方法附加地包括确定3D相机和2D相机中的一个相机的故障。
在一些示例中，图像传感器是单个光敏元件或光敏元件的1D像素阵列，并且其中场景的亮度图像是1D。
在备选的示例中，图像传感器是光敏元件的2D像素阵列，并且其中场景的亮度图像是2D。
根据一些示例，光学图像的分辨率高于亮度图像的分辨率。
在一些示例中，图像传感器包括至少一个光敏元件，并且其中方法还包括：测量至少一个光敏元件的DC电流，以获取针对至少一个光敏元件的DC电流的测量值；以及基于至少一个测量值生成亮度图像。
在备选的示例中，图像传感器包括至少一个光敏元件，并且其中方法还包括：测量至少一个光敏元件的电压，以获取针对至少一个光敏元件的电压的至少一个测量值；并且基于至少一个测量值生成亮度图像。
根据一些示例，至少一个测量值是模拟测量值，其中方法还包括基于至少一个模拟测量值生成至少一个数字测量值，并且其中亮度图像基于至少一个数字测量值而被生成。
在一些示例中，考虑到以下特性中的至少一个特性来执行将亮度图像与光学图像进行比较：亮度图像与光学图像的不同分辨率、2D相机和3D相机的预期视场、以及2D相机与3D相机相对于彼此的预期对准。
根据一些示例，将亮度图像与光学图像进行比较包括：选择亮度图像的第一区域和光学图像的第二区域，其中假设第一区域和第二区域描绘场景的相同部分；确定第一区域的第一亮度；确定第二区域的第二亮度；将第一亮度与第二亮度进行比较；以及如果第一亮度与第二亮度不对应，则确定亮度图像与光学图像不匹配。
在一些示例中，第二区域包括比第一区域更多的像素。
根据一些示例，方法还包括：如果3D相机和2D相机中的一个相机的故障被确定，则输出指示3D相机和2D相机中的一个相机的故障的错误信号。
其它示例涉及用于确定故障的装置。装置包括第一输入接口，第一输入接口被配置为从基于ToF的3D相机接收场景的1D或2D亮度图像。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收的背景光的强度。装置还包括第二输入接口，第二输入接口被配置为从光学2D相机接收场景的2D光学图像。附加地，装置包括处理电路，处理电路被配置为将亮度图像与光学图像进行比较，以及如果亮度图像与光学图像不匹配，则确定3D相机和2D相机中的一个相机的故障。
另外的示例涉及传感器系统。传感器系统包括基于ToF的3D相机以及光学2D相机。另外，传感器系统包括如本文所述的用于确定故障的装置。传感器系统附加地包括用于融合3D相机的图像和2D相机的图像的装置。用于融合3D相机的图像和2D相机的图像的装置包括第一输入接口和第二输入接口，第一输入接口被配置为从3D相机接收场景的3D图像，第二输入接口被配置为从2D相机接收场景的2D光学图像。附加地，用于融合3D相机的图像和2D相机的图像的装置包括处理电路，处理电路被配置为将3D图像和2D光学图像融合为场景的组合图像。
又另外的示例涉及用于确定故障的另一个装置。该装置包括用于从基于ToF的3D相机接收场景的1D或2D亮度图像的设备。亮度图像包括一个或多个像素，该一个或多个像素表示由3D相机的图像传感器接收的背景光的强度。装置还包括用于从光学2D相机接收场景的2D光学图像的设备。附加地，装置包括用于将亮度图像与光学图像进行比较的设备。另外，装置包括用于在亮度图像与光学图像不匹配时确定3D相机和2D相机中的一个相机的故障的设备。
示例涉及一种非暂时性机器可读介质，该非暂时性机器可读介质上存储有程序，该程序具有程序代码，当程序在处理器或可编程硬件上执行时，该程序代码用于执行本文所述的确定故障的方法。
其它示例涉及具有程序代码的程序，当程序在处理器或可编程硬件上执行时，该程序代码用于执行本文所述的用于确定故障的方法。
根据提出的概念的示例可以允许检测和控制ToF系统或光学相机的光到电信号转换中的随机硬件故障。
说明书和附图仅示出了本公开的原理。此外，本文中列举的所有示例主要明确地旨在仅用于说明目的，以帮助读者理解本公开的原理和(多个)发明人为进一步发展本领域所贡献的概念。本文中引用本公开的原理、方面和示例以及其特定示例的所有陈述旨在涵盖其等同形式。
例如，框图可以示出实现本公开的原理的高级电路图。类似地，无论是否明确地显示此类计算机或处理器，流程表、流程图、状态转移图、伪代码等可以表示各种过程、操作或步骤，其例如可以基本上在计算机可读介质中表示并且因此由计算机或处理器执行。说明书或权利要求中公开的方法可以由具有用于执行这些方法的相应的动作中的每一个动作的设备的器件来实现。
应当理解，说明书或权利要求中公开的多个动作、过程、操作、步骤或功能的公开可能不被解释为在特定顺序内，除非出于技术原因而明确地或隐含地指出。因此，多个动作或功能的公开将不会将它们限于特定的顺序，除非由于技术原因这些动作或功能不可互换。此外，在某些示例中，单个动作、功能、过程、操作或步骤可能包含或可能分别地被分为多个子动作、子功能、子过程、子操作或子步骤。除非明确排除，否则此类子动作可以被包括在内，并且是该单个动作的公开的一部分。
此外，以下权利要求据此被并入到详细描述中，其中每个权利要求可以独立地作为单独的示例。尽管每一个权利要求可以单独作为一个单独的示例，但应注意的是——尽管从属权利要求在权利要求中可以指与一个或多个其它权利要求的特定组合，但其它示例还可以包括从属权利要求与每个其他的从属或独立的权利要求的主题的组合。除非指出不旨在指特定的组合，否则本文明确提出了这样的组合。此外，旨在将权利要求的特征也包括到任何其它独立权利要求中，即使该权利要求没有直接地依赖于该独立权利要求。

Claims (13)

1.一种用于确定故障的方法(100)，所述方法包括：
从基于飞行时间的3D相机接收(102)场景的1D或2D亮度图像，其中所述亮度图像包括一个或多个像素，所述一个或多个像素表示由所述3D相机的图像传感器接收的背景光的强度；
从光学2D相机接收(104)所述场景的2D光学图像；
将所述亮度图像与所述光学图像进行比较(106)；以及
如果所述亮度图像与所述光学图像不匹配，则确定(108)所述3D相机和所述2D相机中的一个相机的故障。
2.根据权利要求1所述的方法，其中所述图像传感器是单个光敏元件或光敏元件的1D像素阵列，并且其中所述场景的所述亮度图像是1D。
3.根据权利要求1所述的方法，其中所述图像传感器是光敏元件的2D像素阵列，并且其中所述场景的所述亮度图像是2D。
4.根据权利要求1至3中任一项所述的方法，其中所述光学图像的分辨率高于所述亮度图像的分辨率。
5.根据权利要求1至4中任一项所述的方法，其中所述图像传感器包括至少一个光敏元件，并且其中所述方法还包括：
测量所述至少一个光敏元件的DC电流，以获取针对所述至少一个光敏元件的所述DC电流的至少一个测量值；以及
基于所述至少一个测量值生成所述亮度图像。
6.根据权利要求1至4中任一项所述的方法，其中所述图像传感器包括至少一个光敏元件，并且其中所述方法还包括：
测量所述至少一个光敏元件的电压，以获取针对所述至少一个光敏元件的所述电压的至少一个测量值；以及
基于所述至少一个测量值生成所述亮度图像。
7.根据权利要求5或权利要求6所述的方法，其中所述至少一个测量值是模拟测量值，其中所述方法还包括基于所述至少一个模拟测量值生成至少一个数字测量值，并且其中所述亮度图像基于所述至少一个数字测量值而被生成。
8.根据权利要求1至7中任一项所述的方法，其中考虑到以下特性中的至少一个特性来执行将所述亮度图像与所述光学图像进行比较(106)：所述亮度图像与所述光学图像的不同分辨率、所述2D相机与所述3D相机的预期视场、以及所述2D相机与所述3D相机相对于彼此的预期对准。
9.根据权利要求1至8中任一项所述的方法，其中将所述亮度图像与所述光学图像进行比较(106)包括：
选择所述亮度图像的第一区域和所述光学图像的第二区域，其中假设所述第一区域和所述第二区域描绘所述场景的相同部分；
确定所述第一区域的第一亮度；
确定所述第二区域的第二亮度；
比较所述第一亮度与所述第二亮度；以及
如果所述第一亮度与所述第二亮度不对应，则确定所述亮度图像与所述光学图像不匹配。
10.根据权利要求9所述的方法，其中所述第二区域包括比所述第一区域更多的像素。
11.根据权利要求1至10中的任一项所述的方法，还包括如果所述3D相机和所述2D相机中的一个相机的故障被确定，则输出指示所述3D相机和所述2D相机中的一个相机的故障的错误信号。
12.一种用于确定故障的装置(640)，所述装置包括：
第一输入接口(641)，被配置为从基于飞行时间的3D相机(610)接收场景的1D或2D亮度图像，其中所述亮度图像包括一个或多个像素，所述一个或多个像素表示由所述3D相机(610)的图像传感器接收的背景光的强度；
第二输入接口(643)，被配置为从光学2D相机(620)接收所述场景的2D光学图像；以及
处理电路(642)，被配置为：
将所述亮度图像与所述光学图像进行比较；以及
如果所述亮度图像与所述光学图像不匹配，则确定所述3D相机(610)和所述2D相机(620)中的一个相机的故障。
13.一种传感器系统(600)，包括：
基于飞行时间的3D相机(610)；
光学2D相机(620)；
根据权利要求12所述的用于确定故障的装置(640)；以及
用于融合所述3D相机(610)的图像和所述2D相机(620)的图像的装置(650)，所述装置(650)包括：
第一输入接口(651)，被配置为从所述3D相机(610)接收所述场景的3D图像；
第二输入接口(653)，被配置为从所述2D相机(620)接收所述场景的2D光学图像；以及
处理电路(652)，被配置为将所述3D图像和所述2D光学图像融合为所述场景的组合图像。
CN202010781695.7A 2019-08-07 2020-08-06 确定故障的方法和装置以及传感器系统 Pending CN112351270A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019121340.1A DE102019121340A1 (de) 2019-08-07 2019-08-07 Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem
DE102019121340.1 2019-08-07

Publications (1)

Publication Number Publication Date
CN112351270A true CN112351270A (zh) 2021-02-09

Family

ID=74188191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781695.7A Pending CN112351270A (zh) 2019-08-07 2020-08-06 确定故障的方法和装置以及传感器系统

Country Status (3)

Country Link
US (1) US11662443B2 (zh)
CN (1) CN112351270A (zh)
DE (1) DE102019121340A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
DE102020130481A1 (de) 2020-11-18 2022-05-19 Daimler Ag Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
WO2023100598A1 (ja) * 2021-12-02 2023-06-08 株式会社デンソー 異常判定装置、異常判定方法、及び異常判定プログラム
CN114966631A (zh) * 2022-05-19 2022-08-30 安徽蔚来智驾科技有限公司 车载激光雷达的故障诊断及处理方法、装置、介质及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068864A1 (de) * 2003-01-24 2004-08-12 Robert Bosch Gmbh Verfahren und eine vorrichtung zur einstellung eines bildsensorsystems
JP2014070936A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
CN105245869A (zh) * 2014-07-02 2016-01-13 株式会社电装 故障检测设备及故障检测程序
US20160112696A1 (en) * 2014-10-21 2016-04-21 Infineon Technologies Ag Imaging apparatuses and a time of flight imaging method
US20160119617A1 (en) * 2014-10-23 2016-04-28 Texas Instruments Incorporated Fault detection and method of detecting faults in digital imaging systems
US20170208234A1 (en) * 2014-07-17 2017-07-20 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
US20180059225A1 (en) * 2015-04-30 2018-03-01 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
CN108028895A (zh) * 2015-12-16 2018-05-11 谷歌有限责任公司 有缺陷的图像传感器元件的校准
US20190011541A1 (en) * 2016-09-25 2019-01-10 James Thomas O'Keeffe Lidar with malfunction detection
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
CN109861757A (zh) * 2019-03-26 2019-06-07 Oppo广东移动通信有限公司 控制方法、飞行时间组件、电子装置及可读存储介质
CN109905175A (zh) * 2019-03-26 2019-06-18 Oppo广东移动通信有限公司 飞行时间组件的控制系统和终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135502B2 (en) * 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image
JP6404985B1 (ja) 2017-04-07 2018-10-17 ファナック株式会社 距離画像の異常を検出する撮像装置
JP6950558B2 (ja) * 2018-02-15 2021-10-13 株式会社デンソー 距離測定装置
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068864A1 (de) * 2003-01-24 2004-08-12 Robert Bosch Gmbh Verfahren und eine vorrichtung zur einstellung eines bildsensorsystems
JP2014070936A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
CN105245869A (zh) * 2014-07-02 2016-01-13 株式会社电装 故障检测设备及故障检测程序
US20170208234A1 (en) * 2014-07-17 2017-07-20 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
US20160112696A1 (en) * 2014-10-21 2016-04-21 Infineon Technologies Ag Imaging apparatuses and a time of flight imaging method
US20160119617A1 (en) * 2014-10-23 2016-04-28 Texas Instruments Incorporated Fault detection and method of detecting faults in digital imaging systems
US20180059225A1 (en) * 2015-04-30 2018-03-01 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
CN108028895A (zh) * 2015-12-16 2018-05-11 谷歌有限责任公司 有缺陷的图像传感器元件的校准
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
US20190011541A1 (en) * 2016-09-25 2019-01-10 James Thomas O'Keeffe Lidar with malfunction detection
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
CN109861757A (zh) * 2019-03-26 2019-06-07 Oppo广东移动通信有限公司 控制方法、飞行时间组件、电子装置及可读存储介质
CN109905175A (zh) * 2019-03-26 2019-06-18 Oppo广东移动通信有限公司 飞行时间组件的控制系统和终端

Also Published As

Publication number Publication date
DE102019121340A1 (de) 2021-02-11
US20210041539A1 (en) 2021-02-11
US11662443B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
EP3365700B1 (en) System and method for determining a distance to an object
US10209362B2 (en) Detecting, tracking, and decoding pulse repetition frequency laser energy from laser designators
KR102494430B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
US10511789B2 (en) Infrared imaging device, control method thereof, and vehicle
KR102451010B1 (ko) 물체까지의 거리를 결정하기 위한 시스템
KR20200075014A (ko) 잡음 적응형 솔리드-스테이트 lidar 시스템
US10852400B2 (en) System for determining a distance to an object
EP3625589A1 (en) System and method for determining a distance to an object
JP4802891B2 (ja) 距離測定システム及び距離測定方法
US20210311193A1 (en) Lidar sensor for optically detecting a field of vision, working device or vehicle including a lidar sensor, and method for optically detecting a field of vision
JP5879990B2 (ja) 付着物検出装置及び付着物検出方法
CN112887628B (zh) 光探测和测距设备及增加其动态范围的方法
CN112887627B (zh) 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
US20230022201A1 (en) Aperture Health Monitoring Mode
US20210208277A1 (en) Real-time denoise and saturation removal of 3d lidar data
WO2024013142A1 (en) Image capture device with wavelength separation device
CN113132581A (zh) 成像方法、成像装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination