CN116615644A - 用于检测激光雷达视窗上的污垢的方法和装置 - Google Patents

用于检测激光雷达视窗上的污垢的方法和装置 Download PDF

Info

Publication number
CN116615644A
CN116615644A CN202180077425.0A CN202180077425A CN116615644A CN 116615644 A CN116615644 A CN 116615644A CN 202180077425 A CN202180077425 A CN 202180077425A CN 116615644 A CN116615644 A CN 116615644A
Authority
CN
China
Prior art keywords
image
window
lidar
laser beam
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077425.0A
Other languages
English (en)
Inventor
A·沙尔夫
D·彼得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of CN116615644A publication Critical patent/CN116615644A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9586—Windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种用于检测激光雷达的视窗上的污垢的方法和装置，其中‑通过激光雷达的发射器将激光束发射到检测区域中，并且‑通过激光雷达的接收器检测在检测区域中存在的光，其特征在于，‑由作为激光束发射的结果而被反射和被检测的光生成作为激光反射强度的灰度图像的强度图像，‑由在不发射激光束的情况下检测到的光生成作为背景光的灰度图像的背景光图像，‑分析强度图像和背景光图像的共同特征，并且‑在低于共同特征的预设的数量时，得出视窗上存在污垢的结论。

Description

用于检测激光雷达视窗上的污垢的方法和装置
技术领域
本发明涉及一种根据权利要求1的前序部分的用于检测激光雷达的视窗上的污垢的方法。
本发明还涉及一种根据权利要求7的前序部分的用于检测激光雷达的视窗上的污垢的装置。
背景技术
识别激光雷达的视窗上的污垢是一项挑战，特别是对于自动驾驶车辆(例如3级或以上)而言。污垢会导致传感器性能下降，从而限制所提及的系统的安全性和可用性。激光雷达是有源传感器并且具有发射器(例如一个或多个激光二极管)和接收器(例如一个或多个雪崩光电二极管，特别是单光子雪崩二极管)。
从DE 10 2017 222 618 A1中已知一种识别激光雷达系统中的污垢的方法，其包括以下步骤：
-通过发射单元将电磁辐射定向发射到激光雷达系统的周围环境中，
其中，由发射单元发射的电磁辐射通过出射窗传送到周围环境中，该出射窗至少在发射单元的发射方向上将激光雷达系统与周围环境划分开；
-通过污垢传感器检测在出射窗的表面上被散射回激光雷达系统的由发射单元发射的电磁辐射的部分，其中，污垢传感器是用于检测电磁辐射的单二极管、一维阵列检测器或二维阵列表面检测器，和
/或污垢传感器集成到接收单元中；
-通过评估污垢传感器的检测结果来确定出射窗的污垢。
发明内容
本发明的目的在于提出一种相比于现有技术有所改进的、用于检测激光雷达的视窗上的污垢的方法和装置。
根据本发明，该目的通过具有在权利要求1中指定的特征的方法和具有在权利要求7中指定的特征的装置来实现。
本发明的有利的设计方案是从属权利要求的主题。
根据本发明，提出了一种用于检测激光雷达的视窗(例如挡风玻璃)上的污垢的方法，其中，
-通过激光雷达的发射器将激光束发射到检测区域中，并且
-通过激光雷达的接收器检测在检测区域中存在的光。
根据本发明规定了，
-由作为激光束发射的结果而被反射和被检测的光生成作为激光反射强度的灰度图像的强度图像，
-由在不发射激光束的情况下检测到的光生成作为背景光的灰度图像的背景光图像，
-分析强度图像和背景光图像的共同特征，并且
-在低于共同特征的预设的数量时，得出视窗上存在污垢的结论。
由于来自传感器内部的主动照明，反射强度相对于背景光显示出对视窗污垢的不同的敏感性，从而可以评估污垢。
在一个实施方式中，激光束以脉冲形式发射。
在一个实施方式中，在发射激光束之前不久确定背景光图像。当在行驶中的机动车辆中使用该方法时，绘制背景光图像和强度图像的在时间上紧密的顺序尤其是有利的，因为在两个灰度图像中绘制了大致相同的场景。
在一个实施方式中，在强度图像和背景光图像中确定建筑物和/或车辆和/或窗户的特征。
在一个实施方式中，利用边缘检测算法在强度图像和背景光图像中识别边缘。
在一个实施方式中，基于识别出的边缘确定作为特征的边缘距离和/或边缘位置。
根据本发明的一个方面，提出了一种用于检测激光雷达的视窗上的污垢的装置，该装置包括数据处理单元，该数据处理单元与激光雷达连接并被配置成用于执行上述方法。
此外，提出了一种包括这种装置的机动车辆，特别是例如3级或以上的自动驾驶车辆。
还提出了上述方法或上述装置在机动车辆中的应用。也可以用于其他使用LiDAR进行导航的自主平台(如卡车、公共汽车或机器人)。
附图说明
下面参考附图更详细地解释本发明的实施例。
在附图中：
图1示出了在视窗干净的情况下，借助于激光雷达记录的反射的激光辐射的强度的灰度图像的示意图，
图2示出了在视窗干净的情况下，借助于激光雷达记录的背景光的灰度图像的示意图，
图3示出了在视窗上有水滴的情况下，借助于激光雷达记录的反射的激光辐射的强度的灰度图像的示意图，
图4示出了在视窗上有水滴的情况下，借助于激光雷达记录的背景光的灰度图像的示意图。
在所有附图中，相互对应的部分都用相同的附图标记标示。
具体实施方式
本发明涉及一种用于检测激光雷达的视窗(例如挡风玻璃)上的污垢的方法。激光雷达是一种有源传感器并且具有至少一个发射器(例如一个或多个激光二极管)和至少一个接收器(例如一个或多个雪崩光电二极管，特别是单光子雪崩二极管)。在根据本发明的方法中，发射器发射脉冲激光束并且接收器检测激光束由检测区域内的物体的反射。除了距离信息外，在合适的接收器中还提供附加信息、例如场景的反射强度和背景光。这些附加信息在此显示出对视窗的污垢的不同的敏感性。背景光可以例如通过在发射器不发射激光束的情况下(例如在发射激光束之前不久)由接收器记录灰度图像来确定。
图1是在视窗干净的情况下，借助于激光雷达记录的反射的激光辐射的强度的灰度图像(以下称为强度图像)的示意图。图2是在视窗干净的情况下，借助于激光雷达记录的背景光的灰度图像(以下称为背景光图像)的示意图。在两个图像中都可以视觉上识别出建筑物B、车辆V和窗户W。
因此，对于提供这些附加信息的激光雷达，借助于图像处理方法来比较强度图像和背景光图像的合适的特征、例如边缘、特别是道路标记或建筑物墙壁中的窗户的边缘。利用从图像处理领域已知的边缘检测算法可以从背景光图像和强度图像中提取边缘。现在，计算所得的两个边缘图像的边缘特征、例如边缘距离、边缘位置等，然后将其相互比较。通过该比较获得强度图像与背景光图像之间相似性的度量。如果共同特征的数量超过特定的阈值，则这些图像被解释为相似的，并得出不存在污垢的结论。
如果如图3和图4所示找到很少共同特征或没有找到共同特征，即共同特征的数量没有超过特定的阈值，则图像被解释为不相似的，并且得出存在视窗污垢的结论。
图3是在视窗上有水滴的情况下，借助于激光雷达记录的反射的激光辐射的强度的灰度图像(以下称为强度图像)的示意图。图4是在视窗上有水滴的情况下，借助于激光雷达记录的背景光的灰度图像(以下称为背景光图像)的示意图。在图4的背景光图像中可以清楚识别的建筑物B、车辆V和窗户W在图3的强度图像中很难识别或根本无法识别。
可以特定于传感器地确定阈值。该方法可以用于激光雷达的整个检测区域或者用于局部污垢检测的某个片段。
如果在激光雷达传感器的视野内只有很少或没有结构/边缘，例如在记录单色墙或天空时，所提出的污垢检测方法可能作用有限。但是，在道路交通中使用时，这种场景则是例外。传感器视野中的被认为是污垢检测所必需的特征(特别是结构和/或边缘)的最小数量可以特定于传感器地被确定。
附图标记列表
B 建筑物
V 车辆
W 窗户

Claims (10)

1.一种用于检测激光雷达的视窗上的污垢的方法，其中
-通过所述激光雷达的发射器将激光束发射到检测区域中，以及
-通过所述激光雷达的接收器检测在所述检测区域中存在的光，其特征在于，
-由作为激光束发射的结果而被反射和被检测的光生成作为激光反射强度的灰度图像的强度图像，
-由在不发射激光束的情况下检测到的光生成作为背景光的灰度图像的背景光图像，
-分析所述强度图像和所述背景光图像的共同特征，以及
-在低于共同特征的预设的数量时，得出在所述视窗上存在污垢的结论。
2.根据权利要求1所述的方法，
其特征在于，所述激光束以脉冲形式发射。
3.根据权利要求1或2所述的方法，
其特征在于，在发射所述激光束之前不久确定所述背景光图像。
4.根据前述权利要求中任一项所述的方法，
其特征在于，在所述强度图像和所述背景光图像中确定建筑物(B)和/或车辆(V)和/或窗户(W)的特征。
5.根据前述权利要求中任一项所述的方法，
其特征在于，利用边缘检测算法在所述强度图像和所述背景光图像中识别边缘。
6.根据权利要求5所述的方法，
其特征在于，基于识别出的边缘确定作为特征的边缘距离和/或边缘位置。
7.一种用于检测激光雷达的视窗上的污垢的装置，所述装置包括数据处理单元，所述数据处理单元与所述激光雷达连接并被配置成用于执行根据权利要求1至6中任一项所述的方法。
8.一种机动车辆，所述机动车辆包括根据权利要求7所述的装置。
9.根据权利要求8所述的机动车辆，所述机动车辆被配置为自动驾驶车辆。
10.根据权利要求1至6中任一项所述的方法或根据权利要求7所述的装置在机动车辆中的应用。
CN202180077425.0A 2020-11-18 2021-11-10 用于检测激光雷达视窗上的污垢的方法和装置 Pending CN116615644A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020130481.1 2020-11-18
DE102020130481.1A DE102020130481A1 (de) 2020-11-18 2020-11-18 Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
PCT/EP2021/081186 WO2022106271A1 (de) 2020-11-18 2021-11-10 Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars

Publications (1)

Publication Number Publication Date
CN116615644A true CN116615644A (zh) 2023-08-18

Family

ID=78695691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077425.0A Pending CN116615644A (zh) 2020-11-18 2021-11-10 用于检测激光雷达视窗上的污垢的方法和装置

Country Status (7)

Country Link
US (1) US20240012121A1 (zh)
EP (1) EP4248193A1 (zh)
JP (1) JP2023550392A (zh)
KR (1) KR20230086723A (zh)
CN (1) CN116615644A (zh)
DE (1) DE102020130481A1 (zh)
WO (1) WO2022106271A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833159A1 (de) 2013-07-30 2015-02-04 HILTI Aktiengesellschaft Verfahren zum Kalibrieren eines Messgerätes
JP2017181105A (ja) 2016-03-28 2017-10-05 株式会社デンソーウェーブ レーザレーダ装置
EP3428686B1 (en) * 2017-07-14 2024-03-13 Veoneer Sweden AB A vision system and method for a vehicle
DE102017222618A1 (de) 2017-12-13 2019-06-13 Robert Bosch Gmbh LiDAR-System mit integrierter Verschmutzungserkennung und entsprechendes Verfahren zur Verschmutzungserkennung
JP7074482B2 (ja) * 2018-01-17 2022-05-24 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
WO2020021914A1 (ja) * 2018-07-23 2020-01-30 パナソニックＩｐマネジメント株式会社 距離測定装置および信頼性判定方法
CN111175311B (zh) * 2018-11-13 2023-01-13 株式会社小糸制作所 传感器系统
DE102019121340A1 (de) 2019-08-07 2021-02-11 Infineon Technologies Ag Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem

Also Published As

Publication number Publication date
US20240012121A1 (en) 2024-01-11
KR20230086723A (ko) 2023-06-15
WO2022106271A1 (de) 2022-05-27
DE102020130481A1 (de) 2022-05-19
JP2023550392A (ja) 2023-12-01
EP4248193A1 (de) 2023-09-27

Similar Documents

Publication Publication Date Title
EP3396408B1 (en) Lidar and camera data fusion for automated vehicle
US8416397B2 (en) Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle
KR102122142B1 (ko) 레이저 스캐너의 기능 장애를 검출하는 방법, 레이저 스캐너 및 자동차
JP3838418B2 (ja) 車両用測距装置
US20220012505A1 (en) Object detection device
GB2491724A (en) Vehicle obstacle detection with additional horizontal radiation plane to discriminate between low and elevated obstacles
CN112193208A (zh) 车辆传感器增强
JP2021196342A (ja) 測距装置
JP3941791B2 (ja) 車両用物体認識装置及びプログラム
CN110954912A (zh) 用于光学距离测量的方法和设备
US20210055406A1 (en) Object sensing device
US11802970B2 (en) Alternating power-level scanning for time-of-flight lidar systems
US11846726B2 (en) Method and device for identifying objects detected by a LiDAR device
US20050156102A1 (en) Optical sensor arrangement
KR102654008B1 (ko) 검출 장치를 사용하여 모니터링 영역에서 적어도 입자 조성물을 캡처하는 방법 및 광학 검출 장치
CN116615644A (zh) 用于检测激光雷达视窗上的污垢的方法和装置
US11703576B2 (en) Method for operating a LIDAR sensor and LIDAR sensor wherein a time interval between two consecutive time windows of light pulses is varied stochastically
KR102202195B1 (ko) 광학 검출 기구를 위한 수신 장치, 검출 기구 및 운전자 지원 시스템
US20190179013A1 (en) Method for a lidar device for detecting a concealed object
WO2021251161A1 (ja) 測距装置
CN111164458A (zh) 确定lidar传感器的最大范围
CN113447940A (zh) 距离测量数据的检测
US20210278512A1 (en) Ascertainment of range limits for Lidar devices
CN111751831A (zh) 用于光学距离测量的方法及设备
US20230333225A1 (en) Method and device for activating a spad-based lidar sensor and surroundings detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination