DE102022201123A1

DE102022201123A1 - Verfahren und Vorrichtung zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems sowie Computerprogramm und maschinenlesbares Speichermedium

Info

Publication number: DE102022201123A1
Application number: DE102022201123.6A
Authority: DE
Inventors: Annette Frederiksen; Mustafa Kamil
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-02-03
Filing date: 2022-02-03
Publication date: 2023-08-03
Also published as: WO2023148053A1

Abstract

Es wird ein Verfahren zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems beschrieben, welches die nachfolgenden Schritte umfasst:a) Bereitstellen einer Datenpunktwolke eines LiDAR-Systems, welche Objekte im Sichtbereich des LIDAR-Systems abbildet.b) Analysieren zumindest eines Teils der Datenpunktwolke zur Ermittlung eines Kantenmaßes mindestens eines Objektes in der Datenpunktwolke;c) In Abhängigkeit des Kantenmaßes Ermitteln einer Sichtweite des LiDAR-Systems und/oder Initiieren eines Vorgangs zur Degradationsbehebung des LiDAR-Systems.Weiterhin wird eine entsprechende Vorrichtung zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems sowie ein Computerprogramm und ein maschinenlesbares Speichermedium beschrieben.

Description

Die vorliegende Erfindung geht aus von einem Verfahren zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems gemäß dem unabhängigen Patentanspruch.
Stand der Technik
Ein LiDAR-System kann auf verschiedenen Messprinzipien basieren. Eine sehr signifikante Quelle für Leistungseinbußen bei fast allen LiDAR-Sensorprinzipien in ihren verschiedenen Anwendungsbereichen sind Störungen in ihrem Umgebungsmedium, z.B. durch atmosphärische Effekte, z.B. Wetterereignisse wie Regen, Schnee oder Nebel.
Aber auch feste Partikel, sogenannte Aerosole, z.B. Rauch oder Ruß und künstlich erzeugte nicht-feste Partikel wie Spritzer, Dämpfe oder Schneeverwehungen, die beispielsweise durch andere vor dem eigenen Fahrzeug mit dem LiDAR-System fahrende Fahrzeuge erzeugt werden. Diese natürlichen und nicht-natürlichen Effekte führen zu einer Verschlechterung der Performance eines LiDAR-Systems durch Streuung und Absorption der optischen Strahlung.
Die Wahrnehmung der Umgebung wird gestört, dabei entsteht direkter Einfluss auf sicherheitsrelevante Leistungsparameter. Für die Anwendung als einer der Hauptsensoren für automatisiertes Fahren ist die gestörte Ausbreitung des Laserlichts in der Atmosphäre ein gewichtiges Problem, das gleichzeitig in der realen Anwendung nicht vermieden werden kann.
Dies macht eine zuverlässige Erkennung und Quantifizierung eines reduzierten Sichtbereichs dringend erforderlich, um die Sicherheit und Zuverlässigkeit der automatisierten Fahrfunktion aufrechtzuerhalten. Dies kann für die Abschätzung der degradierten Sensorperformance in der aktuellen Fahrsituation und der atmosphärischen Empfindlichkeit verwendet werden, sodass eine Systemdegradation erkannt und über die Schnittstelle des LiDAR-Systems an die automatisierte Fahrfunktion und zur Behebung der Degradation (z.B. Verschmutzung oder Benetzung) an die Reinigungseinheit gemeldet werden kann.
Eine sehr einfache Reaktion auf eine reduzierte Sensorperformance ist die Reduzierung der Fahrgeschwindigkeit des Fahrzeugs oder das Verlassen der Fahrspur, um mit einem automatisierten Fahrzeug einen sicheren Zustand zu erreichen. Noch besser wäre die Aktivierung einer Reinigungseinheit, um das Abdeckfenster des LiDAR-Systems zu säubern und von optischen Störungen zu befreien.
In der Druckschrift US 2019/0258251 wird ein System beschrieben, das Fehlfunktionen eines LiDAR-Systems mittels Kantendetektion erkennt und gegebenenfalls eine Reinigung des Systems auslöst.
In der Druckschrift US 9677986 wird ein Verfahren beschrieben, um mittels eines LiDAR-Systems durch Kantendetektion Partikel in der Umgebungsluft zu detektieren.
Offenbarung der Erfindung
Vorteile der Erfindung
Offenbart wird ein Verfahren zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems mit den Merkmalen des unabhängigen Patentanspruchs.
Dabei wird eine Datenpunktwolke eines LiDAR-Systems bereitgestellt, welche Objekte im Sichtbereich des LiDAR-Systems abbildet beziehungsweise repräsentiert.
Zumindest ein Teil der Datenpunktwolke wird zur Ermittlung eines Kantenmaßes mindestens eines Objektes der Datenpunktwolke analysiert.
In Abhängigkeit des Kantenmaßes wird eine Sichtweite des LiDAR-Systems ermittelt und/oder ein Vorgang zur Degradationsbehebung gestartet. Dies kann beispielsweise bei der Überschreitung eines vordefinierten Kantenmaßgrenzwertes erfolgen.
Dies ist vorteilhaft, da das Verfahren einfach und kostengünstig auf einem LiDAR-System umsetzbar ist und nur einen geringen Rechenaufwand erfordert. Weiterhin wird durch das Verfahren in vorteilhafter Weise die sichere und zuverlässige Funktion des LiDAR-Systems sichergestellt beziehungsweise entsprechende Maßnahmen zur Degradationsbehebung ergriffen.
Weitere vorteilhafte Ausführungsformen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.
Das Verfahren kann computerimplementiert umgesetzt werden.
Zweckmäßigerweise umfasst das Analysieren des zumindest einen Teils der Datenpunktwolke den Einsatz eines Kantendetektionsalgorithmus. Hierbei kann insbesondere ein Filter, beispielsweise ein Sobel-Filter, eingesetzt werden. Dies ist vorteilhaft, um das Kantenmaß auf einfache Weise zu ermitteln.
Zweckmäßigerweise umfasst das Kantenmaß ein Kantenschärfe-zu-Häufigkeits-Histogramm, ein Kantenlängenhistogramm, eine durchschnittliche Kantenlänge, eine Kantendichte pro Raumwinkel, eine Unterbrechungsrate von real durchgängigen Kanten und/oder eine Standardabweichung der genannten Maße. Dies ist vorteilhaft, da somit eine einfache Umsetzung des Verfahrens gewährleistet ist.
Zweckmäßigerweise wird überprüft, ob das Kantenmaß einen vordefinierten Grenzwert über- oder unterschreitet. Das ist vorteilhaft, da der vordefinierte Grenzwert je nach Applikation vordefiniert werden kann und somit eine einfache Anpassung ermöglicht.
Zweckmäßigerweise wird die Analyse des zumindest einen Teils der Datenpunktwolke in drei Raumdimensionen durchgeführt. Dies ist vorteilhaft, da somit im Vergleich zu einem zweidimensionalen Bild die zusätzlichen Informationen der dritten Dimension, die durch das LiDAR-System gewonnen wird, nutzbar sind und daher eine genauere und zuverlässigere Analyse der Datenpunktwolke durchgeführt wird.
Weiterhin ist Gegenstand der Erfindung ein Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen. Somit ist ein einfacher Einsatz der Erfindung möglich und die oben genannten Vorteile werden realisiert.
Weiterhin ist Gegenstand der Erfindung ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist. Somit ist eine einfache Verbreitung des Computerprogrammes möglich und die oben genannten Vorteile können realisiert werden.
Weiterhin ist Gegenstand der Erfindung eine Vorrichtung zur Ermittlung einer Sichtweitendegradation, umfassend mindestens ein Mittel, welches eingerichtet ist, die Schritte des erfindungsgemäßen Verfahrens durchzuführen. Das mindestens eine Mittel kann beispielsweise eine elektronische Steuereinheit sein.
Zweckmäßigerweise umfasst das Mittel ein LiDAR-System. Das ist vorteilhaft, um einen einfachen Einsatz des Systems zu ermöglichen.
Figurenliste
Vorteilhafte Ausführungsformen der Erfindung sind in den Figuren dargestellt und in der nachfolgenden Beschreibung näher ausgeführt.
Es zeigen:

1 ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform;
2 eine schematische Darstellung einer realen Umgebung, auf die das erfindungsgemäße Verfahren in vorteilhafter Weise angewendet werden kann;
3 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform.

Ausführungsformen der Erfindung
Gleiche Bezugszeichen bezeichnen in allen Figuren gleiche Vorrichtungskomponenten oder gleiche Verfahrensschritte.
1 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform. In einem ersten Schritt S11 wird eine Datenpunktwolke eines LiDAR-Systems bereitgestellt, wobei die Datenpunktwolke Objekte im Sichtbereich des LiDAR-Systems abbildet.
In einem ungestörten, optisch klaren Medium beziehungsweise Atmosphäre sind die Kanten der Objekte bei dreidimensionaler Erfassung in einer Datenpunktwolke klar von ihrem Hintergrund zu unterscheiden. Die Kanten können mit Hilfe entsprechender Bildverarbeitungsalgorithmen identifiziert werden, ein Beispiel hierfür ist der Sobel-Filter.
In einer gestörten Atmosphäre, beispielsweise durch Regen, Nebel, dichten Dampf, Aerosole, Gischt, Staub, Sand, reflektieren die Partikel auch Laserlicht, wie es massive Objekte auch tun. Ihre Reflexionen werden vor allem in der direkten Umgebung des LiDAR-Systems oder der Objekte im Raum dicht sein, da die optische Strahlung an diesen Stellen konzentriert ist.
In einem zweiten Schritt S12 wird zumindest ein Teil der Datenpunktwolke zur Ermittlung eines Kantenmaßes mindestens eines Objektes in der Datenpunktwolke
Die Schärfe der abgebildeten Objektkanten wird im Falle einer gestörten und ungestörten Szene unterschiedlich sein. Je höher die atmosphärische Störung, desto geringer die Kantenschärfe der abgebildeten Objekte. Jedes Objekt im Sichtbereich des LiDAR-Systems wird dabei abhängig von der atmosphärischen Transmission in der 3D-Punktewolke mehr oder weniger gut erkennbare und gegebenenfalls unscharf abgebildete Kanten haben. Dies wiederum lässt sich mathematisch einfach unterscheiden, beispielsweise unter Einsatz eines Sobelfilters. In einer dreidimensionalen Punktwolke lässt sich das Filter vorteilhafterweise dreidimensional abbilden, sodass die Kantendetektion sowohl in der Breite als auch in der Höhe und Tiefe berechnet werden kann.
Im Ergebnis kann die Anzahl und die Schärfe der detektierten Kanten statistisch aggregiert werden, beispielsweise anhand eines Kantenschärfe-zu-Häufigkeits-Histogramms mehrerer LiDAR-Aufnahmen, das heißt mehrerer Datenpunktwolken. Dabei kann eine als scharf erkannte Marke anhand eines Schwellwertes des Kantendetektionsalgorithmus als scharf eingruppiert werden. Außerdem können die Längen der Kanten in der dreidimensionalen Punktwolke bestimmt und in einem Kantenlängenhistogramm aggregiert werden. Ein weiteres, mit der Kantenlängenzählung korreliertes Maß der atmosphärischen Störung ist die Unterbrechungsrate von real durchgängigen Kanten durch diskrete Aerosol- oder Niederschlagsarten, z.B. Staub, Regen oder Schnee. Bei homogenen Störungen, etwa Verschmutzung des Sensorabdeckfensters oder bei Nebel nimmt dagegen die Anzahl als scharf eingruppierter Kanten rapide ab. Weitere zählbare Merkmale sind aus der deskriptiven Statistik ableitbar, beispielhaft die durchschnittliche Kantenlänge oder die räumliche oder zeitliche Kantendichte pro Raumwinkel im Sichtfeld. Ebenso lässt sich ergänzend die Standardabweichung dieser Größen herangezogen werden oder auch die Standardabweichung der Kantenprofile in der dreidimensionalen Punktewolke.
In einem dritten Schritt S13 wird in Abhängigkeit des Kantenmaßes eine Sichtweite des LiDAR-Systems ermittelt und/oder ein Vorgang zur Degradationsbehebung initiiert. Wird beispielsweise in Abhängigkeit des Kantenmaßes detektiert, dass die Sichtweite des LiDAR-Systems aufgrund von Regentropfen eingeschränkt ist, kann eine Reinigung des LiDAR-Systems beziehungsweise eines Abdeckfensters des LiDAR-Systems, durch das das Laserlicht ausgesendet wird, diese Einschränkung gegebenenfalls zumindest teilweise beheben.
2 zeigt eine schematische Darstellung einer realen Umgebung, auf die das erfindungsgemäße Verfahren in vorteilhafter Weise angewendet wird. Dabei deuten die gestrichelten Linien jeweils die horizontale Achse 24 des LiDAR-Systems an. Der obere Teil der 2 zeigt jeweils eine ungestörte Szene mit zwei benachbarten Objekten 21, 22, zum Beispiel Hauswände, Autos, Masten oder dergleichen. Der untere Teil der 2 zeigt jeweils die gleiche Szene mit atmosphärischen Störungen 23, beispielsweise Regentropfen oder Nebeltröpfchen. Im unteren Teil ist mit häufig unscharf abgebildeten Kanten in einer Datenpunktwolke eines LiDAR-Systems zu rechnen.
3 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 32 gemäß einer Ausführungsform. Dabei umfasst die Vorrichtung 32 mindestens ein Mittel 34, welches eingerichtet ist, die Schritte eines erfindungsgemäßen Verfahrens auszuführen. Ein LiDAR-System 31 ermittelt die Datenpunktwolke und stellt diese der Vorrichtung 32 bereit. Die Vorrichtung 32 analysiert mindestens einen Teil der Datenpunktwolke und initiiert anschließend einen Vorgang zur Degradationsbehebung durch ein Reinigungssystem 33.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0258251 [0007]
US 9677986 [0008]

Claims

Verfahren zur Ermittlung einer Sichtweitendegradation eines LiDAR-Systems, umfassend die Schritte: a) Bereitstellen einer Datenpunktwolke eines LiDAR-Systems, welche Objekte im Sichtbereich des LIDAR-Systems abbildet. b) Analysieren zumindest eines Teils der Datenpunktwolke zur Ermittlung eines Kantenmaßes mindestens eines Objektes in der Datenpunktwolke; c) In Abhängigkeit des Kantenmaßes Ermitteln einer Sichtweite des LiDAR-Systems und/oder Initiieren eines Vorgangs zur Degradationsbehebung des LiDAR-Systems.
Verfahren gemäß dem vorhergehenden Anspruch, wobei das Analysieren in Schritt b) den Einsatz eines Kantendetektionsalgorithmus, insbesondere eines Filters, umfasst.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Kantenmaß ein Kantenschärfe-zu-Häufigkeits-Histogramm, ein Kantenlängenhistogramm, eine durchschnittliche Kantenlänge, eine Kantendichte pro Raumwinkel, eine Unterbrechungsrate von real durchgängigen Kanten und/oder eine Standardabweichung der genannten Maße umfasst.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei in Schritt c) überprüft wird, ob das Kantenmaß einen vordefinierten Grenzwert über- oder unterschreitet.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die Analyse in Schritt b) in drei Raumdimensionen durchgeführt wird.
Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach dem vorhergehenden Anspruch gespeichert ist.
Vorrichtung zur Ermittlung einer Sichtweitendegradation, umfassend mindestens ein Mittel, welches eingerichtet ist, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen.
Vorrichtung gemäß dem vorhergehenden Anspruch, wobei das Mittel ein LiDAR-System umfasst.