-
Die Erfindung betrifft ein Verfahren zum Ermitteln von überbelichteten Messpunkten eines Detektors eines LIDAR-Sensors, ein Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.
-
Stand der Technik
-
Im Bereich der automatisierten Fahrassistenzfunktionen und Fahrfunktionen werden unterschiedliche Sensoren eingesetzt, um das Fahrzeugumfeld messtechnisch zu erfassen. Dabei werden oftmals LIDAR-Sensoren eingesetzt, die mittels Lichtstrahlen das Fahrzeugumfeld abtasten und eine dreidimensionale Punktwolke anhand der reflektierten oder rückgestreuten Strahlen erzeugen. Das Fahrzeugumfeld wird somit durch eine dreidimensionale Punktwolke repräsentiert.
-
Es sind bereits unterschiedliche LIDAR-Sensoren, wie beispielsweise Flash-LIDAR oder scannende LIDAR-Sensoren, bekannt. Problematisch an den bekannten LIDAR-Sensoren ist das üblicherweise Auftreten von einem Übersprechen bzw. sogenanntem Cross-Talk-Effekt, der durch Empfangen von leistungsstarken Reflektionen verursacht wird. Derartige Reflektionen finden beispielsweise an retroreflektiven Oberflächen und Spiegeln statt und führen zu einem Überbelichten von Bereichen des Detektors des LIDAR-Sensors.
-
Durch das lokale Überbelichten von Detektorpixeln entsteht ein Übersprechen auf die benachbarten Detektorpixel, die als Folge in der Auswertung zusätzlicher Reflektionen resultieren, die real nicht vorhanden sind. Durch dieses Übersprechen werden Objekte im Abtastbereich des LIDAR-Sensors beispielsweise mit vergrößerten Abmessungen registriert, wodurch eine präzise Nutzung der Messdaten des LIDAR-Sensors nicht möglich ist. Hierdurch kann die Nutzung von automatisierten Fahrfunktionen, insbesondere durch fehlerhafte Objekterkennungen, beeinträchtigt werden.
-
Offenbarung der Erfindung
-
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren zum Beseitigen oder Vermindern von Cross-Talk-Effekten bei LIDAR-Sensoren vorzuschlagen.
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum Ermitteln von überbelichteten Messpunkten eines Detektors eines LIDAR-Sensors bereitgestellt.
-
Ein Messpunkt kann hierbei als ein Messwert eines Detektorpixels oder als ein Messwert oder mehrere Messwerte einer Gruppe von Detektorpixeln ausgestaltet sein. Dabei kann der Messpunkt durch einen oder mehrere aus dem Abtastbereich rückgestreute und/oder reflektierte Strahlen erzeugt werden. Der Messwert kann als ein analoges oder digitales Signal geformt sein, welches direkt oder über einen Zeitraum oder einen Detektorpixelbereich gemittelt ausgestaltet ist.
-
Bei einem Schritt des Verfahrens werden aus einem Abtastbereich rückgestreute und/oder reflektierte Reflektionen, beispielsweise in Form von einer Punktwolke mit einer Vielzahl von Messpunkten oder in Form von Einzelpunkten, empfangen. Anschließend wird mindestens ein überbelichteter Messpunkt basierend auf einer optisch-elektronischen Charakteristik und basierend auf einer geometrischen Charakteristik und/oder basierend auf einer Lokalisierungscharakteristik ermittelt.
-
Durch das Verfahren können unterschiedliche Erkennungsansätze zum Detektieren von Blooming-Effekten und des daraus resultierenden Übersprechens angewandt werden. Der mindestens eine überbelichtete Messpunkt kann hierbei als ein Pixel oder als eine Gruppe von Pixeln des Detektors definiert sein, die durch empfangene Strahlen mit einer derart hohen Intensität bzw. Strahlungsleistung belichtet werden, dass ein Übersprechen auf benachbarte Pixel des Detektors des LIDAR-Sensors entsteht. Die benachbarten Pixel des Detektors bzw. die Detektorpixel werden somit ebenfalls belichtet, obwohl diese keinerlei Strahlen aus dem Abtastbereich empfangen haben.
-
Die empfangenen Strahlen können hierbei an retroreflektiven oder hochreflektiven Oberflächen, wie beispielsweise Verkehrsschildern, Nummernschildern, Reflektoren an Verkehrsteilnehmern, Reflektoren an einer Verkehrsinfrastruktur, reflektierenden Bereich von Fußgängern oder Tieren und dergleichen, zu dem LIDAR-Sensor reflektiert und/oder rückgestreut werden.
-
Des Weiteren können auch andere glatte Oberflächen, wie Fahrzeuglacke oder Gebäudeverglasung, zu einem Überbelichten und einem Übersprechen des Detektors führen.
-
Durch das Auswerten der optisch-elektronischen Charakteristik der Messpunkte können beispielsweise die Intensitätsunterschiede zwischen den unterschiedlichen Detektorpixeln zum Auffinden von untypischen oder auffälligen Messdaten herangezogen werden.
-
Bei der Berücksichtigung der geometrischen Charakteristik und/oder der Lokalisierungscharakteristik der empfangenen Messdaten können beispielsweise die Einstrahlrichtungen von empfangenen Strahlen, Objekteigenschaften, an welchen die empfangenen Strahlen reflektiert werden, und dergleichen ermittelt und zur Feststellung von überbelichteten Messpunkten genutzt werden.
-
Durch das Detektieren von überbelichteten Messpunkten können in einem weiteren Schritt Maßnahmen ergriffen werden, die die überbelichteten Messpunkte kompensieren, löschen oder als ignorieren. Somit können Cross-Talk-Effekte bei LIDAR-Sensoren minimiert oder beseitigt werden.
-
Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen. Das Steuergerät kann beispielsweise ein sensorseitiges Steuergerät oder ein sensorexternes Steuergerät sein. Dabei kann das Steuergerät mindestens einen Speicher aufweisen oder auf einen Speicher zugreifen, welcher zum zumindest zeitweisen Speichern der Messpunkte in Form von Messdaten dient.
-
Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
-
Bei einem Ausführungsbeispiel wird der mindestens eine basierend auf der optisch-elektronischen Charakteristik ermittelte, überbelichtete Messpunkt durch ein Übersteigen eines Grenzwerts einer Intensität des Messpunkts, durch ein Unterschreiten von einem Grenzwert durch eine Pulsbreite und/oder durch ein Berechnen eines Quotienten aus der Intensität des Messpunkts und einer Pulsbreite des Messpunkts ermittelt. Die überbelichteten Messpunkte bzw. Messdaten werden somit durch Identifizieren von Intensitätsveränderungen ermittelt. Beispielsweise können empfangene Strahlen bzw. Messpunkte ausgewählt werden, deren Intensitätswerte über einem bestimmten Schwellenwert liegen.
-
Je nach Art des eingesetzten Detektors im LIDAR-Sensor kann die Verwendung des Verhältnisses zwischen Intensität und Pulsbreite vorteilhaft sein.
-
Bei einigen Detektoren kann es vorteilhaft sein, zusätzlich zu prüfen, ob einem Echo ein Nachimpulsecho folgt oder ob die Pulsbreite klein genug ist, um den oben genannten Quotienten zu berechnen, der eine vordefinierte Schelle überschreitet und somit auf einen überbelichteten Messpunkt hindeutet.
-
Nach einer weiteren Ausführungsform wird zum Ermitteln des mindestens einen überbelichteten Messpunkts basierend auf der geometrischen Charakteristik und/oder der Lokalisierungscharakteristik eine Flächennormale des mindestens einen Messpunkts berechnet und ein Vergleich zwischen der mindestens einen Flächennormale und einer Abtastrichtung des LIDAR-Sensors durchgeführt. Hierdurch werden diejenigen Messpunkte als überbelichtete Messpunkte ausgewählt, die geometrische und örtliche Merkmale von retroreflektiven Oberflächen aufweisen.
-
Dieser Schritt ist insbesondere wegen dem Messrauschen besonders vorteilhaft, da die optisch-elektronische Charakteristik der Messpunkte Ausreißer aufweisen kann. Somit ist nicht jeder Messpunkt, der basierend auf der optisch-elektronischen Charakteristik als überbelichtet indiziert wird, tatschlich überbelichtet bzw. resultiert im Blooming.
-
Gemäß einem weiteren Ausführungsbeispiel wird mindestens eine Winkeldifferenz zwischen der mindestens einen Flächennormalen und der Abtastrichtung des LIDAR-Sensors berechnet, wobei bei einem Unterschreiten eines Grenzwerts durch die Winkeldifferenz eines Messpunkts, der Messpunkt als ein überbelichteter Messpunkt indiziert wird. Somit werden basierend auf der geometrischen Charakteristik und/oder der Lokalisierungscharakteristik alternativ oder zusätzlich Messpunkte gesucht, deren Ausrichtung dem LIDAR-Sensor zugewandt ist. Hierfür kann die 3D-Richtung der Oberflächennormalen der rückgestreuten bzw. empfangenen Strahlen ermittelt werden, um die relative Ausrichtung zu prüfen. Nur wenn die Oberflächennormale im Wesentlichen horizontal zur XY-Ebene und damit auch den LIDAR-Sensor, ausgerichtet ist und auch der Winkelunterschied zwischen der Oberflächennormalen und der „Blickrichtung“ des LIDAR-Sensors auf die Oberflächennormale ausreichend gering ist, werden diese potenziellen Echos bzw. die resultierenden Messpunkte als eindeutige überbelichtete Messpunkte ausgewählt.
-
Nach einer weiteren Ausführungsform werden mehrere überbelichtete Messpunkte zu einem Cluster zusammengefasst, wenn die überbelichteten Messpunkte innerhalb eines Abstands zueinander detektiert werden. Somit können Gruppen aus überbelichteten Messpunkten generiert werden, die in bestimmten Bereichen des Detektors registriert wurden. Zum Erstellen von Clustern können unterschiedliche Cluster-Algorithmen, wie beispielsweise k-means-Algorithmus oder EM-Algorithmus, eingesetzt werden.
-
Der Abstand zwischen den Messpunkten kann als ein Radius, eine Pixel-Anzahl von Detektorpixeln des Detektors, eine Reihe des Detektors, eine Spalte des Detektors und dergleichen ausgestaltet sein.
-
Durch das Clustern von mehreren überbelichteten Messpunkten können die durch Blooming beeinträchtigten Bereiche des Detektors ermittelt werden.
-
Gemäß einem weiteren Ausführungsbeispiel spannen die zu einem Cluster zusammengefassten, überbelichteten Messpunkte eine Fläche auf. Bevorzugterweise werden die in der Fläche angeordneten Messpunkte als überbelichtete Messpunkte oder als falschpositive Messpunkte ermittelt. Die falschpositiven Messpunkte werden hierbei als Folge der überbelichteten Messpunkte erzeugt. Dabei können insbesondere auch Messpunkte, die basierend auf der optisch-elektronischen Charakteristik als überbelichtete Messpunkte ermittelt wurden, einem Cluster zugeordnet werden. Hierdurch kann basierend auf den überbelichteten Messpunkten ein überbelichteter Bereich, der in einem Blooming des Detektors resultiert, rekonstruiert werden.
-
Nach einer weiteren Ausführungsform werden die den überbelichteten Messpunkten benachbarten Messpunkte ebenfalls als überbelichtete Messpunkte ermittelt, wenn die benachbarten Messpunkte in einem vordefinierten Radius um mindestens einen überbelichteten Messpunkt angeordnet sind. Die den überbelichteten Messpunkten benachbarten Messpunkte müssen vorzugsweise bestimmte Bedingungen erfüllen, um als „überbelichtet“ zu gelten. Dabei sollte der Abstand der Messpunkte zueinander unterhalb eines Grenzwerts liegen. Darüber hinaus kann die optisch-elektronische Charakteristik einen Cross-Talk-Effekt zumindest andeuten. Hierzu können die Intensitätswerte unauffällig bzw. nicht zu hoch sein, wobei die Intensitätswerte, je nach LIDAR-Sensor, mit einem zunehmenden Winkel wischen der Abtastrichtung des LIDAR-Sensors und den empfangenen Strahlen abnehmen können.
-
Bei einem weiteren Ausführungsbeispiel werden die den überbelichteten Messpunkten benachbarten Messpunkte gemeinsam mit den überbelichteten Messpunkten zu mindestens einem Cluster zusammengefasst. Beispielsweise können hierdurch Randabschnitte von retroreflektiven Oberflächen, wie Schildern, bei der Erstellung des Clusters berücksichtigt werden. Derartige Randabschnitte weisen üblicherweise ein deutliches Rauschen auf und können üblicherweise nicht zugeordnet werden. Durch das Verfahren können diese Randbereiche technisch einfach berücksichtigt und dem Cluster zugeordnet werden.
-
Nach einer weiteren Ausführungsform wird das mindestens eine Cluster durch Aufnehmen von benachbarten Messpunkten in einer Fläche oder einem Volumen vergrößert, wenn die benachbarten Messpunkte innerhalb eines vordefinierten Abstands zum Cluster angeordnet sind und/oder eine optisch-elektronische Charakteristik für überbelichtete Messpunkte aufweisen. Der vordefinierte Abstand zu den benachbarten Messpunkten kann hierbei im dreidimensionalen Abtastraum oder im Pixelraum der Messdaten berücksichtigt werden. Die optisch-elektronische Charakteristik kann vorzugsweise als eine Intensität der Messpunkte ausgestaltet sein, die bei zunehmenden Abtastrichtungen oder Steigungen abnimmt oder generell gering ist.
-
Gemäß einem weiteren Ausführungsbeispiel werden die ermittelten überbelichteten Messpunkte des Detektors des LIDAR-Sensors gelöscht oder markiert. Hierdurch können die überbelichteten Messpunkte oder Cluster mit den überbelichteten Messpunkten bei einer weiteren Verarbeitung der Messdaten ignoriert oder deren Auswirkungen kompensiert werden. Dabei können die überbelichteten Messpunkte und die falschpositiven Messpunkte bei der Weiterverarbeitung der Messdaten anders berücksichtigt werden oder unberücksichtigt bleiben.
-
Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
- 1 eine dreidimensionale Punktwolke aus Messpunkten, die eine Straße repräsentieren,
- 2 ein schematisches Ablaufdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform und
- 3 eine schematische Darstellung auf einen LIDAR-Sensor mit einer ermittelten Punktwolke zum Veranschaulichen der Berechnung von Normalvektoren.
-
In der 1 ist eine dreidimensionale Punktwolke 2 aus Messpunkten 4 dargestellt, die eine Straße 6 mit einer Schilderbrücke 8 repräsentieren. Die Punktwolke 2 wurde durch einen LIDAR-Sensor 1 ermittelt.
-
In der Punktwolke 2 können auch ein Heckabschnitt eines vorausfahrenden Fahrzeugs 10 und am Fahrbahnrand angeordnete Leitpfosten 12 identifiziert werden. Die Schilderbrücke 8 und die Leitpfosten 12 sind mit einer retroreflektiven Beschichtung versehen und erzeugen besonders intensive bzw. leistungsstarke Reflektionen, die vom LIDAR-Sensor 1 empfangen werden. Hierdurch wird ein, nicht dargestellter, Detektor des LIDAR-Sensors 1 zumindest bereichsweise überstrahlt, wodurch ein Übersprechen des LIDAR-Sensors 1 entsteht. Die entsprechenden überbelichteten Messpunkte 5 sind im Bereich der Schilderbrücke 8 und der Leitpfosten 12 sichtbar. Durch den Cross-Talk-Effekt detektieren die benachbarten Detektorpixel ebenfalls Objekte bzw. Reflektionen, die als falschpositive Messpunkte 7 real nicht vorhanden sind. Im dargestellten Ausführungsbeispiel erscheinen die Leitpfosten 12 säulenförmig und die Schilderbrücke 8 als eine Wand aufgrund von Cross-Talk-Effekten im Detektor. Durch ein derartiges Übersprechen werden die Leitpfosten 12 und die Schilderbrücke 8 mit einer größeren Abmessung sensorisch durch den LIDAR-Sensor 1 erfasst.
-
Die 2 zeigt ein schematisches Ablaufdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens 14 gemäß einer Ausführungsform. Das Verfahren 14 dient zum Ermitteln von überbelichteten Messpunkten 5 eines Detektors eines LIDAR-Sensors 1. Entsprechend können durch das Verfahren auch die durch Cross-Talk-Effekte der überbelichteten Messpunkte 5 erzeugten falschpositiven Messpunkte 7 registriert werden.
-
Das Verfahren 14 kann durch ein Steuergerät 3 ausgeführt werden. Dabei kann das Steuergerät 3 als ein Field Programmable Gate Array (FPGA), eine Anwendungsspezifische integrierte Schaltung (ASIC), ein Mikroprozessor, ein Rechner oder als ein Hardwarebeschleuniger ausgestaltet sein.
-
Dabei können die überbelichteten Messpunkte 5 als einzelne Datenpunkte, Gruppen bzw. Cluster von Messpunkten, als Flächen, als Volumen und dergleichen ausgestaltet sein.
-
In einem ersten Schritt 16 werden sogenannte „walk“-Fehler in den Messdaten 4 der Punktwolke 2 kompensiert. Derartige Fehler entstehen in der Entfernungsmessung des LIDAR-Sensors 1 und hängen von der empfangenen Intensität der jeweiligen Messdaten 4 ab. Dabei erscheint ein Signal bzw. ein Messpunkt 4 umso näher, je höher die Intensität des empfangenen reflektierten Strahls ist, durch welchen der Messpunkt 4 generiert wurde. Die entsprechende Kompensation 16 kann beispielsweise mit Hilfe von Korrekturkurven oder Korrekturalgorithmen umgesetzt werden.
-
In einem darauffolgenden Schritt 18 erfolgt eine Auswahl der empfangenen Echos bzw. Strahlen, insbesondere der resultierenden Messpunkte 4, für die weitere Verarbeitung. Dies ist insbesondere bei LIDAR-Sensoren 1 vorteilhaft, die mehrere Strahlen in gepulster Form senden und empfangen, um unterschiedliche Messungen durchzuführen. Üblicherweise ist nur ein gepulster Strahl für die Objektdetektion relevant, wodurch die Anzahl der zu verarbeitenden Messpunkten 4 verringert werden kann. Alternativ kann je nach Ausgestaltung des LIDAR-Sensors 1 ein Signal mit der höchsten Intensität zur Generierung eines Messpunkts 4 ausgewählt werden.
-
Nach den oben genannten Optimierungsschritten erfolgt die Berechnung von Flächennormalen bzw. Normalvektoren N der jeweiligen Messpunkte 4. Die Berechnung der Normalvektoren N ist in der 3 veranschaulicht. Dabei ist die Berechnung eines Normalvektors N vereinfacht in einer Ebene gezeigt. Die parallel zu einem Schwerkraftvektor g ausgerichtete Höhenrichtung wurde der Einfachheit halber in der 3 nicht berücksichtigt. Der Schwerkraftvektor g ist entsprechend der Erdanziehung senkrecht auf einen Untergrund bzw. Boden gerichtet.
-
Es werden für jeden Messpunkt 4 der Punktwolke 2 lokale Oberflächenvektoren 9 zu benachbarten Messpunkten 11 ermittelt. Optional können einzelne unbekannte Oberflächenvektoren auch durch ein Kreuzprodukt zweiter bekannter Oberflächenvektoren 9 berechnet werden.
-
Der normierte Oberflächenvektor bzw. Normalvektor N kann durch Ausbilden eines Mittelwerts aus allen Oberflächenvektoren 9 eines Messpunktes 4 für jeden Messpunkt 4 der Punktwolke 2 berechnet werden.
-
Anschließend wird ein Vergleich zwischen der mindestens einen Flächennormale bzw. dem Normalvektor N und einer Abtastrichtung A des LIDAR-Sensors 1 durchgeführt. Dabei wird mindestens eine Winkeldifferenz D zwischen der mindestens einen Flächennormalen N und der Abtastrichtung A des LIDAR-Sensors 1 berechnet.
-
Die Abtastrichtung A entspricht bei scannenden LIDAR-Sensoren 1 einer Auslenkung der emittierten Strahlen gegenüber einer initialen Auslenkung von beispielsweise 0°. Dabei kann die Abtastrichtung A durch ein Ablenken der Strahlen oder durch ein Ablenken bzw. Schwenken des gesamten LIDAR-Sensors 1 in eine Höhenrichtung und/oder entlang einer Ebene quer zur Höhenrichtung erfolgen.
-
Bei einem Unterschreiten eines Grenzwerts durch die Winkeldifferenz D zwischen der Abtastrichtung A und dem Normalvektor N eines Messpunkts 4, wird dieser Messpunkt 4 als ein überbelichteter Messpunkt 5 indiziert. Hierdurch können überbelichtete Messpunkte 5 basierend auf einer geometrischen Charakteristik und/oder basierend auf einer Lokalisierungscharakteristik 20 ermittelt werden. Beispielsweise kann ein Messpunkt 4 als überbelichtet indiziert werden, wenn die Winkeldifferenz D zwischen dem Normalvektor N des entsprechenden Messpunkts 4 und der Abtastrichtung A zum Detektieren dieses Messpunkts 4 gering, beispielsweise weniger als 3° oder als 5°, ist. Die Bestimmung der Winkeldifferenz D ist beispielhaft in der 3 gezeigt. Dabei ist der Normalvektor N eines beispielhaften Messpunkts 4 im Bereich des LIDAR-Sensors 1 doppelt dargestellt, um eine Relation zur Abtastrichtung A und zur Winkeldifferenz D zu veranschaulichen.
-
Alternativ oder zusätzlich kann die Bestimmung von überbelichteten Messpunkten 5 basierend auf einer optisch-elektronischen Charakteristik 22 erfolgen. Hierbei können die überbelichteten Messpunkte 5 beispielsweise durch ein Übersteigen eines Grenzwerts einer Intensität des Messpunkts 4 und/oder durch ein Berechnen eines Quotienten aus der Intensität des Messpunkts 4 und einer Pulsbreite des Messpunkts 4 ermittelt werden.
-
In einem weiteren Schritt 24 werden die überbelichteten Messpunkte 5 zu einem Cluster 13 zusammengefasst. Dies kann beispielsweise durch ein Zusammenfassen von überbelichteten Messpunkten 5 innerhalb eines vordefinierten Abstands ausgehend von einem benachbarten, überbelichteten, Messpunkt 5 realisiert werden.
-
Zum Ausbilden von einem Cluster 13 kann eine Cluster-Analyse durchgeführt werden. Hierzu können bereits bekannte Algorithmen, wie beispielsweise k-means-Algorithmus oder EM-Algorithmus verwendet werden.
-
Anschließend können die durch ein Übersprechen erzeugten falschpositiven Messpunkte 7 zum im vorherigen Schritt 24 erzeugten Cluster 13 hinzugefügt 26 werden. Dieser Schritt kann ebenfalls derart durchgeführt werden, dass die den überbelichteten Messpunkten 5 benachbarten Messpunkte 4 als überbelichtete Messpunkte 5 oder als falschpositive Messpunkte 7 ermittelt werden, wenn die benachbarten Messpunkte 4 in einem vordefinierten Radius um mindestens einen überbelichteten Messpunkt 5 angeordnet sind.
-
Die überbelichteten Messpunkte 5 und die falschpositiven Messpunkte 7 des Detektors des LIDAR-Sensors 1 werden anschließend gelöscht oder für die weitere Verarbeitung 28 markiert.
