-
Die vorliegende Erfindung geht aus von einem Verfahren zur Detektion von optischem Übersprechen in einem LiDAR-System sowie einer entsprechenden Vorrichtung, einem entsprechenden Computerprogramm, einem entsprechenden maschinenlesbaren Speichermedium und einem entsprechenden LiDAR-System.
-
Stand der Technik
-
Aktuelle Lidarsysteme sind üblicherweise als rotierende Macroscanner, Microscanner oder Flash-Systeme ausgeführt. Der Trend am Markt geht tendenziell in Richtung von rotierenden oder scannenden LiDAR-Systemen mit zumindest einer geflashten Teilfläche wie beispielsweise einem Linien-Flash.
-
Heutige Systeme haben oft Probleme mit dem Dynamikbereich bei unterschiedlich stark reflektierenden Objekten in unterschiedlichen Entfernungen. Dabei muss ein Lidarsystem Objekte mit besonders geringer Reflektivität in großer Entfernung als auch Retroreflektoren mit besonders hoher Reflektivität in kleiner Entfernung sicher erkennen.
-
Der sich daraus ergebende Dynamikfaktor zwischen dem dunkelsten und dem hellsten zu erkennenden Objekt beträgt bei gleicher Entfernung bis zu 2000, hinzu kommt der mit der Entfernung quadratisch skalierende (degradierende) Anteil der Signalintensität. Legt man ein Lidarsystem der funktionalen Sicherheit folgend auf die Erkennung schwachreflektierender Objekte in möglichst großer Entfernung aus, so erhöht sich die Wahrscheinlichkeit von optischer Sättigung des Detektors und streulichtinduzierten Fehldetektionen. Dies ist insbesondere bei nahen und hochreflektierenden Objekten ein signifikanter Effekt. Die Herausforderung dabei ist, das optische Design aus Sende- und Empfangsobjektiv, Lasern und Detektor so auszulegen, dass der gesamte Dynamikbereich erfasst werden kann.
-
Es könnte auf die Erkennung dunkler Objekte verzichtet werden, was in der Fahrfunktion zur Gefährdung beispielsweise dunkel gekleideter Verkehrsteilnehmer führt, oder es wird auf die Erkennung heller Objekte verzichtet, was zu massivem optischen Übersprechen, auch „Crosstalk“ genannt, sführt. Dieser Crosstalk und die damit verbundenen Fehldetektionen sind beispielsweise aufgrund von Sicherheitsanforderungen nicht akzeptiert und sollten vermieden werden.
-
In der Druckschrift
DE 10 2020 000 803 A1 wird ein Verfahren zum Erkennen von durch Übersprechen verursachten Fehldetektionen in einem Empfänger eines LIDAR-Systems beschrieben. Vorzugsweise wird ein Übersprechen bestimmt, indem ein Vertrauenswert für Detektionen an einen Pixel angrenzender Pixel anhand deren empfangener Leistung und/oder Intensität mittels eines Schwellenwerts ermittelt wird, wobei Detektionen von Pixeln ab einem bestimmten Schwellenwert als valide klassifiziert werden. Vorzugsweise wird die Klassifikation anhand eines Vergleichs einer Echoform einer Detektion eines Pixels mit einer Echoform mindestens eines angrenzenden Pixels plausibilisiert.
-
In der Druckschrift
DE 10 2020 006 072 A1 wird ein Verfahren zum Erkennen von Geisterzielen in einem Empfangssignal eines Lidar-Sensors beschrieben, welche beispielsweise durch stark reflektierende Objekte im Umfeld des Lidar-Sensors hervorgerufen werden können. Hierfür werden eine Höhe und eine Zeitdauer empfangener Laserpulse ermittelt und solche Pulse identifiziert, welche am wahrscheinlichsten auf Reflexionen von Umgebungsobjekten basieren. Tritt nun ein Geisterziel auf, so liegt dieses in einer nahezu gleichen Entfernung wie die Originaldetektion, da Laufzeitunterschiede durch Streueffekte marginal sind. Gleichzeitig führt ein weiteres Ziel in der Nähe des Geisterziels zu einer Stufe im Signal, also einer veränderten Höhe des empfangenen Pulses. Wird eine entsprechende Stufe gefunden, so wird das daraus abgeleitete Echo ausgegeben.
-
Offenbarung der Erfindung
-
Vorteile der Erfindung
-
Offenbart wird ein Verfahren zur Detektion von optischem Übersprechen in einem LiDAR-System mit den Merkmalen des unabhängigen Patentanspruchs.
-
Dabei wird mindestens eine von dem LiDAR-System aufgezeichnete Punktewolke bereitgestellt, wobei die Datenpunkte der Punktewolke jeweils mindestens eine detektierte Pulsform repräsentieren.
-
Mindestens einer der detektierten Pulsformen wird analysiert und optisches Übersprechen wird in Abhängigkeit der analysierten Pulsform detektiert.
-
Dies ist vorteilhaft, da dadurch beispielsweise eine geeignete Reaktion, etwa durch geschickte Regelung der Sendeleistung des LIDAR-Systems und/oder der Vorfilterung der Punktewolke und/oder einer geeigneten Reaktion auf der Ebene der Fahrfunktion der Nachteil eines begrenzten Dynamikbereichs des LiDAR-Systems und des dadurch entstehenden Übersprechens neutralisiert werden kann.
-
Das Verfahren kann computerimplementiert umgesetzt werden.
-
Weitere vorteilhafte Ausführungsformen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.
-
Zweckmäßigerweise wird die mindestens eine Pulsform bezüglich mindestens einer charakteristischen Eigenschaft analysiert. Diese mindestens eine Eigenschaft kann beispielsweise eine Anstiegszeit einer ansteigenden Flanke, eine Abklingdauer einer fallenden Flanke, eine Übereinstimmung mit einer Referenzpulsform, eine Pulsbreite, eine Plateaudauer an der Spitze, ein Pulsbreiten- zu Spitzenwertverhältnis, eine Monotonie der Verläufe, eine Fläche unter dem Puls und/oder ein Frequenzspektrum der Verläufe umfassen. Dies ist vorteilhaft, da sich durch eine Analyse der Pulsform beispielsweise anhand der genannten Kriterien ein optisches Übersprechen gut detektieren lässt. Weiterhin lässt sich diese Analyse einfach umsetzen, ohne dass es geänderter Hardware bedarf.
-
Zweckmäßigerweise weist das LiDAR-System einen mehrere Pixel umfassenden Detektor auf, wobei Intensitätswerte von mindestens zwei Pixeln des Detektors zusammengefasst und als Datenpunkt bereitgestellt werden. Dies hat den Vorteil, dass trotz einer möglichen Sättigung eines Detektorpixels ein aussagekräftiger Intensitätswert bereitgestellt werden kann. Dies ist insbesondere bei der Verwendung von SPAD-Detektoren relevant, da so trotz der Sättigungszeit eines einzelnen SPAD-Pixels ein aussagekräftiger Intensitätswert bereitgestellt werden kann. Bis ein gesättigter Pixel sich „erholt“ hat, kann ein benachbarter Pixel das nächste eintreffende Photon verarbeiten. Ein SPAD-Detektor umfasst hierbei mehrere Einzelphoton-Avalanche-Dioden.
-
Zweckmäßigerweise wird zum Bereitstellen der Punktewolke bei mehrfachem Emittieren von Laserlicht durch das LiDAR-System über die Zeit pro Datenpunkt ein Histogramm gebildet. Dies ist vorteilhaft, da das Histogramm bei ausreichender Anzahl von Detektionen der ursprünglichen Pulsform des Sendepfades des LiDAR-Systems ähnelt. Somit kann das Histogramm zur Analyse auf optisches Übersprechen herangezogen werden. Dies kann auch für einen zusammengefassten Datenpunkt erfolgen, wie oben beschrieben. Das ist das Prinzip der „Concurrence Detection“. Aus mehreren einzelnen Detektionen verschiedener SPADs lässt sich für ein Maktropixel über die Zeit ein Histogramm eintreffender Photonen darstellen. Dieses Histogramm ist de facto eine digitalisierte / quantisierte Abbildung der ursprünglichen Pulsform des Laserlichts.
-
Zweckmäßigerweise wird die mindestens eine detektierte Pulsform mindestens hinsichtlich einer der nachstehend genannten Eigenschaften analysiert, um optisches Übersprechen zu detektieren. Die Eigenschaft kann dabei eine Anstiegszeit einer ansteigenden Flanke, eine Abklingdauer einer fallenden Flanke, eine Übereinstimmung mit einer Referenzpulsform, eine Pulsbreite, eine Plateaudauer an der Spitze, ein Pulsbreiten- zu Spitzenwertverhältnis, eine Monotonie der Verläufe, eine Fläche unter dem Puls und/oder ein Frequenzspektrum der Verläufe umfassen. Dies ist vorteilhaft, da sich durch eine Analyse der Pulsform beispielsweise anhand der genannten Kriterien ein optisches Übersprechen gut detektieren lässt. Weiterhin lässt sich diese Analyse einfach umsetzen, ohne dass es geänderter Hardware bedarf.
-
Zweckmäßigerweise erfolgt die Analyse der mindestens einen detektierten Pulsform mittels eines neuronalen Netzwerks. Dies ist vorteilhaft, um eine robuste und einfach an die Art des Detektors anpassbare Analyse zu ermöglichen. Dabei können verscheidene Verfahren zum Einsatz kommen. Es können beispielsweise gesättigte Pixel über ein synchronisiertes Kamerabild voridentifiziert werden oder das neuronale Netz kann im Labor mit Referenz-Retroreflektoren kalibriert werden oder mit Hilfe von Nachbarpunktinformationen und dem zeitlichen Intensitätsverlauf, sodass Muster mit Hilfe von künstlicher Intelligenz wiedererkannt werden können. Die Muster ergeben sich beispielsweise aus einer bestimmten Pulsform und mit dieser Pulsform in der Vergangenheit beobachteten Kamerabildern oder Referenzaufnahmen im Labor mit sehr hellen Retroreflektoren. Kommt es in einer Messung zu einer ähnlichen empfangenen Pulsform, kann mit hoher Wahrscheinlichkeit auf eine Sättigung beziehungsweise Verzerrung des Pulses und damit auf eine Fehldetektion geschlossen werden.
-
Weiterhin ist Gegenstand der Erfindugn eine vorrichtung zur Detektion von optimschem Übersprechen in einem LiDAR-System, welche ein Mittel umfasst, das eingerichtet ist, das erfindungsgemäße Verfahren auszuführen. Dies ist vorteilhaft, da somit die genannten Vorteile realisiert werden.
-
Weiterhin ist Gegenstand der Erfindung ein Computerprogramm zur Detektion von optimschem Übersprechen in einem LiDAR-System, welche ein Mittel umfasst, das eingerichtet ist, das erfindungsgemäße Verfahren auszuführen. Dies ist vorteilhaft, da somit die genannten Vorteile realisiert werden.
-
Weiterhin ist Gegenstand der Erfindung ein maschinenlesbares Speichermedium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist. Dies ist vorteilhaft, da somit die genannten Vorteile realisiert werden.
-
Weiterhin ist Gegenstand der Erfindung ein LiDAR-System, welches die erfindungsgemäße Vorrichtung umfasst. Dies ist vorteilhaft, da somit die genannten Vorteile realisiert werden.
-
Figurenliste
-
Vorteilhafte Ausführungsformen der Erfindung sind in den Figuren dargestellt und in der nachfolgenden Beschreibung näher ausgeführt.
-
Es zeigen:
- 1 ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer ersten Ausführungform;
- 2 ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer zweiten Ausführungsform;
- 3 ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer dritten Ausführungsform;
- 4 eine schematische Darstellung eines Laserpulses samt einiger Eigenschaften; und
- 5 eine schematische Darstellung eines Lidarsystems gemäß einer Ausführungsform.
-
Ausführungsformen der Erfindung
-
Gleiche Bezugszeichen bezeichnen in allen Figuren gleiche Vorrichtungskomponenten oder gleiche Verfahrensschritte.
-
1 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens gemäß einer ersten Ausführungsform. In einem ersten Schritt S11 des Verfahrens zur Detektion von optischem Übersprechen in einem LiDAR-System werden von dem LiDAR-System aufgezeichnete Punktewolken bereitgestellt. Dabei repräsentieren die Datenpunkte der Punktewolken jeweils eine detektierte Pulsform. Die Pulsform resultiert dabei von einem an einem Objekt reflektierten Lichtstrahl, welchen das LiDAR-System ausgesandt und wieder empfangen hat.
-
In einem zweiten Schritt S12 wird mindestens eine der detektierten Pulsformen der Datenpunkte der Punktewolken analysiert. Dies kann beispielsweise mittels eines neuronalen Netzwerks erfolgen.
-
In einem dritten Schritt S13 wird in Abhängigkeit der analysierten Pulsform optisches Übersprechen detektiert.
-
2 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zur Detektion von optischem Übersprechen in einem LiDAR-System gemäß einer zweiten Ausführungsform. Dabei weist das LiDAR-System einen eine Vielzahl an Pixel umfassenden Detektor auf.
-
In einem ersten Schritt S21 werden jeweils die Intensitätswerte von mindestens zwei Pixeln des Detektors zusammengefasst und jeweils als Datenpunkt bereitgestellt. Dies kann beispielsweise mittels einer Mittelwertbildung erfolgen. Dies ist insbesondere vorteilhaft, wenn SPAD-Detektoren eingesetzt werden und so trotz Sättigungszeit eines einzelnen SPAD-Pixels nach einem Photoneneinfall noch ein sinnvoller Intensitätswert erzeugt werden, beispielsweise in Form eines Detektionshistogrammes.
-
In einem zweiten Schritt S22 werden die Datenpunkte als Punktewolken bereitgestellt, um beispielsweise weiterverarbeitet zu werden.
-
In einem dritten Schritt S23 werden die Pulsformen der Datenpunkte der Punktewolken analysiert. Dazu werden die Verläufe der Pulsformen bezüglich mindestens einer charakteristischen Eigenschaft analysiert. Dazu kann beispielsweise eine Pulsform des von dem LiDAR-System emittierten Laserlichts nachgebildet werden, beispielsweise mittels eines Kurvenfits oder einer Hüllkurve, um eine analytische Form für die Pulsform zu erhalten, siehe auch 4. Die Pulsform wird anschließend hinsichtlich mindestens einer der nachfolgenden Eigenschaften analysiert:
- Anstiegszeit einer ansteigenden Flanke, Abklingdauer einer fallenden Flanke, Übereinstimmung mit einer Referenzpulsform, Pulsbreite, Plateaudauer an der Spitze, Pulsbreiten- zu Spitzenwertverhältnis, Monotonie, Fläche unter dem Puls, Frequenzspektrum.
-
In einem vierten Schritt S24 wird in Abhängigkeit der durchgeführten Analyse optisches Übersprechen detektiert. Beispielsweise kann bei Unterschreiten eines Grenzwertes für die Anstiegszeit der ansteigenden Flanke der Pulsform, somit einem steilen Flankenanstieg, optisches Übersprechen detektiert werden. Dies kann beispielsweise auch mit weiteren analysierten Eigenschaften kombiniert werden, beispielsweise der Plateaudauer an der Spitze beziehungsweise falls diese Plateaudauer an der Spitze einen vordefinierten Grenzwert für die Plateaudauer unterschreitet.
-
3 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zur Detektion von optischem Übersprechen gemäß einer dritten Ausführungsform.
-
In einem ersten Schritt S31 wird, wie in den vorhergehenden Abschnitten beschrieben, mindestens eine vom dem LiDAR-System aufgezeichnete Punktewolke bereitgestellt, wobei zum Bereitstellen der Punktewolke über die Zeit pro Datenpunkt ein Intensitätshistogramm gebildet wird, welches sich bei mehrfachem Emittierem von Laserlicht über die Zeit ergibt.
-
In einem zweiten Schritt S32 werden die Intensitätshistogramme analysiert. Dies kann beispielsweise anhand der durch das jeweilige Histogramm nachgebildeten Pulsform erfolgen, beispielsweise anhand der Pulsbreite, siehe auch 4.
-
In einem dritten Schritt S33 wird optisches Übersprechen detektiert in Abhängigkeit der in dem zweiten Schritt S32 durchgeführten Analyse, beispielsweise bei Überschreiten eines vordefinierten Pulsbreitengrenzwertes.
-
4 zeigt eine schematische Darstellung eines Laserpulses samt einiger Eigenschaften des Laserpulses. Auf der Ordinatenachse ist dabei die Intensität I(t) abgetragen und auf der Abszissenachse die Zeit t.
-
tC bezeichnet dabei die Plateaudauer an der Spitze und W die Pulsbreite. S und E kennzeichnen den zeitlichen Start und das Ende des Pulses. tE bezeichnet die Anstiegszeit der ansteigenden Flanke und tF die Abklingdauer der fallenden Flanke. Die Darstellung des Laserpulses kann auch aus dem angesprochenen Intensitätshistogramm gewonnen werden.
-
Beispielsweise können in jedem Makropixel (bestehend aus mehreren, einzelnen SPAD-Pixeln, wie oben ausgeführt) über die Zeit bei mehrfachem Emittieren der Sendepulse Histogramme gebildet werden, die aus dem digitalen Detektionsprinzips der SPAD-Pixel als einzelne Ereignisse über der Zeit akkumuliert werden. Das Histogramm ähnelt bei ausreichender Anzahl von Detektionen bei entsprechender Photonendichte der ursprünglichen Pulsform des Sendepfades. Insbesondere ähnelt das Histogramm bei Sättigung auch der Pulsform eines gesättigten, analogen Detektors, ist dabei aber möglicherweise etwas verzerrt oder „oben abgeschnitten“. Dies ist in 4 in dem Verlauf 42 dargestellt, wobei der Verlauf 41 den ursprünglichen Verlauf darstellt.
-
5 zeigt Figur eine schematische Darstellung eines Lidar-Systems 50 gemäß einer Ausführungsform. Dabei umfasst das LiDAR-System 50 eine Vorrichtung 53 zur Detektion von optischem Übersprechen mit einem Mittel, beispielsweise einer elektronischen Steuereinheit, das eingerichtet ist, die Schritte eines erfindungsgemäßen verfahrens auszuführen. Weiterhin umfasst das LiDAR-System 50 eine Sendeeinheit 51 zum Aussenden von Laserlicht und eine Empfangseinheit 52 zum Empfangen von Laserlicht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102020000803 A1 [0006]
- DE 102020006072 A1 [0007]
