-
Die vorliegende Erfindung betrifft eine LIDAR-Vorrichtung zum bildgebenden Erfassen eines Bereichs in der Fahrzeugumgebung eines Fahrzeugs, mit (i) einer Sendeeinheit zum Aussenden eines Laserstrahls, der den Bereich abtastet, wobei die Sendeeinheit eine Laserlichtquelle mit einer vorgegebenen Laserleistung und eine Abtasteinheit aufweist, und (ii) einer Empfangseinheit zum Empfangen von in der Fahrzeugumgebung reflektiertem Licht, wobei die Empfangseinheit einen optischen Sensor, der individuelle Pixel erzeugt, und eine Auswerteeinheit zum pixelbasierten Auswerten des Sensorsignals des optischen Sensors aufweist.
-
Die Erfindung betrifft ferner ein entsprechendes Verfahren zum Vergrößern der Erfassungsreichweite einer LIDAR-Vorrichtung und ein entsprechendes Computerprogrammprodukt (LIDAR: Light Detection and Ranging).
-
Das Dokument
DE 10 2015 100910 A1 beschreibt eine LIDAR-Vorrichtung zum bildgebenden Erfassen eines Bereichs in der Fahrzeugumgebung eines Fahrzeugs, mit (i) einer Sendeeinheit zum Aussenden eines Laserstrahls, der den Bereich abtastet, wobei die Sendeeinheit eine Laserlichtquelle mit einer vorgegebenen Laserleistung und eine Abtasteinheit aufweist, und (ii) einer Empfangseinheit zum Empfangen von in der Fahrzeugumgebung reflektiertem Licht, wobei die Empfangseinheit einen optischen Sensor, der individuelle Pixel erzeugt, und eine Auswerteeinheit zum pixelbasierten Auswerten des Sensorsignals des optischen Sensors aufweist. Der optische Sensor basiert auf mindestens einer Diode. In diesem Dokument wird die LIDAR-Vorrichtung für Kraftfahrzeuge allgemeiner als „eine Vorrichtung zum Erfassen von Objekten für ein Kraftfahrzeug“ bezeichnet.
-
LIDAR-Vorrichtungen für Kraftfahrzeuge müssen die Augensicherheits-Laserklasse 1 erfüllen, damit sie in einer offenen Umgebung eingesetzt werden können. Daher ist die Laserleistung, die sie emittieren können, begrenzt, wodurch wiederum die Erfassungsreichweite begrenzt ist. Die derzeitige Generation von LIDAR-Vorrichtungen für Kraftfahrzeuge hat eine relativ niedrige Auflösung, was eine vernünftige Leistungsbilanz der Laserenergie pro Pixel/Strahl ermöglicht. Praktische Anwendungen erfordern jedoch dringend eine Erhöhung der Auflösung von LIDAR-Vorrichtungen, insbesondere für geeignete Segmentierungs- und Klassifizierungsaufgaben. Durch die höhere Auflösung steht für jeden Pixel/Strahl viel weniger Energie zur Verfügung, wodurch das Problem der Erfassungsreichweite noch größer wird.
-
Der Erfindung liegt die Aufgabe zugrunde, Mittel zum Vergrößern der Erfassungsreichweite einer LIDAR-Vorrichtung für Kraftfahrzeuge anzugeben.
-
Die Lösung dieser Aufgabe erfolgt durch eine LIDAR-Vorrichtung, ein entsprechendes Verfahren sowie ein entsprechendes Computerprogrammprodukt mit den Merkmalen der jeweiligen unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche, der Beschreibung und der Figuren.
-
Gemäß mehreren Aspekten der erfindungsgemäßen LIDAR-Vorrichtung zum bildgebenden Erfassen eines Bereichs in der Fahrzeugumgebung eines Fahrzeugs, wobei die LIDAR-Vorrichtung die folgenden Komponenten aufweist: eine Sendeeinheit zum Aussenden eines den Bereich abtastenden Laserstrahls, wobei die Sendeeinheit eine Laserlichtquelle mit einer vorgegebenen Laserleistung und eine Abtasteinheit aufweist, und eine Empfangseinheit zum Empfangen von in der Fahrzeugumgebung reflektiertem Licht, wobei die Empfangseinheit einen einzelne Pixel erzeugenden optischen Sensor und eine Auswerteeinheit zum pixelbasierten Auswerten des Sensorsignals des optischen Sensors aufweist, ist es vorgesehen, dass der optische Sensor und/oder die Auswerteeinheit dazu eingerichtet sind, Pixelbinning auszuführen, um mindestens ein Superpixel zu bilden, wobei die Auswerteeinheit ferner dazu eingerichtet ist, eine Superpixelauswertung auszuführen, um einen Modus mit vergrößerter Erfassungsreichweite der LIDAR-Vorrichtung zu erhalten. Mit anderen Worten ist der optische Sensor und/oder die Auswerteeinheit dazu eingerichtet, eine Superpixelsegmentierung auszuführen.
-
Das erste, was zu erwähnen ist - das Erzeugen von Superpixeln ist der Kompromiss zwischen räumlicher Auflösung und Erfassungsreichweite. Superpixel ermöglichen das Erfassen weiter entfernter Objekte auf Kosten des Verlusts feiner Details der abgebildeten Szene. Es gibt zwei Möglichkeiten, Pixel zu einem Superpixel zu kombinieren: (i) Kombinieren von Analogsignalen. In diesem Fall werden erzeugte Elektronen direkt vor der Digitalisierung kombiniert, und (ii) statistische Kombination individueller Pixel nach einer Digitalisierung. Die erste Alternative bietet eine natürliche, direkte Möglichkeit zum Kombinieren eines Signals von mehreren Pixeln in einer Summenform, was eine Erhöhung des Signalwerts und eine entsprechende Einstellung von Erfassungsschwellenwerten und dergleichen ermöglicht.
-
In der Praxis erlauben Pixel und das Empfänger-Hardwaredesign jedoch normalerweise keinen derartigen Ansatz. Daher ist gemäß einer bevorzugten Ausführungsform der Erfindung die Auswerteeinheit dazu eingerichtet, das Pixelbinning und die Superpixelauswertung im digitalen Bereich auszuführen.
-
Diese zweite Alternative zum Kombinieren von Pixeln arbeitet innerhalb digitaler Information, die durch individuelle Pixel bereitgestellt wird. Diese Information ist bereits durch Systemrauschen wie parasitäres Licht (z.B. durch die Sonne), Schrotrauschen, elektronisches Rauschen „verunreinigt“.
-
Gemäß einer anderen bevorzugten Ausführungsform der Erfindung weist das Pixelbinning eine statistische Kombination der entsprechenden Pixel auf, die mit dem jeweiligen Superpixel in Beziehung stehen. Durch diese Maßnahme wirkt die Auswerteeinheit der Rauschverunreinigung entgegen. Die statistische Kombination ermöglicht es, Rauschkomponente zu „mitteln“ und den Signalteil des Mischsignals zu „verstärken“.
-
Eine vereinfachte Beschreibung des LIDAR-Betriebs kann wie folgt aussehen: Licht aussenden, reflektiertes Licht empfangen, Licht in Elektronen umwandeln. Dann entscheidet ein Erfassungsalgorithmus basierend auf einem bereitgestellten Schwellenwert und basierend darauf, ob ein Abtast(Pixel)wert größer als ein vordefinierter Schwellenwert ist, zwischen den Werten 1 und 0.
-
Gemäß einer noch anderen bevorzugten Ausführungsform der Erfindung enthält jedes der Superpixel mindestens 8 Pixel. Mit einem Superpixel, das 8 oder mehr Pixel kombiniert, kann die Erfassungsreichweite deutlich vergrößert werden. Vorzugsweise enthält jedes der Superpixel mindestens 16 Pixel.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung ist die Auswerteeinheit ferner dazu eingerichtet, in einem herkömmlichen Erfassungsmodus eine pixelweise Auswertung der Pixel auszuführen. In diesem Modus hat die räumliche Auflösung Priorität.
-
Gemäß mehreren Aspekten des erfindungsgemäßen Verfahrens zum Vergrößern der Erfassungsreichweite einer LIDAR-Vorrichtung zum bildgebenden Erfassen eines Bereichs in der Fahrzeugumgebung eines Fahrzeugs, wobei die LIDAR-Vorrichtung aufweist: eine Sendeeinheit zum Aussenden eines Laserstrahls, der den Bereich abtastet, wobei die Sendeeinheit eine Laserlichtquelle mit einer vorgegebenen Laserleistung und eine Abtasteinheit aufweist, und eine Empfangseinheit zum Empfangen von in der Fahrzeugumgebung reflektiertem Licht, wobei die Empfangseinheit einen einzelne Pixel erzeugenden optischen Sensor und eine Auswerteeinheit zum pixelbasierten Auswerten des Sensorsignals des optischen Sensors aufweist, ist es vorgesehen, dass der optische Sensor und/oder die Auswerteeinheit Pixelbinning ausführt, um mindestens ein Superpixel zu bilden, wobei die Auswerteeinheit ferner eine Superpixelauswertung ausführt, um einen Modus mit vergrößerter Erfassungsreichweite der LIDAR-Vorrichtung zu erhalten.
-
Vorzugsweise ist die vorstehend erwähnte LIDAR-Vorrichtung dazu eingerichtet, dieses Verfahren zum Vergrößern der Erfassungsreichweite auszuführen.
-
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens führt die Auswerteeinheit das Pixelbinning und die Superpixelauswertung im digitalen Bereich durch.
-
Gemäß einer anderen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens weist das Pixelbinning eine statistische Kombination der entsprechenden Pixel auf, die mit dem jeweiligen Superpixel in Beziehung stehen. Durch diese Maßnahme wirkt die Auswerteeinheit der Rauschverunreinigung entgegen.
-
Vorzugsweise enthält jedes der Superpixel mindestens 8 Pixel. Mit einem Superpixel, das 8 oder mehr Pixel kombiniert, kann die Erfassungsreichweite deutlich vergrößert werden. Noch bevorzugter weist jedes der Superpixel mindestens 16 Pixel auf.
-
Gemäß einer noch weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens führt die Auswerteeinheit eine pixelweise Auswertung der Pixel in einem herkömmlichen Erfassungsmodus aus. In diesem Modus hat die räumliche Auflösung Priorität.
-
Das erfindungsgemäße Computerprogrammprodukt weist durch einen Computer ausführbare Programmcodeabschnitte mit Programmcodeanweisungen auf, die dafür konfiguriert sind, das vorstehend erwähnte Verfahren auszuführen, wenn sie in einen Prozessor einer computerbasierten Auswerteeinheit geladen werden.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, der Figur und der Figurenbeschreibung. Alle oben in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein dargestellten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder eigenständig verwendbar.
-
Die Erfindung wird nachstehend anhand einer bevorzugten Ausführungsform sowie unter Bezug auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
- 1 eine schematische Darstellung einer LIDAR-Vorrichtung für Kraftfahrzeuge gemäß einer bevorzugten Ausführungsform der Erfindung;
- 2 eine schematische Darstellung einer Pixelmatrix, die unter Verwendung des optischen Sensors einer solchen LIDAR-Vorrichtung erzeugt wird; und
- 3 zwei Kurven, die die Wahrscheinlichkeitsdichtefunktion eines einzelnen Pixels und die Wahrscheinlichkeitsdichtefunktion eines Superpixels darstellen.
-
1 zeigt ein Beispiel einer LIDAR-Vorrichtung 10. Die LIDAR-Vorrichtung 10 weist eine Laserabtastvorrichtung auf, die als eine Sendeeinheit 12 (kurz: Sender), und eine Empfangseinheit 14 (kurz: Empfänger) wirkt.
-
Die Sendeeinheit 12 weist eine Laserlichtquelle 16 auf, durch die ein Laserlichtstrahl 18 erzeugt wird. Die Laserlichtquelle 16 ist eine Laservorrichtung und überträgt den erzeugten Laserlichtstrahl 18 zu einer als ein Mikrospiegel 22 ausgebildeten Abtasteinheit 20 zum Erzeugen einer Abtastbewegung des Laserstrahls. Zu diesem Zweck ist die Laserlichtquelle 16 unter einem vordefinierten Winkel zur Abtasteinheit 20 angeordnet. Gemäß der sogenannten MEMS-Technologie (MEMS: Micro-Electro-Mechanical System) besteht der Mikrospiegel 22 aus kleinen Einzelelementen, die jeweils eine reflektierende Oberfläche haben, und wird daher im Folgenden als MEMS-Mikrospiegel 22 bezeichnet.
-
Der MEMS-Mikrospiegel 22 ist an der Laserlichtquelle 16 derart angeordnet, dass der Laserlichtstrahl 18 direkt auf den MEMS-Mikrospiegel 22 auftrifft; gemäß weiteren Konfigurationsbeispielen sind ein oder mehrere Ablenkspiegel zwischen der Laserlichtquelle 16 und dem MEMS-Mikrospiegel 22 angeordnet, so dass der Laserlichtstrahl 18 über die Ablenkspiegel auf den MEMS-Mikrospiegel 22 abgelenkt wird.
-
Der MEMS-Mikrospiegel 22 kann um eine erste Achse parallel zur Zeichnungsebene und gegebenenfalls um eine zweite Achse senkrecht zur Zeichnungsebene bewegt werden. Der Laserlichtstrahl 18 wird durch den MEMS-Mikrospiegel 22 in mindestens eine Richtung der Umgebung abgelenkt. Diese Richtung kann auch als Abtastwinkel bezeichnet werden.
-
Es wird eine Steuereinheit 24 verwendet, um den MEMS-Mikrospiegel 22 zu bewegen. Die Steuereinheit 24 steuert den MEMS-Mikrospiegel 22 derart, dass er in mindestens einer Richtung geneigt werden kann (Doppelpfeil).
-
Die Laserlichtquelle 16 weist in dem Beispiel eine oder mehrere Laserdioden auf. Die Laserlichtquelle 16 ist mit der Steuereinheit 24 derart verbunden, dass die Laserlichtquelle 16 durch die Steuereinheit 24 gesteuert wird und ein gepulster Laserlichtstrahl 18 als ein ausgesendeter Lichtstrahl mit einer Frequenz von z.B. 100 kHz durch die Steuereinheit 24 emittiert wird. Die Steuereinheit 24 kann die Laserlichtquelle 16 auch ausschalten.
-
Die Empfangseinheit 14 weist einen optischen Sensor 26 auf, der in dem dargestellten Beispiel ein Sensor auf Photodiodenbasis ist. Der optische Sensor 26 empfängt Licht 28, das dem von der Umgebung, insbesondere von Objekten in der Umgebung, reflektierten oder zurückgestreuten Laserlichtstrahl 18 entspricht. Das empfangene Licht 28 wird durch den optischen Sensor 26 und seine Schaltung in ein elektrisches Signal umgewandelt. Das elektrische Signal wird dann einer Auswerteeinheit 30 der LIDAR-Vorrichtung 10 zugeführt, wobei die die Auswerteeinheit 30 computerbasiert ist.
-
Die LIDAR-Vorrichtung 10 misst die Entfernungen zu erfassten Objekten unter Verwendung einer Laufzeitmessung, d.h. einer Messung gemäß dem ToF-Prinzip (ToF: Time of Flight). Wenn diese Abtasteinheit 20 ein MEMS-Mikrospiegel 22 ist, schwingt sie nahezu kosinusförmig, üblicherweise mit einer Eigenfrequenz von mehreren kHz. Ein solcher „Schwingspiegel“ zur Strahlablenkung muss bei seiner Resonanzfrequenz betrieben werden. Da diese im kHz-Bereich liegt, sind mehrere Schwingungen des MEMS-Mikrospiegels 22 erforderlich, um jede Position in einem Abtastbereich zu treffen, was unter anderem höhere Anforderungen an die Qualität des Spiegels 22 stellt.
-
2 zeigt eine schematische Darstellung einer Pixelmatrix 32, die unter Verwendung des optischen Sensors 26 erzeugt wird. Die dargestellte Pixelmatrix 32 ist eine Matrix aus 8x8 Pixeln 34. Im digitalen Bereich führt die Auswerteeinheit 30 Pixelbinning mehrerer Pixel 34 aus, um ein Superpixel 36 zu erzeugen. Dieses Superpixel 36 enthält die Information von 4x4 Pixeln 34. Mit anderen Worten ist die Auswerteeinheit 30 dazu eingerichtet, eine Superpixelsegmentierung auszuführen und die Information des Superpixels 36 zu verwenden, um einen Modus mit vergrößerter Erfassungsreichweite der LIDAR-Vorrichtung 10 zu erhalten.
-
Eine vereinfachte Beschreibung des LIDAR-Vorrichtungsbetriebs kann wie folgt aussehen: Aussenden von Licht unter Verwendung der Sendeeinheit 12, Empfangen von reflektiertem Licht unter Verwendung der Empfangseinheit 14 und Umwandeln von Licht in Elektronen durch den optischen Sensor 26. Dann entscheidet ein Erfassungsalgorithmus, der auf der Auswerteeinheit 30 läuft, basierend auf einem bereitgestellten Schwellenwert und basierend darauf, ob ein Abtastwert (Pixel) größer ist als ein entsprechender Schwellenwert, zwischen den Werten 1 und 0.
-
3 zeigt zwei Kurven 38, 40, die die Wahrscheinlichkeitsdichtefunktion (PDF: probability density function) eines einzelnen Pixels 34 (Kurve 38 mit durchgezogener Linie) und die Wahrscheinlichkeitsdichtefunktion eines Superpixels 36 als eine Kombination von achtzehn Pixeln 34 (Kurve 40 mit gestrichelter Linie) in einem Diagramm darstellen, wobei die Wahrscheinlichkeitsdichte pd als Funktion der Energie dargestellt ist, die als Elektronenäquivalent gemäß einer Anzahl von Elektronen e dargestellt ist. Weiterhin ist ein Energieschwellenwert von 10 Elektronen (10e) markiert.
-
Im Folgenden wird eine Schätzung der Reichweitenvergrößerung gegenüber der Verminderung der räumlichen Auflösung durch die Verwendung eines „Superpixelmodus“ angegeben:
- Wir gehen von einem System aus, das 1-Sigma-Systemrauschen von 7 Elektronen aufweist. Die durchgezogene Kurve 38 in 3 zeigt die Wahrscheinlichkeitsdichtefunktion (PDF) für den Rauschwert für jedes einzelne Pixel 34. Die Fläche 42 unter der Kurve 38, der durch den Schwellenwert begrenzt ist, entspricht der Wahrscheinlichkeit, dass der Ausgangswert größer ist als der Schwellenwert. In dem angegebenen Beispiel (Schwellenwert = 10e) wird das System die Erfassung in 7,6% der Fälle melden, während nur Rauschen vorhanden ist - d.h. 7,6% Falschpositiv-(FP) Rate.
-
Die gleiche Kurve/Grafik könnte verwendet werden, um die umgekehrte Aufgabe zu lösen: „Welcher Schwellenwert muss ausgewählt werden, um die gewünschte Falschpositiv-Rate zu erhalten?“ Diese Formulierung ist typischerweise eine von praktischem Nutzen. Beispielsweise wird eine gewünschte FP-Rate < 1% im Fall eines einzelnen Pixels (Kurve 38 mit durchgezogener Linie) mit einem Schwellenwert von mehr als 16,3e erreicht. Gleichzeitig definiert ein Pixelwert 16,3e die maximal erzielbare Reichweite der LIDAR-Vorrichtung 10.
-
Die andere Kurve 40 (mit gestrichelter Linie) von 3 ist die Wahrscheinlichkeitsdichtefunktion (PDF) für einen Rauschwert für achtzehn (in Zahlen: 18) kombinierte Pixel 34. Die Fläche 42 unter der Kurve 38, die durch den Schwellenwert begrenzt ist, gleicht der Wahrscheinlichkeit, dass der Ausgabewert für alle 18 Pixel 34 gleichzeitig größer ist als der Schwellenwert. Lösung der Umkehraufgabe - der Schwellenwert für eine FP-Rate < 1% wird ein Schwellenwert von 3,8e sein. Das heißt, die Anzahl der Elektronen ist im Vergleich zur Einzelpixelentscheidung um das ~ 4-fache geringer, was bedeutet, dass die Erfassungsreichweite fast verdoppelt wird (~ ×2-Erfassungsreichweite).
-
Es ist wichtig zu verstehen, dass alle 18 Pixel 34 die Erfassung mit einem vorgegebenen Schwellenwert = 3,8e melden sollten. Das heißt, die räumliche Auflösung ist im direkten Vergleich mit einer nicht-gebinnten pixelweisen Auswertung etwa 18 Mal geringer. Eine solche Verminderung der Auflösung ist jedoch in praktischen Fällen immer noch verwendbar.
-
Beispiel:
- (a) Es könnte interessant sein, lediglich zu wissen, dass sich ein Objekt in 200 m Entfernung in der Ego-Fahrspur des Fahrzeugs befindet, auch ohne in der Lage zu sein, feine Details davon zu sehen, d.h. ohne in der Lage zu sein, es zu klassifizieren.
- (b) Die Beobachtung könnte in zwei Stufen geteilt sein. Eine erste mit gebinnten Pixeln 34 zum Erfassen des Objekts und eine zweite mit der Kenntnis, dass ein Objekt (mit einer ausgewählten FP-Rate) vorhanden ist gemäß einer vorgegebenen Superpixel-Klassifizierungsaufgabe bezüglich eines aus einzelnen Pixeln 34 gebildeten Musters.
-
Bezugszeichenliste
-
- 10
- LIDAR-Vorrichtung
- 12
- Sendeeinheit
- 14
- Empfangseinheit
- 16
- Laserlichtquelle
- 18
- Laserstrahl
- 20
- Abtasteinheit
- 22
- Mikrospiegel
- 24
- Steuereinheit
- 26
- optischer Sensor
- 28
- reflektiertes Licht
- 30
- Auswerteeinheit
- 32
- Pixelmatrix
- 34
- Pixel
- 36
- Superpixel
- 38
- Kurve
- 40
- Kurve
- 42
- Fläche
- e
- Elektronen
- pd
- Wahrscheinlichkeitsdichte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015100910 A1 [0003]
