DE102021202232A1 - Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems - Google Patents

Abstract

Es wird ein Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems beschrieben, wobei das LiDAR-System eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-system detektierten Lichtsignal zu erfassen, wobei das Lichtsignal eine Mehrzahl von Lichtsignalpunkten umfasst, aufweisend die Schritte:
a) Ermitteln eines Reflexionsgrades jedes Lichtsignaldatenpunkts aus dessen Intensitätsniveau;
b) Vergleichen der ermittelten Reflexionsgrade mit einem vordefinierten Reflexivitätsgrenzwert;
c) Bei Überschreiten des vordefinierten Reflexivitätsgrenzwertes Kennzeichnen des entsprechenden Lichtsignaldatenpunkts als einem Retroreflektor zugehörig;
d) Ermitteln einer Größe des Retroreflektors aus den gekennzeichneten Lichtsignaldatenpunkten.
e) Erkennen des Retroreflektors als Verkehrszeichen in Abhängigkeit von der ermittelten Größe des Retroreflektors.

Description

• Die vorliegende Erfindung geht aus von einem Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems gemäß dem unabhängigen Patentanspruch.
• Stand der Technik
• Autonome oder teilautonome Fahrzeuge werden in den nächsten Jahren zunehmend Einzug halten auf den öffentlichen Straßen. Dazu müssen sie in der Lage sein, Verkehrszeichen zuverlässig zu erkennen. Meist geschieht dies mit einer Kombination von unterschiedlichen Sensorarten.
• Die Druckschrift GB 2 334 842 A offenbart ein Verfahren zum Ausrichten der Bordvorschau eines LiDAR-Sensors in Bezug auf die erforderliche Referenzrichtung (z.B. die Fahrtrichtung) eines Fahrzeugs.
• Die Druckschrift DE 197 56 706 A1 offenbart eine Vorrichtung und ein Verfahren zur Detektion und Identifikation von Personen, Fahrzeugen und Schildern, wobei die Schilder mit einem Reflektor markiert werden, der ausschließlich Licht mindestens eines bestimmten Wellenlängenbereichs reflektiert. Dabei emittiert ein an dem Fahrzeug angebrachter Lichtstrahler ein in der Intensität moduliertes Licht mit mindestens zwei Lichtwellenlängen und Lichtsensoren an dem Fahrzeug empfangen das an dem Reflektor auf dem Schild reflektierte Licht.
• Die Druckschrift WO 2014/071939 A1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrszeichen, wobei basierend auf Daten aus zumindest einem LiDAR-Sensor Informationen über beispielsweise das Vorhandensein eines Verkehrszeichens, dessen Größe und Position gewonnen werden sollen.
• Offenbarung der Erfindung
• Vorteile der Erfindung
• Offenbart wird ein Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems mit den Merkmalen des unabhängigen Patentanspruchs.
• Dabei ist das LiDAR-System eingerichtet, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen, wobei das Lichtsignal eine Mehrzahl von Lichtsignalpunkten umfasst.
• Es wird ein Reflexionsgrad jedes Lichtsignaldatenpunkts aus dessen Intensitätsniveau ermittelt. Der ermittelte Reflexionsgrad wird mit einem vordefinierten Reflexivitätsgrenzwert vergleichen.
• Bei Überschreiten des vordefinierten Reflexivitätsgrenzwertes wird der entsprechende Lichtsignaldatenpunkt als einem Retroreflektor zugehörig gekennzeichnet. Eine Größe des Retroreflektors wird aus den gekennzeichneten Lichtsignaldatenpunkten ermittelt. Der Retroreflektor wird in Abhängigkeit der ermittelten Größe als Retroreflektor als Verkehrszeichen erkannt.
• Dies ist vorteilhaft, da ein LiDAR-System auch bei schlechtem Wetter in der Lage ist, eine gute Erkennungsgenauigkeit zu erzielen. Dies ist möglich aufgrund des aktiven Messprinzips des LiDAR-Systems, d.h. des Aussendens von Licht. Kameras dagegen wären bei schlechtem Wetter weniger gut in der Lage, Verkehrszeichen zu erkennen. Weiterhin wird dazu bei Vorhandensein eines LiDAR-Systems keine zusätzliche Hardware benötigt und eine Umsetzung ist in vorhandenen System durch einfache Umprogrammierung leicht möglich.
• Weitere vorteilhafte Ausführungsformen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.
• Zweckmäßigerweise wird beim Erkennen des Retroreflektors als Verkehrszeichen die ermittelte Größe des Retroreflektors mit einem vordefinierten Retroreflektorgrößengrenzwert verglichen. Bei Überschreiten des vordefinierten Retroreflektorgrößengrenzwertes wird der Retroreflektor als Verkehrszeichen erkannt. Dies ist vorteilhaft, da Verkehrszeichen immer eine vordefinierte Größe aufweisen und somit kleinere Retroreflektoren als Verkehrszeichen ausfallen und nicht weiter berücksichtigt werden müssen. Dies vereinfacht und beschleunigt die Verkehrszeichenerkennung und erhöht die Erkennungsgenauigkeit.
• Zweckmäßigerweise wird die Art des Verkehrszeichens durch Analysieren der Hintergrundlichtinformation der Bildpunkte des Verkehrszeichens klassifiziert. Dabei agiert das LiDAR-System in der Art einer Infrarotkamera. Somit können dabei in vorteilhafter Weise bereits bekannte Bildverarbeitungs- und Bildererkennungsverfahren eingesetzt werden. Ein weiterer Vorteil besteht darin, dass somit keine extrinsischen Kalibrierfehler zu berücksichtigen sind. Solche Fehler würden vorliegen, wenn der Lidar das Verkehrszeichen als Verkehrszeichen erkennt, aber dann die Kamera des Fahrzeuges die Verkehrszeichenart erkennen muss.
• Zweckmäßigerweise wird das Verkehrszeichen mithilfe eines neuronalen Netzwerks klassifiziert. Dies ist vorteilhaft, da ein neuronales Netzwerk flexibel einsetzbar ist und eine sehr gute Erkennungsgenauigkeit aufweist.
• Zweckmäßigerweise wird für jeden Bildpunkt der Hintergrundlichtinformation jeweils der größte Entfernungswert ausgewählt. Dies ist vorteilhaft, da dadurch auch bei schlechtem Wetter, beispielsweise bei Regen oder Nebel, eine Störung durch Echos von Störeinflüssen, beispielsweise Regentropfen, vermieden werden kann. Das LiDAR-System kann somit sozusagen durch den Regen oder Nebel schauen.
• Zweckmäßigerweise werden Positionsdaten des erkannten Verkehrszeichens an eine elektrische Steuereinheit übermittelt, um eine Datenfusion mit mindestens einem weiteren Sensor zu ermöglichen. Das ist vorteilhaft, um die Genauigkeit der Verkehrszeichenerkennung zu erhöhen. Dabei kann die Sensordatenfusion direkt in einem Sensor, beispielsweise einer Videokamera, oder auf einem zentralen Steuergerät durchgeführt werden.
• Zweckmäßigerweise werden die übermittelten Positionsdaten des erkannten Verkehrszeichens mit weiteren Sensordaten von einem weiteren Sensor zusammengeführt, um die Genauigkeit der Verkehrszeichenerkennung zu erhöhen. Das ist vorteilhaft, da somit die Schwächen der einzelnen Sensoren untereinander ausgeglichen werden können und die Erkennungsgenauigkeit erhöht wird. Beispielsweise kann eine zusätzliche Verkehrszeichenerkennung durch eine Kamera erfolgen. Durch Zusammenführen der beiden Erkennungsergebnisse wird somit die Wahrscheinlichkeit des richtigen Erkennens des Verkehrzeichen erhöht.
• Das Verfahren kann beispielsweise computerimplementiert umgesetzt werden.
• Weiterhin ist Gegenstand der Erfindung eine Vorrichtung zur Erkennung eines Verkehrszeichens, welche eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen, wobei das Lichtsignal eine Mehrzahl von Lichtsignaldatenpunkten umfasst, und wobei die Vorrichtung mindestens ein Mittel umfasst, insbesondere eine elektronische Steuereinheit, welches eingerichtet ist, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Somit können die oben genannten Vorteile realisiert werden.
• Das mindestens eine Mittel kann insbesondere ein elektronisches Steuergerät, welches beispielsweise einen Mikrocontroller und/oder einen applikationsspezifischen Hardwarebaustein, z.B. einen ASIC, umfasst, umfassen, aber ebenso kann das Mittel einen Computer umfassen.
• Weiterhin ist Gegenstand der Erfindung ein Computerprogramm, umfassend Befehle, die bewirken, dass die erfindungsgemäße Vorrichtung alle Schritte des erfindungsgemäßen Verfahrens ausführt.
• Weiterhin ist Gegenstand der Erfindung ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist. Somit können die oben genannten Vorteile realisiert werden.
• Figurenliste
• Vorteilhafte Ausführungsformen der Erfindung sind in den Figuren dargestellt und in der nachfolgenden Beschreibung näher ausgeführt.
• Es zeigen:
• 1 ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer ersten Ausführungsform;
• 2 ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer zweiten Ausführungsform;
• 3 ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer dritten Ausführungsform; und
• 4 eine schematische Darstellung der erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform.
• Ausführungsformen der Erfindung
• Gleiche Bezugszeichen bezeichnen in allen Figuren gleiche Vorrichtungskomponenten oder gleiche Verfahrensschritte.
• 1 zeigt ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer ersten Ausführungsform. Das Verfahren erkennt ein Verkehrszeichen mittels eines LiDAR-Systems, wobei das LiDAR-System eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen. Dabei umfasst das Lichtsignal mehrere Lichtsignalpunkte.
• In einem ersten Schritt S11 wird der Reflexionsgrad jedes Lichtsignaldatenpunktes aus dessen Intensitätsniveau ermittelt. Dies kann beispielsweise aus der Gesetzmäßigkeit erfolgen, dass $$P_{receive}\propto \frac{P_{send}\cdot R}{r^2},$$

  

  wobei P_receive die durch das LiDAR-System erfasste Leistung - das Intensitätsniveau eines Lichtsignaldatenpunktes -, P_send die emittierte Laserleistung, R die Reflexivität eines Objektes und r die Distanz zwischen dem Lidar-System und dem Objekt ist. Daraus ergibt sich, dass die Größe P_receive · r²/P_send proportional zur Reflexivität R des reflektierenden Objektes ist. Der Reflexionsgrad R wird für jeden Lichtsignaldatenpunkt ermittelt.
• In einem zweiten Schritt S12 werden die ermittelten Reflexionsgrade mit einem vordefinierten Reflexivitätsgrenzwert vergleichen. Der Reflexivitätsgrenzwert kann beispielsweise mit dem von einem Lambertreflektor mit 100 % Reflexivität erwarteten Wert verglichen werden. Retroreflektoren haben die Eigenschaft, dass ihre Reflektivität typischerweise über 100 % beträgt, beispielsweise 1000 % bis zu 100000 %.
• Daher werden in einem dritten Schritt S13 bei Überschreiten des vordefinierten Reflexivitätsgrenzwertes die entsprechenden Lichtsignaldatenpunkte als einem Retroreflektor zugehörig gekennzeichnet.
• In einem vierten Schritt S14 wird eine Größe des Retroreflektors aus den gekennzeichneten Lichtsignaldatenpunkten ermittelt.
• In einem fünften Schritt S15 wird der Retroreflektor in Abhängigkeit von der ermittelten Größe als Verkehrszeichen erkannt. Beispielsweise können retroreflektierende Objekte erst ab einer Größe von 20 cm x 20 cm als Verkehrszeichen erkannt werden. Da Verkehrszeichen typischerweise eine definierte Größe und Form aufweisen, kann zusätzlich die Form zur Erkennung des Retroreflektors als Verkehrszeichen eingesetzt werden. Dies kann gegebenenfalls die Erkennungsgenauigkeit verbessern.
• 2 zeigt ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer zweiten Ausführungsform. Das Verfahren erkennt ein Verkehrszeichen mittels eines LiDAR-Systems, wobei das LiDAR-System eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen. Dabei umfasst das Lichtsignal mehrere Lichtsignalpunkte.
• Dabei entsprechen die Schritte S21 bis S24 den oben beschriebenen Schritten S11 bis S14. Danach wird mit den nachstehend beschriebenen Schritten S25 und S26 fortgefahren.
• In dem fünften Schritt S25 wird die ermittelte Größe des Retroreflektors mit einem vordefinierten Retroreflektorgrößengrenzwert verglichen. Beispielsweise kann der vordefinierte Retroreflektorgrößengrenzwert sich aus einer Mindestgröße von Verkehrszeichen ergeben.
• In einem sechsten Schritt S26 wird bei Überschreiten des vordefinierten Retroreflektorgrößengrenzwertes der Retroreflektor als Verkehrszeichen erkannt.
• 3 zeigt ein Flussdiagramm des erfindungsgemäßen Verfahrens gemäß einer dritten Ausführungsform. Das Verfahren erkennt ein Verkehrszeichen mittels eines LiDAR-Systems, wobei das LiDAR-System eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen. Dabei umfasst das Lichtsignal mehrere Lichtsignalpunkte.
• Dabei entsprechen die Schritte S31 bis S36 den oben beschriebenen Schritten S21 bis S26. Danach wird mit dem nachstehend beschriebenen Schritt S37 fortgefahren.
• In dem siebten Schritt S37 wird das Verkehrszeichen durch Analysieren der Hintergrundlichtinformation der Bildpunkte des Verkehrszeichens klassifiziert. Da das starke Lichtsignal von einem Verkehrszeichen eine Sättigung des LiDAR-Systems verursachen kann, nutzt das LiDAR-System nicht die Intensitätsinformation, um das Verkehrszeichen zu klassifizieren, sondern die Hintergrundlichtinformation jedes Lichtsignaldatenpunktes des Verkehrszeichens. Das LiDAR-System agiert somit ähnlich einer Infrarotkamera, um das Verkehrszeichen zu klassifizieren. Das Graustufenbild des Hintergrundlichts kann dann beispielsweise mit geeigneten Bildverarbeitungsprogrammen klassifiziert werden. Auch neuronale Netzwerke können dabei eingesetzt werden.
• Ein LiDAR-System kann mehr als einen Entfernungswert pro Scanposition erzeugen. Dies rührt von der Tatsache her, dass es pro Scanposition mehr als eine Reflektion geben kann, beispielsweise durch Regentropen oder Nebel. Dann erzeugt das LiDAR-System möglicherweise durch die Reflektion an den Wassertropfen und einem hinter dem Wassertropfen liegenden Objekt mehrere Entfernungswerte. Um dies zu verhindern, kann für jede Scanposition beziehungsweise für jeden Bildpunkt der Hintergrundlichtinformation jeweils der größte Entfernungswert ausgewählt werden. Somit kann das LiDAR-System durch den Regen bzw. Nebel „sehen“.
• 4 zeigt eine schematische Darstellung der erfindungsgemäßen Vorrichtung 40 zur Erkennung eines Verkehrszeichens gemäß einer Ausführungsform. Die Vorrichtung 40 umfasst dabei ein LiDAR-System, wobei das LiDAR-System eine Komponente 41 zur Erfassung eines Intensitätsniveaus eines Lichtsignals und eine elektronische Steuereinheit 42 umfasst. Die elektronische Steuereinheit 42 ist dabei eingerichtet, das erfindungsgemäße Verfahren auszuführen. Ein LiDAR-System kann auch noch weitere Komponenten umfassen, beispielsweise eine Komponente zum Aussenden eines Lichtsignals, insbesondere eines Laserstrahls.
• Die Vorrichtung 40 kann Positionsdaten eines erkannten Verkehrszeichens an eine weitere elektronische Steuereinheit 43 übermitteln, beispielsweise von einer Videokamera. Somit wird eine Datenfusion zweier unterschiedlicher Sensortypen ermöglicht. Die Positionsdaten des erkannten Verkehrszeichens können dabei aus den erfassten Lichtsignaldatenpunkten ermittelt werden.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• GB 2334842 A [0003]
• DE 19756706 A1 [0004]
• WO 2014/071939 A1 [0005]

Claims (10)

1. Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems, welches eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-system detektierten Lichtsignal zu erfassen, wobei das Lichtsignal eine Mehrzahl von Lichtsignalpunkten umfasst, umfassend die Schritte: a) Ermitteln eines Reflexionsgrades jedes Lichtsignaldatenpunkts aus dessen Intensitätsniveau; b) Vergleichen der ermittelten Reflexionsgrade mit einem vordefinierten Reflexivitätsgrenzwert; c) Bei Überschreiten des vordefinierten Reflexivitätsgrenzwertes Kennzeichnen des entsprechenden Lichtsignaldatenpunkts als einem Retroreflektor zugehörig; d) Ermitteln einer Größe des Retroreflektors aus den gekennzeichneten Lichtsignaldatenpunkten. e) Erkennen des Retroreflektors als Verkehrszeichen in Abhängigkeit von der ermittelten Größe des Retroreflektors.
2. Verfahren gemäß dem vorhergehenden Anspruch, wobei der Schritt e) die folgenden Unterschritte umfasst: f) Vergleichen der ermittelten Größe des Retroreflektors mit einem vordefinierten Retroreflektorgrößengrenzwert; g) Bei Überschreiten des vordefinierten Retroreflektorgrößengrenzwertes Erkennen des Retroreflektors als Verkehrszeichen.
3. Verfahren gemäß einem der vorhergehenden Ansprüche, weiterhin umfassend: h) Klassifizieren des Verkehrszeichens durch Analysieren der Hintergrundlichtinformation der Bildpunkte des Verkehrszeichens.
4. Verfahren gemäß dem vorhergehenden Anspruch, wobei das Klassifizieren des Verkehrszeichens mithilfe eines neuronalen Netzwerks erfolgt.
5. Verfahren gemäß einem der Ansprüche 3 oder 4, wobei für jeden Bildpunkt der Hintergrundlichtinformation jeweils der größte Entfernungswert ausgewählt wird.
6. Verfahren gemäß einem der vorhergehenden Ansprüche, weiterhin umfassend: i) Übermitteln von Positionsdaten des erkannten Verkehrszeichens an eine elektrische Steuereinheit, um eine Datenfusion mit mindestens einem weiteren Sensor zu ermöglichen.
7. Verfahren gemäß dem vorhergehenden Anspruch, weiterhin umfassend: j) Zusammenführen der übermittelten Positionsdaten des erkannten Verkehrszeichens mit weiteren Sensorendaten von einem weiteren Sensor, um die Genauigkeit der Verkehrszeichenerkennung zu erhöhen.
8. Vorrichtung (40) zur Erkennung eines Verkehrszeichen, umfassend ein LiDAR-System, welche eingerichtet ist, ein Intensitätsniveau von einem in dem LiDAR-System detektierten Lichtsignal zu erfassen, wobei das Lichtsignal eine Mehrzahl von Lichtsignalpunkten umfasst, wobei die Vorrichtung (40) mindestens ein Mittel umfasst, insbesondere eine elektronische Steuereinheit (42), welches eingerichtet ist, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 7 auszuführen.
9. Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung nach Anspruch 8 alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 7 ausführt.
10. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach dem vorhergehenden Anspruch gespeichert ist.

Images