-
Die Erfindung betrifft ein Verfahren zum Betreiben einer optischen Erfassungseinrichtung eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung eine optische Erfassungseinrichtung.
-
Bei starker Sonneneinstrahlung von vorn kann es vorkommen, dass in einem mittels einer Kamera aufgenommenen Bild, beispielsweise mit der Frontkamera eines Kraftfahrzeugs, ein Blendungseffekt in Form einer schmalen, rechteckähnlichen, meist vertikal oder nahezu vertikal ausgerichteten Fläche auftritt. Dieser Effekt bewirkt, dass erkannte Objekte, zum Beispiel, weitere Kraftfahrzeuge in der Umgebung, die von dieser Fläche durchkreuzt werden, in mehrere Objekte aufgespaltet oder sogar nicht mehr erkannt werden. Dies beeinträchtigt deutlich die Leistungsfähigkeit der kamerabasierten Fahrerassistenzfunktionen. Insbesondere sind diese Blendungseffekte auch als sogenannte Lichtschwerter bekannt.
-
Die
DE 10 2019 008 722 A1 betrifft ein Verfahren zum Betreiben einer optischen Erfassungsvorrichtung für ein Kraftfahrzeug, bei welchem mittels der optischen Erfassungsvorrichtung eine Umgebung des Kraftfahrzeugs erfasst wird, und bei welchem in Abhängigkeit von einem navigatorischen Parameter die Auswertung der erfassten Umgebung mittels einer elektronischen Recheneinrichtung der optischen Erfassungseinrichtung angepasst wird, wobei in Abhängigkeit von dem navigatorischen Parameter eine Lichtschwertwahrscheinlichkeit zum Auftreten eines optischen Lichtschwerts in einem mittels der optischen Erfassungseinrichtung aufgenommenen Bilds mittels elektronischer Recheneinrichtung bestimmt wird und die Lichtschwertwahrscheinlichkeit bei der Auswertung des Bilds berücksichtigt wird.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie eine optische Erfassungseinrichtung zu schaffen, mittels welcher eine verbesserte Umgebungserfassung des Kraftfahrzeugs ermöglicht ist.
-
Diese Aufgabe wird durch ein Verfahren sowie eine optische Erfassungseinrichtung gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in unter Ansprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer optischen Erfassungseinrichtung eines Kraftfahrzeugs, bei welchem mittels der optischen Erfassungseinrichtung ein Bild einer Umgebung des Kraftfahrzeugs erfasst wird und mittels einer elektronischen Recheneinrichtung der optischen Erfassungseinrichtung ein optisches Lichtschwert in dem Bild bestimmt wird.
-
Es ist vorgesehen, dass mittels der elektronischen Recheneinrichtung Bildpunkte des als Lichtschwert erkannten Bildbereichs durch zeilenweise Interpolation einer Farbe von benachbarten Bildpunkten eingefärbt werden.
-
Insbesondere werden die Bildpunkte, welche auch als Pixel bezeichnet werden, der als Lichtschwert erkannten insbesondere weißen Flächenzeilen derart eingefärbt, dass am linken Rand die Pixelfarbe des nächsten linken Pixels genommen wird und beispielsweise am rechten Rand die Farbe des nächsten rechten Pixels verwendet wird. Dadurch kann eine erhöhte Verfügbarkeit der kamerabasierten Fahrerassistenzfunktionen, eine erhöhte Verkehrssicherheit sowie eine erhöhte Effizienz bei der Verarbeitung von Kamerabildern mit Lichtschwertern realisiert werden.
-
Insbesondere ist somit ein Verfahren zur kamerabasierten Objekterkennung vorgeschlagen, wobei bei erfassten Kamerabildern durch Sonneneinstrahlung hervorgerufene Blendungseffekte, welche die Lichtschwerter sind, bei der Auswertung berücksichtigt werden. Es werden die Lichtschwerter in den Kamerabildern durch beispielsweise den Einsatz von entsprechenden Klassifikatoren, die mit entsprechenden Kamerabildern trainiert sind, erkannt. Die Bildpunkte, bei denen der als Lichtschwert erkannte Bildbereich zugeordnet werden kann, werden durch zeilenweise Interpolation der Farben benachbarter Bildpunkte eingefärbt.
-
Gemäß einer vorteilhaften Ausgestaltungsform wird mittels eines Klassifikators oder mittels eines neuronalen Netzwerks der elektronischen Recheneinrichtung das optische Lichtschwert im Bild erkannt.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn zwischen Endbildpunkten des als Lichtschwert erkannten Bildbereichs die Farbe linear interpoliert wird.
Des Weiteren hat es sich als vorteilhaft erwiesen, wenn das optische Lichtschwert mittels eines Regenlichtsensors der optischen Erfassungseinrichtung plausibilisiert wird.
-
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird das optische Lichtschwert auf Basis eines aktuellen Datums und/oder einer aktuellen Uhrzeit und/oder einer aktuellen Position des Kraftfahrzeugs und/oder einer aktuellen Bewegungsrichtung des Kraftfahrzeugs und/oder einer Wettervorhersage mittels der elektronischen Recheneinrichtung plausibilisiert wird.
-
Bei dem vorgeschlagenen Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Insbesondere sind hierzu ein Computerprogrammprodukt, ein computerlesbares Speichermedium vorgesehen, welche entsprechende Computerbefehle aufweisen, um das Verfahren auf einer elektronischen Recheneinrichtung durchführen zu können.
-
Ein weiterer Aspekt der Erfindung betrifft eine optische Erfassungseinrichtung für ein Kraftfahrzeug mit zumindest einer elektronischen Recheneinrichtung, wobei die optische Erfassungseinrichtung zum Durchführen eines Verfahrens nach dem hervorgehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der optischen Erfassungseinrichtung durchgeführt.
-
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen der optischen Erfassungseinrichtung anzusehen. Die optische Erfassungseinrichtung weist dazu gegenständliche Merkmale auf, welche einer Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigen:
- 1 Eine schematische Ansicht eines aufgenommenen Bilds mittels einer Ausführungsform der optischen Erfassungseinrichtung;
- 2 Eine vergrößerte Darstellung des aufgenommenen Bilds gemäß 2.
-
In den Figuren sind gleiche Funktionselemente mit gleichen Bezugszeichen versehen.
-
1 zeigt eine schematische Ansicht eines aufgenommenen Bilds 10 mittels einer optischen Erfassungseinrichtung 12, welches rein beispielhaft dargestellt ist. Die optische Erfassungseinrichtung 12 ist für ein nicht dargestelltes Kraftfahrzeug ausgebildet. Die optische Erfassungseinrichtung 12 weist zumindest eine elektronische Recheneinrichtung 14 auf, welche ebenfalls rein schematisch dargestellt ist.
-
Im Folgenden Ausführungsbeispiel ist insbesondere ein Bild 10 einer Umgebung 16 des Kraftfahrzeugs gezeigt, in welchem beispielsweise ein weiteres Kraftfahrzeug 18 gezeigt ist. Das weitere Kraftfahrzeug 18 ist vorliegend insbesondere als Omnibus dargestellt. Im Bild 10 ist ferner ein Lichtschwert 20 gezeigt. Das Lichtschwert 20 teilt insbesondere das weitere Kraftfahrzeug 18 vorliegend in zwei Objekte. Insbesondere wird somit das weitere Kraftfahrzeug 18 durch das Lichtschwert 20 in die zwei Objekte geteilt, wobei hierbei insbesondere zwei unterschiedliche Geschwindigkeitsvektoren 22, 24 bei einer Auswertung des Omnibusses entstehen können. Das Lichtschwert 20 ist insbesondere vorliegend als weiße Fläche dargestellt.
-
2 zeigt eine schematische Ansicht einer vergrößerten Ausführungsform gemäß Bild 10. Insbesondere ist vorliegend das Bild 10 auf entsprechende Bildpunkte 26 vergrößert.
-
Insbesondere zeigt die 2 somit ein Verfahren zum Betreiben der optischen Erfassungseinrichtung 12, bei welchem mittels der optischen Erfassungseinrichtung 12 das Bild 10 der Umgebung 16 des Kraftfahrzeugs erfasst wird und mittels der elektronischen Recheneinrichtung 14 der optischen Erfassungseinrichtung 12 das optische Lichtschwert 20 bestimmt wird. Es ist dabei vorgesehen, dass mittels der elektronischen Recheneinrichtung 12 Bildpunkte 26 des als Lichtschwert 20 erkannten Bildbereichs 28 durch zeilenweise Interpolation einer Farbe von benachbarten Bildpunkten eingefärbt werden. Vorliegend ist insbesondere beispielhaft der Bildpunkt 26a gezeigt, der weiß ist, wodurch der benachbarte Bildpunkt ebenfalls als weiß dargestellt wird.
-
Insbesondere findet zwischen jeweiligen Endpunkten 30 der Bildpunkte 26 eine lineare Interpolation der Pixelfarbe beziehungsweise der Pixelhelligkeit zwischen links und rechts statt, wobei jeweils n Pixel, wobei im vorliegenden Ausführungsbeispiel n gleich 3 entspricht, die gleiche Farbe beziehungsweise Helligkeit erhalten.
-
Insbesondere ist es somit vorgeschlagen, dass mit Hilfe der Bildverarbeitung der Frontkamera die entsprechende weiße Fläche des optischen Lichtschwerts 20 erkannt wird. Dies geschieht insbesondere mit klassischen Klassifikatoren oder neuronalen Netzen, die mit einer ausreichenden Anzahl entsprechender Kamerabilder trainiert werden. Dabei wird diese oft vertikal oder nahezu vertikal ausgerichtete weiße Fläche von ähnlichen oder ähnlich vertikal ausgerichteten weißen Flächen, zum Beispiel erkannte Masten von Straßenlaternen, Ampeln oder Verkehrsschildern unterschieden. Mithilfe eines Regenlichtsensors kann plausibilisiert werden, dass eine starke Sonneneinstrahlung herrscht. Außerdem werden das im System gespeicherte Datum und die Uhrzeit sowie die Navigationssystem verfügbare Bewegungsrichtung und der aktuelle Ort des Kraftfahrzeugs genutzt, um zu plausibilisieren, dass die Sonne gerade von vorne auf das Kraftfahrzeug scheint.
-
Anschließend werden die Bildpunkte 26 der als Lichtschwert 20 erkannten weißen Fläche zeilenweise so eingefärbt, dass am linken Rand die Pixelfarbe des nächsten linken Pixels genommen wird und am rechten Rand die Farbe des nächsten rechten Pixels. Dazwischen wird die Pixelfarbe linear interpoliert. Zur Rechenzeit Ersparnis für die Interpolarisation vereinfacht, in dem nicht die Farbe jedes einzelnen Pixels bestimmt wird, sondern jeweils eine gewisse Anzahl von Pixeln die gleiche Farbe erhalten.
-
Insbesondere zeigen somit die Figuren eine verbesserte Objekterkennung bei Lichtschwertern 20.
-
Bezugszeichenliste
-
- 10
- Bild
- 12
- optische Erfassungseinrichtung
- 14
- elektronische Recheneinrichtung
- 16
- Umgebung
- 18
- weiteres Kraftfahrzeug
- 20
- Lichtschwert
- 22
- Bewegungsvektor
- 24
- Bewegungsvektor
- 26
- Bildpunkt
- 26a
- Bildpunkt
- 28
- Bildbereich
- 30
- Endpunkte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019008722 A1 [0003]
