DE102021000600A1

DE102021000600A1 - Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera

Info

Publication number: DE102021000600A1
Application number: DE102021000600.3A
Authority: DE
Inventors: Stephan Zinkler; Martin Hümmer
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2022-08-11
Also published as: CN116965016A; WO2022167120A1; JP2024507102A; US20240129452A1; KR20230124053A; EP4289133A1

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera. Erfindungsgemäß wird anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung erzeugt und es wird geprüft, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind. Bei Vorhandensein von Lücken in der Tiefenkarte (T) wird auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera geschlossenDie Erfindung betrifft weiterhin eine Vorrichtung (1) zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera und ein Fahrzeug, umfassend eine solche Vorrichtung (1).

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.
Ferner betrifft die Erfindung ein Fahrzeug.
Aus der DE 10 2016 216 118 A1 sind ein Fleckerkennungsverfahren in einer Objekterkennungsvorrichtung und eine Objekterkennungsvorrichtung, welche in einem Fahrzeug angeordnet ist und welche Aufnahmebilder einer Stereokamera verwendet, bekannt. Die Stereokamera umfasst zwei Kameras, von denen jede eine äußere Umgebung des Fahrzeugs aus dem Fahrzeuginneren heraus durch einen Bereich eines Fensterglases aufnimmt, welcher von einem Scheibenwischer gewischt wird. Die Objekterkennungsvorrichtung weist einen Lichtquellendetektor auf, der eine Lichtquelle in einem aufgenommenen Bild erkennen kann, welches von einer der beiden Kameras aufgenommen wurde. Weiterhin weist die Objekterkennungsvorrichtung einen Randdetektor auf, der einen Rand erkennen kann, der sich in dem von einer der beiden Kameras aufgenommenen Bild in einer Richtung erstreckt, welche eine Wischrichtung des Scheibenwischers kreuzt. Ferner weist die Objekterkennungsvorrichtung einen Bestimmer auf, der bestimmen kann, dass das Fensterglas einen Fleck aufweist, wenn sich der in Kreuzungsrichtung von der Lichtquelle aus erstreckende Rand fortlaufend eine bestimmte Zeitdauer lang auf der Grundlage eines Erkennungsergebnisses von dem Lichtquellendetektor und eines Erkennungsergebnisses vom Randdetektor erkannt wird.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera anzugeben. Weiterhin liegt der Erfindung die Aufgabe zu Grunde, ein neuartiges Fahrzeug anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist, durch eine Vorrichtung, welche die im Anspruch 7 angegebenen Merkmale aufweist, und durch ein Fahrzeug, welches die im Anspruch 8 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera wird erfindungsgemäß anhand von mittels der Stereokamera erfassten Bilddaten eine Tiefenkarte, auch als Disparitätsbild oder Disparitätskarte bezeichnet, einer erfassten Umgebung erzeugt. Weiterhin wird geprüft, ob in der Tiefenkarte Lücken ohne Tiefenwerte vorhanden sind. Bei Vorhandensein von Lücken in der Tiefenkarte wird auf eine Beeinträchtigung im optischen Pfad der Stereokamera geschlossen.
Der optische Pfad einer Stereokamera kann durch Alterung und Umwelteinflüsse beeinträchtigt werden. Beispielsweise können so Unschärfen durch Alterungsprozesse, Blockagen durch Beschlag, Verschmutzung, o. ä., Blendeffekte durch Sonneneinstrahlung usw. entstehen. Für einen zuverlässigen Betrieb von Funktionen, welche mittels der Stereokamera erfasste Bilddaten verwenden, ist eine schnelle und robuste Erkennung solcher Beeinträchtigungen, auch als Degradationen bezeichnet, im optischen Pfad einer Stereokamera sehr wichtig.
Hierbei ermöglicht das Verfahren im Gegensatz zu aus dem Stand der Technik bekannten Verfahren die Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera auch ohne vorhandene Bewegung in von der Stereokamera erfassten Bilddaten. Das heißt, dass Verfahren ermöglicht die Erkennung der Beeinträchtigungen auch bei Stillstand der Stereokamera und bei statischen Szenarien. Dabei ist das Verfahren zu dieser Erkennung als so genannte Stand-Alone-Lösung oder zur Verbesserung und/oder Plausibilisierung bereits existierender Algorithmen anwendbar. Das Verfahren bildet hierbei weiteren Erkennungsinput zur Erhöhung einer Robustheit und Erkennungsgeschwindigkeit.
In einer möglichen Ausgestaltung des Verfahrens werden in der Tiefenkarte Objekte erkannt und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte hinterlegten Objektinformationen wird eine Plausibilisierung von Tiefeninformationen der Tiefenkarte durchgeführt. Beispielsweise werden in diesem Zusammenhang in einer weiteren möglichen Ausgestaltung des Verfahrens unplausible Tiefeninformationen als Bestätigung einer Beeinträchtigung im optischen Pfad der Stereokamera gewertet. Somit kann eine Fehlerrate bei der Erkennung der Beeinträchtigungen im optischen Pfad verringert und eine Zuverlässigkeit und Robustheit des Verfahrens können weiter erhöht werden.
In einer weiteren möglichen Ausgestaltung des Verfahrens werden unplausible Tiefeninformationen auch als Bestätigung einer Beeinträchtigung im optischen Pfad der Stereokamera gewertet, wenn keine Lücken in der Tiefenkarte vorhanden sind. Somit können auch Beeinträchtigungen im optischen Pfad erkannt werden, welche auf beiden Kameraeinheiten der Stereokamera vorhanden sind und somit nicht zu Lücken in der Tiefenkarte führen.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird eine Erfassung der Bilddaten mittels der Stereokamera während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung durchgeführt.
In einer weiteren möglichen Ausgestaltung des Verfahrens werden bzw. wird in der Objekterkennung eine Spurerkennung, eine Verkehrsschilderkennung, eine Erkennung von mobilen Umgebungsobjekten und/oder eine Erkennung von immobilen Umgebungsobjekten durchgeführt. Dies ermöglicht einen Vergleich einer Vielzahl von in der Umgebung und in der digitalen Karte vorhandenen Objekten und führt dadurch zu einer weiter verbesserten Plausibilisierung.
Die Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera zeichnet sich erfindungsgemäß durch eine Verarbeitungsvorrichtung aus, welche ausgebildet ist anhand von mittels der Stereokamera erfassten Bilddaten eine Tiefenkarte einer erfassten Umgebung zu erzeugen, zu prüfen, ob in der Tiefenkarte Lücken ohne Tiefenwerte vorhanden sind, und bei Vorhandensein von Lücken in der Tiefenkarte auf eine Beeinträchtigung im optischen Pfad der Stereokamera zu schließen.
Die Vorrichtung ermöglicht im Gegensatz zu aus dem Stand der Technik bekannten Vorrichtungen die Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera auch ohne vorhandene Bewegung in von der Stereokamera erfassten Bilddaten. Das heißt, die Vorrichtung ermöglicht die Erkennung der Beeinträchtigungen auch bei Stillstand der Stereokamera und bei statischen Szenarien. Dabei ist die Vorrichtung zu dieser Erkennung als so genannte Stand-Alone-Lösung oder zur Verbesserung und/oder Plausibilisierung bereits existierender Algorithmen anwendbar. Die Vorrichtung generiert dabei weiteren Erkennungsinput zur Erhöhung einer Robustheit und Erkennungsgeschwindigkeit.
Das erfindungsgemäße Fahrzeug umfasst eine zuvor genannte Vorrichtung. Somit kann eine Zuverlässigkeit eines Betriebs von Fahrzeugfunktionen, beispielsweise Fahrerassistenzfunktionen, welche mittels der Stereokamera erfasste Bilddaten verwenden, signifikant erhöht werden. Somit kann eine Verkehrssicherheit erhöht werden.
In einer möglichen Ausgestaltung des Fahrzeugs ist dieses zu einem automatisierten, insbesondere hochautomatisierten oder autonomen, Fahrbetrieb ausgebildet. Die Vorrichtung ermöglicht hierbei einen besonders zuverlässigen automatisierten Fahrbetrieb, da Fahrfunktionen aufgrund der Verwendung der Vorrichtung eine erhöhte Zuverlässigkeit und eine erhöhte Verfügbarkeit aufweisen. Auch hierdurch kann eine Verkehrssicherheit erhöht werden und Fahrzeugfahrer können in Fahraufgabe besser unterstützt werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:

1 schematisch eine Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.

In der einzigen 1 ist schematisch ein mögliches Ausführungsbeispiel einer Vorrichtung 1 zur Erkennung von Beeinträchtigungen D im optischen Pfad einer Stereokamera dargestellt. Die Vorrichtung 1 umfasst zu dieser Erkennung eine Verarbeitungsvorrichtung 2.
Die Vorrichtung 1 ist beispielsweise Bestandteil eines nicht näher dargestellten Fahrzeugs. Das Fahrzeug ist beispielsweise zu einem automatisierten, insbesondere hochautomatisierten oder autonomen, Fahrbetrieb ausgebildet, wobei mittels der Stereokamera erfasste Bilddaten B zur Durchführung des automatisierten Fahrbetriebs verwendet werden. Hierfür ist ein zuverlässiger Betrieb der Stereokamera erforderlich.
Ein optischer Pfad einer Stereokamera kann durch Alterung und Umwelteinflüsse beeinträchtigt sein. Beispielsweise können so Unschärfen durch Alterungsprozesse, Blockagen durch Beschlag, Verschmutzung, o. ä., Blendeffekte durch Sonneneinstrahlung usw. entstehen. Für einen zuverlässigen Betrieb der Stereokamera und von Funktionen, welche mittels der Stereokamera erfasste Bilddaten B verwenden, ist eine schnelle und robuste Erkennung solcher Beeinträchtigungen D, auch als Degradationen bezeichnet, im optischen Pfad einer Stereokamera sehr wichtig.
Ist der optische Pfad der Stereokamera nicht beeinträchtigt, ist in einer stereoskopischen Verarbeitung mittels der Stereokamera erfasster Bilddaten B eine detaillierte und lückenlose Tiefenkarte einer Umgebung der Stereokamera, beispielsweise einer Fahrbahn sowie deren Umgebung, erstellbar. Beeinträchtigungen D im optischen Pfad der Stereokamera spiegeln sich direkt in der Tiefenkarte in Form von Lücken ohne Tiefenwerte wieder und deuten somit auf eine solche Beeinträchtigung D hin.
Aus diesem Grund wird zur Erkennung von Beeinträchtigungen D im optischen Pfad der Stereokamera mittels der Verarbeitungsvorrichtung 2 in einem ersten Modul 2.1 anhand von mittels der Stereokamera erfassten Bilddaten B eine Tiefenkarte T, auch als Disparitätsbild oder Disparitätskarte bezeichnet, einer erfassten Umgebung erzeugt. Die Erfassung der Bilddaten B mittels der Stereokamera kann dabei auch während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung, das heißt bei Stillstand des Fahrzeugs, durchgeführt werden.
Anschließend wird in einem zweiten Modul 2.2 geprüft, ob in der Tiefenkarte T Lücken ohne Tiefenwerte vorhanden sind.
In einem weiteren Modul 2.3 der Verarbeitungsvorrichtung 2 werden potenzielle Kandidaten für eine Beeinträchtigung D im optischen Pfad der Stereokamera bestimmt. Hierbei wird bei Vorhandensein von Lücken in der Tiefenkarte T auf eine Beeinträchtigung D im optischen Pfad der Stereokamera geschlossen.
Zusätzlich werden in einer möglichen Ausgestaltung in der Tiefenkarte T Objekte erkannt und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte 3 hinterlegten Objektinformationen und/oder mittels weiterer Sensorik 4 erfasster Objektinformationen eine Plausibilisierung von Tiefeninformationen der Tiefenkarte T durchgeführt.
Die Objekterkennung in der Tiefenkarte T ist beispielsweise kamerabasiert und umfasst beispielsweise eine Erkennung 5 mobiler und/oder immobiler Umgebungsobjekte, eine Spurerkennung 6 und eine Verkehrsschilderkennung 7.
Liegen als Ergebnis der Plausibilisierung unplausible Tiefeninformationen vor, werden diese als Bestätigung einer Beeinträchtigung D im optischen Pfad der Stereokamera gewertet.
Unplausible Tiefeninformationen werden auch als Bestätigung einer Beeinträchtigung D im optischen Pfad der Stereokamera gewertet, wenn keine Lücken in der Tiefenkarte T vorhanden sind. Dies ist beispielsweise dann der Fall, wenn auf beiden Kameraeinheiten der Stereokamera Beeinträchtigungen D vorhanden sind.
Wurde eine Beeinträchtigung D im optischen Pfad der Stereokamera erfasst, erfolgt mittels eines entsprechenden Moduls 2.4 der Verarbeitungsvorrichtung 2 eine Signalisierung, so dass die Beeinträchtigung D automatisch oder manuell entfernt werden kann.
Im Folgenden werden zwei Anwendungsbeispiele mit einer Beeinträchtigung D im optischen Pfad einer Stereokamera beschrieben.
In einem ersten Anwendungsbeispiel ist eine von zwei optischen Kameralinsen einer Stereokamera degradiert. Treten durch Reflexionen durch Sonneneinstrahlung auf der Kameralinse so genannte vertikale Lichtschwerter auf, führen diese zu vertikalen Lücken in der Tiefenkarte T. Ein Beschlag auf der Kameralinse führt zu großflächigen Lücken oder unplausiblen Stereoinformationen. Verschmutzungen führen zu einzelnen Lücken in der Tiefenkarte. Überstrahl- oder Belichtungseffekte, welche beispielsweise aus einer tiefstehenden Sonne resultieren, führen zu ähnlichen Effekten wie Beschlag. Somit kann bei Erkennung der Lücken, deren Form und Anordnung auf eine Art der Beeinträchtigung D geschlossen werden.
In einem zweiten Anwendungsbeispiel sind beide Kameralinsen degradiert. Die im ersten Anwendungsbeispiel genannten Lückenbeispiele in einer Tiefenkarte T können auch dann auftreten, wenn auf beiden Kameralinsen gleichzeitig eine Beeinträchtigung D vorliegt. Je nach Position der jeweiligen Beeinträchtigung D auf den Kameralinsen kann unter Umständen ein Stereo-Matching stattfinden, so dass keine Lücken in der Tiefenkarte T auftreten. Diese Auffälligkeit ist jedoch mittels der beschriebenen Plausibilisierung anhand der Objekterkennung und dem Abgleich mit den in der digitalen Karte hinterlegten Objektinformationen erfassbar und somit als Beeinträchtigung D erkennbar.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016216118 A1 [0004]

Claims

Verfahren zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera, dadurch gekennzeichnet, dass - anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung erzeugt wird, - geprüft wird, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind, und - bei Vorhandensein von Lücken in der Tiefenkarte (T) auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera geschlossen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Tiefenkarte (T) Objekte erkannt werden und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte (3) hinterlegten Objektinformationen eine Plausibilisierung von Tiefeninformationen der Tiefenkarte (T) durchgeführt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass unplausible Tiefeninformationen als Bestätigung einer Beeinträchtigung (D) im optischen Pfad der Stereokamera gewertet werden.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass unplausible Tiefeninformationen auch als Bestätigung einer Beeinträchtigung (D) im optischen Pfad der Stereokamera gewertet werden, wenn keine Lücken in der Tiefenkarte (T) vorhanden sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Erfassung der Bilddaten mittels der Stereokamera während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung durchgeführt wird.
Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass in der Objekterkennung - eine Spurerkennung (6), - eine Verkehrsschilderkennung (7) und/oder - eine Erkennung (5) von mobilen und/oder immobilen Umgebungsobjekten durchgeführt werden bzw. wird.
Vorrichtung (1) zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera, gekennzeichnet durch eine Verarbeitungsvorrichtung (2), welche ausgebildet ist - anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung zu erzeugen, - zu prüfen, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind, und - bei Vorhandensein von Lücken in der Tiefenkarte (T) auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera zu schließen.
Fahrzeug, umfassend eine Vorrichtung (1) nach Anspruch 7.
Fahrzeug nach Anspruch 8, ausgebildet zu einem automatisierten, insbesondere hochautomatisierten oder autonomen Fahrbetrieb.