-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur Eigendiagnose von Kameras und ein Bildaufnahmesystem mit mindestens einer Kamera zur Durchführung des Verfahrens sowie ein Fahrerassistenzsystem mit einem solchen Bildaufnahmesystem und ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Eine sichere Auslegung von Funktionen basierend auf Kamerabildern von Kameras in Fahrzeugen benötigt mindesten eine Eigendiagnose der Kameras hinsichtlich Degradation/Blindheit (z.B. durch einen defekten Imager oder eine verdeckte Kamera).
-
Eine Art der Eigendiagnose setzt überlappende Bildbereiche zweier Kameras (wie z.B. bei Stereokamerasystemen und Multikamerasystemen vorhanden) voraus. Die Eigendiagnose wird durch Vergleich der beiden Bereichen (z.B. nach Grauwerten, extrahierten Merkmalen, Objekten) durchgeführt. Bei signifikanten Abweichungen über mehrere Bilder (Frames) kann davon ausgegangen werden, dass eine der beiden Kameras degradiert ist. Vorteil dieser Methode ist, dass diese im Stillstand des Fahrzeuges durchgeführt werden kann, das System aber nicht basierend auf dieser Methode detektieren kann, welche der beiden Kameras degradiert ist.
-
Aus dem Dokument
DE 102 01 520 A1 sind ein Verfahren und eine Vorrichtung zur Bildfehlererkennung bzw. -anzeige bei Bildaufnahmesystemen bekannt, wobei die Erkennung von Bildern aus der Analyse der Eingangsbilder des Bildsensors erfolgt und auch Verdeckungen des Bildsensors erkannt werden. Hierzu wird ein Histogramm des von dem Bildsensor erfassten Bildes erstellt.
-
Dabei werden die Häufigkeiten der Grauwerte des Bildes über die möglichen Grauwerte aufgetragen. Bei einem weitgehenden Kontrastverlust bzw. einer relativ homogenen Grauwertverteilung wird ein Verdeckungsfehler erkannt. Der Bildkontrast lässt sich beispielsweise über die Standardabweichung oder die Entropie der Histogrammdaten messen. Es ist weiter angegeben, dass der Verdeckungsfehler erst angezeigt werden kann, wenn ein Bildfehler mit einer vorgegebenen Häufigkeit auftritt oder wenn eine vorgegebene Anzahl von Fehlererkennungen ermittelt wurde.
-
Nachteilig dabei ist, dass die Erkennung von Verdeckungsfehlern mittels einer Messung des Bildkontrastes aus einem Histogramm des von dem Bildsensors erfassten Bildes erfolgt. Diese Messung ist mit viel Rechenaufwand verbunden. Bei der Erstellung des Histogramms müssen zunächst die Häufigkeiten der Grauwerte des Bildes gemessen werden, damit diese über die möglichen Grauwerte aufgetragen werden können. Zusätzlich erfolgt dann für die Bildkontrastmessung eine aufwendige Berechnung, die beispielweise mittels der Standardabweichung oder der Entropie der Histogrammdaten durchgeführt wird.
-
Bildaufnahmesysteme, die solche Bildkontrastmessungen durchführen müssen, müssen über Module verfügen, die eine große Rechenleistung aufweisen, vor allem, wenn solche Bildaufnahmesysteme in Verbindung mit Fahrerassistenzsystemen für Kraftfahrzeuge eingesetzt werden, die in einer geeignet kurzen Zeit auf einen Verdeckungsfehler reagieren müssen.
-
Das Dokument
DE 103 22 087 A1 offenbart ein Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems. Bei dem Verfahren werden für die einzelne Bildpunkte innerhalb der vom Kamerasystem erfassten Bilddaten Schärfemaße berechnet. Für den Fall, dass das Schärfemaß eines einzelnen Bildpunktes einen Schwellwert unterschreitet, wird auf das Vorliegen von Verschmutzung an der auf diesen Bildpunkt abgebildeten Stelle des optischen Systems entschieden.
-
Die Schrift WO 2010/ 038 223 A1 offenbart auch ein Verfahren zur Erkennung von Schmutz auf einer Linse, wobei die Bilddaten hintereinander erfasster Bilder einen Hochpassfilters passieren um vorgegebene Bereiche der erfassten Bilder zu erkennen.
-
Offenbarung der Erfindung
-
Bei dem erfindungsgemäßen Verfahren zur Eigendiagnose von Kameras wird ein Blindheitsfehler einer Kamera anhand einer Auswertung der von der Kamera aufgenommenen Bilder mittels einer Auswerteeinheit erkannt, wobei die Auswerteeinheit beim Erkennen eines Blindheitsfehlers der Kamera ein Fehlersignal erzeugt. Ein Blindheits- bzw. Degradationsfehler einer Kamera kann z.B. durch einen defekten Imager oder durch eine verdeckte Kamera hervorgerufen werden.
-
Erfindungsgemäß werden Bewegungsmerkmale aus den Bildern mindestens einer Bildreihe mittels des optischen Flusses der in der Bildreihe vorkommenden Bilder gemessen. Dabei umfasst die Bildreihe Änderungen des Kamerabildes und/oder Bildausschnittsveränderungen der Kamera. Die Auswerteeinheit erkennt dann einen Blindheitsfehler der Kamera, wenn keine signifikanten Bewegungsmerkmale aus den Bildern der Bildreihe außer Rauschen detektiert werden können.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bei dem erfindungsgemäßen Verfahren erfolgt die Messung von Bewegungsmerkmalen unmittelbar mittels des optischen Flusses der in mindestens einer Bilderreihe vorkommenden Bilder. Dabei wird jeweils der optische Fluss pro Bild verwendet. Das bedeutet, dass der optische Fluss bei der Messung der Bewegungsmerkmalen als bild-basiertes Maß und nicht als Eigenschaft verwendet wird, die Objekten zugeordnet wird. Die Messung erfolgt auch ohne die Verwendung eines Objektsmodells.
-
Dadurch kann ein Blindheitsfehler einer Kamera in einfacher Weise und ohne unnötigen Rechenaufwand erkannt werden.
-
Das erfindungsgemäße Verfahren benötigt keine nennenswerte zusätzliche Rechenleistung, falls mit einem Bildaufnahmesystem Bewegungserkennung mittels optischen Fluß durchgeführt wird.
-
Vorteilhafterweise werden Änderungen des Kamerabildes durch eine Eigenbewegung der Kamera erzeugt. Auch können Bildausschnittveränderungen der Kamera in einfacher Weise durch Zoomen hervorgerufen werden.
-
Das erfindungsgemäße Verfahren setzt eine Eigenbewegung der Kamera bzw. eine Bildausschnittveränderung (z.B. durch Zoomen) voraus.
-
Das vorgestellte Verfahren setzt darauf, dass bei nicht degradierten Kameras und einer vorausgesetzten Änderung des Kamerabildes z.B. durch eine Eigenbewegung der Kamera einige signifikante Merkmale mittels des optischen Flusses entdeckt werden müssen. Ist die Kamera degradiert, ändert sich das Bild in der Bildreihe (von Frame zu Frame) nicht mehr außer dem Rauschen.
-
Bei natürlichen Bildreihen sind benachbarte Bilder stark miteinander korreliert. In verrauschten Bildreihen geht diese räumliche Korrelation verloren.
-
Um unnötigen Rechenaufwand zu sparen, wird bei der Erfindung ein einfaches aber dennoch zuverlässiges Modell des Rauschens angenommen. Erfindungsgemäß wird insbesondere von einem unkorrelierten Rauschen ausgegangen.
-
Wenn sich das Bild in einer Bildreihe (von Frame zu Frame) nicht mehr außer dem Rauschen ändert, bedeutet das, dass in solchen Bildreihen (Framefolgen) keine signifikanten Bewegungsmerkmale mittels des optischen Flusses detektiert werden können.
-
Weiterhin wird ein Bildaufnahmesystem zur Durchführung des erfindungsgemäßen Verfahrens bereitgestellt, das mindestens eine Kamera und eine Auswerteeinheit zur Auswertung von Kamerabildern und zur Erzeugung eines Fehlersignals beim Vorliegen eines Blindheitsfehlers der Kamera umfasst.
-
Das erfindungsgemäße Verfahren kann auch bei Bildaufnahmesysteme eingesetzt werden, die Stereokamerasysteme oder Multikamerasysteme umfassen. Das erfindungsgemäße Verfahren zur Eigendiagnose von Kameras kann für jede im System vorhandene Kamera automatisch durchgeführt werden. Dadurch kann in einfacher Weise festgestellt werden, ob ein Blindheitsfehler im System vorhanden ist. Wenn das der Fall ist, kann in einfacher Weise erkannt werden, welche Kamera davon betroffen ist. Dann kann leicht überprüft werden, ob die betroffene Kamera verdeckt ist. Ein Status der Kamera(s) kann z.B. über eine Diagnoseschnittstelle des mit dem erfindungsgemäßen Bildaufnahmesystem ausgerüsteten Fahrzeugs ausgelesen werden.
-
Vorzugsweise umfasst das Bildaufnahmesystem eine Anzeigevorrichtung zum Anzeigen des von der Auswerteeinheit erzeugten Fehlersignals, z.B. innerhalb des Kombiinstruments. Bei Vorliegen eines Blindfehlers einer Kamera kann von der Auswerteeinheit eine Warnmeldung abgegeben werden. Insbesondere wird dann angezeigt, welche Kamera betroffen ist.
-
Vorteilhafterweise wird ein erfindungsgemäßes Bildaufnahmesystem in einem Fahrerassistenzsystem für Kraftfahrzeuge eingesetzt, wobei das Fahrerassistenzsystem eine Steuereinheit zum Auswerten des von der Auswerteeinheit erzeugten Fehlersignals umfasst. Wenn die Steuereinheit ein Fehlersignal von der Auswerteeinheit empfängt, gibt die Steuereinheit insbesondere eine Warnung ab.
-
Bei Kraftfahrzeugen, die ein erfindungsgemäßes Fahrerassistenzsystem aufweisen, kann eine Überprüfung der Funktionsfähigkeit der eingesetzten Kameras selbsttätig durchgeführt werden. Die Überprüfung kann vor Fahrtantritt mittels der Bildausschnittsveränderung (z.B. durch Zoomen) oder während der Fahrt mittels der Kamerabildänderungen durchgeführt werden.
-
Insbesondere kann die Steuereinheit des erfindungsgemäßen Fahrerassistenzsystems so ausgebildet sein, dass sie als Reaktion auf die Fehlermeldungen der Auswerteeinheit insbesondere in die Fahrzeugdynamik des Kraftfahrzeuges eingreift. Bei dem Vorliegen eines defekten Kamera kann dann durch die Steuereinheit z.B. eine Verringerung der Geschwindigkeit (Bremsung) hervorgerufen werden, wobei z.B. nach Erreichen eines Stillstands eine automatisierte Fahrfunktion, die auf der Kamera basiert, deaktiviert wird.
-
Ein Fahrzeugassistenzsystem mit einem erfindungsgemäßen Bildaufnahmesystem braucht keine relevanten zusätzlichen Module mit hoher Rechenleistung. Da bei einem üblichen Fahrzeugassistenzsystem eine Videokamera und eine Auswerteeinheit vorhanden sind, sind auch keine zusätzlichen Systeme zum Durchführen der erfindungsgemäßen Eigendiagnose von Kameras vorzusehen.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
- 1 eine Blockdarstellung, die schematisch die Struktur eines Fahrzeugassistenzsystem mit einem erfindungsgemäßen Bildaufnahmesystem zeigt.
-
Ausführungsform der Erfindung
-
In der 1 ist eine Blockdarstellung gezeigt, die schematisch die Struktur eines Fahrzeugassistenzsystem 10 mit einem erfindungsgemäßen Bildaufnahmesystem 20 zeigt. Das Bildaufnahmesystem 20 ist zum Durchführen der erfindungsgemäßen Eigendiagnose einer Kamera 30 ausgelegt, wobei ein Blindheitsfehler der Kamera 30 anhand einer Auswertung der von der Kamera 30 aufgenommenen Bilder mittels einer Auswerteeinheit 40 erkannt wird.
-
Ein Blindheitsfehler der Kamera 30 kann z.B. durch einen defekten Imager oder durch eine Verdeckung der Kamera 30 ausgelöst werden. Das erfindungsgemäße Verfahren setzt eine Eigenbewegung der Kamera 30 bzw. eine Bildausschnittveränderung (z.B. durch Zoomen) voraus.
-
Das erfindungsgemäße Verfahren setzt darauf, dass bei nicht degradierten bzw. nicht verdeckten Kameras 30 und einer vorausgesetzten Änderung des Kamerabildes (z.B. durch eine Eigenbewegung der Kamera 30) oder eine Bildausschnittsveränderung (z.B. durch Zoomen) einige signifikante Merkmale mittels des optischen Flusses entdeckt werden müssen. Ist die Kamera 30 degradiert oder verdeckt, ändert sich das Bild in der Bildreihe (nicht dargestellt) nicht mehr außer dem Rauschen, welches als unkorreliertes Rauschen angenommen werden darf. Dies bedeutet, dass in solchen Bildreihen keine signifikante Bewegungsmerkmale mittels des optischen Flusses detektiert werden können.
-
Die Auswerteeinheit 40 erzeugt beim Erkennen eines Blindheitsfehlers der Kamera 30 ein Fehlersignal 45. Das Fehlersignal 45 wird dann weiter an die Steuereinheit 50 des Fahrerassistenzsystems 10 übermittelt, die das Fehlersignal 45 auswertet. Die Steuereinheit 50 kann dann als Reaktion auf das Fehlersignal 45 eine Warnung abgeben und/oder in die Dynamik eines damit ausgerüsteten Fahrzeuges (nicht dargestellt) eingreifen.
-
Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in der 1 Bezug genommen.
