DE10201520A1

DE10201520A1 - Verfahren und Vorrichtung zur Bildfehlererkennung b zw. -anzeige bei Bildaufnahmesystemen

Info

Publication number: DE10201520A1
Application number: DE10201520A
Authority: DE
Inventors: Matthias Franz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2002-01-17
Filing date: 2002-01-17
Publication date: 2003-07-31
Also published as: WO2003061300A1; US20040169745A1; JP2005515733A; EP1468572A1

Abstract

Es werden ein Verfahren und Vorrichtung zur Fehlererkennung bzw. -anzeige bei Bildaufnahmesystemen vorgeschlagen, wobei eine Selbstdiagnosefunktion vorgesehen ist, die Bildfehler erkennt und klassifiziert. Das Bildaufnahmesystem gibt Fehlersignale aus, welche das Vorhandensein des Bildfehlers und die Art des Bildfehlers anzeigen.

Description

Stand der Technik

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildfehlererkennung bzw. -anzeige bei Bildaufnahmesystemen, insbesondere im Kraftfahrzeug.

Bekannt sind Selbstdiagnosefunktionen für Bildaufnahmesystemen, insbesondere für Kameras für Video-Überwachungssystemen, die sich auf die Detektion von Ausfällen elektronischer Komponenten mittels spezieller Schaltungsanordnungen beziehen oder die einen Ausfall des Bildsensors selbst durch Vergleich mit einem gespeicherten Referenzbild erkennen (vgl. z. B. JP 11-027704 A). Bei Anwendungen, bei denen auf der Basis des ermittelten Bildes Folgemaßnahmen abgeleitet werden, ist nicht nur der Ausfall des Bildsensors zu erkennen, sondern auch andere Fehlerumstände, die zu einem fehlerhaften Bild und damit ggf. zur fehlerhaften Schlussfolgerungen auf der Basis dieses Bildes führen können. Beispiele für solche Anwendungen ist der Kraftfahrzeugbereich, in dem in Verbindung mit videobasierten Fahrerassistenzsystemen Vorschläge für verschiedene, aus Videobildern abgeleiteten Massnahmen bekannt sind, von Warnungen bei Verlassen der Fahrspur bis hin zur automatischen Kollisionsvermeidungsbremsung.

Vorteile der Erfindung

In vorteilhafter Weise zeigt das Bildaufnahmesystem über ein Fehlercodesignal einen Bildfehler an. Auf der Basis dieses Fehlercodesignals können dann der Bildbetrachter oder die nachfolgenden, auswertenden Systeme entscheiden, ob das übermittelte Bild zur Weiterverarbeitung geeignet ist.

Vorteilhaft ist ferner, dass erweiterte Detektionsmöglichkeiten bereitgestellt werden. Es werden eine große Anzahl von Bildfehlerklassen erkannt, die weit über eine Erkennung des bloßen Ausfalls einer Hardwarekomponente hinausgehen. Dadurch wird wirkungsvoll vermieden, dass schwerwiegende Ausfälle des Gesamtsystems in Folge von Bildfehlern entstehen. Der erkannte Fehler kann klassifiziert werden und die Fehlerklasse im Fehlercodesignal mitgeteilt werden.

In besonders vorteilhafter Weise erfolgt die Erkennung von Bildfehlern allein aus der Analyse der Eingangsbildes des Bildsensors (z. B. einer Videokamera) unter Verwendung von Methoden der Statistik und der Bildverarbeitung. Damit können in wirkungsvoller Weise eine große Anzahl von Bildfehlern detektiert und klassifiziert werden. Besonders vorteilhaft ist, dass Belichtungsfehler, Verrauschungen des Bildes, Verdeckungen des Bildsensors und Unschärfen des Bildes erkannt und entsprechend angezeigt werden.

Besonders vorteilhaft ist die Verwendung der Fehlererkennung bzw. -anzeige für videobasierte Fahrerassistenzsysteme in Kraftfahrzeugen. Auf diese Weise ist es dem videobasierten Fahrerassistenzsystem möglich, auf den erkannten Bildfehlertyp geeignet zu reagieren.

Dabei ist vorteilhaft, dass das Bildaufnahmesystem solche Bildfehler ohne zusätzliche Komponenten selbst erkennt, klassifiziert und an nachfolgende Bildbearbeitungsmodule weitergibt.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen bzw. aus den abhängigen Patentansprüchen.

Zeichnung

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert. Die einzige Figur zeigt dabei ein Bildaufnahmesystem, insbesondere eine Kamera, mit bildbasierter Selbstdiagnosefunktion.

Beschreibung von Ausführungsbeispielen

In Fig. 1 ist ein Bildaufnahmesystem mit Bildsensor 10 dargestellt, beispielsweise eine CCD- oder eine CMOS-Kamera, welcher Bilder an eine Auswerteeinheit 12 sendet. Diese Auswerteeinheit 12 umfasst Module zur Selbstdiagnose des Bildaufnahmesystems 10. Die ermittelten Fehler werden dann über die Schnittstelle 14 als Fehlercodesignal (elektrisch, digital, akustisch und/oder visuell) zur Anzeige, Information und/oder Speicherung an nachfolgende Systeme übertragen. Diese nachfolgenden Systeme werten den Fehlercode aus und reagieren entsprechend, z. B. indem sie das gelieferte Bild nicht auswerten, eine Funktionsstörung anzeigen oder Ersatzmaßnahmen (Verwendung nur der Information, die aus dem fehlerbehafteten Bild fehlerfrei zu entnehmen ist) einleiten.
Die Auswerteeinheit 12 umfasst Module, die auf der Basis der Analyse der Eingangsbilder des Bildsensors mit Methoden der Statistik und/oder der Bildverarbeitung Bildfehler detektieren und klassifizieren. Als Bildfehler sind dabei alle Beeinträchtigungen der Bildqualität der Kamerabilder zu verstehen, insbesondere die, welche die Funktion nachfolgender Verarbeitungssysteme (z. B. Spurwarner, Anti-Kollisionssysteme, etc.) beeinträchtigen können. Insbesondere werden als Bildfehler Unter- und Überbelichtungen, starke Verrauschungen des Bildes, Verdeckung des Bildes oder eines Teils Bildes oder Unschärfen in der optischen Abbildung verstanden. Diese Bildfehler werden auf der Basis der nachfolgenden beispielhaft beschriebenen Vorgehensweisen erkannt, entsprechende, den jeweiligen Bildfehler charakterisierende Fehlercodes erzeugt und weitergegeben.
Die Auswerteeinheit 12 besteht im bevorzugten Ausführungsbeispiel aus einem Rechner, in dem Programme ablaufen, die die nachfolgend beschriebenen Vorgehensweisen zur Fehlererkennung, Fehlercodeerzeugung und -ausgabe durchführen. Dabei wird nach je Ausführungsbeispiel alle genannten Fehlererkennungsmaßnahmen oder auch nur ein Teil davon in beliebiger Kombination, im Einzelfall auch nur eine der Fehlererkennungsmaßnahmen, eingesetzt.
Zur Erkennung und Identifizierung eines Belichtungsfehlers wird im Modul 16 ein Histogramm des von dem Bildsensor 10 erfassten Bildes erstellt. Dabei werden die Häufigkeiten der Grauwerte des Bildes über den möglichen Grauwerten aufgetragen. Zeigt sich im Histogramm eine Häufung von Grauwerten am unteren bzw. am oberen Ende des Wertebereichs, so liegt eine Unter- bzw. Überbelichtung vor. Diese Auswertung findet im Modul 18 statt, wo z. B. überprüft wird, ob die Häufigkeiten von Grauwerten am unteren oder am oberen Ende bestimmte Grenzwerte überschreiten. Eine andere Möglichkeit ist, dass ein mittlerer Grauwert festgestellt wird und durch Vergleich mit vorgegebenem Grenzwerten eine Unter- oder Überbelichtung erkannt wird. Ist infolge dieser Auswertung von einer Unter- oder Überbelichtung des Bildes auszugehen, wird, im Modul 22 ein entsprechendes Fehlercodesignal erzeugt und ausgegeben.
Ein weiterer Fehlerzustand, der aus dem in 16 gebildeten Histogramm abgeleitet wird, ist der Verdeckungsfehler. Wird die Kamera durch einen lichtundurchlässigen Gegenstand direkt vor dem Objektiv abgedeckt, z. B. durch einen Deckel oder eine vorgehaltene Hand, so führt dies im Sensorbild zu einem weitgehenden Kontrastverlust bzw. zu einer relativ homogenen Grauwertverteilung. Der Bildkontrast lässt sich beispielsweise über die Standardabweichung oder die Entropie der Histogrammdaten messen. Dies erfolgt im Modul 24, während bei erkanntem Fehler im Modul 28 ein Fehlersignal mit einem entsprechenden Fehlercode erzeugt und ausgegeben wird.
Neben dieser Art der Verdeckungserkennung wird bei Stereokameras durch Vergleich der aufgenommenen Bilder, z. B. durch Vergleichen der Histogramme der beiden Bilder, eine einseitige Verdeckung der Stereokamera ermittelt. Die Verdeckung einer von zwei Kameras bei einer Stereokamera wird auch über andere Verfahren, beispielsweise durch direkten Vergleich der Pixel, etc. erkannt. Details sind in einer zeitgleich eingereichten Patentanmeldung desselben Anmelders beschrieben. Auch hier muss eine vorbestimmte Anzahl von Fehlererkennungen vorliegen, um ein Fehlersignal zu generieren. Ein anderer Fehlerzustand, der als Verdeckungsfehler klassifiziert wird, ist eine kurzzeitige, teilweise Verdeckung des Kamerabildes, beispielsweise beim Vorbeiführen eines Scheibenwischers vor dem Bildsensor. Diese Verdeckungssituation wird durch ein Modell ermittelt, welches auf der Basis des letzten oder wenigstens zwei vorangegangener Bilder die Belichtungssituation des nächsten Bildes abschätzt. Ist die tatsächliche Belichtungssituation um ein vorbestimmtes Maß hinaus anders als die vorhergesagte, wird von einer teilweisen, dynamischen Verdeckung des Bildes ausgegangen. Hier wird wegen der nur kurzzeitigen Verdeckung ein Fehlercodesignal unmittelbar generiert.
Eine weitere Fehlerklasse betrifft die Verrauschung des Bildes. Zu diesem Zweck wird in Modul 30 die Korrelation der Grauwerte benachbarter Pixel des Bildes ausgewertet. Die Grauwerte benachbarter Pixel sind in natürlichen Bildern stark miteinander korreliert. Ist das Bild des Bildsensors verrauscht, so geht diese räumliche Korrelation verloren. Zur Detektion dieses Fehlers wird also die räumliche Korrelation der Pixel in einem vorgewählten Bildbereich mittels Berechnung einer Korrelationsfunktion bestimmt. Das Ergebnis zeigt entweder die in natürlichen Bildern starke Korrelation der Grauwerte oder die bei einer Rauschsituation fehlende Korrelation der Grauwerte. Fehlt die räumliche Korrelation, so wird ein Bildfehler angenommen. Zur Fehlererkennung wird die Korrelationsfunktion mit einem Grenzwert verglichen, der eine zulässige Größe der Korrelationsfunktion bezeichnet. Ist ein solcher Bildfehler erkennt, wird im Modul 34 wird das Fehlercodesignal erzeugt und ausgegeben. Im bevorzugten Ausführungsbeispiel wird ein Fehlercodesignal für den Verrauschungsfehler nur für eine bestimmte Anzahl von Fehlererkennung erzeugt, da eine große Anzahl von erkannten Verrauschungsfehlern auf andere Fehler (nicht Bildfehler) hindeutet (Schwellenwertstufe 32).
Eine weitere Verbesserung kann erreicht werden, wenn die Korrelation zeitlich berechnet wird, d. h. auf der Basis aufeinanderfolgender Bilder. Dies erlaubt zusätzlich die Detektion weiterer Fehler wie z. B. Synchronisierungsprobleme der Kamera. In diesem Fall wird die Korrelationsfunktion einzelner Pixel in einem bestimmten Bildbereich von nacheinanderfolgenden Bildern ermittelt und entsprechend behandelt.
Ein weiterer Fehlerzustand wird in Modul 36 ermittelt, die Unschärfe. Wird ein unscharfes Bild erkannt, so wird ein Fehler ermittelt. Dann wird im Modul 40 ein Fehlersignal mit dem Fehlercode "Unschärfe" erzeugt und ausgegeben. Die Unschärfe selbst wird beispielsweise mittels eines Kontrastspektrums oder aus dem Fourierspektrum oder aus der Autokorrelationsfunktion gewonnen. Details zur Unschärfemessung sind in einer zeitgleich eingereichten Patentanmeldung desselben Anmelders beschrieben.
Weitere im Bild detektierbare Fehler sind z. B. Sprünge im Glas der Windschutzscheibe vor dem Bildsensor (z. B. aus Unschärfe), Klebefehler im Substrat zwischen Objektiv und Scheibe oder wie oben erwähnt Teilverdeckungen durch opake Objekte wie z. B. Aufkleber oder Schmutz.
Die oben dargestellten Module werden je nach Ausführung parallel betrieben oder in beliebiger Zusammensetzung.
Somit wird bei Vorliegen eines bestimmten Fehlers im Bild des Bildsensors ein Fehlersignal mit einem bestimmten Fehlercode ausgegeben, welches auf den bestimmten Bildfehler hinweist. Beispielsweise werden bei einer zu starken oder zu schwachen Beleuchtung der vom Sensor aufgenommen Szene, bei Verdecken oder Defocussieren des Objektivs oder bei Präsentation eines Rauschbildes die entsprechenden Fehlercodes ermittelt und ausgegeben.
Die oben angegebenen Fehler, insbesondere hinsichtlich Verdeckung, Belichtungsfehler und/oder Unschärfe werden in einem bevorzugten Ausführungsbeispiel erst dann angezeigt, wenn ein Bildfehler mit einer vorgegebenen Häufigkeit auftritt oder wenn eine vorgegebene Anzahl von Fehlererkennungen (symbolisiert durch Schwellen 20, 26, 38) ermittelt wurde. Dadurch werden zu häufige Fehlermeldungen vermieden.
In anderen Ausführung wird jeder erkennte Fehler angezeigt, insbeosndere dann, wenn nachfolgenden Systeme umfangreiche Fehlerbewertungs- und -reaktionsmassnahmen zugeordnet sind.
Neben der Art des Fehlers wird in einem Ausführungsbeispiel ferner das Ausmaß des Fehler, d. h. seine Schwere erkannt und übermittelt. Im Beispiel der Unschärfe erfolgt dies beispielsweise auf der Basis der mittleren Steigung des Kontrastspektrum, bei der Verrauschung auf der Basis der Größe der Korrelationsfunktion. Die Schwere des Fehler ist dabei entweder im Fehlersignal codiert oder wird als Wert zusätzlich übertragen. Auf der Basis einer solchen Information wird es nachfolgenden Systemen ermöglicht, ihre Reaktion abhängig von der Fehlerschwere zu steuern.
Die vorstehend beschriebene Vorgehensweise ist nicht nur auf den Einsatz von Bildaufnahmesystemen im Kraftfahrzeug beschränkt, sondern wird überall dort angewendet, wo in Verbindung mit Bildaufnahmesystemen die Kenntnis der Fehlerart und die Information nachfolgender Systeme oder Betrachter über die Fehlerart eine wesentliche Rolle spielt.

Claims

1. Verfahren zur Bildfehlererkennung und -anzeige bei Bildaufnahmesystemen, wobei von einem Bildsensor ein Bild erfasst wird, welches einer Auswerteeinheit zugeführt wird, dadurch gekennzeichnet, dass die Auswerteeinheit bei Vorliegen eines Bildfehlers ein Fehlersignal abgibt, welches die Art des Bildfehlers angibt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Auswerteeinheit ferner bei Vorliegen eines Bildfehlers ein Fehlersignal abgibt, welches das Ausmaß des Bildfehlers angibt

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fehlererkennung und die Fehlerklassifizierung allein auf der Basis des vom Bildsensor übermittelten Bildes erfolgt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass folgende Bildfehler angegeben werden: "Unter- bzw. Überbelichtung", "Verdeckung", "Verrauschung" und/oder "unscharfes Bild".

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeige des Bildfehlers über ein elektrisches, vorzugsweise digitales Fehlercodesignal und/oder entsprechende visuelle und/oder akustische Signale erfolgt.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Belichtungsfehler auf der Basis des Histogramms der Grauwerte ermittelt wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Verdeckung aus dem Histogramm der Grauwerte des Sensorbildes abgeleitet wird.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Verrauschungsfehler mit Hilfe der räumlichen Korrelation von Pixeln des Bildes bestimmt wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Unschärfemessung mit Hilfe eines Kontrastspektrums, eines Fourierspektrums oder einer Autokorrelationsfunktion ermittelt wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bildaufnahmesystem in Verbindung mit einem Fahrerassistenzsystem für Kraftfahrzeuge eingesetzt wird, wobei das ermittelte Fehlersignal an nachfolgende Steuersysteme zur Auswertung übermittelt wird.

11. Vorrichtung zur Bildfehlererkennung bzw. -anzeige bei Bildaufnahmesystemen, mit einem Bildsensor, der ein Bild erzeugt, mit einer Auswerteeinheit, die das Bild auswertet und wenigstens ein Fehlersignal erzeugt, dadurch gekennzeichnet, dass die Auswerteeinheit Mittel aufweist, welche bei Vorliegen eines Bildfehlers das Fehlersignal erzeugen, wobei das Fehlersignal die Art des Bildfehlers anzeigt.