-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zur Erkennung von defekten Pixeln eines Bildaufnahmesensors, vorzugsweise in einem Fahrerassistenzsystem.
-
Aus dem Stand der Technik sind verschiedene Fahrerassistenzsysteme bzw. Fahrzeugsysteme, wie beispielsweise Nachtsichtgeräte, Fahrspurerkennungssysteme, Verkehrszeichenerkennungssysteme, Rückfahrunterstützungssysteme, Insassenerkennungssysteme usw. bekannt, die elektronische Kameras mit einem Bildaufnahmesensor verwenden. Der Bildaufnahmesensor ist vorzugsweise als CCD- oder CMOS-Sensorchip ausgeführt, der zur Bildverarbeitung von einer leistungsfähigen Rechnereinheit ausgewertet wird. Die Qualität der Bildverarbeitung ist unter anderem von der Anzahl von defekten Pixeln bzw. Bildpunkten des Bildaufnahmesensors abhängig, die bisher während des Betriebs im Fahrzeug nicht durch Eigendiagnose erkannt werden können.
-
In der Patenschrift
US 6,683,643 wird eine elektronische Kamera beschrieben, die in der Lage ist, defekte Pixel zu erkennen. Zur Erkennung der defekten Pixel werden in einem Testmodus vorgegebene Abbildungen mit einem Bildaufnahmesensor der elektronischen Kamera aufgenommen, die geeignet sind, defekte Pixel zu erkennen. Zur Erkennung von defekten Pixeln des Bildaufnahmesensors werden die von den einzelnen Pixeln des Bildaufnahmesensors erfassten Bilddaten der vorgegebenen Abbildung mit gespeicherten Bilddaten verglichen, die Referenzwerte zur Erkennung von defekten Pixeln repräsentieren. Die Positionen von erkannten defekten Pixeln werden in einem Speicher abgelegt. Während des Normalbetriebs der Kamera werden die durch die defekten Pixel gelieferten Bilddaten basierend auf den gespeicherten Positionsdaten durch Korrekturbilddaten ersetzt, die aus Durchschnittswerten von Bilddaten ermittelt werden, wobei die Durchschnittswerte aus Bilddaten gebildet werden, die von Pixeln erfasst werden, die benachbart zu den bekannten defekten Pixeln angeordnet sind.
-
Die
DE 102 09 552 A1 offenbart ein Verfahren, in welchem Ladungswerte unmittelbar aufeinanderfolgender Zellen miteinander verglichen werden und anhand des Vergleichs Zellen als fehlerhaft erkannt werden können.
-
Die
DE 102 01 520 A1 offenbart ein Selbstdiagnoseverfahren zur Erkennung und Klassifizierung von Bildfehlern.
-
Die
DE 102 05 691 A1 offenbart ein Verfahren für einen Bildsensor, zur Bereitstellung eines Dunkelrauschmaßes.
-
-
Die
US 5 327 246 A offenbart ein Verfahren zur Detektion und anschließenden Entfernung defekter Pixel.
-
Die
EP 1 045 578 A2 offenbart ein Verfahren zur Erkennung defekter Pixel anhand der Filterung eines Pixeldatenstroms.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Fahrerassistenzsystem mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass während eines bestimmungsgemäßen Bildaufnahmebetriebs des Bildaufnahmesensors Helligkeitswerte für jeden Pixel statistisch ausgewertet werden können. Zur statistischen Auswertung wird aus den ermittelten Helligkeitswerten für jeden Pixel mindestens eine vergleichbare Kenngröße bestimmt und mit mindestens einem vorgebbaren Referenzwert verglichen, wobei ein defekter Pixel erkannt wird, wenn die mindestens eine bestimmte Kenngröße des zugehörigen Pixels eine vorgebbare Bedingung im Bezug auf den mindestens einen Referenzwert erfüllt. Das erfindungsgemäße Verfahren kann in vorteilhafter Weise ständig im Hintergrund aktiv sein, ohne den laufenden Betrieb des Bildaufnahmesensors zu beeinflussen.
-
Zur Durchführung des erfindungsgemäßen Verfahrens zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Kamerasystem wird eine mit dem Bildaufnahmesensor verbundene Auswerte- und Steuereinheit verwendet, die beispielsweise eine leistungsfähige Recheneinheit zur Bildverarbeitung umfasst, die Teil des zugehörigen Fahrerassistenzsystems sein kann, so dass eine kostengünstige Implementierung des erfindungsgemäßen Verfahrens ohne zusätzliche Hardware möglich ist.
-
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch 1 angegebenen Verfahrens zur Erkennung von defekten Pixeln eines Bilderfassungssensors, vorzugsweise in einem Fahrerassistenzsystem möglich.
-
Besonders vorteilhaft ist, dass die Kenngrößen aus den erfassten Helligkeitswerten über eine zeitlich gleitende Mittelwertbildung mittels einer Fensterung mit konstanter oder variabler Breite und/oder mit einer rekursiven Filterung bestimmt werden, wobei die bestimmten Kenngrößen Mittelwerte und/oder Maximalwerte und/oder Minimalwerte und/oder maximale und/oder minimale Differenzwerte und/oder Standardabweichungen umfassen.
-
In Ausgestaltung des erfindungsgemäßen Verfahrens zur Erkennung von defekten Pixeln eines Bildaufnahmesensors wird ein defekter Pixel beispielsweise erkannt, wenn die mindestens eine bestimmte Kenngröße des entsprechenden Pixels einen ersten vorgegebenen Referenzwert erreicht und/oder überschreitet oder einen zweiten vorgegebenen Referenzwert erreicht und/oder unterschreitet, wobei der erste vorgegebene Referenzwert einem Maximalwert und der zweite vorgegebene Referenzwert einem Minimalwert entspricht. Diese Erkennung von defekten Pixeln beruht auf der Annahme, dass ein defekter Pixel schwarz oder weiß erscheint, d. h. einen dunklen oder hellen Extremwert annimmt, und ist in vorteilhafter Weise sehr einfach und mit relativ geringen Rechnerressourcen durchzuführen. Daher können während des Bildaufnahmebetriebs des Bildaufnahmesensors alle Pixel dahingehend geprüft werden, ob sie permanent Bilddaten ausgeben, die einen schwarzen oder weißen Wert repräsentieren.
-
Zusätzlich oder alternativ kann eine Differenz von zeitlich aufeinander folgenden gleichen Kenngrößen für jeden Pixel ausgewertet werden, wobei ein defekter Pixel erkannt wird, wenn über einen vorgegebenen Zeitraum die ermittelte Differenz einen vorgegebenen dritten Referenzwert erreicht und/oder unterschreitet. Diese „einfache” Statistik ermöglicht in vorteilhafter Weise einen effizienten Ablauf mit geringen Rechnerressourcen und kann auch bei Nacht eingesetzt werden.
-
In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens zur Erkennung von defekten Pixeln eines Bildaufnahmesensors wird mindestens eine ermittelte Kenngröße für jeden Pixel mit der mindestens einen gleichen ermittelten Kenngröße der benachbarten Pixel verglichen, wobei auf einen defekten Pixel geschlossen wird, wenn Differenzen zwischen der mindestens einen ermittelten Kenngröße des entsprechenden Pixels und den ermittelten Kenngrößen seiner benachbarten Pixel einen vorgegebenen vierten Referenzwert erreichen und/oder überschreiten. Diese Erkennung von defekten Pixeln beruht auf der Annahme, dass eine zeitliche Dynamik von Helligkeitsschwankungen, die während des Bildaufnahmebetriebs auf den Bildaufnahmesensor einwirken, bei direkt benachbarten Pixeln annähernd gleich ist. Es wird davon ausgegangen, dass diese Annahme während des normalen Fahrbetriebs aufgrund der Relativbewegung zwischen Fahrzeug und aufgenommener Szene, außer bei Fahrzeugstillstand, immer erfüllt ist.
-
Zur Auswertung der benachbarten Pixel kann beispielsweise ein Analysefenster mit einer vorgebbaren Anzahl von Pixeln verwendet werden, das schrittweise über einen Bildbereich des Bildaufnahmesensors verschoben wird. Dies ermöglicht in vorteilhafter Weise eine Einsparung von Rechnerressourcen. So kann beispielsweise ein Bereich von drei Pixeln in einer Reihe bzw. Spalte verwendet werden, der nach und nach über den gesamten Bildbereich des Bildaufnahmesensors verschoben wird, so dass am Ende des Durchlaufs jeder Pixel bewertet wurde.
-
In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens zur Erkennung von defekten Pixeln eines Bildaufnahmesensors, vorzugsweise in einem Fahrerassistenzsystem kann der Bildbereich des Bildaufnahmesensors in Abhängigkeit von der Wichtigkeit und/oder einer zur erwartenden Änderungsrate in verschiedene Zonen aufgeteilt werden, die in einer definierten Abfolge nacheinander geprüft werden. Die Wichtigkeit des Bildbereichs ergibt sich beispielsweise aus seiner Position, d. h. ob er in der Bildmitte oder im Randbereich des Bildaufnahmesensors angeordnet ist. Die zu erwartende Änderungsrate kann sich beispielsweise ebenfalls aus der Position des zugehörigen Bildbereichs ergeben, so kann die Änderungsrate beispielsweise im oberen Bereich des Bildaufnahmesensors gering sein, in dem vorzugsweise der Himmel aufgenommen wird. Bei der definierten Abfolge der Überprüfung der verschiedenen Zonen können beispielsweise wichtige Zonen häufiger geprüft werden als unwichtige Zonen.
-
In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens zur Erkennung von defekten Pixeln eines Bildaufnahmesensors, vorzugsweise in einem Fahrerassistenzsystem wird vor der Einzelüberprüfung der Pixel eine Schätzung globaler Merkmale durchgeführt, die eine Bildung von statistischen Maßzahlen für einen betrachteten Bereich umfasst, wobei die Einzelüberprüfung der Pixel ausgeführt wird, wenn die zeitliche Änderung der statistischen Maßzahlen im betrachteten Bereich einen vorgegebenen fünften Referenzwert erreicht und/oder überschreitet. Diese Maßnahme erhöht in vorteilhafter Weise die Störsicherheit und verringert die Fehlalarmrate. So kann beispielsweise die Überprüfung, ob ein Pixel permanent Bilddaten ausgibt, die einen schwarzen oder weißen Wert repräsentieren, nur durchgeführt werden, falls der durchschnittliche Grauwert des erfassten Bildes oder eines erfassten Teilbereichs des Bildes, in dem sich der entsprechende Pixel befindet, innerhalb eines definierten Wertebereichs liegt.
-
Durch eine nachgeschaltete Plausibilitätsprüfung bei erkannten zusammenhängenden defekten Pixeln können im erfassten Bild statische Zonen erkannt werden, die beispielsweise durch Teile des eigenen Fahrzeugs oder durch Schmutz vor dem Objektiv verursacht werden können. Diese statischen Zonen betreffen normalerweise mehr als einen einzelnen Pixel und können dadurch erkannt werden, dass ein gleichzeitiger Ausfall mehrer benachbarter Pixel sehr unwahrscheinlich ist.
-
Die Zeitintervalle für die Auswertung können in vorteilhafter Weise in Abhängigkeit von erfassten fahrdynamischen Größen vorgegeben werden, wobei die fahrdynamischen Größen eine Fahrzeuggeschwindigkeit und/oder einen Lenkwinkel und/oder einen Wank- und Nickwinkel umfassen. So kann bei einer hohen zu erwartenden Änderungsrate, z. B. bei einer hohen Fahrzeuggeschwindigkeit, ein kleines Zeitintervall eingestellt werden und bei einer kleinen zu erwartenden Änderungsrate, z. B. bei einer niedrigen Fahrzeuggeschwindigkeit oder beim Fahrzeugstillstand, kann entsprechend ein größeres Zeitintervall eingestellt werden.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
-
Kurze Beschreibung der Zeichnungen
-
1 zeigt ein schematisches Blockdiagramm einer Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors, vorzugsweise in einem Fahrerassistenzsystem.
-
2 zeigt eine schematische Darstellung einer Bildaufnahmefläche eines in 1 dargestellten Bildaufnahmesensors.
-
Ausführungsformen der Erfindung
-
Wie aus 1 ersichtlich ist, umfasst eine Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors 5 in einem Fahrerassistenzsystem eine Auswerte- und Steuereinheit 20, die Positionen von als defekt erkannten Pixeln des Bildaufnahmesensors 5 in einem Fehlerspeicher 31 ablegt. Zudem kann die Auswerte- und Steuereinheit 20 zur Erkennung von defekten Pixeln Informationen von Fahrzeugsystemen 33, 34 auswerten, wobei die Informationen beispielsweise eine aktuelle Fahrzeuggeschwindigkeit und/oder einen aktuellen Lenkwinkel und/oder einen aktuellen Wank- und Nickwinkel des Fahrzeugs betreffen. Die als defekt erkannten Pixelpositionen des Bildaufnahmesensors können beispielsweise über eine mit der Auswerte- und Steuereinheit 20 gekoppelte Ausgabeeinheit 32 ausgegeben werden.
-
Die Auswerte- und Steuereinheit 20 wertet während des bestimmungsgemäßen Bildaufnahmebetriebs des Bildaufnahmesensors 5 ohne Beeinflussung des laufenden Betriebs Helligkeitswerte für jeden Pixel statistisch aus, wobei die Auswerte- und Steuereinheit 20 zur statistischen Auswertung für jeden Pixel aus den ermittelten Helligkeitswerten mindestens eine vergleichbare Kenngröße bestimmt, die mit mindestens einem vorgebbaren Referenzwert verglichen wird. Die Auswerte- und Steuereinheit 20 bestimmt die Kenngrößen beispielsweise über eine zeitlich gleitende Mittelwertbildung mittels einer Fensterung mit konstanter Breite und/oder mit einer rekursiven Filterung. Die bestimmten Kenngrößen umfassen z. B. Mittelwerte und/oder Maximalwerte und/oder Minimalwerte und/oder maximale und/oder minimale Differenzwerte und/oder Standardabweichungen der erfassten Helligkeitswerte. Die Auswerte- und Steuereinheit 20 erkennt einen defekten Pixel, wenn die bestimmte mindestens eine Kenngröße des zugehörigen Pixels eine vorgebbare Bedingung im Bezug auf den mindestens einen Referenzwert erfüllt.
-
Zur Erkennung von defekten Pixeln umfasst die Auswerte- und Steuereinheit 20 eine nicht dargestellte leistungsfähige Recheneinheit zur Bildverarbeitung und kombiniert verschiedene Algorithmen, die sich in ihrer Komplexität und Effektivität unterscheiden.
-
Gemäß einem ersten Algorithmus wird vorausgesetzt, dass ein defekter Pixel des Bildaufnahmesensors 5 schwarz oder weiß erscheint, d. h. einen dunklen oder hellen Extremwert annimmt. Daher prüft die Auswerte- und Steuereinheit 20 während des Bildaufnahmebetriebs des Bildaufnahmesensors 5 die Bilddaten von allen Pixeln dahingehend, ob die ausgegebenen Bilddaten permanent einen schwarzen oder weißen Wert repräsentieren. Die Auswerte- und Steuereinheit 20 erkennt einen weißen Wert, wenn die mindestens eine bestimmte Kenngröße des entsprechenden Pixels beispielsweise einen ersten vorgegebenen Referenzwert erreicht und/oder überschreitet, und den schwarzen Wert, wenn die mindestens eine bestimmte Kenngröße einen zweiten vorgegebenen Referenzwert erreicht und/oder unterschreitet. Der erste vorgegebene Referenzwert entspricht beispielsweise einem maximalen Helligkeitswert und der zweite vorgegebene Referenzwert entspricht beispielsweise einem minimalen Helligkeitswert. Die Auswerte- und Steuereinheit 20 führt diese Überprüfung jedoch nur aus, wenn ein als globales Merkmal geschätzter durchschnittlicher Grauwert des erfassten Bildes oder eines Teilbereichs des erfassten Bildes innerhalb eines definierten Wertebereichs liegt.
-
Gemäß einem zweiten Algorithmus wertet die Auswerte- und Steuereinheit 20 eine Differenz von zeitlich aufeinander folgenden gleichen Kenngrößen für jeden Pixel aus.
-
Die Auswerte- und Steuereinheit 20 erkennt einen defekten Pixel, wenn über einen vorgegebenen Zeitraum die ermittelte Differenz einen vorgegebenen dritten Referenzwert erreicht und/oder unterschreitet, d. h. wenn sich die Differenz von zeitlich aufeinander folgenden Helligkeitswerte eines Pixels nicht mehr bzw. nur noch unwesentlich unterscheiden.
-
Gemäß einem dritten Algorithmus wird vorausgesetzt, dass die zeitliche Dynamik der Helligkeitsschwankungen, die während des Betriebs des Bildaufnahmesensors 5 auf diesen einwirken, bei direkt benachbarten Pixeln annähernd gleich ist. Es kann davon ausgegangen werden, dass diese Voraussetzungen während des normalen Fahrbetriebs, nicht unbedingt bei Stillstand des Fahrzeugs, aufgrund der Relativbewegung zwischen Fahrzeug und der aufgenommenen Szenerie immer erfüllt sind. Die Auswerte- und Steuereinheit 20 vergleicht die mindestens eine ermittelte Kenngröße für jeden Pixel mit der mindestens einen gleichen ermittelten Kenngröße der benachbarten Pixel. Wird eine dauerhafte signifikante Abweichung erkannt, dann schließt die Auswerte- und Steuereinheit 20 auf einen defekten Pixel. Das bedeutet, dass die Auswerte- und Steuereinheit 20 auf einen defekten Pixel schließt, wenn Differenzen zwischen der mindestens einen ermittelten Kenngröße des entsprechenden Pixels und den zugehörigen ermittelten Kenngrößen seiner benachbarten Pixel einen vorgegebenen vierten Referenzwert erreichen und/oder überschreiten.
-
Zur Einsparung von Rechnerressourcen können die beschriebenen Algorithmen sukzessive auf aneinander angrenzende Teilbereiche des gesamten Bildbereichs 10 des Bilderfassungssensors 5 angewendet werden. Zur Auswertung der benachbarten Pixel kann beispielsweise ein Analysefenster mit einer vorgebbaren Anzahl von Pixeln verwendet werden, das schrittweise über den Bildbereich 10 des Bildaufnahmesensors 5 verschoben wird. Der kleinste sinnvolle Bereich umfasst drei Pixel, die nebeneinander in einer Reihe bzw. einer Spalte angeordnet sind. Dieses „Analysefenster” kann dann nach und nach über den ganzen Bildbereich 10 verschoben werden, so dass am Ende des Durchlaufs jedes Pixel bewertet wurde. Durch das Analysefenster erfordert die Erkennung eines spontan auftretenden Pixelfehlers einige Frames oder Bilder. Dies ist jedoch bei vielen Anwendungen nicht kritisch, da die Auswirkungen eines Pixelfehlers normalerweise nicht zum sofortigen Versagen des zugehörigen Fahrerassistenzsystems bzw. Fahrzeugsystems 33, 34 führen.
-
Zudem kann, wie aus 2 ersichtlich ist, der Bildbereich 10 des Bildaufnahmesensors 5 in verschiedene Zonen, vorzugsweise in fünf verschiedene Zonen 11, 12, 13, 14, 15 aufgeteilt werden, die separat nach defekten Pixeln untersucht werden und in einer definierten Abfolge nacheinander geprüft werden. Die Aufteilung erfolgt beispielsweise in Abhängigkeit von der Wichtigkeit und/oder der zur erwartenden Helligkeitsänderungsrate. Die Zonen 11, 12, 13, 14, 15 werden in der definierten Abfolge nacheinander geprüft, wobei wichtige Zonen 11, 12, die in der Bildmitte angeordnet sind, häufiger geprüft werden als unwichtige Zonen, 12, 13, 14, die in Randbereichen des Bildbereichs 10 angeordnet sind. Zudem können die verschiedenen Zonen 11, 12, 13, 14, 15 in Abhängigkeit der zu erwartenden Änderungsrate überprüft werden, wobei eine im oberen Bildbereich 10 angeordnete Zone 15, die vorzugsweise den Himmel aufnimmt, eine geringere Änderungsrate aufweist und daher nicht so häufig überprüft werden muss. Gemäß einer möglichen Abfolge können die fünf definierten Zonen 11, 12, 13, 14, 15 innerhalb eines Prüfzyklus beispielsweise so überprüft werden, dass die Zone 11 jedes zweite Mal geprüft wird, die Zone 12 jedes vierte Mal, die Zone 13 jedes achte Mal und die Zonen 14 und 15 jeweils jedes sechzehnte Mal geprüft werden. Dabei ist es vorteilhaft, dass die Anzahl, Lage und/oder Größe der Zonen 11, 12, 13, 14, 15 in Abhängigkeit von einer konkreten Applikation und/oder einem frei wählbaren Diagnosemuster definiert werden kann.
-
Zur Erhöhung der Störsicherheit und zur Erzielung einer geringeren Falschalarmrate können Überprüfungen vorgenommen werden, die feststellen, ob eine Überprüfung mit einer ausreichend hohen Detektionswahrscheinlichkeit eines Pixelfehlers bzw. Sicherheit durchgeführt werden kann. Dies geschieht beispielsweise durch eine vorgeschaltete Schätzung von globalen Merkmalen, die zur Bildung von statistischen Maßzahlen für eine erweiterte Nachbarschaft von Bildpunkten bzw. von betrachteten Bildausschnitten geeignet sind. Falls in den betrachteten Bereichen die zeitliche Änderung der statistischen Maßzahlen einen Schwellwert nicht überschreitet, ist die Durchführung der Einzelpixelüberprüfungen in diesen Bereichen nicht sinnvoll.
-
Werden mehrere zusammenhängende defekte Pixel erkannt, dann kann eine Plausibilitätsprüfung nachgeschaltet werden, die auch eine Erkennung von statischen Bereichen innerhalb des Bildbereichs 10 ermöglicht, da ein gleichzeitiger Ausfall von mehren benachbarten Pixeln sehr unwahrscheinlich ist. Die statischen Zonen können beispielsweise durch Teile des eigenen Fahrzeugs oder durch Schmutz vor dem Objektiv verursacht werden.
-
Zusätzlich können die Zeitintervalle, die zur Bestimmung bzw. zur Auswertung der Kenngrößen der Helligkeitswerte verwendet werden, in Abhängigkeit von erfassten fahrdynamischen Größen vorgegeben werden, wobei die fahrdynamischen Größen vorzugsweise eine Fahrzeuggeschwindigkeit und/oder einen Lenkwinkel und/oder einen Wank- und Nickwinkel umfassen. Grundsätzlich können alle verfügbaren fahrdynamischen Größen herangezogen werden, die sich auf das Sichtfeld der Kamera auswirken. Bei einer hohen zu erwartender Änderungsrate, z. B. bei einer hohen aktuellen Fahrgeschwindigkeit, kann dann ein kleines Zeitintervall vorgegeben werden. Bei einer kleinen zu erwartenden Änderungsrate, z. B. bei einer niedrigen aktuellen Fahrzeuggeschwindigkeit, kann entsprechend ein größeres Zeitintervall vorgegeben werden.
