-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft allgemein das technische Gebiet von digitalen Bildgebern wie beispielsweise Digitalkameras und insbesondere einen Kamerakopf für ein Kraftfahrzeugsichtsystem wie beispielsweise ein Kraftfahrzeug-Nachtsichtsystem.
-
Technischer Hintergrund
-
Digitalkameras werden immer häufiger bei Kraftfahrzeugen in Fahrerassistenzsystemen oder in Fahrzeugsicherheitssystemen verwendet. Kameras werden beispielsweise zur Überwachung des Innenraums des Fahrzeugs benutzt. Die durch diese Innenkameras erhaltenen Informationen können dazu verwendet werden, Informationen über die Sitzbelegung und Informationen, die für Gurtwarnsysteme oder Airbagentfaltungssysteme zu verwenden sind, zu erfassen. Innenkameras können auch allgemein für die Überwachung des Zustands des Fahrers und insbesondere für die Überwachung von Vitalparametern des Fahrers benutzt werden, also eine Verwendung, die mit der Einflussnahme der modernen Fahrerassistenzsysteme wie Notbrems-, Spurhalte- und eCall-Systeme zunimmt, die verbessert werden können, indem Mitteilungen über Zustand und Verhalten des Fahrers berücksichtigt werden. Zusätzlich dazu kann eine solche Insassenüberwachungsvorrichtung auch mehrere Komfortfunktionen erfüllen.
-
Bei anderen Anwendungen werden Digitalkameras zur Überwachung der Fahrzeugumgebung eingesetzt, um den Fahrer zu unterstützen, wenn er sein Fahrzeug einparkt, oder um Objekte, Tiere oder Personen in der Nähe einer Bewegungsbahn des Fahrzeugs zu erkennen und zu lokalisieren. Ein Beispiel für letztere Systeme ist z. B. ein Kraftfahrzeug-Nachtsichtsystem, das den Fahrer bei der Erkennung von Hindernissen und insbesondere Personen in der Dunkelheit unterstützt.
-
Kamerasysteme wie beispielsweise Nachtsichtkamerasysteme umfassen einen Kamerakopf einschließlich des eigentlichen Bildgebers und eine Hauptprozessoreinheit, die mittels einer Datenverbindung mit dem Kamerakopf verbunden ist. Der Kamerakopf ist an einer geeigneten Stelle im Fahrzeug derart angeordnet, dass der interessierende Bereich im Sichtfeld des Bildgebers liegt. Bei Nachtsichtsystemen kann der Kamerakopf beispielsweise in der Rückspiegeleinheit des Fahrzeugs angeordnet werden.
-
Ein Infrarotbildgeber, der beispielsweise in einem Nachtsichtsystem verwendet wird, hat eine ungleichmäßige Verteilung von Pixelverschiebungsfehlern über das Pixelfeld und zugleich eine Anzahl fehlerhafter Pixel, die bei einem im Wesentlichen gleichmäßigen Intensitätsniveau stehenbleiben. Über die Lebensdauer des Bildgebers können neue tote Pixel auftreten. Um eine optimale Benutzerakzeptanz für eine den Infrarotbildgeber enthaltende Nachtsichtkamera zu erzielen, müssen eine verschlusslose Ungleichmäßigkeitskorrektur sowie eine Erfassung und Korrektur neu entstandener toter Pixel implementiert werden.
-
Zur Kompensation der Pixelfehler wird bei gegenwärtigen Bildgebern des Stands der Technik zuerst eine Verarbeitung toter Pixel und anschließend eine Ungleichmäßigkeitskorrektur angewendet. Beide Rechenvorgänge benötigen die Implementierung eines räumlichen Medianfilters, allerdings auf verschiedenen Ebenen des Videostroms.
-
Die Druckschrift „A new algorithm for detecting and correcting bad pixels in infrared images“; Andrés David Restrepo Girón und Humberto Loaiza Correa; Ingeniería e investigación, Bd. 30, Nr. 2, August 2010 (197–207), beschreibt zum Beispiel die Erfassung und Korrektur toter Pixel, wobei beide Rechenvorgänge hauptsächlich auf der Verwendung des Medianwerts der Nachbarschaft des momentan verarbeiteten Pixels beruhen.
-
Die Druckschrift „Scene-Based Nonuniformity Correction Technique for Focal-Plane Arrays Using Readout Architecture“, Balaji Narayanan, Russell C. Hardie und Robert A. Muse; Applied Optics, Bd. 44, 17. Aufl., S. 3482–3491 (2005), beschreibt eine Ungleichmäßigkeitskorrektur, die auf einer Ausleseverstärker-Ungleichmäßigkeitskorrektur mit anschließender Pixelebene-Ungleichmäßigkeitskorrektur beruht. Die Pixelebene-Ungleichmäßigkeitskorrektur beruht hauptsächlich auf der Verwendung des Medianwerts der Nachbarschaft des momentan verarbeiteten Pixels.
-
Technisches Problem
-
Es ist eine Aufgabe der vorliegenden Erfindung, einen kostengünstigeren Bildgeber bereitzustellen. Diese Aufgabe wird durch die in Anspruch 1 beanspruchte Erfindung gelöst.
-
Allgemeine Beschreibung der Erfindung
-
Ein Kamerasystem umfasst mindestens eine Bildgebereinheit zur Aufzeichnung von Bilddaten und Umwandlung der Bilddaten in ein digitales Bildsignal sowie eine mit der mindestens einen Bildgebereinheit wirkverbundene Videoverarbeitungseinheit zum Empfang des digitalen Bildsignals von der mindestens einen Bildgebereinheit und zur Erzeugung eines korrigierten Videoausgangssignals. Die Videoverarbeitungseinheit umfasst eine Tote-Pixel-Korrektureinheit und eine nachfolgende Fehlerkorrektureinheit für ungleichmäßige Verschiebung. Die Tote-Pixel-Korrektureinheit ist für die Korrektur des Signals bestätigter toter Pixel konfiguriert, d. h. derjenigen Pixel der Bildgebereinheit, von denen bekannt ist, dass sie bei einem im Wesentlichen gleichmäßigen Niveau stehenbleiben. Auf diese bestätigten toten Pixel wird in einer der Tote-Pixel-Korrektureinheit zugeordneten Karte bestätigter toter Pixel verwiesen. Die Karte bestätigter toter Pixel wird anfangs beispielsweise am Ende der Fertigung des Bildgebers erzeugt und in einem nichtflüchtigen Speicher gespeichert. Die Fehlerkorrektureinheit für ungleichmäßige Verschiebung ist für die Korrektur einer Ausleseverstärker-Ungleichmäßigkeit und Pixelebene-Ungleichmäßigkeit in dem digitalen Bildsignal konfiguriert. Erfindungsgemäß ist die Fehlerkorrektureinheit für ungleichmäßige Verschiebung ferner für die Erfassung neuer toter Pixel gleichzeitig mit der Korrektur der Pixelebene-Ungleichmäßigkeit konfiguriert.
-
Das Hauptmerkmal der vorliegenden Erfindung ist demnach die zweifache Verwendung des Ausgangssignals eines rechenintensiven Verarbeitungsteils (Medianfilter). Das Ausgangssignal wird gleichzeitig für die Pixelrestverschiebungs-Ungleichmäßigkeitskorrektur und für die Erfassung neuer toter Pixel benutzt.
-
Bei einer bevorzugten Ausgestaltung der Erfindung umfasst die Fehlerkorrektureinheit für ungleichmäßige Verschiebung eine Ausleseverstärker-Verschiebungskorrektur-Untereinheit und eine nachfolgende Pixelrestverschiebungs-Ungleichmäßigkeitskorrektur-Untereinheit umfasst, wobei die Pixelrestverschiebungs-Ungleichmäßigkeitskorrektur-Untereinheit für das Berechnen und Ausgeben des korrigierten Videoausgangssignals an einem ersten Ausgang und einer Liste neuer toter Pixel, die in einem verarbeiteten Videoeinzelbild erfasst wurden, an einem zweiten Ausgang konfiguriert ist.
-
Der vom Bildgeber kommende digitale Videostrom wird zuerst in eine Tote-Pixel-Korrektureinheit und dann in eine Fehlerkorrektureinheit für ungleichmäßige Verschiebung eingegeben, die in zwei Teile unterteilt ist, nämlich eine Ausleseverstärker-Verschiebungskorrektur-Untereinheit und eine nachfolgende Pixelrestverschiebungs-Ungleichmäßigkeitskorrektur-Untereinheit. Die Pixelrestverschiebungs-Korrektur-Untereinheit wird gleichzeitig zur Erfassung toter Pixel verwendet. Durch die gleichzeitige Verwendung der Pixelrestverschiebungs-Korrektur-Untereinheit entfällt die Implementierung einer separaten Tote-Pixel-Erfassungseinheit, wodurch Kosten gespart werden.
-
Die Liste neuer toter Pixel kann direkt in die Karte bestätigter toter Pixel eingegeben werden. Bei einer bevorzugten Ausgestaltung wird die Liste neuer toter Pixel jedoch in eine Tote-Pixel-Vertrauensniveau-Schätzeinheit eingegeben, wobei die Tote-Pixel-Vertrauensniveau-Schätzeinheit dafür konfiguriert ist, neue tote Pixel über eine Vielzahl verarbeiteter Einzelbilder zu bestätigen und eine Liste bestätigter neuer toter Pixel auszugeben, wobei die Liste bestätigter neuer toter Pixel in die Karte bestätigter toter Pixel eingegeben wird.
-
Die Pixelebene-Ungleichmäßigkeitskorrektur und die Erfassung neuer toter Pixel beruhen vorzugsweise auf der Verwendung von Medianwerten von an ein momentan verarbeitetes Pixel angrenzenden Pixeln. Die Nachbarschaft kann vorzugsweise aus den Pixeln ausgewählt werden, die mit demselben Ausleseverstärker wie das momentan verarbeitete tote Pixel verbunden sind.
-
Es versteht sich, dass das Problem der Kostengeringhaltung mit der vorliegenden Erfindung gelöst wird, indem das Ausgangssignal der rechenintensivsten Berechnung bei der Ungleichmäßigkeitskorrektur mit Erfassung fehlerhafter Pixel, nämlich des Medianfilters der Pixelnachbarschaft, zweimal benutzt wird, und zwar einmal für die Ungleichmäßigkeitskorrektur und einmal für die Erfassung neuer fehlerhafter Pixel. Der Vorteil besteht darin, dass der Medianfilter nicht zweimal implementiert werden muss und auf verschiedenen Ebenen des verarbeiteten Videostroms arbeitet.
-
Kurze Beschreibung der Zeichnungen
-
Es werden nun bevorzugte Ausgestaltungen der Erfindung beispielhaft anhand der begleitenden 1 beschrieben, die einen vereinfachten Schaltplan einer beispielhaften Ausgestaltung eines Kamerasystems gemäß der Lehre der vorliegenden Erfindung zeigt.
-
Beschreibung bevorzugter Ausgestaltungen
-
Bezug nehmend auf 1, bezeichnet das Bezugszeichen 1 einen Bildgeber, der einen digitalen Videostrom ausgibt, der in eine Tote-Pixel-Korrektureinheit 2 eingegeben wird. Der Videostrom mit den korrigierten toten Pixeln am Ausgang der Tote-Pixel-Korrektureinheit 2 wird in die Ausleseverstärker-Verschiebungskorrektur-Einheit 3 eingegeben. Der Videostrom am Ausgang der Ausleseverstärker-Verschiebungskorrektur-Einheit 3 wird in die Pixelebene-Ungleichmäßigkeitskorrektur- und Tote-Pixel-Erfassungs-Einheit 4 eingegeben.
-
Die Pixelebene-Ungleichmäßigkeitskorrektur- und Neue-tote-Pixel-Erfassungs-Einheit 4 hat zwei Ausgangssignale, nämlich das Endvideoausgangssignal 8 und eine Liste neuer toter Pixel, die im momentanen Einzelbild erfasst wurden. Die Liste enthält die Koordinaten jedes neu erfassten toten Pixels und wird in die Neue-tote-Pixel-Vertrauensniveau-Schätzeinheit 5 eingegeben. Die Neue-tote-Pixel-Vertrauensniveau-Schätzeinheit 5 gibt schließlich eine Liste neu erfasster toter Pixel aus, die in den nichtflüchtigen Speicher 6 der Liste bestätigter toter Pixel eingegeben wird. Die Liste bestätigter toter Pixel am Ausgang des nichtflüchtigen Speichers 6 der Liste bestätigter toter Pixel wird wieder in die Tote-Pixel-Korrektureinheit 2 eingegeben.
-
Am Ende der Fertigung des Bildgebers 1 oder des vollständigen, die Nachtsichtkamera enthaltenden Bildgebers 1 wird eine Anfangsliste toter Pixel durch die Testsysteme in der Fertigungsstraße erstellt. Diese Anfangsliste wird im nichtflüchtigen Speicher 6 gespeichert.
-
Die Tote-Pixel-Korrektureinheit 2 nutzt als Eingangssignal den vom Bildgeber 1 kommenden Videostrom und die vom nichtflüchtigen Speicher 6 kommende Liste bestätigter toter Pixel. Jedes Pixel in der Liste bestätigter toter Pixel wird durch eine Kombination aus den Pixeln in seiner direkten Nachbarschaft ersetzt. Die Nachbarschaft sollte für die optimale Leistung der nachfolgenden Ausleseverstärker-Ungleichmäßigkeitskorrektur aus den Pixeln ausgewählt werden, die mit demselben Ausleseverstärker wie das momentan verarbeitete tote Pixel verbunden sind. Wenn beispielweise jeder der Ausleseverstärker des Bildgebers 1 mit einer Spalte der Pixelanordnung verbunden ist, dann sollte die Nachbarschaft auf Pixel beschränkt werden, die sich in der Spalte befinden, die das momentan verarbeitete tote Pixel enthält. Das Pixel direkt über und das Pixel direkt unter oder die zwei Pixel direkt über und die zwei Pixel direkt unter dem toten Pixel werden als Nachbarschaft definiert. Der Mittel- bzw. Medianwert der Nachbarschaft wird berechnet und zum Ersatz des momentan verarbeiteten toten Pixels verwendet.
-
Da die Anzahl toter Pixel niedrig ist und typisch weniger als 1 % der Gesamtanzahl von Pixeln ausmacht, benötigen die oben beschriebenen Rechenvorgänge keinen wesentlichen Aufwand an Verarbeitungsleistung.
-
Die Ausleseverstärker-Verschiebungskorrektur-Einheit 3 wird vorzugsweise auf folgende Weise implementiert. Es wird der Einfachheit halber davon ausgegangen, dass die Ausleseverstärker mit den Spalten des Bildgebers verbunden sind.
-
Zuerst wird der Mittelwert Cmittel_i jeder Spalte i berechnet.
-
Dann werden diese Spaltenmittelwerte Cmittel_i zeitlich gefiltert, und zwar vorzugsweise mit einem IIR-Tiefpassfilter erster Ordnung (Tiefpassfilter erster Ordnung mit unendlicher Impulsantwort), woraus sich Cmittelgefilt_i ergibt.
-
Anschließend wird für jede Spalte i der Mittel- bzw. Medianwert Cnachbarmittel_i der linken und rechten benachbarten gefilterten W-Spaltenmittelwerte Cmittelgefilt_j berechnet (i – W ≤ j ≤ i + W und j ≠ i), wobei W normalerweise zwischen 1 und 5 liegt.
-
Dann wird für jede Spalte i eine geschätzte Spaltenverschiebung Cverschieb_i berechnet, indem die Differenz zwischen Cmittelgefilt_i und Cnachbarmittel_i genommen wird. Cverschieb_i = Cmittelgefilt_i – Cnachbarmittel_i.
-
Dieser Spaltenverschiebungswert wird anschließend bei jeder Spalte i von allen in der Spalte i enthaltenen Pixeln subtrahiert, wodurch die durch den Ausleseverstärker bedingte Verschiebung aus den Pixeln entfernt wird.
-
Die Pixelebene-Ungleichmäßigkeits-Korrektur- und Neue-tote-Pixel-Erfassungs-Einheit 4 wird vorzugsweise auf folgende Weise implementiert:
Für jedes Pixel p_ik (wobei i der Spaltenindex und k der Zeilenindex des momentanen Pixels sind) wird der Medianwert M_ik seiner Nachbarschaft berechnet. Beispielsweise werden die ein Quadrat mit einem mittleren Loch bildenden 8 oder 24 Pixel, die das momentan verarbeitete Pixel umgeben, zur Berechnung des Medianwerts M_ik verwendet.
-
Dann wird die Differenz D_ik zwischen M_ik und dem momentanen Pixel p_ik berechnet: D_ik = p_ik – M_ik.
-
Anschließend werden alle D_ik-Werte zeitlich gefiltert, und zwar vorzugsweise mit einem IIR-Tiefpassfilter erster Ordnung (Tiefpassfilter erster Ordnung mit unendlicher Impulsantwort), woraus sich Dgefilt_ik ergibt. Dies ist die geschätzte Pixelverschiebung.
-
Für jedes Pixel wird dann dieser geschätzte Pixelverschiebungswert Dgefilt_ik von dem Pixel p_ik subtrahiert, wodurch die Verschiebung auf Pixelebene entfernt wird. Das Ergebnis ist das korrigierte Endeinzelbild, das das Endvideoausgangssignal 8 ausmacht.
-
Die Differenzen Dgefilt_ik werden für die Erfassung neuer toter Pixel wieder benutzt. Jede Dgefilt_ik wird mit einem vordefinierten positiven und negativen Schwellwert verglichen. Falls irgendeine Dgefilt_ik größer als der positive Schwellwert oder kleiner als der negative Schwellwert ist, werden die Koordinaten i und k als neue tote Pixel an die Neue-tote-Pixel-Vertrauensniveau-Schätzeinheit 5 übertragen. Falls mehr als ein neues totes Pixel vorhanden ist, wird eine Liste der Koordinaten neuer toter Pixel übertragen.
-
Die Neue-tote-Pixel-Vertrauensniveau-Schätzeinheit 5 überprüft die Gültigkeit der neuen toten Pixel. Das i, k-Koordinatenpaar jedes toten Pixels wird in einer Vertrauensliste behalten. Die Liste enthält zusätzlich zu den Koordinaten für jeden Eintrag einen Vertrauenszähler, der anfangs auf null gestellt wird. Wenn ein neues totes Pixel erfasst wird, das bereits in der Vertrauensliste vorhanden ist, wird der Vertrauenszähler um eins erhöht. Der Vertrauenszähler jedweden toten Pixels in der Liste, das im momentanen Einzelbild nicht erfasst wird, wird um eins erhöht. Die i, k-Koordinaten aller Pixel in der Liste, deren Vertrauenszähler über einem bestimmten vordefinierten Niveau VertrSchwell liegt, werden in den nichtflüchtigen Speicher 6 der Liste bestätigter toter Pixel übertragen. Dieses Verfahren gewährleistet, dass Pixel der Szene, die Extremwerte aufweisen, nicht als tote Pixel angesehen werden, wobei berücksichtigt wird, dass sich eine Szene normalerweise im Zeitverlauf verändert. VertrSchwell liegt normalerweise zwischen 10 und 100.000 und beträgt vorzugsweise 500 bei einer Bildfrequenz von 50 Einzelbildern pro Sekunde.
-
Der nichtflüchtige Speicher 6 der Liste bestätigter toter Pixel wird anschließend wieder in die Tote-Pixel-Korrektureinheit 2 übertragen.
-
Die oben beschriebenen Einheiten 2 bis 6 werden normalerweise in einer FPGA, einer ASIC, einem DSP oder einem Videoverarbeitungsgerät eines System-on-Chip implementiert, wobei die Einheit 6 auch als dedizierter chipexterner Speicher implementiert werden kann.
