DE102014015886B4

DE102014015886B4 - Verfahren und Vorrichtung zur Korrektur einer fehlerhaften Bildpunktinformation

Info

Publication number: DE102014015886B4
Application number: DE102014015886.1A
Authority: DE
Inventors: Michael Schmidt
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2014-10-27
Filing date: 2014-10-27
Publication date: 2017-02-09
Anticipated expiration: 2034-10-28
Also published as: WO2016066308A1; DE102014015886A1

Abstract

Vorrichtung zur Korrektur einer Bildpunktinformation eines Defektpixels in einem aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung erhaltenen Ursprungsbildsignal (B_O), wobei die Vorrichtung (21) umfasst:
– eine Filtereinrichtung (20) zum Filtern des Ursprungsbildsignals (B_O) mit einer Tiefpasscharakteristik, um ein Referenzbildsignal (B_R) zu erhalten;
– eine Vergleichseinrichtung (30) zum Vergleichen des Referenzbildsignals (B_R) mit dem Ursprungsbildsignal (B_O) und zum Bestimmen einer Abweichung (S1) zwischen dem Referenzbildsignal (B_R) und dem Ursprungsbildsignal (B_O); und
– eine Mischeinrichtung (40) zum Mischen der Bildpunktinformation des Ursprungsbildsignals (B_O) mit einer entsprechenden Bildpunktinformation des Referenzbildsignals (B_R);
– wobei, falls die Abweichung (S1) unterhalb eines vorbestimmten Bereiches (M) um einen vorbestimmten Schwellwert liegt, das Ursprungsbildsignal (B_O) nicht verändert wird;
– wobei, falls die Abweichung (S1) innerhalb des vorbestimmten Bereiches (M) liegt, das Ursprungsbildsignal (B_O) durch die Mischeinrichtung (40) mit dem Referenzbildsignal (B_R) gemischt wird; und
– wobei, falls die Abweichung (S1) oberhalb des vorbestimmten Bereiches (M) liegt, das Ursprungsbildsignal (B_O) durch das Referenzbildsignal (B_R) ersetzt wird.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Korrektur einer fehlerhaften Bildpunktinformation aus einem Bildsensor mit ein oder zweidimensionaler Bildpunktanordnung.
Zum elektronischen Erfassen von Bildern werden heutzutage meist digitale Kameras mit Bildsensoren eingesetzt. Mit Hilfe solcher digitaler Kameras werden Helligkeitsbilder aufgenommen, bei denen den einzelnen Bildpunkten (nachfolgend Pixel genannt) Helligkeitswerte zugeordnet sind. Der Bildsensor besteht meist aus einer eindimensionalen oder zweidimensionalen periodischen Anordnung von Bildpunkten. Unabhängig von der Technologie ist den Pixeln dabei gemeinsam, dass sie jeweils einen lichtempfindlichen Bereich, bspw. eine Photodiode (PD) oder eine sogenannte Pinned-Photo-Diode (PPD), aufweisen, welche so ausgestaltet ist, dass sie während einer Belichtungszeit in Abhängigkeit des einfallenden Lichts eine elektrische Größe erzeugt, die ein Maß für die Menge des von dem betreffenden Pixel empfangenen Lichts darstellt. Diese elektrische Größe kann eine Ladung, eine Spannung, ein Strom oder auch ein zeitkodiertes Signal, wie beispielsweise eine Impulsfolge, sein. Häufig sind solche Bildsensoren als sogenannte ladungsgekoppelte Anordnung (Charge-Coupled Device, CCD) aufgebaut.
Bei elektronischen Bildsensoren, wie CCD- und CMOS-Sensoren führen Störungen, die keinen Bezug zum eigentlichen Bildinhalt (also dem Bildsignal) haben, zu einer Verschlechterung des digitalen bzw. elektronisch aufgenommenen Bildes. Diese Verschlechterung wird als Bildrauschen bezeichnet. Ein solches Bildrauschen besteht zu einem großen Teil aus dem sogenannten Dunkelrauschen, das bereits auftritt, ohne dass Licht auf den Sensor fällt. Grund für dieses Rauschen ist einerseits der sogenannte Dunkelstrom der einzelnen, die Pixel bildenden lichtempfindlichen Elemente und andererseits das Rauschen des Ausleseverstärkers (Ausleserauschen). Durch die unterschiedliche Höhe des Dunkelstroms treten besonders bei längeren Belichtungszeiten einzelne Pixel hell auf dem Bild hervor.
Darüber hinaus gibt es auch Pixel, die aufgrund eines Defekts auf dem Sensor-Chip fortwährend hell oder dunkel sind.
Im Folgenden werden solche Pixel mit abweichenden Helligkeitswerten als Defektpixel bezeichnet.
Es wurden bereits verschiedene Lösungen zur automatischen Korrektur von Defektpixeln vorgeschlagen, wobei man grundsätzlich zwischen Verfahren, die Tabellen verwenden, und solchen, die mit Filtern arbeiten, unterscheiden kann. Dabei werden auch nichtlineare Filter wie Maximum- oder Medianfilter eingesetzt. Die tabellenabhängige Korrektur von Defektpixeln kann bspw. auf Grundlage von während des Fertigungstests erzeugten und in der Kamera abgelegten Tabellen erfolgen. Bei der filterabhängigen Korrektur wird mit Hilfe eines Filters entschieden, ob der Helligkeitswert eines Pixels ungewöhnlich stark von den Helligkeitswerten seiner Umgebungspixel abweicht, und basierend darauf ggf. ersetzt. Wie stark die Abweichung sein muss, damit ein Helligkeitswert ersetzt wird, ist meist a-priori festgelegt.
Herkömmliche Korrekturverfahren weisen jedoch den Nachteil auf, dass es nicht möglich ist, eine hohe Zahl von Defektpixeln bei langer Belichtungszeit zu korrigieren und gleichzeitig das Bild bei kurzer Belichtungszeit mit wenigen Defektpixeln möglichst geringfügig zu verändern. Ferner ergibt sich aufgrund eines temporären Ersetzens des Helligkeitswertes eines Pixels zwischen aufeinanderfolgenden Bildern eine sich fortlaufend ändernde Helligkeit, sodass das Pixel quasi blinkt.
HENTSCHEL, Christian: Video-Signalverarbeitung, ISBN 978-3-322-90249-8, Stuttgart: Teubner, 1998, Kapitel 5: Rauschreduktion und Kantenanschärfung, beschreibt auf den Seiten 120–162 u. a. eine Coring-Funktion zum Unterdrücken des Bildrauschens, wobei zunächst entweder ein Ursprungssignal oder ein daraus erzeugtes, tiefpassgefiltertes Referenzsignal in Abhängigkeit einer vorbestimmten Schwelle der Abweichung zwischen beiden Signalen ausgegeben wird. Dadurch werden Bildpunkte mit übermäßiger Abweichung durch einen gefilterten Referenzwert ersetzt. Um zu vermeiden, dass dabei gewollte höherfrequente Strukturen mit hoher Amplitude entfernt werden, wird eine Überblendung auf das Ursprungssignal vorgeschlagen, falls ein Detaildetektor feststellt, dass sich solche gewollte höherfrequente Anteile im Ursprungsbild befinden.
Der Erfindung liegt die Aufgabe zugrunde, eine Defektpixelkorrektur mit möglichst geringfügiger Veränderung des Bildinhalts bereitzustellen.
Diese Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung nach Anspruch 1, eine Kamera nach Anspruch 8, ein Verfahren nach Anspruch 9 und ein Computerprogramm nach Anspruch 10.
Erfindungsgemäß erfolgt also im Bereich der Schwelle für eine zulässige Helligkeitsabweichung eine Mischung der Pixelwerte des Ursprungsbilds mit denen des tiefpassgefilterten Referenzbilds, so dass eine sanfte Übergangsfunktion im Bereich der Schwelle zwischen Korrektur und Nichtkorrektur der Pixelinformation erzielt werden kann. Durch diese Übergangsfunktion kann ein Blinken von Pixeln in aufeinanderfolgenden Bildfolgen vermieden werden. Der vorbestimmte Bereich bildet demnach einen Übergangsbereich für Abweichungen, die nicht eindeutig einem Defektpixel zuordenbar sind. In diesem Bereich erfolgt erfindungsgemäß eine Mischung des Pixelwerts des Ursprungsbilds mit dem des Referenzbilds.
Ferner ist die erfindungsgemäße Lösung auch dahingehend vorteilhaft, dass gegenüber tabellenbasierten Verfahren keine individuelle Kalibrierung eines jeden Sensors nötig ist und eine sehr große Anzahl von Defektpixeln korrigiert werden kann.
Gemäß einer ersten vorteilhaften Weiterbildung kann die Mischeinrichtung so ausgestaltet sein, dass das Mischungsverhältnis innerhalb des vorbestimmten Bereichs mit zunehmendem Betrag der Abweichung zugunsten der entsprechenden Bildpunktinformation des Referenzbildsignals stetig zunimmt. Durch diese Ausgestaltung wird eine mit der Höhe der Abweichung zunehmende Zumischung des Pixelwerts des Referenzbilds erreicht, so dass innerhalb des vorbestimmten Bereichs stärker abweichende Defektpixel zu einem höheren Grad an das Referenzbild angeglichen werden.
Gemäß einer zweiten vorteilhaften Weiterbildung kann die Mischeinrichtung so ausgestaltet sein, dass das Mischungsverhältnis 50% beträgt, wenn der Betrag der Abweichung mit dem vorbestimmten Schwellwert übereinstimmt. Dadurch wird erreicht, dass Defektpixel mit einer genau dem Schwellwert entsprechenden Abweichung durch genau hälftige Mischung der Pixelwerte des Ursprungsbilds und des Referenzbilds korrigiert werden.
Gemäß einer dritten vorteilhaften Weiterbildung kann die Filtereinrichtung ein Medianfilter umfassen. Bei dem Medianfilter handelt es sich um ein Rangordnungsfilter, bei dem der Filterungsvorgang auf einem Sammeln und Sortieren der Pixelwerte beruht. Somit ist eine einfache Realisierung im Hinblick auf den vorliegenden Datenstrom möglich.
Gemäß einer vierten vorteilhaften Weiterbildung kann die Mischeinrichtung so ausgestaltet sein, dass der vorbestimmte Schwellwert verändert wird im Ansprechen auf das Ergebnis eines Vergleichs einer vorbestimmten erwarteten Zahl mit der Anzahl von mit mindestens hälftigem Mischungsverhältnis korrigierten Bildpunkten. Vorzugsweise kann dabei der vorbestimmte Schwellwert erhöht werden, wenn die vorbestimmte erwartete Zahl kleiner ist als die Anzahl korrigierter Bildpunkte mit mindestens hälftigem Mischungsverhältnis, und verringert werden, wenn die vorbestimmte erwartete Zahl größer ist als die Anzahl korrigierter Bildpunkte mit mindestens hälftigem Mischungsverhältnis. Somit ist eine automatische Justierung oder Anpassung des Sehwellwerts dergestalt möglich, dass der Bildinhalt des Ursprungsbilds so wenig wie möglich beeinflusst wird.
Ferner kann die Vorrichtung vorzugsweise so ausgestaltet sein, dass die vorbestimmte erwartete Zahl basierend auf zumindest einem aus einer Sensorkonstante und einer eingestellten Belichtungszeit berechnet wird. Dadurch kann bei der Schwellwertanpassung sowohl die Belichtungszeit als auch den Bildinhalt berücksichtigt werden, so dass eine adaptive Defektpixelkorrektur erzielt wird.
Die Komponenten der zur Lösung der vorgenannten Aufgabe vorgeschlagene Vorrichtung bzw. Kamera können einzeln oder gemeinsam als diskrete Schaltkreise, integrierte Schaltkreise (z. B. Application-Specific Integrated Circuits (ASICs)), programmierbare Schaltkreise (z. B. Field Programmable Gate Arrays (FPGAs)) odgl. realisiert sein. Insbesondere die Vergleichs- und/oder Mischeinrichtung können durch ein FPGA realisiert sein. Ferner können die Schritte des nachfolgenden Korrekturverfahrens sowie die Funktionalitäten der Korrekturvorrichtung als Software-Programm oder Software-Routine zur Steuerung des Prozessors einer Computervorrichtung zu deren Ausführung realisiert sein.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnungsfiguren näher erläutert. Es zeigen:
1 ein schematisches Blockschaltbild einer Pixelkorrekturvorrichtung nach einem ersten Ausführungsbeispiel;
2 ein Flussdiagramm eines Pixelkorrekturverfahrens nach einem zweiten Ausführungsbeispiel; und
3 ein detaillierteres Funktionsdiagramm eines Pixelkorrekturverfahrens nach einem dritten Ausführungsbeispiel.
Gemäß den nachfolgenden Ausführungsbeispielen wird eine Kamera mit modifizierter und dadurch effektiverer Pixelkorrekturverarbeitung beschrieben.
1 zeigt ein schematisches Blockschaltbild mit im Zusammenhang mit der vorgeschlagenen Pixelkorrektur genutzten Komponenten gemäß einem ersten Ausführungsbeispiel.
In einer Kamera 10 wird durch einen Bildsensor (nicht gezeigt) einfallendes Licht detektiert. Dadurch wird während der Öffnungszeit (Belichtungszeit) eines elektrischen Verschlusses (nicht gezeigt) ein Signalanteil des einfallenden Lichts vom Bildsensor erfasst. Aus dem einfallenden Licht wird ein elektrisches Signal gebildet, beispielsweise eine Ladung, eine Spannung, ein Strom oder eine digitale Zahl. Fällt Licht in Form von Photonen durch das Kameraobjektiv (nicht gezeigt) auf den Bildsensor, setzen Fotodioden des Bildsensors Elektronen frei, die gesammelt werden. Je mehr Licht einfällt, desto mehr Elektronen werden freigesetzt und umso höher ist das elektrische Signal. Das Auslesen der einzelnen Fotodioden beziehungsweise deren Ladung erfolgt über eine Ausgangsleitung, wobei bspw. alle Photodioden einer Zeile miteinander verbunden sind und nacheinander von einem Ausleseregister (nicht gezeigt) ausgewertet werden. Dazu liest das Ausleseregister bspw. die Ladung aus der ersten Zelle einer Zeile aus. Anschließend rückt die restliche Ladung um eine Zelle auf, so dass wieder die erste Zelle der Zeile ausgelesen wird. Es entsteht somit ein Datenstrom aus einzelnen analogen Helligkeitswerten, die bspw. mittels eines Analog-Digital-Wandlers (A/D-Wandlers) in digitale Daten umgerechnet werden können. Die so erhaltenen Pixelwerte bestimmen die Helligkeit eines Pixels.
Selbstverständlich ist auch eine Weiterverarbeitung der analogen Pixelwerte ohne A/D-Wandlung möglich, wobei die entsprechenden Komponenten der nachfolgenden Ausführungsbeispiele nicht als Digitalkomponenten sondern als für den Fachmann ohne Weiteres umsetzbare äquivalente Analogkomponenten ausgestaltet sind.
Gemäß 1 werden die Pixelwerte des Ursprungsbilds B_O einem Vergleicher (V) 30 und parallel dazu einem Tiefpassfilter (TP) 20 zugeführt. Das Tiefpassfilter 20 verringert bspw. durch Mittelung, Integration oder Durchschnittsbildung von Pixelwerten in einer Umgebung vorbestimmter Nachbarpixel (z. B. unmittelbare Nachbarpixel und/oder Nachbarpixel zweiten oder höheren Grades) die hochfrequenten Signalanteile des Datenstroms. Somit werden auch die zu unerwünschten abrupten Änderungen im Datenstrom führenden Defektpixel unterdrückt.
Mit Hilfe des Tiefpassfilters kann also ein Referenzbild B_R erzeugt werden, das weitgehend frei von einzelnen Defektpixeln ist. Dieses Referenzbild ist folglich aufgrund der Tiefpassfilterung gegenüber dem Ursprungsbild B_O deutlich verändert.
Bei dem Tiefpassfilter kann es sich beispielsweise um ein nichtlineares Tiefpassfilter, wie etwa ein Medianfilter, handeln. Dabei handelt es sich um ein sogenanntes Rangordnungsfilter, das nicht durch eine Faltung beschrieben werden kann. Bei den Rangordnungsfiltern werden die Pixelwerte in einer definierten Umgebung des betrachteten Pixels aufgesammelt, nach der Größe sortiert und in eine Rangordnung gebracht. Nun wird ein Pixelwert aus dieser sortierten Liste ausgewählt, der den Pixelwert des aktuellen Pixels ersetzt. Die Wahl der Position bestimmt die Art des Rangordnungsfilters. Bei einer aufsteigenden Sortierung erhält man das Minimumfilter, für den minimalen Pixelwert (erste Position der Liste), das Medianfilter, für den Pixelwert in der Mitte der Liste, und das Maximumfilter, für den maximalen Pixelwert (letzte Position der Liste).
Die Pixelwerte des Ursprungsbilds B_O und des Referenzbilds B_R werden einem Vergleicher 30 zugeführt und pixelweise verglichen. Der Vergleicher 30 ermittelt für jedes Pixel den Betrag der Abweichung der Pixelwerte und vergleicht den Betrag der Abweichung mit einem vorbestimmten Schwellwert. Nur wenn die Abweichung zwischen dem Pixelwert des Ursprungsbilds B_O und dem des Referenzbilds B_R den vorbestimmten Schwellwert um einen vorbestimmten Betrag überschreitet, wird der Pixelwert des Ursprungsbilds B_O durch den des Referenzbilds B_R ersetzt. Liegt die Abweichung zwischen dem Pixelwert des Ursprungsbilds B_O und dem des Referenzbilds B_R dagegen um den vorbestimmten Betrag unterhalb der vorbestimmten Schwellwert, so wird der Pixelwert des Ursprungsbilds B_O nicht durch den des Referenzbilds B_R ersetzt und unverändert weiterverarbeitet.
Falls der Pixelwert des Pixels allerdings in der Nähe des Schwellwerts liegt, wird der Schwellwert durch das immer vorhandene Bildrauschen manchmal überschritten und manchmal nicht. Durch den dadurch entstehende fortlaufenden Wechsel zwischen dem Pixelwert des Ursprungsbilds B_O und dem des Referenzbilds B_R kann ein bei dem betreffenden Pixel ein Blinkeffekt entstehen. Dieser Blinkeffekt kann erfindungsgemäß dadurch vermieden werden, dass der Pixelwert des Ursprungsbilds B_O in der Nähe des vorbestimmt Schwellwerts mit dem des Referenzbilds B_R mittels einer vorbestimmten Übergangsfunktion gemischt wird. Zu diesem Zwecke ermittelt der Vergleicher 30 unter Zuhilfenahme der vorbestimmten Übergangsfunktion (bspw. eine mit zunehmender Abweichung stetige wachsender Übergangsfunktion) ein Mischungsverhältnis und führt eine dieses Mischungsverhältnis angebende Steuerinformation S1 gemeinsam mit den entsprechenden Pixelwerten des Ursprungsbilds B_O und des Referenzbilds B_R einem Mischer (M) 40 zu, der die beiden Pixelwerte entsprechend dem durch die zugeführten Steuerinformation S1 signalisierten Mischungsverhältnis mischt und einen Pixelwert für ein korrigiertes Ausgangsbild B_K ausgibt. Das Mischen kann bspw. durch eine Anteilsaddition oder eine gewichtete Addition der Pixelwerte gemäß dem signalisierten Mischungsverhältnis erfolgen.
Die Übergangsfunktionsfunktion kann durch Simulation oder Testläufe gemäß den Anforderungen des Nutzers und/oder der Anwendung gewählt und abgeglichen werden. Beispielsweise kann die Übergangsfunktion so gewählt werden, dass sich am vorbestimmten Schwellwert ein Mischungsverhältnis von 50% ergibt, d. h. ein Pixel mit einem dem vorbestimmten Schwellwert entsprechenden Pixelwert wird so gemischt, dass die Pixelwerte des Ursprungsbilds B_O und des Referenzbilds B_R genau hälftig gemischt werden.
Die Korrektur mittels Tiefpassfilterung (z. B. Medianfilterung) greift jedoch stark in den Bildinhalt des Ursprungsbilds ein, sodass besonders feinstrukturierte Bilddetails verfälscht werden können. Im Ursprungsbild B_O können bspw. feine Details enthalten sein, die sich nur geringfügig von Defektpixeln unterscheiden.
Daher wird gemäß einer vorteilhaften Weiterbildung des ersten Ausführungsbeispiels vorgeschlagen, nur so viele Pixel zu korrigieren, wie aufgrund der statistischen Eigenschaften des Bildsensors (z. B. CMOS-Sensor) zu erwarten sind. Somit ist es von Vorteil, den vorbestimmten Schwellwert, der die Grenze zwischen normalen Pixeln und Defektpixeln vorgibt, möglichst genau so einzustellen, dass genau die erwartete Zahl von Ausreißern korrigiert wird. Dies kann bspw. dadurch erreicht werden, dass die zu mindestens 50% korrigierten Pixel (also mit einem Mischungsverhältnis von mindestens 50%) bspw. in dem Mischer 40 gezählt werden und das Ergebnis mit der statistisch für den verwendeten Bildsensor erwarteten Zahl von Defektpixeln verglichen wird. Falls dabei festgestellt wird, dass zu viele Pixel korrigiert wurden, wird der vorbestimmte Schwellwert für das nächste Ursprungsbild B_O bspw. um einen vorbestimmten Inkrementalwert gesenkt. Falls dagegen festgestellt wird, dass zu wenige Pixel korrigiert wurden, wird der vorbestimmte Schwellwert bspw. um einen vorbestimmten Inkrementalwert erhöht. Hierzu kann der Mischer 40 dem Vergleicher 30 optional eine bspw. die Erhöhung oder Absenkung des vorbestimmten Schwellwerts signalisierende Steuerinformation S2 zuführen.
Die erwartete Zahl oder Vorgabe für die Anzahl der zu korrigierenden Pixel kann bspw. aus einer Sensorkonstante des Bildsensors und/oder der eingestellten Belichtungszeit der Kamera 10 berechnet werden.
Die Höhe des Dunkelstroms der einzelnen Pixel des Bildsensors ist ungefähr normalverteilt, und der Dunkelstrom ist näherungsweise konstant. Legt man nun einen näherungsweise konstanten Schwellwert zugrunde, so ergibt sich eine lineare Abhängigkeit der erwarteten Anzahl von Defektpixeln von der Belichtungszeit gemäß nachfolgender Gleichung: n_D = n_DR × (t_B/t_BR), wobei n_D die erwartete Anzahl der Defektpixel bezeichnet, n_DR die Anzahl der erwarteten Defektpixel bei einer Referenz-Belichtungszeit, t_B die aktuell gewählte Belichtungszeit, und t_BR die Referenz-Belichtungszeit.
Es ist anzumerken, dass die Komponenten bzw. Funktionen des Vergleichers 30 und des Mischers 40 des ersten Ausführungsbeispiels auch in einem Verarbeitungselement integriert realisiert sein können.
2 zeigt ein Flussdiagramm eines Pixelkorrekturverfahrens gemäß einem zweiten Ausführungsbeispiel, das bspw. als Softwareroutine zur Steuerung eines Bildverarbeitungsprozessor implementiert sein kann und in einer Endlosschleife während einer Bildaufnahme mit der Kamera für jedes Bild aufeinanderfolgend ausgeführt werden kann.
In einem ersten Schritt 200 wird aus dem Ursprungsbild mittels geeigneter Tiefpassfilterung ein entsprechendes Referenzbild erzeugt. Dann wird im Schritt 201 das Referenzbild pixelweise mit dem Ursprungsbild verglichen. Im folgenden Schritt 202 werden die Pixelwerte beider Bilder verglichen und es wird für das aktuelle Pixel festgestellt, ob der Abweichungsbetrag mindestens in einer vorbestimmten Nähe oder näher zu einem vorbestimmten Schwellwert liegt oder nicht. Falls dem nicht so ist, springt der Ablauf zum Schritt 203 und es wird festgestellt, ob der Pixelwert des Ursprungsbilds den vorbestimmten Schwellwert überschritten hat oder nicht. Wird im Schritt 203 festgestellt, dass der vorbestimmt Schwellwert nicht überschritten wurde, so springt der Ablauf zum Schritt 204 und der Pixelwert des Ursprungsbilds wird ohne Korrektur für die weitere Bildverarbeitung verwendet und der Ablauf schreitet zum Schritt 207. Wird dagegen im Schritt 203 festgestellt, dass der vorbestimmt Schwellwert überschritten wurde, so springt der Ablauf zum Schritt 205 und der Pixelwert des Referenzbilds wird für die weitere Bildverarbeitung verwendet. Danach schreitet der Ablauf zum Schritt 207.
Wird dagegen im Schritt 202 festgestellt, dass der Abweichungsbetrag mindestens in der vorbestimmten Nähe oder näher zu dem vorbestimmten Schwellwert liegt, so schreitet der Ablauf zum Schritt 206 und die Pixelwerte des Ursprungsbilds und des Referenzbilds werden gemäß ihrem Abweichungsbetrag miteinander gemischt.
Im Schritt 207 wird dann ein Zählwert inkrementiert, falls der vorliegende Pixelwert des aktuellen Ursprungsbilds mit mindestens einem vorbestimmten Mischungsverhältnis (z. B. 50%) korrigiert wurde.
Danach wird im Schritt 208 geprüft, ob alle Pixel des aktuellen Ursprungsbilds verarbeitet wurden. Falls nicht, wird der Ablauf ab dem Schritt 201 wiederholt.
Falls im Schritt 208 festgestellt wird, dass alle Pixel des aktuellen Ursprungsbilds verarbeitet wurden, wird der zuletzt im Schritt 207 ermittelte Zählwert mit einem erwarteten Vorgabewert verglichen und es wird im Schritt 209 geprüft, ob zu viele Pixel korrigiert wurden. Falls dem so ist, schreitet der Ablauf zum Schritt 210 und der vorbestimmte Schwellwert wird abgesenkt. Wird dagegen im Schritt 209 festgestellt, dass nicht zu viele Pixel korrigiert wurden, so wird im Schritt 211 festgestellt, ob zu wenig Pixel korrigiert wurden. Falls dem so ist, schreitet der Ablauf zum Schritt 212 und der vorbestimmte Schwellwert wird erhöht. Falls dagegen im Schritt 211 festgestellt, dass nicht zu wenig Pixel korrigiert wurden (d. h., der Zählwert befindet sich in einem vorbestimmten Bereich in der Nähe des Vorgabewerts), so wird das korrigierte Bild im Schritt 213 ausgegeben.
Alternativ kann im Schritt 200 das Referenzbild auch pixelweise erzeugt werden. In diesem Fall wird der Ablauf dann ausgehend vom Schritt 208 dann ab dem Schritt 200 wiederholt bis alle Pixel verarbeitet sind.
Abschließend zeigt 3 noch ein detaillierteres Funktionsdiagramm eines Pixelkorrekturverfahrens nach einem dritten Ausführungsbeispiel.
Die beiden quadratischen 9-Feld-Raster sollen dabei Bildsensorumgebungen eines durch „X” gekennzeichneten Pixels repräsentieren, dessen Pixelwert gemäß der dargestellten Funktion verarbeitet wird.
Gemäß 3 wird ein Pixelwert x_O eines vom Bildsensor aufgenommenen Ursprungsbilds einer Tiefpassfilterfunktion 32 zugeführt, um einen gefilterten Referenzpixelwert x_R zu erhalten. Dieser Referenzpixelwert x_R entspricht somit einer Hintergrundschätzung für den Ursprungspixelwerts. Der Ursprungspixelwert x_O und der Referenzpixelwert x_R werden dann in einer Subtraktionsfunktion 33 subtrahiert und der erhaltene Differenzwert x_O – x_R wird einer Betragsbildungsfunktion 34 zugeführt, mittels der der positive Betragswert |x_O – x_R| des Differenzwerts gebildet wird. Dieser Betragswert wird dann einer Schwellwertfunktion 35 zugeführt, die innerhalb eines vorbestimmten Bereichs M um einen vorbestimmten Schwellwert S stetig und bspw. linear fallend verläuft und unterhalb des vorbestimmten Bereichs M einen konstanten Ausgangswert „1” und oberhalb des vorbestimmten Bereichs M einen konstanten Ausgangswert „0” liefert. Der Ausgangswert p der Schwellwertfunktion 35 beträgt also „0” für alle unterhalb des vorbestimmten Bereichs M liegenden Differenzbetragswerte und „1” für alle oberhalb des vorbestimmten Bereichs M liegenden Differenzbetragswerte. Für alle Differenzbetragswerte innerhalb des vorbestimmten Bereichs M sinkt der Ausgangswert p dagegen proportional zu (bspw. bei linearer Funktion) oder wenigstens stetig mit steigendem Differenzwertbetrag |x_O – x_R|. Der Ausgangswert p liegt also immer in einem Bereich zwischen „0” und „1”.
Des Weiteren wird gemäß 3 der Ursprungspixelwert x_O in einer ersten Multiplikationsfunktion 36 mit dem Referenzpixelwert x_R multipliziert, um einen Wert px_O zu erhalten. Ferner wird in einer Differenzbildungsfunktion 38 eine Differenz 1 – p gebildet, die dann in einer zweiten Multiplikationsfunktion 37 mit dem Referenzpixelwert x_R multipliziert wird, um einen Wert (1 – p)x_R zu erhalten. Die beiden Werte px_O und (1 – p)x_R werden dann in einer abschließenden Additionsfunktion 39 addiert, um als korrigierten Pixelwert den Wert px_O und (1 – p)x_R zu erhalten.
Somit wird ersichtlich, dass die vorgeschlagene Pixelkorrektur durch die Verarbeitung nach dem Funktionsdiagramm in 3 auf einfache Weise in Software oder Hardware implementiert werden kann, wobei der Funktionsausgangswert p das Mischungsverhältnis zwischen Ursprungspixelwert und Referenzpixelwert direkt angibt.
Selbstverständlich kann durch geeignete Rückkopplung in Abhängigkeit der Anzahl korrigierter Pixelwerte auch hier eine adaptive Steuerung des vorbestimmten Schwellwerts S durch entsprechende Änderung der Schwellwertfunktion 35 implementiert werden.
Die vorgestellten Lösungsalternativen gemäß den Ausführungsbeispielen können zur Pixelkorrektur im Zusammenhang mit verschiedensten pixelorientierten Bildaufnahmegeräten oder Kameras eingesetzt werden.
Zusammenfassend wurden eine Vorrichtung und ein Verfahren zum Korrigieren einer Bildpunktinformation in einem aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung gewonnenen Ursprungsbildsignal B_O beschrieben, wobei das Ursprungsbildsignal B_O mit einer Tiefpasscharakteristik gefiltert wird, um ein Referenzbildsignal B_R zu erzeugen. Das Referenzbildsignals B_R wird mit dem Ursprungsbildsignal B_O verglichen, um eine Abweichung zwischen dem Referenzbildsignal B_R und dem Ursprungsbildsignal B_O festzustellen. Schließlich wird die Bildpunktinformation des Ursprungsbildsignals B_O mit einer entsprechenden Bildpunktinformation des Referenzbildsignals B_R dann gemischt, wenn sich die Abweichung zwischen der Bildpunktinformation des Ursprungsbildsignals B_O und der entsprechenden Bildpunktinformation des Referenzbildsignals B_R in einem vorbestimmten Bereich um einen vorbestimmten Schwellwert befindet.

Claims

Vorrichtung zur Korrektur einer Bildpunktinformation eines Defektpixels in einem aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung erhaltenen Ursprungsbildsignal (B_O), wobei die Vorrichtung (21) umfasst: – eine Filtereinrichtung (20) zum Filtern des Ursprungsbildsignals (B_O) mit einer Tiefpasscharakteristik, um ein Referenzbildsignal (B_R) zu erhalten; – eine Vergleichseinrichtung (30) zum Vergleichen des Referenzbildsignals (B_R) mit dem Ursprungsbildsignal (B_O) und zum Bestimmen einer Abweichung (S1) zwischen dem Referenzbildsignal (B_R) und dem Ursprungsbildsignal (B_O); und – eine Mischeinrichtung (40) zum Mischen der Bildpunktinformation des Ursprungsbildsignals (B_O) mit einer entsprechenden Bildpunktinformation des Referenzbildsignals (B_R); – wobei, falls die Abweichung (S1) unterhalb eines vorbestimmten Bereiches (M) um einen vorbestimmten Schwellwert liegt, das Ursprungsbildsignal (B_O) nicht verändert wird; – wobei, falls die Abweichung (S1) innerhalb des vorbestimmten Bereiches (M) liegt, das Ursprungsbildsignal (B_O) durch die Mischeinrichtung (40) mit dem Referenzbildsignal (B_R) gemischt wird; und – wobei, falls die Abweichung (S1) oberhalb des vorbestimmten Bereiches (M) liegt, das Ursprungsbildsignal (B_O) durch das Referenzbildsignal (B_R) ersetzt wird.
Vorrichtung nach Anspruch 1, wobei die Mischeinrichtung (40) so ausgestaltet ist, dass das Mischungsverhältnis innerhalb des vorbestimmten Bereichs mit zunehmendem Betrag der Abweichung (S1) zugunsten der entsprechenden Bildpunktinformation des Referenzbildsignals (B_R) stetig zunimmt.
Vorrichtung nach Anspruch 1 oder 2, wobei die Mischeinrichtung (40) so ausgestaltet ist, dass das Mischungsverhältnis 50% beträgt, wenn der Betrag der Abweichung (S1) mit dem vorbestimmten Schwellwert übereinstimmt.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Filtereinrichtung ein Medianfilter (20) umfasst.
Vorrichtung nach einem der vorgenannten Ansprüche, wobei die Mischeinrichtung (40) so ausgestaltet ist, dass der vorbestimmte Schwellwert im Ansprechen auf das Ergebnis eines Vergleichs einer vorbestimmten erwarteten Zahl mit der Anzahl korrigierter Bildpunkte mit mindestens hälftigem Mischungsverhältnis verändert wird.
Vorrichtung nach Anspruch 5, wobei die Vorrichtung so ausgestaltet ist, dass der vorbestimmte Schwellwert erhöht wird, wenn die vorbestimmte erwartete Zahl kleiner ist als die Anzahl korrigierter Bildpunkte mit mindestens hälftigem Mischungsverhältnis, und dass der vorbestimmte Schwellwert verringert wird, wenn die vorbestimmte erwartete Zahl größer ist als die Anzahl korrigierter Bildpunkte mit mindestens hälftigem Mischungsverhältnis.
Vorrichtung nach Anspruch 5 oder 6, wobei die Vorrichtung so ausgestaltet ist, dass die vorbestimmte erwartete Zahl aus zumindest einem aus einer Sensorkonstante und einer eingestellten Belichtungszeit berechnet wird.
Kamera (10) mit einem Bildsensor und einer Vorrichtung nach einem der Ansprüche 1 bis 7.
Verfahren zum Korrigieren einer Bildpunktinformation eines Defektpixels in einem aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung erhaltenen Ursprungsbildsignal (B_O), wobei das Verfahren die Schritte umfasst: – Filtern des Ursprungsbildsignals (B_O) mit einer Tiefpasscharakteristik, um ein Referenzbildsignal (B_R) zu erzeugen; – Vergleichen des Referenzbildsignals (B_R) mit dem Ursprungsbildsignal (B_O); – Bestimmen einer Abweichung zwischen dem Referenzbildsignal (B_R) und dem Ursprungsbildsignal (B_O); – Mischen des Ursprungsbildsignals (B_O) mit dem Referenzbildsignal (B_R), falls die Abweichung (S1) innerhalb eines vorbestimmten Bereichs (M) um einen vorbestimmten Schwellwert liegt; – unverändertes Beibehalten des Ursprungsbildsignals (B_O), falls die Abweichung (S1) unterhalb des vorbestimmten Bereiches (M) liegt; und – Ersetzen des Ursprungsbildsignals (B_O) durch das Referenzbildsignal (B_R), falls die Abweichung (S1) oberhalb des vorbestimmten Bereichs (M) liegt.
Computerprogramm zum Speichern auf einem Datenträger und zum Veranlassen einer Computervorrichtung zum Ausführen des Steuerverfahrens nach Anspruch 9, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.