DE102013209165A1

DE102013209165A1 - Pixelkorrekturverfahren

Info

Publication number: DE102013209165A1
Application number: DE102013209165.6A
Authority: DE
Inventors: Michael Cieslinski
Original assignee: Arnold and Richter KG; Arnold and Richter Cine Technik GmbH and Co KG
Current assignee: Arnold and Richter KG; Arnold and Richter Cine Technik GmbH and Co KG
Priority date: 2013-05-17
Filing date: 2013-05-17
Publication date: 2014-11-20
Also published as: US9288408B2; US20140340546A1

Abstract

Bei einem Verfahren zur Korrektur defekter Pixel eines Bildsensors, der eine Vielzahl von Pixeln zum Erzeugen jeweiliger belichtungsabhängiger Pixelsignale aufweist, ist dem Bildsensor für jedes Pixel eine Defektcharakteristik zugeordnet, die eine Information zumindest darüber umfasst, ob das Pixel unbrauchbar ist, uneingeschränkt verwendbar ist oder einer von mehreren vorbestimmten Defektklassen entspricht. Das Verfahren umfasst, dass nach dem Erzeugen der Pixelsignale für jedes Pixel zumindest dann, wenn die Defektcharakteristik des Pixels nicht einem unbrauchbaren oder einem uneingeschränkt verwendbaren Pixel entspricht, in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels und von Pixelsignalen mehrerer benachbarter Pixel festgelegt wird, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll, wobei zutreffendenfalls das erzeugte Pixelsignal des Pixels durch einen Ersatzwert ersetzt wird.

Description

Die Erfindung betrifft ein Verfahren zur Korrektur defekter Pixel eines Bildsensors, der ein Vielzahl von Pixeln zum Erzeugen jeweiliger belichtungsabhängiger Pixelsignale aufweist, wobei dem Bildsensor für jedes Pixel eine Defektcharakteristik zugeordnet ist, die eine Information zumindest darüber umfasst, ob das Pixel unbrauchbar ist, uneingeschränkt verwendbar ist oder einer von mehreren vorbestimmten Defektklassen entspricht.
Bildsensoren der genannten Art werden beispielsweise in digitalen Stillbildkameras und Bewegtbildkameras (Filmkameras) zur Aufnahme von Einzelbildern bzw. einer Folge von Laufbildern verwendet. Die Bildsignale dieser Bilder setzen sich aus Pixelsignalen zusammen, die von den typischerweise in Zeilen und Spalten angeordneten Pixeln des Bildsensors erzeugt werden. Bedingt durch Qualitätsschwankungen bei der Fertigung der Bildsensoren können einzelne Pixel des Bildsensors defekt sein. Dabei wird als defekt jede Abweichung eines Pixels von einer Normvorgabe bezeichnet, die dazu führt, dass das Pixel und insbesondere von dem Pixel erzeugte Pixelsignale unbrauchbar oder lediglich eingeschränkt verwendbar sind. Beispielsweise können bei einem gängigen Bildsensor für eine Bewegtbildkamera mit typischerweise mehreren Millionen Pixeln 20 Pixel unbrauchbar und 3000 Pixel eingeschränkt verwendbar sein, während die übrigen Pixel uneingeschränkt verwendbar sind.
Speziell im Bereich professioneller Bewegtbildkameras, die auch für Kinoproduktionen eingesetzt werden, können die von defekten Pixeln verursachten Abweichungen selbst bei einer im Vergleich zu der Gesamtzahl der Pixel relativ geringen Zahl defekter Pixel nicht toleriert werden. Denn zum einen wirken sich Abweichungen auch einzelner Pixel bei der Nachbearbeitung der aus den Pixelsignalen gebildeten Bildsignale störend aus. Zum anderen können insbesondere bei Projektion der Bildsignale auf große Kinoleinwände selbst Abweichungen einzelner defekter Pixel sichtbar werden. Daher ist bei der Herstellung von Bildsensoren für Kameras mit einem derartig hohen Qualitätsanspruch die Ausbeute (engl.: yield) unvorteilhaft gering.
Soweit dies im Einzelfall für eine relativ geringe Anzahl defekter Pixel tolerierbar erscheint, werden die Pixelsignale aller als defekt identifizierten Pixel eines Bildsensors verworfen und für die defekten Pixel werden neue Pixelsignale durch Interpolation aus Pixelsignalen benachbarter Pixel abgeschätzt. Dabei soll ein jeweiliges abgeschätztes Pixelsignal einem Pixelsignal, das ein uneingeschränkt verwendbares Pixel an dieser Stelle erzeugt hätte, möglichst nahekommen, damit nach der Korrektur möglichst keine Störung im Bildsignal mehr wahrnehmbar ist. Da jeweils alle defekten Pixel, also sowohl unbrauchbare als auch eingeschränkt verwendbare Pixel, einheitlich verworfen werden, muss stets dieselbe Anzahl an Pixelwerten durch Interpolation berechnet werden, was einen hohen Korrekturaufwand verursacht. Zudem wird durch das Verwerfen der Pixelsignale eingeschränkt verwendbarer Pixel möglicherweise verwertbare Bildinformation verworfen, so dass die Bildqualität gegebenenfalls unnötig stark beeinträchtigt wird.
Für eine differenziertere Korrektur können die Pixel eines Bildsensors gemäß einer Defektcharakteristik danach unterschieden werden, ob sie unbrauchbar sind, uneingeschränkt verwendbar sind oder einer von mehreren vorbestimmten Defektklassen entsprechen. Durch diese Defektklassen können dann unterschiedliche Grade eingeschränkter Verwendbarkeit jeweiliger Pixel erfasst werden. Insbesondere können auch die Unbrauchbarkeit und/oder die uneingeschränkte Verwendbarkeit eines Pixels als eine jeweilige derartige Defektklasse beschrieben werden. Diese Einteilung in Defektklassen ermöglicht es, Pixel mit Defekten unterschiedlichen Grades auch unterschiedlich zu behandeln. Pixel innerhalb derselben Defektklasse werden hingegen weiterhin einheitlich korrigiert.
Jedoch sind bei dieser Vorgehensweise die von defekten Pixeln verursachten Abweichungen hinsichtlich ihrer Stärke und/oder ihrer Wahrnehmbarkeit im Bildsignal nicht unbedingt konstant. Beispielsweise kann die Abweichung eines defekten Pixels von der Intensität seiner Belichtung (hell bzw. dunkel) abhängen. Wie sehr eine Abweichung im Pixelsignal eines defekten Pixels wahrnehmbar und somit korrekturbedürftig ist, kann insbesondere von der Umgebung des Pixels, also den Pixelsignalen benachbarter Pixel, abhängen. Es ist daher für eine Verbesserung der Bildqualität nicht zwangsläufig für alle Pixel einer Defektklasse gleichermaßen notwendig, sie zu korrigieren. Daher bleibt bei bloßer Berücksichtigung einer Defektcharakteristik Potential zu einer weiteren Verringerung des Verarbeitungsaufwands noch ungenutzt. Ferner ist eine Korrektur stets selbst mit einer Unsicherheit behaftet. Daher kann eine Korrektur, die sich lediglich nach einer dem jeweiligen Pixel zugeordneten Defektklasse richtet, die Bildqualität zuweilen sogar verschlechtern.
Es ist eine Aufgabe der Erfindung, ein Verfahren zur Korrektur defekter Pixel bereitzustellen, das effizient ist und gewährleistet, dass die Korrektur der defekten Pixel zu einer Verbesserung der Bildqualität führt.
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und insbesondere dadurch, dass nach dem Erzeugen der Pixelsignale für jedes Pixel zumindest dann, wenn die Defektcharakteristik des Pixels nicht einem unbrauchbaren oder einem uneingeschränkt verwendbaren Pixel entspricht, in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels und von Pixelsignalen mehrerer benachbarter Pixel festgelegt wird, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll, wobei zutreffendenfalls das erzeugte Pixelsignal des Pixels durch einen Ersatzwert ersetzt wird.
Bei diesem Verfahren ist also die Entscheidung darüber, wie mit einem jeweiligen Pixel umgegangen wird, nicht bereits einfach durch die Defektcharakteristik des Pixels fest vorgegeben. Zumindest dann, wenn das Pixel eingeschränkt verwendbar ist, ihm also eine entsprechende Defektklasse zugeordnet ist, wird der eigentlichen Korrektur des Pixels ein ergänzender Entscheidungsprozess vorgelagert. Wenn hingegen das jeweilige Pixel unbrauchbar oder uneingeschränkt verwendbar ist, kann die Entscheidung darüber, wie mit dem Pixel umzugehen ist, bereits vorab feststehen: Beispielsweise können die Pixelsignale unbrauchbarer Pixel stets verworfen und durch jeweilige Ersatzwerte ersetzt werden; die Pixelsignale uneingeschränkt verwendbarer Pixel bedürfen vorzugsweise keiner Korrektur.
Zumindest für alle übrigen Pixel wird ein vorgelagerter Entscheidungsprozess durchgeführt. Durch diesen wird festgelegt, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll oder nicht. Der Entscheidungsprozess umfasst zumindest die Berücksichtigung einer zweifachen Abhängigkeit:
einerseits von der zugeordneten Defektklasse des jeweiligen Pixels und andererseits von Pixelsignalen mehrerer zu dem jeweiligen Pixel benachbarter Pixel. Vorteilhafterweise kann das erfindungsgemäße Verfahren diese zweifache Abhängigkeit gerade derart nutzen, dass lediglich solche Pixel korrigiert werden, bei denen das Ersetzen des erzeugten Pixelsignals durch einen Ersatzwert zu einer Verbesserung der Bildqualität führt.
Durch die Abhängigkeit der genannten Festlegung von der Umgebung eines jeweiligen Pixels wird es insbesondere möglich, dass von den Pixeln, die einer gemeinsamen Defektklasse zugeordnet sind, einige aufgrund einer bestimmten Umgebung korrigiert werden, andere aufgrund einer anderen bestimmten Umgebung hingegen nicht. Beispielsweise können manche Pixel insofern defekt sein, als sie einen erhöhten Dunkelstrom aufweisen, d.h. dass sie bei geringer oder ausbleibender Lichtbeaufschlagung ein für diese Lichtbeaufschlagung zu großes Pixelsignal erzeugen. Entsprechend dem Verfahren werden derartige Pixel nicht einfach grundsätzlich ignoriert und ersetzt, sondern beispielsweise lediglich in dunkeln Bildbereichen, wo die durch diese Pixel verursachte Abweichung besonders wahrnehmbar ist. Ferner können beispielsweise Pixel, deren Defekt in einer niedrigen maximalen Aussteuerung beruht, lediglich dann korrigiert werden, wenn die Helligkeit der Umgebung so hoch ist, dass ihre geringere Aussteuerbarkeit zu einer im Bildsignal wahrnehmbaren Abweichung führen würde.
Das Ersetzen der erzeugten Pixelsignale der Pixel, für die festgelegt wurde, dass sie ersetzt werden sollen, muss nicht zwangsläufig sofort nach der Festlegung über die Korrektur des Pixels erfolgen. Vorzugsweise werden die jeweils festgelegten Ersetzungen erst durchgeführt, nachdem für sämtliche Pixel des Bildsensors die Festlegung über die Korrektur abgeschlossen ist. In diesem Fall werden für die Festlegung, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll, stets ursprünglich erzeugte und nicht bereits korrigierte Pixelsignale berücksichtigt.
Die dem jeweiligen Pixel zugeordnete Defektklasse stellt eine Information über eine im Wesentlichen unveränderliche Eigenschaft des Pixels dar. Zwar kann das Verfahren auch Schritte zum Ermitteln der Defektcharakteristik umfassen, und die Defektcharakteristik kann, wie im Weiteren noch erläutert wird, von einer Betriebsart des Bildsensors abhängig sein. Zumindest aber vor der Durchführung der genannten Verfahrensschritte für die Korrektur defekter Pixel stehen die Defektcharakteristik und die dem jeweiligen Pixel zugeordnete Defektklasse fest. Dagegen sind die Pixelsignale der benachbarten Pixel veränderlich. Daher muss für jedes eingeschränkt verwendbare Pixel eines jeden einzelnen Bildes jeweils neu festgelegt werden, ob eine Korrektur erfolgen soll. Der damit verbundene zusätzliche Aufwand des vorgelagerten Entscheidungsprozesses wird aber zumindest zum Teil dadurch ausgeglichen, dass als Folge des Entscheidungsprozesses nicht mehr alle unbrauchbaren und eingeschränkt verwendbaren Pixel korrigiert werden müssen, sondern in der Regel eine wesentlich geringere Anzahl. Insbesondere kann für die eingeschränkt verwendbaren Pixel, für die festgestellt wurde, dass sie nicht korrigiert werden sollen, ein aufwändiges Bestimmen eines Ersatzwerts ausbleiben, so dass insgesamt die Effizient des Verfahrens verbessert sein kann. Weiterhin ist vorteilhaft, dass die Pixelsignale der eingeschränkt verwendbaren Pixel zumindest zum Teil verwendet werden können. Dadurch erhöht sich die Menge der insgesamt berücksichtigten von dem Bildsensor erzeugten Information, was zu einer höheren Bildqualität führen kann.
Die Defektcharakteristik zumindest der Pixel, die eingeschränkt verwendbar sind, umfasst eine dem jeweiligen Pixel entsprechende Defektklasse. Die Information darüber, dass ein Pixel unbrauchbar ist, und/oder die Information darüber, dass ein Pixel uneingeschränkt verwendbar ist, muss/müssen nicht gesondert vorliegen, sondern kann/können in der Defektcharakteristik auch lediglich indirekt enthalten sein, nämlich durch Vergabe einer jeweiligen entsprechenden Defektklasse.
Eine Defektklasse charakterisiert das Verhalten des Pixels in Abhängigkeit von weiteren Parametern, wie etwa der Intensität und Dauer der Belichtung, gemäß einem vorbestimmten Klassifizierungsschema. Die Einteilung in die Defektklassen kann dabei gemäß einer Stufung erfolgen. Eine feine Stufung erlaubt eine detaillierte Berücksichtigung unterschiedlicher Grade der Verwendbarkeit eines jeweiligen Pixels. Zugleich wird durch die diskreten Werte der Stufung gegenüber einer Berücksichtigung kontinuierlicher Werte eine Verringerung des erforderlichen Rechenaufwands erreicht. Insbesondere dadurch kann es ermöglicht werden, dass das erfindungsgemäße Verfahren auch direkt in einer Kamera anwendbar ist, was bevorzugt der Fall ist.
Bei der Klassifizierung der defekten Pixel können verschiedene Arten von Defekten unterschieden werden, die bei einem jeweiligen Pixel auch in Kombination vorliegen können. Beispielsweise können einem Pixel mehrere Defektklassen, für jede Defektart eine, zugeordnet werden. Alternativ kann dem Pixel lediglich eine Defektklasse zugeordnet werden, die einer Kombination der Defekte verschiedener Art für das jeweilige Pixel entspricht. Somit können verschiedene Defektarten mit geringem Rechenaufwand unabhängig voneinander in der Defektcharakteristik berücksichtigt werden.
Je nach Art des Defekts kann das jeweilige Klassifizierungsschema unterschiedlich gestuft sein, wobei Unterschiede hinsichtlich der Feinheit oder der Art der Stufung denkbar sind. So können beispielsweise die Defektklassen für einen Dunkelstrom linear gestuft sein, während die Defektklassen für ein Rauschen im Dunkeln logarithmisch gestuft sein können, beispielsweise mit einem Anstieg von 15 % von Stufe zu Stufe.
Vorzugsweise wird der Ersatzwert in Abhängigkeit zumindest von Pixelsignalen eines Satzes von benachbarten Pixeln geschätzt, insbesondere durch Interpolation. Somit ist nicht nur die Festlegung, ob das erzeugte Pixelsignal eines jeweiligen Pixels korrigiert werden soll, von der Umgebung des Pixels abhängig, sondern auch der Ersatzwert, durch den dieses Pixelsignal ersetzt werden soll. Diese doppelte Berücksichtigung der Umgebung des Pixels ermöglicht eine besonders individuelle Korrektur defekter Pixel.
Bei einer Ausführungsform ist der genannte Satz von benachbarten Pixeln, der für das Schätzen des Ersatzwerts herangezogen wird, identisch zu den genannten mehreren benachbarten Pixeln berücksichtigt werden, die für die Festlegung, ob ein Pixelsignal korrigiert werden soll. Allerdings muss es sich bei dem genannten Satz von benachbarten Pixeln und bei den genannten mehreren benachbarten Pixeln nicht zwangsläufig um dieselben benachbarten Pixel handeln. Bei einer alternativen Ausführungsform sind die genannten mehreren benachbarten Pixel und der genannte Satz von benachbarten Pixeln verschieden.
Beispielsweise können die für die Festlegung, ob eine Korrektur durchgeführt wird, herangezogenen benachbarten Pixel bevorzugt im Hinblick darauf ausgewählt sein, dass anhand von ihnen besonders gut festgestellt werden kann, ob das abweichende Pixelsignal eines defekten Pixels in dieser Umgebung überhaupt ins Gewicht fällt und folglich korrekturbedürftig ist. Der Satz der für das Schätzen des Ersatzwertes herangezogenen benachbarten Pixel kann dagegen im Hinblick darauf besonders geeignet ausgewählt sein, dass das Schätzen des Ersatzwerts zu qualitativ hochwertigen Ergebnissen führt.
Sowohl im Zusammenhang mit der Festlegung, ob ein jeweiliges Pixel korrigiert werden soll, als auch im Zusammenhang mit dem Abschätzen des jeweiligen Ersatzwerts kann es sich bei den jeweiligen Pixelsignalen mehrerer benachbarter Pixel um die von den benachbarten Pixeln tatsächlich erzeugten Pixelsignale handeln. Sofern unter den benachbarten Pixeln auch defekte Pixel vorliegen, die bereits korrigiert wurden, kann es sich bei diesen Pixeln alternativ auch um zuvor bereits korrigierte Pixelsignale handeln.
Bei einer weiteren Ausführungsform kann der Ersatzwert zumindest teilweise dadurch geschätzt werden, dass das erzeugte Pixelsignal des Pixels gemäß der Defektcharakteristik des Pixels, d.h. in Abhängigkeit von der zugeordneten Defektklasse, modifiziert wird. Der Ersatzwert kann also zumindest auch auf dem ursprünglich erzeugten Pixelsignal des eingeschränkt verwendbaren Pixels beruhen. Somit wird das ursprünglich erzeugte Pixelsignal des Pixels nicht verworfen, sondern trägt zu dem Ersatzwert, durch den es ersetzt wird, bei. Dies ist insbesondere dann nützlich, wenn sich die Abweichung des von dem defekten Pixel erzeugten Pixelsignals gegenüber einem Pixelsignal, das ein uneingeschränkt verwendbares Pixel erzeugt hätte, im Wesentlichen kompensieren lässt. Die Kompensation kann beispielsweise multiplikativ mittels eines Korrekturfaktors erfolgen oder durch Anwendung einer speziell angepassten mathematischen Funktion, wobei die Defektcharakteristik insbesondere zur Wahl der geeigneten Modifikation herangezogen werden kann. Vorzugsweise geht das ursprünglich erzeugte Pixelsignal eines eingeschränkt verwendbaren Pixels nur dann modifiziert in den Ersatzwert ein, wenn sich die Abweichung im Pixelsignal kompensieren lässt, und wird ansonsten verworfen. Ob sich die Abweichung im Pixelsignal kompensieren lässt, kann vorzugsweise anhand der Defektcharakteristik des Pixels bestimmt werden.
Ferner ist es möglich, dass das Abschätzen des Ersatzwerts sowohl in Abhängigkeit von Pixelsignalen des genannten Satzes benachbarter Pixel als auch unter Berücksichtigung des ursprünglich erzeugten Pixelsignals des defekten Pixels erfolgt. Dies kann beispielsweise durch eine gewichtete Verknüpfung eines aus den Pixelsignalen der benachbarten Pixel interpolierten Werts mit dem mittels eines Korrekturfaktors modifizierten Pixelsignal des defekten Pixels erfolgen.
Bei einer vorteilhaften Ausführungsform werden für das Festlegen, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll, die folgenden Schritte durchgeführt: Ermitteln eines Interpolationsfehlers des Pixels in Abhängigkeit zumindest von den genannten Pixelsignalen der mehreren benachbarten Pixel; Ermitteln eines Fehlervergleichswerts des Pixels in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels; und Vergleichen des Interpolationsfehlers mit dem Fehlervergleichswert. Bei dieser Ausführungsform wird nur dann, wenn der Interpolationsfehler geringer oder zumindest nicht größer ist als der Fehlervergleichswert, festgelegt, dass das erzeugte Pixelsignal des Pixels korrigiert werden soll.
In diesem Fall beruht also die Entscheidung darüber, ob das erzeugte Pixelsignal eines Pixels korrigiert werden soll, auf dem Vergleich eines Fehlers, der aufgrund des Defekts des Pixels vorliegt und als Fehlervergleichswert aus der zugeordneten Defektklasse des Pixels abgeleitet werden kann, mit einem Interpolationsfehler. Vorzugsweise entspricht der Interpolationsfehler dem Fehler, der nach einer Korrektur des Pixelsignals gerade aufgrund der Unvollkommenheit dieser Korrektur, also etwa aufgrund der Unsicherheit einer Interpolation, vorliegen würde. Anhand des Vergleichs des Fehlervergleichswerts mit dem Interpolationsfehler kann somit festgestellt werden, ob ein Ersetzen des Pixelsignals des jeweiligen Pixels mit dem Ersatzwert überhaupt zu einer Verringerung der Abweichung im Pixelsignal dieses Pixels führt und also eine Verbesserung der Bildqualität bedeutet. Vorteilhafterweise wird nur, wenn dies der Fall ist, wenn also der Interpolationsfehler geringer ist als der Fehlervergleichswert, das Pixelsignal des Pixels tatsächlich korrigiert.
Insbesondere kann es zur weiteren Steigerung der Effizienz vorgesehen sein, dass nur dann festgelegt wird, dass das erzeugte Pixelsignal des Pixels korrigiert werden soll, wenn der Interpolationsfehler zumindest um eine bestimmte Vergleichsschwelle geringer ist als der Fehlervergleichswert. Je größer diese Vergleichsschwelle gewählt wird, für desto weniger defekte Pixel wird festgelegt, dass das jeweilige erzeugte Pixelsignal korrigiert werden soll, und desto geringer ist der Gesamtaufwand der Korrektur. Je kleiner die Vergleichsschwelle ist, desto umfassender ist die Korrektur und desto besser ist daher die Bildqualität. Durch geeignete Wahl der Vergleichsschwelle kann die jeweilige Priorisierung dieser konträren Ziele eingestellt werden. Vorzugsweise weist die Vergleichsschwelle den geringstmöglichen Wert auf, bei dem der Aufwand des Verfahrens dessen Anwendung innerhalb einer Kamera noch zulässt.
Die erfindungsgemäße Abhängigkeit der Festlegung, ob eine Korrektur erfolgen soll, von Pixelsignalen mehrerer benachbarter Pixel geht im Wesentlichen über den genannten Interpolationsfehler in die Entscheidung ein. Der Interpolationsfehler kann als Kenngröße dafür betrachtet werden, wie gut der Ersatzwert aller Wahrscheinlichkeit nach einem Wert entspricht oder ähnlich ist, den ein uneingeschränkt verwendbares Pixel an dieser Stelle als Pixelsignal erzeugt hätte. Für die Beurteilung dieser Frage werden beim Ermitteln des Interpolationsfehlers die Pixelsignale der mehreren benachbarten Pixel berücksichtigt, also die Umgebung des Pixels, in die sich ein geeigneter Ersatzwert auf möglichst unauffällige Weise einfügen soll.
Wie dargelegt, kann das Schätzen des Ersatzwerts insbesondere durch Interpolation von Pixelsignalen eines Satzes von benachbarten Pixeln erfolgen. Das Ermitteln des Interpolationsfehlers kann vorzugsweise in Abhängigkeit von Pixelsignalen derselben benachbarten Pixel erfolgen. Es ist aber auch möglich, dass die Pixelsignale mehrerer anderer benachbarter Pixel, z.B. nur eines Teils des genannten Satzes und/oder gänzlich anderer benachbarter Pixel, herangezogen werden. Beispielsweise kann dadurch, dass für das Ermitteln des Interpolationsfehlers weniger benachbarte Pixel berücksichtigt werden als für das Abschätzen des Ersatzwerts, die Effizienz der Festlegung, ob das erzeugte Pixelsignal eines Pixels korrigiert werden soll, gesteigert werden. Für die zutreffendenfalls durchgeführte Korrektur können hingegen vergleichsweise viele benachbarte Pixel berücksichtigt werden, um eine möglichst hohe Qualität des Abschätzens des Ersatzwerts zu erreichen. Bei einer derartigen Ausführungsform des Verfahrens gibt zwar der Interpolationsfehler nicht unbedingt den tatsächlichen Fehler des Ersatzwerts wieder, kann aber dennoch im Vergleich mit dem Fehlervergleichswert als Indiz dafür betrachtet werden, ob sich die Korrektur des erzeugten Pixelsignals des Pixels vorteilhaft auf die Bildqualität auswirkt.
Vorzugsweise umfasst das Ermitteln eines Interpolationsfehlers des Pixels: dass ein Interpolationsrauschen ermittelt wird; dass ein Rauschen der mehreren benachbarten Pixel, insbesondere in Abhängigkeit zumindest von den jeweiligen zugeordneten Defektklassen der mehreren benachbarten Pixel, ermittelt wird; und dass der Interpolationsfehler in Abhängigkeit zumindest von dem Interpolationsrauschen und dem Rauschen der mehreren benachbarten Pixel bestimmt wird. Der Interpolationsfehler kann sich also im Wesentlichen aus zumindest zwei Fehlerquellen zusammensetzen: einem Interpolationsrauschen einerseits und einem Rauschen der benachbarten Pixel andererseits. Unter Interpolationsrauschen ist hierbei der Fehler zu verstehen, der der jeweiligen Methode des Abschätzens des Ersatzwerts inhärent ist. Denn ein Abschätzen ist stets mit einer gewissen Unsicherheit behaftet, deren Größe insbesondere von der verwendeten Methode, z.B. einem jeweiligen Interpolationsverfahren, abhängig ist. Das Interpolationsrauschen, das ein Maß für diese Unsicherheit darstellt, kann ein Absolutwert oder ein Relativwert sein. Beispielsweise kann das Interpolationsrauschen 10 % eines durch ein bestimmtes Interpolationsverfahren bestimmten neuen Werts für das Pixelsignal des Pixels betragen. Dieser neue Wert stimmt vorzugsweise mit dem Ersatzwert überein, kann aber auch von diesem abweichen.
In den Interpolationsfehler geht jedoch nicht nur ein durch das Abschätzen bedingter Fehler ein, sondern er wird zusätzlich durch Fehler in den Pixelsignalen der benachbarten Pixel verursacht. Diese Fehler werden hier zusammengefasst als ein Rauschen bezeichnet und können vorteilhafterweise aus der dem Bildsensor für die benachbarten Pixel zugeordneten Defektcharakteristik abgeleitet werden. Das Rauschen der mehreren benachbarten Pixel kann sich dann aus einer gemeinsamen Berücksichtigung der einzelnen Fehler in den Pixelsignalen der benachbarten Pixel ergeben, beispielsweise indem eine gewichtete Summe oder ein auf andere Weise geeignet an das Interpolationsverfahren angepasster Funktionswert gebildet wird. Nachdem das Interpolationsrauschen und das Rauschen der mehreren benachbarten Pixel ermittelt sind, kann der Interpolationsfehler in Abhängigkeit von diesen Größen, beispielsweise als deren Summe oder als Wurzel der Summe der Quadrate, bestimmt werden.
Der Fehlervergleichswert ist ein Maß für die durch den Defekt des Pixels verursachte Abweichung in dessen Pixelsignal. Um die Signifikanz des Fehlervergleichswerts zu erhöhen, kann der Fehlervergleichswert zusätzlich zur Abhängigkeit von der zugeordneten Defektklasse des Pixels noch von weiteren Größen abhängen. Insbesondere erfolgt das Ermitteln des Fehlervergleichswerts des Pixels zusätzlich in Abhängigkeit von dem erzeugten Pixelsignal des Pixels und/oder in Abhängigkeit von einer Belichtungszeit des Pixels und/oder in Abhängigkeit von den Pixelsignalen der mehreren benachbarten Pixel. Je nach Art des Defekts eines Pixels muss die Abweichung im Pixelsignal dieses Pixels nicht konstant sein, sondern kann insbesondere von dem erzeugten Pixelsignal und der Belichtungszeit des Pixels abhängen. Wie störend sich eine Abweichung im Pixelsignal eines defekten Pixels wahrnehmbar auswirkt, hängt ferner von der Umgebung des Pixels ab. Gewisse Defekte sind besonders in hellen, andere besonders in dunklen Bildbereichen störend wahrnehmbar. Daher ist es vorteilhaft, diese Abhängigkeiten beim Ermitteln des Fehlervergleichswerts des Pixels zu berücksichtigen, um so anhand des Vergleichs mit dem Interpolationsfehler besser festlegen zu können, ob eine Korrektur nützlich im Sinne einer wahrnehmbaren Verbesserung der Bildqualität ist.
Um mehrere verschiedene Defektarten, die bei einem jeweiligen Pixel auch in Kombination vorliegen können, zu berücksichtigen, kann vorzugsweise die Defektcharakteristik für jedes Pixel zu wenigstens zwei verschiedenen Defektarten eine Information darüber umfassen, ob das Pixel einer von mehreren vorbestimmten jeweiligen Defektklassen entspricht. Es sind verschiedene Weisen möglich, wie die unterschiedlichen Defektarten in die Festlegung, ob das erzeugte Pixelsignal eines jeweiligen Pixels korrigiert werden soll, eingehen können:
Bei einer Ausführungsform wird für alle verschiedenen Defektarten ein gemeinsamer Fehlervergleichswert des Pixels in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels ermittelt und nur dann festgelegt, dass das erzeugte Pixelsignal des Pixels korrigiert werden soll, wenn der Interpolationsfehler geringer oder zumindest nicht größer ist als der gemeinsame Fehlervergleichswert. Bei dieser Ausführungsform kann insbesondere dem Pixel eine einzige Defektklasse zugeordnet sein, die die Kombination der jeweiligen Grade der Defekte unterschiedlicher Arten bei diesem Pixel repräsentiert. Die Einteilung in Defektklassen kann dann beispielsweise gemäß einer mehrdimensionalen Matrix erfolgen, wobei jede Dimension einer Defektart entspricht und wobei die Dimensionen unabhängig voneinander unterschiedlich (beispielsweise linear oder logarithmisch) gestuft sein können. Somit kann aus der dem Pixel zugeordneten Defektklasse ein einzelner und somit alle Defektarten gemeinsam berücksichtigender Fehlervergleichswert abgeleitet werden, der dann mit dem Interpolationsfehler verglichen werden kann. In die auf diesem Vergleich beruhende Entscheidung über die Korrektur des Pixels gehen folglich alle Defektarten gleichermaßen ein.
Bei einer alternativen Ausführungsform wird für jede der verschiedenen Defektarten ein jeweiliger Fehlervergleichswert des Pixels in Abhängigkeit zumindest von der jeweiligen zugeordneten Defektklasse des Pixels ermittelt und nur dann festgelegt, dass das erzeugte Pixelsignal des Pixels korrigiert werden soll, wenn für wenigstens eine der verschiedenen Defektarten der Interpolationsfehler geringer oder zumindest nicht größer ist als der jeweilige Fehlervergleichswert. Bei dieser alternativen Ausführungsform kann einem jeweiligen Pixel für jede der verschiedenen Defektarten eine jeweilige Defektklasse zugeordnet sein. Somit kann auch für jede der verschiedenen Defektarten aus der entsprechenden Defektklasse des Pixels ein jeweiliger Fehlervergleichswert des Pixels abgeleitet werden. Der Interpolationsfehler wird dann mit allen Fehlervergleichswerten des Pixels verglichen, wobei der Vergleich abgebrochen werden kann, sobald der Interpolationsfehler geringer als einer der Fehlervergleichswerte ist. Eine Festlegung, dass das erzeugte Pixelsignal eines Pixels korrigiert werden soll, erfolgt also nur dann, wenn der Interpolationsfehler des Pixels zumindest geringer als der maximale der Fehlervergleichswerte des Pixels ist. Auf diese Weise ist für die genannte Festlegung über die Korrektur des Pixels lediglich die bei diesem Pixel jeweils dominante Defektart entscheidend.
Bei den verschiedenen genannten Defektarten kann es sich insbesondere um ein erhöhtes Rauschen im Dunkeln, eine geringe maximale Aussteuerung, einen Dunkelstrom und/oder eine Abweichung bei kurzer Belichtungszeit des jeweiligen Pixels handeln. Ein erhöhtes Rauschen im Dunkeln bedeutet, dass die trotz konstanter Belichtung stets vorhandenen Schwankungen im Pixelsignal bei geringer Belichtungsintensität stark erhöht sind. Als niedrige maximale Aussteuerung wird der Defekt bezeichnet, dass die Schwelle, ab der ein Anstieg der Belichtungsintensität zu keinem Anstieg des Pixelsignals mehr führt, erniedrigt ist. Als Dunkelstrom wird ein Pixelsignal bezeichnet, das bei geringer Belichtung des Pixels auftritt und fehlerhafterweise eine stärkere als die tatsächliche Belichtung repräsentiert. Einen weiteren Defekt stellt es dar, wenn bei kurzer Belichtungszeit der Zusammenhang zwischen dem Pixelsignal und der Belichtungszeit vom normalen Zusammenhang abweicht.
Bei einer Ausführungsform des Verfahrens umfassen die mehreren benachbarten Pixel direkt horizontal, direkt vertikal und/oder direkt diagonal relativ zu dem Pixel benachbarte Pixel und/oder indirekt benachbarte Pixel. Dies gilt unabhängig voneinander sowohl für die genannten mehreren benachbarten Pixel, die bei der Festlegung über die Korrektur des Pixelsignals eines Pixels berücksichtigt werden, als auch für den Satz von benachbarten Pixeln, der zum Abschätzen des Ersatzwerts herangezogen werden kann. Direkt benachbarte Pixel sind Pixel, zwischen denen auf dem Bildsensor keine weiteren Pixel angeordnet sind, während bei indirekt benachbarten Pixeln einige wenige andere Pixel dazwischen angeordnet sein können.
Wenn der Bildsensor zumindest eine Vielzahl von Pixeln, die eine erste Farbe aufweisen, und eine Vielzahl von Pixeln, die eine zweite Farbe aufweisen, umfasst, kann eine Ausführungsform vorteilhaft sein, bei der das Pixel und die berücksichtigten benachbarten Pixel dieses Pixels dieselbe Farbe aufweisen. Für die Festlegung, ob das Pixelsignal eines Pixels korrigiert werden soll, und/oder für das Abschätzen des Ersatzwerts, mit dem das Pixel zutreffendenfalls ersetzt wird, werden also bei dieser Ausführungsform als die genannten mehreren benachbarten Pixel bzw. als der genannte Satz von benachbarten Pixeln lediglich solche Pixel herangezogen, die dieselbe Farbe wie das Pixel aufweisen. Da Pixel derselben Farbe in der Regel eine höhere Korrelation untereinander aufweisen, kann auf diese Weise diese Korrelation zu einer Verbesserung der Qualität der Korrektur genutzt werden. Der Bildsensor kann insbesondere Pixel dreier verschiedener Farben aufweisen, die nach dem Schema eines Farbmosaikfilters, vorzugsweise eines Bayer-Filters, angeordnet sind. Wenn als benachbarte Pixel lediglich solche Pixel herangezogen werden, die dieselbe Farbe wie das jeweilige Pixel aufweisen, so gelten zwei Pixel als direkt benachbart, wenn kein anderes Pixel derselben Farbe zwischen ihnen angeordnet ist, und als indirekt benachbart, wenn nur einige wenige andere Pixel derselben Farbe zwischen ihnen angeordnet sind.
Vorzugsweise umfasst das Verfahren ferner, dass die dem Bildsensor für jedes Pixel zugeordnete Defektcharakteristik vor einem Erzeugen der Pixelsignale für jedes Pixel ermittelt und in einer Speichereinrichtung gespeichert wird, und dass für jedes Pixel vor der Festlegung, ob das erzeugte Pixelsignal des Pixels korrigiert werden soll, die Defektcharakteristik aus der Speichereinrichtung ausgelesen wird. Das Ermitteln und Speichern der Defektcharakteristik ist nicht zwangsläufig Teil des Verfahrens zur Korrektur defekter Pixel. Denn für die Durchführung des Verfahrens ist es grundsätzlich ausreichend, wenn eine dem Bildsensor zugeordnete Defektcharakteristik auf irgendeine Weise vorgegeben ist. Um aber diese Defektcharakteristik überhaupt zu ermitteln, kann dem eigentlichen Korrekturverfahren eine Kalibration vorgelagert sein, durch die für jedes Pixel die Defektcharakteristik ermittelt und zur späteren Verwendung in einer Speichereinrichtung gespeichert wird. Die Speichereinrichtung kann insbesondere in einer den Bildsensor umfassenden Kamera enthalten sein. Von dort kann die Defektcharakteristik dann für die Festlegung, ob das erzeugte Pixelsignal eines Pixels korrigiert werden soll, aus der Speichereinrichtung ausgelesen werden.
Das Ermitteln und Speichern der Defektcharakteristik muss nicht unmittelbar vor der Durchführung des übrigen Verfahrens zur Korrektur defekter Pixel vorgenommen werden. Insbesondere kann das Ermitteln und Speichern der Defektcharakteristik für einen Bildsensor von dem Hersteller des Bildsensors oder einer den Bildsensor umfassenden Kamera nach der Fertigung des Bildsensors oder der Kamera lediglich einmalig durchgeführt werden, wohingegen die weiteren Schritte des Verfahrens, die die eigentliche Korrektur umfassen, mehrmalig erfolgen können. Alternativ oder zusätzlich dazu kann das Ermitteln und Speichern der Defektcharakteristik auch wiederholt stattfinden, beispielsweise regelmäßig im Sinne einer Wartung oder Nachkalibration. Auf diese Wiese können möglicherweise erst im Lauf der Zeit auftretende Defekte von Pixeln in der Defektcharakteristik erfasst werden.
Die Defektcharakteristik kann auf ganz unterschiedliche Weise in der Speichereinrichtung gespeichert werden. Beispielsweise können die den jeweiligen Pixeln zugeordneten Defektklassen als ein oder mehrere Bits gespeichert sein, wobei unbrauchbare oder uneingeschränkt verwendbare Pixel durch dieselben Bits kodiert sein können. Im letztgenannten Fall stellt die Information darüber, dass ein Pixel unbrauchbar bzw. uneingeschränkt verwendbar ist, letztlich auch eine eigene Defektklasse dar.
Bei einer weiteren Ausführungsform umfasst das genannte Ermitteln der Defektcharakteristik, dass für jedes Pixel jeweilige Kalibrierdaten ermittelt und in einem ersten Speicher der Speichereinrichtung gespeichert werden, und dass die dem Bildsensor für jedes Pixel zugeordnete Defektcharakteristik in Abhängigkeit von einer Betriebsart des Bildsensors aus den jeweiligen Kalibrierdaten bestimmt und in einem zweiten Speicher der Speichereinrichtung gespeichert wird. Bei dieser Ausführungsform wird einem jeweiligen Pixel also zunächst keine Defektcharakteristik direkt zugeordnet, sondern stattdessen ein Satz jeweiliger Kalibrierdaten. Insbesondere können derartige Kalibrierdaten für ein jeweiliges Pixel bezogen auf eine Vielzahl verschiedener Kalibrierparameter ermittelt werden, beispielsweise im Rahmen einer Kalibration nach der Fertigung des Bildsensors oder einer den Bildsensor umfassenden Kamera. Dabei können die verschiedenen Kalibrierparameter beispielsweise verschiedenen Defektarten und/ oder verschiedenen Betriebsarten entsprechen. Es können aber auch mehrere Kalibrierparameter zu einer einzelnen Defektart und/oder einer einzelnen Betriebsart berücksichtigt werden.
Die für ein jeweiliges Pixel ermittelten Kalibrierdaten werden in einem ersten Speicher der Speichereinrichtung gespeichert, von wo aus sie ausgelesen werden können, damit aus diesen Kalibrierdaten eine dem jeweiligen Pixel zuzuordnende Defektcharakteristik bestimmt werden kann. Das Bestimmen der Defektcharakteristik erfolgt dabei allerdings zusätzlich in Abhängigkeit von einer Betriebsart des Bildsensors. Bei der Betriebsart kann es sich beispielsweise um eine Belichtungszeit oder um eine Temperatur des Bildsensors handeln. Es kommen aber auch andere Betriebsarten des Bildsensors oder einer den Bildsensor umfassenden Kamera in Frage, z.B. ein eingestellter Empfindlichkeitswert.
Dadurch, dass zunächst nur die Kalibrierdaten gespeichert werden und zudem die Betriebsart des Bildsensors bei der Ermittlung der Defektcharakteristik berücksichtigt wird, kann die Defektcharakteristik für verschiedene Betriebsarten verschieden und somit besonders individuell an unterschiedliche Anforderungen bei der jeweiligen Betriebsart angepasst sein. Zwar muss die Defektcharakteristik dazu bei einem Wechsel der Betriebsart oder zumindest bei einem ersten Einstellen der Betriebsart aus den Kalibrierdaten neu bestimmt werden. Da hierbei aber keine vollständige Kalibration erfolgt, sondern lediglich die bereits im ersten Speicher vorliegenden Kalibrierdaten in Abhängigkeit von der Betriebsart ausgewertet werden, kann dies schnell und aufwandsarm durchgeführt werden.
Anschließend kann die Defektcharakteristik in dem zweiten Speicher der Speichereinrichtung gespeichert werden und von dort zur Festlegung, ob das erzeugte Pixelsignal eines jeweiligen Pixels korrigiert werden soll, ausgelesen werden, zumindest solange die Betriebsart beibehalten wird. In dem zweiten Speicher können aber für verschiedene Betriebsarten auch mehrere jeweilige Defektcharakteristiken gespeichert sein, zwischen denen dann je nach Betriebsart ausgewählt werden kann.
Die genannte Speichereinrichtung kann als einzelnes Speicherelement ausgebildet sein, das sowohl den genannten ersten Speicher für die Kalibrierdaten als auch den genannten zweiten Speicher für die Defektcharakteristik umfasst; sie kann aber auch verschiedene, insbesondere separate Speicherelemente aufweisen, so dass der erste und der zweite Speicher auf verschiedenen, auch räumlich getrennten, Speicherelementen vorliegen können.
Die Erfindung bezieht sich auch auf eine digitale Kamera, insbesondere Filmkamera, mit einem Bildsensor, der eine Vielzahl von Pixeln zum Erzeugen jeweiliger belichtungsabhängiger Pixelsignale aufweist, und einer Korrektureinrichtung, die geeignet ist, ein Verfahren der vorstehend erläuterten Art zur Korrektur defekter Pixel des Bildsensors auszuführen. Insbesondere kann die genannte Speichereinrichtung ebenfalls als Teil der Kamera vorgesehen sein.
Die Erfindung wird nachfolgend lediglich beispielhaft unter Bezugnahme auf die Zeichnungen beschrieben.
1 zeigt eine digitale Filmkamera, in der ein Verfahren gemäß der Erfindung ausgeführt werden kann.
2 zeigt einen Bildsensor der in 1 gezeigten Kamera.
Die in 1 vereinfacht dargestellte Kamera 11 umfasst ein Gehäuse 13 mit einer Öffnung, in der eine Linse 15 angeordnet ist. Licht einer aufzunehmenden Szene, das durch die Linse 15 in die Kamera 11 eintritt, wird auf einen Bildsensor 17 abgebildet.
Der Bildsensor 17 ist in 2 schematisch dargestellt und umfasst eine Vielzahl von lichtempfindlichen Pixeln 19, die in Zeilen und Spalten auf dem Bildsensor 17 angeordnet sind. Insgesamt kann der Bildsensor 17 mehrere Millionen Pixel 19 beispielsweise in einem Seitenverhältnis von 3:2 oder 4:3 aufweisen. Der Vereinfachung halber sind lediglich wenige Pixel 19 gezeigt. Insbesondere kann der Bildsensor 17 ein nicht dargestelltes Farbmosaikfilter aufweisen, so dass ein jeweiliges Pixel 19 ausschließlich mit Licht einer einzigen der Farben des Farbmosaikfilters, wie etwa Rot, Grün oder Blau, beaufschlagt wird.
Die einzelnen Pixel 19 des Bildsensors 17 erzeugen in Abhängigkeit von dem auftreffenden Licht Pixelsignale, die zusammen ein jeweiliges Bildsignal eines Bildes bilden. Sofern es sich bei der Kamera 11 um eine Bewegtbildkamera (Filmkamera) handelt, werden in regelmäßiger Folge eine Vielzahl von Bildsignalen, beispielsweise für 24, 25 oder 30 Bilder pro Sekunde oder ein Vielfaches davon erzeugt.
Aufgrund herstellungsbedingter Schwankungen können einige der Pixel 19 des Bildsensors 17 defekt, d.h. nicht uneingeschränkt verwendbar, sein. Defekte Pixel 19 können dabei entweder vollkommen unbrauchbar oder doch immerhin eingeschränkt verwendbar sein.
Wie in 1 gezeigt, umfasst die Kamera 11 neben dem Bildsensor 17 eine Korrektureinrichtung 21 mit einer Speichereinrichtung 23 für eine Defektcharakteristik des Bildsensors 17, einen optionalen Pufferspeicher 25 zum Zwischenspeichern von Pixelsignalen sowie einen Bildspeicher 27 zum Speichern von Bildsignalen. Die Korrektureinrichtung 21 ist dabei zur Ausführung des vorstehend ausführlich erläuterten Verfahrens zur Korrektur defekter Pixel 19 des Bildsensors 17 ausgebildet. Die Korrektureinrichtung 21 kann die betreffenden Pixelsignale beispielsweise direkt aus dem Bildsensor 17 empfangen und korrigiert weitergeben, oder aus dem Bildspeicher 27 auslesen, korrigieren und zurückschreiben oder – wie in 1 dargestellt – von dem Pufferspeicher 25 empfangen und korrigiert in den Bildspeicher 27 schreiben.
Der Pufferspeicher 25 kann insbesondere dazu dienen, jeweilige Pixelsignale zu sammeln, bis ein vollständiges Bildsignal mit Pixelsignalen aller Pixel 19 des Bildsensors 17 vorliegt. Der Pufferspeicher 25 kann aber auch mehr als ein vollständiges Bildsignal oder lediglich Teile eines vollständigen Bildsignals sammeln. Die so zwischengespeicherten Pixelsignale können dann an die Korrektureinrichtung 21 ausgegeben werden.
Wenn die Korrektureinrichtung 21 Pixelsignale empfängt, kann sie insbesondere die folgenden Schritte zur Korrektur der defekten Pixel 19 des Bildsensors 17 ausführen:
Zunächst prüft die Korrektureinrichtung 21, ob ein jeweiliges Pixel einem unbrauchbaren Pixel oder einem uneingeschränkt verwendbaren Pixel entspricht. Die dazu erforderliche Information über das Pixel kann die Korrektureinrichtung 21 aus der Speichereinrichtung 23 auslesen, mit der sie verbunden ist und in der eine dem Bildsensor 17 zugeordnete Defektcharakteristik mit entsprechenden Informationen für jedes Pixel 19 des Bildsensors 17 gespeichert ist.
Wenn das jeweilige Pixel 19 unbrauchbar ist, kann die Korrektureinrichtung 21 unmittelbar (z.B. durch Interpolation) einen Ersatzwert für das Pixelsignal dieses Pixels 19 ermitteln und als neues Pixelsignal dieses Pixels 19 ausgeben. Wenn das jeweilige Pixel 19 uneingeschränkt verwendbar ist, kann das Pixelsignal des Pixels 19 unverändert bleiben. Wenn aber das jeweilige Pixel 19 weder unbrauchbar ist noch uneingeschränkt verwendbar, legt die Korrektureinrichtung 21 in Abhängigkeit von der dem Pixel 19 zugeordneten Defektklasse und von Pixelsignalen mehrerer benachbarter Pixel 19 (und optional in Abhängigkeit von weiteren Parametern) fest, ob das erzeugte Pixelsignal des Pixels 19 korrigiert werden soll oder nicht. Die genannte dem Pixel 19 zugeordnete Defektklasse kann die Korrektureinrichtung 21 wiederum der in der Speichereinrichtung 23 gespeicherten Information entnehmen.
Wenn die genannte Festlegung ergibt, dass das Pixelsignal des jeweiligen Pixels 19 korrigiert werden soll, dann ersetzt die Korrektureinrichtung 21 das Pixelsignal des Pixels 19 durch einen Ersatzwert, der insbesondere von der Korrektureinrichtung 21 selbst ermitteln werden kann. Andernfalls kann vorgesehen sein, dass das Pixelsignal des Pixels 19 nicht ersetzt wird, sondern unverändert bleibt.
Zur Ausführung dieser Schritte kann die Korrektureinrichtung 21 beispielsweise einen Mikroprozessor umfassen, wobei die Schritte des Verfahrens dann als programmierte Anweisungen für den Mikroprozessor in der Korrektureinrichtung 21 gespeichert sein können.
Letztlich können die korrigierten Bildsignale, d.h. die Bildsignale, auf deren Pixelsignale das erläuterte Verfahren zur Korrektur defekter Pixel 19 des Bildsensors 17 angewandt worden ist, in dem Bildspeicher 27 gespeichert werden, von wo aus sie dann über einen Ausgang 29 der Kamera 11 ausgelesen werden können. Es muss aber nicht zwingend ein Bildspeicher 27 in der Kamera 11 vorgesehen sein. Alternativ können die korrigierten Bildsignale auch direkt an den Ausgang 29 der Kamera 11 ausgegeben werden.
Bezugszeichenliste

11: Kamera
13: Gehäuse
15: Linse
17: Bildsensor
19: Pixel
21: Korrektureinrichtung
23: Speichereinrichtung
25: Pufferspeicher
27: Bildspeicher
29: Ausgang

Claims

Verfahren zur Korrektur defekter Pixel (19) eines Bildsensors (17), der eine Vielzahl von Pixeln (19) zum Erzeugen jeweiliger belichtungsabhängiger Pixelsignale aufweist, wobei dem Bildsensor (17) für jedes Pixel (19) eine Defektcharakteristik zugeordnet ist, die eine Information zumindest darüber umfasst, ob das Pixel (19) unbrauchbar ist, uneingeschränkt verwendbar ist oder einer von mehreren vorbestimmten Defektklassen entspricht, dadurch gekennzeichnet, dass nach dem Erzeugen der Pixelsignale für jedes Pixel (19) zumindest dann, wenn die Defektcharakteristik des Pixels (19) nicht einem unbrauchbaren oder einem uneingeschränkt verwendbaren Pixel (19) entspricht, in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels (19) und von Pixelsignalen mehrerer benachbarter Pixel (19) festgelegt wird, ob das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, wobei zutreffendenfalls das erzeugte Pixelsignal des Pixels (19) durch einen Ersatzwert ersetzt wird.
Verfahren nach Anspruch 1, wobei der Ersatzwert in Abhängigkeit zumindest von Pixelsignalen eines Satzes von benachbarten Pixeln (19) geschätzt wird.
Verfahren nach Anspruch 1 oder 2, wobei der Ersatzwert zumindest teilweise dadurch geschätzt wird, dass das erzeugte Pixelsignal des Pixels (19) gemäß der zugeordneten Defektcharakteristik des Pixels (19) modifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für das Festlegen, ob das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, die folgenden Schritte durchgeführt werden: – Ermitteln eines Interpolationsfehlers des Pixels (19) in Abhängigkeit zumindest von den genannten Pixelsignalen der mehreren benachbarten Pixel (19); – Ermitteln eines Fehlervergleichswerts des Pixels (19) in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels (19); und – Vergleichen des Interpolationsfehlers mit dem Fehlervergleichswert; wobei nur dann festgelegt wird, dass das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, wenn der Interpolationsfehler geringer ist als der Fehlervergleichswert.
Verfahren nach Anspruch 4, wobei das Ermitteln des Interpolationsfehlers des Pixels (19) umfasst, – dass ein Interpolationsrauschen ermittelt wird; – dass ein Rauschen der genannten mehreren benachbarten Pixel (19), insbesondere in Abhängigkeit zumindest von den jeweiligen zugeordneten Defektklassen der genannten mehreren benachbarten Pixel (19), ermittelt wird; und – dass der Interpolationsfehler in Abhängigkeit zumindest von dem Interpolationsrauschen und dem Rauschen der genannten mehreren benachbarten Pixel (19) bestimmt wird.
Verfahren nach Anspruch 4 oder 5, wobei das Ermitteln des Fehlervergleichswerts des Pixels (19) zusätzlich in Abhängigkeit von dem erzeugten Pixelsignal des Pixels (19) und/oder in Abhängigkeit von einer Belichtungszeit des Pixels (19) und/oder in Abhängigkeit von den Pixelsignalen der genannten mehreren benachbarten Pixel (19) erfolgt.
Verfahren nach einem der Ansprüche 4 bis 6, wobei die Defektcharakteristik für jedes Pixel (19) zu wenigstens zwei verschiedenen Defektarten eine Information darüber umfasst, ob das Pixel (19) einer von mehreren vorbestimmten jeweiligen Defektklassen entspricht; wobei für alle verschiedenen Defektarten ein gemeinsamer Fehlervergleichswert des Pixels (19) in Abhängigkeit zumindest von der zugeordneten Defektklasse des Pixels (19) ermittelt wird; und wobei nur dann festgelegt wird, dass das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, wenn der Interpolationsfehler geringer ist als der gemeinsame Fehlervergleichswert.
Verfahren nach einem der Ansprüche 4 bis 6, wobei die Defektcharakteristik für jedes Pixel (19) zu wenigstens zwei verschiedenen Defektarten eine Information darüber umfasst, ob das Pixel (19) einer von mehreren vorbestimmten jeweiligen Defektklassen entspricht; wobei für jede der verschiedenen Defektarten ein jeweiliger Fehlervergleichswert des Pixels (19) in Abhängigkeit zumindest von der jeweiligen zugeordneten Defektklasse des Pixels (19) ermittelt wird; und wobei nur dann festgelegt wird, dass das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, wenn für wenigstens eine der verschiedenen Defektarten der Interpolationsfehler geringer ist als der jeweilige Fehlervergleichswert.
Verfahren nach einem der Ansprüche 7 oder 8, wobei die verschiedenen Defektarten zumindest ein erhöhtes Rauschen im Dunkeln, eine niedrige maximale Aussteuerung, einen Dunkelstrom und/oder eine Abweichung bei kurzer Belichtungszeit des jeweiligen Pixels (19) umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die genannten mehreren benachbarten Pixel (19) direkt horizontal, direkt vertikal und/oder direkt diagonal relativ zu dem Pixel (19) benachbarte Pixel (19) und/oder indirekt benachbarte Pixel (19) umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Bildsensor (17) zumindest eine Vielzahl von Pixeln (19), die eine erste Farbe aufweisen, und eine Vielzahl von Pixeln (19), die eine zweite Farbe aufweisen, umfasst; und wobei das Pixel (19) und die genannten mehreren benachbarten Pixel (19) dieselbe Farbe aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner umfasst, dass die dem Bildsensor (17) für jedes Pixel (19) zugeordnete Defektcharakteristik vor einem Erzeugen der Pixelsignale für jedes Pixel (19) ermittelt und in einer Speichereinrichtung (23) gespeichert wird, und dass für jedes Pixel (19) vor der Festlegung, ob das erzeugte Pixelsignal des Pixels (19) korrigiert werden soll, die Defektcharakteristik aus der Speichereinrichtung (23) ausgelesen wird.
Verfahren nach Anspruch 12, wobei das genannte Ermitteln der Defektcharakteristik umfasst, dass für jedes Pixel (19) jeweilige Kalibrierdaten ermittelt und in einem ersten Speicher der Speichereinrichtung (23) gespeichert werden, und dass die dem Bildsensor (17) für jedes Pixel (19) zugeordnete Defektcharakteristik in Abhängigkeit von einer Betriebsart des Bildsensors (17) aus den jeweiligen Kalibrierdaten bestimmt und in einem zweiten Speicher der Speichereinrichtung (23) gespeichert wird.
Digitale Kamera (11), insbesondere Filmkamera, mit einem Bildsensor (17), der eine Vielzahl von Pixeln (19) zum Erzeugen jeweiliger belichtungsabhängiger Pixelsignale aufweist, und einer Korrektureinrichtung (21), die geeignet ist, ein Verfahren zur Korrektur defekter Pixel (19) des Bildsensors (17) nach einem der vorhergehenden Ansprüche auszuführen.