DE10117833C1 - Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen - Google Patents

Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen

Info

Publication number
DE10117833C1
DE10117833C1 DE10117833A DE10117833A DE10117833C1 DE 10117833 C1 DE10117833 C1 DE 10117833C1 DE 10117833 A DE10117833 A DE 10117833A DE 10117833 A DE10117833 A DE 10117833A DE 10117833 C1 DE10117833 C1 DE 10117833C1
Authority
DE
Germany
Prior art keywords
image
value
transformation
coefficients
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10117833A
Other languages
English (en)
Inventor
Bernd Hoefflinger
Cornelis Scherjon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STUTTGART MIKROELEKTRONIK
Institut fuer Mikroelectronik Stuttgart
Original Assignee
STUTTGART MIKROELEKTRONIK
Institut fuer Mikroelectronik Stuttgart
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STUTTGART MIKROELEKTRONIK, Institut fuer Mikroelectronik Stuttgart filed Critical STUTTGART MIKROELEKTRONIK
Priority to DE10117833A priority Critical patent/DE10117833C1/de
Priority to JP2002580629A priority patent/JP2005509319A/ja
Priority to PCT/EP2002/003356 priority patent/WO2002082804A1/de
Priority to EP02722269A priority patent/EP1374565A1/de
Application granted granted Critical
Publication of DE10117833C1 publication Critical patent/DE10117833C1/de
Priority to US10/674,784 priority patent/US7420599B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden. Die Vorrichtung weist auf: DOLLAR A a) einen Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt, DOLLAR A b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis. DOLLAR A Vorzugsweise umfaßt die Auswahleinrichtung Mittel (72) zum Auswählen einer Transformationsgleichung aus mehreren Transformationsgleichungen in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis nach a) und eine Transformationseinheit (74, 76, 78, 80) zum Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformationsgleichung (Fig. 10b).

Description

Die Erfindung betrifft ein Verfahren zur FPN-Korrektur von Bildsignalen, die von Bildzellen eines Bildsensors erzeugt wer­ den, mit folgenden Schritten, die vorzugsweise für das Bildsi­ gnal jeder Bildzelle getrennt durchgeführt werden:
  • a) Ermitteln, in welchem von wenigstens zwei Wertebereichen der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt, und
  • b) Bestimmen eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem Ergebnis nach Schritt a).
Die Erfindung betrifft ferner eine Vorrichtung zur FPN- Korrektur von Bildsignalen, die von Bildzellen eines Bildsen­ sors erzeugt werden, mit:
  • a) einem Diskriminator zum Ermitteln, in welchem von wenig­ stens zwei Wertebereichen der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt liegt, und
  • b) eine Auswahleinrichtung zur Bestimmung eines Korrekturwer­ tes für das Bildsignal unter Verwendung einer Transforma­ tionsgleichung in Abhängigkeit von dem von dem Diskrimina­ tor ermittelten Ergebnis.
Ein solches Verfahren sowie eine entsprechende Vorrichtung sind beispielsweise aus der JP 5-137073 A bekannt.
In der Photo- und Filmkameratechnik werden als Ersatz für her­ kömmliches Filmmaterial in zunehmendem Maße Bildaufnehmer ein­ gesetzt, die eine optische Intensitätsverteilung in elektroni­ sche Bildsignale umwandeln. Derartige Bildsensoren weisen eine regelmäßige Anordnung von Bildpunkten ("Pixeln") auf, denen je­ weils eine oder mehrere lichtempfindliche, im folgenden als Bildzellen bezeichnete Schaltungen aus Halbleiterbauelementen zugeordnet sind. Jede dieser Bildzellen erzeugt ein Bildsignal, dessen Spannungswert eine Funktion der Intensität des auf die Bildzelle auftreffenden Lichts ist.
Bei Bildsensoren für die farbige Wiedergabe besteht jeder Bild­ punkt in der Regel aus einem Tripel von Bildzellen, die jeweils durch ein Farbfilter für eine der drei Spektralfarben Rot, Grün und Blau überdeckt sind. Jedes Bildsignal einer solchen Bild­ zelle gibt einen auf die betreffende Spektralfarbe bezogenen Helligkeitswert wieder, so daß in der Gesamtheit der drei Ein­ zelsignale die Farbinformation für den betreffenden Bildpunkt enthalten ist.
Betrachtet man ein durch derartige Bildsignale repräsentiertes Bild auf einem Monitor oder einem Ausdruck, so stellt man fest, daß Flächen des Bildes, die eigentlich homogen und gleichmäßig erscheinen sollten, tatsächlich eine mehr oder weniger starke Körnung aufweisen. Diese Körnung entsteht dadurch, daß iden­ tisch aufgebaute Bildzellen trotz gleicher Intensität des auf­ treffenden Lichtes unterschiedliche Bildsignale erzeugen. Die­ ser Effekt wird als "fixed pattern noise" oder kurz als "FPN" bezeichnet. Die unterschiedlichen Eigenschaften der an sich identischen Bildzellen gehen auf herstellungsbedingte Variatio­ nen der elektronischen Bauelemente zurück, aus denen die ein­ zelnen Bildzellen aufgebaut sind. Diese Variationen betreffen insbesondere die Geometrie und Dotierung der Strukturen, aus denen die einzelnen elektronischen Bauelemente ihrerseits be­ stehen. Je komplexer die einzelnen Bildzellen aufgebaut sind, desto größer ist im allgemeinen auch das FPN.
Zur Korrektur des FPN ist es bekannt, im Rahmen eines sogenann­ ten "Weißabgleichs" bei einer Referenzhelligkeit ein Bild mit dem Bildsensor aufzunehmen und für jede Bildzelle einen Diffe­ renzwert des entsprechenden Bildsignals zu einem gemeinsamen Referenzsignal abzuspeichern. Dieser Differenzwert, der positiv oder negativ sein kann, wird nun stets zu dem von der betref­ fenden Bildzelle erzeugten Bildsignal hinzuaddiert. Für die Re­ ferenzhelligkeit wird das FPN durch dieses bekannte Verfahren vollständig korrigiert.
Für von der Referenzhelligkeit verschiedene Helligkeiten wird das FPN hingegen nur unzureichend korrigiert, d. h. bei solchen Helligkeiten bleibt die körnige Darstellung an sich homogener Flächen weitgehend unverändert. Dies liegt daran, daß die Kenn­ linien der einzelnen Bildzellen, die den Zusammenhang zwischen der auf der Bildzelle auftreffenden optischen Intensität (Helligkeit) und dem erzeugten Bildsignal angeben, sich nicht nur durch das Hinzuaddieren eines Differenzwertes zur Deckung bringen lassen. Vielmehr unterscheiden sich die Kennlinien der einzelnen Bildzellen auch bezüglich ihrer Steigung, so daß eine Korrektur bei der Referenzhelligkeit sich bei anderen Hellig­ keiten u. U. erheblich weniger auswirkt.
In der Praxis stößt die Korrektur des FPN vor allem deswegen auf Schwierigkeiten, weil aufwendige mathematische Transforma­ tionen im Rahmen der Korrektur wegen der hohen erforderlichen Speicher- und Rechenkapazitäten und wegen der Echtzeitanforde­ rungen zumindest für kommerzielle Anwendungen ausscheiden.
In der genannten japanischen Druckschrift JP 5-137073 A ist ein gattungsgemäßes Verfahren beschrieben, bei dem zunächst geprüft wird, ob der Wert des Bildsignals zu einem vorgegebenen Zeit­ punkt über oder unterhalb einer festgelegten Schwelle liegt. Liegt der Wert des Bildsignals unterhalb der festgelegten Schwelle, wird eine FPN-Korrektur durchgeführt, indem ein in einem Speicher abgelegter FPN-Wert von dem Wert des Bildsignals subtrahiert wird. Liegt der Wert des Bildsignals jedoch ober­ halb der festgelegten Schwelle, unterbleibt die FPN-Korrektur. In diesem Fall findet somit keine FPN-Korrektur statt.
Aus der JP 2-107074 A ist ein Verfahren bekannt, bei dem eine FPN-Korrektur über einen großen Temperaturbereich hinweg erfolgt. Mit Hilfe von Multiplizierern und Addierern werden dabei Korrekturmaßnahmen durchgeführt. Eine Trennung nach Wer­ tebereichen ist nicht offenbart.
Vor diesem Hintergrund ist es eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zu FPN-Korrektur von Bildsigna­ len der eingangs genannten Art weiter zu verbessern, so daß ei­ ne weitere Verringerung des FPN bei geringen Anforderungen an den Speicherbedarf und die Rechenleistung erzielt wird.
Hinsichtlich des eingangs genannten Verfahrens wird diese Auf­ gabe dadurch gelöst, daß die wenigstens zwei Wertebereiche für mehrere Bildzellen unterschiedlich sind.
Hinsichtlich der eingangs genannten Vorrichtung wird die Aufga­ be dadurch gelöst, daß der Diskriminator mit einem Schwellen­ wertspeicher verbunden ist, in dem wenigstens für mehrere Bild­ zellen unterschiedliche Schwellenwerte speicherbar sind oder daß der Diskriminator mit einer Schwellenwertberechnungseinheit verbunden ist, in der für wenigstens mehrere Bildzellen aus von einem Speicher zugeführten Koeffizienten Schwellenwerte bere­ chenbar sind.
Der Erfindung liegt die Erkenntnis zugrunde, daß sich eine Ver­ besserung der FPN-Korrektur bereits dadurch erzielen läßt, daß die Bildsignale nicht in einheitlicher Weise über den gesamten Wertebereich hinweg, sondern in unterschiedlicher Weise nach mehreren Wertebereichen getrennt korrigiert werden. Dies er­ laubt es, mit sehr einfachen, an den Speicherbedarf und die Re­ chenleistung geringe Anforderungen stellende Transformationen gute Korrekturergebnisse zu erzielen. Innerhalb der einzelnen Wertebereiche kann nämlich die Kennlinie einer jeden Bildzelle durch eine mathematisch vergleichsweise einfache Gleichung an­ genähert werden, was die Verwendung entsprechend einfacher, mit geringem Rechenaufwand durchführbarer Transformationen erlaubt. Die zugrundeliegenden Transformationsgleichungen benötigen nur sehr wenige abzuspeichernde Koeffizienten, wodurch auch der Speicherbedarf gering gehalten wird.
Durch die getrennte Korrektur der Bildsignale in unterschiedli­ chen Wertebereichen wird es also möglich, die relativ kompli­ zierten, ganz unterschiedliche physikalische Phänomene reprä­ sentierenden Kennlinien der einzelnen Bildzellen abschnittswei­ se durch so einfache Funktionen anzunähern, daß mit einfachen Transformationsgleichungen und entsprechend wenigen Koeffizien­ ten pro Bildzelle eine gute Korrektur des FPN möglich wird.
Grundsätzlich könnten die wenigstens zwei Wertebereiche für al­ le Bildzellen identisch sein. Der zur Durchführung des Verfah­ rens erforderliche schaltungstechnische Aufbau wird dadurch sehr einfach, da nicht für jede Bildzelle ein oder mehrere eigene Schwellenwerte aus einem Speicher ausgelesen und einem Diskriminator zugeführt werden müssen.
Erfindungsgemäß sind jedoch sind die wenigstens zwei Werte­ bereiche für mehrere Bildzellen unterschiedlich.
Zwar erfordert dies zusätzlich das Abspeichern eines oder meh­ rerer Schwellenwerte für jede einzelne Bildzelle. Dieser Nach­ teil wird jedoch dadurch aufgewogen, daß dadurch eine weitere erhebliche Verbesserung der FPN-Korrektur erzielt wird. Dies hängt damit zusammen, daß sich die Kennlinie einer einzelnen Bildzelle nur dann innerhalb der wenigstens zwei Wertebereiche gut durch einfache Näherungsgleichungen annähern läßt, wenn der Übergang zwischen den Wertebereichen, d. h. der oder die Schwel­ lenwerte, individuell an die jeweilige Kennlinie angepaßt ist.
Die Schwellenwerte für die einzelnen Bildpunkte können dabei z. B. in einem Schwellenwertspeicher abgelegt sein. Ebenso mög­ lich ist es, die Schwellenwerte aus gespeicherten Koeffizienten für die Transformationsgleichungen zu berechnen, so daß kein zusätzlicher Speicherbedarf für die Schwellenwerte vorzusehen ist. Einzelne Koeffizienten können gegebenenfalls auch unmit­ telbar als Schwellenwert verwendet werden.
Die durch die Auswahleinrichtung vorzunehmende Bestimmung eines Korrekturwertes für das Bildsignal kann beispielsweise derart erfolgen, daß für jeden Bildpunkt für die wenigstens zwei Wertebereiche unter Verwendung der hierfür gültigen Transforma­ tionsgleichungen eine der Anzahl der Wertebereiche entsprechen­ de Anzahl von Korrekturwerten ermittelt wird. Aus diesen Korrekturwerten wird dann in Abhängigkeit davon, in welchem Werte­ bereich der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt tatsächlich liegt, ein bestimmter, die­ sem Wertebereich zugeordneter Korrekturwert ausgewählt. Für je­ de Bildzelle sind daher so viele Korrekturwerte zu ermitteln, wie Wertebereiche vorgesehen sind.
Bevorzugt ist es allerdings, wenn die Bestimmung eines Korrek­ turwertes nach Schritt b) die Schritte umfaßt:
  • 1. Auswählen einer Transformationsgleichung aus mehreren Transformationsgleichungen in Abhängigkeit von dem Ergeb­ nis nach Schritt a);
  • 2. Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformationsgleichung.
Dieses Vorgehen hat den Vorteil, daß für jede Bildzelle nur die Berechnung eines einzigen Korrekturwertes erforderlich ist, nämlich unter Verwendung derjenigen Transformationsgleichung, die dem Wertebereich zugeordnet ist, in der der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt tatsächlich liegt. Anstelle also aus mehreren im voraus berech­ neten Korrekturwerten einen Korrekturwert auszuwählen, wird bei diesem Vorgehen nur ein Korrekturwert unter Verwendung einer ausgewählten Transformationsgleichung berechnet.
Grundsätzlich ist es möglich, daß die Transformationsgleichun­ gen, die den wenigstens zwei Wertebereichen zugeordnet sind, für alle Bildzellen gleich sind. Gegenüber der FPN-Korrektur im Rahmen des Weißabgleichs wird dadurch bereits eine deutliche Verringerung des FPN erzielt.
Besonders bevorzugt ist es jedoch, wenn die Transformations­ gleichungen für mehrere Bildzellen unterschiedlich sind.
Dabei lassen sich gegebenenfalls mehrere Bildzellen in Gruppen zusammengefaßt kombinieren. Vorzugsweise jedoch werden für jede Bildzelle individuelle Transformationsgleichungen ermittelt.
Durch diese Maßnahme läßt sich eine erhebliche Verbesserung der FPN-Korrektur erzielen, da nun für jede einzelne Bildzelle an deren individuelle Kennlinie angepaßte Transformationsgleichun­ gen verwendet werden können. Dennoch hält sich die Gesamtzahl der abzuspeichernden Koeffizienten in überschaubaren Grenzen, da die Transformationsgleichungen aufgrund der Unterteilung in mehrere Wertebereiche einfach sind. Die Anzahl der erforderli­ chen Koeffizienten hängt von der Art der verwendeten Näherung ab. Da sich die meisten Kennlinienabschnitte durch einfache li­ neare, quadratische oder kubische Gleichungen annähern lassen, wird die Anzahl der Koeffizienten pro Transformationsgleichung im allgemeinen nicht über zwei hinausgehen.
Je nach Art der Kennlinien kann es erforderlich sein, innerhalb der wenigstens zwei Wertebereiche die entsprechenden Kenn­ linienabschnitte durch strukturell ganz unterschiedliche Nähe­ rungsfunktionen zu beschreiben. Entsprechend unterschiedlich können dann auch die Transformationsgleichungen sein, mit denen die von den Bildzellen erzeugten Bildsignale in korrigierte Bildsignale umgerechnet werden. Solche für jeden Wertebereich unterschiedlichen Transformationsgleichungen können beispiels­ weise mit Hilfe digitaler Signalprozessoren gelöst werden.
Bevorzugt ist es allerdings, wenn für alle Bildzellen Transfor­ mationsgleichungen verwendet werden, die sich nur durch unter­ schiedliche Koeffizienten unterscheiden.
Auf diese Weise lassen sich die Transformationen für alle Bild­ zellen mit Hilfe einer geeigneten Anordnung von Logikbausteinen durchführen, denen lediglich für jede Bildzelle unterschiedli­ che Koeffizienten zuzuführen sind. Voraussetzung ist hierbei natürlich, daß die Kennlinien sich innerhalb der einzelnen Wer­ tebereiche derart durch geeignete Näherungsfunktionen beschrei­ ben lassen, daß sich Transformationsgleichungen von einheitli­ cher Struktur ergeben. Bevorzugt sind hierbei natürlich lineare Transformationsgleichungen, da diese sich besonders einfach durch eine Anordnung von Addierern und Multiplizierern schal­ tungstechnisch umsetzen lassen.
Bei einer vorteilhaften Ausgestaltung der Erfindung sind des­ wegen die Transformationsgleichungen durch eine Anordnung von Logikbausteinen, insbesondere von Addierern und Multiplizie­ rern, festgelegt, denen die Koeffizienten aus einem Speicher zugeführt werden.
Ferner ist es bevorzugt, wenn für jede Bildzelle die Transfor­ mationsgleichungen aus einem Vergleich einer Ist-Kennlinie, die einen Zusammenhang zwischen einer auf die jeweilige Bildzelle auftreffenden optischen Intensität und dem erzeugten Bildsignal angibt, mit einer Soll-Kennlinie ermittelt sind.
Die Soll-Kennlinie kann dabei willkürlich festgelegt sein. Die Festlegung sollte dann aber unter dem Gesichtspunkt erfolgen, daß sich im Hinblick auf die Näherungsgleichungen für die Ist- Kennlinien möglichst einfache Transformationsgleichungen inner­ halb der Wertebereiche ergeben.
Bevorzugt ist es dabei jedoch, wenn die Soll-Kennlinie durch Bildung des Mittelwertes aus den Ist-Kennlinien der Bildzellen ermittelt wird.
Durch diese Festlegung der Soll-Kennlinie werden die an den einzelnen Bildsignalen vorzunehmenden Korrekturen insgesamt mi­ nimal.
Bei bestimmten Bildsensoren, wie sie beispielsweise aus der EP 632 930 B1 bekannt sind, wird eine hohe Eingangssignaldynamik logarithmisch auf eine erheblich kleinere Ausgangssignaldynamik komprimiert. Jede Bildzelle dieser Bildsensoren erzeugt somit eine Ausgangsspannung, die dem Logarithmus der darauf auftref­ fenden optischen Intensität entspricht. Auf diese Weise läßt sich die extrem hohe Bestrahlungsstärke-Dynamik natürlicher Szenen, die in der Größenordnung von 120 dB liegt, signaltech­ nisch erfassen. Die logarithmische Komprimierung wird von elek­ tronischen Bauelementen bewirkt, die Bestandteil jeder einzel­ nen Bildzelle sind. Es hat sich gezeigt, daß bei derartigen Bildsensoren mit Hilfe des neuen FPN-Korrekturverfahrens beson­ ders gute Ergebnisse erzielbar sind. Die Kennlinien derartiger Bildzellen lassen sich nämlich in wenigstens zwei Wertebereiche unterteilen, innerhalb derer sie jeweils annähernd linear zum Logarithmus der Helligkeitsinformation sind.
Es ist deswegen bevorzugt, daß bei annähernd logarithmischen Ist-Kennlinien der Bildzellen die wenigstens zwei Wertebereiche derart festgelegt werden, daß innerhalb der Wertebereiche die Ist-Kennlinien und die Soll-Kennlinie jeweils annähernd linear zum Logarithmus der optischen Intensität sind.
Dabei ist es weiter bevorzugt, wenn für jede Bildzelle und für jeden der wenigstens zwei Wertebereiche der Korrekturwert Vc für das Bildsignal zu dem vorgegebenen Zeitpunkt aus einem von der Bildzelle erzeugten tatsächlichen Wert Vr nach einer Trans­ formationsgleichung der Form
Vc = a.Vr + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist-Kenn­ linie mit der Soll-Kennlinie ermittelte Koeffizienten der Transformationsgleichung sind.
Eine derartige lineare Transformationsgleichung ergibt sich, wenn die einzelnen Kennlinienabschnitte durch lineare Funktio­ nen angenähert werden. Schaltungstechnisch läßt sich eine der­ artige lineare Transformationsgleichung durch eine einfache Reihenschaltung aus einem Multiplizierer und einem Addierer um­ setzen, wobei es auf die Reihenfolge dieser beiden Logik­ bausteine im Prinzip nicht ankommt.
In Weiterbildung dieser Ausgestaltung gilt für die Koeffizien­ ten a und b
wenn in dem entsprechenden Wertebereich die Soll-Kennlinie durch die Gleichung
Vi = a1.logE + bi
und die Ist-Kennlinie durch die Gleichung
Vr = ar.logE + br
angenähert wird, wobei E ein Maß für die auf die betreffende Bildzelle auftreffende optische Intensität ist.
In jedem Wertebereich werden somit die bezüglich des Logarith­ mus der Helligkeitsinformation linearen Bildsignale der einzel­ nen Bildzellen durch lineare Näherungsgleichungen beschrieben, deren Koeffizienten durch die angegebene Beziehung die Koeffi­ zienten der Transformationsgleichung ergeben. Diese Koeffizien­ ten werden in einem Speicher gespeichert und jedesmal abgeru­ fen, wenn das Bildsignal der betreffenden Bildzelle innerhalb des zugeordneten Wertebereichs liegt.
Vorzugsweise werden die Koeffizienten ar und br durch die Me­ thode der kleinsten Abweichungsquadrate aus Ist-Kennlinien der Bildzellen ermittelt.
Da bei der werkseitigen Aufnahme der Ist-Kennlinien nur einzel­ ne Meßpunkte zur Verfügung stehen, bietet diese Methode einen besonders einfachen und genauen Weg, um die Koeffizienten der linearen Näherungsgleichungen zu ermitteln.
Vorzugsweise werden die Koeffizienten ai und bi durch Mittel­ wertbildung aus den Koeffizienten ar und br über alle Bild­ zellen bestimmt.
Dadurch kann auf besonders einfache Weise in den einzelnen Wer­ tebereichen eine Näherungsgleichung für die Soll-Kennlinie er­ mittelt werden.
Weitere Vorteile und Merkmale der Erfindung ergeben sich aus der Beschreibung der nachfolgenden Ausführungsbeispiele anhand der Zeichnung. Darin zeigen:
Fig. 1 eine stark schematisierte Darstellung einer erfin­ dungsgemäßen digitalen Kamera mit einem darin einge­ bauten Bildsensor;
Fig. 2 ein Prinzipschaltbild einer Elektronikeinheit zur Weiterverarbeitung von Bildsignalen, die von dem in Fig. 1 dargestellten Bildsensor erzeugt werden;
Fig. 3 die Darstellung einer Kennlinie einer einzelnen logarithmisch komprimierenden Bildzelle, bei der eine Ausgangsspannung über einer auf die Bildzelle auftreffenden optischen Intensität aufgetragen ist;
Fig. 4 eine Darstellung der Kennlinien mehrerer Bildzellen eines Bildsensors;
Fig. 5 eine Darstellung der Verteilung von Ausgangsspannun­ gen, die für zwei unterschiedliche Helligkeitswerte von mehreren Bildzellen erzeugt werden;
Fig. 6 eine der Fig. 4 entsprechende Darstellung mehrerer Kennlinien, in der zusätzlich eine Soll-Kennlinie eingetragen ist;
Fig. 7 eine Darstellung einer Soll-Kennlinie und einer Ist- Kennlinie in einer Darstellung wie in Fig. 6, in der zusätzliche Näherungsgeraden für einzelne Werte­ bereiche gezeigt sind;
Fig. 8 eine Darstellung einer Ist-Kennlinie mit einer Un­ terteilung in drei Wertebereiche;
Fig. 9 eine der Fig. 5 entsprechende Darstellung der Ver­ teilung der Ausgangsspannungen, die der erfindungs­ gemäßen FPN-Korrektur unterworfen worden sind;
Fig. 10a-10f Ausführungsbeispiele für eine erfindungsgemäße Vorrichtung zur FPN-Korrektur in schematischer Dar­ stellung.
Fig. 1 zeigt in einer stark vereinfachten schematischen Dar­ stellung eine Digitalkamera 10, bei der es sich um eine Foto- oder auch um eine Filmkamera handeln kann. Die Digitalkamera 10 weist einen elektronischen Bildsensor 12 auf, auf dessen licht­ empfindlicher Oberfläche ein Motiv 14 mit Hilfe eines hier nur angedeuteten Linsensystems 16 abgebildet wird. In einer Elek­ tronikeinheit 18 werden die von dem Bildsensor 12 aufgenommenen Bilder digital weiterverarbeitet, so daß sie schließlich über einen Kameraausgang 20 ausgelesen werden können. Der Elektro­ nikeinheit 18 kann ein - in Fig. 1 nicht dargestellter - Bild­ speicher zugeordnet sein, in dem die aufbereiteten Bilder gespeichert werden können. Außerdem ist es möglich, nur einen Teil der Elektronikeinheit 18 innerhalb der Digitalkamera 10 anzuordnen. Die übrigen Teile sind dann außerhalb der Digital­ kamera 10 z. B. als eine auf einem Personalcomputer ausführbare Software realisiert.
In Fig. 2 sind der Bildsensor 12 sowie die Elektronikeinheit 18 mit weiteren Einzelheiten dargestellt. Der Bildsensor 12 weist eine regelmäßige Anordnung von Bildpunkten auf, die in an sich bekannter Weise aus jeweils drei lichtempfindlichen Bildzellen 22 bestehen. Jede Bildzelle 22 eines Bildpunktes wird von un­ terschiedlichen Farbfiltern abgedeckt, so daß die von der je­ weiligen Bildzelle erzeugte Ausgangsspannung eine Funktion der Intensität des Lichtes derjenigen Spektralfarbe ist, die durch das betreffende Filter hindurchtreten kann. Bei nur für Schwarz-Weiß-Aufnahmen geeigneten Bildsensoren bestehen die Bildpunkte jeweils aus nur einer einzigen Bildzelle. Die im Bildsensor 12 verwendeten Bildzellen 22 sind als Schaltungen von Halbleiterbauelementen realisiert, die im dargestellten Ausführungsbeispiel eine Ausgangsspannung erzeugen, die annä­ hernd dem Logarithmus der darauf auftreffenden optischen Inten­ sität entspricht. Die Bildzellen 22 erzeugen deswegen loga­ rithmisch komprimierte Bildsignale. Einzelheiten zum Aufbau derartiger Bildzellen 22 sind der zuvor bereits erwähnten EP 632 930 B1 entnehmbar.
Die von den Bildzellen 22 erzeugten Bildsignale werden zeilen- und spaltenweise ausgelesen und in einem Auslesemultiplexer 24 zu einem Gesamtsignal zusammengestellt. Das Gesamtsignal ent­ hält somit in zeitlicher Abfolge die den einzelnen Bildzellen 22 zugeordneten Bildsignale. Im folgenden beziehen sich deswegen Ausführungen zu Bildsignalen immer auf das Bildsignal, das von einer ganz bestimmten Bildzelle 22 im Bildsensor 12 erzeugt wird.
Die Bildsignale werden in einem Analog/Digital-Wandler 25, der auch auf dem Bildsensor 12 selbst angeordnet sein kann, digita­ lisiert und anschließend in einer FPN-Korrektureinheit 26 der­ art korrigiert, daß die durch das FPN hervorgerufenen Verfäl­ schungen des aufgenommenen Bildes weitgehend reduziert werden. Der Aufbau der FPN-Korrektureinheit 26 wird weiter unten noch anhand mehrerer Ausführungsbeispiele näher erläutert.
Das FPN-korrigierte Bildsignal wird anschließend in einer Ver­ arbeitungsstufe 32 weiter aufbereitet, z. B. um die Helligkeit oder die Farbsättigung gezielt zu verändern und um eine γ- Korrektur durchzuführen.
Das derart aufbereitete Bildsignal kann schließlich über den Ausgang 20 ausgelesen und mit Hilfe eines Ausgabegerätes 34 in ein Bild zurückverwandelt werden.
Fig. 3 zeigt eine Kennlinie 36 einer einzelnen Bildzelle 22 in einer Darstellung, bei der eine von der Bildzelle 22 erzeugte Ausgangsspannung V über einer auf die Bildzelle 22 auftreffen­ den Helligkeit E aufgetragen ist. In der gewählten halb­ logarithmischen Darstellung, bei der die Abszisse logarithmisch unterteilt ist, ist erkennbar, daß die Kennlinie 36 einen er­ sten und einen zweiten Abschnitt 38 bzw. 40 aufweist, in dem die Ausgangsspannung V annähernd linear zum Logarithmus der Helligkeit E ist. Bei höheren Helligkeiten (erster Abschnitt 38) nimmt das Ausgangssignal V der Bildzelle 22 logarithmisch mit der Helligkeit E zu. Für sehr kleine Helligkeiten (zweiter Abschnitt 40) ist die Ausgangsspannung V der Bildzelle 22 annä­ hernd unabhängig von der Helligkeit E. Dieser annähernd hori­ zontale Abschnitt der Kennlinie 36 repräsentiert einen Dunkel­ strom der Bildzelle 22, der im wesentlichen auf die in der Bildzelle enthaltene Fotodiode zurückgeht. Der Dunkelstrom ent­ steht dort unter anderem aufgrund thermischer Generation und Rekombination freier Ladungsträger über Störstellen, die in der Raumladungszone der Fotodiode vorhanden sind. Zwischen dem er­ sten Abschnitt 38 und dem zweiten Abschnitt 40 befindet sich ein Übergangsabschnitt 42, in dem die Kennlinie 36 gekrümmt ist.
Mathematisch läßt sich die in Fig. 3 gezeigte Kennlinie 36 einer Bildzelle 22 durch eine Gleichung der Form
V = k.log(αE + ID) + c (1)
darstellen. Dabei bezeichnet ID den Dunkelstrom, während die Größe c eine von der Temperatur und der Transistorgeometrie ab­ hängige Größe ist. Der Faktor α gibt den Zusammenhang zwischen der von der Bildzelle 22 erzeugten Stromstärke und der Hellig­ keit E wieder.
Fig. 4 zeigt eine der Fig. 3 entsprechende Darstellung mehrerer Kennlinien 44, 46, 48, 50 und 52, die unterschiedlichen Bild­ zellen 22 des Bildsensors 12 zugeordnet sind. In dieser Dar­ stellung ist erkennbar, daß sich die Kennlinien der einzelnen Bildzellen nicht nur hinsichtlich ihrer Dunkelströme, sondern auch hinsichtlich der Faktoren α unterscheiden, die die Steigung der Kennlinien bei höheren Helligkeiten angeben. Aufgrund dieser relativ großen Unterschiede zwischen den einzelnen Kenn­ linien führt eine Addition oder Subtraktion konstanter Werte, wie dies bei dem herkömmlichen Weißabgleich der Fall ist, nicht zu weitgehend übereinstimmenden Kennlinien.
In Fig. 5 ist für zwei feste Helligkeiten E1 und E2 die Vertei­ lung (Anzahl N) der Ausgangsspannungen V angedeutet, wenn in Fig. 4 nicht nur fünf, sondern mehrere hunderttausend Kenn­ linien aufgetragen werden, die den einzelnen Bildzellen des Bildsensors 12 entsprechen. Die Streuungen der für die einzel­ nen Bildzellen gemessenen Ausgangsspannungen um die Mittelwerte V1 bzw. V2 herum sind ein Maß für die Stärke des FPN. Je brei­ ter diese Verteilungskurven sind, desto stärker ist das FPN und desto körniger erscheint eine an sich homogene Fläche auf einem Bildschirm oder einem Ausdruck. Aus Fig. 5 geht außerdem her­ vor, daß der FPN-Effekt selbst von der Helligkeit abhängt.
In Fig. 6 ist für die fünf Kennlinien 44 bis 52 aus Fig. 4 eine Soll-Kennlinie 54 eingetragen, die durch Mittelung der tatsäch­ lichen Ist-Kennlinien 44 bis 52 ermittelt ist. Die Mittelwerte V1 und V2 aus Fig. 5 liegen somit auf der Soll-Kennlinie 54. Das FPN würde vollständig verschwinden, wenn es gelänge, die tatsächlichen Kennlinien 44 bis 52 durch eine geeignete Trans­ formation auf die Soll-Kennlinie 54 (oder eine anders willkür­ lich festgelegte Soll-Kennlinie) abzubilden. Eine Transformati­ on der Gleichung (1) ist allerdings mathematisch sehr aufwendig und daher in Echtzeit nicht von einer FPN-Korrektureinheit zu bewältigen.
Zur Lösung dieses Problems wird nun, wie dies in Fig. 7 darge­ stellt ist, die Ordinate in einen ersten und einen zweiten Wer­ tebereich 56 bzw. 58 unterteilt, indem ein geeigneter Schwel­ lenwert Vth für die Ausgangsspannung festgelegt wird. In dem er­ sten Wertebereich 56 wird für die Ist-Kennlinie 52 der auf den Dunkelstrom zurückzuführende erste Abschnitt durch eine annä­ hernd horizontale erste Näherungsgerade 60 angenähert. Im zwei­ ten Wertebereich 58 wird die Kennlinie 52 durch eine zweite, nunmehr geneigte Näherungsgerade 62 angenähert. Der Schwellen­ wert Vth wird dabei so gewählt, daß die tatsächliche Kennlinie 52 insgesamt möglichst gut durch die beiden Näherungsgeraden 60 und 62 angenähert wird.
Für den zweiten Wertebereich 58 läßt sich die Näherungsgerade 62 durch eine Gleichung der Form
V = ar.logE + br (2)
beschreiben, wobei Vr eine Ausgangsspannung auf der tatsächli­ chen Kennlinie und ar und br die Koeffizienten der linearen Gleichung (2) darstellen.
Die beiden Koeffizienten ar und br lassen sich in an sich be­ kannter Weise durch die Methode der kleinsten Abweichungs­ quadrate (Regressionsanalyse) ermitteln. Hierzu wird für jede Bildzelle einmalig beim Hersteller über den gesamten Hellig­ keitsbereich hinweg eine Vielzahl von Meßwerten aufgenommen, aus denen dann innerhalb des zweiten Wertebereichs 58 die bei­ den Koeffizienten ar und br nach der Methode der kleinsten Ab­ weichungsquadrate ermittelt werden.
Genauso wie die Koeffizienten der zweiten Näherungsgerade 62 werden auch die Koeffizienten der ersten Näherungsgerade 60 für alle Bildzellen des Bildsensors 12 bestimmt. Die Kennlinie ei­ ner jeden Bildzelle wird somit jeweils durch insgesamt vier Koeffizienten näherungsweise dargestellt.
Um nun eine Transformation der tatsächlichen Bildsignale zu er­ möglichen, wird zunächst eine Soll-Kennlinie 54 ermittelt. Dies kann beispielsweise dadurch geschehen, daß zunächst durch Mit­ telung der für jede Bildzelle bei einer bestimmten Helligkeit aufgenommenen Meßwerte ein Mittelwert für diese Helligkeit be­ stimmt wird. Durch diese Mittelwerte kann dann ebenfalls im We­ ge der Methode der kleinsten Abweichungsquadrate eine Näherung durch eine erste und eine zweite Soll-Näherungsgerade 64 bzw. 66 durchgeführt werden. Vorzugsweise werden jedoch aus dem für jede einzelne Bildzelle ermittelten Koeffizienten unmittelbar durch Mittelung die vier Koeffizienten der beiden Soll- Näherungsgeraden 64 und 66 bestimmt, d. h. es gilt z. B. für die zweite Näherungsgerade 62
Vi = ai.logE + bi (3)
mit
wobei Vi die Ausgangsspannung der Soll-Kennlinie 54, ai und bi die Koeffizienten der zweiten Soll-Näherungsgeraden 66 und ark und brk die für jeden Bildpunkt aufgenommenen Meßwerte im zwei­ ten Wertebereich 58 sind. Mit n ist die Anzahl der Bildzellen bezeichnet, für die Kennlinien aufgenommen sind. Entsprechende Gleichungen gelten ebenso für die erste Soll-Näherungsgerade 64 des ersten Wertebereichs 56.
Der Schwellenwert Vth, der die beiden Wertebereiche 56 und 58 voneinander trennt, ist vorzugsweise für jede der Bildzellen 22 unabhängig festlegbar. Ansonsten würden nämlich, wie sich an­ hand der Fig. 6 leicht erkennen läßt, die annähernd waagerech­ ten Abschnitte der Kennlinien teilweise noch durch die Glei­ chungen für die geneigten Abschnitte angenähert und umgekehrt.
Eine weitere Verbesserung der Näherung kann dadurch erzielt werden, daß die Ordinate nicht in zwei, sondern in drei oder noch mehr Wertebereiche aufgeteilt wird. In Fig. 8 ist zwischen dem ersten Wertebereich 56 und dem zweiten Wertebereich 58 für die Kennlinie 52 ein dritter Wertebereich 67 eingefügt, der den Übergangsabschnitt 42 der Kennlinie 52 durch eine quadratische Funktion der Form
Vr = p(logE - E0)2 +p0 (5)
annähert, wobei p, E0 und p0 Koeffizienten der Parabelgleichung (5) sind. Pro Bildzelle sind dann allerdings nicht nur vier, sondern insgesamt sieben Koeffizienten in der FPN-Korrektur­ einheit 26 zu speichern.
Durch Elimination des Terms log E aus den Gleichungen (2) und (3) läßt sich nun für das in Fig. 7 gezeigte Beispiel die li­ neare Transformationsgleichung
Vc = a.Vr + b (6)
ableiten, wobei Vc die korrigierte Ausgangsspannung und a und b die Koeffizienten der Transformationsgleichung (6) bezeichnen. Die Koeffizienten a und b leiten sich aus den Koeffizienten ar, br, ai und bi der Näherungsgleichungen (2) und (3) durch die Be­ ziehung
her. Entsprechende Gleichungen (6) und (7) gelten auch für den ersten Wertebereich 56.
Es sind somit für jede Bildzelle zwei Transformationsgleichun­ gen (6) mit jeweils zwei Koeffizienten erforderlich, um tat­ sächliche Ausgangsspannungen Vr derart in korrigierte Span­ nungswerte Vc zu transformieren, daß bei einer gegebenen Hel­ ligkeit Ex für alle Bildzellen die korrigierten Ausgangs­ spannungen Vc annähernd übereinstimmen.
Es versteht sich, daß die vorstehend beschriebene FPN-Korrektur gegebenenfalls auch nur für einen Teil der Bildzellen eines Bildsensors durchgeführt werden kann.
Fig. 9 zeigt die Verteilung der korrigierten Ausgangsspannungen Vc für die beiden Helligkeiten E1 und E2. Wie aus einem Ver­ gleich mit Fig. 5 deutlich wird, ist die Streuung der korri­ gierten Ausgangsspannungen um die Mittelwerte V1 bzw. V2 herum erheblich geringer als bei unkorrigierten Ausgangsspannungen V. Dementsprechend gering ist damit auch das FPN, so daß die Körnigkeit an sich homogener Flächen erheblich und unter Umständen bis unterhalb der Wahrnehmungsschwelle verringert wird.
Fig. 10a zeigt in einer schematischen Darstellung ein erstes Ausführungsbeispiel 26a für den Aufbau einer FPN-Korrektur­ einheit 26. Das an einem Eingang 68a zugeführte Bildsignal ei­ ner bestimmten Bildzelle wird einem Diskriminator 70a zuge­ führt, der überprüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71a gespeicherten Schwellen­ wertes Vth liegt. Der Schwellenwert Vth ist bei diesem Ausfüh­ rungsbeispiel für alle Bildzellen identisch. Das Ergebnis die­ ser Überprüfung wird an einen Multiplexer 72a übergeben. Durch den Multiplexer 72a lassen sich Werte aus einem ersten Speicher 74a und einem zweiten Speicher 76a auslesen, denen jeweils die Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspan­ nung gerade an dem Eingang 68a in digitaler Form anliegt. In dem ersten Speicher 74a sind Koeffizienten a1 und b1 der Trans­ formationsgleichung (6) für den ersten Wertebereich 56 aller Bildzellen des Bildsensors 12 gespeichert. In dem zweiten Spei­ cher 76 sind Koeffizienten a2 und b2 der Transformations­ gleichung (6) für den zweiten Wertebereich 58 gespeichert.
Der Multiplexer 72a liest nun in Abhängigkeit des von dem Dis­ kriminator 70a übergebenen Ergebnisses aus einem der beiden Speicher 74a oder 76a die Koeffizienten der zu dem ausgewählten Wertebereich gehörenden Transformationsgleichung aus. Die Koef­ fizienten a1 oder a2 werden einem Multiplizierer 78a zugeführt, in dem das am Eingang 68a anliegende Bildsignal mit dem zuge­ führten Faktor a1 oder a2 multipliziert wird. Die Koeffizienten b1 oder b2 werden in Abhängigkeit vom ausgewählten Wertebereich einem Addierer 80a zugeführt und zu dem im Multiplizierer 78a veränderten Bildsignal hinzugefügt. An einem Ausgang 82a der FPN-Korrektureinheit 26a kann das korrigierte Bildsignal abge­ griffen werden.
Die beiden Speicher 74a und 76a sowie der Schwellenwertspeicher 71a können natürlich auch als getrennte Speicherbereiche in ei­ nem gemeinsamen Speicherelement realisiert sein.
Je nach der eingesetzten Chiptechnologie, der Zugriffszeit für die beiden Speicher 74a und 76a und der Auslesefrequenz kann es außerdem zweckmäßig sein, die FPN-Korrektureinheit 26a als Pipeline-Struktur zu realisieren, in deren Datenwege Register eingefügt sind.
Falls mehr als zwei Wertebereiche vorgesehen sind, so ist die Anzahl der vom Diskriminator 70a unterscheidbaren Wertebereiche durch Vorgabe weiterer Schwellenwerte entsprechend anzupassen. Außerdem sind zusätzliche Speicher vorzusehen, aus denen Koef­ fizienten vom Multiplexer 72a ausgelesen werden können. Falls die Transformationsgleichung (6) keine lineare Gleichung ist, sondern eine andere Form aufweist, so kann dem durch eine ande­ re Anordnung der Logikbausteine (Multiplizierer 78a und Addie­ rer 80a) Rechnung getragen werden.
Bei der in Fig. 10b dargestellten FPN-Korrektureinheit 26b ist nicht für alle Bildzellen ein gemeinsamer Schwellenwert Vth vorgesehen, wie dies bei der FPN-Korrektureinheit 26a aus Fig. 10a der Fall ist. Vielmehr ist dort für jede Bildzelle ein ei­ gener Schwellenwert Vth in einem Schwellenwertspeicher 71b ge­ speichert. Wie oben bereits erwähnt, wird dadurch die Genauig­ keit der FPN-Korrektur erheblich verbessert. Der Schwellenwertspeicher 71b ist zu diesem Zweck mit einem Eingang 68b der FPN- Korrektureinheit 26b verbunden, so daß ihm die Adresse derjeni­ gen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an dem Eingang 68b anliegt.
Die in Fig. 10b dargestellte FPN-Korrektureinheit 26b unter­ scheidet sich von der in Fig. 10a dargestellten FPN-Korrektur­ einheit 26a ferner dadurch, daß dort ein Addierer 80b und ein Multiplizierer 78b in umgekehrter Reihenfolge miteinander ver­ schaltet sind. Auf diese Weise erfolgt keine Berechnung nach Gleichung (6), sondern nach einer Gleichung der Form
Vc = a'(Vr +b') (8)
wobei die Koeffizienten a' und b' aus a und b ableitbar sind.
Bei der in Fig. 10c gezeigten FPN-Korrektureinheit 26c ist an­ stelle eines Schwellenwertspeichers eine Schwellenwertberech­ nungseinheit 84c vorgesehen, die unter Verwendung der aus Spei­ chern 74c und 76c zugeführten Koeffizienten für jede Bildzelle unabhängig einen Schwellenwert ermittelt und einem Diskrimina­ tor 70c zur Verfügung stellt. Eine derartige Berechnung ist z. B. dann sinnvoll, wenn die Kosten für den für einen Schwel­ lenwertspeicher vorzuhaltenden Speicherplatz höher sind als die Kosten für die Schwellenwertberechnungseinheit 84c.
Die in Fig. 10d gezeigte FPN-Korrektureinheit 26d unterscheidet sich von der in Fig. 10b gezeigten FPN-Korrektureinheit 26b da­ durch, daß der Koeffizient a1', der sich aus der Steigung der annähernd horizontalen (Soll-)Näherungsgeraden 60 bzw. 64 er­ rechnet, im ersten Wertebereich für alle Bildzellen gleich ist und deswegen nicht aus einem Speicher 74d, sondern aus einem Festwertspeicher 86d geladen wird, der gegebenenfalls auch in einem Multiplexer 72d enthalten oder durch eine schaltungstech­ nische Verdrahtung ersetzt sein kann. Außerdem wird als Schwel­ lenwert der Koeffizient b1' einem Diskriminator 70d zugeführt, so daß hier ebenfalls ein Schwellenwertspeicher entfällt.
Bei der in Fig. 10e gezeigten FPN-Korrektureinheit 26e erfolgt nicht zunächst eine Auswahl von Koeffizienten für die einzelnen Wertebereiche und eine anschließende Berechnung der Korrektur­ werte Vc, wie dies bei den vorstehend beschriebenen Ausfüh­ rungsbeispielen der Fall ist. Vielmehr werden bei der FPN- Korrektureinheit 26e parallel für beide Wertebereiche Korrek­ turwerte berechnet, die hinter den Addierern 78e abgreifbar sind. Aus den beiden berechneten Korrekturwerten wird dann in einem Multiplexer 72e ein Korrekturwert ausgewählt und einem Ausgang 82e zur Verfügung gestellt. Der Multiplexer 72e wird auch hier von einem Diskriminator 70e angesteuert, der über­ prüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71e gespeicherten Schwellenwertes Vth liegt.
Die in Fig. 10f gezeigte FPN-Korrektureinheit 26f unterscheidet sich von der vorstehend beschriebenen FPN-Korrektureinheit 26e lediglich dadurch, daß der Koeffizient a1 für alle Bildzellen gleich Null ist, was horizontalen (Soll-)Näherungsgeraden im ersten Wertebereich entspricht. Dadurch entfällt einer der bei der FPN-Korrektureinheit 26e nach Fig. 10e erforderlichen Mul­ tiplizierer. Selbstverständlich können auch bei den FPN- Korrektureinheiten 26e und 26f die Schwellenwerte auch aus den gespeicherten Koeffizienten ermittelt werden, wie dies weiter oben zu der FPN-Korrektureinheit 26c beschrieben wurde.
Die einzelnen Komponenten der vorstehend beschriebenen FPN- Korrektureinheiten 26a bis 26f können aus digitalen oder auch aus analogen Bauelementen (Multiplizierern 78, Addierer 80 und Multiplexer 72) aufgebaut werden. Bei einem analogen Aufbau entfällt natürlich der eingangsseitige Analog/Digital-Wandler 25. Zusätzlich sind dann die in den Speichern 74 und 76 gespei­ cherten Koeffizienten mit Hilfe von Digital/Analog-Wandlern in Analogsignale umzuwandeln.

Claims (20)

1. Verfahren zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden, mit folgenden Schritten, die vorzugsweise für das Bildsignal jeder Bildzelle (22) getrennt durchgeführt werden:
  • a) Ermitteln, in welchem von wenigstens zwei Werte­ bereichen (56, 58; 67) der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt; und
  • b) Bestimmen eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem Ergebnis nach Schritt a),
dadurch gekennzeichnet, daß die wenigstens zwei Wertebereiche (56, 58; 67) für mehrere Bildzellen (22) unterschiedlich sind.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Bestimmung eines Korrekturwertes nach Schritt b) die Schritte umfaßt:
  • 1. Auswählen einer Transformationsgleichung aus mehre­ ren Transformationsgleichungen in Abhängigkeit von dem Ergebnis nach Schritt a);
  • 2. Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformations­ gleichung.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Transformationsgleichungen für mehrere Bildzellen (22) un­ terschiedlich sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß für alle Bildzellen (22) Transformati­ onsgleichungen verwendet werden, die sich nur durch unter­ schiedliche Koeffizienten unterscheiden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Transformationsgleichungen durch eine Anordnung von Logik­ bausteinen, insbesondere von Addierern (80) und Multipli­ zierern (78), festgelegt sind, denen die Koeffizienten aus einem Speicher zugeführt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß für jede Bildzelle (22) die Transfor­ mationsgleichungen aus einem Vergleich einer Ist-Kennlinie (44, 46, 48, 50, 52), die einen Zusammenhang zwischen einer auf die jeweilige Bildzelle (22) auftreffende opti­ sche Intensität und dem erzeugten Bildsignal angibt, mit einer Soll-Kennlinie (54) ermittelt sind.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Soll-Kennlinie (54) durch Bildung des Mittelwertes aus den Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen (22) ermittelt wird.
8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß bei annähernd logarithmischen Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen die wenigstens zwei Wertebereiche (56, 58; 67) derart festgelegt werden, daß innerhalb der Wertebereiche (56, 58; 67) die Ist-Kennlinien (44, 46, 48, 50, 52) und die Soll-Kennlinie (54) jeweils annähernd linear zum Logarithmus der optischen Intensität sind.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß für jede Bildzelle (22) und für jeden der wenigstens zwei Wer­ tebereiche (56, 58; 67) der Korrekturwert Vc für das Bild­ signal zu dem vorgegebenen Zeitpunkt aus einem von der Bildzelle (22) erzeugten tatsächlichen Wert Vr nach einer Transformationsgleichung der Form
Vc = a.Vr + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist- Kennlinie (44, 46, 48, 50, 52) mit der Soll-Kennlinie (54) ermittelte Koeffizienten der Transformationsgleichung sind.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß für die Koeffizienten a und b
gilt, wenn in dem entsprechenden Wertebereich (56, 58; 67) die Soll-Kennlinie (54) durch die Gleichung
Vi = ai.logE + bi
und die Ist-Kennlinie (44, 46, 48, 50, 52) durch die Glei­ chung
Vr = ar.logE + br
angenähert wird, wobei E ein Maß für die auf die betref­ fende Bildzelle (22) auftreffende optische Intensität ist.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die Koeffizienten ar und br durch die Methode der klein­ sten Abweichungsquadrate aus Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen (22) ermittelt werden.
12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, daß die Koeffizienten ai und bi durch Mittelwertbildung aus den Koeffizienten ar und br über alle Bildzellen (22) ermittelt werden.
13. Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden, mit:
  • a) einem Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert eines Bildsignals einer Bildzelle (22) zu einem vorgegebenen Zeitpunkt liegt, und
  • b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) er­ mittelten Ergebnis,
dadurch gekennzeichnet, daß der Diskriminator (70) mit einem Schwellenwertspeicher (71) verbunden ist, in dem wenigstens für mehrere Bildzellen (22) unter­ schiedliche Schwellenwerte speicherbar sind.
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß die Auswahleinrichtung aufweist:
  • a) Mittel (72) zum Auswählen einer Transformationsglei­ chung aus mehreren Transformationsgleichungen in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis, und
  • b) eine Transformationseinheit (74, 76, 78, 80) zum Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformations­ gleichung.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, daß die Transformationseinheit eine Anordnung von Logikbau­ steinen, insbesondere von Addierern (78) und Multiplizie­ rern (80), und einen Speicher (74, 76) umfaßt, in dem den Logikbausteinen zuführbare Koeffizienten der mehreren Transformationsgleichungen speicherbar sind.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß die Transformationseinheit eine Reihenschaltung aus einem Multiplizierer (78) und einem Addierer (80) aufweist.
17. Vorrichtung nach einem der Ansprüche 15 oder 16, dadurch gekennzeichnet, daß die Zuführung der Koeffizienten von dem Speicher (74, 76) an die Logikbausteine (78, 80) von den Mitteln (72) zum Auswählen einer Transformations­ gleichung steuerbar ist.
18. Vorrichtung nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, daß dem Speicher (74, 76) Angaben zu der ausgelesenen Bildzelle (22) zuführbar sind.
19. Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden, mit:
  • a) einem Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert eines Bildsignals einer Bildzelle (22) zu einem vorgegebenen Zeitpunkt liegt, und
  • b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis,
dadurch gekennzeichnet, daß der Diskriminator (70c) mit einer Schwellenwertberechnungseinheit (84c) ver­ bunden ist, in der für wenigstens mehrere Bildzellen (22) aus von einem Speicher (74c, 76c) zugeführten Koeffizienten Schwellenwerte berechenbar sind.
20. Digitale Kamera, insbesondere Photo- oder Filmkamera (10), mit einem mehrere Bildzellen (22) aufweisenden Bildsensor (12) und einer Vorrichtung (26) zur FPN-Korrektur nach einem der Ansprüche 13 bis 19.
DE10117833A 2001-04-03 2001-04-03 Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen Expired - Fee Related DE10117833C1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10117833A DE10117833C1 (de) 2001-04-03 2001-04-03 Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen
JP2002580629A JP2005509319A (ja) 2001-04-03 2002-03-26 イメージ信号のfpn補正方法及びそのための装置
PCT/EP2002/003356 WO2002082804A1 (de) 2001-04-03 2002-03-26 Verfahren und vorrichtung zur fpn-korrektur von bildsignalen
EP02722269A EP1374565A1 (de) 2001-04-03 2002-03-26 Verfahren und vorrichtung zur fpn-korrektur von bildsignalen
US10/674,784 US7420599B2 (en) 2001-04-03 2003-09-30 Method and device for the FPN correction of image signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10117833A DE10117833C1 (de) 2001-04-03 2001-04-03 Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen

Publications (1)

Publication Number Publication Date
DE10117833C1 true DE10117833C1 (de) 2002-09-12

Family

ID=7681057

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10117833A Expired - Fee Related DE10117833C1 (de) 2001-04-03 2001-04-03 Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen

Country Status (5)

Country Link
US (1) US7420599B2 (de)
EP (1) EP1374565A1 (de)
JP (1) JP2005509319A (de)
DE (1) DE10117833C1 (de)
WO (1) WO2002082804A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10239994B4 (de) * 2002-08-27 2006-12-14 Robert Bosch Gmbh Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems
JPWO2006098374A1 (ja) * 2005-03-15 2008-08-28 オムロン株式会社 撮像装置、信号処理装置及び信号処理方法
JP5588729B2 (ja) * 2010-04-28 2014-09-10 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
WO2013128817A1 (ja) * 2012-02-28 2013-09-06 コニカミノルタ株式会社 固体撮像装置
KR102182870B1 (ko) 2014-04-08 2020-11-25 삼성전자주식회사 선형-로그형 이미지 센서 및 이를 포함하는 전자 기기

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02107074A (ja) * 1988-10-17 1990-04-19 Mitsubishi Electric Corp 赤外線撮像装置
JPH05137073A (ja) * 1991-11-11 1993-06-01 Canon Inc 固体撮像素子の固定パターン補正装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2149605B (en) * 1983-11-04 1987-06-10 Marconi Avionics Image processing
JPS61144174A (ja) 1984-12-17 1986-07-01 Fujitsu Ltd 固体撮像装置
JPH02215286A (ja) 1989-02-15 1990-08-28 Fujitsu Ltd Pn接合型赤外線多素子検知器のオフセット及び感度の補正回路
JPH04355576A (ja) 1991-06-03 1992-12-09 Nec Corp 撮像デバイスの感度補正方法
JPH05167848A (ja) 1991-12-11 1993-07-02 Minolta Camera Co Ltd 固体撮像装置
US5289286A (en) * 1991-07-18 1994-02-22 Minolta Camera Kabushiki Kaisha Solid state sensor having logarithmic photovoltaic response, with pixel uniformity correction and white balance circuitry therefor
DE4209536C3 (de) 1992-03-24 2000-10-05 Stuttgart Mikroelektronik Bildzelle für einen Bildaufnehmer-Chip
DE4305251C1 (de) * 1993-02-20 1994-05-05 Eltro Gmbh Verfahren und Schaltungsanordnung zum Verringern der Nichtuniformität von Signalantworten bei einzelnen IR-Detektorelementen
JPH06350930A (ja) 1993-06-11 1994-12-22 Nec Corp イメージセンサの暗時出力補正装置
JPH0965214A (ja) 1995-08-25 1997-03-07 Fujitsu Ltd 受光素子特性補正方法及び装置並びにそれらを備えた撮像装置
JPH1062305A (ja) 1996-08-19 1998-03-06 Advantest Corp Ccdカメラの感度補正方法およびccdカメラ感度補正機能付lcdパネル表示試験システム
US6320616B1 (en) * 1997-06-02 2001-11-20 Sarnoff Corporation CMOS image sensor with reduced fixed pattern noise
US5969758A (en) * 1997-06-02 1999-10-19 Sarnoff Corporation DC offset and gain correction for CMOS image sensor
US6798452B1 (en) * 1997-07-28 2004-09-28 Matsushita Electric Industrial Co., Ltd. Amplifying solid-state imaging device, method for driving the same and physical quantity distribution sensing semiconductor device
JP3226859B2 (ja) * 1997-11-17 2001-11-05 日本電気株式会社 撮像装置
JPH11298799A (ja) * 1998-04-15 1999-10-29 Honda Motor Co Ltd 光センサ信号処理装置
EP1119965B1 (de) * 1998-09-30 2002-07-03 Micronas Munich GmbH Verfahren und vorrichtung zur belichtungsabhängigen rausch-korrektur bei zeilen- und spaltenadressierbaren bildsensoren
JP2000138867A (ja) 1998-11-02 2000-05-16 Yokogawa Electric Corp 固体撮像素子
JP2000175108A (ja) 1998-12-04 2000-06-23 Honda Motor Co Ltd イメ―ジセンサの出力補正回路
JP2000244824A (ja) 1998-12-24 2000-09-08 Fuji Photo Film Co Ltd 画素信号補正方法および装置並びにそれに使用する固体検出器
JP2001094884A (ja) 1999-09-21 2001-04-06 Fuji Photo Film Co Ltd 検出信号補正方法および装置
JP3578037B2 (ja) 2000-03-01 2004-10-20 日本電気株式会社 半導体装置及びその制御方法
JP2002118791A (ja) 2000-10-05 2002-04-19 Honda Motor Co Ltd イメージセンサ
JP4616527B2 (ja) 2000-12-28 2011-01-19 本田技研工業株式会社 イメージセンサの出力補正装置
JP2002314887A (ja) 2001-02-08 2002-10-25 Honda Motor Co Ltd イメージセンサの出力補正装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02107074A (ja) * 1988-10-17 1990-04-19 Mitsubishi Electric Corp 赤外線撮像装置
JPH05137073A (ja) * 1991-11-11 1993-06-01 Canon Inc 固体撮像素子の固定パターン補正装置

Also Published As

Publication number Publication date
WO2002082804A1 (de) 2002-10-17
US7420599B2 (en) 2008-09-02
EP1374565A1 (de) 2004-01-02
JP2005509319A (ja) 2005-04-07
US20040100568A1 (en) 2004-05-27

Similar Documents

Publication Publication Date Title
DE69028973T2 (de) Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Leuchtdichteinformationssignal und Farbinformationssignal aus einem Bildaufnahmegerät
DE112008001990B4 (de) Belichtungssteuerung für ein Bildgebungssystem
DE68925841T2 (de) Verschiebungs-, Verstärkungs- und schlechte Bildelement-Korrektur in elektronischen Abtastmatrizes
DE3600330C2 (de) Dreifarben-Kathodenstrahlröhrenanordnung
DE69625116T2 (de) Einstellvorrichtung für automatischen Weißabgleich
DE68928999T2 (de) Kamera mit breitem dynamischem bereich
DE69121007T2 (de) Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Farbinformationssignal aus einem Bildaufnahmegerät
DE4119489C2 (de) Multispektrales Farbbildaufnahmesystem
DE69111865T2 (de) Verfahren und Vorrichtung zur Wiederherstellung von Bildern, Erkennung und Kompensation von Fehlsensoren.
DE69414968T2 (de) Adaptive Videosignalkompression
DE69523043T2 (de) Zusammenstellung eines bildes aus teilbildern
DE3629469A1 (de) Verfahren zur einstellung der farbsaettigung bei der elektronischen bildverarbeitung
DE10359996A1 (de) Elektronisches Endoskop
CH681658A5 (de)
EP1119965B1 (de) Verfahren und vorrichtung zur belichtungsabhängigen rausch-korrektur bei zeilen- und spaltenadressierbaren bildsensoren
DE2841727C2 (de) Verfahren zur additiven und multiplikativen Störsignalkompensation und Schaltung zur Durchführung des Verfahrens
DE69125869T2 (de) Gradationskorrekturvorrichtung
EP1346561B1 (de) Verfahren und vorrichtung zur bilderzeugung unter verwendung mehrerer belichtungszeiten
DE2308622A1 (de) Belichtungssteuervorrichtung
DE60004595T2 (de) Filterung defekter Bildelemente bei digitalen Bildgebern
EP1252757B1 (de) Verfahren und vorrichtung zur veränderung der farbsättigung elektronisch erfasster bilder
DE3126787A1 (de) Verfahren zum auswerten eines farboriginals
DE3732634A1 (de) Roentgendiagnostikeinrichtung
DE10117833C1 (de) Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen
DE10208285A1 (de) Verfahren zur Korrektur der Bilddaten eines Kamerasystems

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee