DE10117833C1 - Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen - Google Patents
Verfahren und Vorrichtung zur FPN-Korrektur von BildsignalenInfo
- Publication number
- DE10117833C1 DE10117833C1 DE10117833A DE10117833A DE10117833C1 DE 10117833 C1 DE10117833 C1 DE 10117833C1 DE 10117833 A DE10117833 A DE 10117833A DE 10117833 A DE10117833 A DE 10117833A DE 10117833 C1 DE10117833 C1 DE 10117833C1
- Authority
- DE
- Germany
- Prior art keywords
- image
- value
- transformation
- coefficients
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims abstract description 81
- 230000009466 transformation Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004364 calculation method Methods 0.000 title claims description 9
- 230000001419 dependent effect Effects 0.000 title description 2
- 230000015654 memory Effects 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- DKOQGJHPHLTOJR-WHRDSVKCSA-N cefpirome Chemical compound N([C@@H]1C(N2C(=C(C[N+]=3C=4CCCC=4C=CC=3)CS[C@@H]21)C([O-])=O)=O)C(=O)\C(=N/OC)C1=CSC(N)=N1 DKOQGJHPHLTOJR-WHRDSVKCSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden. Die Vorrichtung weist auf: DOLLAR A a) einen Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt, DOLLAR A b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis. DOLLAR A Vorzugsweise umfaßt die Auswahleinrichtung Mittel (72) zum Auswählen einer Transformationsgleichung aus mehreren Transformationsgleichungen in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis nach a) und eine Transformationseinheit (74, 76, 78, 80) zum Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformationsgleichung (Fig. 10b).
Description
Die Erfindung betrifft ein Verfahren zur FPN-Korrektur von
Bildsignalen, die von Bildzellen eines Bildsensors erzeugt wer
den, mit folgenden Schritten, die vorzugsweise für das Bildsi
gnal jeder Bildzelle getrennt durchgeführt werden:
- a) Ermitteln, in welchem von wenigstens zwei Wertebereichen der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt, und
- b) Bestimmen eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem Ergebnis nach Schritt a).
Die Erfindung betrifft ferner eine Vorrichtung zur FPN-
Korrektur von Bildsignalen, die von Bildzellen eines Bildsen
sors erzeugt werden, mit:
- a) einem Diskriminator zum Ermitteln, in welchem von wenig stens zwei Wertebereichen der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt liegt, und
- b) eine Auswahleinrichtung zur Bestimmung eines Korrekturwer tes für das Bildsignal unter Verwendung einer Transforma tionsgleichung in Abhängigkeit von dem von dem Diskrimina tor ermittelten Ergebnis.
Ein solches Verfahren sowie eine entsprechende Vorrichtung sind
beispielsweise aus der JP 5-137073 A bekannt.
In der Photo- und Filmkameratechnik werden als Ersatz für her
kömmliches Filmmaterial in zunehmendem Maße Bildaufnehmer ein
gesetzt, die eine optische Intensitätsverteilung in elektroni
sche Bildsignale umwandeln. Derartige Bildsensoren weisen eine
regelmäßige Anordnung von Bildpunkten ("Pixeln") auf, denen je
weils eine oder mehrere lichtempfindliche, im folgenden als
Bildzellen bezeichnete Schaltungen aus Halbleiterbauelementen
zugeordnet sind. Jede dieser Bildzellen erzeugt ein Bildsignal,
dessen Spannungswert eine Funktion der Intensität des auf die
Bildzelle auftreffenden Lichts ist.
Bei Bildsensoren für die farbige Wiedergabe besteht jeder Bild
punkt in der Regel aus einem Tripel von Bildzellen, die jeweils
durch ein Farbfilter für eine der drei Spektralfarben Rot, Grün
und Blau überdeckt sind. Jedes Bildsignal einer solchen Bild
zelle gibt einen auf die betreffende Spektralfarbe bezogenen
Helligkeitswert wieder, so daß in der Gesamtheit der drei Ein
zelsignale die Farbinformation für den betreffenden Bildpunkt
enthalten ist.
Betrachtet man ein durch derartige Bildsignale repräsentiertes
Bild auf einem Monitor oder einem Ausdruck, so stellt man fest,
daß Flächen des Bildes, die eigentlich homogen und gleichmäßig
erscheinen sollten, tatsächlich eine mehr oder weniger starke
Körnung aufweisen. Diese Körnung entsteht dadurch, daß iden
tisch aufgebaute Bildzellen trotz gleicher Intensität des auf
treffenden Lichtes unterschiedliche Bildsignale erzeugen. Die
ser Effekt wird als "fixed pattern noise" oder kurz als "FPN"
bezeichnet. Die unterschiedlichen Eigenschaften der an sich
identischen Bildzellen gehen auf herstellungsbedingte Variatio
nen der elektronischen Bauelemente zurück, aus denen die ein
zelnen Bildzellen aufgebaut sind. Diese Variationen betreffen
insbesondere die Geometrie und Dotierung der Strukturen, aus
denen die einzelnen elektronischen Bauelemente ihrerseits be
stehen. Je komplexer die einzelnen Bildzellen aufgebaut sind,
desto größer ist im allgemeinen auch das FPN.
Zur Korrektur des FPN ist es bekannt, im Rahmen eines sogenann
ten "Weißabgleichs" bei einer Referenzhelligkeit ein Bild mit
dem Bildsensor aufzunehmen und für jede Bildzelle einen Diffe
renzwert des entsprechenden Bildsignals zu einem gemeinsamen
Referenzsignal abzuspeichern. Dieser Differenzwert, der positiv
oder negativ sein kann, wird nun stets zu dem von der betref
fenden Bildzelle erzeugten Bildsignal hinzuaddiert. Für die Re
ferenzhelligkeit wird das FPN durch dieses bekannte Verfahren
vollständig korrigiert.
Für von der Referenzhelligkeit verschiedene Helligkeiten wird
das FPN hingegen nur unzureichend korrigiert, d. h. bei solchen
Helligkeiten bleibt die körnige Darstellung an sich homogener
Flächen weitgehend unverändert. Dies liegt daran, daß die Kenn
linien der einzelnen Bildzellen, die den Zusammenhang zwischen
der auf der Bildzelle auftreffenden optischen Intensität
(Helligkeit) und dem erzeugten Bildsignal angeben, sich nicht
nur durch das Hinzuaddieren eines Differenzwertes zur Deckung
bringen lassen. Vielmehr unterscheiden sich die Kennlinien der
einzelnen Bildzellen auch bezüglich ihrer Steigung, so daß eine
Korrektur bei der Referenzhelligkeit sich bei anderen Hellig
keiten u. U. erheblich weniger auswirkt.
In der Praxis stößt die Korrektur des FPN vor allem deswegen
auf Schwierigkeiten, weil aufwendige mathematische Transforma
tionen im Rahmen der Korrektur wegen der hohen erforderlichen
Speicher- und Rechenkapazitäten und wegen der Echtzeitanforde
rungen zumindest für kommerzielle Anwendungen ausscheiden.
In der genannten japanischen Druckschrift JP 5-137073 A ist ein
gattungsgemäßes Verfahren beschrieben, bei dem zunächst geprüft
wird, ob der Wert des Bildsignals zu einem vorgegebenen Zeit
punkt über oder unterhalb einer festgelegten Schwelle liegt.
Liegt der Wert des Bildsignals unterhalb der festgelegten
Schwelle, wird eine FPN-Korrektur durchgeführt, indem ein in
einem Speicher abgelegter FPN-Wert von dem Wert des Bildsignals
subtrahiert wird. Liegt der Wert des Bildsignals jedoch ober
halb der festgelegten Schwelle, unterbleibt die FPN-Korrektur.
In diesem Fall findet somit keine FPN-Korrektur statt.
Aus der JP 2-107074 A ist ein Verfahren bekannt, bei dem eine
FPN-Korrektur über einen großen Temperaturbereich hinweg
erfolgt. Mit Hilfe von Multiplizierern und Addierern werden
dabei Korrekturmaßnahmen durchgeführt. Eine Trennung nach Wer
tebereichen ist nicht offenbart.
Vor diesem Hintergrund ist es eine Aufgabe der Erfindung, ein
Verfahren und eine Vorrichtung zu FPN-Korrektur von Bildsigna
len der eingangs genannten Art weiter zu verbessern, so daß ei
ne weitere Verringerung des FPN bei geringen Anforderungen an
den Speicherbedarf und die Rechenleistung erzielt wird.
Hinsichtlich des eingangs genannten Verfahrens wird diese Auf
gabe dadurch gelöst, daß die wenigstens zwei Wertebereiche für
mehrere Bildzellen unterschiedlich sind.
Hinsichtlich der eingangs genannten Vorrichtung wird die Aufga
be dadurch gelöst, daß der Diskriminator mit einem Schwellen
wertspeicher verbunden ist, in dem wenigstens für mehrere Bild
zellen unterschiedliche Schwellenwerte speicherbar sind oder
daß der Diskriminator mit einer Schwellenwertberechnungseinheit
verbunden ist, in der für wenigstens mehrere Bildzellen aus von
einem Speicher zugeführten Koeffizienten Schwellenwerte bere
chenbar sind.
Der Erfindung liegt die Erkenntnis zugrunde, daß sich eine Ver
besserung der FPN-Korrektur bereits dadurch erzielen läßt, daß
die Bildsignale nicht in einheitlicher Weise über den gesamten
Wertebereich hinweg, sondern in unterschiedlicher Weise nach
mehreren Wertebereichen getrennt korrigiert werden. Dies er
laubt es, mit sehr einfachen, an den Speicherbedarf und die Re
chenleistung geringe Anforderungen stellende Transformationen
gute Korrekturergebnisse zu erzielen. Innerhalb der einzelnen
Wertebereiche kann nämlich die Kennlinie einer jeden Bildzelle
durch eine mathematisch vergleichsweise einfache Gleichung an
genähert werden, was die Verwendung entsprechend einfacher, mit
geringem Rechenaufwand durchführbarer Transformationen erlaubt.
Die zugrundeliegenden Transformationsgleichungen benötigen nur
sehr wenige abzuspeichernde Koeffizienten, wodurch auch der
Speicherbedarf gering gehalten wird.
Durch die getrennte Korrektur der Bildsignale in unterschiedli
chen Wertebereichen wird es also möglich, die relativ kompli
zierten, ganz unterschiedliche physikalische Phänomene reprä
sentierenden Kennlinien der einzelnen Bildzellen abschnittswei
se durch so einfache Funktionen anzunähern, daß mit einfachen
Transformationsgleichungen und entsprechend wenigen Koeffizien
ten pro Bildzelle eine gute Korrektur des FPN möglich wird.
Grundsätzlich könnten die wenigstens zwei Wertebereiche für al
le Bildzellen identisch sein. Der zur Durchführung des Verfah
rens erforderliche schaltungstechnische Aufbau wird dadurch
sehr einfach, da nicht für jede Bildzelle ein oder mehrere
eigene Schwellenwerte aus einem Speicher ausgelesen und einem
Diskriminator zugeführt werden müssen.
Erfindungsgemäß sind jedoch sind die wenigstens zwei Werte
bereiche für mehrere Bildzellen unterschiedlich.
Zwar erfordert dies zusätzlich das Abspeichern eines oder meh
rerer Schwellenwerte für jede einzelne Bildzelle. Dieser Nach
teil wird jedoch dadurch aufgewogen, daß dadurch eine weitere
erhebliche Verbesserung der FPN-Korrektur erzielt wird. Dies
hängt damit zusammen, daß sich die Kennlinie einer einzelnen
Bildzelle nur dann innerhalb der wenigstens zwei Wertebereiche
gut durch einfache Näherungsgleichungen annähern läßt, wenn der
Übergang zwischen den Wertebereichen, d. h. der oder die Schwel
lenwerte, individuell an die jeweilige Kennlinie angepaßt ist.
Die Schwellenwerte für die einzelnen Bildpunkte können dabei
z. B. in einem Schwellenwertspeicher abgelegt sein. Ebenso mög
lich ist es, die Schwellenwerte aus gespeicherten Koeffizienten
für die Transformationsgleichungen zu berechnen, so daß kein
zusätzlicher Speicherbedarf für die Schwellenwerte vorzusehen
ist. Einzelne Koeffizienten können gegebenenfalls auch unmit
telbar als Schwellenwert verwendet werden.
Die durch die Auswahleinrichtung vorzunehmende Bestimmung eines
Korrekturwertes für das Bildsignal kann beispielsweise derart
erfolgen, daß für jeden Bildpunkt für die wenigstens zwei
Wertebereiche unter Verwendung der hierfür gültigen Transforma
tionsgleichungen eine der Anzahl der Wertebereiche entsprechen
de Anzahl von Korrekturwerten ermittelt wird. Aus diesen Korrekturwerten
wird dann in Abhängigkeit davon, in welchem Werte
bereich der Wert eines Bildsignals einer Bildzelle zu einem
vorgegebenen Zeitpunkt tatsächlich liegt, ein bestimmter, die
sem Wertebereich zugeordneter Korrekturwert ausgewählt. Für je
de Bildzelle sind daher so viele Korrekturwerte zu ermitteln,
wie Wertebereiche vorgesehen sind.
Bevorzugt ist es allerdings, wenn die Bestimmung eines Korrek
turwertes nach Schritt b) die Schritte umfaßt:
- 1. Auswählen einer Transformationsgleichung aus mehreren Transformationsgleichungen in Abhängigkeit von dem Ergeb nis nach Schritt a);
- 2. Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformationsgleichung.
Dieses Vorgehen hat den Vorteil, daß für jede Bildzelle nur die
Berechnung eines einzigen Korrekturwertes erforderlich ist,
nämlich unter Verwendung derjenigen Transformationsgleichung,
die dem Wertebereich zugeordnet ist, in der der Wert eines
Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt
tatsächlich liegt. Anstelle also aus mehreren im voraus berech
neten Korrekturwerten einen Korrekturwert auszuwählen, wird bei
diesem Vorgehen nur ein Korrekturwert unter Verwendung einer
ausgewählten Transformationsgleichung berechnet.
Grundsätzlich ist es möglich, daß die Transformationsgleichun
gen, die den wenigstens zwei Wertebereichen zugeordnet sind,
für alle Bildzellen gleich sind. Gegenüber der FPN-Korrektur im
Rahmen des Weißabgleichs wird dadurch bereits eine deutliche
Verringerung des FPN erzielt.
Besonders bevorzugt ist es jedoch, wenn die Transformations
gleichungen für mehrere Bildzellen unterschiedlich sind.
Dabei lassen sich gegebenenfalls mehrere Bildzellen in Gruppen
zusammengefaßt kombinieren. Vorzugsweise jedoch werden für jede
Bildzelle individuelle Transformationsgleichungen ermittelt.
Durch diese Maßnahme läßt sich eine erhebliche Verbesserung der
FPN-Korrektur erzielen, da nun für jede einzelne Bildzelle an
deren individuelle Kennlinie angepaßte Transformationsgleichun
gen verwendet werden können. Dennoch hält sich die Gesamtzahl
der abzuspeichernden Koeffizienten in überschaubaren Grenzen,
da die Transformationsgleichungen aufgrund der Unterteilung in
mehrere Wertebereiche einfach sind. Die Anzahl der erforderli
chen Koeffizienten hängt von der Art der verwendeten Näherung
ab. Da sich die meisten Kennlinienabschnitte durch einfache li
neare, quadratische oder kubische Gleichungen annähern lassen,
wird die Anzahl der Koeffizienten pro Transformationsgleichung
im allgemeinen nicht über zwei hinausgehen.
Je nach Art der Kennlinien kann es erforderlich sein, innerhalb
der wenigstens zwei Wertebereiche die entsprechenden Kenn
linienabschnitte durch strukturell ganz unterschiedliche Nähe
rungsfunktionen zu beschreiben. Entsprechend unterschiedlich
können dann auch die Transformationsgleichungen sein, mit denen
die von den Bildzellen erzeugten Bildsignale in korrigierte
Bildsignale umgerechnet werden. Solche für jeden Wertebereich
unterschiedlichen Transformationsgleichungen können beispiels
weise mit Hilfe digitaler Signalprozessoren gelöst werden.
Bevorzugt ist es allerdings, wenn für alle Bildzellen Transfor
mationsgleichungen verwendet werden, die sich nur durch unter
schiedliche Koeffizienten unterscheiden.
Auf diese Weise lassen sich die Transformationen für alle Bild
zellen mit Hilfe einer geeigneten Anordnung von Logikbausteinen
durchführen, denen lediglich für jede Bildzelle unterschiedli
che Koeffizienten zuzuführen sind. Voraussetzung ist hierbei
natürlich, daß die Kennlinien sich innerhalb der einzelnen Wer
tebereiche derart durch geeignete Näherungsfunktionen beschrei
ben lassen, daß sich Transformationsgleichungen von einheitli
cher Struktur ergeben. Bevorzugt sind hierbei natürlich lineare
Transformationsgleichungen, da diese sich besonders einfach
durch eine Anordnung von Addierern und Multiplizierern schal
tungstechnisch umsetzen lassen.
Bei einer vorteilhaften Ausgestaltung der Erfindung sind des
wegen die Transformationsgleichungen durch eine Anordnung von
Logikbausteinen, insbesondere von Addierern und Multiplizie
rern, festgelegt, denen die Koeffizienten aus einem Speicher
zugeführt werden.
Ferner ist es bevorzugt, wenn für jede Bildzelle die Transfor
mationsgleichungen aus einem Vergleich einer Ist-Kennlinie, die
einen Zusammenhang zwischen einer auf die jeweilige Bildzelle
auftreffenden optischen Intensität und dem erzeugten Bildsignal
angibt, mit einer Soll-Kennlinie ermittelt sind.
Die Soll-Kennlinie kann dabei willkürlich festgelegt sein. Die
Festlegung sollte dann aber unter dem Gesichtspunkt erfolgen,
daß sich im Hinblick auf die Näherungsgleichungen für die Ist-
Kennlinien möglichst einfache Transformationsgleichungen inner
halb der Wertebereiche ergeben.
Bevorzugt ist es dabei jedoch, wenn die Soll-Kennlinie durch
Bildung des Mittelwertes aus den Ist-Kennlinien der Bildzellen
ermittelt wird.
Durch diese Festlegung der Soll-Kennlinie werden die an den
einzelnen Bildsignalen vorzunehmenden Korrekturen insgesamt mi
nimal.
Bei bestimmten Bildsensoren, wie sie beispielsweise aus der EP 632 930 B1
bekannt sind, wird eine hohe Eingangssignaldynamik
logarithmisch auf eine erheblich kleinere Ausgangssignaldynamik
komprimiert. Jede Bildzelle dieser Bildsensoren erzeugt somit
eine Ausgangsspannung, die dem Logarithmus der darauf auftref
fenden optischen Intensität entspricht. Auf diese Weise läßt
sich die extrem hohe Bestrahlungsstärke-Dynamik natürlicher
Szenen, die in der Größenordnung von 120 dB liegt, signaltech
nisch erfassen. Die logarithmische Komprimierung wird von elek
tronischen Bauelementen bewirkt, die Bestandteil jeder einzel
nen Bildzelle sind. Es hat sich gezeigt, daß bei derartigen
Bildsensoren mit Hilfe des neuen FPN-Korrekturverfahrens beson
ders gute Ergebnisse erzielbar sind. Die Kennlinien derartiger
Bildzellen lassen sich nämlich in wenigstens zwei Wertebereiche
unterteilen, innerhalb derer sie jeweils annähernd linear zum
Logarithmus der Helligkeitsinformation sind.
Es ist deswegen bevorzugt, daß bei annähernd logarithmischen
Ist-Kennlinien der Bildzellen die wenigstens zwei Wertebereiche
derart festgelegt werden, daß innerhalb der Wertebereiche die
Ist-Kennlinien und die Soll-Kennlinie jeweils annähernd linear
zum Logarithmus der optischen Intensität sind.
Dabei ist es weiter bevorzugt, wenn für jede Bildzelle und für
jeden der wenigstens zwei Wertebereiche der Korrekturwert Vc
für das Bildsignal zu dem vorgegebenen Zeitpunkt aus einem von
der Bildzelle erzeugten tatsächlichen Wert Vr nach einer Trans
formationsgleichung der Form
Vc = a.Vr + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist-Kenn
linie mit der Soll-Kennlinie ermittelte Koeffizienten der
Transformationsgleichung sind.
Eine derartige lineare Transformationsgleichung ergibt sich,
wenn die einzelnen Kennlinienabschnitte durch lineare Funktio
nen angenähert werden. Schaltungstechnisch läßt sich eine der
artige lineare Transformationsgleichung durch eine einfache
Reihenschaltung aus einem Multiplizierer und einem Addierer um
setzen, wobei es auf die Reihenfolge dieser beiden Logik
bausteine im Prinzip nicht ankommt.
In Weiterbildung dieser Ausgestaltung gilt für die Koeffizien
ten a und b
wenn in dem entsprechenden Wertebereich die Soll-Kennlinie
durch die Gleichung
Vi = a1.logE + bi
und die Ist-Kennlinie durch die Gleichung
Vr = ar.logE + br
angenähert wird, wobei E ein Maß für die auf die betreffende
Bildzelle auftreffende optische Intensität ist.
In jedem Wertebereich werden somit die bezüglich des Logarith
mus der Helligkeitsinformation linearen Bildsignale der einzel
nen Bildzellen durch lineare Näherungsgleichungen beschrieben,
deren Koeffizienten durch die angegebene Beziehung die Koeffi
zienten der Transformationsgleichung ergeben. Diese Koeffizien
ten werden in einem Speicher gespeichert und jedesmal abgeru
fen, wenn das Bildsignal der betreffenden Bildzelle innerhalb
des zugeordneten Wertebereichs liegt.
Vorzugsweise werden die Koeffizienten ar und br durch die Me
thode der kleinsten Abweichungsquadrate aus Ist-Kennlinien der
Bildzellen ermittelt.
Da bei der werkseitigen Aufnahme der Ist-Kennlinien nur einzel
ne Meßpunkte zur Verfügung stehen, bietet diese Methode einen
besonders einfachen und genauen Weg, um die Koeffizienten der
linearen Näherungsgleichungen zu ermitteln.
Vorzugsweise werden die Koeffizienten ai und bi durch Mittel
wertbildung aus den Koeffizienten ar und br über alle Bild
zellen bestimmt.
Dadurch kann auf besonders einfache Weise in den einzelnen Wer
tebereichen eine Näherungsgleichung für die Soll-Kennlinie er
mittelt werden.
Weitere Vorteile und Merkmale der Erfindung ergeben sich aus
der Beschreibung der nachfolgenden Ausführungsbeispiele anhand
der Zeichnung. Darin zeigen:
Fig. 1 eine stark schematisierte Darstellung einer erfin
dungsgemäßen digitalen Kamera mit einem darin einge
bauten Bildsensor;
Fig. 2 ein Prinzipschaltbild einer Elektronikeinheit zur
Weiterverarbeitung von Bildsignalen, die von dem in
Fig. 1 dargestellten Bildsensor erzeugt werden;
Fig. 3 die Darstellung einer Kennlinie einer einzelnen
logarithmisch komprimierenden Bildzelle, bei der
eine Ausgangsspannung über einer auf die Bildzelle
auftreffenden optischen Intensität aufgetragen ist;
Fig. 4 eine Darstellung der Kennlinien mehrerer Bildzellen
eines Bildsensors;
Fig. 5 eine Darstellung der Verteilung von Ausgangsspannun
gen, die für zwei unterschiedliche Helligkeitswerte
von mehreren Bildzellen erzeugt werden;
Fig. 6 eine der Fig. 4 entsprechende Darstellung mehrerer
Kennlinien, in der zusätzlich eine Soll-Kennlinie
eingetragen ist;
Fig. 7 eine Darstellung einer Soll-Kennlinie und einer Ist-
Kennlinie in einer Darstellung wie in Fig. 6, in der
zusätzliche Näherungsgeraden für einzelne Werte
bereiche gezeigt sind;
Fig. 8 eine Darstellung einer Ist-Kennlinie mit einer Un
terteilung in drei Wertebereiche;
Fig. 9 eine der Fig. 5 entsprechende Darstellung der Ver
teilung der Ausgangsspannungen, die der erfindungs
gemäßen FPN-Korrektur unterworfen worden sind;
Fig. 10a-10f Ausführungsbeispiele für eine erfindungsgemäße
Vorrichtung zur FPN-Korrektur in schematischer Dar
stellung.
Fig. 1 zeigt in einer stark vereinfachten schematischen Dar
stellung eine Digitalkamera 10, bei der es sich um eine Foto-
oder auch um eine Filmkamera handeln kann. Die Digitalkamera 10
weist einen elektronischen Bildsensor 12 auf, auf dessen licht
empfindlicher Oberfläche ein Motiv 14 mit Hilfe eines hier nur
angedeuteten Linsensystems 16 abgebildet wird. In einer Elek
tronikeinheit 18 werden die von dem Bildsensor 12 aufgenommenen
Bilder digital weiterverarbeitet, so daß sie schließlich über
einen Kameraausgang 20 ausgelesen werden können. Der Elektro
nikeinheit 18 kann ein - in Fig. 1 nicht dargestellter - Bild
speicher zugeordnet sein, in dem die aufbereiteten Bilder gespeichert
werden können. Außerdem ist es möglich, nur einen
Teil der Elektronikeinheit 18 innerhalb der Digitalkamera 10
anzuordnen. Die übrigen Teile sind dann außerhalb der Digital
kamera 10 z. B. als eine auf einem Personalcomputer ausführbare
Software realisiert.
In Fig. 2 sind der Bildsensor 12 sowie die Elektronikeinheit 18
mit weiteren Einzelheiten dargestellt. Der Bildsensor 12 weist
eine regelmäßige Anordnung von Bildpunkten auf, die in an sich
bekannter Weise aus jeweils drei lichtempfindlichen Bildzellen
22 bestehen. Jede Bildzelle 22 eines Bildpunktes wird von un
terschiedlichen Farbfiltern abgedeckt, so daß die von der je
weiligen Bildzelle erzeugte Ausgangsspannung eine Funktion der
Intensität des Lichtes derjenigen Spektralfarbe ist, die durch
das betreffende Filter hindurchtreten kann. Bei nur für
Schwarz-Weiß-Aufnahmen geeigneten Bildsensoren bestehen die
Bildpunkte jeweils aus nur einer einzigen Bildzelle. Die im
Bildsensor 12 verwendeten Bildzellen 22 sind als Schaltungen
von Halbleiterbauelementen realisiert, die im dargestellten
Ausführungsbeispiel eine Ausgangsspannung erzeugen, die annä
hernd dem Logarithmus der darauf auftreffenden optischen Inten
sität entspricht. Die Bildzellen 22 erzeugen deswegen loga
rithmisch komprimierte Bildsignale. Einzelheiten zum Aufbau
derartiger Bildzellen 22 sind der zuvor bereits erwähnten EP 632 930 B1
entnehmbar.
Die von den Bildzellen 22 erzeugten Bildsignale werden zeilen-
und spaltenweise ausgelesen und in einem Auslesemultiplexer 24
zu einem Gesamtsignal zusammengestellt. Das Gesamtsignal ent
hält somit in zeitlicher Abfolge die den einzelnen Bildzellen
22 zugeordneten Bildsignale. Im folgenden beziehen sich deswegen
Ausführungen zu Bildsignalen immer auf das Bildsignal, das
von einer ganz bestimmten Bildzelle 22 im Bildsensor 12 erzeugt
wird.
Die Bildsignale werden in einem Analog/Digital-Wandler 25, der
auch auf dem Bildsensor 12 selbst angeordnet sein kann, digita
lisiert und anschließend in einer FPN-Korrektureinheit 26 der
art korrigiert, daß die durch das FPN hervorgerufenen Verfäl
schungen des aufgenommenen Bildes weitgehend reduziert werden.
Der Aufbau der FPN-Korrektureinheit 26 wird weiter unten noch
anhand mehrerer Ausführungsbeispiele näher erläutert.
Das FPN-korrigierte Bildsignal wird anschließend in einer Ver
arbeitungsstufe 32 weiter aufbereitet, z. B. um die Helligkeit
oder die Farbsättigung gezielt zu verändern und um eine γ-
Korrektur durchzuführen.
Das derart aufbereitete Bildsignal kann schließlich über den
Ausgang 20 ausgelesen und mit Hilfe eines Ausgabegerätes 34 in
ein Bild zurückverwandelt werden.
Fig. 3 zeigt eine Kennlinie 36 einer einzelnen Bildzelle 22 in
einer Darstellung, bei der eine von der Bildzelle 22 erzeugte
Ausgangsspannung V über einer auf die Bildzelle 22 auftreffen
den Helligkeit E aufgetragen ist. In der gewählten halb
logarithmischen Darstellung, bei der die Abszisse logarithmisch
unterteilt ist, ist erkennbar, daß die Kennlinie 36 einen er
sten und einen zweiten Abschnitt 38 bzw. 40 aufweist, in dem
die Ausgangsspannung V annähernd linear zum Logarithmus der
Helligkeit E ist. Bei höheren Helligkeiten (erster Abschnitt
38) nimmt das Ausgangssignal V der Bildzelle 22 logarithmisch
mit der Helligkeit E zu. Für sehr kleine Helligkeiten (zweiter
Abschnitt 40) ist die Ausgangsspannung V der Bildzelle 22 annä
hernd unabhängig von der Helligkeit E. Dieser annähernd hori
zontale Abschnitt der Kennlinie 36 repräsentiert einen Dunkel
strom der Bildzelle 22, der im wesentlichen auf die in der
Bildzelle enthaltene Fotodiode zurückgeht. Der Dunkelstrom ent
steht dort unter anderem aufgrund thermischer Generation und
Rekombination freier Ladungsträger über Störstellen, die in der
Raumladungszone der Fotodiode vorhanden sind. Zwischen dem er
sten Abschnitt 38 und dem zweiten Abschnitt 40 befindet sich
ein Übergangsabschnitt 42, in dem die Kennlinie 36 gekrümmt
ist.
Mathematisch läßt sich die in Fig. 3 gezeigte Kennlinie 36
einer Bildzelle 22 durch eine Gleichung der Form
V = k.log(αE + ID) + c (1)
darstellen. Dabei bezeichnet ID den Dunkelstrom, während die
Größe c eine von der Temperatur und der Transistorgeometrie ab
hängige Größe ist. Der Faktor α gibt den Zusammenhang zwischen
der von der Bildzelle 22 erzeugten Stromstärke und der Hellig
keit E wieder.
Fig. 4 zeigt eine der Fig. 3 entsprechende Darstellung mehrerer
Kennlinien 44, 46, 48, 50 und 52, die unterschiedlichen Bild
zellen 22 des Bildsensors 12 zugeordnet sind. In dieser Dar
stellung ist erkennbar, daß sich die Kennlinien der einzelnen
Bildzellen nicht nur hinsichtlich ihrer Dunkelströme, sondern
auch hinsichtlich der Faktoren α unterscheiden, die die Steigung
der Kennlinien bei höheren Helligkeiten angeben. Aufgrund
dieser relativ großen Unterschiede zwischen den einzelnen Kenn
linien führt eine Addition oder Subtraktion konstanter Werte,
wie dies bei dem herkömmlichen Weißabgleich der Fall ist, nicht
zu weitgehend übereinstimmenden Kennlinien.
In Fig. 5 ist für zwei feste Helligkeiten E1 und E2 die Vertei
lung (Anzahl N) der Ausgangsspannungen V angedeutet, wenn in
Fig. 4 nicht nur fünf, sondern mehrere hunderttausend Kenn
linien aufgetragen werden, die den einzelnen Bildzellen des
Bildsensors 12 entsprechen. Die Streuungen der für die einzel
nen Bildzellen gemessenen Ausgangsspannungen um die Mittelwerte
V1 bzw. V2 herum sind ein Maß für die Stärke des FPN. Je brei
ter diese Verteilungskurven sind, desto stärker ist das FPN und
desto körniger erscheint eine an sich homogene Fläche auf einem
Bildschirm oder einem Ausdruck. Aus Fig. 5 geht außerdem her
vor, daß der FPN-Effekt selbst von der Helligkeit abhängt.
In Fig. 6 ist für die fünf Kennlinien 44 bis 52 aus Fig. 4 eine
Soll-Kennlinie 54 eingetragen, die durch Mittelung der tatsäch
lichen Ist-Kennlinien 44 bis 52 ermittelt ist. Die Mittelwerte
V1 und V2 aus Fig. 5 liegen somit auf der Soll-Kennlinie 54.
Das FPN würde vollständig verschwinden, wenn es gelänge, die
tatsächlichen Kennlinien 44 bis 52 durch eine geeignete Trans
formation auf die Soll-Kennlinie 54 (oder eine anders willkür
lich festgelegte Soll-Kennlinie) abzubilden. Eine Transformati
on der Gleichung (1) ist allerdings mathematisch sehr aufwendig
und daher in Echtzeit nicht von einer FPN-Korrektureinheit zu
bewältigen.
Zur Lösung dieses Problems wird nun, wie dies in Fig. 7 darge
stellt ist, die Ordinate in einen ersten und einen zweiten Wer
tebereich 56 bzw. 58 unterteilt, indem ein geeigneter Schwel
lenwert Vth für die Ausgangsspannung festgelegt wird. In dem er
sten Wertebereich 56 wird für die Ist-Kennlinie 52 der auf den
Dunkelstrom zurückzuführende erste Abschnitt durch eine annä
hernd horizontale erste Näherungsgerade 60 angenähert. Im zwei
ten Wertebereich 58 wird die Kennlinie 52 durch eine zweite,
nunmehr geneigte Näherungsgerade 62 angenähert. Der Schwellen
wert Vth wird dabei so gewählt, daß die tatsächliche Kennlinie
52 insgesamt möglichst gut durch die beiden Näherungsgeraden 60
und 62 angenähert wird.
Für den zweiten Wertebereich 58 läßt sich die Näherungsgerade
62 durch eine Gleichung der Form
V = ar.logE + br (2)
beschreiben, wobei Vr eine Ausgangsspannung auf der tatsächli
chen Kennlinie und ar und br die Koeffizienten der linearen
Gleichung (2) darstellen.
Die beiden Koeffizienten ar und br lassen sich in an sich be
kannter Weise durch die Methode der kleinsten Abweichungs
quadrate (Regressionsanalyse) ermitteln. Hierzu wird für jede
Bildzelle einmalig beim Hersteller über den gesamten Hellig
keitsbereich hinweg eine Vielzahl von Meßwerten aufgenommen,
aus denen dann innerhalb des zweiten Wertebereichs 58 die bei
den Koeffizienten ar und br nach der Methode der kleinsten Ab
weichungsquadrate ermittelt werden.
Genauso wie die Koeffizienten der zweiten Näherungsgerade 62
werden auch die Koeffizienten der ersten Näherungsgerade 60 für
alle Bildzellen des Bildsensors 12 bestimmt. Die Kennlinie ei
ner jeden Bildzelle wird somit jeweils durch insgesamt vier
Koeffizienten näherungsweise dargestellt.
Um nun eine Transformation der tatsächlichen Bildsignale zu er
möglichen, wird zunächst eine Soll-Kennlinie 54 ermittelt. Dies
kann beispielsweise dadurch geschehen, daß zunächst durch Mit
telung der für jede Bildzelle bei einer bestimmten Helligkeit
aufgenommenen Meßwerte ein Mittelwert für diese Helligkeit be
stimmt wird. Durch diese Mittelwerte kann dann ebenfalls im We
ge der Methode der kleinsten Abweichungsquadrate eine Näherung
durch eine erste und eine zweite Soll-Näherungsgerade 64 bzw.
66 durchgeführt werden. Vorzugsweise werden jedoch aus dem für
jede einzelne Bildzelle ermittelten Koeffizienten unmittelbar
durch Mittelung die vier Koeffizienten der beiden Soll-
Näherungsgeraden 64 und 66 bestimmt, d. h. es gilt z. B. für die
zweite Näherungsgerade 62
Vi = ai.logE + bi (3)
mit
wobei Vi die Ausgangsspannung der Soll-Kennlinie 54, ai und bi
die Koeffizienten der zweiten Soll-Näherungsgeraden 66 und ark
und brk die für jeden Bildpunkt aufgenommenen Meßwerte im zwei
ten Wertebereich 58 sind. Mit n ist die Anzahl der Bildzellen
bezeichnet, für die Kennlinien aufgenommen sind. Entsprechende
Gleichungen gelten ebenso für die erste Soll-Näherungsgerade 64
des ersten Wertebereichs 56.
Der Schwellenwert Vth, der die beiden Wertebereiche 56 und 58
voneinander trennt, ist vorzugsweise für jede der Bildzellen 22
unabhängig festlegbar. Ansonsten würden nämlich, wie sich an
hand der Fig. 6 leicht erkennen läßt, die annähernd waagerech
ten Abschnitte der Kennlinien teilweise noch durch die Glei
chungen für die geneigten Abschnitte angenähert und umgekehrt.
Eine weitere Verbesserung der Näherung kann dadurch erzielt
werden, daß die Ordinate nicht in zwei, sondern in drei oder
noch mehr Wertebereiche aufgeteilt wird. In Fig. 8 ist zwischen
dem ersten Wertebereich 56 und dem zweiten Wertebereich 58 für
die Kennlinie 52 ein dritter Wertebereich 67 eingefügt, der den
Übergangsabschnitt 42 der Kennlinie 52 durch eine quadratische
Funktion der Form
Vr = p(logE - E0)2 +p0 (5)
annähert, wobei p, E0 und p0 Koeffizienten der Parabelgleichung
(5) sind. Pro Bildzelle sind dann allerdings nicht nur vier,
sondern insgesamt sieben Koeffizienten in der FPN-Korrektur
einheit 26 zu speichern.
Durch Elimination des Terms log E aus den Gleichungen (2) und
(3) läßt sich nun für das in Fig. 7 gezeigte Beispiel die li
neare Transformationsgleichung
Vc = a.Vr + b (6)
ableiten, wobei Vc die korrigierte Ausgangsspannung und a und b
die Koeffizienten der Transformationsgleichung (6) bezeichnen.
Die Koeffizienten a und b leiten sich aus den Koeffizienten ar,
br, ai und bi der Näherungsgleichungen (2) und (3) durch die Be
ziehung
her. Entsprechende Gleichungen (6) und (7) gelten auch für den
ersten Wertebereich 56.
Es sind somit für jede Bildzelle zwei Transformationsgleichun
gen (6) mit jeweils zwei Koeffizienten erforderlich, um tat
sächliche Ausgangsspannungen Vr derart in korrigierte Span
nungswerte Vc zu transformieren, daß bei einer gegebenen Hel
ligkeit Ex für alle Bildzellen die korrigierten Ausgangs
spannungen Vc annähernd übereinstimmen.
Es versteht sich, daß die vorstehend beschriebene FPN-Korrektur
gegebenenfalls auch nur für einen Teil der Bildzellen eines
Bildsensors durchgeführt werden kann.
Fig. 9 zeigt die Verteilung der korrigierten Ausgangsspannungen
Vc für die beiden Helligkeiten E1 und E2. Wie aus einem Ver
gleich mit Fig. 5 deutlich wird, ist die Streuung der korri
gierten Ausgangsspannungen um die Mittelwerte V1 bzw. V2 herum
erheblich geringer als bei unkorrigierten Ausgangsspannungen V.
Dementsprechend gering ist damit auch das FPN, so daß die Körnigkeit
an sich homogener Flächen erheblich und unter Umständen
bis unterhalb der Wahrnehmungsschwelle verringert wird.
Fig. 10a zeigt in einer schematischen Darstellung ein erstes
Ausführungsbeispiel 26a für den Aufbau einer FPN-Korrektur
einheit 26. Das an einem Eingang 68a zugeführte Bildsignal ei
ner bestimmten Bildzelle wird einem Diskriminator 70a zuge
führt, der überprüft, ob das Bildsignal oberhalb oder unterhalb
des in einem Schwellenwertspeicher 71a gespeicherten Schwellen
wertes Vth liegt. Der Schwellenwert Vth ist bei diesem Ausfüh
rungsbeispiel für alle Bildzellen identisch. Das Ergebnis die
ser Überprüfung wird an einen Multiplexer 72a übergeben. Durch
den Multiplexer 72a lassen sich Werte aus einem ersten Speicher
74a und einem zweiten Speicher 76a auslesen, denen jeweils die
Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspan
nung gerade an dem Eingang 68a in digitaler Form anliegt. In
dem ersten Speicher 74a sind Koeffizienten a1 und b1 der Trans
formationsgleichung (6) für den ersten Wertebereich 56 aller
Bildzellen des Bildsensors 12 gespeichert. In dem zweiten Spei
cher 76 sind Koeffizienten a2 und b2 der Transformations
gleichung (6) für den zweiten Wertebereich 58 gespeichert.
Der Multiplexer 72a liest nun in Abhängigkeit des von dem Dis
kriminator 70a übergebenen Ergebnisses aus einem der beiden
Speicher 74a oder 76a die Koeffizienten der zu dem ausgewählten
Wertebereich gehörenden Transformationsgleichung aus. Die Koef
fizienten a1 oder a2 werden einem Multiplizierer 78a zugeführt,
in dem das am Eingang 68a anliegende Bildsignal mit dem zuge
führten Faktor a1 oder a2 multipliziert wird. Die Koeffizienten
b1 oder b2 werden in Abhängigkeit vom ausgewählten Wertebereich
einem Addierer 80a zugeführt und zu dem im Multiplizierer 78a
veränderten Bildsignal hinzugefügt. An einem Ausgang 82a der
FPN-Korrektureinheit 26a kann das korrigierte Bildsignal abge
griffen werden.
Die beiden Speicher 74a und 76a sowie der Schwellenwertspeicher
71a können natürlich auch als getrennte Speicherbereiche in ei
nem gemeinsamen Speicherelement realisiert sein.
Je nach der eingesetzten Chiptechnologie, der Zugriffszeit für
die beiden Speicher 74a und 76a und der Auslesefrequenz kann es
außerdem zweckmäßig sein, die FPN-Korrektureinheit 26a als
Pipeline-Struktur zu realisieren, in deren Datenwege Register
eingefügt sind.
Falls mehr als zwei Wertebereiche vorgesehen sind, so ist die
Anzahl der vom Diskriminator 70a unterscheidbaren Wertebereiche
durch Vorgabe weiterer Schwellenwerte entsprechend anzupassen.
Außerdem sind zusätzliche Speicher vorzusehen, aus denen Koef
fizienten vom Multiplexer 72a ausgelesen werden können. Falls
die Transformationsgleichung (6) keine lineare Gleichung ist,
sondern eine andere Form aufweist, so kann dem durch eine ande
re Anordnung der Logikbausteine (Multiplizierer 78a und Addie
rer 80a) Rechnung getragen werden.
Bei der in Fig. 10b dargestellten FPN-Korrektureinheit 26b ist
nicht für alle Bildzellen ein gemeinsamer Schwellenwert Vth
vorgesehen, wie dies bei der FPN-Korrektureinheit 26a aus Fig.
10a der Fall ist. Vielmehr ist dort für jede Bildzelle ein ei
gener Schwellenwert Vth in einem Schwellenwertspeicher 71b ge
speichert. Wie oben bereits erwähnt, wird dadurch die Genauig
keit der FPN-Korrektur erheblich verbessert. Der Schwellenwertspeicher
71b ist zu diesem Zweck mit einem Eingang 68b der FPN-
Korrektureinheit 26b verbunden, so daß ihm die Adresse derjeni
gen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an
dem Eingang 68b anliegt.
Die in Fig. 10b dargestellte FPN-Korrektureinheit 26b unter
scheidet sich von der in Fig. 10a dargestellten FPN-Korrektur
einheit 26a ferner dadurch, daß dort ein Addierer 80b und ein
Multiplizierer 78b in umgekehrter Reihenfolge miteinander ver
schaltet sind. Auf diese Weise erfolgt keine Berechnung nach
Gleichung (6), sondern nach einer Gleichung der Form
Vc = a'(Vr +b') (8)
wobei die Koeffizienten a' und b' aus a und b ableitbar sind.
Bei der in Fig. 10c gezeigten FPN-Korrektureinheit 26c ist an
stelle eines Schwellenwertspeichers eine Schwellenwertberech
nungseinheit 84c vorgesehen, die unter Verwendung der aus Spei
chern 74c und 76c zugeführten Koeffizienten für jede Bildzelle
unabhängig einen Schwellenwert ermittelt und einem Diskrimina
tor 70c zur Verfügung stellt. Eine derartige Berechnung ist
z. B. dann sinnvoll, wenn die Kosten für den für einen Schwel
lenwertspeicher vorzuhaltenden Speicherplatz höher sind als die
Kosten für die Schwellenwertberechnungseinheit 84c.
Die in Fig. 10d gezeigte FPN-Korrektureinheit 26d unterscheidet
sich von der in Fig. 10b gezeigten FPN-Korrektureinheit 26b da
durch, daß der Koeffizient a1', der sich aus der Steigung der
annähernd horizontalen (Soll-)Näherungsgeraden 60 bzw. 64 er
rechnet, im ersten Wertebereich für alle Bildzellen gleich ist
und deswegen nicht aus einem Speicher 74d, sondern aus einem
Festwertspeicher 86d geladen wird, der gegebenenfalls auch in
einem Multiplexer 72d enthalten oder durch eine schaltungstech
nische Verdrahtung ersetzt sein kann. Außerdem wird als Schwel
lenwert der Koeffizient b1' einem Diskriminator 70d zugeführt,
so daß hier ebenfalls ein Schwellenwertspeicher entfällt.
Bei der in Fig. 10e gezeigten FPN-Korrektureinheit 26e erfolgt
nicht zunächst eine Auswahl von Koeffizienten für die einzelnen
Wertebereiche und eine anschließende Berechnung der Korrektur
werte Vc, wie dies bei den vorstehend beschriebenen Ausfüh
rungsbeispielen der Fall ist. Vielmehr werden bei der FPN-
Korrektureinheit 26e parallel für beide Wertebereiche Korrek
turwerte berechnet, die hinter den Addierern 78e abgreifbar
sind. Aus den beiden berechneten Korrekturwerten wird dann in
einem Multiplexer 72e ein Korrekturwert ausgewählt und einem
Ausgang 82e zur Verfügung gestellt. Der Multiplexer 72e wird
auch hier von einem Diskriminator 70e angesteuert, der über
prüft, ob das Bildsignal oberhalb oder unterhalb des in einem
Schwellenwertspeicher 71e gespeicherten Schwellenwertes Vth
liegt.
Die in Fig. 10f gezeigte FPN-Korrektureinheit 26f unterscheidet
sich von der vorstehend beschriebenen FPN-Korrektureinheit 26e
lediglich dadurch, daß der Koeffizient a1 für alle Bildzellen
gleich Null ist, was horizontalen (Soll-)Näherungsgeraden im
ersten Wertebereich entspricht. Dadurch entfällt einer der bei
der FPN-Korrektureinheit 26e nach Fig. 10e erforderlichen Mul
tiplizierer. Selbstverständlich können auch bei den FPN-
Korrektureinheiten 26e und 26f die Schwellenwerte auch aus den
gespeicherten Koeffizienten ermittelt werden, wie dies weiter
oben zu der FPN-Korrektureinheit 26c beschrieben wurde.
Die einzelnen Komponenten der vorstehend beschriebenen FPN-
Korrektureinheiten 26a bis 26f können aus digitalen oder auch
aus analogen Bauelementen (Multiplizierern 78, Addierer 80 und
Multiplexer 72) aufgebaut werden. Bei einem analogen Aufbau
entfällt natürlich der eingangsseitige Analog/Digital-Wandler
25. Zusätzlich sind dann die in den Speichern 74 und 76 gespei
cherten Koeffizienten mit Hilfe von Digital/Analog-Wandlern in
Analogsignale umzuwandeln.
Claims (20)
1. Verfahren zur FPN-Korrektur von Bildsignalen, die von
Bildzellen (22) eines Bildsensors (12) erzeugt werden, mit
folgenden Schritten, die vorzugsweise für das Bildsignal
jeder Bildzelle (22) getrennt durchgeführt werden:
- a) Ermitteln, in welchem von wenigstens zwei Werte bereichen (56, 58; 67) der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt; und
- b) Bestimmen eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem Ergebnis nach Schritt a),
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die
Bestimmung eines Korrekturwertes nach Schritt b) die
Schritte umfaßt:
- 1. Auswählen einer Transformationsgleichung aus mehre ren Transformationsgleichungen in Abhängigkeit von dem Ergebnis nach Schritt a);
- 2. Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformations gleichung.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die
Transformationsgleichungen für mehrere Bildzellen (22) un
terschiedlich sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, daß für alle Bildzellen (22) Transformati
onsgleichungen verwendet werden, die sich nur durch unter
schiedliche Koeffizienten unterscheiden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die
Transformationsgleichungen durch eine Anordnung von Logik
bausteinen, insbesondere von Addierern (80) und Multipli
zierern (78), festgelegt sind, denen die Koeffizienten aus
einem Speicher zugeführt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, daß für jede Bildzelle (22) die Transfor
mationsgleichungen aus einem Vergleich einer Ist-Kennlinie
(44, 46, 48, 50, 52), die einen Zusammenhang zwischen
einer auf die jeweilige Bildzelle (22) auftreffende opti
sche Intensität und dem erzeugten Bildsignal angibt, mit
einer Soll-Kennlinie (54) ermittelt sind.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die
Soll-Kennlinie (54) durch Bildung des Mittelwertes aus den
Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen (22)
ermittelt wird.
8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet,
daß bei annähernd logarithmischen Ist-Kennlinien (44, 46,
48, 50, 52) der Bildzellen die wenigstens zwei Wertebereiche
(56, 58; 67) derart festgelegt werden, daß innerhalb
der Wertebereiche (56, 58; 67) die Ist-Kennlinien (44, 46,
48, 50, 52) und die Soll-Kennlinie (54) jeweils annähernd
linear zum Logarithmus der optischen Intensität sind.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß für
jede Bildzelle (22) und für jeden der wenigstens zwei Wer
tebereiche (56, 58; 67) der Korrekturwert Vc für das Bild
signal zu dem vorgegebenen Zeitpunkt aus einem von der
Bildzelle (22) erzeugten tatsächlichen Wert Vr nach einer
Transformationsgleichung der Form
Vc = a.Vr + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist- Kennlinie (44, 46, 48, 50, 52) mit der Soll-Kennlinie (54) ermittelte Koeffizienten der Transformationsgleichung sind.
Vc = a.Vr + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist- Kennlinie (44, 46, 48, 50, 52) mit der Soll-Kennlinie (54) ermittelte Koeffizienten der Transformationsgleichung sind.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß für
die Koeffizienten a und b
gilt, wenn in dem entsprechenden Wertebereich (56, 58; 67) die Soll-Kennlinie (54) durch die Gleichung
Vi = ai.logE + bi
und die Ist-Kennlinie (44, 46, 48, 50, 52) durch die Glei chung
Vr = ar.logE + br
angenähert wird, wobei E ein Maß für die auf die betref fende Bildzelle (22) auftreffende optische Intensität ist.
gilt, wenn in dem entsprechenden Wertebereich (56, 58; 67) die Soll-Kennlinie (54) durch die Gleichung
Vi = ai.logE + bi
und die Ist-Kennlinie (44, 46, 48, 50, 52) durch die Glei chung
Vr = ar.logE + br
angenähert wird, wobei E ein Maß für die auf die betref fende Bildzelle (22) auftreffende optische Intensität ist.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß
die Koeffizienten ar und br durch die Methode der klein
sten Abweichungsquadrate aus Ist-Kennlinien (44, 46, 48,
50, 52) der Bildzellen (22) ermittelt werden.
12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch
gekennzeichnet, daß die Koeffizienten ai und bi durch
Mittelwertbildung aus den Koeffizienten ar und br über
alle Bildzellen (22) ermittelt werden.
13. Vorrichtung zur FPN-Korrektur von Bildsignalen, die von
Bildzellen (22) eines Bildsensors (12) erzeugt werden,
mit:
- a) einem Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert eines Bildsignals einer Bildzelle (22) zu einem vorgegebenen Zeitpunkt liegt, und
- b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) er mittelten Ergebnis,
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß
die Auswahleinrichtung aufweist:
- a) Mittel (72) zum Auswählen einer Transformationsglei chung aus mehreren Transformationsgleichungen in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis, und
- b) eine Transformationseinheit (74, 76, 78, 80) zum Berechnen eines Korrekturwertes für das Bildsignal unter Verwendung der ausgewählten Transformations gleichung.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, daß
die Transformationseinheit eine Anordnung von Logikbau
steinen, insbesondere von Addierern (78) und Multiplizie
rern (80), und einen Speicher (74, 76) umfaßt, in dem den
Logikbausteinen zuführbare Koeffizienten der mehreren
Transformationsgleichungen speicherbar sind.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß
die Transformationseinheit eine Reihenschaltung aus einem
Multiplizierer (78) und einem Addierer (80) aufweist.
17. Vorrichtung nach einem der Ansprüche 15 oder 16, dadurch
gekennzeichnet, daß die Zuführung der Koeffizienten von
dem Speicher (74, 76) an die Logikbausteine (78, 80) von
den Mitteln (72) zum Auswählen einer Transformations
gleichung steuerbar ist.
18. Vorrichtung nach einem der Ansprüche 15 bis 17, dadurch
gekennzeichnet, daß dem Speicher (74, 76) Angaben zu der
ausgelesenen Bildzelle (22) zuführbar sind.
19. Vorrichtung zur FPN-Korrektur von Bildsignalen, die von
Bildzellen (22) eines Bildsensors (12) erzeugt werden,
mit:
- a) einem Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert eines Bildsignals einer Bildzelle (22) zu einem vorgegebenen Zeitpunkt liegt, und
- b) einer Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines Korrekturwertes für das Bildsignal unter Verwendung einer Transformationsgleichung in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis,
20. Digitale Kamera, insbesondere Photo- oder Filmkamera (10),
mit einem mehrere Bildzellen (22) aufweisenden Bildsensor
(12) und einer Vorrichtung (26) zur FPN-Korrektur nach
einem der Ansprüche 13 bis 19.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10117833A DE10117833C1 (de) | 2001-04-03 | 2001-04-03 | Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen |
JP2002580629A JP2005509319A (ja) | 2001-04-03 | 2002-03-26 | イメージ信号のfpn補正方法及びそのための装置 |
PCT/EP2002/003356 WO2002082804A1 (de) | 2001-04-03 | 2002-03-26 | Verfahren und vorrichtung zur fpn-korrektur von bildsignalen |
EP02722269A EP1374565A1 (de) | 2001-04-03 | 2002-03-26 | Verfahren und vorrichtung zur fpn-korrektur von bildsignalen |
US10/674,784 US7420599B2 (en) | 2001-04-03 | 2003-09-30 | Method and device for the FPN correction of image signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10117833A DE10117833C1 (de) | 2001-04-03 | 2001-04-03 | Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10117833C1 true DE10117833C1 (de) | 2002-09-12 |
Family
ID=7681057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10117833A Expired - Fee Related DE10117833C1 (de) | 2001-04-03 | 2001-04-03 | Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen |
Country Status (5)
Country | Link |
---|---|
US (1) | US7420599B2 (de) |
EP (1) | EP1374565A1 (de) |
JP (1) | JP2005509319A (de) |
DE (1) | DE10117833C1 (de) |
WO (1) | WO2002082804A1 (de) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10239994B4 (de) * | 2002-08-27 | 2006-12-14 | Robert Bosch Gmbh | Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems |
JPWO2006098374A1 (ja) * | 2005-03-15 | 2008-08-28 | オムロン株式会社 | 撮像装置、信号処理装置及び信号処理方法 |
JP5588729B2 (ja) * | 2010-04-28 | 2014-09-10 | 日立コンシューマエレクトロニクス株式会社 | 画像信号処理装置 |
WO2013128817A1 (ja) * | 2012-02-28 | 2013-09-06 | コニカミノルタ株式会社 | 固体撮像装置 |
KR102182870B1 (ko) | 2014-04-08 | 2020-11-25 | 삼성전자주식회사 | 선형-로그형 이미지 센서 및 이를 포함하는 전자 기기 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02107074A (ja) * | 1988-10-17 | 1990-04-19 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JPH05137073A (ja) * | 1991-11-11 | 1993-06-01 | Canon Inc | 固体撮像素子の固定パターン補正装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2149605B (en) * | 1983-11-04 | 1987-06-10 | Marconi Avionics | Image processing |
JPS61144174A (ja) | 1984-12-17 | 1986-07-01 | Fujitsu Ltd | 固体撮像装置 |
JPH02215286A (ja) | 1989-02-15 | 1990-08-28 | Fujitsu Ltd | Pn接合型赤外線多素子検知器のオフセット及び感度の補正回路 |
JPH04355576A (ja) | 1991-06-03 | 1992-12-09 | Nec Corp | 撮像デバイスの感度補正方法 |
JPH05167848A (ja) | 1991-12-11 | 1993-07-02 | Minolta Camera Co Ltd | 固体撮像装置 |
US5289286A (en) * | 1991-07-18 | 1994-02-22 | Minolta Camera Kabushiki Kaisha | Solid state sensor having logarithmic photovoltaic response, with pixel uniformity correction and white balance circuitry therefor |
DE4209536C3 (de) | 1992-03-24 | 2000-10-05 | Stuttgart Mikroelektronik | Bildzelle für einen Bildaufnehmer-Chip |
DE4305251C1 (de) * | 1993-02-20 | 1994-05-05 | Eltro Gmbh | Verfahren und Schaltungsanordnung zum Verringern der Nichtuniformität von Signalantworten bei einzelnen IR-Detektorelementen |
JPH06350930A (ja) | 1993-06-11 | 1994-12-22 | Nec Corp | イメージセンサの暗時出力補正装置 |
JPH0965214A (ja) | 1995-08-25 | 1997-03-07 | Fujitsu Ltd | 受光素子特性補正方法及び装置並びにそれらを備えた撮像装置 |
JPH1062305A (ja) | 1996-08-19 | 1998-03-06 | Advantest Corp | Ccdカメラの感度補正方法およびccdカメラ感度補正機能付lcdパネル表示試験システム |
US6320616B1 (en) * | 1997-06-02 | 2001-11-20 | Sarnoff Corporation | CMOS image sensor with reduced fixed pattern noise |
US5969758A (en) * | 1997-06-02 | 1999-10-19 | Sarnoff Corporation | DC offset and gain correction for CMOS image sensor |
US6798452B1 (en) * | 1997-07-28 | 2004-09-28 | Matsushita Electric Industrial Co., Ltd. | Amplifying solid-state imaging device, method for driving the same and physical quantity distribution sensing semiconductor device |
JP3226859B2 (ja) * | 1997-11-17 | 2001-11-05 | 日本電気株式会社 | 撮像装置 |
JPH11298799A (ja) * | 1998-04-15 | 1999-10-29 | Honda Motor Co Ltd | 光センサ信号処理装置 |
EP1119965B1 (de) * | 1998-09-30 | 2002-07-03 | Micronas Munich GmbH | Verfahren und vorrichtung zur belichtungsabhängigen rausch-korrektur bei zeilen- und spaltenadressierbaren bildsensoren |
JP2000138867A (ja) | 1998-11-02 | 2000-05-16 | Yokogawa Electric Corp | 固体撮像素子 |
JP2000175108A (ja) | 1998-12-04 | 2000-06-23 | Honda Motor Co Ltd | イメ―ジセンサの出力補正回路 |
JP2000244824A (ja) | 1998-12-24 | 2000-09-08 | Fuji Photo Film Co Ltd | 画素信号補正方法および装置並びにそれに使用する固体検出器 |
JP2001094884A (ja) | 1999-09-21 | 2001-04-06 | Fuji Photo Film Co Ltd | 検出信号補正方法および装置 |
JP3578037B2 (ja) | 2000-03-01 | 2004-10-20 | 日本電気株式会社 | 半導体装置及びその制御方法 |
JP2002118791A (ja) | 2000-10-05 | 2002-04-19 | Honda Motor Co Ltd | イメージセンサ |
JP4616527B2 (ja) | 2000-12-28 | 2011-01-19 | 本田技研工業株式会社 | イメージセンサの出力補正装置 |
JP2002314887A (ja) | 2001-02-08 | 2002-10-25 | Honda Motor Co Ltd | イメージセンサの出力補正装置 |
-
2001
- 2001-04-03 DE DE10117833A patent/DE10117833C1/de not_active Expired - Fee Related
-
2002
- 2002-03-26 EP EP02722269A patent/EP1374565A1/de not_active Withdrawn
- 2002-03-26 JP JP2002580629A patent/JP2005509319A/ja active Pending
- 2002-03-26 WO PCT/EP2002/003356 patent/WO2002082804A1/de active Application Filing
-
2003
- 2003-09-30 US US10/674,784 patent/US7420599B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02107074A (ja) * | 1988-10-17 | 1990-04-19 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JPH05137073A (ja) * | 1991-11-11 | 1993-06-01 | Canon Inc | 固体撮像素子の固定パターン補正装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2002082804A1 (de) | 2002-10-17 |
US7420599B2 (en) | 2008-09-02 |
EP1374565A1 (de) | 2004-01-02 |
JP2005509319A (ja) | 2005-04-07 |
US20040100568A1 (en) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69028973T2 (de) | Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Leuchtdichteinformationssignal und Farbinformationssignal aus einem Bildaufnahmegerät | |
DE112008001990B4 (de) | Belichtungssteuerung für ein Bildgebungssystem | |
DE68925841T2 (de) | Verschiebungs-, Verstärkungs- und schlechte Bildelement-Korrektur in elektronischen Abtastmatrizes | |
DE3600330C2 (de) | Dreifarben-Kathodenstrahlröhrenanordnung | |
DE69625116T2 (de) | Einstellvorrichtung für automatischen Weißabgleich | |
DE68928999T2 (de) | Kamera mit breitem dynamischem bereich | |
DE69121007T2 (de) | Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Farbinformationssignal aus einem Bildaufnahmegerät | |
DE4119489C2 (de) | Multispektrales Farbbildaufnahmesystem | |
DE69111865T2 (de) | Verfahren und Vorrichtung zur Wiederherstellung von Bildern, Erkennung und Kompensation von Fehlsensoren. | |
DE69414968T2 (de) | Adaptive Videosignalkompression | |
DE69523043T2 (de) | Zusammenstellung eines bildes aus teilbildern | |
DE3629469A1 (de) | Verfahren zur einstellung der farbsaettigung bei der elektronischen bildverarbeitung | |
DE10359996A1 (de) | Elektronisches Endoskop | |
CH681658A5 (de) | ||
EP1119965B1 (de) | Verfahren und vorrichtung zur belichtungsabhängigen rausch-korrektur bei zeilen- und spaltenadressierbaren bildsensoren | |
DE2841727C2 (de) | Verfahren zur additiven und multiplikativen Störsignalkompensation und Schaltung zur Durchführung des Verfahrens | |
DE69125869T2 (de) | Gradationskorrekturvorrichtung | |
EP1346561B1 (de) | Verfahren und vorrichtung zur bilderzeugung unter verwendung mehrerer belichtungszeiten | |
DE2308622A1 (de) | Belichtungssteuervorrichtung | |
DE60004595T2 (de) | Filterung defekter Bildelemente bei digitalen Bildgebern | |
EP1252757B1 (de) | Verfahren und vorrichtung zur veränderung der farbsättigung elektronisch erfasster bilder | |
DE3126787A1 (de) | Verfahren zum auswerten eines farboriginals | |
DE3732634A1 (de) | Roentgendiagnostikeinrichtung | |
DE10117833C1 (de) | Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen | |
DE10208285A1 (de) | Verfahren zur Korrektur der Bilddaten eines Kamerasystems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of patent without earlier publication of application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |