DE69622475T2 - Schmierkorrektur für einen CCD-Bildwandler unter Verwendung aktiver Bildelemente - Google Patents
Schmierkorrektur für einen CCD-Bildwandler unter Verwendung aktiver BildelementeInfo
- Publication number
- DE69622475T2 DE69622475T2 DE69622475T DE69622475T DE69622475T2 DE 69622475 T2 DE69622475 T2 DE 69622475T2 DE 69622475 T DE69622475 T DE 69622475T DE 69622475 T DE69622475 T DE 69622475T DE 69622475 T2 DE69622475 T2 DE 69622475T2
- Authority
- DE
- Germany
- Prior art keywords
- smear
- data
- image
- correction
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012937 correction Methods 0.000 title claims description 58
- 238000000034 method Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 15
- 230000010354 integration Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005461 lubrication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
- Die vorliegende Erfindung betrifft im Allgemeinen den Bereich der Bildsensoren und im Besonderen Schmierkorrekturtechniken, die in Bildsensoren zum Einsatz kommen.
- CCD-Bildwandler (CCD = Charged Coupled Device/ladungsgekoppelter Baustein) sind bei der Erfassung digitaler Bilder weit verbreitet. Der CCD-Bildwandler ist ein Halbleiterbaustein, der aus einer Anordnung von Fotosensoren besteht, die mit einem CCD-Schieberegister gekoppelt sind. Die Fotosensoren wandeln die einfallenden Photonen in Elektronen um, was in den Fotosensoren zu einem Ladungsaufbau führt, der proportional zur Gesamtmenge des über einen gegebenen Zeitraum einfallenden Lichts ist. Zum Ende dieses Zeitraums (der üblicherweise als "Integrationszeit" bezeichnet wird, also der Zeit, während der Elektronen gesammelt werden) wird die Ladung aus jedem Fotosensor an eine entsprechende Stelle in einem analogen CCD-Schieberegister übertragen. Die Ladungspakete werden dann nacheinander zu einem Kondensator verschoben, der eine Spannung aufbaut, die am Ausgang des Bildwandlers messbar ist. Typischerweise wird Ladung aus dem vorausgehenden Integrationszeitraum aus der Vorrichtung heraus geschoben, während Ladung in den Fotosensoren integriert wird, woraus eine Verzögerung um einen Integrationszeitraum zwischen Integration und Auslesen entsteht.
- CCD-Bildwandler werden normalerweise nach zwei Kategorien unterschieden, nämlich lineare Arrays und Flächen-Arrays. Bei Bildwandlern, die als linear Arrays aufgebaut sind, sind die Bildelemente (also einzelne Fotosensorstellen, die üblicherweise als "Pixel" bezeichnet werden) in einer langen Reihe oder Zeile angeordnet. Diese Art von Vorrichtung wird verwendet, um jeweils eine Bildzeile zu erfassen. Um das gesamte Bild zu erfassen, muss eine Vielzahl von Zeilen nacheinander erfasst werden, während entweder der Aufnahmegegenstand oder der Bildwandler vorbeigeführt wird. Es gibt Konfigurationen, bei denen mehrere Reihen von Fotosensoren in derselben Vorrichtung implementiert werden, in Verbindung mit einer entsprechenden Farbfilterung ist so die Erfassung von Farbbildern möglich. Dreizeilige Bildwandler (R, G, B) werden auf diese Weise hergestellt.
- In einem Flächen-Bildwandler sind die Fotosensoren in einem zweidimensionalen Muster angeordnet, was die Erfassung des gesamten Bildes während eines Integrationszeitraums ermöglicht. Typischerweise gibt es aber auch hier nur ein einzeiliges Schieberegister, was es erforderlich macht, die Pixeldaten jeweils zeilenweise auszulesen. Daher betrifft die nachfolgende Erörterung nur Bildwandler mit linearen Arrays, obwohl die beschriebenen Techniken auch auf Flächen-Bildwandler zutreffen. Die Farbfilterung von Fotosensoren in Flächen-Bildwandlern ist ebenfalls möglicht.
- Durch den CCD-Bildwandler können zahlreiche Artefakte entstehen, die in das Bild einfließen.
- Wie in GB-A-1,526,801 beschrieben, ist das von einem ein- oder zweidimensionalen Fotosensor-Array erzeugte Signal zwei speziellen Fehlermustern unterworfen. Ein erstes Interferenzsignal kann durch Schwankungen des Dunkelstroms von jedem einzelnen, lichtempfindlichen Pixel entstehen. Das erste Signal ist konstant und vom Signalpegel unabhängig. Ein zweites Interferenzsignal kann auf Empfindlichkeitsschwankungen zwischen den lichtempfindlichen Pixeln zurückgehen. Dieses zweite Signal ist nicht nur eine Funktion einzelner Pixel, sondern auch des einfallenden Lichtpegels. GB-A-1,526,801 beschreibt ein Verfahren, das zwei Beleuchtungspegel umfasst, wobei der erste Beleuchtungspegel null beträgt und der zweite Beleuchtungspegel ein Maximum ist, um Dunkelkorrektur- und Verstärkungskorrekturdaten zu liefern.
- DE 3,821,705 beschreibt einen weiteren Fehlertyp, der auf Bildfeldübertragungsvorrichtungen, sogenannte Frame-Transfer-Vorrichtungen, zurückzuführen ist. Norma lerweise wird ein Bild in zwei Phasen erfasst, der Integrationsphase und der Transfer- oder Transportphase. Während der Transportphase werden einige Signale weiterhin in die Bildfläche jedes Pixels integriert. DE 3,821,705 beschreibt ein Verfahren zur Minimierung dieser Artefakte.
- Ein anderer Typ von Artefakten, den die genannte Patentanmeldung betrifft, ist das sogenannte Schmieren, das dann auftritt, wenn sich lichterzeugte Elektronen, die von der Potentialsenke des Fotosensors nicht erfasst werden, in dem Substrat verteilen und von der Potentialsenke des Schieberegisters erfasst werden. Das Ergebnis ist ein zusätzlicher Ladungs-"Offset", der jedem Pixel gleichmäßig zugeschlagen wird, das aus der Vorrichtung herausgeschoben wird, und der proportional zur Gesamtmenge des auf die gesamte Fotosensoren-Anordnung fallenden Lichts ist. Das Schmieren entsteht zum Teil während der Integration, wenn Schmierladung in das Schieberegister transportiert wird, bevor Fotosensorladung übertragen wird, und das Schmieren entsteht zum Teil, während das Schieberegister ausgelesen wird. Da die Ladungsübertragung in Bezug zur Ladungsintegration um einen Integrationszeitraum verzögert wird, enthält das Schmieren für einen gegebenen Integrationszeitraum Komponenten aus dem aktuellen sowie aus dem vorherigen Integrationszeitraum.
- Schmieren wird in Bildern sichtbar, wenn dunkle und helle Bildbereichs in einer einzelnen Zeile erfasst werden. Das Licht aus den hellen Bereichen bewirkt, dass das Schmieren allen Pixeln zugeschlagen wird, auch denjenigen, die eigentlich dunkel sein sollten.
- Um das Schmieren zu korrigieren, muss der Schmier-Offset für eine gegebene Zeile gemessen oder berechnet und dann von jedem Pixel-Auslesewert abgezogen werden. Ein gängiger Ansatz umfasst die Verwendung lichtabgeschirmter Pixel. Ein lichtabgeschirmtes Pixel ist ein zusätzliches Pixel, das auf der Vorrichtung erzeugt, aber vollständig maskiert wird, so dass es kein Licht empfängt. Da in diesem Fall kein Licht auf den Fotosensor fällt, muss jegliche dort angesammelte Ladung aus einer unerwünschten Quelle stammen, also dem Schmieren. Die Ladung aus dem lichtabgeschirmten Pixel lässt sich daher auf dieselbe Weise messen wie bei allen anderen "aktiven" Pixeln und dann von den Werten der aktiven Pixel abziehen.
- Ein Nachteil dieses Ansatzes besteht darin, dass die Messung des lichtabgeschirmten Pixels mit einem erheblichen Fehler behaftet ist. Das ist darauf zurückzuführen, dass CCD-Bildwandler inhärent rauschstarke Vorrichtungen sind. Zu den Rauschquellen zählen: (1) Dunkelrauschen, das sich als Ladung manifestiert, die aus der thermischen Erregung freier Elektronen im Fotosensor und Schieberegister entwickelt; (2) Schrotrauschen, das eine Schwankung in der willkürlichen Ankunft von Photonen ist, wie nach der Poisson-Verteilung vorbestimmt; und (3) elektronisches Rauschen, das jedes Rauschen sein kann, das durch die Verarbeitungs- und Messelektronik eingebracht wird.
- Da der Schmier-Offset von jedem aktiven Pixelwert für die gesamte Zeile substrahiert wird, wird auch jeder Messfehler jedem dieser Pixel zugeschlagen. Jeder Zeile ist dann ein anderer Fehler zugeordnet. In den eigentlichen Bildern ist dieser Fehler ebenso störend wie der beseitigte Schmierartefakt.
- Zur Reduzierung des Messfehlers kommen zwei Techniken zum Einsatz:
- 1. Die Werte mehrerer lichtabgeschirmter Pixel in der Zeile werden gemessen und gemittelt; und
- 2. Die Werte lichtabgeschirmter Pixel mehrerer Zeilen werden gemessen und gemittelt.
- Durch Mittelung mehrerer Messungen wird der Fehler verringert. Da die Rauschquellen oft unzusammenhängend sind, wird der Fehler im Mittel wie folgt reduziert:
- FehlerMittel = FehlerEinzel/Quadratwurzel(Anzahl der Messungen)
- Sogar nach Verfahren 1 kann es ggf. nicht möglich sein, einen Bildwandler herzustellen, der genügend lichtabgeschirmte Pixel enthält, um den Messfehler adäquat zu reduzieren. Nach Verfahren 2 wird das Ansprechverhalten der Schmierkorrektur aufgrund des Filterungseffekts verzögert, der durch Mittelung der vorausgehenden Linien entsteht.
- Aus der vorausgehenden Beschreibung wird deutlich, dass nach dem Stand der Technik Bedarf nach Schmierkorrekturtechniken besteht, die in der Herstellung von Bildwandlern zum Einsatz kommen können, ohne ungebührlich langsame Bildwandler zu erzeugen.
- Der vorliegenden Erfindung nach Anspruch 1 oder 6 liegt die Aufgabe zugrunde, eine oder mehrere der zuvor genannten Probleme zu überwinden. Nach einem Aspekt der vorliegenden Erfindung umfasst eine Korrekturschaltung zur Beseitigung von Schmierfehlern in Bildwandlern:
- - Bildempfangsmittel zum Empfangen von CCD-Bilddaten;
- - Mittel zum Bestimmen eines Skalierungsfaktors zur Schmierschätzung, wobei der Skalierungsfaktor durch das Verhältnis des Schmierfehlers zum Beleuchtungspegel bestimmt ist;
- - Schmierschätzmittel zur Bestimmung eines Schmierschätzwertes je Zeile;
- - Mittel zum Abstimmen der Bilddaten entsprechend der Schmierschätzung und der Dunkelpegelkorrektur; und
- - Mittel zum Anwenden der abgestimmten Daten auf Mittel zur Verstärkungsabstimmung.
- Der neue Ansatz erübrigt die Verwendung einer großen Zahl lichtabgeschirmter Pixel und reduziert den Schmier-Offset auf sehr kleine Werte. Dieser Ansatz stützt sich auf die Tatsache, dass der Schmier-Offset linear proportional zur Gesamtmenge des auf den Bildwandler während der Integrationszeit einfallenden Lichts ist. Die Signalwerte aus allen aktiven Pixelstellen werden akkumuliert oder gemittelt und mit einem vorbestimmten Skalierungsfaktor multipliziert, um eine Schätzung des tatsächlichen Schmier-Offset zu erzeugen. Der Skalierungsfaktor ist einfach der denkbar größte Schmierwert, ausgedrückt als Prozent des maximalen Signalswerts, normalerweise zwischen 0 und 10%. Da die Anzahl aktiver Pixel normalerweise sehr groß ist, ist der Fehler im akkumulierten Wert sehr klein, obwohl der Fehler in jeder einzelnen Pixelmessung im Mittel größer ist als der eines lichtabgeschirmten Pixels (wegen der zusätzlichen Schrotrauschkomponente in einem beleuchteten Pixel.)
- Als Beispiel sei ein typischer Bildwandler mit 512 aktiven Pixeln und 8 lichtabgeschirmten Pixeln herangezogen. Typische Werte für das gesamte Dunkelrauschen und die Schrotrauschkomponente sind auf 1 bzw. 8 Einheiten normiert. Der Fehler in der Mittelwertsmessung der acht lichtabgeschirmten Pixel beträgt:
- Ds/ = 1/ = 0,35
- worin: Ds das Dunkelrauschen ist.
- Der ungünstigste Fehler in der Schätzung des Schmier-Offset bei Mittelung der Messungen aus den 512 aktiven Pixeln ist:
- Ws·Ns/ = 0,1·8/ = 0,035
- worin: Ws der ungünstige Skalierungsfaktor ist
- Ns der Wert des Schrotrauschen ist
- Dies ist eine Verbesserung um eine Größenordung. Der Fehler wird noch kleiner bei kleineren Skalierungsfaktoren und einer höheren Zahl aktiver Pixel.
- Die vorliegende Erfindung hat den Vorteil, dass sich die Verwendung einer großen Zahl lichtabgeschirmter Pixel erübrigt und dass der Schmier-Offset auf sehr kleine Werte reduziert wird.
- Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
- Es zeigen
- Fig. 1 ein Blockdiagramm des Datenverarbeitungswegs.
- Fig. 2 eine Kurve zur Darstellung einer typischen Pixelansprechfunktion.
- Fig. 3 ein Diagramm eines linearen CCD-Bildwandlers.
- Fig. 4 ein Diagramm einer typischen Abtastung unter Verwendung des Bildwandlers aus Fig. 3.
- Fig. 5 eine Alternative zur Verarbeitungsbahn aus Fig. 1
- Fig. 6 eine weitere Alternative zur Verarbeitungsbahn aus Fig. 1
- Es ist festgestellt worden, dass das Schmieren in Bildsensoren durch effiziente Verwendung der Verstärkungs- und Dunkelkorrekturwerte reduzierbar ist, die während der Kalibrierung ermittelt worden sind. Fig. 1 zeigt ein Blockdiagramm des bevorzugten Ausführungsbeispiels der vorliegenden Erfindung, wobei die Bilddaten- Verarbeitungsbahn eine Schmierkorrektur aktiver Pixel beinhaltet. Es werden zwei Arten von Bilddatenkorrekturen benutzt, um die schmierkorrigierten Daten zu erhalten. Wie in Fig. 1 gezeigt, wird die Dunkelkorrektur 30 und die Verstärkungskorrektur 60 direkt mit den Bilddaten zwischen dem Bilddateneingang 10 und dem Bilddatenausgang 70 kombiniert. Das in Fig. 1 gezeigte, bevorzugte Ausführungsbeispiel ist nur eine mögliche Konfiguration, die zur Erzielung der Ergebnisse der Erfindung verwendbar ist.
- Wie in Fig. 1 gezeigt, erzeugt in dem bevorzugten Ausführungsbeispiel der Bilddateneingang 10 digitalisierte Daten, und zwar typischerweise von einem CCD-Bildwandler. Auf der Summierungsstufe 20 erfolgen die Dunkelkorrektur und die Schmierkorrektur durch Kombination dieser Werte mit den Daten aus dem Bilddateneingang 10. Diese zur Dunkelkorrektur verwendeten Werte stammen aus der Dunkelkorrektur 30. Die Dunkelkorrektur 30 ist eine Speichervorrichtung, die zuvor während eines Kalibrierzyklus mit Dunkelkorrekturdaten geladen worden ist. Der Schmierkorrekturwert für eine gesamte Zeile wird durch den Latch 40 bereitgestellt. Dieser Wert wurde in der vorausgehenden Zeile berechnet.
- Bilddaten, die auf Dunkel- und Schmier-Offset korrigiert worden sind, werden an den Verstärkungskorrektur-Multiplizierer 50 und den Akkumulator 80 für aktive Pixel übergeben. Der Akkumulator 80 für aktive Pixel summiert die Bilddatenwerte aus allen aktiven Pixeln, multipliziert den akkumulierten Wert am Multiplizierer 90 mit dem Skalierungsfaktor 100 und speichert das Ergebnis zur Verwendung in der nächsten Zeile im Latch 40. Die Akkumulation aktiver Pixel erfolgt vor der Verstärkungskorrektur, so dass der Beitrag jedes aktiven Pixels zur Gesamtbeleuchtung gleich gewichtet wird.
- Die Verstärkungskorrektur erfolgt am Verstärkungskorrektur-Multiplizierer 50 durch Verwendung von Verstärkungskorrekturwerten aus der Verstärkungskorrekturstufe 60, wodurch Ausgabebilddaten 70 zur Verwendung durch nachfolgende Bildverarbeitungsstufen erzeugt werden.
- Fig. 2 zeigt in Verbindung mit Fig. 1 die typische Ansprechfunktion eines einzelnen Pixels. Die Strichlinie zeigt das typische Ansprechverhalten. Die durchgehende Linie zeigt das ideale (erwünschte) Ansprechverhalten. Die Dunkel- und Verstärkungskorrektur werden benutzt, um das gewünschte Ansprechen eines Pixels zu erzeugen, das ein nicht ideales Ansprechen aufweist. Wie zuvor gesagt, werden diese Werte während der Kalibrierung bestimmt. Wenn kein Licht auf den Fotosensor fällt, ist es wünschenswert, dass das Pixel kein Ausgabesignal erzeugt. Unter realistischen Bedingungen erzeugt der Fotosensor jedoch ein kleines Ausgabesignal, das als "Dunkel-Offset" bezeichnet wird. Der Dunkel-Offset lässt sich messen, wenn kein Licht einfällt, und wird von allen nachfolgenden Messungen subtrahiert, die von diesem Pixel stammen. Dieser Prozess wird als "Dunkelkorrektur" bezeichnet. Wenn die Schwankung des Dunkel-Offsets zwischen allen Pixeln klein genug ist, kann ein Dunkel-Offset für alle Pixel verwendet werden, ansonsten muss ein separater Dunkel-Offset für jedes Pixel angewandt werden.
- Wenn das gesamte vorhandene Licht (wie durch Beleuchtung, Optik usw. bestimmt) auf ein Pixel einfällt, ist es wünschenswert, dass das Pixel ein bekanntes Ausgabesignal erzeugt. Unter realistischen Bedingungen erzeugt jedoch jedes Pixel ein anderes Ausgabesignal (dies wird als "Hellpunkt" bezeichnet), und zwar aufgrund der Abweichungen im Ansprechverhalten der Pixel, aufgrund uneinheitlicher Beleuchtung usw. Es wird vorausgesetzt, dass die Signalausgabe bei allen anderen Beleuchtungspegeln einer geraden Linien folgt, die den Dunkel-Offset mit dem Helllpunkt verbindet. Die Steigung dieser Linie ist die "Verstärkung" des Pixels. Ein Verstärkungskorrekturfaktor lässt sich berechnen, womit der Hellpunkt auf den gewünschten Wert eingestellt wird. Alle nachfolgenden Pixelwerte werden mit dem Verstärkungskorrekturfaktor multipliziert. Dieser Prozess wird als "Verstärkungskorrektur" bezeichnet.
- In beiden Fällen ist eine sehr genaue Messung erforderlich, um einen genauen Korrekturwert zu erhalten. Hierzu werden zahlreiche Messungen desselben Pixels wiederholt durchgeführt und gemittelt, um den rauschbedingten Fehler in der Messung zu reduzieren. Messungen bei voller Beleuchtung oder in der Dunkelheit können beliebig oft wiederholt und gemittelt werden, bis die gewünschte Genauigkeit erreicht ist.
- Wie in Fig. 1 gezeigt, werden die Bilddaten von einem CCD-Bildwandler digitalisiert. Am Summierungsmittel 20 finden Dunkel- und Schmierkorrektur statt. Der Dunkelkorrekturspeicher 30 ist zuvor während eines Kalibrierzyklus mit Dunkelkorrekturdaten geladen worden. Die Schmierkorrektur für eine vollständige Zeile stammt aus dem Latch 40, und zwar anhand der Werte, die während der vorhergehenden Zeile mit den Werten aus den nachfolgend besprochenen Gleichungen berechnet worden sind. Bilddaten, die auf Dunkel- und Schmier-Offset korrigiert worden sind, werden an den Verstärkungskorrektur-Multiplizierer 50 und den Akkumulator 80 für aktive Pixel übergeben. Der Akkumulator 80 für aktive Pixel summiert die Bilddatenwerte aus allen aktiven Pixeln, multipliziert den akkumulierten Wert am Multiplizierer 90 mit dem Skalierungsfaktor 100 und speichert das Ergebnis zur Verwendung, in der nächsten Zeile im Latch 40. Die Akkumulation aktiver Pixel erfolgt vor der Verstär kungskorrektur, so dass der Beitrag jedes Pixels zur Gesamtbeleuchtung gleich gewichtet wird.
- Die Verstärkungskorrektur erfolgt am Verstärkungskorrektur-Multiplizierer 50 durch Verwendung von Verstärkungskorrekturwerten aus der Verstärkungskorrekturstufe 60, wodurch Ausgabebilddaten 70 für nachfolgende Verarbeitungsstufen bereitgestellt werden.
- Dieselben Daten, die benutzt werden, um Dunkel- und Verstärkungskorrekturwerte zu erzeugen, sind zur Erzeugung äußerst genauer Schmierskalierungsfaktoren verwendbar. Um den Schmierskalierungsfaktor zu erzeugen, müssen Daten aus den aktiven und aus den lichtabgeschirmten Pixeln gesammelt werden. Diese Daten sind dann verwendbar, um den prozentualen Schmierwert zu ermitteln, indem die maximale Beleuchtung aus den lichtabgeschirmten Pixeln (d. h. Verstärkung) gemittelt wird und indem die mittlere Minimalbeleuchtung (d. h. Dunkelwert) der lichtabgeschirmten Pixel von diesem Betrag subtrahiert wird. Die mittlere Differenz zwischen den lichtabgeschirmten Pixeln für maximale und minimale Werte (d. h. Verstärkungs- bzw. Dunkelwerte) wird durch eine ähnliche Differenz zwischen den aktiven Pixeln dividiert. Diese Beziehung wird in der nachfolgenden Gleichung 1 dargelegt.
- Schmierwert i% = AVG_lichtabgeschirmtmax - AVG_lichtabgeschirmtdunkel/AVG_aktives_ Pixelmax -AVG_aktives_Pixeldunkel · 100
- Der prozentuale Schmierwert berechnet sich aus Mittelwerten durch Verwendung der nachfolgend mit Bezug auf Fig. 3 und Fig. 4 erörterten mathematischen Darstellungen. Der Zähler aus Gleichung 1 ergibt sich aus der mittleren Beleuchtung für lichtabgeschirmte Pixel für alle lichtabgeschirmten Pixel während eines Kalibrierungszeitraums.
- Fig. 3 ist eine funktionale Darstellung eines linearen CCD-Bildwandlersensors 110 mit einer Anzahl von "N" Bildsensorelementen sowie den Photodioden 112 und dem CCD-Schieberegister 114. Auf die Photodiode 112 fallen Photonen ein, die in den Photodioden 112 Elektronenlochpaare erzeugen, die wiederum in das CCD-Schieberegister 114 übertragen werden. Die ersten acht Pixel und die letzten acht Pixel in dem CCD-Bildwandlersensor 110 sind lichtabgeschirmte Pixel 116 und die Pixel zwischen den lichtabgeschirmten Pixeln 116 sind aktive Pixel 118.
- Wenn, wie aus Fig. 4 in Verbindung mit Fig. 3 zu ersehen ist, p(x, y) benutzt wird, um den Wert für eine Pixelstelle "x" in dem CCD-Bildwandlersensor 110 darzustellen, dann kann bei Abtasten mehrerer Zeilen durch den CCD-Bildwandlersensor 110 der Wert für jede Pixelstelle "x" in jeder der gegebenen Zeilen "y" gemittelt werden. Wenn L(x) den Mittelwert für eine Pixelstelle "x" über alle abgetasteten Zeilen "y" bezeichnet, dann würde Gleichung 2 den Mittelwert L(x) für diese Pixelstelle genau darstellen, nachdem die Zeile "y" M + 1 mal abgetastet worden ist. Diese Beziehung ist aus Gleichung 2 in Verbindung mit Fig. 4 ersichtlich. Gleichung 2
- Wenn LS dazu dient, den Mittelwert der lichtabgeschirmten Pixel darzustellen, die in den M + 1 abgetasteten Zeilen enthalten sind, wie in Fig. 4 gezeigt, ergibt sich der mittlere lichtabgeschirmte Wert LS durch Gleichung 3. Gleichung 3
- Wenn AP als kumulierter Pixelmittelwert für die aktiven Pixel "x" in den M + 1 Zeilen dient, ergibt sich der Wert von AP nach folgender Gleichung 4. Gleichung 4
- Wenn MS als der maximal mögliche Schmierwert definiert ist, gemessen von den lichtabgeschirmten Pixeln, wobei LSmax illum den Mittelwert der lichtabgeschirmten Pixel bei Maximalbeleuchtung darstellt, d. h. Verstärkung, und LSdunkel ist der Mittelwert der lichtabgeschirmten Pixel aus der zuvor besprochenen Dunkelkalibrierung, dann kann MS durch Gleichung 5 dargestellt werden.
- Gleichung 5
- MS = LSmax illum - LSdunkel
- und wenn MA der kumulierte Maximalwert der aktiven Pixel ist, wobei APmax illum den kumulierten Mittelwert der aktiven Pixel bei Maximalbeleuchtung darstellt und wobei APdunkel der kumulierte Mittelwert der aktiven Pixel aus der Dunkelkalibrierung ist, dann kann MA durch Gleichung 6 dargestellt werden.
- MA = APmax illum - APdunkel
- Der Schmierskalierungsfaktor wird durch SSF dargestellt und ist als das Verhältnis der maximal möglichen Schmierung zur maximal möglichen Akkumulierung der aktiven Pixel definiert, wie in Gleichung 7 gezeigt.
- SSF = MS/MA
- Der Wert SSF aus Gleichung 7 wird nach den Kalibrierungszeiträumen in das Register für den Skalierungsfaktor 100 geladen, wie in Fig. 1 gezeigt.
- Der Schmierschätzwert wird während des Abtastvorgangs gemäß Gleichung 8 berechnet, wobei APactual der tatsächlich kumulierte Pixelwert während einer Zeilenabtastung ist.
- SMEARSchäz = MS/MA·APtatsächlich = SSF·APtatsächlich
- Fig. 5 zeigt einen Datenverarbeitungsweg mit Ähnlichkeiten zu dem aus Fig. 1. Der grundsätzliche Unterschied in dem in Fig. 5 gezeigten Pfad besteht darin, dass der Zeilenspeicher 130 eine gesamte Datenzeile aus der Summierungsstufe 20 enthält. Diese Datenzeile wird simultan parallel verarbeitet, um einen Schmierschätzwert wie in Fig. 1 zu erzeugen. Anstatt zur Schmierkorrektur für die nächste Zeile herangezogen zu werden, wie in Fig. 1 gezeigt, wird der Schmierschätzwert in Fig. 5 benutzt, um dieselbe Zeile zu korrigieren, indem er vom Latch 40 an die Summierungsschaltung 140 übergeben wird, wo er zur Schmierkorrektur für die im Zeilenspeicher 130 enthaltenen Daten dienen kann.
- Fig. 6 zeigt eine weitere alternative Verarbeitungsbahn und eine zusätzliche Summierungsschaltung 150 für die Bereitstellung der schmierkorrigierten Daten an den Akkumulator 80. Die Schmierkorrektur für die akkumulierten Daten wird, wie in Fig. 1, um eine Zeile verzögert. Die Verarbeitungsbahn in Fig. 6 erzielt jedoch eine höhere Genauigkeit als die Verarbeitungsbahn aus Fig. 5.
- Zwar wurde zur Darstellung der Konzepte der vorliegenden Erfindung eine lineare CCD-Vorrichtung herangezogen, aber diese Konzepte sind auch mit Interline- Vorrichtungen für progressive Abtastung oder für die Abtastung nach dem Zeilensprungverfahren verwendbar sowie für Frame-Transfer-Vorrichtungen.
- Die Beschreibung der vorliegenden Erfindung bezieht sich zwar auf verschiedene Schaltungen zur Durchführung zahlreicher Funktionen, aber diese Funktionen können auch mit einem digitalen Computer durchgeführt werden, der Algorithmen durchführt, die gleiche Funktionen wie die dargestellten Schaltungen wahrnehmen.
- Obwohl die Erfindung mit besonderem Bezug auf bevorzugte Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht darauf beschränkt, sondern kann innerhalb des Geltungsbereichs Änderungen und Abwandlungen unterzogen werden.
Claims (7)
1. Korrekturschaltung zur Beseitigung von Schmierfehlern in einem von einem
Bildwandler aufgenommenen Bild, wobei die Schmierfehler auf lichtgenerierte
Elektronen zurückzuführen sind, die von einer Potentialwanne von Fotodioden
des Bildwandlers nicht erfasst wurden, mit folgenden Komponenten:
(a) Speichereinrichtungen (30, 60), um Dunkel- und
Verstärkungs-Korrekturdaten zu speichern;
(b) einem Summierungsmittel (20), das einen Bilddateneingang zum
Empfangen digitalisierter Bilddaten, einen zweiten Eingang zum Empfangen der
Dunkel-Korrekturdaten, und einen dritten Eingang zum Empfangen eines
Schätzwerts der Schmierfehler aufweist, und abgeglichene, digitalisierte
Daten liefert;
gekennzeichnet durch
(c) einen Multiplizierer (90), der einen vorbestimmten Skalierungsfaktor (100)
empfängt, und ein Ausgangssignal eines Akkumulators (80), der Bilddaten
aufeinanderfolgender Pixel kombiniert, wobei ein Ausgangswert des
Multiplizierers der Schätzwert des Schmierfehlers ist; und
(d) einen Verstärkungskorrektur-Multiplizierer (50), der die
Verstärkungs-Korrekturdaten durch abgegelichene, digitalisierte Daten zuführt.
2. Korrekturschaltung nach Anspruch 1, gekennzeichnet durch eine
Speichereinrichtung (40) zur vorübergehenden Speicherung des auf jeden Pixel einer
einzelnen Zeile anzuwendenden Skalierungsfaktors des Schmierschätzwerts.
3. Korrekturschaltung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der
Akkumulator (80), der Bilddaten aufeinanderfolgender Pixel kombiniert, als
Bilddaten Daten benutzt, deren Schmierfehler unter Verwendung des
Skalierungsfaktors des Schmierschätzwerts aus der vorhergehenden Zeile korrigiert wurden.
4. Korrekturschaltung nach Anspruch 1, dadurch gekennzeichnet, dass der
Bildwandler lichtabgeschirmte Pixel aufweist, die Daten erzeugen, um während einer
Kalibrierungsphase die Dunkel- und Verstärkungsdaten und einen maximalen
Schmier-Skalierungsfaktor zu bestimmen.
5. Korrekturschaltung nach Anspruch 4, dadurch gekennzeichnet, dass die
lichtabgeschirmten Pixel an der Peripherie der aktiven Pixel liegen.
6. Verfahren zur Beseitigung von Schmierfehlern in einem durch einen Sensor
erzeugten Bild, die auf lichtgenerierte Elektronen zurückzuführen sind, welche von
einer Potentialwanne von Fotodioden nicht erfasst wurden, wobei ein
Kalibrierungszyklus benutzt wird, um Dunkelsignal-Korrekturdaten,
Verstärkungs-Korrekturdaten und einen auf der Dunkelsignalkorrektur und Verstärkungskorrektur
basierenden Schmier-Skalierungsfaktor zu bestimmen, wobei das Verfahren
folgende Schritte umfasst:
(a) Empfangen eines Bildes von einem Bildsensor in einem die Pixel innerhalb
des Bildsensors in digitaler Farm kennzeichnenden Datenstrom;
gekennzeichnet durch
(b) Berechnen eines Schätzwertes der Schmierfehler durch Multiplizieren des
Schmier-Skalierungsfaktors mit akkumulierten Bilddaten von
aufeinanderfolgenden Pixeln; und
(c) Verwenden der abgeglichenen Daten für das Bild, um Schmierfehler zu
entfernen.
7. Verfahren nach Anspruch 6, gekennzeichnet durch folgenden Schritt:
- Speichern des auf jeden Pixel einer einzelnen Zeile anzuwendenden
Skalierungsfaktors des Schmierschätzwerts.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/462,414 US5661521A (en) | 1995-06-05 | 1995-06-05 | Smear correction of CCD imager using active pixels |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69622475D1 DE69622475D1 (de) | 2002-08-29 |
DE69622475T2 true DE69622475T2 (de) | 2003-02-20 |
Family
ID=23836350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69622475T Expired - Lifetime DE69622475T2 (de) | 1995-06-05 | 1996-05-24 | Schmierkorrektur für einen CCD-Bildwandler unter Verwendung aktiver Bildelemente |
Country Status (4)
Country | Link |
---|---|
US (1) | US5661521A (de) |
EP (1) | EP0748113B1 (de) |
JP (1) | JPH08331463A (de) |
DE (1) | DE69622475T2 (de) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6081608A (en) * | 1995-02-09 | 2000-06-27 | Mitsubishi Jukogyo Kabushiki Kaisha | Printing quality examining method |
US5963251A (en) * | 1997-02-03 | 1999-10-05 | Trw Inc. | Frame transfer readout correction |
JP2002509674A (ja) * | 1998-03-19 | 2002-03-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 補正ユニットを含む画像ピックアップ装置 |
US6160578A (en) * | 1998-06-18 | 2000-12-12 | Redlake Imaging Corporation | High speed, increased bandwidth camera |
JP4503740B2 (ja) * | 1999-10-14 | 2010-07-14 | オリンパス株式会社 | 撮像装置 |
KR100405150B1 (ko) * | 2001-06-29 | 2003-11-10 | 주식회사 성진씨앤씨 | 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치 |
JP3762725B2 (ja) * | 2002-08-22 | 2006-04-05 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP2005229307A (ja) * | 2004-02-12 | 2005-08-25 | Sanyo Electric Co Ltd | 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム |
JP4742359B2 (ja) | 2005-05-19 | 2011-08-10 | カシオ計算機株式会社 | 動画撮像装置及びそのプログラム |
EP1798956A1 (de) | 2005-12-16 | 2007-06-20 | Perkinelmer Singapore PTE Ltd. | Verfahren zur Verarbeitung von CCD-Daten und CCD-Bildaufnahmevorrichtung |
US7847979B2 (en) * | 2006-07-07 | 2010-12-07 | Eastman Kodak Company | Printer having differential filtering smear correction |
KR100810344B1 (ko) * | 2006-10-10 | 2008-03-04 | 삼성전자주식회사 | 디지털 촬영 장치와 이를 이용한 스미어 현상 검출 및 보정방법 |
US9053530B2 (en) * | 2006-11-27 | 2015-06-09 | Google Inc. | Method for sliced inpainting |
EP1942659A1 (de) * | 2006-12-12 | 2008-07-09 | Axis AB | Verbessertes Verfahren zur Erfassung von Bilddaten |
JP5335356B2 (ja) * | 2008-10-03 | 2013-11-06 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び撮像装置 |
TWI449412B (zh) * | 2009-05-27 | 2014-08-11 | Altek Corp | 影像資料補正方法 |
FR2951311A1 (fr) * | 2009-10-09 | 2011-04-15 | Trixell Sas | Procede de commande d'un dispositif photosensible |
US8953233B2 (en) * | 2010-06-14 | 2015-02-10 | Canon Kabushiki Kaisha | Image reading apparatus and image data processing method |
JP6516204B2 (ja) * | 2016-01-19 | 2019-05-22 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像読取方法、画像形成装置及び制御プログラム |
US11095839B1 (en) * | 2020-06-19 | 2021-08-17 | Shenzhen GOODIX Technology Co., Ltd. | Reducing smear through digital cancellation in image sensor |
WO2023069916A1 (en) * | 2021-10-20 | 2023-04-27 | Princeton Infrared Technologies, Inc. | Buried photodetector with hetero structure as a gate |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4010319A (en) * | 1975-11-20 | 1977-03-01 | Rca Corporation | Smear reduction in ccd imagers |
GB1526801A (en) * | 1976-01-08 | 1978-10-04 | British Broadcasting Corp | Compensating interference from solid state image sensing devices |
JPS5814682A (ja) * | 1981-07-20 | 1983-01-27 | Sony Corp | 固体撮像装置 |
NL8104103A (nl) * | 1981-09-04 | 1983-04-05 | Philips Nv | Televisie-opneeminrichting voorzien van een vaste-stof beeldopnemer. |
JPS58156272A (ja) * | 1982-03-12 | 1983-09-17 | Sony Corp | スミア補正回路 |
US4490744A (en) * | 1982-06-30 | 1984-12-25 | Rca Corporation | Smear reduction technique for CCD field-transfer imager system |
US4594612A (en) * | 1985-01-10 | 1986-06-10 | Rca Corporation | Transfer smear reduction in line transfer CCD imagers |
DE3821705A1 (de) * | 1988-06-28 | 1990-01-11 | Licentia Gmbh | Verfahren zur reduzierung des smeareffektes bei einer nach dem frame-transfer-prinzip arbeitenden videokamera |
JP2660585B2 (ja) * | 1989-10-06 | 1997-10-08 | 富士写真フイルム株式会社 | 撮像装置 |
US5086343A (en) * | 1990-05-11 | 1992-02-04 | Eastman Kodak Company | Method and apparatus for compensating for sensitivity variations in the output of a solid state image sensor |
JPH04219063A (ja) * | 1990-05-15 | 1992-08-10 | Ricoh Co Ltd | 画像読取装置 |
FR2662283B1 (fr) * | 1990-05-15 | 1992-07-24 | Thomson Trt Defense | Procede de correction d'images issues de capteur provoquant un bruit periodique, et dispositif de mise en óoeuvre. |
US5121214A (en) * | 1990-06-29 | 1992-06-09 | The United States Of America As Represented By The United States Department Of Energy | Method for eliminating artifacts in CCD imagers |
-
1995
- 1995-06-05 US US08/462,414 patent/US5661521A/en not_active Expired - Lifetime
-
1996
- 1996-05-24 DE DE69622475T patent/DE69622475T2/de not_active Expired - Lifetime
- 1996-05-24 EP EP96420190A patent/EP0748113B1/de not_active Expired - Lifetime
- 1996-05-30 JP JP8137059A patent/JPH08331463A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP0748113A3 (de) | 1999-04-14 |
DE69622475D1 (de) | 2002-08-29 |
EP0748113A2 (de) | 1996-12-11 |
JPH08331463A (ja) | 1996-12-13 |
US5661521A (en) | 1997-08-26 |
EP0748113B1 (de) | 2002-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69622475T2 (de) | Schmierkorrektur für einen CCD-Bildwandler unter Verwendung aktiver Bildelemente | |
DE69625398T2 (de) | Schwarzmuster-Korrektur für einen Ladungsübertragungssensor | |
DE68925841T2 (de) | Verschiebungs-, Verstärkungs- und schlechte Bildelement-Korrektur in elektronischen Abtastmatrizes | |
DE68928999T2 (de) | Kamera mit breitem dynamischem bereich | |
DE60038424T2 (de) | Variables sammeln abgestrahlter ladung zur erweiterung des dynamikbereichs | |
DE69919351T2 (de) | Verbesserte dunkelbildsubtraktion | |
AT504582B1 (de) | Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor | |
DE60104632T2 (de) | Verfahren und System zur Rauschbeseitigung für ein spärlich abgetastetes Bild mit erweitertem Dynamikbereich | |
DE102014218431A1 (de) | Halbleiterbildgebungsvorrichtung und Bildgebungssystem | |
DE3542101C2 (de) | ||
DE19737330A1 (de) | Abbildungssystem | |
DE3304817C2 (de) | Verfahren und Vorrichtung zur automatischen Erkennung von Fehlern in Warenbahnen | |
EP1237357A2 (de) | Digitalkamera mit CMOS-Bildsensor verbesserter Dynamik und Verfahren zum Ansteuern eines CMOS-Bildsensors | |
DE19818975A1 (de) | Verfahren zum Korrigieren des Dunkelstroms in CMOS-Bilderzeugungssensoren | |
EP0974226B1 (de) | Bildsensor mit einer vielzahl von bildpunkt-sensorbereichen | |
DE69805555T2 (de) | Verfahren zur Erzeugung eines Auslegesignals einer auf CMOS basierender Pixelstruktur und eine solche auf CMOS basierender Pixelstruktur | |
DE102012213189A1 (de) | Bildgebungs-Array mit Fotodioden unterschiedlicher Lichtempfindlichkeiten und zugehörige Bildwiederherstellungsverfahren | |
DE112018005773B4 (de) | Intensitätsnormierte bildsensoren | |
DE2841727C2 (de) | Verfahren zur additiven und multiplikativen Störsignalkompensation und Schaltung zur Durchführung des Verfahrens | |
DE69416389T2 (de) | Digitale Schaltung für automatische Korrektur der Schwarzschattierungseffekte in Kameras | |
DE10195715T5 (de) | Digitales Erfassungsverfahren für Dualenergieabbildung | |
DE4037573C2 (de) | System zum Empfang und zur Korrektur eines von Strahlungsenergie übertragenen Bildes | |
DE10135427A1 (de) | Flächenhafter Bilddetektor für elektromagnetische Strahlen, insbesondere Röntgenstrahlen | |
EP1301031A1 (de) | Verfahren zur Korrektur unterschiedlicher Umwandlungscharakteristiken von Bildsensoren | |
EP3591962B1 (de) | Kompensieren von fixed-pattern noise eines bildsensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8330 | Complete renunciation |