DE102011107461B3

DE102011107461B3 - Verfahren und Vorrichtung zum Auslesen von Bildern eines CMOS-Detektors

Info

Publication number: DE102011107461B3
Application number: DE102011107461A
Authority: DE
Inventors: Dr. Eckardt Andreas; Holger Venus
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2011-07-08
Filing date: 2011-07-08
Publication date: 2012-09-13
Anticipated expiration: 2031-07-09

Abstract

Die Erfindung betrifft ein Verfahren zum Auslesen von Bildern, die von einem CMOS-Detektor (3) in einer Bildaufnahmefrequenz aufgenommen werden, umfassend die folgenden Verfahrensschritte:
a) Auslesen eines Reset-Bildes (R_n), das vor der Aufnahme des Bildes (B_n) erzeugt wird,
b) Bilden eines Korrektur-Reset-Bildes (K-R) mittels eines vorangegangenen Bildes (B_n-1) und pixelindividuellen Korrektur-Termen (K) des CMOS-Detektors (3), die vorab in einem Kalibrations-Modus ermittelt wurden,
c) Bilden eines korrigierten Reset-Bildes (R*_n) durch Differenzbildung vom Reset-Bild (R_n) und Korrektur-Reset-Bild (K-R),
d) Auslesen des Bildes (B_n) und
e) Bilden eines korrigierten Bildes (B*_n) durch Differenzbildung des Bildes (B_n) und dem korrigierten Reset-Bild (R*_n),
sowie eine hierfür geeignete Vorrichtung.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Auslesen von Bildern eines CMOS-Detektors.
CMOS-Detektoren verdrängen immer mehr CCD-Detektoren. Dabei werden CMOS-Detektoren auch als APS-Wandler (active Pixel sensor) bezeichnet, da jedem Pixel sein eigener Verstärker zugeordnet ist. Das Grundprinzip besteht darin, mittels eines Rücksetz- bzw. Reset-Transistors eine Spannung über einer Photodiode auf einen definierten Wert zu setzen. Das danach einfallende Licht baut die aufgebaute Sperrschicht der Photodiode ab. Das Absinken dieser Spannung ist dabei proportional zur Bestrahlungsstärke. Weiter ist es bekannt, vor der Aufnahme eines Bildes nach dem Reset ein Reset-Bild aufzunehmen, das später von dem Bild abgezogen wird. Somit werden Störungen ähnlich einem Dunkelstrom-Rauschen berücksichtigt und abgezogen.
Aus der US 2009/0278964 A1 ist ein Verfahren zum Auslesen von Bildern, die von einem CMOS-Detektor in einer Bildaufnahmefrequenz aufgenommen werden, bekannt, umfassend die folgenden Verfahrensschritte:

a) Auslesen eines Reset-Bildes, das vor der Aufnahme des Bildes erzeugt wird,
b) Bilden eines Korrektur-Reset-Bildes,
c) Bilden eines korrigierten Reset-Bildes durch Differenzbildung vom Reset-Bild und Korrektur-Reset-Bild,
d) Auslesen des Bildes und
e) Bilden eines korrigierten Bildes durch Differenzbildung des Bildes und dem korrigierten Reset-Bild.

Aus der WO 2008/029214 A1 ist ein Verfahren zur Subtraktion von Dunkelbildern, insbesondere auch bei CMOS-Sensoren, unter Verwendung einer Mehrzahl von Dunkelbildern bekannt.
Aus der EP 1 080 443 B1 ist ein Verfahren zur verbesserten Dunkelbildsubtraktion durch gleichzeitige Gewinnung von Dunkelbildweiten aus Referenzpixeln insbesondere auch bei CMOS-Sensoren bekannt.
Aus der US 6 714 241 B2 ist ein Verfahren zur effizienten Dunkelstrom-Subtraktion in einem Bildsensor bekannt, wobei eine Skalierung des Dunkelbildes erfolgt.
Aus der DE 43 09 724 A1 ist ein Verfahren zur temperaturabhängigen Dunkelstromkompensation bei CCD-Bildsensoren mit abgedeckten Dunkelpixeln bekannt.
In dem Fachartikel DUNLAP, Justin C.; PORTER, William C.; BODEGOM, Erik et al.: Dark Current in an Active Pixel Complementary Metal-Oxide-Semiconductor Sensor. Journal of Electronic Imaging, Vol. 20 (1), 013005 (Jan-Mar 2011), pp. 013005-1–013005-8 werden Analyseergebnisse zum Dunkelstrom bei CMOS-APS-Sensoren mit globalem Shutter vorgestellt. Dabei wird ein Verfahren zur Berechnung von Dunkelbildern basierend auf vorhergehendem Dunkelstromverhalten des Sensors aufgezeigt.
Der Erfindung liegt das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zum Auslesen von Bildern eines CMOS-Detektors zu schaffen, mittels derer die Genauigkeit der Bilder weiter verbessert werden kann.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 8. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Das Verfahren zum Auslesen von Bildern, die von einem CMOS-Detektor in einer Bildaufnahmefrequenz aufgenommen werden, umfasst die folgenden Verfahrensschritte:

a) Auslesen eines Reset-Bildes, das vor der Aufnahme des Bildes erzeugt wird,
b) Bilden eines Korrektur-Reset-Bildes mittels eines vorangegangenen Bildes und pixelindividuellen Korrektur-Termen, die vorab in einem Kalibrations-Modus ermittelt wurden,
c) Bilden eines korrigierten Reset-Bildes durch Differenzbildung vom Reset-Bild und Korrektur-Reset-Bild,
d) Auslesen des Bildes und
e) Bilden eines korrigierten Bildes durch Differenzbildung des Bildes und dem korrigierten Reset-Bild.

Dabei wird folgende Erkenntnis ausgenutzt. Es hat sich gezeigt, dass der Wert des Reset-Bildes von dem vorangegangenen Bild abhängig ist. Ist das vorangegangene Bild sehr hell gewesen, so ist auch das nachfolgende Reset-Bild beeinflusst, wobei dieser Vorgang pixelindividuell ist. Die Ursache dafür sind vermutlich noch nicht vollständig umgeladene Kapazitäten sowohl von Nutzkapazitäten als auch von Leitungskapazitäten. Durch das erfindungsgemäße Verfahren wird dieser Fehler korrigiert, indem das aktuelle Reset-Bild durch das Korrektur-Reset-Bild, das den Einfluss der vorangegangenen Aufnahme beinhaltet, korrigiert wird. Insbesondere bei spektral hochauflösenden Aufnahmen haben sich dadurch Genauigkeitsverbesserungen zwischen 1% bis 5% erreichen lassen. Dabei sei angemerkt, dass die Reihenfolge der Verfahrensschritte a) und b) beliebig ist, d. h. es kann bereits das Korrektur-Reset-Bild gebildet werden, bevor das Reset-Bild aufgenommen wird, da das vorangegangene Bild bereits vorliegt. Für das erste Bild gibt es kein vorangegangenes Bild, so dass für die Berechnung ein Null-Bild als vorangegangenes Bild eingesetzt wird. In diesem Fall ist auch das Korrektur-Reset-Bild ein Null-Bild. Hierdurch wird aber im Regelfall kein Fehler gemacht, da vor dem ersten Bild der CMOS-Detektor ausreichend lange im Reset-Modus üblicherweise war, so dass das Reset-Bild noch nicht verfälscht ist.
In einer Ausführungsform sind die Korrektur-Terme konstante Faktoren. Der Grund hierfür ist, dass die Kapazitäten sich im Regelfall linear verhalten. Die pixelindividuellen Unterschiede der Faktoren sind dabei beispielsweise abhängig von der Verdrahtung, d. h. wo die Pixel ähnlich verdrahtet sind, sind auch die Faktoren ähnlich oder gleich.
In einer weiteren Ausführungsform werden die Reset-Bilder in einem globalen Shutter-Mode erzeugt. Der Vorteil eines globalen Shutter-Modes ist, dass durch das gleichzeitige Zurücksetzen aller Pixel hohe Bildaufnahmefrequenzen erreicht werden können, wobei sich aber das Problem der Rest-Ladungen verschärft, was erfindungsgemäß aber gerade kompensiert wird.
In einer weiteren Ausführungsform werden die Reset-Bilder und Bilder vor der Weiterverarbeitung digitalisiert. Der Vorteil ist, dass die Rechenoperationen, insbesondere die Multiplikation zur Erzeugung des Korrektur-Reset-Bildes, dadurch vereinfacht durchgeführt werden können.
Die Korrektur-Terme werden vorzugsweise dadurch ermittelt, dass zunächst der CMOS-Detektor mit Strahlung einer vorab bestimmten Bestrahlungsstärke bestrahlt wird. Die erste Bestrahlungsstärke wird beispielsweise derart gewählt, dass die Pixel zu 80% ausgesteuert sind. Anschließend wird ein globaler Shutter-Modus durchgeführt und ein Reset-Bild ausgelesen. Danach wird der CMOS-Detektor mit einer weiteren vorab bestimmten Bestrahlungsstärke bestrahlt. Die zweite Bestrahlungsstärke wird beispielsweise derart gewählt, dass die Pixel zu 90% ausgesteuert sind. Danach wird wieder ein globaler Shutter-Modus durchgeführt und das Reset-Bild ausgelesen. Pixelindividuell können dann die Werte des Reset-Bildes über der Bestrahlungsstärke aufgetragen werden und eine Gerade durch die beiden Punkte gelegt werden. Die Steigerung entspricht dabei einem Proportionalitätsfaktor, um den der Reset-Wert mit der Bestrahlungsstärke des vorangegangenen Bildes steigt. Zur verbesserten Bestimmung können dabei vorzugsweise mehrere Bestrahlungsstärken verwendet werden, wobei durch die Punkte dann eine Ausgleichsgerade gezogen werden kann.
Vorzugsweise ist die Bildaufnahmefrequenz des Verfahrens zur Ermittlung der Korrektur-Terme gleich der Bildaufnahmefrequenz des CMOS-Detektors im Nutzbetrieb. Wird der CMOS-Detektor im Nutzbetrieb mit verschiedenen Bildaufnahmefrequenzen betrieben, so kann vorgesehen sein, dass für jede Frequenz ein Satz Korrektur-Terme bestimmt wird und im Speicher abgelegt wird.
Die Vorrichtung zum Auslesen von Bildern, die von einem CMOS-Detektor in einer Bildaufnahmefrequenz aufgenommen werden, umfasst einen ersten Zwischenspeicher zur Speicherung eines Reset-Bildes und einen Zwischenspeicher zur Speicherung eines aufgenommenen Bildes, wobei ein Speicher vorgesehen ist, in dem pixelindividuelle Korrektur-Terme abgelegt sind, die eine Abhängigkeit eines Reset-Bildes von einem vorangegangenen Bild ausdrücken, wobei anhand der Korrektur-Terme und eines vorangegangenen Bildes ein Korrektur-Reset-Bild gebildet wird, mittels dessen das Reset-Bild zu einem korrigierten Reset-Bild verarbeitet wird, das von dem Bild abgezogen wird.
In einer weiteren Ausführungsform sind die Korrektur-Terme konstante Faktoren.
In einer weiteren Ausführungsform umfasst die Vorrichtung mindestens einen A/D-Wandler, mittels dessen die Reset-Bilder und Bilder digitalisiert werden.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Fig. zeigen:
1 ein schematisches Blockschaltbild einer Vorrichtung zur Bestimmung der Korrektur-Terme und
2 ein schematisches Blockschaltbild einer Vorrichtung zum Auslesen von Bildern eines CMOS-Detektors.
In der 1 ist schematisch eine Vorrichtung zur Bestimmung der Korrektur-Terme eines CMOS-Detektors 3 dargestellt. Die Vorrichtung umfasst eine geeichte Lichtquelle 1, die beispielsweise als Ulbricht-Kugel ausgebildet ist. Die Bestrahlungsstärke der Lichtquelle 1 ist dabei definiert veränderbar. Vor dem Lichtaustritt der Lichtquelle 1 ist ein mechanischer Shutter 2 angeordnet. Zum Lichtaustritt ausgerichtet ist der CMOS-Detektor 3 angeordnet, wobei der mechanische Shutter 2 und der CMOS-Detektor 3 synchron mittels eines Taktsignals 4 angesteuert werden. Die Bestrahlungsstärke der Lichtquelle 1 wird in definierten Schritten verändert, wobei zwischen den Veränderungen jeweils der Shutter 2 geschlossen wird, so dass der CMOS-Detektor 3 jeweils ein Dunkelbild aufnimmt. Dieses Dunkelbild stellt ein Reset-Bild dar, das abhängig ist von der zuvor auf den CMOS-Detektor 3 einfallenden Bestrahlungsstärke. Dabei werden die verschiedenen Dunkelbilder pixelweise ausgewertet. Für jedes Pixel existiert dann ein Zusammenhang zwischen vorangegangener Bestrahlungsstärke und nachfolgendem Dunkelwert. Dieser Zusammenhang stellt einen Korrektur-Term dar, der im einfachsten Fall ein konstanter Faktor ist.
In der 2 ist schematisch ein Blockschaltbild einer Vorrichtung zum Auslesen von Bildern eines CMOS-Detektors 3 (siehe 1) dargestellt. Die Vorrichtung umfasst einen Analog-Digital-Wandler 5, einen Demultiplexer 6, einen ersten Zwischenspeicher 7 für ein Reset-Bild R_n, einen zweiten Zwischenspeicher 8 für ein Bild B_n, einen weiteren Zwischenspeicher 9 für ein vorangegangenes Bild B_n-1, sowie einen Speicher 10 für die pixelindividuellen Korrektur-Terme K. Die Bilder B, B_n-1, R und die Korrektur-Terme stellen dabei jeweils eine Matrix dar, was durch die Unterstriche in der 2 symbolisiert ist. Der Analog-Digital-Wandler 5 digitalisiert dabei die aus dem CMOS-Detektor 3 ausgelesenen analogen Spannungen. Dabei wird mittels eines globalen Shutter-Modus zwischen zwei Bildern B_n, B_n-1, jeweils ein Reset-Bild R erzeugt, wobei mittels des Demultiplexers 6 die Reset-Bilder R in den ersten Zwischenspeicher 7 und die Bilder B_n in den zweiten Zwischenspeicher 8 geschoben werden. Die vorangegangenen Bilder B_n-1 sind dabei im Zwischenspeicher 9 abgelegt.
Aus dem vorangegangenen Bild B_n-1, und den Korrektur-Termen K wird ein Korrektur-Reset-Bild K-R erzeugt und in einem Speicher 11 abgelegt. Dieses Korrektur-Reset-Bild K-R spiegelt den Einfluss des vorangegangenen Bildes B_n-1, auf das Reset-Bild R_n wieder. Dieses Korrektur-Reset-Bild K-R wird vom Reset-Bild R_n abgezogen, so dass sich ein korrigiertes Reset-Bild R*_n ergibt, das nun von Einflüssen des vorangegangenen Bildes B_n-1, bereinigt ist. Dieses korrigierte Reset-Bild R*_n ist dann in einem Speicher 12 abgelegt. Von dem Bild B_n wird dann dieses korrigierte Reset-Bild R*_n abgezogen und in einem Speicher 13 zwischengespeichert. Dieses korrigierte Bild B*_n stellt dann das um das Dunkelrauschen kompensierte Bild dar, das für die Weiterverarbeitung zur Verfügung steht. Das aktuelle Bild B_n kann dann in den Zwischenspeicher 9 eingeschrieben werden, wo es als neues vorangegangenes Bild für das nächste B_n+1, zur Verfügung steht.

Claims

Verfahren zum Auslesen von Bildern, die von einem CMOS-Detektor (3) in einer Bildaufnahmefrequenz aufgenommen werden, umfassend die folgenden Verfahrensschritte: a) Auslesen eines Reset-Bildes (R_n), das vor der Aufnahme des Bildes (B_n) erzeugt wird, b) Bilden eines Korrektur-Reset-Bildes (K-R) mittels eines vorangegangenen Bildes (B_n-1) und pixelindividuellen Korrektur-Termen (K) des CMOS-Detektors (3), die vorab in einem Kalibrations-Modus ermittelt wurden, c) Bilden eines korrigierten Reset-Bildes (R*_n) durch Differenzbildung vom Reset-Bild (R_n) und Korrektur-Reset-Bild (K-R), d) Auslesen des Bildes (B_n) und e) Bilden eines korrigierten Bildes (B*_n) durch Differenzbildung des Bildes (B_n) und dem korrigierten Reset-Bild (R*_n).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die pixelindividuellen Korrektur-Terme (K) konstante Faktoren sind.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Reset-Bilder (R_n) in einem globalen Shutter-Mode erzeugt werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Reset-Bilder (R_n) und Bilder (B_n) vor der Weiterverarbeitung digitalisiert werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrektur-Terme (K) durch ein Verfahren mit folgenden Verfahrensschritten ermittelt werden: a) Bestrahlen des CMOS-Detektors (3) mit Strahlung einer vorab bestimmten ersten Bestrahlungsstärke, b) Durchführen eines globalen Shutter-Modus, c) Auslesen des Reset-Bildes, d) Bestrahlen des CMOS-Detektors (3) mit Strahlung mit einer vorab bestimmten zweiten Bestrahlungsstärke, e) Durchführen eines globalen Shutter-Modus, f) Auslesen des Reset-Bildes, g) Bestimmen eines pixelindividuellen Korrektur-Terms (K), der die Abhängigkeit des Reset-Wertes eines Pixels von der vorangegangenen Bestrahlungsstärke des Pixels ausdrückt.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Verfahren mit mindestens drei vorab bestimmten Bestrahlungsstärken durchgeführt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Bildaufnahmefrequenz des Verfahrens zur Ermittlung der Korrektur-Terme (K) gleich der Bildaufnahmefrequenz des CMOS-Detektors im Nutzbetrieb ist.
Vorrichtung zum Auslesen von Bildern, die von einem CMOS-Detektor (3) in einer Bildaufnahmefrequenz aufgenommen werden, umfassend einen ersten Zwischenspeicher (7) zur Speicherung eines Reset-Bildes (R_n) und einen Zwischenspeicher (8) zur Speicherung eines aufgenommenen Bildes (B_n), dadurch gekennzeichnet, dass ein Speicher (10) vorgesehen ist, in dem pixelindividuellen Korrektur-Terme (K) abgelegt sind, die eine Abhängigkeit eines Reset-Bildes (R_n) von einem vorangegangenen Bild (B_n-1) ausdrücken, wobei anhand der Korrektur-Terme (K) und eines vorangegangenen Bildes (B) ein Korrektur-Reset-Bild (K-R) gebildet wird, mittels dessen das Reset-Bild (R_n) zu einem korrigierten Reset-Bild (R*_n) verarbeitete wird, das von dem Bild (B_n) abgezogen wird.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Korrektur-Terme (K) konstante Faktoren sind.
Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Vorrichtung mindestens ein A/D-Wandler (5) umfasst, mittels dessen die Reset-Bilder (R_n) und Bilder (B_n) digitalisiert werden.