DE60223860T2

DE60223860T2 - Aktiver Bildsensor mit grossem Dynamikbereich

Info

Publication number: DE60223860T2
Application number: DE60223860T
Authority: DE
Inventors: Jaroslav Allen Hynecek
Original assignee: MagnaChip Semiconductor Ltd
Current assignee: Intellectual Ventures II LLC
Priority date: 2001-02-20
Filing date: 2002-02-20
Publication date: 2008-11-13
Anticipated expiration: 2022-02-21
Also published as: EP1233613B1; EP1233613A2; JP2002325202A; DE60223860D1; US20020113886A1; EP1233613A3; US7079178B2; JP4247869B2

Description

Gebiet der Erfindung
Die Erfindung bezieht sich auf Festkörperbildsensoren und Bildverarbeitungssysteme, speziell auf Aktiv-Pixel-CMOS-Bildsensoren (Active Pixel CMOS Image Sensors, APS) und Bildverarbeitungssysteme, die einen hohen Dynamikbereich (Dynamic Range, DR) besitzen, der erreicht wird durch individuelles Zurücksetzen der Pixel der Anordnung bzw. des Arrays entsprechend dem Pegel von integrierter Ladung.
Priorität
Die Priorität basiert auf der vorläufigen US Anmeldung mit der Seriennummer 60/269,554, eingereicht am 20. Februar 2001, korrespondierend zu US-A-2002 113 886 .
Hintergrund der Erfindung
Ein typischer Bildsensor fühlt Licht ab durch Konvertieren von auftreffenden Photonen in Elektronen und Sammeln (Integrieren) dieser in Sensor-Pixeln. Nachdem der Integrationszyklus komplett ist wird Ladung in einen Spannung konvertiert, die an die Ausgangsanschlüsse von dem Sensor geliefert wird. Ein Beispiel von einem Pixelschaltkreisdiagramm (101) für ein fortschrittliches Aktiv-Pixel-CMOS-Bildsensor-Array (100) ist in 1 gezeigt. In diesem Beispiel wird die Ladung-zu-Spannungs-Konvertierung erreicht durch Integrieren von Ladung in einem speziellen Potentialgraben 102 von einem p-Kanaltransistor 103 (vorläufige U.S. Patentanmeldung 60/245,942 von Hynecek, korrespondierend zu US-A-2002 054 225 . Die integrierte Ladung verursacht eine Änderung in der Schwellenspannung von dem Transistor 103. Einschalten der Zeilenadressierungstransistoren 104 und Liefern eines kleinen Bias- bzw. Vorspannungsstroms an die Pixel von dem Drain-Biss-Anschluss 110 durch die Spaltenstromquellen 116 fühlt die Pixelausgaben ab und treibt die Spaltenabfühlleitungen 105. Nachdem das Pixelsignal zu dem horizontalen Scanner-Puffer 112 transferiert wurde, und herausgescannt wurde, setzen die Transistoren 107 die Pixel in ausgewählten Zeilen zurück. Die Pixelrücksetzung bzw. der Pixel-Reset kann alternativ unmittelbar nach dem Signaltransfer in den Puffer durchgeführt werden, falls der Puffer mit einer Zeilendatenspeichermöglichkeit versehen ist. Der Pixel-Reset wird erreicht durch Anlegen eines Impulses 117 an den Reset-Transistor-Gate-Bus 109. Der Reset verursacht, dass in dem Potentialgraben 102 gesammelte Ladung in die Drains 111 hinausfließt. In dem nächsten Schritt wird ein Taktimpuls an den Taktanschluss 115 von dem vertikalen Scanner 113 angelegt und die nächste Zeile 106 von dem Array 100 wird verarbeitet. Der vertikale Scanner wird durch einen Impuls initialisiert der an den Anschluss 118 angelegt wird. Die Sequenz wird wiederholt bis das gesamte Array gescannt ist. Horizontales Spaltenscannen wird erreicht durch Anlegen von Taktimpulsen an den Takteingang 114 des horizontalen Scanners und das Register wird initialisiert durch einen Impuls, der an den Anschluss 119 angelegt wird. Das Pixelsignal wird an die Sensorausgabeanschlüsse 116 über den Pufferverstärker 108 geliefert.
Ein anderes Beispiel von dem Pixel, das geeignet ist zur Nutzung in dieser Erfindung, ist beschrieben in dem U.S. Patent 6,091,280 von Hynecek. Es ist Fachleuten klar, dass jedwelches Pixel, das eher durch die Spaltenleitungen als durch die Zeilenleitungen zurückgesetzt wird, in dieser Erfindung genutzt werden kann. Der Kürze wegen wird die Beschreibung von vielen derartigen Pixeln hier nicht angegeben.
Das oben beschriebene Array-Scannverfahren ist in der Technik bekannt als der "rollende Verschluss-Scann" ("rolling shutter scan"). Jede Leitung besitzt die gleiche Ladungsintegrationsperiodenlänge, aber die Integration startet und stoppt nicht gleichzeitig für all die Zeilen von dem Array wie bei dem "Schnappschussmodus" ("snap shot mode").
Sowohl der Schnappschuss- als auch der rollende Verschluss-Scan-Modus besitzen einen Nachteil beim Limitieren des DR des Sensors. Für hell beleuchtete Pixel ist es notwendig eine kurze Integrationszeit zu haben, während für schwach illuminierte Pixel es wünschenswert ist, die Integrationsperiode solang wie möglich zu erweitern um mehr Ladung zu integrieren. Wenn alle Pixel von der gleichen Zeile oder das gesamte Array jedoch gleichzeitig zurückgesetzt werden, werden sie alle die gleiche Integrationszeit besitzen. Der DR des Sensors wird dann durch das Verhältnis von der maximalen Pixelgrabenkapazität zu dem Pixelhintergrundrauschen bestimmt.
Durch Modifizieren der Standardarchitektur von dem typischen CMOS-Bildsensor-Array und durch Vorsehen selektiven Pixelrücksetzens für jeden Pixel individuell in jeder Zeile oder in dem gesamten Array, abhängig von der Menge an integrierter Ladung, eliminiert diesen üblichen Nachteil. Die vorliegende Erfindung sieht somit einen signifikanten DR-Vorteil vor, im Vergleich zu den Standard-CMOS-Bildsensor-Architekturen, sowie auch gegenüber allen Standard-CCD-Bildsensor-Architekturen bei denen die Pixel in einer Zeile immer zur gleichen Zeit zurückgesetzt werden.
Aufmerksamkeit wird auch gelenkt auf die US-A-6035013 , die ein Röntgen-Bildverarbeitungssystem beschreibt, welches eine Vielzahl von Strahlungsbildverarbeitungseinrichtungen beinhaltet, die in einer Vielzahl von Spalten angeordnet sind. Die Vielzahl von Spalten ist zusammen fliesenartig angeordnet, um ein Mosaik zu bilden, wobei Bildverarbeitungseinrichtungen in benachbarten Spalten von einander in eine spaltenweisen Richtung versetzt sind. Eine Strahlungsquelle ist vorgesehen um ein abzubildendes Objekt zu bestrahlen. Ein Absorptionsgitter ist zwischen der Strahlungsquelle und dem Mosaik angeordnet, einen Teil des abzubildenden Objekts von Strahlung die durch die Strahlungsquelle emittiert wird, abzuschirmen.
Weitere Aufmerksamkeit wird gelenkt auf die WO-A-0024190 , welche ein Verfahren und eine Vorrichtung beschreibt zum Erweitern des Dynamikbereichs von einem optischen Bildgeber, eine individuelle Steuerung der Integrations zeit von jedem Pixel von einem Sensor-Array aufweisend, und einen korrespondierenden Skalierungsfaktor für die elektrische Ausgabe von jedem individuellen Pixel während der Rahmenzeit vorsehend. Die Integrationszeit von jedem Pixel wird als eine Funktion von der Lichtintensität, die durch jedes individuelle Pixel empfangen wird, gesteuert und zwar durch Zurücksetzen des Pixels nachdem eine vorherbestimmte Schwelle für das Ausgangssignal erreicht worden ist.
Zusammenfassung der Erfindung
Die vorliegende Erfindung ist in den Ansprüchen angegeben und sieht eine praktische und einfache CMOS-Bildsensorarchitektur vor, die individuelle Pixel-Resets bzw. -Rücksetzungen zulässt, basierend auf der Menge von integrierter Ladung in jedem Pixel. Durch Einbeziehen zusätzlicher horizontaler Register in dem Sensor-Chip, der die Zeilenpixel-Reset-Information speichert, ist es möglich den Reset für Pixel die schwach beleuchtet sind, selektiv zu überspringen bzw. auszulassen (skip). Die Bildsensoren mit hohem bzw. großem DR sind geeignet zum gleichzeitigen Auflösen von Bilddetails in sowohl stark beleuchteten als auch den dunklen Arealen von dem Bild ohne Kontrast zu verlieren oder ohne Signalabschneiden (clipping). Dies verbessert die Performance von dem Sensor signifikant und erreicht einen hohen DR und andere Ziele der Erfindung.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird im Detail in der folgenden Beschreibung von bevorzugten Ausführungsbeispielen mit Bezug auf die folgenden Figuren beschrieben, wobei die Figuren Folgendes zeigen:
1 ist ein schematisches Schaltungsdiagramm von einem typischen CMOS Sensorpixel nach dem Stand der Technik, welches in ein Array bzw. eine Anordnung einbezogen ist, in der die Pixel in einer adressierten Zeile gleichzeitig zurückgesetzt werden;
2 ist ein Schaltungsblockdiagramm von der vorliegenden Erfindung, ein zusätzliches serielles Register in dem Sensorchip einbeziehend, welches die Zeilenpixelrücksetzinformation speichert;
3 zeigt ein Diagramm von der Sensorausgabe für drei verschiedene Pixel von dem Array die mit drei verschiedenen Lichtintensitäten beleuchtet sind; und
4 stellt ein Beispiel von einer Bildsensor-Pixel-Datenabbildung in den Systemspeicher und die Pixel-Datenverarbeitung zum Erlangen der Ausgabe mit hohen DR dar.
Detaillierte Beschreibung von bevorzugten Ausführungsbeispielen
In 2 ist das Blockdiagramm von einem Sensor 200 der vorliegenden Erfindung gezeigt. Das Diagramm zeigt auch die Details von den Spaltenabfühlleitungsvorspannungsschaltungen und den Rücksetz- bzw. Reset-Logikschaltungen. Die Pixel in einer Zeile werden selektiv zurückgesetzt abhängig von den in das Rücksetzregister geladenen Daten. Die Schaltung ist ähnlich zu dem Diagramm von dem in 1 gezeigten Sensor, wobei die wesentlichen Hinzufügungen das Reset-Register 221 und die Reset-Logik-Gatter 220 sind. Pixel 201 werden wie zuvor adressiert durch Spaltensignale, die durch die Leitungen 206 von dem vertikalen Scanner 213 versorgt werden. An den Registertakteingang 215 angelegte Impulse takten den Scanner und der Scann bzw. die Abtastung wird gestartet durch Anlegen des Startimpulses an das Terminal bzw. den Anschluss 218. Das Pixelsignal wird auf den vertikalen Spaltenleitungen 205 und weiter in den horizontalen Scanner-Puffer 212 transferiert. Die an den Anschluss 214 angelegten Impulse takten den horizontalen Scanner und die an den Anschluss 219 angelegten Impulse starten den Scann. M Dummy-Stufen 223 sind zu dem Anfang von dem Horizontal-Scanner hinzugefügt worden, was veranlasst, dass das Pixel-Signal an dem Ausgang mit einer vorherbestimmten Verzögerung erscheint. Der Pixel-Ausgang bzw. die Pixel-Ausgabe wird durch den Verstärker 208 gepuffert und zu den Chip-Ausgangsanschlüssen 216 geliefert. An die Pixel wird von dem Vdd Anschluss 210 über die Spaltenstromquellen 216 Vorspannungsstrom geliefert. Ein Komparator bzw. ein Vergleicher 225 ist mit dem Ausgabeanschluss 216 verbunden und das Pixelausgabesignal wird mit einer Referenzspannung 226 verglichen. Anlegen des gleichen Taktsignals an den Komparatoranschluss 214, wie an das serielle Register, synchronisiert dessen Ausgabe mit der Pixelauslesung, jedoch könnte es notwendig sein, eine gewisse Latenz L = (N – M) aufzunehmen. Wenn die Pixel-Ausgabe kleiner als die Referenzspannung Vref ist, ist die Komparator-Digital-Ausgabe 224 niedrig. Wenn die Pixelausgabe größer als die Referenz ist, wird die Ausgabe 224 hoch. Die Komparatorausgabe ist für das Bildverarbeitungssystem als die Sensordigitalausgabe vorgesehen und wird auch in das Reset-Register 221 über N Dummy-Stufen 222 geladen, die, zusammen mit den M Dummy-Stufen 223, die Komparator-Latenz kompensieren. Abhängig von dem Systemstatus könnte es manchmal wünschenswert sein, die Ausgabe des Komparators 225 zu übersteuern (override). Dies wird erreicht durch Einbeziehen eines Logikgatters 227 und eines Override- bzw. Übersteuerungseingangs 228 in die Schaltung. Nachdem der horizontale Scann komplett ist, wird das Reset-Register 221 mit Daten geladen, die exakt zu den Pixeln korrespondieren, deren Signal die Referenz überstiegen hat. Durch Anlegen eines Reset-Impulses 217 an den Anschluss 209 und durch Nutzen der Daten von dem Register über die Logikgatter 220 werden nur die Pixel mit der hohen Ausgabe durch die Transistoren 207 zurückgesetzt (über die Spaltenleitungen 205). Als ein Ergebnis fahren die Pixel mit niedriger Ausgabe fort Ladung zu integrieren. Der Komparator 225 und die Spaltungsreferenz 226 können auf dem gleichen Chip mit dem Pixelarray integriert sein.
3 zeigt ein Diagramm das drei verschiedene Pixelausgaben überlagert, die auf den Spaltenabfühlleitungen erscheinen würden, falls die Adressen für diese Pixel permanent, aber separat, eingeschaltet wären. Das Diagramm zeigt die Reset-Impulse 308, die an den Anschluss 217 in 2 für die Zwecke der Zeitreferenz geliefert werden und es zeigt auch den Komparatorspannungsreferenzpegel 307. Die Ausgabe 304 entspricht dem hell beleuchteten Pixel; die Ausgabe 305 ist von einem mittelmäßig beleuchteten Pixel und die Ausgabe 306 ist für das Pixel mit minimaler Beleuchtung. Die Pixel- Rücksetzimpulse sind in dem Diagramm auch gezeigt um die notwendige Zeitreferenz vorzusehen. Der einfachen Darstellung wegen wird ein Sensor mit nur zehn Leitungen betrachtet. Das Pixel von der Zeile das adressiert wird, wenn die Rücksetzimpulsgruppe 301 angelegt wird, hat den höchsten Beleuchtungspegel. Dieses Pixel wird durch jeden zweiten Rücksetzimpuls zurückgesetzt. Der Sensor liefert an die Ausgabe nur ein Reset-Überspringen bzw. ein Reset-Skip und einen analogen Signalpegel entsprechend der Rampenspitze 304. Das Pixel von der adressierten Zeile, wenn die Rücksetzgruppe 302 angelegt wird, wird mit der mittleren Lichtintensität beleuchtet. Dieses Pixel wird bei jedem fünften Rücksetzimpuls zurückgesetzt und der Analogwert, der an die Ausgabe geliefert wird, entspricht der Rampenspitze 305. Das Problem tritt auf, wenn das Pixel nicht beleuchtet ist. Die Ausgabe wächst sehr langsam und die Pixel würden durch eine exzessive Menge von Rücksetz-Überspringungen repräsentiert werden. Zurücksetzen dieser Pixel, wenn die Zurücksetz-Überspringungszählung bzw. die Zurücksetz-Skip-Zählung eine bestimmte vorherbestimmte Anzahl übersteigt, beispielsweise zu der Zeit, die durch den Impuls 309 angezeigt ist, verringert dieses Problem. Das resultierende Zurücksetzintervall ist dann die Standardrahmenintegrationszeit von dem Sensor. Der einige Unterschied ist hier, dass es keine gemeinsame Synchronisation von den Integrationszeiten für die Pixel, die in diesem Modus betrieben werden, geben könnte. Jedes Pixel von dem Array besitzt seine eigene Integrationssequenz, die mit der Beleuchtung bis zu einem festen Maximum variiert. Die Pixelzeitsteuerung bzw. das Pixel-Timing ist mit dem Rest von den Pixeln in dem Array nicht phasensynchronisiert und kann sich nur in diskreten Inkrementen bzw. Schritten ändern, wie durch die Rücksetztaktimpulse 308 bestimmt ist.
4 zeigt ein Diagramm von einem Beispiel von einer möglichen Implementierung von der Systemdatenverarbeitungsanordnung. Die Sensor-Pixel-Analog-Ausgabe 416 wird in dem A/D Konverter 407 digitalisiert und wird auf das Bild von Pixeln 402 in dem Speicher-Array 401 abgebildet. Die entsprechende digitale Sensorausgabe 424 wird in das Bild von den Pixeln 403 von dem gleichen Speicher-Array 401 geladen. Diese Sektion von dem Speicher 401 besitzt auch eine Fähigkeit ein Override-Signal 428 zu erzeugen, falls die Zählung von den Zurücksetz-Überspringungen bzw. Reset-Skips in irgendeinem bestimmten Pixel-Bild 403 eine bestimmte vorher bestimmte Grenze übersteigt. Das Speicherbild von den Sensor-Pixeln wird durch die in dem Adressgenerator 406 erzeugten Adressen adressiert. Der Generator kann sowohl den horizontalen als auch den vertikalen Scanner-Takt 414 und 415 nutzen, und er kann auch die Hochlauf-Impulse bzw. Startimpulse (419 und 418) zu diesem Zweck nutzen. Das Speicherabbild von den Sensor-Pixeln 401 wird gescannt und durch den Pixelprozessorblock 420 verarbeitet, um das standardmäßige Digitalformat von dem Sensor-Pixel-Signal in der Form von n-Bit-Pixel-Worten 404 wiederzugewinnen. Die Taktleitung 405 liefert den notwendigen Speicher-Scann-Takt, der nicht auf die Sensor-Scann-Takte bezogen sein kann. Die Ausgabe von dem Pixelprozessor 420 wird in einem anderen Speicher-Array 408 gespeichert. Die Ausgabe von dem Speicher 408 wird weiterverarbeitet um in geeigneter Weise das digitale Signal in einem DR-Kompressor-Block 410 zu komprimieren und um es zur Betrachtung nutzbar zu machen. Der Block 412 führt die notwendige D/A-Konversion durch, falls erforderlich. Die finale komprimierte analoge Ausgabe wird an die Anzeige über den Schnittstellenanschluss bzw. das Interface-Terminal 413 geliefert. Die digitale Ausgabe 411 ist auch von dem System verfügbar für weitere digitale Verarbeitung oder digitale Anzeige. Der DR Kompressorblock 410 wird durch den Modusauswahleingang 425 gesteuert. Viele Modifikationen von diesem allgemeinen Datenfluss sind möglich, einschließlich anderer fortschrittlicherer Signalverarbeitungsschemata, die einfach von Fachleuten abgeleitet werden können. Der Hauptunterschied von dem vorgestellten Konzept gegenüber anderen bekannten Ansätzen befindet sich jedoch in der Rekonstruktion von dem digitalen Pixelsignal mit hohem DR von den Sensoranalogdaten und der Pixelrücksetz-Skip-Zählung. Es ist die Kombination von beidem; die Sensor-Analog-Ausgabe und die Sensor-Digital-Ausgabe, die das Abfühlen mit hohem DR möglich machen.
Nach der Beschreibung der bevorzugten Ausführungsbeispiele von dem neuartigen Hoch-DR-CMOS-Bildsensor und dem Bildverarbeitungssystem dessen Pixel adaptiven Pixel-Reset beinhalten, die nur der Darstellung dienen sollen, und nicht limitierend sein sollen, wird bemerkt, dass Modifikationen und Variationen durch Fachleute im Lichte der obigen Lehren durchgeführt werden können. Es ist deshalb klar, dass Änderungen in den offenbarten speziellen Ausführungsbeispielen von der Erfindung durchgeführt werden können, und zwar welche, die innerhalb des Umfangs der Erfindung liegen, wie durch die angehängten Ansprüche definiert ist.

Claims

Ein aktiver Pixelbild-CMOS-Sensor (200), der Folgendes aufweist: eine Anordnung bzw. ein array mit CMOS-Sensor-Pixeln; Pixel-Adressiermittel, einschließlich eines vertikalen Scanners (213); Pixel-Auslesemittel, einschließlich eines horizontalen Scanner-Puffers (212); und ein Reset- bzw. Rücksetzregister (221), einschließlich von Rücksetzlogikgattern (220) zum selektiven Zurücksetzen von Pixeln; und einen Komparator (225) mit einer Override- bzw. Übersteuerungsfähigkeit, der mit dem Ausgang des CMOS-Sensor-Arrays verbunden ist, wobei der Komparator (225) die Pixel-Ausgangspegel mit einem vorgegebenen Referenzpegel (226) vergleicht, wobei eine digitale Ausgabe (224) von dem Komparator (225) in ein Rücksetzregister (221) geladen wird, und auch an ein Datenverarbeitungssystem als eine digitale Pixel-Sensorausgabe (424) geliefert wird.
Der Bildsensor (200) gemäß Anspruch 1, wobei der Bildsensor (200) Pixel (201) beinhaltet, die individuell zurückgesetzt werden können, und zwar zu unterschiedlichen Zeiten unabhängig von der Auslesezeit.
Der Bildsensor (200) gemäß Anspruch 1, wobei ein Rücksetzsignal, von dem Rücksetzregister (221) an die Pixel geliefert wird, durch Mittel der Sensorspaltenadressierungsleitungen (205).
Der Bildsensor (200) gemäß Anspruch 1, wobei Pixel-Rücksetzdaten in dem Rücksetzregister (221) gespeichert werden und in das Rücksetzregister (221) ungefähr gleichzeitig mit dem Pixel-Auslesen geladen werden.
Der Bildsensor (200) gemäß Anspruch 1, wobei ausgewählte Pixel zurückgesetzt werden, nach dem das Laden des Rücksetzregisters (221) am Ende des Zeilenauslesens komplett ist.
Der Bildsensor (200) gemäß Anspruch 1, der Mittel beinhaltet zum Auslassen bzw. Überspringen des Pixel-Zurücksetzens, falls die Pixel-Ausgabe unterhalb einer bestimmten Schwelle ist, und wobei es dem Pixel erlaubt wird, mehr Ladung zu integrieren, bevor es evtl. zurückgesetzt wird.
Der Bildsensor (200), gemäß Anspruch 1, der ein Signalverarbeitungssystem (400) beinhaltet, das angepasst ist zum Nutzen von sowohl der analogen als auch der digitalen Daten, die von dem Array der CMOS-Sensor-Pixel erlangt werden, zum Bilden von digitalen Pixel-Daten mit einem großen n-Bit-Wort mit einem hohen Dynamikbereich.
Das Bildsensorsignalverarbeitungssystem (400) gemäß Anspruch 7, wobei das Signalverarbeitungssystem Pixel-Speicherstellen beinhaltet mit der Fähigkeit zum Speichern digitalisierter Sensor-Analog-Pixel-Ausgaben und mehrerer Rahmen mit Pixel-Zurücksetz-Zählüberspringungs-Ausgaben und Mittel aufweist zum Erzeugen einer Pixel-Übersteuerungsausgabe, wenn irgendwelche Pixel-Überspringungs-Zählungsspeicherstellen eine vorherbestimmte Grenze übersteigen.
Das Bildsensorsignalverarbeitungssystem (400) gemäß Anspruch 7, das Mittel beinhaltet zum Berechnen auf einer pixel-weisen Grundlage Pixel-Daten mit großem n-Bit-Wort mit hohem Dynamikbereich und zwar aus digitalisierten analogen Pixel-Daten und aus akkumulierten Zurücksetzüberspringungs-Zählungen bzw. Zurücksetz-Skip-Zählungen.
Das Bildsensorsignalverarbeitungssystem (400) gemäß Anspruch 9, das Mittel beinhaltet zum Verarbeiten von Pixel-Daten mit großem n-Bit-Wort mit hohem Dynamikbereich zum Speichern der Daten in geeigneten Speicher-Pixel-Stellen und zum Komprimieren der Daten mit einem ge eigneten Kompressionsalgorithmus zum Bilden von Pixeln mit kleineren n-Bit-Wort-Größen, wobei m < n ist.