DE102016218838A1

DE102016218838A1 - Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung

Info

Publication number: DE102016218838A1
Application number: DE102016218838.0A
Authority: DE
Inventors: Bart Cremers; Manuel H. Innocent
Original assignee: Semiconductor Components Industries LLC
Current assignee: Semiconductor Components Industries LLC
Priority date: 2015-10-01
Filing date: 2016-09-29
Publication date: 2017-04-06
Also published as: US9843738B2; CN106561046B; US20170099423A1; CN106561046A

Abstract

Ein Bilderzeugungssystem kann einen Bildsensor beinhalten, der eine Anordnung von Dual-Gain-Pixeln aufweist. Jedes Pixel kann anhand eines Zweifach-Leseverfahrens angesteuert werden, so dass alle Signale in einer High-Gain-Konfiguration gelesen werden, um die Geschwindigkeit der Bilderzeugungsoperationen zu verbessern oder ihren Leistungsverbrauch zu verringern. Jedes Pixel kann anhand eines Zweifach-Leseverfahrens mit zwei Analog-zu-Digital-Wandlungen angesteuert werden, bei dem zwei Sätze von Kalibrierungsdaten gespeichert werden. Ein Bildsignal mit hohem Dynamikumfang (HDR) kann für jedes Pixel auf Basis von Signalen, die aus dem Pixel gelesen werden, und von Lichtbedingungen erzeugt werden. Das HDR-Bild kann auf Basis einer Kombination aus High- und Low-Gain-Signalen und einem oder beiden von den zwei Sätzen aus Kalibrierungsdaten erzeugt werden. Ein System von Gleichungen kann zur Erzeugung des HDR-Bildes verwendet werden. Das System von Gleichungen kann Funktionen der Lichtstärke beinhalten.

Description

Diese Anmeldung beansprucht die Vorteile und beansprucht die Priorität der am 1. Oktober 2015 eingereichten vorläufigen Patentanmeldung Nr. 62/235,817, die durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen wird.
HINTERGRUND
Dies betrifft generell Bildsensoren und spezieller Verfahren und Schaltkreise zur Ansteuerung von Bildsensorpixeln mit Dual-Gain-Auslesung zur Erzeugung von Bildern mit hohem Dynamikumfang (high dynamic range, HDR) bzw. hohem Kontrast.
Bei herkömmlichen Bilderzeugungssystemen können von bewegten Objekten, durch Bewegungen oder Erschütterungen einer Kamera, durch flackerndes Licht und durch Objekte mit veränderlicher Leuchtkraft Artefakte in einem Einzelbild bzw. Bild-Frame bewirkt werden. Solche Artefakte können beispielsweise fehlende Teile eines Objekts, Farbsaumartefakte und Objektverzerrung beinhalten. Beispiele für Objekte mit veränderlicher Leuchtkraft beinhalten Leuchtdioden-(LED)-Verkehrszeichen (die mehrere Hundert Mal pro Sekunde flackern können) und LED-Bremsleuchten oder Scheinwerfer moderner Autos.
Auch wenn Rolling-Shutter- und Global-Shutter-Modi Bilder mit unterschiedlichen Artefakten hervorbringen, ist die Grundursache für solche Artefakte bei beiden Betriebsmodi die gleiche. In der Regel erfassen Bildsensoren Licht asynchron in Bezug auf die aufgenommene Szenerie bzw. das aufgenommene Bild. Das bedeutet, dass Teile eines Bild-Frames über einem Teil der Frame-Dauer möglicherweise nicht belichtet werden. Dies gilt insbesondere für helle Szenerien, wenn Integrationszeiten viel kürzer sind als die verwendete Frame-Zeit. Zonen in einem Bild-Frame, die nicht vollständig durch dynamische Szenerie belichtet werden, können zu einer Verzerrung von Objekten, zu Geisterbildeffekten und Farbartefakten führen, wenn die Szenerie sich bewegende oder sich schnell verändernde Objekte beinhaltet. Ähnliche Effekte können beobachtet werden, wenn die Kamera während Bildaufnahmeoperationen bewegt oder erschüttert wird.
Herkömmliche Bildgebungs- bzw. Bilderzeugungssysteme können auch Bilder mit Artefakten aufweisen, die mit einem niedrigen Dynamikumfang bzw. Kontrast assoziiert sind. Szenen mit hellen und dunklen Teilen können in herkömmlichen Bildsensoren Artefakte hervorbringen, da Teile des Bildes überbelichtet oder unterbelichtet werden können.
Es ist üblich, Dual-Gain-Pixel zu verwenden, um den Dynamikumfang eines Bildsensors zu verbessern. Sie können entweder in einem festen Auslesemodus mit einem hohen Maß an Verstärkung bzw. High Gain oder mit einem niedrigen Maß an Verstärkung bzw. Low Gain oder in einem dualen Auslesemodus verwendet werden, wo beide Gain-Modi ausgelesen werden. Im dualen Auslesemodus wird eine Ladung entweder vollständig auf der Photodiode gespeichert, oder man lässt sie während der Integration in einen Floating-Diffusion-Knoten überfließen. Die Kombination aus Dual-Gain-Auslesung mit Überlauf während der Integration ermöglicht die größte Steigerung des Dynamikumfangs.
Dual-Gain-Pixel lesen herkömmlicherweise erfasste High-Gain- und Low-Gain-Bilddaten in entsprechenden High-Gain- und Low-Gain-Konfigurationen aus. Das Wechseln zwischen der High-Gain-Konfiguration und der Low-Gain-Konfiguration führt zu elektrischer Überlagerung. Diese Überlagerung bewirkt einen unerwünscht großen elektrischen Fehler bzw. Versatz zwischen Signalen, die in der High-Gain-Konfiguration gelesen werden, und Signalen, die in der Low-Gain-Konfiguration gelesen werden. Dieser elektrische Versatz kann bewirken, dass Pixelausgangssignale einen absoluten Wert haben, der außerhalb des Betriebsbereichs einer analogen Ausleseschaltung in dem Bilderzeugungssystem liegt.
Dual-Gain-Pixel lesen erfasste Bilddaten herkömmlicherweise anhand eines Verfahrens aus, das entweder vier Pixelausleseoperationen und Analog-zu-Digital-Wandlungen (ADCs) benötigt, wenn ohne einen Frame-Puffer gearbeitet wird, oder drei Pixel-Auslesevorgänge und drei ADCs, wenn mit einem Frame-Puffer gearbeitet wird. Im letztgenannten Fall ist der Frame-Puffer nötig, um ein Bezugsbild zur Versatzkorrektur zwischen Signalen bereitzustellen. Die Durchführung zusätzlicher Auslesungen und ADC-Wandlungen benötigt zusätzliche Leistung. Solch ein erhöhter Leistungsverbrauch ist allgemein ungünstig.
Daher wäre es von Vorteil, wenn Bildsensoren mit hohem Dynamikumfang (HDR) geschaffen werden könnten, die keinen großen elektrischen Versatz zwischen Pixelausgangssignalen aufweisen und die weniger Auslesevorgänge und ADC-Wandlungen benötigen als herkömmliche Bildsensoren.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Schema einer der Veranschaulichung dienenden elektronischen Vorrichtung mit einem Bildsensor gemäß einer Ausführungsform.
2 ist ein Schema einer der Veranschaulichung dienenden Pixelanordnung und einer zugehörigen Ausleseschaltung zum Auslesen von Bildsignalen in einem Bildsensor gemäß einer Ausführungsform.
3 ist ein Schaltplan eines Dual-Gain-Bildpixels und eines enisprechenden Potentialdiagramms.
4 ist eine Reihe von Potentialdiagrammen, die Potentialniveaus und den Ladungsfluss durch die Schaltung von 3 bei einer Dreifachleseansteuerung unter Bedingungen starker Beleuchtung und schwacher Beleuchtung veranschaulichen.
5 ist ein Zeitsteuerungsdiagramm, das den Zustand des Pixels, die Zeitsteuerung von Steuersignalen und die Zeitsteuerung von Analog-zu-Digital-Wandlungen und Sensorausleseoperationen in der Schaltung von 3 bei der Dreifachleseansteuerung von 4 veranschaulicht.
6 ist ein Zeitsteuerungsdiagramm, das den Zustand des Pixels, die Zeitsteuerung von Steuersignalen und die Zeitsteuerung von Analog-zu-Digital-Wandlungen und Sensorausleseoperationen in der Schaltung von 3 bei einer Vierfachleseansteuerung veranschaulicht.
7 ist ein Diagramm, das Lichtstärke gegen Signalstärke von Pixelausgangssignalen zeigt, die der Dreifach- bzw. der Vierfachleseansteuerung von 5 und 6 entsprechen.
8 ist ein Diagramm, das Lichtstärke gegen Signalstärke von Pixelausgangssignalen und ein Verfahren zum Mischen von zwei Pixelausgangssignalen veranschaulicht, um ein einzelnes Ausgangssignal mit hohem Dynamikumfang hervorzubringen.
9 ist eine Reihe von Potentialdiagrammen, die Potentialniveaus und den Ladungsfluss durch die Schaltung von 3 bei einer Zweifachleseansteuerung unter Bedingungen starker Beleuchtung, mittelstarker Beleuchtung und schwacher Beleuchtung gemäß einer Ausführungsform veranschaulichen.
10 ist ein Zeitsteuerungsdiagramm, das den Zustand des Pixels, die Zeitsteuerung von Steuersignalen und die Zeitsteuerung von Analog-zu-Digital-Wandlungen und Sensorausleseoperationen in der Schaltung von 3 bei einer Zweifachleseansteuerung gemäß einer Ausführungsform veranschaulichen.
11 ist ein Diagramm, das Lichtstärke gegen Signalstärke von Pixelausgangssignalen und ein Verfahren zum Mischen von Pixelausgangssignalen gemäß einer Ausführungsform veranschaulicht, das zwei verschiedene Mischungsalgorithmen verwendet, um ein lineares Ausgangssignal mit hohem Dynamikumfang zu erhalten.
DETAILLIERTE BESCHREIBUNG
Ausführungsformen der vorliegenden Erfindung betreffen Bildsensoren, und genauer Bildsensoren, die Dual-Gain-Pixel mit Ausgangssignalen mit hohem Dynamikumfang (HDR) aufweisen. Der Fachmann wird erkennen, dass die vorliegenden Ausführungsbeispiele auch ohne einige oder alle dieser spezifischen Details in die Praxis umgesetzt werden können. In anderen Fallen wurden bereits bekannte Operationen nicht ausführlich beschrieben, um die vorliegenden Ausführungsformen nicht unnötig zu verunklaren.
Bilderzeugungssysteme, die digitale Kameramodule aufweisen, werden in elektronischen Vorrichtungen wie Digitalkameras, Mobiltelefonen und anderen elektronischen Vorrichtungen in großem Umfang genutzt. Ein Digitalkamera-Modul kann einen oder mehrere Bildsensoren einschließen, die eintreffendes Licht sammeln, um ein Bild zu erfassen.
In einigen Situationen können bildgebende Systeme einen Teil eines größeren Systems bilden, wie z. B. eines Überwachungssystems oder eines Sicherheitssystems für ein Fahrzeug (z. B. ein Automobil, einen Bus oder ein beliebiges anderes Fahrzeug). Bei einem Fahrzeug-Sicherheitssystem können durch das bildgebende System erfasste Bilder vom Fahrzeug-Sicherheitssystem verwendet werden, um Umweltbedingungen in der Umgebung des Fahrzeugs zu bestimmen. Beispiele für Fahrzeug-Sicherheitssysteme können Systeme einschließen, wie z. B. ein Park-Assistenzsystem, ein automatisches oder halbautomatisches Geschwindigkeitsregelsystem, ein automatisches Bremssystem, ein Kollisionsvermeidungssystem, ein Spurhaltesystem (gelegentlich bezeichnet als Spurabweichungs-Vermeidungssystem) usw.
Zumindest in einigen Fällen kann ein bildgebendes System einen Teil eines halbautonomen oder autonomen selbstfahrenden Fahrzeugs bilden. Derartige bildgebende Systeme können Bilder erfassen und unter Verwendung dieser Bilder in der Nähe befindliche Fahrzeuge erkennen. Wenn ein in der Nähe befindliches Fahrzeug in einem Bild erfasst wird, kann das Fahrzeugsicherheitssystem manchmal ein Warnlicht, einen Warnalarm betätigen oder kann Brems-, aktive Lenk- oder andere aktive Kollisionsvermeidungsmaßnahmen aktivieren. Ein Fahrzeug-Sicherheitssystem kann kontinuierlich von einem bildgebenden System mit einem Digitalkamera-Modul erfasste Bilder verwenden, um das Vermeiden von Kollisionen mit Objekten (z. B. mit anderen Automobilen oder anderen Objekten in der Umgebung) zu unterstützen, um ein unbeabsichtigtes Abweichen (z. B. Überfahren von Fahrbahnbegrenzungen) zu vermeiden oder um auf andere Weise den sicheren Betrieb eines Fahrzeugs während eines normalen Betriebsmodus des Fahrzeugs zu unterstützen.
Bildsensoren können Arrays bzw. Anordnungen aus Bildpixeln einschließen. Die Pixel in den Bildsensoren können lichtempfindliche Elemente wie Photodioden einschließen, die das auftreffende Licht in elektrische Ladung umwandeln. Bildsensoren können eine beliebige Anzahl von Pixeln haben (z. B. hunderte oder tausende oder mehr). Ein typischer Bildsensor kann beispielsweise hunderte, tausende oder Millionen von Pixeln haben (z. B. Megapixel).
Bildsensorpixel können Dual-Gain-Pixel sein, die zusätzliche Transistoren und Speicherregionen zusammen mit Dual-Gain-Ausleseverfahren verwenden, um den Dynamikumfang des Pixels zu verbessern. Die verwendeten Dual-Gain-Ausleseverfahren können angepasst werden, um den elektrischen Versatz zwischen Pixelausgangssignalen zu verringern, die Anzahl der für die Auslesung nötigen Analog-zu-Digital-Wandlungen (ADCs) zu verringern und um einen Frame-Puffer überflüssig zu machen.
1 ist ein Diagramm eines der Veranschaulichung dienenden Imaging-and-Response-Systems mit einem bildgebenden bzw. Bilderzeugungssystem, das einen Bildsensor zum Erfassen von Bildern verwendet. Ein System 100 von 1 kann ein Fahrzeugsicherheitssystem (z. B. ein aktives Bremssystem oder ein anderes Fahrzeugsicherheitssystem) sein, kann ein Überwachungssystem sein oder kann eine elektronische Vorrichtung sein wie eine Kamera, ein Mobiltelefon, eine Videokamera oder eine andere elektronische Vorrichtung, die digitale Bilddaten aufnimmt.
Entsprechend der Darstellung in 1 kann das System 100 ein bildgebendes System wie das bildgebende System 10 sowie Host-Subsysteme wie das Host-Subsystem 20 einschließen. Das bildgebende System 10 kann das Kameramodul 12 einschließen. Das Kameramodul 12 kann einen oder mehrere Bildsensoren 14 und eine oder mehrere Linsen einschließen. Die Linsen im Kameramodul 12 können beispielsweise M·N individuelle, in einem M-×-N-Array angeordnete Linsen einschließen. Die individuellen Bildsensoren 14 können in einem entsprechenden M-×-N-Bildsensor-Array (als Beispiel) angeordnet sein. Die Werte für M und N können jeweils gleich oder größer eins sein, können jeweils gleich oder größer zwei sein, können größer 10 sein oder können irgendwelche anderen geeigneten Werte aufweisen.
Die Bildsensoren einer bestimmten integrierten Schaltung einer Bildsensoranordnung im Kameramodul 12 können jeweils gleich sein oder sie können zu verschiedenen Arten von Bildsensoren gehören. Jeder Bildsensor kann ein VGA-Sensor (Video Graphics Array) mit einer Auflösung von 480 × 640 Bildsensorpixeln (als Beispiel) sein. Andere Ausgestaltungen von Bildsensorpixeln können ebenfalls für die Bildsensoren verwendet werden, falls gewünscht. Zum Beispiel können Bildsensoren mit einer Auflösung über VGA (z. B. hochauflösende Bildsensoren), mit einer Auflösung unter VGA und/oder Bildsensormatrizes, in denen die Bildsensoren nicht alle gleich sind, verwendet werden.
Während der Bildaufnahme- bzw. Bilderfassungsoperationen kann jede Linse Licht auf einen zugeordneten Bildsensor 14 bündeln. Der Bildsensor 14 kann lichtempfindliche Elemente (z. B. Pixel) einschließen, die das Licht in digitale Daten umwandeln. Bildsensoren können eine beliebige Anzahl von Pixeln haben (z. B. hunderte, tausende, Millionen oder mehr). Ein typischer Bildsensor kann beispielsweise Millionen von Pixeln haben (z. B. Megapixel). Zum Beispiel kann der Bildsensor 14 eine Vorspannungsschaltung (z. B. Sourcefolger-Lastschaltkreise), eine Abtast-Halte-Schaltung, eine Doppelabtastungskorrelations-(CDS)-Schaltung, eine Verstärkerschaltung, eine Analog-zu-Digital-Wandlerschaltung, eine Datenausgabeschaltung, einen Speicher (z. B. eine Speicherschaltung), eine Adressschaltung usw. beinhalten.
Stand- und Video-Bilddaten vom Kamerasensor 14 können über den Pfad 28 an der Bildverarbeitungs- und Datenformatierungsschaltung 16 bereitgestellt werden. Die Bildverarbeitungs- und Datenformatierungsschaltung 16 kann verwendet werden, um Bildverarbeitungsfunktionen auszuführen, wie z. B. Datenformatierung, Weißabgleich und Belichtung, Implementierung von Video-Bildstabilisierung, Gesichtserkennung usw. Die Bildverarbeitungs- und Datenlformatierungsschaltung 16 kann auch eingesetzt werden, um bei Bedarf Rohbilddateien der Kamera zu komprimieren (z. B. in das JPEG-Format (Joint Photographic Experts Group)). In einer typischen Ausgestaltung, die gelegentlich als System-on-a-Chip-(SOC)-Ausgestaltung bezeichnet wird, sind der Kamerasensor 14 und die Bildverarbeitungs- und Datenformatierungsschaltung 16 auf einem gemeinsamen Halbleitersubstrat (z. B. einem gemeinsamen Silicium-Chip einer integrierten Bildsensorschaltung) implementiert. Bei Bedarf können der Kamerasensor 14 und die Bildverarbeitungsschaltung 16 auf separaten Halbleitersubstraten ausgebildet sein. Beispielsweise können der Kamerasensor 14 und die Bildverarbeitungssystem 16 auf separaten, aufeinander gestapelten Substraten ausgebildet sein.
Das bildgebende System 10 (z. B. die Bildverarbeitungs- und Datenformatierungsschaltung 16) kann über den Pfad 18 erfasste Bilddaten zum Host-Subsystem 20 übermitteln. Das Host-Subsystem 20 kann ein aktives Steuersystem beinhalten, das Steuersignale zum Steuern von Fahrzeugfunktionen wie Bremsen oder Lenken an externe Vorrichtungen schickt. Das Host-Subsystem 20 kann Verarbeitungssoftware beinhalten zum Erfassen von Objekten in Bildern, zum Erfassen von Bewegungen von Objekten zwischen Einzelbildern, zum Bestimmen der Abstände zu Objekten in Bildern, zum Filtern oder anderweitigen Bearbeiten von Bildern, die vom Bilderzeugungssystem 10 bereitgestellt werden. Das Host-Subsystem 20 kann ein Warnsystem einschließen, das konfiguriert ist, um das bildgebende System 10 außer Kraft zu setzen und/oder eine Warnung zu generieren (z. B. eine Warnleuchte auf der Armaturentafel eines Automobils, eine akustische Warnung oder eine andere Warnung), falls die Verifizierungsbilddaten, die mit einem Bildsensor assoziiert sind, angeben, dass der Bildsensor nicht korrekt funktioniert.
Falls gewünscht, kann das System 100 einem Benutzer zahlreiche hochentwickelte Funktionen bereitstellen. Beispielsweise kann einem Nutzer in einem Computer oder einem hochentwickelten Mobiltelefon die Möglichkeit geboten werden, Nutzeranwendungen laufen zu lassen. Zum Implementieren dieser Funktionen kann das Host-Subsystem 20 des Systems 100 Eingabe-Ausgabe-Einrichtungen 22 haben, wie z. B. Tastaturen, Eingabe-Ausgabe-Ports, Joysticks und Anzeigen und eine Speicher- und Verarbeitungsschaltung 24. Die Speicher- und Verarbeitungsschaltung 24 kann flüchtigen und nichtflüchtigen Speicher (z. B. Speicher mit wahlfreiem Zugriff, Flash-Speicher, Festplatten, Festkörperlaufwerke usw.) beinhalten. Die Speicher- und Verarbeitungsschaltung 24 kann auch Mikroprozessoren, Mikrocontroller, Digitalsignalprozessoren, anwendungsspezifische integrierte Schaltungen usw. beinhalten.
Während des Betriebs des Bilderzeugungssystems 10 kann das Kameramodul 12 Bild-Frames kontinuierlich erfassen und am Host-Subsystem 20 bereitstellen. Während der Bilderfassungsoperationen kann die dem Bildsensor 14 zugeordnete Verifizierungsschaltung hin und wieder betrieben werden (z. B. im Anschluss an jede Bild-Frame-Erfassung, im Anschluss an jede zweite Bild-Frame-Erfassung, im Anschluss an jede fünfte Bild-Frame-Erfassung, während eines Teils einer Bild-Frame-Erfassung usw.). Bilder, die erfasst werden, während eine Verifizierungsschaltung betätigt wird, können Verifizierungsbilddaten einschließen, die Verifizierungsinformationen enthalten. Verifizierungsbilddaten können an der Bildverarbeitungsschaltung 16 und/oder an der Speicher- und Verarbeitungsschaltung 24 bereitgestellt werden. Die Bildverarbeitungsschaltung 16 kann konfiguriert sein, um die Verifizierungsbilddaten mit einem in der Bildverarbeitungsschaltung 16 gespeicherten vorbestimmten Datensatz zu vergleichen. Im Anschluss an den Vergleich kann die Bildverarbeitungsschaltung 16 Zustandsinformationen oder andere Verifzierungsinformationen zum Host-Subsystem 20 senden.
Ein Beispiel einer Ausgestaltung des Kameramoduls 12 von 1 ist in 2 dargestellt. Entsprechend der Darstellung in 2 schließt das Kameramodul 12 einen Bildsensor 14 und eine Steuer- und Verarbeitungsschaltung 44 ein. Die Steuer- und Verarbeitungsschaltung 44 kann eine Entsprechung haben zur Bildverarbeitungs- und Datenformatierungsschaltung 16 in 1. Der Bildsensor 14 kann ein Pixel-Array, wie z. B. das Array 32 aus Pixeln 34 einschließen (hierin gelegentlich als Bildsensorpixel oder Bildpixel 34 bezeichnet). Über den Datenpfad 26 kann die Steuer- und Verarbeitungsschaltung 44 mit einer Zeilensteuerschaltung 40 verbunden sein und mit einer Spaltensteuer- und Ausleseschaltung 42 verbunden sein. Die Zeilensteuerschaltung 40 kann Zeilenadressen von der Steuer- und Verarbeitungsschaltung 44 empfangen und kann über Steuerpfade 36 entsprechende Zeilensteuersignale an Bildpixel 34 liefern (z. B. Dualwandlungsgewinn-Steuersignale, Pixel-Reset-Steuersignale, Ladungsübertragungs-Steuersignale, Blooming-Steuersignale, Zeilenauswahl-Steuersignale oder irgendwelche anderen gewünschten Pixelsteuersignale). Die Spaltensteuer- und Auslese-Schaltung 42 kann über eine oder mehrere Signalleitungen, wie z. B. die Spaltenleitungen 38, mit den Spalten des Pixel-Arrays 32 verbunden sein. Die Spaltenleitungen 38 können mit jeder Spalte der Bildpixel 34 im Bildpixel-Array 32 verbunden sein (z. B. kann jede Pixel-Spalte mit einer entsprechenden Spaltenleitung 38 verbunden sein). Die Spaltenleitungen 38 können zum Auslesen von Bildsignalen von den Bildpixeln 34 und zur Übertragung von Vorspannungssignalen (z. B. Vorspannungsströmen oder Vorspannungsspannungen) zu den Bildpixeln 34 verwendet werden. Während Bildpixelausleseoperationen kann eine Pixelzeile im Bildpixel-Array 32 unter Verwendung der Zeilensteuerschaltung 40 ausgewählt werden, und Bilddaten, die mit Bildpixeln 34 dieser Pixelzeile assoziiert sind, können durch die Spaltensteuer- und -ausleseschaltung 42 auf Spaltenleitungen 38 ausgelesen werden.
Die Spaltensteuer- und -ausleseschaltung 42 kann eine Spaltenschaltung, beispielsweise Spaltenverstärker zum Verstärken von Signalen, die aus dem Array 32 ausgelesen werden, eine Abtast- und Halteschaltung zum Abtasten und Speichern von Signalen, die aus dem Array 32 ausgelesen werden, eine Analog-zu-Digital-Wandlerschaltung zum Umwandeln von ausgelesenen Analogsignalen in entsprechende Digitalsignale und Spaltenspeicher zum Speichern der ausgelesenen Signale und irgendwelcher anderen gewünschten Daten beinhalten. Die Spaltensteuer- und -ausleseschaltung 42 kann über die Leitung 26 digitale Pixelwerte an die Steuer- und Verarbeitungsschaltung 44 ausgeben.
Das Array 32 kann eine beliebige Anzahl von Zeilen und Spalten haben. Generell richten sich die Größe des Arrays 32 und die Anzahl der Zeilen und Spalten im Array 32 nach der spezifischen Implementierung des Bildsensors 14. Während Zeilen und Spalten hierin generell als horizontal bzw. vertikal beschrieben sind, können sich Zeilen und Spalten auf beliebige rasterähnliche Strukturen beziehen (z. B. können hierin als Zeilen beschriebene Merkmale vertikal angeordnet sein und hierin als Spalten beschriebene Merkmale können horizontal angeordnet sein).
Falls gewünscht, kann das Array 32 Teil einer Stapelchip-Ausgestaltung sein, bei der Pixel 34 des Array 32 auf zwei oder mehr gestapelte Substrate aufgeteilt sind. Bei einer solchen Ausgestaltung kann jedes der Pixel 34 im Array 32 auf die beiden Chips an jedem gewünschten Knoten im Pixel aufgeteilt werden. Zum Beispiel kann ein Knoten wie beispielsweise ein Floating-Diffusion-Knoten über zwei Chips hinweg ausgebildet sein. Eine Pixelschaltung, welche die Photodiode und die Schaltung beinhaltet, die zwischen die Photodiode und den gewünschten Knoten (beispielsweise den Floating-Diffusion-Knoten wie im vorliegenden Beispiel) gekoppelt ist, kann auf einem ersten Chip ausgebildet sein, und die übrige Pixelschaltung kann auf einem zweiten Chip ausgebildet sein. Der gewünschte Knoten kann auf einer Kopplungsstruktur (beispielsweise einem Kontakt-Pad, einem Mikropad, einer leitenden Verbindungsstruktur oder einer leitenden Durchkontaktierung), welche die beiden Chips miteinander verbindet, ausgebildet sein (d. h. ein Teil davon sein). Bevor die beiden Chips gebondet werden, kann die Kopplungsstruktur einen ersten Teil auf dem ersten Chip aufweisen und kann einen zweiten Teil auf dem zweiten Chip aufweisen. Der erste Chip und der zweite Chip können so aneinander gebondet werden, dass ein erster Teil der Kopplungsstruktur und der zweite Teil der Kopplungsstruktur aneinander gebondet und elektrisch verbunden werden. Falls gewünscht, können der erste und der zweite Teil durch Pressen aneinander gebondet werden. Dies soll jedoch nur der Veranschaulichung dienen. Falls gewünscht, können der erste und der zweite Teil der Kopplungsstrukturen, die jeweils am ersten und am zweiten Chip ausgebildet sind, anhand einer beliebigen Metall-an-Metall-Bondingtechnik, beispielsweise Löten oder Schweißen, aneinander gebondet werden.
Wie bereits angegeben, kann der gewünschte Knoten im Pixelschaltkreis, der über die beiden Chips verteilt ist, ein Floating-Diffusion-Knoten sein. Alternativ dazu der Knoten zwischen einer Floating-Diffusion-Region und dem Gate eines Sourcefolgertransistors (d. h. der Floating-Diffusion-Knoten kann auf dem ersten Chip ausgebildet sein, auf dem die Photodiode ausgebildet ist, während die Kopplungsstruktur den Floating-Diffusion-Knoten mit dem Sourcefolgertransistor auf dem zweiten Chip verbinden kann), der Knoten zwischen einer Floating-Diffusion-Region und einem Source-Drain-Knoten eines Übertragungstransistors (d. h. der Floating-Diffusion-Knoten kann auf dem zweiten Chip ausgebildet sein, auf dem sich die Photodiode nicht befindet), der Knoten zwischen einem Source-Drain-Knoten eines Sourcefolgertransistors und einem Zeilenauswahltransistor oder irgendein anderer Knoten des Pixelschaltkreises.
3 ist ein Schaltplan eines Dual-Gain-Bildpixels und eines entsprechenden Potentialdiagramms. Entsprechend der Darstellung in 3 beinhaltet ein Dual-Gain-Bildpixel 200 ein lichtempfindliches Element 202 (z. B. eine Photodiode) mit einem ersten Anschluss, der mit Masse 222 verbunden ist, und einem zweiten Anschluss, der über den Übertragungstransistor 204 mit einem Floating-Diffusion-Knoten (FD) 212 verbunden ist. Der Floating-Diffusion-Knoten 212 ist über einen Gain-Auswahltransistor 206 und einen Reset-Transistor 208 mit einer Spannungsquelle 220 verbunden. Ein Gain-Auswahlkondensator 210 weist eine Kapazität C_GS auf und weist einen ersten Anschluss, der mit der Masse 222 verbunden ist, und einen zweiten Anschluss auf, der mit einem Knoten verbunden ist, der zwischen dem Gain-Auswahltransistor 206 und dem Reset-Transistor 208 angeordnet ist. Falls gewünscht, kann der erste Anschluss des Gain-Auswahlkondensators 210 stattdessen mit einem (nicht dargestellten) festen Potential verbunden sein. Der Sourcefolgertransistor 214 weist auf: einen Gate-Anschluss, der mit dem Floating-Diffusion-Knoten 212 verbunden ist, einen ersten Source-Drain-Anschluss, der mit der Spannungsquelle 220 verbunden ist, und einen zweiten Source-Drain-Anschluss, der über einen Zeilenauswahltransistor 216 mit einer Spaltenausgangsleitung 218 verbunden ist.
Ein Gate-Anschluss des Übertragungstransistors 204 empfängt ein Steuersignal TX. Ein Gate-Anschluss des Gain-Auswahltransistors 206 empfängt ein Steuersignal GS. Ein Gate-Anschluss des Reset-Transistors 208 empfängt ein Steuersignal RESET. Ein Gate-Anschluss des Zeilenauswahltransistors 216 empfängt ein Steuersignal RS. Die Spannungsquelle 220 stellt eine Spannung Vdd bereit. Die Steuersignale TX, GS, RESET und RS werden von einer Zeilensteuerschaltung bereitgestellt, beispielsweise von der Zeilensteuerschaltung 40 in 2.
Das Potentialdiagramm 230, gezeigt in 3, entspricht dem Spannungsniveau (V) an verschiedenen Stellen innerhalb des Dual-Gain-Pixels 200 und wird verwendet, um Spannungs- und Ladungsniveaus an diesen Stellen zu veranschaulichen, wie sie auftreten während einer Pixeloperation in 4 und 9. Die Photodiodenregion 232 entspricht dem Spannungsniveau an der Photodiode 202. Die Übertragungsregion 234 entspricht dem Spannungsniveau am Übertragungstransistor 204. Die Floating-Diffusion-Region 236 entspricht dem Spannungsniveau am Floating-Diffusion-Knoten 212. Die Gain-Auswahlregion 238 entspricht dem Spannungsniveau am Gain-Auswahltransistor 206. Die Gain-Auswahlspeicherregion 240 entspricht dem Spannungsniveau am Gain-Auswahlkondensator 210. Die Reset-Region 242 entspricht dem Spannungsniveau am Reset-Transistor 208. Die Spannungsquellenregion 244 entspricht dem Spannungsniveau an der Spannungsquelle 220. Ladung (dargestellt durch dunklere Regionen in 4 und 9) akkumuliert in der Photodiodenregion 232 während einer Photodiodenintegration und wird während Ladungsübertragungs- und Signalausleseoperationen auf die Regionen 236 und 240 übertragen.
4 zeigt eine Reihe von Potentialdiagrammen, die eine Entsprechung zeigen zu dem Potentialdiagramm 230 in 3 und die Potentialniveaus im Dual-Gain-Pixel 200 während verschiedener Zeitspannen während einer Dreifachleseansteuerung des Dual-Gain-Pixels 200 sowohl unter Bedingungen starker Beleuchtung als auch unter Bedingungen schwacher Beleuchtung veranschaulichen. 5 zeigt ein Zeitsteuerungsdiagramm für die Dreifachleseansteuerung des Dual-Gain-Pixels 200. Das Zeitsteuerungsdiagramm von 5 veranschaulicht den Zustand des Pixels 200, die Zeitsteuerung der Steuersignale RESET, TX, GS und RS und die Zeitsteuerung der ADCs und Sensorausleseoperationen des Bildsensors, der das Dual-Gain-Pixel 200 enthält. Das Zeitsteuerungsdiagramm von 5 entspricht den Potentialdiagrammen von 4. In einer Zeitspanne t₁ werden die Signale TX, GS und RESET auf gültig gesetzt, so dass die Regionen 234, 238 und 242 auf ein hohes Spannungsniveau gesetzt werden, um das Pixel 200 zurückzusetzen. In einer Zeitspanne t₂ werden TX und RESET aufgültig gesetzt, so dass die Regionen 234 und 242 auf ein niedriges Spannungsniveau gesetzt werden.
Pixelbelichtung und -überlauf (overflow) finden in den Zeitspannen t₁–t₃ statt. Die Zeitspanne t₂ stellt den Beginn der Photodiodenladungsintegration dar. Die Zeitspanne t₃ stellt das Ende der Photodiodenladungsintegration dar. Unter Bedingungen schwacher Beleuchtung wird in einer Zeitspanne t₃ die gesamte Ladung in der Photodiodenregion 232 gehalten und es kommt nicht zu einem Überlauf. Bei einer starken Beleuchtung übersteigt die akkumulierte Ladung die Kapazität der Photodiodenregion 232 und fließt in der Zeitspanne t₃ aus der Photodiodenregion 232 in die Floating-Diffusion-Region 236 und die Gain-Auswahlspeicherregion 240.
Eine Pixelauslesung findet während der Zeitspannen t₄–t₈ statt. In der Zeitspanne t₄ wird das Steuersignal RS gepulst, während die Signale RESET, TX und GS auf nichtgültig gesetzt werden (d. h. während das Pixel 200 in einer Konfiguration mit High Gain bzw. hohem Verstärkungsmaß ist). Unter Bedingungen schwacher Beleuchtung, wo keine Ladung übergelaufen ist, verbleibt die akkumulierte Ladung in der Photodiodenregion 232 und trägt nichts zum HGR bei. Unter Bedingungen starker Beleuchtung trägt eine Überlaufladung in der Floating-Diffusion-Region 236 zum HGR bei. Zur Zeit t₅ wird das Signal TX auf gültig gesetzt, während die Signale GS und RESET auf nichtgültig gesetzt werden, um Ladung aus der Photodiodenregion 232 zur Floating-Diffusion-Region 236 zu übertragen. Unter Bedingungen schwacher Beleuchtung wird die Ladung der Photodiode vollständig übertragen, während unter Bedingungen starker Beleuchtung ein Teil der Ladung in der Photodiodenregion 232 zurückbleibt. Zur Zeit t₆ wird das Signal RS gepulst, während die Signale RESET, TX und GS auf nichtgültig gesetzt werden, um die High-Gain-Signalspannung HGS zu lesen. In einer Zeitspanne t₇ werden die Signale TX und GS auf gültig gesetzt, während das Signal REST auf nichtgültig gesetzt wird, so dass jegliche Ladung, die in der Photodiodenregion 232 verblieben ist, auf die Floating-Diffusion-Knoten 236 und die Gain-Auswahlregion 240 verteilt wird. In der Zeitspanne t₈ wird das Signal RS gepulst, während das Signal GS auf gültig gesetzt wird und die Signale RESET und TX auf nichtgültig gesetzt werden (d. h. während das Pixel 200 in einer Low-Gain-Konfiguration ist), um die Low-Gain-Signalspannung LGS zu lesen. Der Pixel-Reset bzw. die Zurücksetzung des Pixels findet in der Zeitspanne t₉ statt. In der Zeitspanne t₉ bleiben die Signale RESET, TX und GS auf gültig gesetzt, bis eine neue Pixelbelichtungs- und -überlaufperiode beginnt.
Entsprechend der Darstellung in 5 werden von dem Bildsensor, der das Dual-Gain-Pixel 200 enthält, pro aufgenommenem Bild drei ADCs und zwei Sensorausleseoperationen durchgeführt. HGR, HGS und LGS werden jeweils unmittelbar nach der Auslesung von analogen in digitale Signale umgewandelt. Nachdem die HGR- und HGS-Signale einer ADC-Verarbeitung unterzogen wurden, wird durch Subtrahieren von HGR von HGS ein High-Gain-Signal HG(S-R) erzeugt und dann aus dem Bildsensor ausgelesen. Nach dem Auslesen von HG(S-R) wird dann LGS aus dem Bildsensor ausgelesen.
Man beachte, dass keine Low-Gain-Reset-Spannung ausgelesen wird während der Pixeloperation von 5. Stattdessen wird ein Frame-Puffer verwendet, um eine Kalibrierungsspannung CAL zu speichern, die der Spannung am Floating-Diffusion-Knoten während des Pixel-Reset entspricht. CAL wird während einer nachgelagerten Verarbeitung von LGS subtrahiert, um ein Low-Gain-Signal zu erzeugen. Die Hinzunahme dieses Frame-Puffers erfordert die Einbeziehung zusätzlicher Hardware in den Bildsensor, verringert aber die Anzahl der Lesungen, die pro aufgenommenem Bild durchgeführt werden müssen.
6 zeigt ein Zeitsteuerungsdiagramm für eine Vierfachleseansteuerung des Dual-Gain-Pixels 200. Das Zeitsteuerungsdiagramm von 6 veranschaulicht den Zustand des Pixels 200, die Zeitsteuerung der Steuersignale RESET, TX, GS und RS und die Zeitsteuerung der ADCs und Sensorausleseoperationen des Bildsensors, der das Dual-Gain-Pixel 200 enthält. Die Operationen des Vierfach-Leseverfahrens, die während der Zeitspannen t1–t8 stattfinden, sind denen im Wesentlichen gleich, die oben beschrieben wurden im Zusammenhang mit 5, und Beschreibungen dieser Operationen werden hier um der Kürze willen nicht wiederholt. In dem Vierfach-Leseverfahren von 6 endet die Pixelauslesung nicht mit der Auslesung von LGS. Stattdessen können in einer Zeitspanne t₉ die Signale RESET und GS auf gültig gesetzt werden, während die Signale TX und RS auf nicht gültig gesetzt werden, um das Pixel 200 auf die Spannung Vdd zurückzusetzen. In einer Zeitspanne t₁₀ wird das Signal RS gepulst, während das Signal GS auf gültig gesetzt wird und während die Signale TX und RESET auf nicht gültig gesetzt werden, um die Low-Gain-Reset-Spannung LGR auszulesen. Der Pixel-Reset findet in der Zeitspanne t₁₁ statt. Während der Zeitspanne t₁₁ bleiben die Signale RESET, TX und GS auf gültig gesetzt, bis eine neue Pixelbelichtungs- und -überlaufperiode beginnt.
Entsprechend der Darstellung in 6 werden von dem Bildsensor, der das Dual-Gain-Pixel 200 enthält, pro aufgenommenem Bild vier ADCs und zwei Sensorausleseoperationen durchgeführt. HGR, HGS, LGS und LGR werden jeweils unmittelbar nach ihrer Lesung von analogen in digitale Signale umgewandelt. Nachdem die HGR- und HGS-Signale einer ADC-Verarbeitung unterzogen wurden, wird durch Subtrahieren von HGR von HGS ein High-Gain-Signal HG(S-R) erzeugt und dann aus dem Bildsensor ausgelesen. Nach der Auslesung von HG(S-R) wird durch Subtrahieren von LGR von LGS ein Low-Gain-Signal LG(S-R) erzeugt, das dann aus dem Bildsensor ausgelesen wird.
Man beachte, dass in dem Vierfach-Leseverfahren von 6 das Low-Gain-Signal LG(S-R) zum Teil auf Basis der Low-Gain-Reset-Spannung LGR erzeugt wird, die zur Zeit t₁₀ ausgelesen wird, und nicht auf Basis eines gespeicherten Kalibrierungssignals (z. B. das Signals CAL, das oben beschrieben wurde im Zusammenhang mit 5). Dadurch entfällt die Notwendigkeit für die Speicherung eines Kalibrierungssignals in einem Frame-Puffer. Durch dieses Verfahren wird die Anzahl der Lesungen erhöht, die pro aufgenommenem Bild nötig sind, aber dafür wird keinerlei zusätzliche Hardware für einen Frame-Puffer benötigt.
7 ist ein Diagramm, das eine Lichtstärke gegenüber einer Signalstärke (-V) von Signalen veranschaulicht, die unter Verwendung der Dreifach-/Vielfachleseansteuerungen gelesen werden wie in 4–6. Ein Ladungsüberlauf findet bei einem Lichtstärkeniveau 702 statt. Bei der Dreifachleseansteuerung von 4 und 5 kann ein Kalibrierungssignal CAL, das einer Spannung 740 entspricht, in einem Frame-Puffer gespeichert werden, statt ein Signal LGR zu lesen. Die Signale HGR und LGS und ein Teil des Signals HGS weisen oberhalb des Niveaus 702 den gleichen Gradienten 704 für die Lichtstärken auf, aber das Signal HGS wird begrenzt bzw. geclippt, sobald die Lichtstärke groß genug ist, um ein HGS-Signal zu erzeugen, das außerhalb des Betriebsbereichs analoger Ausleseketten im Bildsensor liegt. Die Signale HGS und HGR werden in einer High-Gain-Konfiguration gelesen, während die Signale LGS und LGR in einer Low-Gain-Konfiguration ausgelesen werden.
8 ist ein Diagramm, das eine Lichtstärke gegenüber einer Signalstärke (-V) von Pixelausgangssignalen und ein Verfahren veranschaulicht zum Mischen von zwei Pixelausgangssignalen, um ein einzelnes lineares Ausgangssignal HDR mit hohem Dynamikumfang hervorzubringen. Das High-Gain-Signal HG entspricht dem High-Gain-Signal HG(S-R) von 5–7. Das Low-Gain-Signal LG entspricht dem Low-Gain-Signal LG(S-R) oder LG(S) von 5–7. Das Signal HDR mit dem hohen Dynamikumfang stellt das tatsächliche Signal dar, das nach der Verarbeitung von dem Pixel ausgegeben wird. Für Lichtstärken im Bereich 824 wird das High-Gain-Signal HG als HDR ausgegeben. Für Lichtstärken im Bereich 826 wird das Low-Gain-Signal LG entlang des Pfades 822 verstärkt und dann als HDR ausgegeben. Das Signal LG wird im Bereich 826 deshalb verwendet, weil dies der Bereich ist, in dem das Signal HG 820 ein Clipping erfährt, weil seine Signalstärke außerhalb des Betriebsbereichs der analogen Ausleseketten des Bildsensors liegt.
In der Mischregion 828 ist HDR definiert als die Summe eines Bruchteils des High-Gain-Signals HG und eines Bruchteils des verstärkten Low-Gain-Signals LG. Zum Beispiel kann HDR anhand der nachstehenden Gleichung (1) berechnet werden: HDR = (1 – α)(HG) + (α)(G)(LG) (1) worin G das Verstärkungsverhältnis zwischen HG und LG ist, das verwendet wird, um LG zu verstärken, und wobei α irgendeine gewünschte Funktion (z. B. linear, s-förmig) ist, die im Bereich von 0 bis 1 liegt, während die Lichtstärke in einem Bereich vom Beginn der Mischregion 828 bis zum Ende der Mischregion 828 liegt. Die Überführung des Wertes für HDR von HG auf LG durch Mischen vermeidet einen abrupten Rauschanstieg und verhindert Fehler bei der angenommenen Gain-Differenz zwischen HG und LG. Verglichen mit der Diskontinuität, die erzeugt wird, wenn ein harter Wechsel von HG auf LG vollzogen wird, führt dieses Mischen nur zu einer geringen Nichtlinearität des Signals.
9 zeigt eine Reihe von Potentialdiagrammen entsprechend dem Potentialdiagramm 230 in 3, die Potentialniveaus im Dual-Gain-Pixel 200 in verschiedenen Zeitspannen während einer Zweifachleseansteuerung des Dual-Gain-Pixels 200 unter Bedingungen einer starken Beleuchtung, mittelstarken Beleuchtung und schwachen Beleuchtung veranschaulichen. 10 zeigt ein Zeitsteuerungsdiagramm für die Zweifachleseansteuerung des Dual-Gain-Pixels 200 von 8. Das Zeitsteuerungsdiagramm von 10 veranschaulicht den Zustand des Pixels 200, die Zeitsteuerung der Steuersignale RESET, TX, GS und RS und die Zeitsteuerung der ADCs und Sensorausleseoperationen des Bildsensors, der das Dual-Gain-Pixel 200 enthält. Die Operationen des Zweifach-Leseverfahrens von 8 und 9, die während der Zeitspannen t₁–t₃ stattfinden, können denen im Wesentlichen gleich sein, die oben beschrieben wurden im Zusammenhang mit 5, und Beschreibungen dieser Operationen werden hier um der Kürze willen nicht wiederholt. In dem Zweifach-Leseverfahren von 9 und 10 können alle Signale in einer High-Gain-Konfiguration aus dem Pixel 200 ausgelesen werden. Die Zeitspannen t₄–1₆ können der Pixelauslesung entsprechen. In der Zeitspanne t₄ kann das Signal RS gepulst werden, während die Signale GS, TX und RESET auf nichtgültig (d. h. eine High-Gain-Konfiguration) gesetzt werden, um die High-Gain-Reset-Spannung HGR zu lesen. Unter Bedingungen schwacher Beleuchtung enthält die Floating-Diffusion-Region 236 nur wenig oder gar keine Ladung, wenn HGR gelesen wird. Unter Bedingungen mittelstarker und starker Beleuchtung enthält die Floating-Diffusion-Region 236 eine Ladung, die während der Ladungsakkumulation von der Photodiodenregion 232 übergelaufen ist. In der Zeitspanne t₅ kann das Signal TX auf gültig gesetzt werden, während die Signale GS, RS und RESET auf nichtgültig gesetzt werden, um eine nicht übergelaufene Ladung von der Photodiodenregion 232 auf die Floating-Diffusion-Region 236 zu übertragen. Unter Bedingungen schwacher Beleuchtung und Bedingungen mittelstarker Beleuchtung kann die nicht übergelaufene Ladung von der Photodiodenregion 232 vollständig auf die Floating-Diffusion-Region 236 übertragen werden. Unter Bedingungen starker Beleuchtung kann wegen einer begrenzten Kapazität der Floating-Diffusion-Region 236 ein Teil der nicht übergelaufenen Ladung in der Photodiodenregion 232 verbleiben, nachdem die Ladungsübertragung in der Zeitspanne t₅ stattgefunden hat. In der Zeitspanne t₆ kann das Signal RS auf gültig gesetzt werden, während die Signale GS, TX und RESET auf nichtgültig gesetzt werden, um die High-Gain-Signalspannung HGS zu lesen. Ein Pixel-Reset findet erneut in der Zeitspanne t₇ statt. Während der Zeitspanne t₇ bleiben die Signale RESET, TX und GS auf gültig gesetzt, bis eine neue Pixelbelichtungs- und -überlaufperiode beginnt.
Entsprechend der Darstellung in 10 werden von dem Bildsensor, der das Dual-Gain-Pixel 200 enthält, pro aufgenommenem Bild zwei ADCs und zwei Sensorausleseoperationen durchgeführt. HGR und HGS werden jeweils unmittelbar nach ihrer Lesung von analogen in digitale Signale umgewandelt. Nachdem die Signale HGR und HGS einer ADC-Verarbeitung unterzogen wurden, wird ein Bildsignal HDR mit hohem Dynamikumfang (hierin manchmal auch als Signal HDR mit hohem Dynamikumfang bezeichnet) erzeugt. HDR kann beispielsweise unter Verwendung einer Bildverarbeitungsschaltung erzeugt werden, beispielsweise der Bildverarbeitungs- und Datenformatierungsschaltung 16 in 1. HDR wird auf Basis der nachstehenden Gleichung (2) berechnet, wenn die Lichtstärke unter einem ersten Schwellenwert liegt. HDR wird auf Basis der nachstehenden Gleichung (3) berechnet, wenn die Lichtstärke zwischen einem ersten und einem zweiten Schwellenwert liegt. HDR wird auf Basis der nachstehenden Gleichung (4) berechnet, wenn die Lichtstärke zwischen dem zweiten und einem dritten Schwellenwert liegt. HDR wird auf Basis der nachstehenden Gleichung (5) berechnet, wenn die Lichtstärke zwischen dem dritten und einem vierten Schwellenwert liegt. HDR wird auf Basis der nachstehenden Gleichung (6) berechnet, wenn die Lichtstärke über dem vierten Schwellenwert liegt. HDR = HGS – HGR (2) HDR = HGS – HGR + (α)(G)(HGR – CAL1 α = [0..1] (3) HDR = HGS – HGR + (G)(HGR – CAL1) (4) HDR = (1 – β)((HGS – HGR) – (G)(HGR – CAL1)) + (β)(CAL2 + ((G)(HGR – CAL1))) β = [0..1] (5) HDR = CAL2 + (G)(HGR – CAL1) (6) wobei G das Verstärkungsverhältnis zwischen HGR nach dem Beginn des Überlaufens und HGS vor dem Beginn des Überlaufens ist, wobei Überlaufen definiert ist als Beginn eines bestimmten Lichtstärkeniveaus, wobei CAL1 ein gespeicherter Kalibrierungswert ist, der dem Wert von HGR im Dunkeln entspricht (d. h. CAL1 ist eine Dunkelheits-Offset-Kalibrierungsspannung), wobei CAL2 ein gespeicherter Kalibrierungswert ist, der dem Wert (HGS – HGR) entspricht, wenn die Lichtstärke zwischen dem zweiten und dem dritten Schwellenwert liegt (z. B. zu Beginn eines Ladungsüberlaufs von der Photodiode), wobei α eine beliebige Funktion ist (z. B. linear, s-förmig), die im Bereich von 0 bis 1 liegt, während die Lichtstärke im Bereich vom ersten Schwellenwert bis zum zweiten Schwellenwert liegt, und wobei β irgendeine gewünschte Funktion ist (z. B. linear, s-förmig), die im Bereich von 0 bis 1 liegt, während die Lichtstärke im Bereich vom dritten Schwellenwert bis zum vierten Schwellenwert liegt. Die Funktionen α und β können vordefinierte Funktionen der Lichtstärke sein. Die Kalibrierungswerte CAL1 und CAL2 können beispielsweise in entsprechenden Frame-Puffer auf dem Bildsensor gespeichert werden.
Das Zweifach-Leseverfahren von 9–10 kann Vorteile haben gegenüber den Verfahren von 4–6. Da das Zweifach-Leseverfahren weniger Lesungen und weniger ADCs benötigt als die Dreifach- und Vierfach-Leseverfahren, kann ein schneller Betrieb auf dem gleichen Leistungsniveau oder ein verringerter Leistungsverbrauch bei der gleichen Betriebsgeschwindigkeit erreicht werden. Das Zweifach-Leseverfahren erhöht außerdem leicht die maximale Photoladungskapazität des Pixels, an dem das Verfahren angewendet wird. Man beachte, dass diese Vorteile mit dem Nachteil verbunden sind, dass man zwei Kalibrierungssignale (d. h. externe Bezugsbilder) zur Verwendung bei der HDR-Signalberechnung im Bildsensor speichern muss. Außerdem führt das Zweifach-Leseverfahren Signallesungen nur in einer High-Gain-Konfiguration durch, was vorteilhaft ist gegenüber herkömmlichen Verfahren, die eine Kombination aus Lesungen in High- und Low-Gain-Konfigurationen verwenden, was zu einem elektrischen Versatz zwischen High- und Low-Gain-Signalen führt.
11 ist ein Diagramm, das Lichtstärke gegenüber Signalstärke (-V) für Pixelausgangssignale und eine analoge Entscheidungsfällung zur Erzeugung eines linearen Ausgangssignals HDR mit hohem Dynamikumfang unter Verwendung eines verbesserten Mischverfahrens veranschaulicht. Die Signale HGS und HGR, gezeigt in 11, können denen entsprechen, die beschrieben wurden in Verbindung mit 9–10. Ein Sättigungspunkt 1102 des HGS kann durch Signalüberlauf begrenzt werden, nicht aber durch Abschneiden bzw. Clipping der analogen Auslesekette. Ein Abschneiden der analogen Auslesekette bewirkt letztendlich eine zusätzliche Sättigung in der Region 1120. Ein Überlauf beginnt bei einem Lichtstärkeniveau, das mit dem Sättigungspunkt 1102 assoziiert ist. Man beachte, dass ein Überlauf bei Lichtstärke beginnt, die niedriger ist als die, bei der die Sättigung des Signals HGS auftritt. Zwischen dem Beginn des Überlaufs und dem Beginn der Sättigung des Signals HGS können die Signale HGS und HGR die gleiche Steilheit 1104 aufweisen. Der Beginn der Sättigung und der Beginn des Überlaufs können durch entsprechende Lichtstärkeschwellenwerte markiert sein.
Für die beiden Leseverfahren von 9 und 10 wird HDR anhand der Gleichung (2) für Lichtstärken in der Region 1150 berechnet. Für Lichtstärken in der Region 1156 wird HDR anhand der Gleichung (3) berechnet, wobei das Verstärkungsverhältnis G dem Pfad 1122 entsprechen kann. Für Lichtstärken in der Region 1152 wird HDR anhand der Gleichung (4) berechnet. Für Lichtstärken in der Region 1158 wird HDR anhand der Gleichung (5) berechnet. Für Lichtstärken in der Region 1154 wird HDR anhand der Gleichung (6) berechnet. Die Regionen 1150, 1152, 1154, 1156 und 1158 können hierin gelegentlich als Bereiche von Lichtbedingungen und Bereiche von Lichtstärkewerten bezeichnet werden.
Der Punkt 1142 stellt die Licht- und Signalstärke dar, die dem Kalibrierungssignal CAL1 entspricht, das verwendet wird in dem Zweifach-Leseverfahren von 9 und 10. Der Punkt 1140 stellt die Licht- und Signalstärken dar, die den HGR- und HGS-Werten entsprechen, die verwendet werden, um das Kalibrierungssignal CAL2 zu berechnen, das verwendet wird im Zweifach-Leseverfahren von 9 und 10.
Das verbesserte Mischverfahren von 11 kann Vorteile haben gegenüber dem Mischverfahren von 8. Da das HGS-Signal oberhalb einem bestimmten Lichtstärkeniveau einem Clipping unterzogen wird, wird die HDR-Berechnung umso ungenauer, je mehr sie sich der Clipping-Lichtstärke nähert. Daher ist es von Vorteil, ein zweites Mischverfahren einzubeziehen, wenn die Lichtstärke in der Region 1158 liegt, unmittelbar bevor es zu einem Clipping in der Region 1154 kommt. Durch die Verwendung des zweiten Mischverfahrens auf diese Weise wird verhindert, dass eine Diskontinuität auftritt, wenn von der Verwendung der Gleichung (4) in der Region 1152 auf die Verwendung der Gleichung (6) in der Region 1154 übergegangen wird. Stattdessen ermöglicht das zweite Mischverfahren, das von Gleichung (5) dargestellt wird, einen weichen Übergang zwischen den Regionen 1152 und 1154.
Es wurden verschiedene Ausführungsformen beschrieben, die ein bildgebendes bzw. ein Bilderzeugungssystem veranschaulichen (z. B. das System 100 aus 1), einschließlich eines bildgebenden Systems und von Host-Subsystemen. Gemäß einem Beispiel kann ein Bilderzeugungssystem eine Anordnung von Pixeln beinhalten, die in Zeilen und Spalten angeordnet sind. Jedes Pixel in der Anordnung von Pixeln kann beinhalten: eine Photodiode, die als Reaktion auf einen Lichteinfall Ladung akkumuliert, einen Floating-Diffusion-Knoten, der über einen Übertragungstransistor mit der Photodiode verbunden ist, einen Gain-Auswahlspeicherknoten, der mit dem Floating-Diffusion-Knoten verbunden ist, und eine Ausleseschaltung, die mit dem Floating-Diffusion-Knoten verbunden ist. Die Ausleseschaltung kann ein erstes Signal auslesen, während das Pixel eine High-Gain-Konfiguration bildet. Das erste Signal kann auf einem ersten Teil der akkumulierten Ladung basieren, die von der Photodiode in den Floating-Diffusion-Knoten und den Gain-Auswahlspeicherknoten überläuft. Die Ausleseschaltung kann ein zweites Signal auslesen, während das Pixel die High-Gain-Konfiguration bildet. Das zweite Signal kann auf dem ersten Teil der akkumulierten Ladung basieren und auf einem zweiten Teil der akkumulierten Ladung basieren, der über den Übertragungstransistor auf den Floating-Diffusion-Knoten übertragen wird.
Das Bilderzeugungssystem kann ferner eine Bildverarbeitungsschaltung beinhalten, die das erste und das zweite Signal von der Ausleseschaltung empfängt und die auf Basis des ersten und des zweiten Signals ein Signal mit hohem Dynamikumfang erzeugt. Das Signal mit dem hohen Dynamikumfang kann auf Basis des ersten und des zweiten Signals und eines ersten und eines zweiten Kalibrierungssignals erzeugt werden. Das erste Kalibrierungssignal kann eine Dunkelheits-Offset-Kalibrierungsspannung sein. Das zweite Kalibrierungssignal kann einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung, die bei einem Lichtstärkeniveau ertastet wird, entsprechen. Das Lichtstärkeniveau kann einem Beginn eines Ladungsüberlaufs aus der Photodiode entsprechen.
Der Gain-Auswahltransistor kann zwischen dem Floating-Diffusion-Knoten und dem Gain-Auswahlspeicherknoten angeordnet sein. Die High-Gain-Konfiguration kann sich ergeben, wenn der Gain-Auswahltransistor deaktiviert wird, so dass der Floating-Diffusion-Knoten durch den Gain-Auswahltransistor vom Gain-Auswahlspeicherknoten isoliert ist.
Gemäß einem anderen Beispiel kann ein Verfahren zum Betätigen eines Bildsystems beinhalten: Akkumulieren von Ladung als Reaktion auf einfallendes Licht mit einer Photodiode in einem Dual-Gain-Pixel, Auslesen eines ersten Signals mit einer Ausleseschaltung, während das Pixel eine High-Gain-Konfiguration bildet, wobei das erste Signal auf einem ersten Teil der akkumulierten Ladung basiert, der von der Photodiode in den Floating-Diffusion-Knoten und einen Gain-Auswahlspeicherknoten überläuft, Übertragen eines zweiten Teils der akkumulierten Ladung von der Photodiode auf den Floating-Diffusion-Knoten in der High-Gain-Konfiguration mit einem Übertragungstransistor und Auslesen eines zweiten Signals mit der Ausleseschaltung, während das Pixel die High-Gain-Konfiguration bildet, wobei das zweite Signal auf dem ersten und dem zweiten Teil der akkumulierten Ladung am Floating-Diffusion-Knoten basiert, Die High-Gain-Konfiguration kann das Setzen eines Gate-Signals für einen Gain-Auswahltransistor auf nichtgültig beinhalten, um den Floating-Diffusion-Knoten von der Gain-Auswahlspeicherregion zu isolieren.
Das Verfahren kann ferner das Empfangen eines ersten und eines zweiten Signals von der Ausleseschaltung und das Erzeugen eines Signals mit hohem Dynamikumfang auf Basis des ersten und des zweiten Signals mit einer Bildverarbeitungsschaltung beinhalten. Das Signal mit dem hohen Dynamikumfang kann auf Basis des ersten und des zweiten Signals und des ersten und des zweiten Kalibrierungssignals erzeugt werden. Das erste Kalibrierungssignal kann ein Dunkelheits-Offset-Kalibrierungssignal sein. Das zweite Kalibrierungssignal kann auf einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung basieren, die bei einem Lichtstärkeschwellenwert ertastet wird. Der Lichtstärkeschwellenwert entspricht einem Lichtstärkeniveau, bei dem ein Ladungsüberlauf an der Photodiode einsetzt.
Das Verfahren kann ferner das Zurücksetzen bzw. einen Reset des Pixels auf eine Pixel-Reset-Spannung nach dem Auslesen des zweiten Signals beinhalten.
Gemäß einem anderen Beispiel kann ein Verfahren zur Betätigung eines Bilderzeugungssystems das Akkumulieren von Ladung als Reaktion auf einfallendes Licht mit einer Photodiode in einem Pixel während einer Belichtungszeitspanne beinhalten. Ein erster Teil der akkumulierten Ladung kann während der Belichtungszeitspanne von der Photodiode in einen Speicherknoten überlaufen, und ein zweiter Teil der akkumulierten Ladung kann während der Belichtungszeitspanne unter Bedingungen hellen Lichts an der Photodiode verbleiben. Das Verfahren kann ferner beinhalten: Auslesen eines ersten Signals mit Ausleseschaltung, während das Pixel in einer High-Gain-Konfiguration ist, wobei das erste Signal auf dem ersten Teil der akkumulierten Ladung basieren kann, Auslesen eines zweiten Signals mit der Ausleseschaltung, während das Pixel in der High-Gain-Konfiguration ist, wobei das zweite Signal auf dem ersten und dem zweiten Teil der akkumulierten Ladung basieren kann, und Erzeugen eines Bildsignals mit hohem Dynamikumfang mit einer Bildverarbeitungsschaltung. Das Bildsignal mit dem hohen Dynamikumfang kann auf Basis des ersten und des zweiten Signals und eines ersten in einem Bereich von Lichtbedingungen erzeugt werden. Das Bildsignal mit dem hohen Dynamikumfang kann auf Basis des ersten und des zweiten Signals, des ersten Kalibrierungssignals und eines zweiten Kalibrierungswerts in einem zweiten Bereich von Lichtbedingungen erzeugt werden.
Der erste Bereich von Lichtbedingungen kann Bedingungen eines schwachen Lichtes beinhalten, bei denen kein Teil der akkumulierten Ladung aus der Photodiode überläuft. Das zweite Signal kann oberhalb eines Lichtstärkeschwellenwerts geclippt werden. Der zweite Bereich von Lichtbedingungen kann einen Bereich von Lichtstärkewerten beinhalten, der an den Lichtstärkeschwellenwert angrenzt und der größer ist als dieser. Das erste Kalibrierungssignal kann ein Dunkelheus-Offset-Kalibrierungssignal sein. Das zweite Kalibrierungssignal kann auf einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung basieren, die jeweils bei dem Lichtstärkeschwellenwert ertastet werden. Das Bildsignal mit dem hohen Dynamikumfang kann außerdem auf einer vordefinierten Funktion basieren. Die vordefinierte Funktion kann eine Funktion der Lichtstärke sein.
Die obigen Ausführungen sollen lediglich die Grundlagen der Erfindung veranschaulichen, und von einem Fachmann können verschiedene Modifikationen daran vorgenommen werden, ohne vom Bereich und Gedanken der Erfindung abzuweichen. Die vorhergehenden Ausführungsformen können einzeln oder in einer beliebigen Kombination implementiert werden.

Claims

Bilderzeugungssystem, umfassend: eine Anordnung von Pixeln, die in Zeilen und Spalten angeordnet sind, wobei jedes Pixel in der Anordnung von Pixeln umfasst: eine Photodiode, die als Reaktion auf einfallendes Licht Ladung akkumuliert; einen Floating-Diffusion-Knoten, der über einen Übertragungstransistor mit der Photodiode verbunden ist; einen Gain-Auswahlspeicherknoten, der mit dem Floating-Diffusion-Knoten verbunden ist; und eine Ausleseschaltung, die mit dem Floating-Diffusion-Knoten verbunden ist, wobei die Ausleseschaltung ein erstes Signal ausliest, während das Pixel eine High-Gain-Konfiguration bildet, wobei das erste Signal auf einem ersten Teil der akkumulierten Ladung basiert, der von der Photodiode in den Floating-Diffusion-Knoten und den Gain-Auswahlspeicherknoten überläuft, und wobei die Ausleseschaltung ein zweites Signal ausliest, während das Pixel die High-Gain-Konfiguration bildet, und wobei das zweite Signal auf dem ersten Teil der akkumulierten Ladung basiert und auf einem zweiten Teil der akkumulierten Ladung basiert, der durch den Übertragungstransistor auf den Floating-Diffusion-Knoten übertragen wird.
Bilderzeugungssystem nach Anspruch 1, das weiter Folgendes umfasst: eine Bildverarbeitungsschaltung, die das erste und das zweite Signal von der Ausleseschaltung empfängt und die ein Signal mit hohem Dynamikumfang auf Basis des ersten und des zweiten Signals erzeugt.
Bilderzeugungssystem nach Anspruch 2, wobei das Signal mit dem hohen Dynamikumfang auf dem ersten und dem zweiten Signal und auf einem ersten und einem zweiten Kalibrierungssignal basiert.
Bilderzeugungssystem nach Anspruch 3, wobei das erste Kalibrierungssignal eine Dunkelheits-Offset-Kalibrierungsspannung ist.
Bilderzeugungssystem nach Anspruch 4, wobei das zweite Kalibrierungssignal einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung entspricht, die bei einem Lichtstärkeniveau ertastet wird, und wobei das Lichtstärkeniveau einem Beginn eines Ladungsüberlaufs aus der Photodiode entspricht.
Bilderzeugungssystem nach einem der Ansprüche 1 bis 5, wobei der Gain-Auswahltransistor zwischen dem Floating-Diffusion-Knoten und dem Gain-Auswahlspeicherknoten angeordnet ist.
Bilderzeugungssystem nach Anspruch 6, wobei die High-Gain-Konfiguration stattfindet, wenn der Gain-Auswahltransistor deaktiviert wird, so dass der Floating-Diffusion-Knoten durch den Gain-Auswahltransistor vom Gain-Auswahlspeicherknoten isoliert wird.
Verfahren zum Betätigen eines Bilderzeugungssystems, umfassend: Akkumulieren von Ladung als Reaktion auf einfallendes Licht mit einer Photodiode; Auslesen eines ersten Signals, während das Pixel in einer High-Gain-Konfiguration ist, mit einer Ausleseschaltung, wobei das erste Signal auf einem ersten Teil der akkumulierten Ladung basiert, die aus der Photodiode in einen Floating-Diffusion-Knoten und einen Gain-Auswahlspeicherknoten überläuft; Übertragen eines zweiten Teils der akkumulierten Ladung aus der Photodiode auf den Floating-Diffusion-Knoten mit einem Übertragungstransistor in der High-Gain-Konfiguration; und Auslesen eines zweiten Signals, während das Pixel die High-Gain-Konfiguration bildet, mit der Ausleseschaltung, wobei das zweite Signal auf dem ersten und dem zweiten Teil der akkumulierten Ladung am Floating-Diffusion-Knoten basiert.
Verfahren nach Anspruch 8, wobei die High-Gain-Konfiguration das Setzen eines Gate-Signals für einen Gain-Auswahltransistor auf nichtgültig umfasst, um den Floating-Diffusion-Knoten von der Gain-Auswahlspeicherregion zu isolieren.
Verfahren nach Anspruch 8 oder 9, ferner umfassend: Empfangen eines ersten und eines zweiten Signals von der Ausleseschaltung und Erzeugen eines Signals mit hohem Dynamikumfang auf Basis des ersten und des zweiten Signals mit einer Bildverarbeitungsschaltung.
Verfahren nach Anspruch 10, wobei das Signal mit dem hohen Dynamikumfang auf Basis des ersten und des zweiten Signals und eines ersten und eines zweiten Kalibrierungssignals erzeugt wird.
Verfahren nach Anspruch 11, wobei das erste Kalibrierungssignal eine Dunkelheits-Offset-Kalibrierungsspannung ist.
Verfahren nach Anspruch 12, wobei das zweite Kalibrierungssignal auf einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung basiert, die jeweils bei einem Lichtstärkeschwellenwert ertastet werden, wobei der Lichtstärkeschwellenwert einem Lichtstärkeniveau entspricht, bei dem ein Überlauf an der Photodiode einsetzt.
Verfahren nach einem der Ansprüche 8 bis 13, ferner umfassend: Zurücksetzen des Dual-Gain-Pixels auf eine Pixel-Reset-Spannung nach dem Auslesen des zweiten Signals.
Verfahren zum Betätigen eines Bilderzeugungssystems, umfassend: Akkumulieren von Ladung als Reaktion auf einfallendes Licht mit einer Photodiode in einem Pixel während einer Belichtungsperiode, wobei ein erster Teil der akkumulierten Ladung während der Belichtungsperiode unter Bedingungen hellen Lichtes von der Photodiode in einen Speicherknoten überläuft, und wobei ein zweiter Teil der akkumulierten Ladung während der Belichtungsperiodean der Photodiode zurückbleibt; Auslesen eines ersten Signals, während das Pixel eine High-Gain-Konfiguration bildet, mit einer Ausleseschaltung, wobei das erste Signal auf dem ersten Teil der akkumulierten Ladung basiert; Auslesen eines zweiten Signals, während das Pixel die High-Gain-Konfiguration bildet, mit der Ausleseschaltung, wobei das zweite Signal auf dem ersten und dem zweiten Teil der akkumulierten Ladung basiert; und Erzeugen eines Bildsignals mit hohem Dynamikumfang mit einer Bildverarbeitungsschaltung, wobei das Bildsignal mit dem hohen Dynamikumfang in einem ersten Bereich von Lichtbedingungen auf Basis des ersten und des zweiten Signals und eines ersten Kalibrierungssignals erzeugt wird und wobei das Bildsignal mit dem hohen Dynamikumfang in einem zweiten Bereich von Lichtbedingungen auf Basis des ersten und des zweiten Signals, des ersten Kalibrierungssignals und eines zweiten Kalibrierungswerts erzeugt wird.
Verfahren nach Anspruch 15, wobei der erste Bereich von Lichtbedingungen Bedingungen eines schwachen Lichtes umfasst, bei denen kein Teil der akkumulierten Ladung aus der Photodiode überläuft.
Verfahren nach Anspruch 16, wobei das zweite Signal oberhalb eines Lichtstärkeschwellenwerts geclippt wird und wobei der zweite Bereich von Lichtbedingungen einen Bereich von Lichtstärkewerten umfasst, der an den Lichtstärkeschwellenwert angrenzt und größer ist als dieser.
Verfahren nach Anspruch 17, wobei das erste Kalibrierungssignal eine Dunkelheits-Offset-Kalibrierungsspannung ist.
Verfahren nach Anspruch 18, wobei das zweite Kalibrierungssignal auf einer vorgegebenen Differenz zwischen einer High-Gain-Signalspannung und einer High-Gain-Reset-Spannung basiert, die jeweils bei dem Lichtstärkeschwellenwert ertastet werden.
Verfahren nach einem der Ansprüche 15 bis 19, wobei das Bildsignal mit dem hohen Dynamikumfang außerdem auf einer vordefinierten Funktion basiert, wobei die vordefinierte Funktion eine Funktion der Lichtstärke ist.