DE102012213189A1

DE102012213189A1 - Bildgebungs-Array mit Fotodioden unterschiedlicher Lichtempfindlichkeiten und zugehörige Bildwiederherstellungsverfahren

Info

Publication number: DE102012213189A1
Application number: DE102012213189A
Authority: DE
Inventors: Rastislav Lukac; Shri Ramaswami; Sanghoon Bea
Original assignee: Foveon Inc
Current assignee: Foveon Inc
Priority date: 2011-07-26
Filing date: 2012-07-26
Publication date: 2013-01-31
Anticipated expiration: 2032-07-27
Also published as: KR101763436B1; US9191556B2; CN102905090B; JP2013081154A; KR20130012935A; CN102905090A; DE102012213189B4; JP6177507B2; US20130027591A1; US20160073046A1; US9942495B2

Abstract

Ein Pixelsensor-Array umfasst eine Vielzahl von Pixelsensoren, die eine erste Verstärkung aufweisen und eine Vielzahl von Pixelsensoren, die eine zweite Verstärkung aufweisen, die niedriger als die erste Verstärkung ist.

Description

HINTERGRUND
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft Fotosensoren und Bildgebungs-Arrays aus Fotosensoren. Insbesondere betrifft die vorliegende Erfindung Bildgebungs-Arrays, die unter Verwendung von Pixeln gebildet sind, die unterschiedliche Lichtempfindlichkeiten aufweisen, und Verfahren zum Wiederherstellen von visuellen Informationen in digitalen Bildern, die unter Verwendung derartiger Bildgebungs-Arrays aufgenommen werden.
2. Stand der Technik
Ein Bildsensor ist ein Array aus lichtempfindlichen Zellen (Fotosensoren), die gewöhnlich als Fotodioden ausgebildet sind. Die Qualität und der Dynamikbereich von Bildern ist durch die Natur der Pixelsensoren selbst, insbesondere in hellen Bildbereichen begrenzt, an denen Sensorzellen gewöhnlich gesättigt werden, d. h. die maximale Ladung erreichen, die die Sensoren sammeln können. Ein Überschreiten des Sättigungsniveaus erzeugt in aufgenommenen Bildern Blooming-Artefakte.
KURZBESCHREIBUNG
Ein Bildsensor ist ein Array aus lichtempfindlichen Zellen (Fotosensoren), die gewöhnlich als Fotodioden gebildet sind. Anders als konventionelle Bildsensoren, die Fotosensoren anwenden, die alle die gleiche Lichtempfindlichkeit aufweisen, stellt die vorliegende Erfindung einen Sensor vor, der Fotodioden anwendet, die unterschiedliche Lichtempfindlichkeiten aufweisen. Die vorliegende Erfindung verbessert sowohl die Qualität als auch den Dynamikbereich von Bildern, insbesondere in hellen Bildbereichen, an denen Sensorzellen gewöhnlich gesättigt werden.
Um das den Bildsensoren aus dem Stand der Technik eigene Problem zu überwinden, ist die vorliegende Erfindung auf einen Bildsensor gerichtet, der sowohl Fotodioden, die eine normale Lichtempfindlichkeit aufweisen, als auch Fotodioden umfasst, die eine niedrigere Lichtempfindlichkeit aufweisen. Fotodioden, die eine normale Lichtempfindlichkeit aufweisen, zielen darauf ab, visuelle Informationen aufzunehmen, denen Lichtintensitäten zugeordnet sind, die im Bereich von niedrigen Werten bis hohen Werten liegen, welche nicht gesättigt sind. Fotodioden, die eine niedrigere Lichtempfindlichkeit aufweisen, zielen auf ein Aufnehmen von visuellen Informationen in Hochlichtbereichen, an denen Fotodioden, die eine normale Lichtempfindlichkeit aufweisen, gewöhnlich gesättigt werden. Die niedrigere Empfindlichkeit von Fotodioden kann auf mehrere unterschiedliche Weisen erreicht werden, zum Beispiel durch Blockieren des Lichtes, das auf die Fotodiode fällt, oder Verändern der Kapazität der Fotodiode.
In Bereichen, die nicht gesättigt sind, werden Bildinformationen mit hoher Qualität wiederhergestellt, indem Pixelwerte, die Fotodioden entsprechen, die eine niedrigere Lichtempfindlichkeit aufweisen, auf das Niveau von Pixelwerten gebracht werden, die Fotodioden entsprechen, die eine normale Lichtempfindlichkeit aufweisen, indem geeignete Verstärkungen angewandt werden. Diese Verstärkungen, die hierin als Hochlicht-Pixelverstärkungen bezeichnet werden, werden gewöhnlich bei der Kalibrierung erhalten. Alternativ kann die Hochlicht-Pixelverstärkung von irgendeinem Hochlicht-Pixel als ein Verhältnis des Mittelwerts oder gewichteten Mittelwerts (zum Beispiel unter Verwendung Gaußscher Wichtungen) von nicht gesättigten Pixeln mit normaler Lichtempfindlichkeit, die in der Nachbarschaft des Hochlicht-Pixels verfügbar sind, und dem Hochlicht-Pixelwert berechnet werden. Eine alternative Lösung kann darauf abzielen, die Pixelwerte, die Fotodioden entsprechen, die eine niedrigere Lichtempfindlichkeit aufweisen, unter Verwendung von Nachbarpixelwerten, die Fotodioden entsprechen, die eine normale Lichtempfindlichkeit aufweisen, mittels einer Bildinterpolation oder Signalschätzung wiederherzustellen.
Es sind Verfahren zum Wiederherstellen von Hochlicht in digitalen Bildern offenbart, wobei die Pixel, die reduzierte Empfindlichkeiten aufweisen, gemäß der vorliegenden Erfindung kombiniert werden.
Das in der vorliegenden Erfindung eingeführte Konzept ist auf jede Fotodiodenauslegung anwendbar, wie etwa verschiedene periodische, pseudozufällige und zufällige Anordnungen von Fotodioden, die eine niedrigere Lichtempfindlichkeit aufweisen, in dem Array aus Fotodioden, die eine normale Lichtempfindlichkeit aufweisen. Zusätzlich ist die vorliegende Erfindung nicht auf irgendeine besondere Empfindlichkeitseinstellung beschränkt, da das vorliegende Konzept flexibel ist und Fotodioden zulässt, die unterschiedliche Empfindlichkeiten aufweisen.
KURZBESCHREIBUNG DER ZEICHNUNGSFIGUREN
1 ist eine Querschnittsansicht eines typischen Pixels aus dem Stand der Technik.
2 ist eine Querschnittsansicht eines Pixels mit reduzierter Empfindlichkeit gemäß einem Aspekt der vorliegenden Erfindung.
3 ist ein Graph von Eintrittsfensterbelichtung über Pixelausgang für sowohl ein normales Pixel als auch ein Pixel mit reduzierter Empfindlichkeit.
4 ist eine Darstellung, die eine veranschaulichende Ausführungsform einer Lichtabschirmung für ein Pixel mit reduzierter Empfindlichkeit gemäß der vorliegenden Erfindung zeigt.
5 ist eine Darstellung, die eine andere veranschaulichende Ausführungsform einer Lichtabschirmung für ein Pixel mit reduzierter Empfindlichkeit gemäß der vorliegenden Erfindung zeigt.
6 ist eine Darstellung, die eine veranschaulichende Form eines Abschnittes eines Gitters, das über dem Pixel-Array platziert ist, um Pixel mit reduzierter Empfindlichkeit zu definieren, gemäß der vorliegenden Erfindung zeigt.
7 ist eine Darstellung, die einen Abschnitt eines veranschaulichenden Pixel-Arrays gemäß der vorliegenden Erfindung zeigt, das Pixel mit reduzierter Empfindlichkeit, die auf eine regelmäßige Weise platziert sind, gemäß der vorliegenden Erfindung umfasst.
8 ist eine Darstellung, die einen Abschnitt eines veranschaulichenden Pixel-Arrays gemäß der vorliegenden Erfindung zeigt, das Pixel mit reduzierter Empfindlichkeit, die auf eine regelmäßige Weise in einem Rautenmuster platziert sind, gemäß der vorliegenden Erfindung umfasst.
9 ist ein Flussdiagramm, das ein veranschaulichendes Bildwiederherstellungsverfahren gemäß der vorliegenden Erfindung zeigt.
10 ist ein Flussdiagramm, das ein anderes veranschaulichendes Bildwiederherstellungsverfahren gemäß der vorliegenden Erfindung zeigt.
11 ist ein Flussdiagramm, das ein anderes veranschaulichendes Bildwiederherstellungsverfahren gemäß der vorliegenden Erfindung zeigt.
AUSFÜHRLICHE BESCHREIBUNG
Fachleute werden feststellen, dass die folgende Beschreibung der vorliegenden Erfindung lediglich veranschaulichend und in keiner Weise einschränkend ist. Andere Ausführungsformen der Erfindung werden sich selbst Fachleuten leicht nahelegen.
Bildgebungs-Arrays gemäß der vorliegenden Erfindung umfassen Pixelsensoren, die zwei unterschiedliche Lichtempfindlichkeiten aufweisen. Eine erste Vielzahl von Pixelsensoren, die eine erste Lichtempfindlichkeit aufweisen, und eine zweite Vielzahl von Pixelsensoren, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist. Die erste Vielzahl von Pixeln wird manchmal hierin als ”normale” Pixel bezeichnet, und die zweite Vielzahl von Pixeln wird manchmal hierin als ”Hochlicht-Pixel” bezeichnet.
Unter Bezugnahme zunächst auf 1 ist eine Querschnittsansicht eines normalen Pixels 10 gezeigt. Der Fotosensor (nicht gezeigt) ist in einem Substrat 12 gebildet. Ein Abschnitt einer Schicht aus Polysilizium 14, die verwendet wird, um die Transistoren zu fertigen, die notwendig sind, um die Pixel zu betreiben, ist über dem Substrat angeordnet gezeigt. Zusätzlich sind Abschnitte von drei veranschaulichenden Metallverbindungsschichten 16, 18 und 20 gezeigt. Ein CMOS-Bildsensor kann weniger oder mehr Schichten aus Metall abhängig von der gewählten Technologie aufweisen. Wie es in 1 gezeigt ist, sind die Polysiliziumschicht 14 und die Metallverbindungsschichten 16, 18 und 20 nicht über der Fotodiode gelegen, weil sie sichtbares Licht absorbieren.
Abschnitte eines Gitters 22, die Pixelflächen definieren, sind in 1 gezeigt. Eine Planarisierungs-/Passivierungsschicht 24 kann über der Oberfläche der Pixel angeordnet sein. Diese Schicht kann aus einer Polymerschicht und/oder einer Nitridschicht gebildet sein. Eine Mikrolinse 26 kann über der Planarisierungs-/Passivierungsschicht gebildet sein, wie es in der Technik bekannt ist. Eine Mikrolinse wird dazu verwendet, das hereinkommende Licht auf den Fotosensor/die Fotosensoren in dem Pixel zu fokussieren.
Bei manchen Bildgebungs-Arrays wird in der Regel eine Dunkel-Hell-Abschirmung dazu verwendet, bewusst alles Licht über Spalten und Zeilen an dem Rand des Pixel-Arrays zu blockieren. Diese dunkeln Spalten und Zeilen liefern Daten, um Rauschquellen für die Bildgebungseinrichtung zu charakterisieren.
Nun unter Bezugnahme auf 2 ist eine Querschnittsansicht eines Pixels 30 mit reduzierter Empfindlichkeit gemäß einem Aspekt der vorliegenden Erfindung gezeigt. Wie bei Pixel 10 von 1 umfasst Pixel 30 einen Fotosensor (nicht gezeigt), der in Substrat 12 gebildet ist. Ein Abschnitt einer Schicht aus Polysilizium 14 ist über dem Substrat angeordnet gezeigt, und es sind Abschnitte von drei veranschaulichenden Metallverbindungsschichten 16, 18 und 20 gezeigt.
Eine Planarisierungs-/Passivierungsschicht 24 ist über der Oberfläche des Pixels gezeigt, und eine Mikrolinse 26 ist über der Planarisierungs-/Passivierungsschicht 24 gebildet, wie es in der Technik bekannt ist. Die Mikrolinse 26 wird dazu verwendet, das hereinkommende Licht auf den Fotosensor/die Fotosensoren in dem Pixel zu fokussieren. Jedoch weist Pixel 30 von 2 anders als Pixel 10 von 1 eine reduzierte Blendengröße auf, die durch eine Schicht aus Dunkelabschirmungsmaterial 32 geschaffen ist. Das Dunkelabschirmungsmaterial 32 könnte irgendein Metall sein, das bei der Back-End-Of-Line-Verarbeitung (BEOL) verwendet wird, weil die Metalle, die bei BEOL verwendet werden, optisch opak sind.
Fachleute werden feststellen, dass, obgleich Dunkelabschirmungsmaterial 32 bei oder nahe der Oberfläche des Pixels angeordnet gezeigt ist, Abschnitte irgendeiner Metallschicht oder eine Kombination aus mehreren Metallschichten dazu verwendet werden können, einen Teil einfallenden Lichtes zu blockieren, sodass die resultierende Empfindlichkeit niedriger als die Empfindlichkeit eines normalen Pixels wird. Es kann entweder ein Metall oder irgendein anderes Material, das mit dem Prozess verträglich ist und einen niedrigen optischen Transmissionsgrad aufweist, als ein Lichtabschirmungsmaterial gewählt werden. Wenn ein Gitter 22, wie es in 1 gezeigt ist, verwendet wird, kann es derart strukturiert sein, dass es kleinere Blenden gegenüber Pixeln mit reduzierter Empfindlichkeit, wie Pixel 30, aufweist.
Gemäß einem Aspekt der vorliegenden Erfindung wird mit einer Blende eine partielle Lichtabschirmung erzeugt, die eingestellt ist, um dafür zu sorgen, dass die Hälfte bis ein Achtel des Lichts in das Pixel eintritt. Dieses Konzept ist in den 1 und 2 veranschaulicht, wobei die zweidimensionalen Lichtstrahlspuren in den Querschnitten in gestrichelten Linien gezeigt sind. 1 zeigt die Lichtstrahlspur für das normale Pixel 10, während 2 die Verwendung des dunklen Metalls mit einer Öffnung zeigt, um zuzulassen, dass nur ungefähr ein Viertel des in das Pixel 10 von 1 eintretenden Lichts in das Pixel 30 eintritt. 3 ist ein Graph, der Eintrittsfensterbelichtung über Pixelausgang für sowohl das normale Pixel von 1 als auch das Pixel mit reduzierter Empfindlichkeit von 2 zeigt.
Ein veranschaulichender Zielbereich für das Pixel mit reduzierter Empfindlichkeit liegt in der Regel bei etwa der Hälfte bis einem Achtel eines normalen Pixels, obwohl Fachleute leicht feststellen werden, dass andere Bereiche verwendet werden können. Wenn z. B. der Betrag an Licht, der in das Pixel eintritt, auf ein Viertel des Lichts zugeschnitten wird, das in ein normales Pixel eintritt, dann wäre die Empfindlichkeit ungefähr ein Viertel von der des normalen Pixels. Um Fotodioden herzustellen, die eine reduzierte Lichtempfindlichkeit aufweisen, wenn sie mit einem typischen Pixel für eine gegebene Technologie verglichen werden, wird eine Lichtabschirmung angewandt werden. Sie wird einen Teil des Lichts blockieren, das in jene Pixel eintritt, die auf eine reduzierte Empfindlichkeit abzielen. Wie es Fachleute leicht feststellen werden, wird, je kleiner die Blende in der Lichtabschirmung ist, desto mehr Lichtempfindlichkeitsreduktion erhalten.
Die Lichtabschirmung für das Pixel mit reduzierter Empfindlichkeit könnte auf vielerlei Weisen umgesetzt werden. Nun unter Bezugnahme auf die 4 und 5 sind zwei beispielhafte geometrische Auslegungen für eine Lichtabschirmung für ein Pixel mit reduzierter Empfindlichkeit gemäß der vorliegenden Erfindung gezeigt. 4 zeigt eine Lichtabschirmung 32, die eine quadratische Blende 34 aufweist. Fachleute werden feststellen, dass andere Abwandlungen der Form für die Blende verwendet werden können. Zum Beispiel könnte eine achteckige Blende 36, wie sie in 5 in der Lichtabschirmung 32 gezeigt ist, eine kreisförmige oder eine quadratische Blende mit angefasten Ecken angewandt werden.
Eine andere mögliche Abwandlung der Anwendung einer Lichtabschirmung nur über isolierten Pixeln mit reduzierter Empfindlichkeit würde auch ein Gitter über dem Pixel-Array bilden. Dies ist in 6 als eine Auslegung gezeigt. Wenn in diesem Fall die Lichtabschirmung als ein Metallgitter gebildet ist, könnte sie als eine zusätzliche elektrische Schicht, wie etwa eine Stromversorgungsebene, verwendet werden. Die Bildung des Gitters kann auch dazu dienen, die Herstellung der Pixel mit reduzierter Empfindlichkeit zu verbessern.
Wie es oben offenbart ist, liegt der Unterschied der Empfindlichkeit zwischen den normalen Pixeln und den Pixeln mit reduzierter Empfindlichkeit aufgrund des Unterschiedes der Blendengröße für das Pixel vor. Fachleute werden feststellen, dass andere Techniken verwendet werden könnten, um Pixel zu bilden, die zwei unterschiedliche Empfindlichkeiten aufweisen. Derartige Techniken umfassen die Verwendung unterschiedlicher Dotierungsniveaus in unterschiedlichen Pixeln und das Bilden einer Schicht aus Material, das einen reduzierten optischen Transmissionsgrad aufweist, über dem Pixel mit reduzierter Empfindlichkeit, sind aber nicht darauf beschränkt.
Gemäß einem Aspekt der vorliegenden Erfindung sind die Pixel mit reduzierter Empfindlichkeit auf eine regelmäßige Weise über dem gesamten Bildgebungs-Array angeordnet. Die Pixel mit reduzierter Empfindlichkeit sind derart verteilt, dass sie die Gesamtqualität des Bildes nicht beeinträchtigen, sondern die Bildverarbeitung für Hochlicht-Daten unterstützen. Eine beispielhafte Platzierung der Pixel gemäß der vorliegenden Erfindung ist ungefähr jedes 2. bis 100. Pixel an einer gegebenen Zeile und Spalte, aber Fachleute werden feststellen, dass unterschiedliche Beabstandungen, wie etwa periodisch, pseudozufällig und zufällig, angewandt werden könnten. Das Ergebnis ist, dass die Pixel mit reduzierter Empfindlichkeit zwischen etwa 40% und etwa 0,01% der Gesamtzahl von Pixeln ausmachen könnten. In einem in 7 gezeigten Beispiel umfasst eine Anordnung ein Pixel mit reduzierter Empfindlichkeit für jeden 10 × 10 Pixelbereich. Fachleute werden feststellen, dass ein geeignetes Verhältnis abhängig von der Größe der Pixel und des Arrays gewählt werden kann.
Nun unter Bezugnahme auf 8 ist eine andere veranschaulichende Auslegung/Anordnung von Hochlicht-Pixeln gezeigt, wobei die Hochlicht-Pixel in einem Rautenmuster angeordnet sind. Im Allgemeinen wird ein derartiges Rautenmuster geschaffen, indem zunächst eine regelmäßige Beabstandung ähnlich wie die in 7 geschaffen wird und anschließend ein Hochlicht-Pixel in der Mitte eines Quadrats von vier vorhandenen Hochlicht-Pixeln hinzugefügt wird. 8 zeigt eine Beispielanordnung, bei der die Hochlicht-Pixel an jedem zehnten Pixel sowohl horizontal als auch vertikal und an jedem fünften Pixel diagonal platziert sind.
Das bei der vorliegenden Erfindung eingeführte Konzept ist auf jede Fotodiodenauslegung anwendbar, wie etwa verschiedene periodische, pseudozufällige und zufällige Anordnungen von Fotodioden, die eine niedrigere Lichtempfindlichkeit aufweisen, in dem Array aus Fotodioden, die eine normale Lichtempfindlichkeit aufweisen. Zusätzlich ist die vorliegende Erfindung nicht auf irgendeine besondere Empfindlichkeitseinstellung beschränkt, da das vorgestellte Konzept flexibel ist und für Fotodioden sorgt, die unterschiedliche Empfindlichkeiten aufweisen.
In Bereichen mit gesättigten Signalwerten werden die Pixelwerte, die Fotodioden mit niedrigerer Lichtempfindlichkeit entsprechen, erhalten, indem die geeigneten Hochlicht-Pixelverstärkungen angewandt werden, um ein Referenzsignal zu erzeugen. Derartige Referenzsignalwerte können dann verwendet werden, um die Bildinformationen in Pixelstellen wiederherzustellen, die Fotodioden mit normaler Lichtempfindlichkeit entsprechen, indem die Eigenschaften von Referenzsignalwerten auf gesättigte Pixelwerte abgebildet werden, z. B. indem die verfügbaren Referenzsignalwerte und nicht gesättigten Pixelwerte, die Fotodioden mit einer normalen Lichtempfindlichkeit entsprechen, kombiniert werden.
Eine alternative Lösung kann darauf abzielen, die Pixelwerte, die Fotodioden entsprechen, die eine normale Lichtempfindlichkeit aufweisen, unter Verwendung von Nachbarpixelwerten, die Fotodioden entsprechen, die eine niedrigere Lichtempfindlichkeit aufweisen, mittels einer Bildinterpolation oder Signalschätzung wiederherzustellen. Wie es Fachleute leicht feststellen werden, können die Hochlicht-Pixelverstärkungen abhängig von der tatsächlichen Implementierung auf Pixelwerte, die Fotodioden entsprechen, die eine niedrigere Lichtempfindlichkeit aufweisen, entweder vor dem Durchführen des Wiederherstellungsprozesses oder direkt während des Wiederherstellungsprozesses angewandt werden.
Ein Beispielverfahren 40 gemäß der vorliegenden Erfindung wird anhand von 9 gezeigt. Der Prozess beginnt bei Bezugszeichen 42. Bei Bezugszeichen 44 werden Hochlicht-Pixelverstärkungen auf die Hochlicht-Pixelwerte angewandt. Anschließend wird bei Bezugszeichen 46 ein gesättigtes Pixel, das eine normale Lichtempfindlichkeit aufweist, lokalisiert. Bei Bezugszeichen 48 wird ein Satz aus (einem oder mehreren) Hochlicht-Pixeln in einer lokalen Nachbarschaft des gesättigten Pixels identifiziert. Eine lokale Nachbarschaft kann unter Verwendung eines quadratischen oder kreisförmigen Fensters mit einer Größe definiert werden, die derart beschränkt ist, dass zumindest ein Hochlicht-Pixel innerhalb dieses Fensters gelegen ist. Die Mitte eines derartigen Fensters wird gewöhnlich an dem Pixel mit normaler Lichtempfindlichkeit platziert, das korrigiert oder wiederhergestellt werden soll. Alternativ werden ein oder mehrere räumlich am nächsten liegende Hochlicht-Pixel zu dem Pixel mit normaler Lichtempfindlichkeit, das korrigiert oder wiederhergestellt wird, lokalisiert. Die minimale Zahl von derartigen räumlich am nächsten liegenden Hochlicht-Pixeln kann im Voraus ermittelt werden.
Bei Bezugszeichen 50 wird die gesättigte Farbkomponente des Pixels, das eine normale Lichtempfindlichkeit aufweist, ersetzt, indem die entsprechende nicht gesättigte Farbkomponente in den lokal verfügbaren Farblichtpixeln kombiniert wird. Die Ersetzung kann als der Mittelwert oder gewichtete Mittelwert der entsprechenden nicht gesättigten Farbkomponenten in lokal verfügbaren Hochlicht-Pixeln durchgeführt werden. Die Gewichte können als umgekehrt proportional zu der räumlichen Distanz (z. B. absolut oder euklidisch) zwischen der Pixelstelle, die wiederhergestellt wird, und den Pixelstellen der verfügbaren Hochlicht-Pixel berechnet werden, oder die Gewichte sollten im Allgemeinen mit zunehmender räumlicher Distanz abnehmen. Alternativ können die Gewichte als umgekehrt proportional zu der Differenz zwischen dem Pixel, das wiederhergestellt wird, und den lokal verfügbaren Hochlicht-Pixeln berechnet werden (es ist anzumerken, dass alle Farbkomponenten oder zumindest Komponenten von nicht gesättigten Farbkanälen verwendet werden können), oder die Gewichte sollten im Allgemeinen mit zunehmenden Pixelwertdifferenzen abnehmen. Alternativ können die Gewichte berechnet werden, indem sowohl räumliche als auch Intensitätsunterschiede kombiniert werden (z. B. Multiplikation). Ungeachtet dessen, wie die Gewichte berechnet werden, sollten sie normiert werden (ihre Summe sollte gleich Eins sein), bevor die gewichtete Mittelung durchgeführt wird, um eine Schätzung ohne systematischen Fehler zu erzeugen.
Bei Bezugszeichen 52 wird ermittelt, ob alle gesättigten Pixel verarbeitet worden sind. Wenn nicht, kehrt der Prozess zu Bezugszeichen 46 zurück, bei dem ein weiteres gesättigtes Pixel, das eine normale Lichtempfindlichkeit aufweist, gelegen ist. Wenn alle gesättigten Pixel verarbeitet worden sind, endet der Prozess bei Bezugszeichen 54.
Ein anderes beispielhaftes Verfahren 60 gemäß der vorliegenden Erfindung ist in 10 gezeigt. Bei dem Verfahren 60 von 10 wird der Wiederherstellungsprozess unter Verwendung von Farbdifferenzen anstatt von Intensitätswerten von dem Farbkanal, der wiederhergestellt wird, durchgeführt. In diesem Fall wird der gesättigte Farbkanal wiederhergestellt, indem die gemittelte oder gewichtet gemittelte Farbdifferenz (zwischen den nicht gesättigten Farbkanälen und dem gesättigten Farbkanal, wie an der Pixelstelle beobachtet, die wiederhergestellt wird) der verfügbaren Hochlicht-Pixel zu der nicht gesättigten Farbkomponente an der Pixelstelle, die wiederhergestellt wird, addiert wird. Wenn z. B. sowohl grüne als auch blaue Kanäle in dem Pixel mit normaler Lichtempfindlichkeit gesättigt sind, dann kann die grüne Komponente wiederhergestellt werden, indem die nicht gesättigte rote Komponente des Pixels mit normaler Lichtempfindlichkeit zu der mittleren Farbdifferenz zwischen den verstärkten grünen und roten Komponenten der lokal verfügbaren Hochlicht-Pixel addiert wird. Auf eine ähnliche Weise kann die gesättigte blaue Komponente des Pixels mit normaler Lichtempfindlichkeit wiederhergestellt werden, indem die nicht gesättigte rote Komponente des Pixels mit normaler Lichtempfindlichkeit zu der mittleren Farbdifferenz zwischen den verstärkten blauen und roten Komponenten von lokal verfügbaren Hochlicht-Pixeln addiert wird.
Der Prozess beginnt bei Bezugszeichen 62. Bei Bezugszeichen 64 werden Hochlicht-Pixelverstärkungen auf Hochlicht-Pixelwerte angewandt. Anschließend wird bei Bezugszeichen 66 ein gesättigtes Pixel, das eine normale Lichtempfindlichkeit aufweist, lokalisiert. Bei Bezugszeichen 68 wird ein Satz aus (einem oder mehreren) Hochlicht-Pixeln in einer lokalen Nachbarschaft des gesättigten Pixels identifiziert. Wie bei dem Verfahren von 9 kann eine lokale Nachbarschaft unter Verwendung eines quadratischen oder kreisförmigen Fensters definiert werden, dessen Größe derart beschränkt ist, dass zumindest ein Hochlicht-Pixel innerhalb dieses Fensters gelegen ist. Die Mitte eines derartigen Fensters ist gewöhnlich an dem Pixel mit normaler Lichtempfindlichkeit, das korrigiert oder wiederhergestellt wird, platziert. Alternativ werden ein oder mehrere räumlich am nächsten liegende Hochlicht-Pixel zu dem Pixel mit normaler Lichtempfindlichkeit, das korrigiert oder wiederhergestellt wird, lokalisiert. Die minimale Zahl von derartigen räumlich am nächsten liegenden Hochlicht-Pixeln kann im Voraus ermittelt werden.
Bei Bezugszeichen 70 wird die gemittelte oder gewichtet gemittelte Farbdifferenz (zwischen den nicht gesättigten Farbkanälen und dem gesättigten Farbkanal, wie an der Pixelstelle, die wiederhergestellt wird, beobachtet) unter Verwendung von Farbkomponenten von lokal verfügbaren Hochlicht-Pixeln berechnet. Bei Bezugszeichen 72 wird diese Farbdifferenz zu der entsprechenden nicht gesättigten Komponente des Pixels mit normaler Lichtempfindlichkeit addiert, um dessen gesättigte Farbkomponente wiederherzustellen.
Bei Bezugszeichen 74 wird ermittelt, ob alle gesättigten Pixel verarbeitet worden sind. Wenn nicht, kehrt der Prozess zu Bezugszeichen 66 zurück, bei dem ein weiteres gesättigtes Pixel, das eine normale Lichtempfindlichkeit aufweist, gelegen ist. Wenn alle gesättigten Pixel verarbeitet worden sind, endet der Prozess bei Bezugszeichen 76.
Wenn nur ein Farbkanal gesättigt ist, dann kann das Ergebnis erhalten werden, indem die Abtastungen, die unter Verwendung von zwei verschiedenen Farbdifferenzsignalen (da es zwei nicht gesättigte Farbkanäle gibt) wiederhergestellt werden, kombiniert werden. Fachleute werden feststellen, dass Farbdifferenzberechnungen durch Verhältnisse ersetzt werden können, wobei das Ergebnis erhalten wird, indem die nicht gesättigte Farbkomponente an der Stelle, die wiederhergestellt wird, und das gemittelte oder gewichtet gemittelte Farbverhältnis, das unter Verwendung der Pixelwerte der verfügbaren Hochlicht-Pixel berechnet wird, multipliziert werden.
Gemäß einem anderen Aspekt der vorliegenden Erfindung können Verfahren, bei denen zumindest eine Korrekturfaktortabelle unter Verwendung der Hochlicht-Pixel, die hierin offenbart sind, oder der nicht gesättigten Pixel mit normaler Lichtempfindlichkeit und der Hochlicht-Pixel, die hierin offenbart sind, erzeugt wird, dazu verwendet werden, gesättigte Pixel wiederherzustellen.
Wie bei den vorhergehenden Beispielverfahren können Hochlicht-Pixelverstärkungen auf die Hochlicht-Pixelwerte vor der Durchführung des Wiederherstellungsprozesses oder direkt während des Wiederherstellungsprozesses angewandt werden. Gemäß einem Aspekt der Erfindung wird das gesamte Bild, einschließlich der Hochlicht-Pixel, auf Pixel analysiert, bei denen der betreffende Farbkanal nicht gesättigt ist. Alternativ werden nur Hochlicht-Pixel auf Pixel analysiert, bei denen der betreffende Farbkanal nicht gesättigt ist. Dies kann mit andere Randbedingungen kombiniert werden, z. B. müssen die Pixel, die zum Aufbau der Korrekturfaktortabelle verwendet werden, einen größeren Helligkeitswert als ein bestimmter Schwellenwert aufweisen, und können keinerlei abgeschnittene (gesättigte) Farbkanäle aufweisen, usw. Für jedes dieser Pixel, das ausgewählt wird, um diese Korrekturtabelle aufzubauen, werden zumindest zwei Werte berechnet, wobei jeder eine Funktion von einem oder mehreren Farbkanälen ist. Ein Wert wird als ein Index in der Korrekturfaktortabelle verwendet, wobei der andere Wert der Korrekturfaktor selbst ist. Es ist anzumerken, dass das Verfahren der vorliegenden Erfindung die Berechnung von mehr als einem Korrekturfaktor zulässt, wenn derartige funktionelle Eigenschaften erforderlich sind.
Die Zahl von Einträgen in der Korrekturfaktortabelle wird durch die Tabellengröße α bezeichnet. Dieser Entwurfsparameter wird gewöhnlich im Voraus ermittelt. In der Regel wird α als kleiner als oder gleich der Zahl von Bits festgelegt, die dazu verwendet werden, jeden Farbkanal darzustellen. Speichereffiziente Implementierungen können kleinere α-Werte anstreben (z. B. α = 255 für eine Darstellung mit 12 Bits pro Farbkanal); jedoch können zu kleine Werte die Korrekturgenauigkeit vermindert, da zu unterschiedliche Pixel dem gleichen Index zugeordnet sein werden.
Der Indexwert ist eine Funktion von einem oder mehreren Farbkanälen. Angenommen, der B-Kanal wird korrigiert und Mist der Entwurfsparameter, der gewöhnlich gleich dem maximal zulässigen Wert in einer gegebenen Bit-Darstellung ist (es sind auch andere Festlegungen möglich). In einem Beispiel ist der Index eine Funktion von einem oder zwei Farbkanälen, die nicht wiederhergestellt werden; z. B. kann eine solche Funktion als amin(R, M)/M, amin(G, M)/M, aR/(R + G) oder aG/(R + G) definiert sein, wobei min den Minimum-Operator bezeichnet und R, G und B jeweils die rote, grüne bzw. blaue Farbkomponente bezeichnen. In einem anderen Beispiel ist der Index eine Funktion des Farbkanals, der wiederhergestellt wird; z. B. kann eine solche Funktion als amin(B, M)/M definiert sein. In einem abermals weiteren Beispiel ist der Index eine Funktion des Farbkanals der wiederhergestellt wird, und von einem oder beiden anderen Farbkanälen; z. B. kann eine solche Funktion als aB/(R + G + B) definiert sein. Es ist anzumerken, dass der abschließende Index eine gerundete Version des Indexwerts ist, der wie oben beschrieben berechnet wurde.
Die Korrekturfaktoren können auf mehr als eine Weise ermittelt werden. Es sei wieder angenommen, dass der B-Kanal korrigiert wird. In einem Beispiel wird der Korrekturfaktor als ein skalierter Wert des Farbkanals, der korrigiert wird, berechnet; d. h. yB, wobei y auf der Basis von Bildstatistiken entweder im Voraus ermittelt oder adaptiv ermittelt wird. In einem anderen Beispiel wird der Korrekturfaktor auf ein Verhältnis des Farbkanals, der zu korrigieren ist, zu einem der anderen zwei Farbkanäle in dem Pixel berechnet; z. B. kann ein derartiger Korrekturfaktor als B/G oder B/R definiert sein. In einem anderen Beispiel wird der Korrekturfaktor als eine Differenz zwischen dem Farbkanal, der zu korrigieren ist, und einem der anderen zwei Farbkanäle in dem Pixel berechnet, d. h. zum Beispiel B – G oder B – R. Bei einem anderen Beispiel wird der Korrekturfaktor als eine Funktion des Farbkanals, der zu korrigieren ist, und beider weiteren Farbkanäle in dem Pixel berechnet; z. B. kann eine solche Funktion als 2B – R – G, 2B/(R + G) oder B²/(RG) definiert sein. In einem abermals weiteren Beispiel werden zwei Korrekturfaktoren als ein Verhältnis oder eine Differenz zwischen dem Farbkanal, der zu korrigieren ist, und jedem der anderen zwei Farbkanäle berechnet. Da unterschiedliche Pixel, die dem gleichen Indexwert entsprechen, unterschiedliche Korrekturfaktoren für den gleichen Korrekturfaktorberechnungsansatz erzeugen können, wird der abschließende Korrekturfaktor, der in der Korrekturfaktortabelle gespeichert wird, als eine Funktion von pixelweisen Korrekturfaktoren berechnet. In einem Beispiel werden die Korrekturfaktoren für alle Pixel, die dem gleichen Index entsprechen, gemittelt. In einem anderen Beispiel weisen unterschiedliche Korrekturfaktoren der Pixel mit dem gleichen Indexwert unterschiedliche Gewichte auf, wobei diese Gewichte als eine Funktion von irgendeinem vorbestimmten Kriterium, wie etwa einem Histogramm, einem Abstand von einem bestimmten Wert usw., abgeleitet werden können. Sobald das gesamte Bild untersucht worden ist, um die Korrekturfaktortabelle zu bevölkern, werden jegliche Lücken, die in der Korrekturfaktortabelle verbleiben, gefüllt, indem die vorhandenen Einträge interpoliert werden.
Die Wiederherstellungsprozedur untersucht jedes Pixel in dem Bild. Zunächst wird der Index für die Korrekturtabelle berechnet (unter Verwendung des gleichen Ansatzes, der verwendet wurde, um die Tabelle zu erzeugen), um einen geeigneten Korrekturfaktor für ein gegebenes Pixel zu erhalten. Es sei wieder angenommen, dass der B-Kanal korrigiert wird. Wenn der Korrekturfaktor unter Verwendung des gleichen Farbkanals als yB ermittelt wird, dann stellt sein Wert direkt den korrigierten Ausgang dar. In allen anderen Fällen wird die ungesättigte Farbkomponente von dem Pixel, das korrigiert wird, mit dem entsprechenden Korrekturfaktor kombiniert (d. h. sie wird mit den farbverhältnisbasierten Faktoren multipliziert oder wird zu den farbdifferenzbasierten Faktoren addiert), indem den inversen Berechnungen mit Bezug auf die Korrekturfaktorberechnungen gefolgt wird. Es ist anzumerken, dass, wenn mehr als eine Korrekturfaktortabelle für den gleichen Farbkanal erzeugt worden ist, der abschließende korrigierte Wert als eine Kombination von korrigierten Werten, die unter Verwendung einer jeden derartigen Tabelle erhalten werden, beschafft werden kann. Jeder Versuch einer Wiederherstellung kann ausgelassen werden, wenn alle drei Kanäle eines Pixels gesättigt sind.
Obwohl alle oben aufgelisteten Beispiele den B-Kanal als einen Kanal, der korrigiert wird, ansehen, ist die Anwendung des vorgeschlagenen Verfahrens auf andere Kanäle unkompliziert und wird hierin nicht besprochen.
Nun unter Bezugnahme auf 11 zeigt ein Flussdiagramm ein veranschaulichendes Verfahren 80 zum Aufbauen einer Korrekturfaktortabelle und zum Anwenden derselben auf ein Bild gemäß einem Aspekt der vorliegenden Erfindung. Das Verfahren beginnt bei Bezugszeichen 82.
Bei Bezugszeichen 84 wird das gesamte Bild auf Pixel analysiert, bei denen der betreffende Farbkanal nicht gesättigt ist. Dies kann mit anderen Randbedingungen kombiniert werden, z. B. müssen die Pixel, die beim Aufbau der Korrekturfaktortabelle verwendet werden, einen größeren Helligkeitswert als ein bestimmter Schwellenwert aufweisen und/oder können keinen abgeschnittenen (gesättigten Farbkanal) aufweisen usw.
Für jedes der Pixel, das ausgewählt wird, um die Korrekturtabelle aufzubauen, werden zumindest zwei Werte berechnet, und zwar jeweils als eine Funktion von einem oder mehreren Farbkanälen. Ein Wert wird als ein Index in der Korrekturfaktortabelle verwendet, wobei der andere Wert der Korrekturfaktor selbst ist. Bei Bezugszeichen 86 wird der Indexwert für die Korrekturtabelle berechnet, und es wird der Wert des Korrekturfaktors berechnet. Fachleute werden beobachten, dass die Reihenfolge, in der diese Berechnungen durchgeführt werden, unwichtig ist. Es ist anzumerken, dass das Verfahren der vorliegenden Erfindung in Betracht zieht, mehr als einen Korrekturfaktor zu berechnen, wenn derartige funktionelle Eigenschaften erforderlich sind.
Die Zahl von Einträgen in der Korrekturfaktortabelle wird durch die Tabellengröße a bezeichnet. Dieser Entwurfsparameter wird gewöhnlich im Voraus ermittelt. In der Regel ist α kleiner als oder gleich der Zahl von Bits festgelegt, die verwendet wird, um jeden Farbkanal darzustellen; jedoch kann ein zu kleiner Wert von α die Korrekturgenauigkeit verringern, da zu unterschiedlichen Pixeln der gleiche Index zugeordnet sein wird.
Der Indexwert ist eine Funktion von einem oder mehreren Farbkanälen. Es sei angenommen, dass der B-Kanal korrigiert wird und M der Entwurfsparameter ist, der gewöhnlich gleich dem maximal zulässigen Wert in einer gegebenen Bit-Darstellung ist (andere Festlegungen sind ebenfalls möglich). In einem Beispiel ist der Index eine Funktion von einem oder zwei Farbkanälen, die nicht wiederhergestellt werden; z. B. kann eine derartige Funktion als amin(R, M)/M, amin(G, M)/M, aR/(R + G) oder aG/(R + G) definiert sein, wobei min den Minimum-Operator bezeichnet und R, G und B jeweils die rote, grüne bzw. blaue Farbkomponente bezeichnen. In einem anderen Beispiel ist der Index eine Funktion des Farbkanals, der wiederhergestellt wird; z. B. kann eine solche Funktion als amin(B, M)/M definiert sein. In einem abermals anderen Beispiel ist der Index eine Funktion des Farbkanals, der wiederhergestellt wird, und von einem oder beiden anderen Farbkanälen; z. B. kann eine derartige Funktion als aB/(R + G + B) definiert sein. Es ist anzumerken, dass der abschließende Index eine gerundete Version des Indexwertes ist, der wie oben beschrieben berechnet wird.
Die Korrekturfaktoren können auch auf mehr als eine Weise ermittelt werden. Es sei wieder angenommen, dass der B-Kanal korrigiert wird. In einem Beispiel wird der Korrekturfaktor als ein skalierter Wert des Farbkanals, der korrigiert wird, berechnet; d. h. yB, wobei y auf der Basis von Bildstatistiken entweder im Voraus ermittelt oder adaptiv ermittelt wird. In einem anderen Beispiel wird der Korrekturfaktor als ein Verhältnis des Farbkanals, der zu korrigieren ist, zu einem der anderen zwei Farbkanäle in dem Pixel berechnet, z. B. kann ein derartiger Korrekturfaktor als B/G oder B/R definiert sein. In einem anderen Beispiel wird der Korrekturfaktor als eine Differenz zwischen dem Farbkanal, der zu korrigieren ist, und einem der anderen zwei Farbkanäle in dem Pixel berechnet, d. h. zum Beispiel B – G oder B – R. In einem anderen Beispiel wird der Korrekturfaktor als eine Funktion des Farbkanals, der zu korrigieren ist, und von beiden anderen Farbkanälen in dem Pixel berechnet; z. B. kann eine derartige Funktion als 2B – R – G, 2B/(R + G) oder B²/(RG) definiert sein. In einem abermals anderen Beispiel werden zwei Korrekturfaktoren als ein Verhältnis oder eine Differenz zwischen dem Farbkanal, der zu korrigieren ist und jedem der anderen zwei Farbkanäle berechnet. Da unterschiedliche Pixel, die dem gleichen Indexwert entsprechen, unterschiedliche Korrekturfaktoren für den gleichen Korrekturfaktorberechnungsansatz erzeugen können, wird der abschließende Korrekturfaktor, der in der Korrekturfaktortabelle gespeichert wird, als eine Funktion von pixelweisen Korrekturfaktoren berechnet. In einem Beispiel werden die Korrekturfaktoren für alle Pixel, die dem gleichen Index entsprechen, gemittelt. In einem anderen Beispiel weisen unterschiedliche Korrekturfaktoren der Pixel mit dem gleichen Index unterschiedliche Gewichte auf; wobei diese Gewichte als eine Funktion von irgendeinem vorbestimmten Kriterium, wie etwa Histogramm, Abstand von einem bestimmten Wert, usw., abgeleitet werden können.
Sobald das gesamte Bild untersucht worden ist, wird bei Bezugszeichen 88 die Korrekturfaktortabelle bevölkert, und jegliche Lücken, die in der Korrekturfaktortabelle verbleiben, werden gefüllt, indem die vorhandenen Einträge interpoliert werden. In manchen Fällen kann mehr als eine Korrekturfaktortabelle geschaffen werden. Fachleute werden erkennen, dass die Korrekturtabelle inkrementell aufgebaut werden kann, wenn die Indexwerte und Korrekturfaktoren ermittelt werden.
Die Wiederherstellungsprozedur untersucht jedes Pixel in dem Bild auf der Basis der Sättigungskarte. Bei Bezugszeichen 90 wird ein Pixel ausgewählt. Bei Bezugszeichen 92 wird ermittelt, ob alle Farbkanäle des Pixels gesättigt sind. Wenn nicht, kann das Pixel verarbeitet werden, und bei Bezugszeichen 94 wird der Indexwert für das Pixel berechnet (unter Verwendung des gleichen Ansatzes, wie er verwendet wurde, um die Tabelle zu erzeugen).
Bei Bezugszeichen 96 wird der Indexwert dazu verwendet, um die Korrekturtabelle zu adressieren und somit den Korrekturfaktor zu erhalten.
In manchen Fällen wird mehr als eine Korrekturtabelle angewandt, und der abschließende Korrekturwert kann als eine Kombination von korrigierten Werten erhalten werden, die unter Verwendung einer jeden derartigen Tabelle beschafft werden. Bei Bezugszeichen 98 wird ermittelt, ob eine zusätzliche Korrekturtabelle in Gebrauch ist. Wenn dies der Fall ist, kehrt der Prozess zu Bezugszeichen 94 und 96 zurück, um den zusätzlichen Korrekturfaktor zu beschaffen. Wenn auf alle Korrekturfaktortabellen zugegriffen worden ist und Korrekturfaktoren ermittelt worden sind, wird bei Bezugszeichen 100 der beschaffte Korrekturfaktor auf das Pixel angewandt, um den korrigierten Pixelwert zu erzeugen. Wenn der Korrekturfaktor unter Verwendung des gleichen Farbkanals als yB ermittelt wird, dann stellt dessen Wert direkt den korrigierten Ausgang dar. In allen anderen Fällen wird die ungesättigte Farbkomponente von dem Pixel, das korrigiert wird, mit dem entsprechenden Korrekturfaktor kombiniert (d. h. sie wird mit den farbverhältnisbasierten Faktoren multipliziert oder sie wird zu den farbdifferenzbasierten Faktoren addiert), indem den inversen Berechnungen mit Bezug auf die Korrekturfaktorberechnungen gefolgt wird. Der korrigierte Pixelwert wird direkt erzeugt, wenn nur eine Korrekturtabelle verwendet wird. Ansonsten werden alle beschafften Korrekturfaktoren auf das Pixel angewandt, um zwischenkorrigierte Pixelwerte zu kombinieren, wenn mehr als eine Korrekturtabelle verwendet wird. Anschließend wird der abschließende korrigierte Pixelwert gespeichert.
Bei Bezugszeichen 102 wird ermittelt, ob alle Pixel in dem Bild verarbeitet worden sind. Wenn nicht, kehrt der Prozess zu Bezugszeichen 90 zurück, bei dem ein anderes Pixel zur Verarbeitung ausgewählt wird. Wenn alle Pixel in dem Bild verarbeitet worden sind, endet der Prozess bei Bezugszeichen 104.
Gemäß einem anderen Aspekt der vorliegenden Erfindung können die beiden Ansätze, der eine, der auf der Korrekturtabelle beruht, und der andere, der Hochlicht-Pixel verwendet, die in einer lokalen Nachbarschaft verfügbar sind, kombiniert werden. In Beispielumsetzungen kann jedes gesättigte Pixel als der Mittelwert oder gewichtete Mittelwert der zwei Zwischenpixel, die unter Verwendung dieser beiden Ansätze erzeugt werden, korrigiert werden. Bei derartigen Berechnungen mit gewichtetem Mittelwert sollte die Summe der Gewichte gleich Eins sein, um eine Schätzung ohne systematischen Fehler zu erzeugen. Gemäß einem anderen Aspekt der vorliegenden Erfindung kann die Korrekturfaktortabelle unter Verwendung von einem oder mehreren Bereichen des tatsächlichen Bildes, das wiederhergestellt wird, berechnet werden, wobei diese Bereiche automatisch auf der Basis von Bildstatistiken ermittelt und/oder von dem Benutzer ausgewählt werden können. Gemäß einem nochmals anderen Aspekt der vorliegenden Erfindung kann die Korrekturfaktortabelle unabhängig (z. B. bei der Kalibrierung) an dem tatsächlichen Bild, das wiederhergestellt wird, berechnet werden.
Zusätzlich zu Hochlicht-Bereichen kann das Bildwiederherstellungskonzept, das bei der vorliegenden Erfindung vorgestellt wird, auch dazu verwendet werden, die Qualität und das Leistungsvermögen der Bildverarbeitung für Hoch-ISO-Aufnahmen zu verbessern. Bei derartigen Szenarien kann es erwünscht sein, Fotodioden, die eine normale Empfindlichkeit aufweisen, und Fotodioden, die eine hohe Empfindlichkeit aufweisen, zu kombinieren, da die letzteren durch Rauschen, das während des Bilderfassungsprozesses in das Bild eingeleitet wird, weniger beeinflusst werden. Unter der Annahme, dass die Pixelwerte, die durch Pixel aufgenommen werden, die höhere Empfindlichkeiten aufweisen, herunterskaliert werden, indem die richtigen Verstärkungen angewandt werden, kann hier der verrauschteste der zwei Farbkanäle unter Verwendung des anderen der zwei Farbkanäle von den Pixeln, die eine höhere Empfindlichkeit aufweisen, wiederhergestellt werden, indem die hierin beschriebenen Signalverarbeitungskonzepte angewandt werden (statt der gesättigten Kanäle werden hierin die verrauschtesten Kanäle oder die Kanäle mit der niedrigsten Empfindlichkeit betrachtet. Es ist anzumerken, dass diese Strategie an allen Pixelstellen oder in gewissen ausgewählten Bereichen gemäß irgendwelchen vorbestimmten Kriterien angewandt werden kann (z. B. Schwachlicht-Bereichen, Bereichen mit gewissen gewünschten Farb- und Struktureigenschaften usw.).
Obgleich Ausführungsformen und Anwendungen dieser Erfindung gezeigt und beschrieben worden sind, werden Fachleute feststellen, dass viel mehr Abwandlungen als oben erwähnt möglich sind, ohne von den erfinderischen Konzepten hierin abzuweichen. Die Erfindung ist daher abgesehen von dem Gedanken der beigefügten Ansprüche nicht beschränkt.

Claims

Pixelsensor-Array, umfassend: eine erste Vielzahl von Pixelsensoren, die eine erste Lichtempfindlichkeit aufweisen; und eine zweite Vielzahl von Pixelsensoren, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist.
Pixelsensor-Array nach Anspruch 1, wobei die zweite Vielzahl von Pixelsensoren gleichmäßig in dem Array verteilt ist.
Pixelsensor-Array nach Anspruch 1, wobei die erste Vielzahl von Pixeln jeweils eine Lichteinlassblende mit einer ersten Fläche aufweisen, und die zweite Vielzahl von Pixeln jeweils eine Lichteinlassblende mit einer zweiten Fläche aufweisen, die eine kleinere Größe als die erste Fläche aufweist.
In einem Bild, das durch ein Bildsensor-Array aufgenommen wird, das eine erste Vielzahl von Pixelsensoren aufweist, die eine erste Lichtempfindlichkeit aufweisen, und eine zweite Vielzahl von Pixelsensoren aufweist, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist, umfasst ein Verfahren zum Korrigieren gesättigter Pixeldaten, die durch die ersten Pixelsensoren aufgenommen werden: a) Anwenden von Pixelverstärkungen auf Pixelwerte von der zweiten Vielzahl von Pixelsensoren; b) Auswählen eines Pixels mit zumindest einer gesättigten Farbkomponente in der ersten Vielzahl von Pixelsensoren; c) Identifizieren von zumindest einem von der zweiten Vielzahl von Pixelsensoren in einer lokalen Nachbarschaft des ausgewählten ersten Pixelsensors; d) Ersetzen der gesättigten Farbkomponente der ausgewählten Pixeldaten durch Kombinieren entsprechender nicht gesättigter Farbkomponenten von Pixeln, die in der zweiten Vielzahl von Pixelsensoren identifiziert sind; und e) Wiederholen von b) bis d), bis Pixeldaten von allen gesättigten Pixelsensoren verarbeitet worden sind.
In einem Bild, das durch ein Bildsensor-Array aufgenommen wird, das eine erste Vielzahl von Pixelsensoren aufweist, die eine erste Lichtempfindlichkeit aufweisen, und eine zweite Vielzahl von Pixelsensoren aufweist, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist, umfasst ein Verfahren zum Korrigieren gesättigter Pixeldaten, die durch die ersten Pixelsensoren aufgenommen werden: a) Anwenden von Pixelverstärkungen auf Pixelwerte von der zweiten Vielzahl von Pixelsensoren; b) Auswählen eines Pixels mit zumindest einer gesättigten Farbkomponente in der ersten Vielzahl von Pixelsensoren; c) Identifizieren von zumindest einem von der zweiten Vielzahl von Pixelsensoren in einer lokalen Nachbarschaft des ausgewählten ersten Pixelsensors; d) Ersetzen der gesättigten Farbkomponente des ausgewählten Pixels in der ersten Vielzahl von Pixelsensoren durch die Summe der nicht gesättigten Farbkomponente des ausgewählten Pixels in der ersten Vielzahl von Pixelsensoren und der entsprechenden gemittelten oder gewichtet gemittelten Differenz zwischen Pixeldaten von einem nicht gesättigten Farbkanal und einem gesättigten Farbkanal der lokal verfügbaren Pixel, die in der zweiten Vielzahl von Pixelsensoren identifiziert werden; und e) Wiederholen von b) bis d), bis Pixeldaten von allen Pixelsensoren, die zumindest einen gesättigten Farbkanal aufweisen, verarbeitet worden sind.
In einem Bild, das durch ein Bildsensor-Array aufgenommen wird, das eine erste Vielzahl von Pixelsensoren aufweist, die eine erste Lichtempfindlichkeit aufweisen, und eine zweite Vielzahl von Pixelsensoren aufweist, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist, umfasst ein Verfahren zum Korrigieren gesättigter Pixeldaten, die durch die ersten Pixelsensoren aufgenommen werden: a) Anwenden von Pixelverstärkungen auf Pixelwerte von der zweiten Vielzahl von Pixelsensoren; b) Auswählen eines Pixels mit zumindest einer gesättigten Farbkomponente in der ersten Vielzahl von Pixelsensoren; c) Identifizieren von zumindest einem von der zweiten Vielzahl von Pixelsensoren in einer lokalen Nachbarschaft des ausgewählten ersten Pixelsensors; d) Ersetzen der gesättigten Farbkomponente des ausgewählten Pixels in der ersten Vielzahl von Pixelsensoren durch das Produkt aus der nicht gesättigten Farbkomponente des ausgewählten Pixels in der ersten Vielzahl von Pixelsensoren und dem entsprechenden gemittelten oder gewichtet gemittelten Verhältnis zwischen Pixeldaten von einem nicht gesättigten Farbkanal und einem gesättigten Farbkanal der lokal verfügbaren Pixel, die in der zweiten Vielzahl von Pixelsensoren identifiziert werden; und e) Wiederholen von b) bis d), bis Pixeldaten von allen Pixelsensoren, die zumindest einen gesättigten Farbkanal aufweisen, verarbeitet worden sind.
In einem Bild, das durch ein Bildsensor-Array aufgenommen wird, das eine erste Vielzahl von Pixelsensoren aufweist, die eine erste Lichtempfindlichkeit aufweisen, und eine zweite Vielzahl von Pixelsensoren aufweist, die eine zweite Lichtempfindlichkeit aufweisen, die niedriger als die erste Lichtempfindlichkeit ist, umfasst ein Verfahren zum Korrigieren gesättigter Pixeldaten, die durch die ersten Pixelsensoren aufgenommen werden: a) Auswählen eines Farbkanals; b) Analysieren des gesamten Bilds, um nicht gesättigte Pixel zu identifizieren; c) für jegliche identifizierten Pixeldaten, Aufbauen einer Korrekturtabelle, indem als eine Funktion von einem oder mehreren Farbkanälen ein Index in der Korrekturfaktortabelle und ein Korrekturfaktor berechnet werden; d) Füllen jeglicher Lücken in der Korrekturtabelle durch Interpolieren vorhandener Einträge in der Korrekturtabelle; e) Auswählen eines Pixels in der ersten Vielzahl von Pixelsensoren; f) Ermitteln, ob alle Farbkanäle in den Pixeldaten gesättigt sind; g) nur wenn alle Farbkanäle in den Pixeldaten von dem ausgewählten Pixel nicht gesättigt sind: Berechnen des Indexwerts für das Pixel; Adressieren der Korrekturtabelle unter Verwendung des berechneten Indexwerts, um den Korrekturfaktor zu erhalten; Anwenden des erhaltenen Korrekturfaktors auf die Pixeldaten, um einen korrigierten Pixeldatenwert zu erzeugen; h) Wiederholen von e) bis g), bis Pixeldaten von allen Pixelsensoren, die zumindest einen gesättigten Farbkanal aufweisen, verarbeitet worden sind.