DE60104508T2

DE60104508T2 - Verfahren und vorrichtung zum erzeugen eines bildes geringer auflösung aus einem spärlich abgetasteten bild mit erweitertem dynamikbereich

Info

Publication number: DE60104508T2
Application number: DE60104508T
Authority: DE
Inventors: Edward B. c/o Eastman Kodak Company Rochester Gindele; Andrew C. c/o Eastman Kodak Company Rochester Gallagher
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-11-07
Filing date: 2001-10-26
Publication date: 2005-08-04
Anticipated expiration: 2021-10-27
Also published as: EP1206130B1; DE60104508D1; US6873442B1; JP3946492B2; JP2002209098A; EP1206130A1

Description

Die vorliegende Erfindung betrifft im Allgemeinen den Bereich der Bilderfassung und insbesondere ein Verfahren zum Erzeugen eines Bildes mit geringer Auflösung aus einem Bild, das mit einem Bildsensor mit erweitertem Dynamikumfang erfasst worden ist.
Bildsensoren, wie beispielsweise CCD-Bildwandler (CCD = Charged Coupled Device / ladungsgekoppelter Baustein), sind in derartigen Produkten, wie Digitalkameras, Scannern und Videokameras allgemein üblich. Im Vergleich zu herkömmlichen fotografischen Filmprodukten weisen diese Bildsensoren einen begrenzten Dynamikumfang auf. Ein typischer elektronischer Sensor hat einen Dynamikumfang von ca. 7 Blenden. Das bedeutet, dass die Belichtung einer typischen Szene mit einem relativ hohen Maß an Genauigkeit bestimmt werden muss, um eine Begrenzung des resultierenden Signals zu vermeiden. Im Unterschied dazu weisen natürliche Szenen oft einen Dynamikumfang von 9 Blenden oder mehr auf. Das ist hauptsächlich eine Folge mehrerer Lichtquellen mit stark unterschiedlicher Intensität, die die Szenenobjekte beleuchten. Auch Spitzlichter tragen zum Dynamikumfang natürlicher Szenen bei.
Elektronische Sensoren zur Abtastung von fotografischem Film müssen zudem einen großen Dynamikbereich von Signalstärken abdecken. In US-A-5,221,848 vom 22.06.1993 beschreibt Milch ein Verfahren und eine Vorrichtung, die zur Erweiterung des Dynamikbereichs eines elektronischen Bildsensors vorgesehen sind. Das hauptsächlich zum Abtasten fotografischen Films vorgesehene Verfahren verwendet einen Filmabtaster mit einem Durchgang sowie einen CCD-Scanner mit einer Vielzahl von linearen Arrays mit identischer Spektralempfindlichkeit. Einer der Arrays weist eine schnellere Reaktion auf Licht als der andere Array auf.
Die Informationen aus den beiden Arrays werden dann zur Erzeugung eines Digitalbildes mit erweitertem Dynamikbereich kombiniert und digitalisiert.
Digitale elektronische Kameras verwenden einen einzelnen Bildsensor mit einem Farbfilterarray (CFA) zum Erzeugen eines so genannten spärlich abgetasteten (sparsely sampled) Digitalbildes (sechs Abtastungen pro Achse). Ein typisches Farbfilter-Arraymuster wird von Bayer in US-A-3,971,065 vom 20. Juli 1976 beschrieben. Interpolationsalgorithmen werden benutzt, um ein voll aufgelöstes Farbbild aus dem "sparsely sampled" Digitalbild zu erzeugen. Digitalkameras müssen zudem Szenen mit hohem Dynamikbereich aufnehmen können. Eine Möglichkeit zur Erzielung eines Bildes mit hohem Dynamikbereich aus einer Digitalkamera besteht darin, in der Kamera einen Analog-/Digitalwandler mit hoher Bittiefe zu verwenden. Eine weitere Möglichkeit ist die Verwendung eines Bildsensors mit vermischten Sensorelementen mit hoher und niedriger Empfindlichkeit, wie in EP-A-1 173 010 beschrieben. Ein wichtiges Merkmal von Digitalkameras ist die Notwendigkeit, Digitalbilder mit unterschiedlicher Raumauflösung zu erzeugen. Dies ist vor allem auf den begrenzten internen Speicher der Digitalkamera und auf die Begrenzung der Bandbreite zur Übertragung der Digitalbilder auf andere Vorrichtungen zur Erzeugung spärlich abgetasteter Bilder mit erweitertem Dynamikbereich zurückzuführen.
In US-A-4,945,406 vom 31. Juli 1990 beschreiben Cok et al. ein Verfahren zur Erzeugung eines niedrig aufgelösten Bildes aus einem hoch aufgelösten Bild. Das darin beschriebene Verfahren wird für Bilder mit erweitertem Dynamikbereich verwendet, die durch Abtastung fotografischer Bilder von Film gewonnen wurden. Der Film ist ein Sensor mit großem Dynamikbereich, der den Dynamikbereich der Szene inhärent komprimiert, so dass der Scanner den großen Bilddynamikbereich wiederherstellen kann. Während das von Cok et al. in US-A-4,945,406 beschriebene Verfahren ein allgemeines Verfahren ist, das auf elektronisch erfasste Digitalbilder anwendbar ist, arbeitet es mit spärlich abgetasteten Digitalbildern mit erweitertem Dynamikbereich nicht einwandfrei.
Es besteht daher Bedarf nach einem verbesserten Verfahren zur Erzeugung von Bildern niedriger Auflösung aus spärlich abgetasteten Digitalbildern mit erweitertem Dynamikbereich.
Dieser Bedarf wird erfindungsgemäß mit einem Verfahren zur Herstellung eines Bildes mit geringer Auflösung aus einem spärlich abgetasteten Digitalbild mit erweitertem Dynamikumfang gedeckt, das folgende Schritte umfasst: Bereitstellen eines Bildsensors mit spärlicher Abtastung und erweitertem Dynamikumfang, wobei der Sensor hochempfindliche Fotoberei che oder Sensorelemente mit einer vorbestimmten Reaktion auf die Einwirkung von Licht und dazwischen niedrigempfindliche Fotobereiche oder Sensorelemente mit einer schwächeren Reaktion auf die gleiche Lichteinwirkung im gleichen Spektralbereich umfasst; Verwendung des Bildsensors zur Herstellung eines Digitalbildes mit hoher Auflösung durch spärliche Abtastung, wobei das Bild durch die hochempfindlichen Sensorelemente erzeugte hochempfindliche Pixelwerte und durch die niedrigempfindlichen Sensorelemente erzeugte niedrigempfindliche Pixelwerte aufweist; und Aufbauen eines Digitalbildes geringer Auflösung aus dem spärlich abgetasteten Digitalbild hoher Auflösung durch Auswählen nur der niedrigempfindlichen Pixelwerte oder nur der hochempfindlichen Pixelwerte aus dem spärlich abgetasteten Digitalbild mit hoher Auflösung.
Smith beschreibt in US-A-5,418,565 vom 23. Mai 1995 eine elektronische Kamera mit einem Bildsensor und einem Farbfilterarray. Das von dem Bildsensor erzeugte Bild kann in einem hoch auflösenden Modus und in einem niedrig auflösenden Modus verarbeitet werden, in dem die Pixelgeometrie des CFA-Originalbildes (CFA / Color Filter Array) erhalten bleibt, wodurch sich die Bildverarbeitungskette vereinfacht.
Ikeda beschreibt in US-A-6,040,858 vom 21. März 2000 ein Verfahren und eine Vorrichtung zur Ausweitung des Dynamikbereichs von erfassten Farbbildern. Das Verfahren umfasst die Erzeugung eines standardmäßig belichteten Bildes und eines nicht standardmäßig belichteten Bildes für jede Farbe. Ein gesättigter oder Rauschbereich in dem Standardbildsignal wird durch Anwenden einer Schwellenwertoperation auf das Standardbildsignal bestimmt. Der gesättigte oder Rauschbereich wird durch einen entsprechenden Teil des nicht standardmäßigen Bildsignals ersetzt.
Ein Vorteil der vorliegenden Erfindung besteht darin, dass sie ein Bild niedriger Auflösung aus einem Bild hoher Auflösung mit erweitertem Dynamikbereich in einer rechentechnisch effizienten Weise erzeugt. Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass bei ausschließlicher Verwendung der Pixelwerte niedriger Empfindlichkeit Sättigungsartefakte in dem Bild niedriger Auflösung minimierbar sind, und dass bei ausschließlicher Verwendung der Pixelwerte hoher Empfindlichkeit Rauschartefakte in dem Bild niedriger Auflösung minimierbar sind.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
1 ein Blockdiagramm eines Digitalbildsystems, das eine Bildwandlervorrichtung mit erweitertem Dynamikbereich und einen erfindungsgemäßen Digitalbildprozessor verwendet;
2 ein Funktionsblockdiagramm des Digitalbildprozessors;
3 eine Schnittansicht eines Interline-Bildwandlers, der eine Anordnung von Linsenelementen (Lenslets) verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
4 eine Schnittansicht eines Full-Frame-Bildwandlers, der eine Metallmaske verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
5 eine Kurve zur Darstellung des Ansprechverhaltens eines Sensorelements mit hoher und eines Sensorelements mit niedriger Empfindlichkeit;
6 eine Schnittansicht eines Bildwandlers, der eine Anordnung von Neutraldichtefiltern verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
7A die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem panchromatischen Bildwandler;
7B die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem Farbbildwandler;
8 ein auseinandergezogenes Blockdiagramm des DREFA-Prozessors (Dynamic Range Extending Filter Array).
9 ein auseinandergezogenes Blockdiagramm des CFA-Paxelisierungsmoduls;
10A die niedrig aufgelöste Anordnung von abgetasteten Pixeln entsprechend grünempfindlichen Sensorelementen mit niedriger Empfindlichkeit;
10B die niedrig aufgelöste Anordnung von abgetasteten Pixeln entsprechend rotempfindlichen Sensorelementen mit niedriger Empfindlichkeit;
10C die niedrig aufgelöste Anordnung von abgetasteten Pixeln entsprechend blauempfindlichen Sensorelementen mit niedriger Empfindlichkeit;
11 ein Beispiel einer niedrig aufgelösten Anordnung von Pixeln für die Blockmittelung.
Ein Digitalbild setzt sich aus einem oder mehreren Digitalbildkanälen zusammen. Jeder Digitalbildkanal umfasst eine zweidimensionale Anordnung von Pixeln. Jeder Pixelwert betrifft eine Lichtmenge, die auf eine Bebilderungseinrichtung fällt, die der geometrischen Domäne des Pixels entspricht. Für Farbbebilderungsanwendungen besteht ein Digitalbild typischerweise aus roten, grünen und blauen Digitalbildkanälen. Andere Konfigurationen finden ebenfalls Verwendung, z.B. blaugrüne, purpurrote oder gelbe Digitalbildkanäle. Für monochrome Anwendungen besteht das Digitalbild aus einem Digitalbildkanal. Bebilderungsanwendungen mit Laufbildern kann man sich als eine zeitliche Folge von Digitalbildern vorstellen. Fachleute werden wissen, dass die vorliegende Erfindung beispielsweise, aber nicht abschließend, auf ein Digitalbild für eine beliebige der zuvor genannten Anwendungen anwendbar ist.
Die vorliegende Erfindung beschreibt zwar einen Digitalbildkanal in Form einer zweidimensionalen Anordnung von Pixelwerten, die in Reihen und Spalten angeordnet sind, aber Fachleute werden wissen, dass die vorliegende Erfindung mit gleicher Wirkung auch auf mosaikförmige (nicht geradlinige) Anordnungen anwendbar ist.
Da Systeme, die elektronische Sensoren umfassen, bekannt sind, bezieht sich die vorliegende Beschreibung insbesondere auf Elemente, die Teil der erfindungsgemäßen Vorrichtung sind oder direkt damit zusammenwirken. Hier nicht gezeigte oder beschriebene Elemente sind aus den nach dem Stand der Technik bekannten Elementen wählbar. Es sei darauf hingewiesen, dass der Begriff Bild hier im Sinne einer zweidimensionalen Anordnung von Werten zu verstehen ist. Ein Bild kann eine zweidimensionale Untermenge eines anderen Bildes sein.
Die vorliegende Erfindung ist mithilfe eines programmierten Digitalcomputers oder einer individuellen, integrierten, digitalen Bildverarbeitungsschaltung implementierbar. Die Erstellung eines derartigen Computerprogramms anhand der nachfolgenden Beschreibung fällt in den üblichen Bereich der Programmiertechnik. Der Computer kann ein digitaler Universalcomputer sein, wie ein Personal Computer (PC), oder ein digitaler Spezialcomputer, der speziell für die Verarbeitung von Digitalbildern entworfen wurde.
Die in der praktischen Verwertung der vorliegenden Erfindung verwendeten wesentlichen Elemente sind als Funktionsblockdiagramm in 1 dargestellt. Licht aus einem Objekt oder einer Szene fällt auf eine Linse 2, die ein fotografisches Bild auf einem Bildsensor oder Bildwandler 10, etwa einem CCD-Chip (Charged-Coupled Device) mit einem Farbfilter-Array, erzeugt. Es sei darauf hingewiesen, dass auch andere Vorrichtungen, wie CMOS-Vorrichtungen, als Bildwandler 10 verwendbar sind. Der Bildwandler 10 ist ein spärlich abgetasteter Bildsensor mit erweitertem Dynamikbereich, wie detailliert nachfolgend beschrieben wird. Ein optisches Tiefpassfilter 6, das zwischen der Linse 2 und dem Bildwandler 10 angeordnet ist, führt eine leichte unscharfe Abbildung des einfallenden Lichts durch, um das Auftreten eines Treppeneffekts (Aliasing) zu reduzieren. Ein Analog-/Digitalwandler 14 empfängt das Spannungssignal entsprechend dem einfallenden Licht vom Bildwandler 10 und erzeugt ein dem Spannungssignal entsprechendes Bildsignal. Der Digitalbildprozessor 200 empfängt das Bildsignal vom Analog-/Digitalwandler 14, modifiziert das Bildsignal und erzeugt ein Digitalbild. Als Ausgabe des Digitalbildprozessors 200 kann mehr als eine Form eines Digitalbildes erzeugt werden. Der Benutzer des digitalen Bebilderungssystems kann in Bezug auf den Systemauflösungsbetrieb mithilfe einer Benutzerauswahleinrichtung 62 eine Auswahl treffen. Beispielsweise kann der Benutzer ein hoch aufgelöstes Digitalbild, ein niedrig aufgelöstes Digitalbild oder ein paxelisiertes Digitalbild als Ausgabe von dem Digitalbildprozessor wählen. Der Benutzer kann zudem eine Auswahl zwischen unterschiedlichen Optionen in Bezug auf die Verarbeitungsgeschwindigkeit und Verarbeitungsgenauigkeit der Ergebnisse treffen, wenn er niedrig aufgelöste und paxelisierte Digitalbilder wählt. Der Benutzer kann beliebige ausgegebene Digitalbilder einer Verbesserung unterziehen, so dass die resultierenden, verbesserten Digitalbilder an einer Anzeigevorrichtung 64 betrachtet werden können. Die vorliegende Erfindung ist in einer Digitalkamera implementierbar. Für diese digitale Bebilderungsanwendung wird ein verbessertes Digitalbild, das von einem paxelisierten Digitalbild abgeleitet worden ist, an einem LCD-Bildschirm (Flüssigkristallschirm) angezeigt, der eine Komponente der Digitalkamera ist.
Der in 1 gezeigte Analog-/Digitalwandler 14 wandelt das von dem Bildwandler 10 erzeugte Spannungssignal in ein Bildsignal um, d.h. in einen Strom aus digitalen Pixelwerten entsprechend dem von den Sensorelementen des Bildwandlers 10 erzeugten Spannungssignal. Der Analog-/Digitalwandler 14 wandelt das Spannungssignal, das in Bezug auf die Intensität des einfallenden Lichts nahezu linear ist, aus dem Bildwandler 10 in ein diskretes Digitalbildsignal um, z.B. ein 10-Bit-Signal mit linear codiertem Wertebereich von 0 bis 1023. Der Analog-/Digitalwandler 14 kann zudem das linear codierte Domänenbildsignal in ein nicht linear codiertes Domänenbildsignal umwandeln, etwa in ein in der Technik übliches logarithmisches 8-Bit-Signal. Die folgende Gleichung ist beispielsweise verwendbar, um ein lineares 10-Bit-Bildsignal a(x,y), wobei (x,y) für den Reihen- und Spaltenindex der Signalstelle in Bezug auf den Bildwandler 10 steht, in ein logarithmisches 8-Bit-Bildsignal b(x,y) umzuwandeln.
Es sei darauf hingewiesen, dass jede Blende der Belichtung (im linearen Ansprechbereich des Bildwandlers) zu einer Verdoppelung des linearen Bildsignals a(x,y) führt und zu einer Erhöhung des logarithmisch codierten Bildsignals (b(x,y) um 51. In diesem Fall stellt der Wert 51 die Anzahl der Codewerte pro Belichtungsblende (cvs) dar.
Der in 1 gezeigte Digitalbildprozessor 200 wird in 2 detaillierter dargestellt. Das Bildsignal wird von dem DREFA-Prozessor 22 (Dynamic Range Extending Filter Array ) empfangen. Der DREFA-Prozessor 22 verarbeitet das Bildsignal durch Erweiterung des Dynamikbereichs des Bildes und Interpolation der Abtastwerte. Der DREFA-Prozessor 22 überträgt dann das modifizierte Bildsignal an den CFA-Interpolator 26, wo die Farbwerte interpoliert werden, um einen Farbwert an jedem Pixel zu erzeugen. Die Ausgabe des CFA-Interpolators 26 ist ein hoch aufgelöstes Digitalbild. Das CFA-Paxelisierungsmodul 220 empfängt ebenfalls das Bildsignal und erzeugt ein paxelisiertes Digitalbild, d.h. ein von einem Bildsignal abgeleitetes Digitalbild niedriger Auflösung. Optional wird das Digitalbild mit hoher Auflösung auch von einem Verbesserungsprozessor 240 empfangen, der das paxelisierte Digitalbild empfängt, Verbesserungen beruhend auf dem paxelisierten Digitalbild berechnet und die Verbesserungen auf die Pixel des hoch aufgelösten Digitalbildes anwendet, um ein verbessertes Digitalbild zu erzeugen.
Der CFA-Interpolator 26 hat die Aufgabe, eine vollständige Beschreibung der Farbe für jede Stelle des abgetasteten fotografischen Bildes zu erzeugen. In dem bevorzugten Ausführungsbeispiel besteht der Bildwandler 10 aus einer Anordnung lichtempfindlicher Elemente, die als Sensorelemente bezeichnet werden. Jedes Sensorelement ist typischerweise entweder mit einem roten, grünen oder blauen Filter beschichtet, wie von Bayer in der Parallelanmeldung US-A-3,971,065 beschrieben. Diese Anordnung nach Bayer ist ein Farbfilter-Array, in dem Grünfilter in einem Schachbrettmuster über den Sensorelementen mit zeilenweise abwechselnden roten und blauen Filtern angeordnet sind, um die Zwischenräume des Schachbrettmusters zu füllen; dies erzeugt zweimal so viele Grünfilterstellen wie Rot- und Blaufilterstellen. Es sei darauf hingewiesen, dass sich das hier beschriebene Verfahren ohne weiteres auf Farbfilter-Arrays mit unterschiedlichen Anordnungen der Primärfarben oder einer anderen Primärfarbenmenge erweitern lässt. In dem bevorzugten Ausführungsbeispiel spricht jedes Sensorelement entweder auf rotes, grünes oder blaues Licht an. Es ist jedoch wünschenswert, einen Pixelwert entsprechend einer Belichtung für jede der roten, grünen und blauen Belichtungen an jeder Stelle eines Sensorelements zu erzeugen. Die Pixelwerte der Bildsignale stellen ein spärlich abgetastetes Bild mit roten, grünen und blauen Pixelwerten an benachbarten Pixelstellen dar. Das CFA-Digitalbild ist ein Beispiel eines spärlich abgetasteten Digitalbildes.
In der vorliegenden Beschreibung stellen "rot", "grün" und "blau" die primären Spektralempfindlichkeiten eines Bildwandlers 10 dar, wie in der Technik der Bildverarbeitung bekannt ist. Der CFA-Interpolator 26 erzeugt aus dem vom Analog-/Digitalwandler 14 ausgegebenen Bildsignal ein interpoliertes Bildsignal, das aus einem Pixelwert besteht, der den Grundfarben für jedes Sensorelement entspricht. Wenn beispielsweise ein bestimmtes Sensorelement mit einem Rotfilter bedeckt ist, dann gibt der Analog-/Digitalwandler 14 einen roten Pixelwert für dieses Sensorelement aus, da das Rotfilter grünes und blaues Licht für dieses bestimmte Sensorelement sperrt. Der CFA-Interpolator 26 berechnet einen grünen Pixelwert und einen blauen Pixelwert für das entsprechende Sensorelement, obwohl das entsprechende Sensorelement auf grünes und rotes Licht nicht anspricht. Desgleichen berechnet der CFA-Interpolator 26 einen grünen Pixelwert und einen roten Pixelwert, die den blauen Sensorelementen entsprechen, sowie einen roten Pixelwert und einen blauen Pixelwert, die den grünen Sensorelementen entsprechen.
Im Allgemeinen arbeitet der CFA-Interpolator 26 unter Berücksichtigung der Pixelwerte des entsprechenden Sensorelements und der Pixelwerte der zugehörigen, benachbarten Sensorelemente. Zwar ist jeder gängige Interpolator verwendbar, aber in US-A-5,652,621 vom 29. Juli 1997 beschreiben Adams, Jr. et al einen bevorzugten CFA-Interpolator. US-A-5,652,621 beschreibt eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, das von einem Bildwandler stammt, der mit Farbsensorelementen versehen ist, die in Reihen und Spalten angeordnet sind und mindestens drei separate Farbwerte erzeugen, jedoch nur einen Farbwert für jede Sensorelementstelle, und eine Struktur zur Interpolation von Farbwerten für jede Sensorelementstelle, so dass diese drei verschiedene Farbwerte hat. Die Vorrichtung erzeugt einen entsprechenden Farbwert, der an einer Sensorelementstelle fehlt, durch Interpolation eines zusätzlichen Farbwerts für diese Sensorelementstelle aus Farbwerten für andere Farben als der fehlende Farbwert an der benachbarten Sensorelementstelle. Die Vorrichtung erzeugt zudem Laplace-Werte zweiter Ordnung, Gradientenwerte und Farbdifferenz-Vorspannungswerte in mindestens zwei Bildrichtungen von den Pixelwerten, die benachbarten Sensorelementen derselben Spalte und Reihe entsprechen, und wählt eine bevorzugte Ausrichtung für die Interpolation des fehlenden Farbwerts basierend auf einem für diese Werte entwickelten Klassifizierer aus. Der fehlende Farbpixelwert von einer Mehrzahl benachbarter Farbpixelwerte wird derart ausgewählt, dass er mit der bevorzugten Ausrichtung übereinstimmt.
Das vom Analog-/Digitalwandler 14 ausgegebene Bildsignal wird vom DREFA-Prozessor 22 empfangen, der den Dynamikbereich des Bildsignals erweitert. In dem bevorzugten Ausführungsbeispiel wird der Dynamikbereich des Bildwandlers 10 durch Auswahl bestimmter Sensorelemente des Bildwandlers 10 derart erweitert, dass diese eine niedrige Empfindlichkeit aufweisen. Die Anordnung der gewählten Sensorelemente in Bezug auf den Bildwandler 10 wird nachfolgend detaillierter beschrieben. In dem bevorzugten Ausführungsbeispiel wird das Ansprechverhalten ausgewählter Sensorelemente abgeschwächt oder verzögert, indem die Verstärkung der ausgewählten Sensorelemente abgewandelt wird, die hier als Sensorelemente niedriger Empfindlichkeit bezeichnet werden. Die Abwandlung der Verstärkung eines Sensorelements ist in der Konstruktions- und Herstellungstechnik von Digitalkameras allgemein üblich.
Wie in 3 gezeigt, ist es im Bereich der Fertigung von Bildwandlern allgemein üblich, Kunststofflinsenelemente 51 über jedem Sensorelement anzuordnen. Insbesondere wenn es sich bei dem Bildwandler 10 um einen Interline-Halbleiterbildwandler handelt, wird eine Linsenelementtechnik in US-A-4,667,092, erteilt am 19. Mai 1987 an Ishihara, beschrieben. US-A-4,667,092 beschreibt einen Halbleiterbildwandler, der einen Bildspeicherbereich mit einer Oberfläche und einer Vielzahl von Speicherelementen aufweist, die entlang der Oberfläche eingebettet sind und ein Bild in Form einer elektrischen Ladung speichern können. Darüber ist eine Deckschicht abgelagert, die eine Anordnung aus optischen Linsen bildet, die den Speicherelementen entsprechen. Eine Zwischenschicht ist zwischen der Blockoberfläche und der Deckschicht angeordnet. Licht wird durch die Linsen fokussiert und fällt durch die Zwischenschicht auf die Speicherelemente. Die Zwischenschicht dient als Einstellschicht zur Einstellung einer Brennweite.
3 zeigt einen Querschnitt eines Interline-Halbleiterbildwandlers. Ohne die Linsenelemente 51 ist es aufgrund des jedem lichtempfindlichen Bereich 55 zugeordneten Signalauslesebereichs eines Sensorelements unmöglich, den gesamten Bereich des Halbleitersubstrats als fotoelektrischen Wandlerbereich zu nutzen. Der konventionelle Halbleiterbildwandler nutzt die Gesamtheit der darauf einfallenden Strahlen nicht effektiv und hat daher eine niedrige Empfindlichkeit. Durch Hinzufügen eines Kunststofflinsenelements 51 über einem Sensorelement können die einfallenden Lichtstrahlen auf die lichtempfindlichen Bereiche des Sensorelements fokussiert werden, wodurch die einfallenden Lichtstrahlen effektiver genutzt werden, so dass sich die Empfindlichkeit des Sensorelements erhöht. Durch Abwandlung der Größe und/oder Effizienz des Linsenelements 51 lässt sich somit die Empfindlichkeit des Sensorelements leicht verändern. Das bevorzugte Verfahren zur Abwandlung der Verstärkung des Sensorelements ist für Interline-Vorrichtungen und für CMOS-Sensoren die Veränderung des auf dem Sensorelement angeordneten Linsenelements 51. Wie in 3 gezeigt, weist die Stelle 52 kein Linsenelement auf, wodurch auf den lichtempfindlichen Bereich weniger Lichtstrahlen einfallen. Alternativ hierzu könnte ein Linsenelement an Stelle 52 mit unterschiedlichem Radius, Form, Größe oder Material im Vergleich zum Linsenelement 51 hergestellt werden, wodurch es in der Fokussierung der einfallenden Lichtstrahlen auf den lichtempfindlichen Bereich 55 strukturell weniger effizient sein könnte als das Linsenelement 51. Wenn das Linsenelement 51 80% der einfallenden Lichtstrahlen auf einen lichtempfindlichen Bereich 55 fokussiert und die Stelle 52, die keine Linsenelemente aufweist (oder alternativ hierzu Linsenelemente mit niedriger Empfindlichkeit) 20% der einfallenden Lichtstrahlen zum lichtempfindlichen Bereich 55 durchlässt, ist das durch ein Linsenelement 51 bedeckte Sensorelement um 2 Blenden empfindlicher als die Stelle 52, wie Fachleute erkennen werden. In diesem Fall wird das Linsenelement 51 für hochempfindliche Sensorelemente verwendet, während keine Linsenelemente für Sensorelemente mit niedriger Empfindlichkeit verwendet werden, wie durch Stelle 52 dargestellt.
4 zeigt einen Schnitt eines Full-Frame-Bildwandlers 10, bei dem auf den lichtempfindlichen Bereich 55 eines Sensorelements fallende Lichtstrahlen durch eine Apertur einer Lichtblende treten müssen, die üblicherweise aus Metall besteht, und die, wie in 4 gezeigt, Lichtabschirmmasken 54 sowie große und kleine Aperturen 56 bzw. 57 umfassen, die unter den Lichtabschirmmasken verteilt sind. In dem bevorzugten Ausführungsbeispiel ist die Verstärkung der Sensorelemente durch Modifikation der Lichtabschirmmasken 54 veränderbar. Die Empfindlichkeit des Sensorelements steht dann in direkter Beziehung zu der Apertur der Lichtabschirmmasken 54. Ein Sensorelement mit beispielsweise einer Apertur von 50% der Größe einer Apertur eines zweiten Sensorelements hat im Vergleich zum zweiten Sensorelement eine Ansprechempfindlichkeit von 50%. Eine große Apertur 56 einer Lichtabschirmmaske 54 lässt beispielsweise 80% der einfallenden Lichtstrahlen zum Sensorelement durch, während eine kleine Apertur 57 nur 20% der einfallenden Lichtstrahlen durchlässt. Das Sensorelement mit der großen Apertur 56 ist um 2 Blenden empfindlicher als ein Sensorelement mit der kleinen Apertur 57, wie Fachleute erkennen werden. In diesem Fall wird die große Apertur 56 für hochempfindliche Sensorelemente verwendet, während die kleine Apertur 57 für niedrig empfindliche Sensorelemente verwendet wird. Die Apertur der Lichtabschirmmaske lässt sich modifizieren, um die Ansprechempfindlichkeit der ausgewählten Sensorelemente einzustellen. Die Eastman Kodak Company stellt Full-Frame-Bildwandler mit einer Metall-Lichtabschirmmaske her, die den aktiven Pixelbereich aller Pixel um ca. 80% auf ca. 20% reduziert (für Scanner-Anwendungen mit Dithering, bei denen der Sensor um 1/2 Pixel horizontal und vertikal versetzt wird und 4 Bilder aufgenommen werden). Die vorliegende Erfindung umfasst somit die Nutzung einer derartigen Maskentechnologie, jedoch mit unterschiedlich bemessenen Aperturen, um einen Bildsensor mit unterschiedlicher Ansprechempfindlichkeit gegenüber Bildlicht bereitzustellen.
In dem bevorzugten Ausführungsbeispiel ist das Ansprechverhalten ausgewählter Sensorelemente mit niedriger Empfindlichkeit X% (wobei X<=100) der Empfindlichkeit von ausgewählten Sensorelementen mit hoher Empfindlichkeit für dieselbe Belichtung, wie in 5 grafisch dargestellt. In dem bevorzugten Ausführungsbeispiel haben die ausgewählten Sensorelemente eine Ansprechempfindlichkeit, die um zwei Blenden (–log X/100) in Beziehung zu den hochempfindlichen Sensorelementen niedriger ist, wodurch X = 25. Der Bildwandler 10 besteht somit aus mehreren Sätzen von Sensorelementen, Sensorelemente mit hoher und Sensorelemente mit niedriger Empfindlichkeit. Die Menge der ausgegebenen Reaktionen der Sensorelemente mit hoher Empfindlichkeit stellt ein spärlich abgetastetes, hochempfindliches Digitalbild dar, d.h. eine spärlich abgetastete Version einer Szene, die mit den hochempfindlichen Sensorelementen aufgenommen wurde. In gleicher Weise stellt die Menge der ausgegebenen Reaktionen der Sensorelemente mit niedriger Empfindlichkeit ein spärlich abgetastetes, niedrig empfindliches Digitalbild dar, d.h. eine spärlich abgetastete Version einer Szene, die mit den niedrig empfindlichen Sensorelementen aufgenommen wurde.
Als weitere Alternative können die Reaktionen der ausgewählten Sensorelemente mit niedriger Empfindlichkeit durch Verwendung eines Neutralfilters abgeschwächt werden, mit denen das Sensorelement bedeckt ist. 6 zeigt einen Schnitt einer mit einer Farbfilteranordnung 53 versehenen Bildwandlereinrichtung. Es sei darauf hingewiesen, dass die Farbfilteranordnung 53a rot, die Farbfilteranordnung 53b grün, die Farbfilteranordnung 53c rot und die Farbfilteranordnung 53d grün ist. Eine Schicht aus Neutralfiltern 58 ist über der Farbfilteranordnung 53 angeordnet, obwohl die Lage der Schicht aus Neutralfiltern 58 und der Farbfilteranordnung 53 keine Rolle spielt. Es wird darauf hingewiesen, dass die Schicht aus Neutralfiltern 58 nur ein Neutralfilter an den Positionen ausgewählter Sensorelemente enthält, wie anhand des Neutralfilters 59 bezeichnet. In diesem Fall ist die Schicht des Neutralfilters 58 für hoch empfindliche Sensorelemente transparent oder nahezu transparent und enthält ein Neutralfilter 59 für Sensorelemente mit niedriger Empfindlichkeit. Wenn das Neutralfilter 59 beispiels weise aus einem Material besteht, das X% Licht durchlässt, dann wird das Ansprechverhalten des Sensorelements mit niedriger Empfindlichkeit um
Blenden in Bezug zum Ansprechverhalten des Sensorelements mit hoher Empfindlichkeit abgeschwächt.
Der in 2 gezeigte DREFA-Prozessor 22 wird nachfolgend detaillierter beschrieben. Der DREFA-Prozessor 22 hat die Aufgabe, ein Bildsignal mit einem erweiterten Dynamikbereich durch Verarbeitung des eingegebenen Bildsignals zu erzeugen, während die Differenz in der Ansprechempfindlichkeit auf Licht der Sensorelemente mit hoher und niedriger Empfindlichkeit berücksichtigt wird. Die Ausgabe des DREFA-Prozessors 22 ist daher ein erweitertes Bildsignal mit einem vergrößerten numerischen Dynamikbereich. Dieses erweiterte Bildsignal wird zur Verarbeitung, wie zuvor beschrieben, in den CFA-Interpolator 26 eingegeben.
Es ist keine Anforderung der vorliegenden Erfindung, dass der Analog-/Digitalwandler 14 und der DREFA-Prozessor 22 direkt angeschlossen sein müssen. Der DREFA-Prozessor 22 kann als Hardware oder Software in nächster Nähe zum Analog-/Digitalwandler 14 und zum Bildwandler 10 ausgebildet sein. Beispielsweise kann sich der DREFA-Prozessor 22 direkt in einer Digitalkamera befinden. Der DREFA-Prozessor 22 kann jedoch auch zum Bildwandler 10 abgesetzt sein. Beispielsweise kann die Bildsignalausgabe des Analog-/Digitalwandlers 14 über eine drahtgebundene oder drahtlose Verbindung an einen PC, Drucker oder abgesetzten Server übertragen werden, um einer Verarbeitung durch den DREFA-Prozessor 22 unterzogen zu werden. Die Übertragung des Bildsignals kann zudem per ftp (File Transfer Protocol) oder E-Mail erfolgen. Zudem kann der Benutzer vom DREFA-Prozessor 22 aufgefordert werden, die Zahlung über Kreditkarte oder ein anderes Zahlungsmittel zu leisten.
In dem bevorzugten Ausführungsbeispiel werden 50% der Sensorelemente des Bildwandlers 10 derart ausgewählt, dass sie eine niedrige Ansprechempfindlichkeit aufweisen. Fachleute werden erkennen, dass auch durch eine Veränderung des Prozentsatzes an Sensorelementen, die eine niedrige Ansprechempfindlichkeit aufweisen, die Vorteile der vorliegenden Erfindung erzielbar sind. Im Falle eines Bildwandlers 10, in dem alle Sensorelemente eine ungefähr gleiche Spektralempfindlichkeit aufweisen (d.h. eine panchromatische Bildwandlereinrichtung), zeigt 7A eine Anordnung der Sensorelemente mit niedriger Empfindlichkeit, die dazu führt, dass ca. 50% aller Sensorelemente des Bildwandlers 10 eine niedrige Ansprechempfindlichkeit aufweisen. Die Sensorelemente 28 mit niedriger Ansprechempfindlichkeit sind mit einem Sternchen (*) markiert, während die Sensorelemente 30 mit hoher Ansprechempfindlichkeit frei sind. Ein spärlich abgetastetes Bild wurde zuvor als Bild definiert, das mit einer Bildwandlervorrichtung erfasst wurde, die mit einem Farbfilter-Array versehen ist. Erfindungsgemäß bezieht sich der Begriff "spärlich abgetastet" auch auf ein Bild, das von einem Bildwandler, wie dem in 7A gezeigten, erzeugt wird, bei dem hochempfindliche und niedrig empfindliche Sensorelemente gemischt sind.
7B zeigt eine Anordnung für einen Farbbildwandler, worin 50% jedes Sensorelementtyps (rot-, grün- oder blauempfindlich) eine niedrige Ansprechempfindlichkeit aufweisen. Die Sensorelemente 32, 34 und 36 sind beispielsweise rote, grüne bzw. blaue Sensorelemente mit niedriger Ansprechempfindlichkeit, und die Sensorelemente 38, 40 und 42 sind rote, grüne bzw. blaue Sensorelemente mit hoher Ansprechempfindlichkeit.
Es sei darauf hingewiesen, dass 7A und 7B ein regelmäßiges Muster für die Stelle der Sensorelemente mit niedriger Empfindlichkeit implizieren. Vorzugsweise sind die Sensorelemente mit niedriger Empfindlichkeit zwar in einem regelmäßigen Muster angeordnet, aber dies ist durchaus nicht zwingend notwendig. Die Sensorelemente mit niedriger Empfindlichkeit könnten zufällig oder weitgehend zufällig über der Oberfläche des Bildwandlers 10 verteilt sein, und sie könnten in einem Ort gespeichert sein, der für den DREFA-Prozessor 22 gut zugänglich ist.
5 zeigt das Ansprechverhalten eines Sensorelements mit hoher Empfindlichkeit auf eine bestimmte Belichtung sowie das Ansprechverhalten eines Sensorelements mit niedriger Empfindlichkeit auf die gleiche Belichtung. Wenn das Ansprechen mit einem bestimmten Rauschpegel überlagert wird, ist gut zu erkennen, dass das Sensorelement mit hoher Empfindlichkeit ein gültiges Signal bei niedrigeren Belichtungen erzeugt (beginnend mit Belichtungspegel E) als das Sensorelement mit niedriger Empfindlichkeit (das ein gültiges Signal beginnend mit
erzeugt). Alternativ hierzu sind Daten von einem Sensorelement mit niedriger Empfindlichkeit für höhere Belichtungspegel gültig (bis zum Signalpegel von
, wobei S der inhärente Dynamikbereich eines einzelnen Sensorelements ist, und wobei S typi scherweise ca. 5 Blenden sein kann) als Sensorelemente mit hoher Empfindlichkeit (die ein gültiges Ansprechen bis zu einer Belichtung von E2^S erzeugen). Sowohl das Sensorelement mit hoher Empfindlichkeit als auch das Sensorelement mit niedriger Empfindlichkeit hat den gleichen Ansprechumfang in Belichtungsblenden (S), aber das Ansprechen der Sensorelemente mit niedriger Empfindlichkeit ist vorzugsweise um
Blenden niedriger als das der Sensorelemente mit hoher Empfindlichkeit, wie in 5 gezeigt. Vorzugsweise überlagert sich das Ansprechen der Sensorelemente mit hoher und niedriger Empfindlichkeit in Bezug auf die Belichtung. Vorzugsweise ist also
. Der gesamte Dynamikbereich des Bildwandlers 10 unter Berücksichtigung von Sensorelementen mit hoher und niedriger Empfindlichkeit ist
. Im Falle des bevorzugten Ausführungsbeispiels, wo S = 5 und X = 25, beträgt der gesamte effektive Dynamikbereich des Bildwandlers 10 7 Belichtungsblenden.
Der DREFA-Prozessor 22 ist verwendbar, um den gesamten Dynamikbereich der mit der vorliegenden Erfindung erzeugten Digitalbilder durch Verwendung der Pixelwerte zu erweitern, die den Sensorelementen mit niedriger Empfindlichkeit entsprechen, um die Bildsignale in Regionen zu rekonstruieren, die sehr hohen Belichtungen entsprechen. Der DREFA-Prozessor 22 verwendet zudem die Pixelwerte, die Sensorelementen mit hoher Ansprechempfindlichkeit entsprechen, um das Bildsignal zu rekonstruieren, das sehr geringen Belichtungen entspricht.
8 zeigt ein auseinander gezogenes Blockdiagramm des DREFA-Prozessors 22. Das logarithmische Bildsignal , das vom Analog-/Digitalwandler 14 ausgegeben wird, wird an den Pixelausgleicher 44 für niedrige Empfindlichkeit übergeben. Der Pixelausgleicher 44 für niedrige Empfindlichkeit hat die Aufgabe, das Bildsignal zu kompensieren, das den Sensorelementen mit niedriger Empfindlichkeit entspricht, indem er den Versatz der Ansprechempfindlichkeit um X Blenden berücksichtigt. Alternativ hierzu können die hochempfindlichen Pixel an die niedrig empfindlichen angeglichen werden, indem die hoch empfindlichen Pixel in entgegengesetzter Richtung angepasst werden. In dem bevorzugten Ausführungsbeispiel wird das den Sensorelementen mit niedriger Empfindlichkeit entsprechende Bildsignal um die Quantität –cvs log (X/100) inkrementiert, wobei cvs die Zahl der Codewerte je Belichtungsblende ist. In dem bevorzugten Ausführungsbeispiel beträgt die Menge cvs 51. Wenn sich das in den Pixelausgleicher 44 für niedrige Empfindlichkeit eingegebene Bildsignal linear (und nicht logarithmisch) zur Belichtung verhält, skaliert der Pixelausgleicher 44 für niedrige Empfindlichkeit das Bildsignal alternativ entsprechend der Sensorelemente mit niedriger Empfindlichkeit um einen Faktor von 100/X. Es sei darauf hingewiesen, dass vorausgesetzt wird, dass die Stellen der Sensorelemente mit niedriger Empfindlichkeit dem Pixelausgleicher 44 für niedrige Empfindlichkeit bekannt sind. Die Ausgabe des Pixelausgleichers 44 für niedrige Empfindlichkeit ist ein Bildsignal i(x,y), das an den Stellen, die den Sensorelementen mit niedriger Empfindlichkeit entsprechen, auf die Differenz zwischen dem Ansprechverhalten der Sensorelemente mit niedriger Empfindlichkeit zu dem Ansprechverhalten der Sensorelemente mit hoher Empfindlichkeit kompensiert worden sind. An den Stellen, die den Sensorelementen mit hoher Empfindlichkeit entsprechen, ist der Wert des vom Analog-/Digitalwandler 14 ausgegebenen Bildsignals b(x,y) mit dem Wert des vom Pixelausgleicher 44 für niedrige Empfindlichkeit ausgegebenen Bildsignals i(x,y) identisch. Es sei darauf hingewiesen, dass das Bildsignal i(x,y) nicht auf einen 8-Bit-Bereich begrenzt ist. In dem bevorzugten Ausführungsbeispiel beträgt der Wert der Bereiche i(x,y) von 0 bis 357 (d.h. 9 Bit).
Als nächstes wird das Bildsignal i(x,y) vom Pixelausgleicher 44 für niedrige Empfindlichkeit in einen Schwellenwertoperator für Pixel mit niedriger Empfindlichkeit 46 eingegeben. Der Schwellenwertoperator für Pixel mit niedriger Empfindlichkeit 46 hat die Aufgabe, Werte von Pixeln mit niedriger Empfindlichkeit zu bestimmen, die von geringer Qualität sind, weil ein Sensorelement nicht genügend Photonen erhalten hat, um ein gültiges Signal erzeugen zu können. Der Pixelwert an diesen Stellen (x,y) wird dann durch den Signalerweiterer 50 ersetzt, indem dieser einen neuen Pixelwert auf Basis benachbarter Pixelwerte mit hoher Empfindlichkeit berechnet. Sämtliche Pixelwerte mit niedriger Empfindlichkeit, die unterhalb eines vorbestimmten Schwellenwerts liegen, werden dann als problematische Pixelwerte erachtet. Im Falle der Pixelwerte mit niedriger Empfindlichkeit wird diese vorbestimmte Schwelle als untere Belichtungsansprechschwelle bezeichnet. Ein Pixelwert von i(x,y) wird daher als problematisch angesehen, wenn es sich um ein Sensorelement mit niedriger Empfindlichkeit handelt und wenn: i(x,y) < T1 (2) wobei T₁ vorbestimmt ist. In dem bevorzugten Ausführungsbeispiel ist der Wert von T₁ gegeben als
welcher in dem bevorzugten Ausführungsbeispiel auf einen Wert von 102 gesetzt wird. Es sei darauf hingewiesen, dass der Schwellenwert T₁ von der Farbempfindlichkeit des Sensorelements an Stelle (x,y) abhängen kann. Pixel mit niedriger Empfindlichkeit, die problematische Werte aufweisen, werden als Rauschpixel bezeichnet, da der Wert von i(x,y) nicht ausreichend weit über dem Rauschpegel des Bildwandlers liegt, um verwertbar zu sein.
Das vom Pixelausgleicher 44 für niedrige Empfindlichkeit ausgegebene Bildsignal i(x,y) wird in einen Schwellenwertoperator für Pixel mit hoher Empfindlichkeit 48 eingegeben. Der Schwellenwertoperator für Pixel mit hoher Empfindlichkeit 48 hat die Aufgabe, Pixel mit hoher Empfindlichkeit zu bestimmen, die von geringer Qualität sind. Die Pixelwerte an diesen Stellen werden durch Berechnung eines neuen Pixelwerts ersetzt, der auf benachbarten Werten von Pixeln mit niedriger Empfindlichkeit basiert, wobei diese Verarbeitung durch einen Signalerweiterer 50 erfolgt, wie nachfolgend detaillierter erläutert wird. Sämtliche Pixelwerte mit hoher Empfindlichkeit, die oberhalb eines vorbestimmten Schwellenwerts liegen, werden dann als problematische Pixelwerte erachtet. Im Falle der Pixelwerte mit hoher Empfindlichkeit wird diese vorbestimmte Schwelle als obere Belichtungsansprechschwelle bezeichnet. Ein Pixelwert i(x,y) mit hoher Empfindlichkeit wird daher als Problem erachtet, wenn i(x,y) > T2 (4)wobei T₂ ein vorbestimmter Schwellenwert ist. In dem bevorzugten Ausführungsbeispiel wird der Wert T₂ auf einen Wert von 254 gesetzt. Es sei darauf hingewiesen, dass der Schwellenwert T₂ von der Farbempfindlichkeit des Sensorelements an Stelle (x,y) abhängen kann. Sensorelemente mit hoher Empfindlichkeit, die problematische Stellen darstellen, werden als gesättigte Pixel bezeichnet, da der Wert von i(x,y) an diesen Stellen so hoch wie möglich ist.
Die Stellen (x,y) der Pixel mit niedriger Empfindlichkeit, die durch den Schwellenwertoperator für Pixel mit niedriger Empfindlichkeit 46 bestimmt werden, und die Stellen (x,y) der Pixel mit hoher Empfindlichkeit, die durch den Schwellenwertoperator für Pixel mit hoher Empfindlichkeit 48 bestimmt werden, werden in den Signalerweiterer 50 eingegeben. Das vom Pixelausgleicher 44 für niedrige Empfindlichkeit ausgegebene Bildsignal i(x,y) wird ebenfalls in den Signalerweiterer 50 eingegeben. Der Signalerweiterer 50 hat die Aufgabe, die Bildsignalwerte i(x,y) an Problemstellen (x,y) durch Signalschätzwerte zu ersetzen, die hier als Ersatzwerte bezeichnet werden, falls der inhärente Dynamikumfang jedes Sensorelements des Bildwandlers 10 größer gewesen wäre. Wenn die Problemstelle mit einem Sensorelement mit niedriger Empfindlichkeit zusammenfällt, wird der Austauschwert aus benachbarten Bildsignal-Pixelwerten berechnet, die mit benachbarten Sensorelementen mit hoher Empfindlichkeit zusammenfallen. In diesem Ausführungsbeispiel bezieht sich der Begriff "benachbart" auf einen bestimmten räumlichen Abstand. In dem bevorzugten Ausführungsbeispiel sind die einem ausgewählten Sensorelement benachbarten Sensorelemente diejenigen, die sich innerhalb eines Abstands von 2 Sensorelementen zum ausgewählten Sensorelement befinden. Wenn die Problemstelle mit einem Sensorelement mit hoher Empfindlichkeit zusammenfällt, wird der Austauschwert aus benachbarten Bildsignal-Pixelwerten berechnet, die mit benachbarten Sensorelementen mit niedriger Empfindlichkeit zusammenfallen. In dem bevorzugten Ausführungsbeispiel wird auch die Farbe des Sensorelements an dem problematischen Sensorelement berücksichtigt. Der Ersatzwert für eine Problemstelle wird vorzugsweise nur durch das Signal bestimmt, das von benachbarten Sensorelementen der gleichen Farbe stammt. Die Ausgabe des Signalerweiterers 50 ist ein Bildsignal i'(x,y), das einen Dynamikumfang umfasst, als sei es von einem Bildwandler 10 erfasst worden, der Sensorelemente mit einem inhärenten Dynamikumfang aufweist von
anstelle des tatsächlichen, inhärenten Dynamikumfangs S für jedes Sensorelement des Bildwandlers 10. Es sei darauf hingewiesen, dass für alle Stellen (x,y), die Problemstellen sind, der Wert von i'(x,y) gleich i(x,y) ist.
Als Beispiel der durch den Signalerweiterer 50 durchgeführten Verarbeitung für das in 7B gezeigte Bayer-CFA-Muster wird, wenn die Stelle (x,y) eine Problemstelle ist und (x,y) die Stelle ist, die einem grünen Sensorelement entspricht (etwa Sensorelement 34 in 7B), der Ersatzwert i'(x,y) für das Bildsignal i(x,y) auf folgende Weise berechnet: i'(x,y) = 0,25 *[i(x-1,y-1) + i(x+1,y-1) + i(x-1,y+1) + i(x+1,y+1)] (6)
Es sei darauf hingewiesen, dass Signalwerte, die von der Berechnung von i'(x,y) abhängen, bestimmte Anforderungen erfüllen müssen. Beispielsweise sei angenommen, dass (x,y) eine Problemstelle ist, und dass (x,y) einem grünen Sensorelement mit niedriger Empfindlichkeit entspricht. Die Signalwerte benachbarter Sensorelemente werden dann benutzt, um den Ersatzwert i'(x,y) zu berechnen. Dies setzt jedoch voraus, dass die Signalwerte jedes benachbarten Sensorelements ebenfalls kleiner als T₃ sind. In dem bevorzugten Ausführungsbeispiel ist T₃ = T₁. Für jedes benachbarte Sensorelement, für das dies nicht der Fall ist, entfällt der Signalwert aus der Berechnung der Ersatzwerte i'(x,y). Wenn beispielsweise i(x-1,y-1) > T₃, dann berechnet sich der Wert i'(x,y) nach folgender Formel: i'(x,y) = 1/3 *[i(x+1,y-1) + i(x-1,y+1) + i(x+1,y+1)] (7)
Im Allgemeinen gilt für das Interpolationsschema zur Bestimmung eines Ersatzwerts an einer Problemstelle (x,y), wobei die Stelle (x,y) einem grünen Sensorelement entspricht, das ebenfalls ein Sensorelement mit hoher Empfindlichkeit auf einem Bildwandler mit einer Filteranordnung gemäß dem Bayer-Muster ist, folgende Gleichung:
Es sei darauf hingewiesen, dass dieselbe Gleichung angewandt wird, um den Ersatzwert zu bestimmen, wenn die Problemstelle einem grünen Sensorelement entspricht, das auch ein Sensorelement mit niedriger Empfindlichkeit ist. In diesem Fall gilt allerdings:
wobei im bevorzugten Ausführungsbeispiel T₄ = T₂.
Als weiteres Beispiel und ebenfalls in Verbindung mit dem in 7B gezeigten Bayer-CFA-Muster gilt, wenn die Stelle i(x,y) ein problematisches Sensorelement ist und (x,y) einer Stelle eines roten oder blauen Sensorelements entspricht, dann wird der Ersatzwert i'(x,y) für das Bildsignal i(x,y) auf folgende Weise berechnet: i'(x,y) = 0,25 *[i(x-2,y) + i(x+2,y) + i(x,y+2) + i(x,y-2)]. (11)
Wenn Stelle (x,y) einem roten oder blauen Sensorelement entspricht und ebenfalls ein Sensorelement mit hoher Empfindlichkeit ist, lässt sich die Gleichung zur Bestimmung des Ersatzwerts i'(x,y) wie folgt verallgemeinern:
Es sei darauf hingewiesen, dass in diesem Fall entweder j oder k den Wert Null haben muss, dass aber j und k niemals beide Null sein dürfen. Es sei darauf hingewiesen, dass dieselbe Gleichung angewandt wird, um den Ersatzwert zu bestimmen, wenn die Problemstelle einem roten oder blauen Sensorelement entspricht, das auch ein Sensorelement mit niedriger Empfindlichkeit ist. In diesem Fall gilt allerdings:
wobei im bevorzugten Ausführungsbeispiel T₄ = T₂.
Das zuvor zur Erzeugung eines Bildsignals mit einem erweiterten Dynamikbereich aus mehr als einem spärlich abgetasteten Bildsignal beschriebene Interpolationsschema lässt sich durch Fachleute abwandeln. Derartige Abwandlungen des zuvor genannten Interpolationsschemas lassen sich jedoch ableiten und sind nicht als wesentliche Abweichungen von der vorliegenden Erfindung zu betrachten.
Fachleute werden erkennen, dass das vom Signalerweiterer durchgeführte vorausgehende Interpolationsschema ein in der Technik bekanntes Tiefpassfilter ist. Die Anwendung eines Tiefpassfilters auf ein Bildsignal hat eine ähnliche Wirkung, als würde man die Auflösung des Bildsignals reduzieren. Die vom DREFA-Prozessor 22 durchgeführte Verarbeitung ist ein Verfahren, mit dem die räumliche Auflösung des Bildwandlers 10 gegen den Dynamikbereich des Bildwandlers 10 verschoben werden kann. Die Bereiche eines Bildes, in denen das Interpolationsschema zur Vergrößerung des Dynamikbereichs des Signals implementiert ist, erscheinen deutlich weicher (weniger scharf) als das Bild erscheinen würde, wenn derselbe Bereich des Bildes von dem Sensor so erfasst worden wäre, dass keine "Problemstellen" auftreten (wie durch den Schwellenwertoperator für Pixel mit niedriger Empfindlichkeit 46 und den Schwellenwertoperator für Pixel mit hoher Empfindlichkeit 48 bestimmt).
Das in 2 gezeigte CFA-Paxelisierungsmodul 220 wird in 9 detaillierter dargestellt. Das CFA-Paxelisierungsmodul 220 empfängt ein Bildsignal entweder ohne Abwandlung vom Analog-/Digitalwandler 14 oder bereits als durch den DREFA-Prozessor 22 verarbeitetes Signal. Das Bildsignal wird von dem Signalextraktionsmodul 222 entgegen genommen, der die Pixelwerte des Bildsignals entsprechend den Sensorelementen mit niedriger Empfindlichkeit zusammensetzt, um ein spärlich abgetastetes Bild aus Pixeln mit niedriger Empfindlichkeit zu bilden. Es sei darauf hingewiesen, dass die vom Signalextraktionsmodul 222 durchge führte Operation keine Neuordnung der Speicherung der Pixeldaten im Computerspeicher nach sich zieht. Die vorliegende Erfindung implementiert das Signalextraktionsmodul 222 als Adresszeiger auf die Speicherung der Pixeldaten im Computerspeicher.
Das CFA-Paxelisierungsmodul 220 verwendet zwei Bildverarbeitungswege. Im ersten Bildverarbeitungsweg wird das spärlich abgetastete Digitalbild mit niedriger Empfindlichkeit vom CFA-Interpolator 26 entgegengenommen, der ein Digitalbild mit niedriger Auflösung aus dem spärlich abgetasteten Digitalbild mit niedriger Empfindlichkeit erzeugt. Das resultierende Digitalbild mit niedriger Auflösung ist ein vollständig besetztes Digitalbild mit roten, grünen und blauen Pixelwerten, die für jedes Sensorelement mit niedriger Empfindlichkeit definiert sind.
Ein zweiter, vom CFA-Paxelisierungsmodul 220 verwendeter Verarbeitungsweg verwendet ein Paxelisierungsmodul 224 mit niedriger Auflösung, um eine räumliche Filterungstechnik mit numerischer Mittelwertsbildung auf das spärlich abgetastete Digitalbild mit niedriger Empfindlichkeit anzuwenden, wodurch ein paxelisiertes Digitalbild entsteht. Das paxelisierte Digitalbild ist ebenfalls ein Digitalbild mit niedriger Auflösung.
Das Bildsignal wird vom Signalextraktionsmodul 222 empfangen, der die Pixelwerte niedriger Empfindlichkeit des Bildes zu einem spärlich abgetasteten Digitalbild mit niedriger Empfindlichkeit zusammensetzt. Ein Beispiel eines spärlich abgetasteten Digitalbildes mit niedriger Empfindlichkeit, das von dem Bildsignal abgeleitet ist, das mit dem CFA-Sensorelementmuster erzeugt wurde, ist in 10A, 10B und 10C dargestellt.
10A zeigt, dass alle Pixelstellen des grünen Digitalbildkanals mit Werten aus den grünen Pixeln mit niedriger Empfindlichkeit des Bildsignals besetzt sind. 10B und 10C zeigen jedoch, dass jede zweite Spalte und jede zweite Reihe der roten und blauen Digitalbildkanäle Pixelstellen aufweisen, die nicht besetzt sind und mit einem Interpolationsverfahren berechnet werden müssen. Es sei darauf hingewiesen, dass das spärlich abgetastete Digitalbild mit niedriger Empfindlichkeit die Hälfte der Zeilen und die Hälfte der Spalten aufweist wie das spärlich abgetastete Digitalbild mit hoher Auflösung, von dem es abgeleitet ist.
Der CFA-Interpolator 26 empfängt das spärlich abgetastete Digitalbild niedriger Empfindlichkeit und berechnet mithilfe eines Verfahrens, das dem von Adams et al. in US-A-5,652,621 beschriebenen ähnlich ist, ein niedrig aufgelöstes Digitalbild. Die nicht besetzten Pixelwerte für die roten und blauen Digitalbildkanäle des spärlich abgetasteten Digitalbilds mit niedriger Empfindlichkeit werden mithilfe der Pixelwerte interpoliert, die in einer kleinen lokalen Nachbarschaft von Pixeln um ein fehlendes Pixel herum abgetastet worden sind. Die einzige Abwandlung des von Adams et al in US-A-5,652,621 beschriebenen Verfahrens besteht darin, dass die Interpolation der Pixelwerte des grünen Digitalbildkanals ausgelassen werden, da dieser Digitalbildkanal bereits vollständig besetzt ist. Das vollständig besetzte Digitalbild, das aus der Anwendung der Interpolationsverarbeitung resultiert, wird als Digitalbild mit niedriger Auflösung bezeichnet. Zur Erzeugung eines Digitalbildes mit niedriger Auflösung aus dem Bildwandler 10 ist weniger Verarbeitungszeit erforderlich, als wenn ein Digitalbild niedriger Auflösung von dem Quellendigitalbild abgeleitet werden müsste, das vom CFA-Interpolator 26 ausgegeben wird.
Wie zuvor beschrieben, empfängt das in 9 gezeigte Paxelisierungsmodul 224 mit niedriger Auflösung das spärlich abgetastete Digitalbild mit niedriger Empfindlichkeit und wendet eine Blockmittelungstechnik an (eine Form der räumlichen Filterung), um einen paxelierten Wert für jeden Block von Pixelwerten zu berechnen. Das paxelisierte Digitalbild hat Abmessungen, die über einen multiplikativen ganzzahligen Wert in Beziehung zu den Abmessungen des Quellendigitalbildes stehen. Wenn das zuvor beschriebene Quellendigitalbild beispielsweise 1536×2304 Pixel aufweist, dann hat das spärlich abgetastete Digitalbild mit niedriger Empfindlichkeit 768×1152 Pixel. Mit der Blockmittelungstechnik betrügen die resultierenden Abmessungen der paxelisierten Digitalbilder 384×576, 192×222 usw. Pixel. Alternativ hierzu können auch paxelisierte Digitalbilder mithilfe eines bilinearen Interpolationsverfahrens erzeugt werden, wie in der Technik bekannt ist. Alternativ hierzu kann das Digitalbild mit niedriger Auflösung auch durch das CFA-Paxelisierungsmodul 220 direkt aus dem Digitalbild mit hoher Auflösung erzeugt werden, das von dem CFA-Interpolator 26 erzeugt wird.
Wie in 10A gezeigt, sind die grünen Pixelstellen des spärlich abgetasteten Digitalbildes mit niedriger Empfindlichkeit vollständig mit Pixelwerten besetzt. Für eine Blockgröße von 2×2 werden die in Reihen durch Indizes 0 bis 1 und in Spalten durch Indizes 0 bis 1 bezogenen Pixelwerte gemittelt, um einen Paxelwert zu erzeugen, der der erste grüne Pixelwert des paxelisierten Digitalbildes ist. Wie in 10B gezeigt, sind die roten Pixelstellen des spärlich abgetasteten Digitalbildes mit niedriger Empfindlichkeit nicht vollständig mit Pixelwerten besetzt. Daher werden für eine Blockgröße von 2×2 die Pixelwerte r₀₁ und r₁₀ gemittelt, um einen Paxelwert zu erzeugen, der der erste rote Pixelwert des paxelisierten Digitalbildes ist. Die blauen Paxelwerte werden in ähnlicher Weise berechnet. 11 zeigt ein Piktogramm der Blockbereiche für eine Blockgröße von 32×32 Pixel, die ein paxelisiertes Digitalbild der Größe 24×36 Paxel ergibt.
Durch ausschließliche Verwendung der Pixelwerte mit niedriger Empfindlichkeit zur Erzeugung des Bildes mit niedriger Auflösung wird das Bild rechentechnisch effizient und mit einem Minimum an Sättigungsartefakten hergestellt. Wenn das spärlich abgetastete Digitalbild mit hoher Auflösung keine deutlichen Sättigungsartefakte in den empfindlichen Pixeln enthält, werden nur die empfindlichen Pixelwerte ausgewählt, um das Digitalbild mit niedriger Auflösung zu erzeugen. Dies bewirkt ebenfalls eine rechentechnische Effizienz und minimiert Rauchpixel im Bild mit niedriger Auflösung. Wie in 9 gezeigt, analysiert das Signalextraktionsmodul 222 die Pixelwerte mit hoher und niedriger Empfindlichkeit in ähnlicher Weise wie der DREFA-Prozessor 22 und erstellt eine Auswahl entweder der hoch empfindlichen oder der niedrig empfindlichen Pixelwerte, je nachdem, ob sich mehr gesättigte Pixel oder mehr Rauschpixel in dem spärlich abgetasteten Digitalbild mit hoher Auflösung befinden. Für eine verbesserte rechentechnische Effizienz kann das Signalextraktionsmodul 222 eine Untermenge der Pixel in dem Digitalbild mit hoher Auflösung verwenden.
Wie in 2 gezeigt, empfängt der Verbesserungsprozessor 240 ein Digitalbild und erzeugt ein verbessertes Digitalbild mit hoher Auflösung. Zwar gibt es zahlreiche Verfahren zur Verbesserung von Digitalbildern, die mit der vorliegenden Erfindung vorteilhaft verwendbar sind, aber das bevorzugte Ausführungsbeispiel der vorliegenden Erfindung erzeugt ein verbessertes Digitalbild, das zur Übertragung an eine Ausgabevorrichtung, wie beispielsweise einen Drucker, vorverarbeitet ist. Zur Herstellung des Digitalbildes für das direkte Drucken werden zwei Transformierte verwendet. Die erste Transformierte ist eine 3×3 Farbmatrixtransformation, die an die Farbpixel des Digitalbildes hoher Auflösung angelegt wird. Die Farbmatrixtransformation berücksichtigt den Unterschied zwischen den Spektralempfindlichkeiten der Farbsensorelemente des Bildwandlers 10 und die Spektraleigenschaften der Druckvorrichtung. Das von der vorliegenden Erfindung verwendete, beschriebene Verfahren ist ähnlich dem Verfahren, das Parulski et al. in der am 23.02.1993 erteilten US-A-5,189,511 beschreiben. Die zweite Transformierte umfasst die Anwendung einer Tonwertskalenfunktion, die die Pixelwerte des erweiterten Dynamikbereichs des Quelldigitalbildes auf Pixelwerte abbildet, die mit typischen Betrachtungseinrichtungen kompatibel sind. Die vorliegende Erfindung verwendet ein ähnliches Verfahren wie das von Buhr et al. in der am 05.04.1994 erteilten US-A-5,300,381 beschriebene. US-A-5,300,381 beschreibt ein Verfahren zur Berechnung einer Rendering-Tonwertskalenfunktion mit vorzugsweiser Tonwertabbildung, in der der Kontrast der Tonwertskalenfunktion für mittlere Pixelintensitäten am stärksten ist, während der Kontrast für Schatten- und Lichterpixel moderater ist. Diese Rendering-Tonwertskalenfunktion wird mit einer Gammazuordnungs-Tonwertskalenfunktion kombiniert, um eine Systemtonwertskalenfunktion zu berechnen. Die Gammazuordnungs-Tonwertskalenfunktion kompensiert das inhärente Ansprechverhalten typischer Betrachtungseinrichtungen. Die Tonwertskalenfunktion wird mit der Rendering-Tonwertskalenfunktion kaskadiert und (in Form einer Transformationstabelle) an die Pixel des hoch aufgelösten Digitalbildes angelegt, woraus ein verbessertes Digitalbild mit hoher Auflösung entsteht.
Der Verbesserungsprozessor 240 kann zudem zur Verarbeitung des Digitalbildes mit niedriger Auflösung verwendet werden. Für Digitalkamera-Anwendungen wird eine LCD-Anzeigeeinrichtung verwendet, um die von dem Digitalbildprozessor 200 erzeugten Digitalbilder zu betrachten. Nach einem Ausführungsbeispiel der vorliegenden Erfindung berechnet das System ein Digitalbild mit niedriger Auflösung und verarbeitet das niedrig aufgelöste Digitalbild mit dem in 2 gezeigten Verbesserungsprozessor 240, um ein verbessertes Digitalbild mit niedriger Auflösung zu erzeugen. Der Verbesserungsprozessor 240 verwendet in diesem Ausführungsbeispiel eine 3×3 Matrix, die für eine LCD-Anzeigeeinrichtung geeignet ist. Das verbesserte Digitalbild mit niedriger Auflösung wird an der LCD-Anzeigeeinrichtung 64 gezeigt, wie in 1 dargestellt.
Wie in 1 gezeigt und oben beschrieben, kann die vorliegende Erfindung mit einer Mehrzahl unterschiedlicher Verfahren zur Erzeugung eines Digitalbildes mit niedriger Auflösung praktisch verwertet werden. Dem Benutzer kann es ermöglicht werden, zwischen diesen Verfahren zu wählen. Beispielsweise kann eine Meldung an der LCD-Anzeigeeinrichtung 64 angezeigt werden, die dem Benutzer die Wahl zwischen Option (1) "schnell und weniger genau" und Option (2) "langsam und genauer" lässt. Der Benutzer führt eine Auswahl über eine Benutzerauswahleinrichtung 62 durch, beispielsweise durch Betätigen einer Taste an der Digitalkamera. Wenn der Benutzer Option (1) wählt, wird das Paxelisierungs-Ausführungsbeispiel verwendet, um das Bild mit niedriger Auflösung zu erzeugen. Wenn der Benutzer Option (2) wählt, wird das CFA-Interpolations-Ausführungsbeispiel verwendet, um das Bild mit niedriger Auflösung zu erzeugen. Dem Benutzer kann zudem die Wahl ermöglicht werden, die räumliche Auflösung des Digitalbildes mit niedriger Auflösung zu wählen. Auch hier werden die verfügbaren Optionen zur räumlichen Auflösung an der LCD-Anzeigeeinrichtung 64 dargestellt. Der Benutzer kann dann eine der verfügbaren Optionen unabhängig von der Wahl des zuvor beschriebenen Verfahrens (1) oder (2) wählen.

Claims

Verfahren zur Herstellung eines Bildes mit geringer Auflösung durch wenige Stichproben in einem digitalen Bild mit erweitertem Dynamikumfang, gekennzeichnet durch die Schritte: a) Bereitstellen eines Bildsensors (10) für wenige Stichproben in einem Bild mit erweitertem Dynamikumfang, wobei der Sensor empfindliche Fotobereiche (38, 40, 42) mit einer vorbestimmten Reaktion auf die Einwirkung von Licht und dazwischen unempfindliche Fotobereiche (32, 34, 36) mit einer schwächeren Reaktion auf die gleiche Lichteinwirkung im gleichen Spektralbereich umfasst; b) Verwendung des Bildsensors (10) zur Herstellung eines Bildes mit hoher Auflösung durch wenige Stichproben in einem digitalen Bild mit erweitertem Dynamikumfang, wobei der Sensor durch die empfindlichen Fotobereiche erzeugte empfindliche Pixelwerte und durch die unempfindlichen Fotobereiche erzeugte unempfindliche Pixelwerte aufweist; und c) Aufbauen eines digitalen Bildes geringer Auflösung anhand der wenigen Stichproben in einem digitalen Bild mit hoher Auflösung durch Auswählen nur der unempfindlichen Pixelwerte oder nur der empfindlichen Pixelwerte anhand der wenigen Stichproben im digitalen Bild mit hoher Auflösung.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bild mit geringer Auflösung aufgebaut wird durch Filtern der ausgewählten Pixelwerte mittels eines einen Mittelwert bildenden Raumfilters (224).
Verfahren nach Anspruch 2, weiter gekennzeichnet durch den Schritt der Wiedergabe des digitalen Bildes mit geringer Auflösung auf dem Display (64) einer Digitalkamera.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Bildsensor zur Herstellung eines Bildes durch wenige Stichproben in einem digitalen Bild mit erweitertem Dynamikumfang ein Farbbildsensor mit einer Farbfilteranordnung ist und dass das Bild mit geringer Auflösung hergestellt wird durch Erzeugen eines digitalen Farbbildes mit geringer Auflösung und durch Filtern des digitalen Farbbildes mit geringer Auflösung mittels eines Interpolations-Raumfilters (26) zum Erzeugen fehlender Farbpixelwerte im digitalen Bild geringer Auflösung.