DE60113949T2

DE60113949T2 - Verfahren zur komprimierung eines bildes aus einer spärlich abgetasteten bildsensoreinrichtung mit erweitertem dynamikumfang

Info

Publication number: DE60113949T2
Application number: DE60113949T
Authority: DE
Inventors: Andrew C. Rochester Gallagher; Majid Rochester Rabbani; Edward B. Rochester Gindele; Robert T. Rochester Gray
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-11-21
Filing date: 2001-11-09
Publication date: 2006-07-06
Anticipated expiration: 2021-11-10
Also published as: EP1209919B1; US6765611B1; EP1209919A2; EP1209919A3; DE60113949D1; JP2002204399A; JP3968121B2

Description

Die vorliegende Erfindung betrifft im Allgemeinen den Bereich der Bilderfassung und insbesondere ein Verfahren zur Komprimierung eines Bildes von einer Bildsensorvorrichtung mit erweitertem Dynamikumfang.
Bildsensoren, wie beispielsweise CCD-Bildwandler (CCD = Charged Coupled Device/ladungsgekoppelter Baustein), sind in Produkten wie Digitalkameras, Scannern und Videokameras allgemein üblich. Im Vergleich zu herkömmlichen fotografischen Filmprodukten weisen diese Bildsensoren einen begrenzten Dynamikumfang auf. Ein typischer elektronischer Sensor hat einen Dynamikumfang von ca. 7 Blenden. Das bedeutet, dass die Belichtung einer typischen Szene mit einem relativ hohen Maß an Genauigkeit bestimmt werden muss, um eine Begrenzung des resultierenden Signals zu vermeiden. Im Unterschied dazu weisen natürliche Szenen oft einen Dynamikumfang von 9 Blenden oder mehr auf. Das ist hauptsächlich eine Folge mehrerer Lichtquellen mit stark unterschiedlicher Intensität, die die Szenenobjekte beleuchten. Auch Spitzlichter tragen zum Dynamikumfang natürlicher Szenen bei.
Elektronische Sensoren zur Abtastung von fotografischem Film müssen zudem einen großen Dynamikbereich von Signalstärken abdecken. In US-A-5,221,848 vom 22.06.1993 beschreibt Milch ein Verfahren und eine Vorrichtung, die zur Erweiterung des Dynamikbereichs eines elektronischen Bildsensors vorgesehen sind. Das hauptsächlich zum Abtasten fotografischen Films vorgesehene Verfahren verwendet einen Filmabtaster mit einem Durchgang sowie einen CCD-Scanner mit einer darauf angeordneten Vielzahl von linearen Arrays. Einer der Arrays spricht auf starke Lichtintensität, der andere auf schwache Lichtintensität an. Die Informationen aus den beiden Arrays werden dann zur Erzeugung eines Digitalbildes mit erweitertem Dynamikbereich kombiniert und digitalisiert. Das in US-A-5,221,848 beschriebene Verfahren und die beschriebene Vorrichtung ist ein elektronischer Bildwandler mit Sensorelementen, die die gleiche Spektralempfindlichkeit, jedoch unterschiedliche inhärente Ansprechverhalten auf Lichtintensitäten aufweisen, die Digitalbilder mit sehr hohem Dynamikbereich zu erzeugen vermögen.
Digitale elektronische Kameras verwenden einen einzelnen Bildsensor mit einem Farbfilterarray (CFA) zum Erzeugen eines so genannten spärlich abgetasteten (sparsely sampled) Digitalbildes (sechs Abtastungen pro Achse). Ein typisches Farbfiltermuster, das rote, grüne und blaue Sensorelemente zur Erzeugung roter, grüner und blauer Pixelwerte verwendet, wird in US-A-3,971,065, am 20. Juli 1976 an Bayer erteilt, beschrieben. Interpolationsalgorithmen werden benutzt, um ein voll aufgelöstes Farbbild aus dem "spärlich abgetasteten" (sparsely sampled) Digitalbild zu erzeugen. Digitalkameras müssen zudem Szenen mit hohem Dynamikbereich aufnehmen können. Eine Möglichkeit zur Erzielung eines Bildes mit hohem Dynamikbereich aus einer Digitalkamera besteht darin, in der Kamera einen Analog-/Digitalwandler mit hoher Bittiefe zu verwenden. Eine weitere Möglichkeit ist die Verwendung eines Bildsensors mit vermischten Sensorelementen mit hoher und niedriger Empfindlichkeit, wie in der Parallelanmeldung mit der US-Seriennummer 09/615,398, eingereicht am 13. Juli 2000, von Gallagher et al. beschrieben wird, die durch Nennung als hierin aufgenommen betrachtet wird. Ein wichtiges Merkmal von Digitalkameras ist die Notwendigkeit, Digitalbilder mit handhabbarer Größe zu erzeugen. Dies ist vor allem wegen des begrenzten internen Speichers der Digitalkamera und wegen der Begrenzung der Bandbreite zur Übertragung der Digitalbilder auf andere Vorrichtungen notwendig.
In ihrem Beitrag "Multispectral data compression using staggered detector arrays," Proc. SPIE, Band 432, San Diego, USA, August 1983, quantifizieren Robert Gray und Bobby Hunt einen Vorteil, der aufgrund der Durchführung einer separaten Bildkomprimierung für rote, grüne und blaue Pixelwerte auf ein Bild erzielbar ist, das mit einem Bildsensor mit CFA ausgestattet ist. Das Verfahren von Gray und Hunt berücksichtigt jedoch keine Bildsensoren, deren Werte schnell ansprechender Pixel von Sensorelementen mit hoher Empfindlichkeit mit einem vorbestimmtem Ansprechen auf eine Lichtbelichtung abgeleitet sind, und deren Werte langsam ansprechender Pixel von Sensorelementen mit niedriger Empfindlichkeit mit einem langsameren Ansprechen auf dieselbe Lichtbelichtung abgeleitet sind.
Die Parallelanmeldungen US-A-5,065,229 vom 12. November 1991 und 5,053,861 vom 1. Oktober 1991, beide erteilt an Tsai et al., beschreiben ein Verfahren zur Komprimierung digitaler Bilder vor der Farbinterpolation. Ihr Verfahren berücksichtigt ebenfalls keine Bildsensoren, deren Werte schnell ansprechender Pixel von Sensorelementen mit hoher Empfindlichkeit mit einem vorbestimmtem Ansprechen auf eine Lichtbelichtung abgeleitet sind, und deren Werte langsam ansprechender Pixel von Sensorelementen mit niedriger Empfindlichkeit mit einem langsameren Ansprechen auf dieselbe Lichtbelichtung abgeleitet sind.
Es besteht daher Bedarf zur effizienten und effektiven Komprimierung eines Digitalbildes, das aus einem elektronischen Bildsensor stammt, dessen Werte der schnell ansprechenden Pixel von Sensorelementen mit hoher Empfindlichkeit und einem vorbestimmten Ansprechen auf eine Lichtbelichtung abgeleitet sind, und dessen Werte der langsam ansprechenden Pixel von Sensorelementen mit niedriger Empfindlichkeit und einem langsameren Ansprechen auf dieselbe Lichtbelichtung abgeleitet sind. Es besteht zudem Bedarf danach, Bilder effizient zu komprimieren, die mit einem elektronischen Bildwandler erzeugt wurden, der Sensorelemente aufweist, die die gleiche Spektralempfindlichkeit, jedoch ein unterschiedliches inhärentes Ansprechverhalten auf Lichtintensitäten aufweisen, und welcher Digitalbilder mit einem sehr hohen Dynamikbereich zu erzeugen vermag.
Die Aufgaben werden mit der vorliegenden Erfindung gelöst, die ein Verfahren zur Erzeugung eines komprimierten Bildes aus einem spärlich abgetasteten Bild mit voller Auflösung und erweitertem Dynamikumfang bereitstellt, das durch eine spärlich abgetastete Bildsensoreinrichtung mit erweitertem Dynamikumfang erzeugbar ist, welche Sensorelemente mit hoher Empfindlichkeit und einem vorbestimmten Ansprechen auf Lichtbelichtung zur Erzeugung von Werten schnell ansprechender Pixel umfasst, und Sensorelemente mit niedriger Empfindlichkeit, die langsamer auf die gleiche Lichtbelichtung zur Erzeugung von Werten langsam ansprechender Pixel ansprechen, mit folgenden Schritten: Bereitstellen eines Bildsensors mit spärlicher Abtastung und erweitertem Dynamikumfang, Trennen des spärlich abgetasteten Bildes mit voller Auflösung in ein Bild hoher Empfindlichkeit, das ausschließlich schnell ansprechende Pixel umfasst, und in ein Bild niedriger Empfindlichkeit, das ausschließlich langsam ansprechende Pixel umfasst, und getrenntes Komprimieren des Bildes hoher Empfindlichkeit und des Bildes niedriger Empfindlichkeit.
Die vorliegende Erfindung hat den Vorteil, dass die hierin beschriebene Komprimierungstechnik die eindeutige Anordnung von Sensorelementen auf einem Bildsensor nutzt, der mit Sensorelementen mit hoher Empfindlichkeit und vorbestimmtem Ansprechen auf eine Lichtbelichtung ausgestattet ist, und dessen Werte der langsam ansprechenden Pixel von Sensorelementen mit niedriger Empfindlichkeit abgeleitet sind, die ein langsameres Ansprechen auf dieselbe Lichtbelichtung aufweisen, um ein digitales Bild von einem derartigen Sensor effizienter komprimieren zu können.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen:
1 ein Blockdiagramm eines Digitalbildsystems, das eine Bildwandlervorrichtung mit erweitertem Dynamikbereich und einen erfindungsgemäßen Digitalbildprozessor verwendet;
2 eine Schnittansicht eines Interline-Bildwandlers, der eine Anordnung von Linsenelementen (Lenslets) verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
3 eine Schnittansicht eines Full-Frame-Bildwandlers, der eine Metallmaske verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
4 eine Kurve zur Darstellung des Ansprechverhaltens eines Sensorelements mit hoher und eines Sensorselements mit niedriger Empfindlichkeit;
5 eine Schnittansicht eines Bildwandlers, der eine Anordnung von Neutraldichtefiltern verwendet, um das Ansprechen ausgewählter Sensorelemente zu modifizieren;
6A die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem panchromatischen Bildwandler;
6B die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem Farbbildwandler;
7A die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem panchromatischen Bildwandler;
7B die Anordnung von ungeraden Sensorelementen mit niedriger Empfindlichkeit;
7C die Anordnung von geraden Sensorelementen mit niedriger Empfindlichkeit;
8A die Anordnung von Sensorelementen mit niedriger Empfindlichkeit und Sensorelementen mit hoher Empfindlichkeit auf einem Farbbildwandler;
8B die Anordnung von abgetasteten Pixeln, die grünempfindlichen Sensorelementen mit niedriger Empfindlichkeit entsprechen;
8C die Anordnung von abgetasteten Pixeln, die grünempfindlichen Sensorelementen mit hoher Empfindlichkeit entsprechen;
8D die Anordnung von abgetasteten Pixeln, die rotempfindlichen Sensorelementen mit niedriger Empfindlichkeit entsprechen;
8E die Anordnung von abgetasteten Pixeln, die einem ersten Satz rotempfindlicher Sensorelemente mit niedriger Empfindlichkeit entsprechen;
8F die Anordnung von abgetasteten Pixeln, die einem zweiten Satz rotempfindlicher Sensorelemente mit niedriger Empfindlichkeit entsprechen;
9 ein Blockdiagramm eines alternativen erfindungsgemäßen Komprimierers;
10 ein Blockdiagramm eines weiteren alternativen erfindungsgemäßen Komprimierers;
11 ein Blockdiagramm eines weiteren alternativen, erfindungsgemäßen Komprimierers; und
12 ein Blockdiagramm eines bevorzugten erfindungsgemäßen Komprimierers.
Ein Digitalbild setzt sich aus einem oder mehreren Digitalbildkanälen zusammen. Jeder Digitalbildkanal umfasst eine zweidimensionale Anordnung von Pixeln. Jeder Pixelwert betrifft eine Lichtmenge, die auf eine Bebilderungseinrichtung fällt, die der geometrischen Domäne des Pixels entspricht. Für Farbbebilderungsanwendungen besteht ein Digitalbild typischerweise aus roten, grünen und blauen Digitalbildkanälen. Andere Konfigurationen finden ebenfalls Verwendung, z.B. blaugrüne, purpurrote oder gelbe Digitalbildkanäle. Für monochrome Anwendungen besteht das Digitalbild aus einem Digitalbildkanal. Bebilderungsanwendungen mit Laufbildern kann man sich als eine zeitliche Folge von Digitalbildern vorstellen. Fachleute werden wissen, dass die vorliegende Erfindung beispielsweise, aber nicht abschließend, auf ein Digitalbild für eine beliebige der zuvor genannten Anwendungen anwendbar ist.
Die vorliegende Erfindung beschreibt zwar einen Digitalbildkanal in Form einer zweidimensionalen Anordnung von Pixelwerten, die in Reihen und Spalten angeordnet sind, aber Fachleute werden wissen, dass die vorliegende Erfindung mit gleicher Wirkung auch auf mosaikförmige (nicht geradlinige) Anordnungen, d.h. hexagonale Anordnungen, anwendbar ist.
Da Systeme, die elektronische Sensoren umfassen, bekannt sind, bezieht sich die vorliegende Beschreibung insbesondere auf Elemente, die Teil der erfindungsgemäßen Vorrichtung sind oder direkt damit zusammenwirken. Hier nicht gezeigte oder beschriebene Elemente sind aus den nach dem Stand der Technik bekannten Elementen wählbar. Es sei darauf hingewiesen, dass der Begriff Bild hier im Sinne einer zweidimensionalen Anordnung von Werten zu verstehen ist. Ein Bild kann eine zweidimensionale Untermenge eines anderen Bildes sein. Die vorliegende Erfindung ist mithilfe eines programmierten Digitalcomputers oder einer individuellen, integrierten, digitalen Bildverarbeitungsschaltung implementierbar. Die Erstellung eines derartigen Computerprogramms anhand der nachfolgenden Beschreibung fällt in den üblichen Bereich der Programmiertechnik. Der Computer kann ein digitaler Universalcomputer sein, wie ein Personal Computer (PC), oder ein digitaler Spezialcomputer, der speziell für die Verarbeitung von Digitalbildern entworfen wurde. Die vorliegende Erfindung ist in Teilen oder im Ganzen in einer Digitalkamera implementierbar.
Die wesentlichen Elemente der vorliegenden Erfindung sind als Funktionsblockdiagramm in 1 dargestellt. Licht aus einem Objekt oder einer Szene fällt auf eine Linse 2, die ein fotografisches Bild auf einem Bildsensor oder Bildwandler 10, etwa einem CCD-Chip (Charged-Coupled Device), erzeugt. Es sei darauf hingewiesen, dass auch andere Vorrichtungen, wie CMOS-Vorrichtungen, als Bildwandler 10 verwendbar sind. Ein optisches Tiefpassfilter 6, das zwischen der Linse 2 und dem Bildwandler 10 angeordnet ist, führt eine leichte unscharfe Abbildung des einfallenden Lichts durch, um das Auftreten eines Treppeneffekts (Aliasing) zu reduzieren. Ein Analog-/Digitalwandler 14 empfängt das Spannungssignal entsprechend dem einfallenden Licht vom Bildwandler 10 und erzeugt ein dem Spannungssignal entsprechendes Bildsignal. Die Ausgabe des Analog-/Digitalwandlers 14 ist ein voll aufgelöstes, spärlich abgetastetes Bild mit erweitertem Dynamikbereich. Ein spärlich abgetastetes Bild ist als ein Bild definiert, das mit einer Bildabtasteinrichtung erfasst wurde, die einen einzelnen Bildwandler mit mehreren Arten von Sensorelementen aufweist. Erfindungsgemäß bezieht sich der Begriff "spärlich abgetastet" auch auf ein Bild, das von einem Bildsensor erzeugt wird, auf dem empfindliche sowie unempfindliche Sensorelemente angeordnet sind, einschließlich eines Bildsensors mit einer Farbfilteranordnung.
Das voll aufgelöste, spärlich abgetastete Bild mit erweitertem Dynamikbereich wird erfindungsgemäß komprimiert, um mit dem Komprimierer 312 ein komprimiertes Digitalbild zu erzeugen, wie nachfolgend beschrieben. Das komprimierte Digitalbild kann in einem (nicht gezeigten) Computerspeicher gespeichert oder über ein (nicht gezeigtes) Kommunikationsnetz übertragen und später im Dekomprimierer 314 dekomprimiert werden, um ein rekonstruiertes Digitalbild zu erzeugen.
Der in 1 gezeigte Analog-/Digitalwandler 14 wandelt das von dem Bildwandler 10 erzeugte Spannungssignal in ein Bildsignal um, d.h. in einen Strom aus digitalen Pixelwerten entsprechend dem von den Sensorelementen des Bildwandlers 10 erzeugten Spannungssignal. Der Analog-/Digitalwandler 14 wandelt das Spannungssignal, das in Bezug auf die Intensität des einfallenden Lichts nahezu linear ist, aus dem Bildwandler 10 in ein diskretes Digitalbild signal um, z.B. ein 10-Bit-Signal mit linear codiertem Wertebereich von 0 bis 1023. Der Analog-/Digitalwandler 14 kann zudem das linear codierte Domänenbildsignal in ein nicht linear codiertes Domänenbildsignal umwandeln, etwa in ein in der Technik übliches logarithmisches 8-Bit-Signal. Die folgende Gleichung ist beispielsweise verwendbar, um ein lineares 10-Bit-Bildsignal a(x,y), wobei (x,y) für den Reihen- und Spaltenindex der Signalstelle in Bezug auf den Bildwandler 10 steht, in ein logarithmisches 8-Bit-Bildsignal b(x,y) umzuwandeln.
Es sei darauf hingewiesen, dass jede Blende der Belichtung (im linearen Ansprechbereich des Bildwandlers) zu einer Verdoppelung des linearen Bildsignals a(x,y) führt und zu einer Erhöhung des logarithmisch codierten Bildsignals b(x,y) um 51. In diesem Fall stellt der Wert 51 die Anzahl der Codewerte pro Belichtungsblende (cvs) dar.
In dem bevorzugten Ausführungsbeispiel besteht der Bildwandler 10 aus einer Anordnung lichtempfindlicher Elemente, die als Sensorelemente bezeichnet werden. Jedes Sensorelement ist typischerweise entweder mit einem roten, grünen oder blauen Filter beschichtet, wie von Bayer in der Parallelanmeldung US-A-3,971,065 beschrieben. Diese Anordnung nach Bayer ist ein Farbfilter-Array, in dem Grünfilter in einem Schachbrettmuster über den Sensorelementen mit zeilenweise abwechselnden roten und blauen Filtern angeordnet sind, um die Zwischenräume des Schachbrettmusters zu füllen; dies erzeugt zweimal so viele Grünfilterstellen wie Rot- und Blaufilterstellen. Es sei darauf hingewiesen, dass sich das hier beschriebene Verfahren ohne weiteres auf Farbfilter-Arrays mit unterschiedlichen Anordnungen der Primärfarben oder einer anderen Primärfarbenmenge erweitern lässt. In dem bevorzugten Ausführungsbeispiel spricht jedes Sensorelement entweder auf rotes, grünes oder blaues Licht an. Das fotografierte Bild wird somit im roten, grünen und blauen Bereich spärlich abgetastet. Es ist jedoch wünschenswert, einen Pixelwert entsprechend einer Belichtung für jede der roten, grünen und blauen Belichtungen an jeder Stelle eines Sensorelements zu erzeugen. In der vorliegenden Beschreibung stellen „rot", „grün" und „blau" die primären Spektralempfindlichkeiten eines Bildwandlers 10 dar, wie in der Technik der Bildverarbeitung bekannt ist.
Die Farbpixelwerte, die nicht dem Farbwert des Farbfilterelements über dem Sensorelement entsprechen, werden aus den Farbpixelwerten von benachbarten Sensorelementen durch Interpolation gebildet. Zwar ist jeder gängige Interpolator verwendbar, aber in US-A-5,652,621, erteilt am 29. Juli 1997 an Adams, Jr. et al., beschreiben Adams et al. einen bevorzugten CFA-Interpolator. US-A-5,652,621 beschreibt eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, das von einem Bildwandler stammt, der mit Farbsensorelementen versehen ist, die in Reihen und Spalten angeordnet sind und mindestens drei separate Farbwerte erzeugen, jedoch nur einen Farbwert für jede Sensorelementstelle, und eine Struktur zur Interpolation von Farbwerten für jede Sensorelementstelle, so dass diese drei verschiedene Farbwerte hat. Die Vorrichtung erzeugt einen entsprechenden Farbwert, der an einer Sensorelementstelle fehlt, durch Interpolation eines zusätzlichen Farbwerts für diese Sensorelementstelle aus Farbwerten für andere Farben als der fehlende Farbwert an der benachbarten Sensorelementstelle. Die Vorrichtung erzeugt zudem Laplace-Werte zweiter Ordnung, Gradientenwerte und Farbdifferenz-Vorspannungswerte in mindestens zwei Bildrichtungen von den Pixelwerten, die benachbarten Sensorelementen derselben Spalte und Reihe entsprechen, und wählt eine bevorzugte Ausrichtung für die Interpolation des fehlenden Farbwerts basierend auf einem für diese Werte entwickelten Klassifizierer aus. Der fehlende Farbpixelwert von einer Mehrzahl benachbarter Farbpixelwerte wird derart ausgewählt, dass er mit der bevorzugten Ausrichtung übereinstimmt. Die Anordnung der gewählten Sensorelemente in Bezug auf den Bildwandler 10 wird nachfolgend detaillierter beschrieben. In dem bevorzugten Ausführungsbeispiel wird das Ansprechverhalten ausgewählter Sensorelemente abgeschwächt oder verzögert, indem die Verstärkung der ausgewählten Sensorelemente abgewandelt wird, die hier als Sensorelemente niedriger Empfindlichkeit bezeichnet werden. Die Abwandlung der Verstärkung eines Sensorelements ist in der Konstruktions- und Herstellungstechnik von Digitalkameras allgemein üblich.
Wie in 2 gezeigt, ist es im Bereich der Fertigung von Bildwandlern allgemein üblich, Kunststofflinsenelemente 51 über jedem Sensorelement anzuordnen. Insbesondere wenn es sich bei dem Bildwandler 10 um einen Interline-Halbleiterbildwandler handelt, wird eine entsprechende Linsenelementtechnik in US-A-4,667,092, erteilt am 19. Mai 1987 an Ishihara, beschrieben. US-A-4,667,092 beschreibt einen Halbleiterbildwandler, der einen Bildspeicherbereich mit einer Oberfläche und einer Vielzahl von Speicherelementen aufweist, die entlang der Oberfläche eingebettet sind und ein Bild in Form einer elektrischen Ladung speichern können. Darüber ist eine Deckschicht abgelagert, die eine Anordnung aus optischen Linsen bildet, die den Speicherelementen entsprechen. Eine Zwischenschicht ist zwischen der Blockoberfläche und der Deckschicht angeordnet. Licht wird durch die Linsen fokussiert und fällt durch die Zwischenschicht auf die Speicherelemente. Die Zwischenschicht dient als Einstellschicht zur Einstellung einer Brennweite.
2 zeigt einen Querschnitt eines Interline-Halbleiterbildwandlers. Ohne die Linsenelemente 51 ist es aufgrund des jedem lichtempfindlichen Bereich 55 zugeordneten Signalauslesebereichs eines Sensorelements unmöglich, den gesamten Bereich des Halbleitersubstrats als fotoelektrischen Wandlerbereich zu nutzen. Der konventionelle Halbleiterbildwandler nutzt die Gesamtheit der darauf einfallenden Strahlen nicht effektiv und hat daher eine niedrige Empfindlichkeit. Durch Hinzufügen eines Kunststofflinsenelements 51 über einem Sensorelement können die einfallenden Lichtstrahlen auf die lichtempfindlichen Bereiche des Sensorelements fokussiert werden, wodurch die einfallenden Lichtstrahlen effektiver genutzt werden, so dass sich die Empfindlichkeit des Sensorelements erhöht. Durch Abwandlung der Größe und/oder Effizienz des Linsenelements 51 lässt sich somit die Empfindlichkeit des Sensorelements leicht verändern. Das bevorzugte Verfahren zur Abwandlung der Verstärkung des Sensorelements ist für Interline-Vorrichtungen und für CMOS-Sensoren die Veränderung des auf dem Sensorelement angeordneten Linsenelements 51. Wie in 2 gezeigt, weist die Stelle 52 kein Linsenelement auf, wodurch auf den lichtempfindlichen Bereich weniger Lichtstrahlen einfallen. Alternativ hierzu könnte ein Linsenelement an Stelle 52 mit unterschiedlichem Radius, Form, Größe oder Material im Vergleich zum Linsenelement 51 hergestellt werden, wodurch es in der Fokussierung der einfallenden Lichtstrahlen auf den lichtempfindlichen Bereich 55 strukturell weniger effizient sein könnte als das Linsenelement 51. Wenn das Linsenelement 51 80% der einfallenden Lichtstrahlen auf einen lichtempfindlichen Bereich 55 fokussiert und die Stelle 52, die keine Linsenelemente aufweist (oder alternativ hierzu Linsenelemente mit niedriger Empfindlichkeit) 20% der einfallenden Lichtstrahlen zum lichtempfindlichen Bereich 55 durchlässt, ist das durch ein Linsenelement 51 bedeckte Sensorelement um 2 Blenden empfindlicher als die Stelle 52, wie Fachleute erkennen werden. In diesem Fall wird das Linsenelement 51 für hochempfindliche Sensorelemente verwendet, während keine Linsenelemente für Sensorelemente mit niedriger Empfindlichkeit verwendet werden, wie durch Stelle 52 dargestellt.
3 zeigt einen Schnitt eines Full-Frame-Bildwandlers 10, bei dem auf den lichtempfindlichen Bereich 55 eines Sensorelements fallende Lichtstrahlen durch eine Apertur einer Lichtblende treten müssen, die üblicherweise aus Metall besteht, und die, wie in 3 gezeigt, Lichtabschirmmasken 54 sowie große und kleine Aperturen 56 bzw. 57 umfassen, die unter den Lichtabschirmmasken verteilt sind. In dem bevorzugten Ausführungsbeispiel ist die Verstärkung der Sensorelemente durch Modifikation der Lichtabschirmmasken 54 veränderbar. Die Empfindlichkeit des Sensorelements steht dann in direkter Beziehung zu der Apertur der Lichtabschirmmasken 54. Ein Sensorelement mit beispielsweise einer Apertur von 50% der Größe einer Apertur eines zweiten Sensorelements hat im Vergleich zum zweiten Sensorelement eine Ansprechempfindlichkeit von 50%. Eine große Apertur 56 einer Lichtabschirmmaske 54 lässt beispielsweise 80% der einfallenden Lichtstrahlen zum Sensorelement durch, während eine kleine Apertur 57 nur 20% der einfallenden Lichtstrahlen durchlässt. Das Sensorelement mit der großen Apertur 56 ist um 2 Blenden empfindlicher als ein Sensorelement mit der kleinen Apertur 57, wie Fachleute erkennen werden. In diesem Fall wird die große Apertur 56 für hoch empfindliche Sensorelemente verwendet, während die kleine Apertur 57 für niedrig empfindliche Sensorelemente verwendet wird. Die Apertur der Lichtabschirmmaske lässt sich modifizieren, um die Ansprechempfindlichkeit der ausgewählten Sensorelemente einzustellen. Die Eastman Kodak Company stellt Full-Frame-Bildwandler mit einer Metall-Lichtabschirmmaske her, die den aktiven Pixelbereich aller Pixel um ca. 80% auf ca. 20% reduziert (für Scanner-Anwendungen mit Dithering, bei denen der Sensor um 1/2 Pixel horizontal und vertikal versetzt wird und 4 Bilder aufgenommen werden). Die vorliegende Erfindung umfasst somit die Nutzung einer derartigen Maskentechnologie, jedoch mit unterschiedlich bemessenen Aperturen, um einen Bildsensor mit unterschiedlicher Ansprechempfindlichkeit gegenüber Bildlicht bereitzustellen.
In dem bevorzugten Ausführungsbeispiel entspricht das Ansprechverhalten ausgewählter Sensorelemente mit niedriger Empfindlichkeit X% (wobei X<=100) der Empfindlichkeit von ausgewählten Sensorelementen mit hoher Empfindlichkeit für dieselbe Belichtung, wie in 4 grafisch dargestellt. In dem bevorzugten Ausführungsbeispiel haben die ausgewählten Sensorelemente eine Ansprechempfindlichkeit, die um zwei Blenden (–log X/100) in Beziehung zu den hochempfindlichen Sensorelementen niedriger ist, wodurch X = 25. Der Bildwandler 10 besteht somit aus mehreren Sätzen von Sensorelementen, Sensorelementen mit hoher und Sensorelementen mit niedriger Empfindlichkeit. Die Menge der ausgegebenen Reaktionen der Sensorelemente mit hoher Empfindlichkeit stellt eine spärlich abgetastete Version einer Szene dar, die mit den hochempfindlichen Sensorelementen aufgenommen wurde. In gleicher Weise stellt die Menge der ausgegebenen Reaktionen der Sensorelemente mit niedriger Empfindlichkeit eine spärlich abgetastete Version einer Szene dar, die mit den niedrig empfindlichen Sensorelementen aufgenommen wurde.
Als weitere Alternative können die Reaktionen der ausgewählten Sensorelemente mit niedriger Empfindlichkeit durch Verwendung eines Neutralfilters abgeschwächt werden, mit denen das Sensorelement bedeckt ist. 5 zeigt einen Schnitt einer mit einer Farbfilteranordnung 53 versehenen Bildwandlereinrichtung. Es sei darauf hingewiesen, dass die Farbfilteranordnung 53a rot, die Farbfilteranordnung 53b grün, die Farbfilteranordnung 53c rot und die Farbfilteranordnung 53d grün ist. Eine Schicht aus Neutralfiltern 58 ist über der Farbfilteranordnung 53 angeordnet, obwohl die Lage der Schicht aus Neutralfiltern 58 und der Farbfilteranordnung 53 keine Rolle spielt. Es wird darauf hingewiesen, dass die Schicht aus Neutralfiltern 58 nur ein Neutralfilter an den Positionen ausgewählter Sensorelemente enthält, wie anhand des Neutralfilters 59 bezeichnet. In diesem Fall ist die Schicht des Neutralfilters 58 für hoch empfindliche Sensorelemente transparent oder nahezu transparent und enthält ein Neutralfilter 59 für Sensorelemente mit niedriger Empfindlichkeit. Wenn das Neutralfilter 59 beispielsweise aus einem Material besteht, das X% Licht durchlässt, dann wird das Ansprechverhalten des Sensorelements mit niedriger Empfindlichkeit um – log₂(X/100) Blenden in Bezug zum Ansprechverhalten des Sensorelements mit hoher Empfindlichkeit abgeschwächt.
In dem bevorzugten Ausführungsbeispiel werden 50% der Sensorelemente des Bildwandlers 10 derart ausgewählt, dass sie eine niedrige Ansprechempfindlichkeit aufweisen. Fachleute werden erkennen, dass auch durch eine Veränderung des Prozentsatzes an Sensorelementen, die eine niedrige Ansprechempfindlichkeit aufweisen, die Vorteile der vorliegenden Erfindung erzielbar sind. Im Falle eines Bildwandlers 10, in dem alle Sensorelemente eine ungefähr gleiche Spektralempfindlichkeit aufweisen (d.h. eine panchromatische Bildwandlereinrichtung), zeigt 6A eine Anordnung der Sensorelemente mit niedriger Empfindlichkeit, die dazu führt, dass ca. 50% aller Sensorelemente des Bildwandlers 10 eine niedrige Ansprech empfindlichkeit aufweisen. Die Sensorelemente 28 mit niedriger Ansprechempfindlichkeit sind mit einem Sternchen (*) markiert, während die Sensorelemente 30 mit hoher Ansprechempfindlichkeit frei sind. Ein spärlich abgetastetes Bild wurde zuvor als Bild definiert, das mit einer Bildwandlervorrichtung erfasst wurde, die mit einem Farbfilter-Array versehen ist. Erfindungsgemäß bezieht sich der Begriff "spärlich abgetastet" auch auf ein Bild, das von einem Bildwandler, wie dem in 6A gezeigten, erzeugt wird, bei dem hochempfindliche und niedrig empfindliche Sensorelemente gemischt sind.
68 zeigt eine Anordnung für einen Farbbildwandler, worin 50% jedes Sensorelementtyps (rot-, grün- oder blauempfindlich) eine niedrige Ansprechempfindlichkeit aufweisen. Die Sensorelemente 32, 34 und 36 sind beispielsweise rote, grüne bzw. blaue Sensorelemente mit niedriger Ansprechempfindlichkeit, und die Sensorelemente 38, 40 und 42 sind rote, grüne bzw. blaue Sensorelemente mit hoher Ansprechempfindlichkeit.
Es sei darauf hingewiesen, dass 6A und 6B ein regelmäßiges Muster für die Stelle der Sensorelemente mit niedriger Empfindlichkeit implizieren. Vorzugsweise sind die Sensorelemente mit niedriger Empfindlichkeit zwar in einem regelmäßigen Muster angeordnet, aber dies ist durchaus nicht zwingend notwendig. Die Sensorelemente mit niedriger Empfindlichkeit können zufällig oder semi-zufällig über der Oberfläche des Bildwandlers 10 angeordnet sein.
4 zeigt das Ansprechverhalten eines Sensorelements mit hoher Empfindlichkeit auf eine bestimmte Belichtung sowie das Ansprechverhalten eines Sensorelements mit niedriger Empfindlichkeit auf die gleiche Belichtung. Wenn das Ansprechen mit einem bestimmten Rauschpegel überlagert wird, ist gut zu erkennen, dass das Sensorelement mit hoher Empfindlichkeit ein gültiges Signal bei niedrigeren Belichtungen erzeugt (beginnend mit Belichtungspegel E) als das Sensorelement mit niedriger Empfindlichkeit (das ein gültiges Signal beginnend mit 100/XE erzeugt). Alternativ hierzu sind Daten von einem Sensorelement mit niedriger Empfindlichkeit für höhere Belichtungspegel gültig (bis zum Signalpegel von 100/XE2^S, wobei S der inhärente Dynamikbereich eines einzelnen Sensorelements ist, und wobei S typischerweise ca. 5 Blenden sein kann) als Sensorelemente mit hoher Empfindlichkeit (das ein gültiges Ansprechen bis zu einer Belichtung von 100/XE2^S erzeugt). Sowohl das Sensorelement mit hoher Empfindlichkeit als auch das Sensorelement mit niedriger Empfindlichkeit hat den gleichen Ansprechumfang in Belichtungsblenden (S), aber das Ansprechen der Sensorelemente mit niedriger Empfindlichkeit ist vorzugsweise um –log₂(X/100) Blenden niedriger als das der Sensorelemente mit hoher Empfindlichkeit, wie in 4 gezeigt. Vorzugsweise überlagert sich das Ansprechen der Sensorelemente mit hoher und niedriger Empfindlichkeit in Bezug auf die Belichtung. Vorzugsweise ist also – log₂(X/100) < S. Der gesamte Dynamikbereich des Bildwandlers 10 unter Berücksichtigung von Sensorelementen mit hoher und niedriger Empfindlichkeit ist S-log₂ (X/100). Im Falle des bevorzugten Ausführungsbeispiels, wo S = 5 und X = 25, beträgt der gesamte effektive Dynamikbereich des Bildwandlers 10 7 Belichtungsblenden.
Ein voll aufgelöstes Digitalbild mit erweitertem Dynamikumfang wird durch Ausgleichen der Pixelwerte in den Bildern mit hoher und niedriger Empfindlichkeit auf Unterschiede im Ansprechen auf die gleiche Lichtbelichtung erzeugt, wobei eine notwendige Farbinterpolation durchgeführt wird.
Die Ausgabe des voll aufgelösten, spärlich abgetasteten Digitalbilds mit erweitertem Dynamikumfang aus dem A/D-Wandler wird erfindungsgemäß komprimiert, um die Speicheranforderungen zu reduzieren oder die Handhabbarkeit des Bildes zu verbessern. In dem bevorzugten Ausführungsbeispiel wird das Bildsignal aus dem A/D-Wandler 14 in den Komprimierer 312 eingegeben. Die Ausgabe des Komprimierers 312 ist ein komprimiertes Digitalbild, das im Computerspeicher gespeichert werden kann, beispielsweise auf einer Computerfestplatte, einer Diskette, einer CD-ROM oder im Computer-RAM. Ein komprimiertes Digitalbild reduziert zudem die Übertragungszeiten, wenn das Digitalbild von einem Ort zu einem anderen über ein Kommunikationsnetz übertragen wird. Beispielsweise kann das komprimierte Digitalbild über ein Kommunikationsnetz an einen entfernten Ort übertragen werden, wo das komprimierte Digitalbild in den Dekomprimierer 314 eingegeben wird, um das rekonstruierte Digitalbild zu erzeugen. Die komprimierte Bildausgabe aus dem Komprimierer 312 kann an einen Hostcomputer oder an einen entfernten Computer per E-Mail oder über das Internet zur Dekomprimierung übertragen werden. Das dekomprimierte Digitalbild kann weiter verarbeitet werden, um den Dynamikumfang des rekonstruierten Digitalbildes zu erweitern, wodurch ein Bild mit hoher Auflösung und erweitertem Dynamikumfang entsteht. Durch Komprimieren der Ausgabe des spärlich abgetasteten Bildes mit erweitertem Dynamikumfang aus dem A/D-Wandler 14 kann der berechnungsintensive, komplexe Prozess zur Erweiterung des Dynamikbereichs des rekonstruierten Digitalbildes auf einen besser geeigneten Zeitpunkt verlegt werden (z.B. auf einem Tischcomputer statt in einer Kamera). Zum Zwecke der Dateigrößenreduzierung kann der Komprimierer 312 entweder eine verlustreiche oder eine verlustfreie Komprimierung durchführen. Die Ausgabe des Komprimierers 312 kann ein Dateiformat sein, wie beispielsweise JPEG, das für die meisten Verbraucher geeignet ist.
Im Falle der vorliegenden Erfindung fallen die Sensorelemente in zwei Kategorien, nämlich in Elemente mit hoher oder niedriger Empfindlichkeit, wie in 6A gezeigt. Im Falle des in 6B gezeigten Farbbildsensors 10 kann das Sensorelement in jeder Kategorie rot, grün oder blau sein. (Fachleuten wird klar sein, dass viele weitere Kombinationen möglich sind.) Insgesamt gibt es sechs Arten von Sensorelementen. Da jede Art Sensorelement eine hohe Korrelation mit benachbarten Sensorelementen des gleichen Typs aufweist, wird die Ausgabe jedes Sensorelementtyps separat von dem Komprimierer 312 erfindungsgemäß komprimiert. Der Komprimierer 312 wird nachfolgend detaillierter beschrieben.
Der Komprimierer 312 kann in einer von mehreren Betriebsarten arbeiten. In einer Betriebsart arbeitet der Bildsensor 10 als monochromatischer Sensor, wie in 6A gezeigt. Ein größerer Bereich des Bildsensors 10 wird in 7a gezeigt, wo die mit dem Symbol * versehenen Positionen Sensorelemente mit niedriger Ansprechempfindlichkeit bezeichnen, wie zuvor beschrieben. Die verschiedenen Komprimierungsbetriebsarten der monochromatischen Sensorausgabe werden nachfolgend beschrieben.
Eine mögliche Betriebsart für den Komprimierer 312 besteht in der Komprimierung der Pixel mit hoher Empfindlichkeit unabhängig von der Komprimierung der Pixel mit niedriger Empfindlichkeit. Wie in 9 gezeigt, wird die Komprimierung der Pixel mit hoher Empfindlichkeit unabhängig von den Pixeln mit niedriger Empfindlichkeit seitens des Pixel typseparators 316 veranlasst. Der Pixeltypseparator 316 hat den Zweck, den Zugriff auf jeden Pixeltyp separat zu ermöglichen. In diesem Ausführungsbeispiel gibt der Pixeltypseparator 316 alle Pixelwerte mit hoher Empfindlichkeit und alle Pixelwerte mit niedriger Empfindlichkeit separat aus. Die einem bestimmten Typ von Sensorelementen zugeordneten Pixel, wie vom Pixeltypseparator 316 ausgegeben, werden dann in den Pixeltypkomprimierer 322 eingegeben. Der Vorteil dieses Verfahrens liegt darin, dass die benachbarten Pixelwerte, die aus dem gleichen Sensorelementtyp stammen, wahrscheinlich ähnlich sind und die Leistung des Komprimierers 312 erhöhen. In dieser Betriebsart würde der Komprimierer 312 ein komprimiertes Bild ausgeben, das aus Pixeln mit hoher Empfindlichkeit besteht und ein komprimiertes Bild, das aus Pixeln mit niedriger Empfindlichkeit besteht. Wenn einige Pixelwerte mit hoher Empfindlichkeit gesättigt oder einige Pixelwerte mit niedriger Empfindlichkeit fast abgeschnitten sind (schwaches Signal), dann können diese Bereiche ggf. mit einem höheren Fehler komprimiert werden, weil der nachfolgende Verarbeitungsschritt zur Erweiterung des Dynamikumfangs des dekomprimierten Bildes die weitgehend abgeschnittenen Pixel ohnehin ignoriert. Somit lässt sich ein hohes Maß an Komprimierung erzielen. Diese beiden komprimierten Digitalbilder können gemeinsam zu einer einzigen Datei gebündelt werden oder separate Dateien bleiben. Dieser Ansatz hat den zusätzlichen Vorteil, dass die Komprimierungseinstellungen für jeden Sensorelementtyp unterschiedlich sein können. Da die Pixel mit niedriger Empfindlichkeit wahrscheinlich während der nachfolgenden Verarbeitung verstärkt werden, kann es wünschenswert sein, sie im Vergleich mit den Pixeln mit hoher Empfindlichkeit mit weniger Verzerrung zu komprimieren.
Als ein alternatives Ausführungsbeispiel, wie in 10 gezeigt, können die aus dem Pixeltypseparator 316 ausgegebenen Pixelwerte mit niedriger Empfndlichkeit von dem Pixeltypkomprimierer 322 komprimiert werden. Die Pixelwerte mit hoher Empfindlichkeit können dann komprimiert werden, indem zunächst die Pixelwere mit hoher Empfindlichkeit von den Pixelwerten mit niedriger Empfndlichkeit prädiziert und die Differenz zwischen der Prädiktion und dem Istwert komprimiert wird. Bei diesem Ansatz werden vor Komprimieren der Pixelwerte mit hoher Empfindlichkeit die Pixelwerte mit niedriger Empfindlichkeit benutzt, um den Wert der Pixel mit hoher Empfindlichkeit zu prädizieren. Ein typischer Prädiktor 320 für einen Pixelwert mit hoher Empfindlichkeit an Position P(x,y) verwendet ein oder mehrere der vier umgebenden Pixelwerte mit niedriger Empfindlichkeit P(x + 1,y + 1), P(x – 1,y + 1), P(x + 1,y – 1) und P(x – 1,y – 1), indem diese zunächst einer nichtlinearen Verstärkung unterzogen werden, worauf eine lineare Kombination der resultierenden Werte durchgeführt wird. Als nächstes wird die Ausgabe des Prädiktors 320 von den Istwerten der Ausgabe der Pixel mit hoher Empfindlichkeit aus dem Pixeltypseparator 316 subtrahiert, um ein Differenzbild zu bilden, das anschließend mit einem weiteren Pixeltypkomprimierer 322 komprimiert wird. Hier ist es ebenfalls möglich, die Werte der Pixel mit niedriger Empfindlichkeit anhand einer unterschiedlichen Komprimierungseinstellung zu komprimieren (z.B. eine, die zu einer geringeren Komprimierung und zu einer höheren Bildqualität führt) als das Differenzbild.
Eine zuvor beschriebene Einschränkung besteht darin, dass am Dekomprimierer 314 nicht die Istwerte der Pixel mit niedriger Empfindlichkeit, sondern ihre rekonstruierten Werte nach Dekomprimierung verfügbar sind. Bei Rekonstruktion der Pixel mit hoher Empfindlichkeit wird das dekomprimierte Differenzbild zur Prädiktion auf der Grundlage der rekonstruierten Pixelwerte mit niedriger Empfindlichkeit addiert, anstatt der ursprünglichen Werte, die an dem Pixeltypkomprimierer 322 verwendet wurden. Im Ergebnis ist die gesamte Komprimierungsverzerrung in den rekonstruierten Pixeln mit hoher Empfindlichkeit auf die Komprimierungsverzerrung der rekonstruierten Pixel mit niedriger Empfindlichkeit plus der Komprimierungsverzerrung in dem dekomprimierten Differenzbild zurückzuführen.
Diese Einschränkung wird mit dem in 11 gezeigten Ausführungsbeispiel der vorliegenden Erfindung überwunden. Wie zuvor, werden die Pixelwerte mit niedriger Empfindlichkeit, die aus dem Pixeltypkomprimierer 322 ausgegeben werden, mit einer bevorzugten Einstellung der Komprimierungsparameter komprimiert, und das komprimierte Bild wird im Bildspeicher gespeichert. Als nächstes werden vor Komprimierung der Pixelwerte mit hoher Empfindlichkeit zunächst die Pixelwerte mit niedriger Empfindlichkeit in einem 324 Pixeltypdekomprimierer 324 dekomprimiert, und die dekomprimierten Werte werden benutzt, um die Werte der Pixel mit hoher Empfindlichkeit mit dem Prädiktor 320 zu dekomprimieren, wie zuvor beschrieben. Es sei darauf hingewiesen, dass die Aufgabe des Pixeltypdekomprimierers 324 darin besteht, die komprimierten Werte eines bestimmten Pixeltyps zu rekonstruieren. Außerdem basieren die genauen Operationen des Pixeltypdekomprimierers 324 auf der Umkehrung der Operationen des Pixeltypkomprimierers 322. Einschlägigen Fachleuten wird die Beziehung zwischen einem Komprimierer und einem Dekomprimierer klar sein. Als nächstes wird die Prädiktionsausgabe aus dem Prädiktor 320 von den Istwerten der Pixel mit hoher Empfindlichkeit subtrahiert, um ein Restbild zu erzeugen, das von einem weiteren Pixeltypkomprimierer 322 komprimiert wird, möglicherweise mit einer anderen Komprimierungseinstellung als für die Pixel mit niedriger Empfindlichkeit.
Dieser Ansatz ist insbesondere bei Verwendung einer Kompressionshardware in der Kamera attraktiv. Da die meisten Komprimierungs- und Dekomprimierungstechniken (z.B. der JPEG-Komprimierungsstandard) ein hohes Maß an Übereinstimmung haben, kann dieselbe Hardware, die zur Komprimierung dient, auch für die Dekomprimierung verwendet werden, wodurch eine zusätzliche Schaltung wegfallen kann, während sich die Komprimierungsleistung verbessert.
Wie in 7A gezeigt, bildet jeder Satz der Pixel mit hoher Empfindlichkeit oder der Pixel mit niedriger Empfindlichkeit ein Quincunxmuster. Dieses Muster kann für verschiedene Komprimierungsalgorithmen Schwierigkeiten verursachen, wenn die Pixelwerte mit hoher Empfindlichkeit separat von den Pixelwerten mit niedriger Empfindlichkeit komprimiert werden, wie zuvor beschrieben. Beispielsweise beruht die JPEG-Komprimierung, die in der Technik gängig ist, auf der Bildung von 8 × 8 Pixel großen Blöcken. Um die JPEG-Komprimierung auf Quincunxdaten anzuwenden, muss jede Reihe (oder Spalte) nach link (oder nach oben) verschoben werden. Dies kann vertikale (oder horizontale) Restfrequenzen verursachen und die Kompressionseffizienz erheblich beeinträchtigen. 7B und 7C zeigen ein bevorzugtes Verfahren zur Komprimierung von Pixelwerten, die in einem Quincunxmuster angeordnet sind, mit Algorithmen, wie beispielsweise JPEG. Zunächst werden die Pixelwerte mit niedriger Empfindlichkeit an geraden Positionen (Positionen, bei denen die Indizes x und y gerade sind), die ein rechteckiges Muster auf dem Array bilden, durch JPEG-Komprimierung komprimiert. Diese Trennung von den Pixelwerten mit niedriger Empfindlichkeit an geraden Positionen von den Pixelwerten mit niedriger Empfindlichkeit an ungeraden Positionen wird erreicht, indem die Pixelwerte mit niedriger Empfindlichkeit an geraden Positionen einem Sensorelementtyp zugeordnet werden und die Pixelwerte mit niedriger Empfindlichkeit an ungeraden Positionen einem zweiten Sensorelementtyp. Der Pixeltypseparator 316 adressiert die Pixelwerte mit niedriger Empfindlichkeit an geraden Positionen dann getrennt von den Pixelwerten mit niedriger Empfindlichkeit an ungeraden Positionen. Der erste JPEG-Block aus 8 × 8 Pixeln umschließt effektiv einen Block von 16 × 16 Pixeln des voll aufgelösten, spärlich abgetasteten Bildes mit erweitertem Dynamikumfang, wie vom A/D-Wandler 14 ausgegeben. Die Pixelwerte mit niedriger Empfindlichkeit an ungeraden Positionen (Positionen, für die x und y ungerade sind), wie in 7C gezeigt, können vom Komprimierer 312 ebenfalls mit JPEG-Komprimierung komprimiert werden. Einschlägigen Fachleuten wird klar sein, dass ein ähnlicher Prozess für Pixelwerte mit hoher Empfindlichkeit durchgeführt werden kann. Die Ausgabe des Komprimierers 312 für jeden Satz von Pixelwerten mit niedriger und hoher Empfindlichkeit besteht somit aus zwei komprimierten Dateien.
Der Ansatz, Pixelwerte mit niedriger (oder hoher) Empfindlichkeit an den geraden und ungeraden Positionen separat zu komprimieren, hat den Vorteil, dass Raumrestfrequenzen entfernt werden, die aus der Umordnung der Quincunxmuster entstehen können.
Ein Nachteil dieses Ansatzes besteht jedoch darin, dass die räumliche Korrelation zwischen den Abtastungen an gerader und ungerader Position nicht genutzt wird. In einem weiteren Ausführungsbeispiel, wie mit Bezug auf 10 beschrieben, werden die Pixelwerte mit niedriger Empfindlichkeit an geraden Positionen mit einem Pixeltypkomprimierer 322 komprimiert, und die Pixelwerte mit niedriger Empfindlichkeit an ungeraden Positionen werden zunächst mit einem Prädiktor 320 prädiziert, der die Pixelwerte mit niedriger Empfindlichkeit an geraden Positionen eingibt, und das resultierende Differenzbild wird mit dem Pixeltypkomprimierer 322 komprimiert. Da die für die Prädiktion verwendeten Pixel und die prädizierten Pixel dem gleichen Typ angehören, kann der Prädiktor 320 einfache lineare Prädiktoren verwenden. Einige einfache Beispiele für lineare Prädiktoren für ein Pixel an Position P(x,y) umfasst die Pixel in der Position eine Reihe nach oben und nach links (P(x – 1,y – 1)); der Mittelwert der Pixel eine Reihe nach oben und nach links und rechts (P(x – 1,y – 1) + P(x–1,y + 1))/2; der Mittelwert der Pixel eine Reihe nach oben und eine Reihe unten nach links (P(x – 1,y – 1) + P(x + 1,y – 1))/2; oder der Mittelwert der vier umgebenden Pixel (P(x – 1,y 1) + P(x + 1,y –1) + P(x + 1,y + 1) + P(x – 1,y + 1))/4.
Eine ähnliche Operation kann zur Komprimierung der Pixelwerte mit hoher Empfindlichkeit durchgeführt werden. Einschlägigen Fachleuten wird klar sein, dass Abweichungen von der Beschreibung, wie das Komprimieren der Pixelwerte mit hoher Empfindlichkeit und die Ver wendung der Pixelwerte mit hoher Empfindlichkeit zum Prädizieren der Pixelwerte mit niedriger Empfindlichkeit und zum Erzeugen eines Differenzbildes, das komprimiert wird, im Zusammenhang mit der vorstehenden Beschreibung klar sind und dass diese keine Abweichung vom Umfang und Gegenstand der vorliegenden Erfindung darstellen.
Die bevorzugte Betriebsart des Komprimierers 312 für den Betrieb mit einem monochromatischen Sensor wird nachfolgend unter Bezug auf 11 beschrieben. Die Pixelwerte mit niedriger Empfindlichkeit werden mit dem Pixeltypkomprimierer 322 über Standardkomprimierungstechniken komprimiert, wie beispielsweise JPEG. Die dekomprimierten (rekonstruierten) geraden Pixelwerte mit niedriger Empfindlichkeit werden durch Anlegen eines Dekomprimierungsalgorithmus mit einem Pixeltypdekomprimierer 324 berechnet. Die dekomprimierten (rekonstruierten) geraden Pixelwerte mit niedriger Empfindlichkeit können verwendet werden, um die Pixelwerte mit niedriger Empfindlichkeit an ungeraden Positionen mithilfe des Prädiktors 320 zu prädizieren. Der Rest zwischen den ungeraden Pixelwerten mit niedriger Empfindlichkeit wird dann anhand von Standardkomprimierungstechniken, wie JPEG, komprimiert. Eine ähnliche Operation kann für die Pixelwerte mit hoher Empfindlichkeit durchgeführt werden. Die Einstellung der Komprimierungsparameter für die geraden Pixelwerte mit niedriger Empfindlichkeit, das ungerade Differenzbild mit niedriger Empfindlichkeit, die geraden Pixel mit hoher Empfindlichkeit und das ungerade Differenzbild mit hoher Empfindlichkeit können unterschiedlich gewählt werden, um je nach Folgeverarbeitung die beste Bildqualität zu erzielen.
In einer Betriebsart arbeitet der Bildsensor 10 als Farbsensor, wie in 6B gezeigt. Ein größerer Bereich des Bildsensors 10 wird in 8A gezeigt, wo die mit dem Symbol * versehenen Positionen Sensorelemente mit niedriger Ansprechempfindlichkeit bezeichnen, und r, g und b bezeichnen eine Empfindlichkeit gegenüber rotem, grünem und blauem Licht, wie zuvor beschrieben.
Eine Betriebsart für den Komprimierer 312 im Betrieb als Farbbildsensor, wie in 8A gezeigt, wird nachfolgend beschrieben. Für jedes Sensorelement mit hoher und niedriger Empfindlichkeit gibt es rot-, grün- und blauempfindliche Sensorelemente, und zwar in dem bevorzugten Ausführungsbeispiel für insgesamt sechs Typen von Sensorelementen. Der Pixelwert eines roten Sensorelements, das auch ein Sensorelement mit hoher Empfindlichkeit ist, wird hier als roter Pixelwert mit hoher Empfindlichkeit bezeichnet. Für die übrigen Farben und für die Werte der Sensorelemente mit hoher Empfindlichkeit gilt eine ähnliche Namensvergabe. Einschlägigen Fachleuten wird klar sein, dass für die Anordnung der Filter auf einem Farb-Array alternative Konstruktionen verwendbar sind. Das Farbfilter-Array kann zudem aus Farben bestehen, die weder rot, noch grün oder blau sind. Beispielsweise können die Farben grün, gelb, blaugrün und purpurrot sein. Einschlägigen Fachleuten wird klar sein, dass die hier beschriebenen Grundsätze zur Komprimierung eines Bildes eines Sensors mit Sensorelementen mit hoher und niedriger Empfindlichkeit auf einem Farbbildsensor, wie zuvor beschrieben, für jede Auswahl, Anzahl und Anordnung von Farben unter Verwendung in der Technik bekannter Verfahren gelten.
Eine Betriebsart des Komprimierers 312 besteht in der Komprimierung der Pixelwerte, die sich auf jeden Sensorelementtyp einzeln beziehen, wofür die Grundidee in 9 veranschaulicht wird. Der Pixeltypseparator 316 gibt jede der sechs Typen von Pixelwerten getrennt aus. Die einem bestimmten Typ von Sensorelementen zugeordneten Pixel, wie vom Pixeltypseparator 316 ausgegeben, werden dann in den Pixeltypkomprimierer 322 eingegeben. In dieser Betriebsart würde der Komprimierer 312 ein komprimiertes Bild ausgeben, das aus Pixelwerten mit hoher Empfindlichkeit besteht und ein komprimiertes Bild, das aus Pixelwerten mit niedriger Empfindlichkeit besteht, und zwar für jede der drei Farben der Sensorelemente, also rot, grün und blau, und für insgesamt sechs komprimierte Digitalbilder. Diese komprimierten Digitalbilder können gemeinsam in einer einzigen Datei gebündelt werden oder separate Dateien bleiben, um ein komprimiertes Digitalbild auszubilden. Der Vorteil dieses Verfahrens liegt darin, dass die benachbarten Pixelwerte, die aus dem gleichen Sensorelementtyp stammen, wahrscheinlich ähnlich sind und die Leistung des Komprimierers 312 erhöhen. In dieser Betriebsart würde der Komprimierer 312 sechs komprimierte Bilder ausgeben. Diese Bilder können in einer einzigen Datei oder in mehreren Dateien gespeichert werden. Die Komprimierungsparameter können für jeden Pixeltyp unterschiedlich eingestellt werden, um die erforderliche Genauigkeit für die nachfolgende Verarbeitung zu berücksichtigen, und sie können für jede Farbe unterschiedlich eingestellt werden, um die Spektralempfindlichkeit des menschlichen Auges zu nutzen.
Als ein alternatives Ausführungsbeispiel gibt der Pixeltypseparator 316 für jede Farbe jeden der beiden Typen von Pixelwerten getrennt aus. Die einem bestimmten Typ von Sensorelementen zugeordneten Pixel, wie vom Pixeltypseparator 316 ausgegeben, werden dann in den Pixeltypkomprimierer 322 eingegeben. Die einem ersten Sensorelementtyp zugeordneten Pixelwerte (beispielsweise Pixelwerte mit niedriger Empfindlichkeit) für diese Farbe können mit dem Pixeltypkomprimierer 322 komprimiert werden, wie in 10 gezeigt. Die dem verbleibenden Sensorelementtyp zugeordneten Pixelwerte (beispielsweise Pixelwere mit hoher Empfindlichkeit) können dann komprimiert werden, indem die Pixelwerte prädiziert werden, die dem verbleibenden Sensorelementtyp (Pixelwerte mit hoher Empfindlichkeit) aus dem ersten Sensorelementtyp (Pixelwerte mit niedriger Empfindlichkeit) zugeordnet sind, und zwar mithilfe eines Prädiktors 320, um ein Differenzbild zwischen den Istpixelwerten des verbleibenden Sensorelementtyps (Pixelwerte mit hoher Empfindlichkeit) und den Ausgaben des Prädiktors 320 zu erzeugen, um dann das Differenzbild mit dem Pixeltypkomprimierer 322 zu komprimieren. Wie zuvor umfasst die Prädiktion die Anwendung einer mathematischen Formel auf die Pixelwerte, die benachbart zu dem zu prädizierenden Pixel (auf der Bebilderungsvorrichtung 10) angeordnet sind.
In einem in 11 dargestellten weiteren Ausführungsbeispiel kann das Differenzbild ermittelt werden, indem die Pixelwerte, die einem ersten Sensorelementtyp zugeordnet sind, mit einem Pixeltypkomprimierer 322 komprimiert werden, und indem sie mit einem Pixeltypdekomprimierer 324 dekomprimiert werden, um dekomprimierte Pixelwerte zu erhalten, und um diese dekomprimierten Pixelwerte zum Prädizieren der verbleibenden Pixelwerttypen mithilfe des Prädiktors 320 zu verwenden.
Bestimmte Komprimierungsalgorithmen, wie die JPEG-Komprimierung, arbeiten am besten, wenn die Daten in einem regelmäßigen rechteckigen Gitter und nicht in einem Quincunxgitter angeordnet sind. Wie in 8B zu sehen ist, bilden die grünen Pixel ein rechteckiges Gitter, das für die JPEG-Komprimierung ideal ist. 8C zeigt, dass die grünen Pixel mit hoher Empfindlichkeit auch ein rechteckiges Gitter bilden, das für die JPEG-Komprimierung ideal ist. 8D zeigt, dass die roten Pixel mit niedriger Empfindlichkeit ein Quincunxmuster bilden. Dieses Muster kann für verschiedene Komprimierungsalgorithmen Schwierigkeiten verursachen, wenn die Pixelwerte mit hoher Empfindlichkeit separat von den Pixelwerten mit niedriger Empfindlichkeit komprimiert werden, wie zuvor beschrieben. Beispielsweise beruht die JPEG-Komprimierung, die in der Technik gängig ist, auf 8 × 8 Pixel großen Blöcken.
Eine mögliche Lösung des beschriebenen Problems besteht darin, jede zweite Reihe (Spalte) der roten Pixelwerte mit niedriger Empfindlichkeit nach links (oben) um zwei Pixel zu verschieben. Hierdurch werden die roten Pixelwerte mit niedriger Empfindlichkeit auf einem rechteckigen Gitter angeordnet, das für die JPEG-Komprimierung geeignet ist. Obwohl dieser Ansatz einfach ist, kann er Raumrestfrequenzen erzeugen, die die Kompressionsleistung beeinträchtigen.
Eine bevorzugte Anordnung, die dieses Problem aufgreift, wird in 8E und 8F dargestellt. Das Verfahren wird mit Bezug auf 9 beschrieben. Die roten Pixelwerte mit niedriger Empfindlichkeit an ersten Positionen (Positionen der roten Sensorelemente, wobei x um 2 größer ist als ein ganzzahliges Vielfaches von 4, und y ist um 1 größer als ein ganzzahliges Vielfaches von 4, wie in 8E gezeigt) bilden ein rechtwinkliges Muster auf der Anordnung und stellen einen zusätzlichen Pixeltyp dar, den der Pixeltypseparator 316 separat von den anderen Pixeltypen ausgibt. Die roten Pixelwerte mit niedriger Empfindlichkeit an ersten Positionen werden mit einer blockgestützten Komprimierungsroutine, beispielsweise JPEG, in dem Pixeltypkomprimierer 322 komprimiert. Der erste JPEG-Block aus den ersten 8 × 8 Pixeln umschließt einen Block von 32 × 32 Pixeln des voll aufgelösten, spärlich abgetasteten Bildes mit erweitertem Dynamikumfang, wie vom A/D-Wandler 14 ausgegeben. Die roten Pixelwerte mit niedriger Empfindlichkeit an zweiten Positionen (Positionen, für die x ein ganzzahliges Vielfaches von 4 und y um 3 größer als ein ganzzahliges Vielfaches von 4 ist, wie in 8F gezeigt) stellen ebenfalls einen zusätzlichen Pixeltyp dar, den der Pixeltypseparator 316 separat von den anderen Pixeltypen ausgibt. Diese roten Pixelwerte an den zweiten Positionen werden mit einer blockgestützten Komprimierungsroutine, beispielsweise JPEG, mit dem Pixeltypkomprimierer 322 komprimiert. Einschlägigen Fachleuten wird klar sein, dass ein ähnlicher Prozess für Pixelwerte für die blauen Pixelwerte mit niedriger Empfindlichkeit, für die roten Pixelwerte mit hoher Empfindlichkeit und für die roten Pixelwerte mit niedriger Empfindlichkeit durchgeführt werden kann. Der Komprimierer 312 gibt zehn komprimierte Unterbilder aus: ein Unterbild aus den grünen Pixeln mit niedriger Empfindlichkeit, eines aus den grünen Pixeln mit hoher Empfindlichkeit, zwei aus roten Pixeln mit niedriger Empfind lichkeit, zwei aus roten Pixeln mit hoher Empfindlichkeit, zwei aus blauen Pixeln mit hoher Empfindlichkeit und zwei aus blauen Pixeln mit niedriger Empfindlichkeit.
Ein bevorzugtes Verfahren zum Betrieb des Komprimierers 312, das mit einem Farbsensor arbeitet, basiert auf der Komprimierung der Farbdifferenzwerte, um die beste Rekonstruktion der Bildqualität zu erzielen, wie in 12 gezeigt und nachstehend beschrieben. Zunächst werden die aus dem Pixeltypseparator 316 ausgegebenen grünen Pixelwerte mit niedriger Empfindlichkeit mithilfe einer vorbestimmten Komprimierungseinstellung mit dem Pixeltypkomprimierer 322 komprimiert (z.B. eine, die durch die in der Folgeverarbeitung benötigte Pixelgenauigkeit bestimmt ist). Dann werden die von dem Pixeltypseparator 316 ausgegebenen grünen Pixelwerte mit hoher Empfindlichkeit mit derselben oder einer anderen Komprimierungseinstellung mithilfe des Pixeltypkomprimierers 322 komprimiert (z.B. mit einem höheren Komprimierungsgrad, um eine kleinere Dateigröße zu erzielen). Dann wird für jede Ausgabe von roten Pixelwerten mit niedriger Empfindlichkeit aus dem Pixeltypseparator 316 der zugehörige grüne Pixelwert mit niedriger Empfindlichkeit mithilfe des Pixeltypinterpolators 326 interpoliert, und zwar unter Verwendung der benachbarten grünen Pixelwerte mit niedriger Empfindlichkeit. Es sei darauf hingewiesen, dass der Pixeltypinterpolator 326 die ursprünglichen Pixelwerte eines bestimmten Pixeltyps als Ausgabe von dem Pixeltypseparator 316 eingeben kann, oder der Pixeltypinterpolator 326 kann zur Erzielung einer höheren Genauigkeit dekomprimierte Pixeltypwerte eingeben, die durch Dekomprimierung des komprimierten Pixeltyps mit einem Pixeltypdekomprimierer 324 erzeugt wurden. Als nächstes wird das Differenzbild zwischen den roten Pixelwerten mit niedriger Empfindlichkeit und den interpolierten grünen Pixelwerten mit niedriger Empfindlichkeit gebildet, und das resultierende Differenzbild wird mit einem Pixeltypkomprimierer 322 komprimiert. An jeder roten Pixelposition mit hoher Empfindlichkeit wird der Wert des zugehörigen grünen Pixels mit hoher Empfindlichkeit mit dem Pixeltypinterpolator 326 unter Verwendung der benachbarten grünen Pixelwerte mit hoher Empfindlichkeit interpoliert, und das Differenzbild zwischen den roten Pixelwerten mit hoher Empfindlichkeit und den interpolierten grünen Pixelwerten mit hoher Empfindlichkeit wird mit dem Pixeltypkomprimierer 322 gebildet und komprimiert. Abschließend wird dasselbe Verfahren für die blauen Pixelwerte mit niedriger und hoher Empfindlichkeit wiederholt, wobei die grünen Pixelwerte mit niedriger und hoher Empfindlichkeit mithilfe der zugehörigen benachbarten grünen Pixelwerte mit niedriger oder hoher Empfindlichkeit interpoliert und von den entsprechenden blauen Pixelwerten mit niedriger oder hoher Empfindlichkeit subtrahiert werden, worauf die Differenzbilder komprimiert werden.
An diesem Punkt ist das Farbbild in sechs Unterbilder zerlegt worden, die komprimiert wurden und sechs komprimierte Digitalbilder bilden. Auf der Grundlage des in 8A gezeigten CFA-Musters sind diese sechs Unterbilder: ein grünes Unterbild mit niedriger Empfindlichkeit, das aus 1/4 der Pixel in dem Bild besteht, ein grünes Unterbild mit hoher Empfindlichkeit, das aus 1/4 der Pixel in dem Bild besteht; ein rotes Unterbild mit niedriger Empfindlichkeit, bei dem jedes Pixel die Differenz zwischen einem roten Wert mit niedriger Empfindlichkeit und dem zugehörigen interpolierten grünen Wert mit niedriger Empfindlichkeit ist, basierend auf den benachbarten grünen Werten mit niedriger Empfindlichkeit, die aus 1/8 der Pixel in dem Bild bestehen; einem roten Differenzunterbild mit hoher Empfindlichkeit, wobei jeder Pixelwert die Differenz zwischen einem roten Pixelwert mit hoher Empfindlichkeit und dem zugehörigen grünen Pixelwert mit hoher Empfindlichkeit ist, basierend auf den benachbarten grünen Pixelwerten mit hoher Empfindlichkeit, und das aus 1/8 der Pixel in dem Bild besteht; einem blauen Differenzunterbild mit niedriger Empfindlichkeit, wobei jedes Pixel die Differenz zwischen einem blauen Wert mit niedriger Empfindlichkeit und dem zugehörigen interpolierten grünen Wert mit niedriger Empfindlichkeit auf Basis der benachbarten grünen Werte mit niedriger Empfindlichkeit ist, und das aus 1/8 der Pixel in dem Bild besteht; und schließlich einem blauen Differenzunterbild mit hoher Empfindlichkeit, wobei jedes Pixel die Differenz zwischen einem blauen Wert mit hoher Empfindlichkeit und dem zugehörigen interpolierten grünen Wert mit hoher Empfindlichkeit auf Basis der benachbarten grünen Werte mit hoher Empfindlichkeit ist und das aus 1/8 der Pixel in dem Bild besteht.
Das Verfahren zur Komprimierung von Differenzen zwischen interpolierten grünen Pixelwerten und den roten oder blauen Pixelwerten ist vorteilhaft, weil antizipiert wird, dass ein roter, grüner und blauer Pixelwert schließlich an jeder Pixelposition benötigt wird. Die Pixeldifferenzwerte in dem Differenzbild können direkt in der Berechnung dieser zusätzlichen Pixelwerte verwendet werden, wie beispielsweise in der Parallelanmeldung US-A-4,642,678, am 10. Februar 1987 an Cok. erteilt, beschrieben.
Einschlägige Fachleute werden erkennen, dass Abwandlungen des Grundthemas auf der Grundlage der vorliegenden Beschreibung möglich sind. Beispielsweise können nach Komprimieren des ersten Unterbildes, das aus grünen Pixelwerten mit niedriger Empfindlichkeit besteht, entweder der Istwert der grünen Pixelwerte mit niedriger Empfindlichkeit oder die dekomprimierten (rekonstruierten) grünen Pixelwerte mit niedriger Empfindlichkeit verwendet werden, um die grünen Pixelwerte mit hoher Empfindlichkeit zu prädizieren. Demnach werden nicht die grünen Pixelwerte mit hoher Empfindlichkeit komprimiert, sondern ein Differenzbild, das die Differenz zwischen den grünen Pixelwerten mit hoher Empfindlichkeit ist, sowie deren prädizierte Werte. Auf ähnliche Weise können die interpolierten grünen Pixelwerte mit niedriger und hoher Empfindlichkeit, die zur Erstellung der Unterbilder 3–6 dienen, auf den dekomprimierten (rekonstruierten) grünen Pixelwerten mit niedriger oder hoher Empfindlichkeit basieren anstatt auf den Istwerten. Die roten Differenzunterbilder mit niedriger und hoher Empfindlichkeit (Unterbilder 3 und 4) können schließlich als einzelne Datei oder als zwei separate Dateien komprimiert werden. In ähnlicher Weise können die blauen Differenzunterbilder mit niedriger und hoher Empfindlichkeit (Unterbilder 5 und 6) als einzelne Datei oder als zwei separate Dateien komprimiert werden.

Claims

Verfahren zur Erzeugung eines komprimierten Bildes aus einem spärlich abgetasteten Bild mit voller Auflösung und erweitertem Dynamikumfang, das durch eine spärlich abtastende Bildsensoreinrichtung mit erweitertem Dynamikumfang erzeugbar ist, welche Sensorelemente mit hoher Empfindlichkeit und einem vorbestimmten Ansprechen auf Lichtbelichtung zur Erzeugung von Werten schnell ansprechender Pixel umfasst, und Sensorelemente mit niedriger Empfindlichkeit, die langsamer auf die gleiche Lichtbelichtung zur Erzeugung von Werten langsam ansprechender Pixel ansprechen, mit folgenden Schritten: a) Bereitstellen eines spärlich abgetasteten Bildes mit voller Auflösung und erweitertem Dynamikumfang; b) Trennen des spärlich abgetasteten Bildes mit voller Auflösung in ein Bild hoher Empfindlichkeit, das ausschließlich schnell ansprechende Pixel umfasst, und in ein Bild niedriger Empfindlichkeit, das ausschließlich langsam ansprechende Pixel umfasst, gekennzeichnet durch c) getrenntes Komprimieren des Bildes hoher Empfindlichkeit und des Bildes niedriger Empfindlichkeit.
Verfahren nach Anspruch 1, worin die Bilder hoher und niedriger Empfindlichkeit mittels JPEG-Komprimierung komprimiert werden.
Verfahren nach Anspruch 2, worin die Sensorelemente mit hoher und niedriger Empfindlichkeit in einem Schachbrettmuster angeordnet sind, und worin die Bilder mit hoher und niedriger Empfindlichkeit Fünfpunktanordnungen von Pixelwerten sind, wobei das Verfahren zudem den Schritt umfasst, die Bilder mit hoher und niedriger Empfindlichkeit in rechtwinklige Anordnungen von Pixelwerten zu trennen und die rechtwinkligen Anordnungen von Pixelwerten zu komprimieren.
Verfahren nach Anspruch 1, worin die Bildsensoreinrichtung eine Farbfilteranordnung mit zwei oder mehr Farben umfasst, und wobei das Verfahren das weitere Trennen der Bilder mit hoher und niedriger Empfindlichkeit in unterschiedlich farbige Bilder und das getrennte Komprimieren der unterschiedlich farbigen Bilder umfasst.
Verfahren nach Anspruch 4, worin die Farbfilteranordnung rote, grüne und blaue Farbfilter umfasst, und wobei doppelt so viele grüne Filter wie rote oder blaue Filter vorhanden sind.
Verfahren nach Anspruch 4, das zudem das weitere Trennen mindestens eines der unterschiedlich farbigen Bilder in rechtwinklige Anordnungen von Pixelwerten und das getrennte Komprimieren der rechtwinkligen Anordnungen von Pixelwerten umfasst.
Verfahren nach Anspruch 6, worin die Farbfilteranordnung rote, grüne und blaue Farbfilter umfasst, und wobei doppelt so viele grüne Filter wie rote oder blaue Filter vorhanden sind.
Verfahren nach Anspruch 6, das zudem die Verwendung der Werte eines der rechtwinkligen Anordnungen von Pixelwerten umfasst, um die tatsächlichen Werte einer der anderen rechtwinkligen Anordnungen von Pixelwerten vorauszusagen, und das Bilden einer Differenzanordnung, die die Differenz zwischen den vorausgesagten Werten und den tatsächlichen Werten darstellt, und das Komprimieren der Differenzanordnung.
Verfahren nach Anspruch 6, das zudem die Verwendung der Werte eines der rechtwinkligen Anordnungen zur Komprimierung der Werte einer der anderen rechtwinkligen Anordnungen umfasst.
Verfahren nach Anspruch 8, das zudem das Komprimieren und Dekomprimieren einer der rechtwinkligen Anordnungen von Pixelwerten und die Verwendung der dekomprimierten Werte der einen rechtwinkligen Anordnung zur Voraussage der Werte der anderen rechtwinkligen Anordnung von Pixelwerten umfasst.
Verfahren nach Anspruch 6, das zudem das Komprimieren und Dekomprimieren der einen der rechtwinkligen Anordnungen von Pixelwerten und die Verwendung der dekomprimierten Werte der einen rechtwinkligen Anordnung zur Komprimierung der Werte einer anderen der rechtwinkligen Anordnungen umfasst.
Verfahren nach Anspruch 4, das zudem die Verwendung der Werte eines der unterschiedlich farbigen Bilder umfasst, die aus dem Bild mit niedriger Empfindlichkeit abgeleitet sind, um die Werte eines anderen unterschiedlich farbigen Bildes zu komprimieren, die aus dem Bild mit hoher Empfindlichkeit abgeleitet sind.
Verfahren nach Anspruch 4, das zudem die Verwendung der Werte eines der unterschiedlich farbigen Bilder umfasst, die aus dem Bild mit hoher Empfindlichkeit abgeleitet sind, um die Werte eines anderen unterschiedlich farbigen Bildes zu komprimieren, die aus dem Bild mit niedriger Empfindlichkeit abgeleitet sind.
Verfahren nach Anspruch 1, das zudem das Dekomprimieren der komprimierten Bilder mit niedriger und hoher Empfindlichkeit und das Kombinieren der dekomprimierten Bilder mit niedriger und hoher Empfindlichkeit zur Erzeugung eines dekomprimierten Digitalbildes umfasst.