DE60114651T2

DE60114651T2 - Verfahren zur Kompression von im Farbfilteranordnungsformat (CFA) aufgenommenen digitalen Bildern

Info

Publication number: DE60114651T2
Application number: DE60114651T
Authority: DE
Inventors: Sebastiano Battiato; Massimo Mancuso
Original assignee: STMicroelectronics SRL
Current assignee: STMicroelectronics SRL
Priority date: 2001-12-14
Filing date: 2001-12-14
Publication date: 2006-06-01
Anticipated expiration: 2021-12-15
Also published as: US20030197898A1; US7440631B2; EP1320267B1; DE60114651D1; EP1320267A1; US7206458B2; US20070189625A1

Description

Die vorliegende Erfindung bezieht sich auf die Erfassung und Verarbeitung von digitalen Bildern und insbesondere auf ein Komprimierungsverfahren, das vorteilhafterweise in Digitalbildaufnahmegeräten verwendet werden kann.
Digitale Bilder werden derzeit bei mehreren Anwendungen verwendet, wobei Digitalphotographie ein typisches Beispiel ist.
Bei normaler Verwendung werden digitale Bilder normalerweise aufgenommen, um eine Komprimierungs- und Codierprozedur zu durchlaufen. Diese Prozedur, die auch einfacher als Komprimierung bezeichnet wird, reduziert die besetzte Speichermenge und macht es beispielsweise möglich, die maximale Anzahl von Bildern zu erhöhen, die gleichzeitig in der Speichereinheit einer digitalen Stehbildkamera gespeichert werden kann. Ferner fördert die Komprimierung kürzere Übertragungszeiten, wenn die Bilder zu einem externen Peripheriegerät oder allgemeiner auf Telekommunikationsnetzen, wie z. B. dem Internet, zu übertragen sind.
Die üblichsten und effizientesten Komprimierungsverfahren, die derzeit verwendet werden, basieren auf der Transformation der Bilder in den zweidimensionalen Raumfrequenzbereich, insbesondere der sogenannten diskreten Cosinustransformation (oder DCT). Ein Beispiel dieses Typs ist dargestellt durch das System, das durch die Spezifikationen des internationalen JPEG-Standards (JPEG = Joint Photographic Expert Group) für das Komprimieren/Codieren von Bildern (ISO/CCITT) definiert ist.
Unter der Annahme eines allgemeinen und flexiblen Komprimierungssystems definiert dieser Standard mehrere Komprimierungsverfahren, die alle von zwei Grundverfahren abgeleitet werden können. Eines der beiden, die sogenannte JPEG-Grundlinie, verwendet die DCT und Komprimierung des „verlustbehafteten" Typs, d. h. mit Verlust von Informationen. Die vorliegende Erfindung bezieht sich auf dieses Verfahren und allgemeiner auf Komprimierungsverfahren, die die DCT oder solche ähnlichen zweidimensionalen räumlichen Transformationen wie die diskrete Wavelet-Transformation (DWT) verwenden.
Ein digitales Bild kann durch eine Matrix von Elementen dargestellt werden, die als Pixel bekannt sind, von denen jedes einem elementaren Teil des Bildes entspricht und einen oder mehrere digitale Werte umfasst, die jeweils einer optischen Komponente zugeordnet sind. Bei einem einfarbigen Bild ist beispielsweise jedem Pixel nur ein einziger Wert zugeordnet und in diesem Fall ist es normalerweise so, dass das Bild aus nur einem einzigen Kanal oder einer einzigen Ebene besteht.
Bei einem farbigen RGB-Bild andererseits sind jedoch jedem Pixel drei digitale Werte zugeordnet, die den drei Komponenten (rot, grün, blau) der additiven Farbensynthese entsprechen. In diesem Fall kann das Bild in drei einzelne Ebenen oder Kanäle zerlegt werden, von denen jede die Informationen enthält, die sich nur auf eine einzige Farbkomponente beziehen.
Ein Komprimierungsalgorithmus, der die DCT verwendet, arbeitet getrennt und unabhängig auf den Ebenen, die das Bild bilden; diese Ebenen sind in Untermatrizen der Größe 8 × 8 Pixel unterteilt, von denen jede dann durch die DCT transformiert wird.
Für jede Untermatrix (oder jeden Unterblock) wird eine 8 × 8-Matrix erhalten, deren Elemente, die sogenannten DCT-Koeffizienten, den Amplituden der orthogonalen Signalverläufe entsprechen, die die Darstellung des Unterblocks in dem zweidimensionalen DCT-Raumfrequenzbereich definieren. In der Praxis stellt daher jeder DCT-Koeffizient, der durch die Indizes (i, j) identifiziert wird, die Amplitude der DCT-Raumfrequenz dar, die durch die Indizes (i, j) identifiziert wird, die dem Koeffizienten zugeordnet sind. In dem Raumfrequenzbereich reduziert der Komprimierungsalgorithmus den Informationsinhalt durch selektives Dämpfen oder Eliminieren bestimmter Frequenzen.
Die Reduktion der Informationsmenge wird erhalten durch Dividieren der DCT-Koeffizientenmatrizen durch eine 8 × 8-Matrix von Ganzzahlquantisierungskoeffizienten: in der Praxis wird jeder DCT-Koeffizient dividiert durch den entsprechenden Quantisierungskoeffizienten und das Ergebnis wird dann zu der nächsten Ganzzahl gerundet. Aufgrund der Divisions- und Rundungsoperationen und abhängig auch von den tatsächlichen Werten der Quantisierungskoeffizienten enthalten die „quantisierten" Matrizen, die auf diese Weise erhalten werden, eine bestimmte Anzahl von Null-Elementen. Wenn diese Matrizen, die im Allgemeinen viele Koeffizienten gleich Null enthalten, codiert werden – wie es beispielsweise in dem JPEG-Standard der Fall ist – durch eine Lauflängencodierung und nachfolgend durch eine Huffmann-Codierung, wird die Speicherbelegung reduziert, ohne dass weitere Informationsverluste erlitten werden.
Die Quantisierung reduziert im Wesentlichen die Genauigkeit der DCT-Koeffizienten. Je größer die Werte der Koeffizienten der Quantisierungsmatrix sind, umso größer ist die Informationsreduktionsmenge. Da es keine Möglichkeit gibt, die eliminierten ursprünglichen Informationen wiederherzustellen, kann eine unangemessene Quantisierung die Qualität des Bildes merklich verschlechtern.
Die Optimierung der Quantisierungsmatrizen macht es möglich, die Leistungsfähigkeit des Komprimierungsalgorithmus zu verbessern, durch Einführen einer Art Kompromiss zwischen der Endbildqualität und der Komprimierungseffizienz.
Eine Charakterisierung der Qualitätsverschlechterung, die durch einen Komprimierungsalgorithmus in ein digitales Bild eingeführt wird, wird durch das sogenannte PSNR (Spitze-Spitze-Signal/Rausch-Verhältnis) geliefert, das eine Messung in dB der Rauschmenge ist, die durch den Algorithmus bei einem bestimmten Komprimierungsverhältnis eingeführt wird. Das Komprimierungsverhältnis eines Algorithmus wird andererseits bezüglich Bitraten gemessen. Die Bitrate stellt die Anzahl von Bits dar, die benötigt werden, um ein Pixel in dem komprimierten und codierten Bild darzustellen.
Der JPEG-Standard schlägt die Verwendung von Quantisierungsmatrizen dar, die auf der Basis von Wahrnehmungskriterien synthetisiert werden, die die Empfindlichkeit des menschlichen Auges gegenüber DCT-Raumfrequenzen ausreichend berücksichtigen. Es wurde gezeigt, dass die Verwendung dieser Matrizen wesentliche Artefakte bewirkt, wenn die (decodierten/dekomprimierten) Bilder auf Hochauflösungsanzeigen angezeigt werden.
Der Stand der Technik kennt zahlreiche Versuche, die – unter Verwendung unterschiedlicher Lösungsansätze – bezüglich der genauen Bestimmung und Synthetisierung von optimalen Quantisierungsmatrizen durchgeführt werden. Die besten Ergebnisse wurden mit adaptiven oder iterativen Prozeduren erhalten, die auf der Basis von Statistik-, Inhalts- und Wahrnehmungskriterien arbeiten. Diese Verfahren erhalten die Optimierung – wenn auch in einigen Fällen mit einem beträchtlichen Rechenaufwand – durch die Annahme, dass die Operation in einem idealen Kontext durchgeführt wird, d. h. ohne die effektive Verschlechterung zu berücksichtigen, die während der Aufnahmephase und den Verarbeitungsphasen, die der Komprimierung vorangehen, eingeführt werden. Aus diesem Grund erzeugen Lösungen, die in einem idealen Kontext den besten Kompromiss zwischen Wahrnehmungsqualität des decodierten/dekomprimierten Bildes und der Komprimierungseffizienz bilden, keine optimalen Ergebnisse, wenn dieselben in einem realen Kontext angewendet werden, wie z. B. einer digitalen Stehbildkamera oder einem Bildscanner.
Die US 5,172,227 (Tsai u. a.) offenbart eine Vorrichtung zum Komprimieren und Dekomprimieren von Farbbildsignalen, die durch ein Einzel-Sensor-Bildsystem erzeugt werden, das digitale Bilder mit fehlenden Pixeln erfasst. Eine Rauschreduktion wird erhalten, indem die fehlenden Farbpixel vor der Komprimierung der Bilddaten nicht interpoliert werden. Die Interpolation der Pixel wird nach der Bilddekomprimierung durchgeführt. Die in der US 5,172,227 beschriebene Erfindung gleicht darüber hinaus in dem Datenkomprimierungsprozess die Effekte der Modulationsübertragungsfunktion des Randverbesserungsprozesses und des Farbbildanzeigegeräts oder Mediums bei der Sichtbarkeit von Verzerrungen aus, die durch den Datenkomprimierungsprozess eingeführt werden.
Die US 6,154,493 (Marino Francescomaria u. a.) offenbart ein Verfahren zum Komprimieren von Farbbildern auf der Basis einer zweidimensionalen diskreten Wavelet-Transformation (DWT), die ein in der Wahrnehmung verlustloses Bild ergibt. Das Verfahren arbeitet an Bildern direkt in ihrer Bayer-Struktur-Form und umfasst das Unterteilen von Rohbilddaten in eine Mehrzahl von Kanälen und dann das getrennte Komprimieren von jedem dieser Kanäle unter Verwendung einer DWT, wobei die Komprimierung Quantisierung verwendet.
Die US 5,629,780 beschreibt eine Vorrichtung und ein Verfahren zum Komprimieren von Bildern auf eine reduzierte Anzahl von Bits durch Verwenden einer diskreten Cosinustransformation (DCT) in Kombination mit sichtbarer Maskierung, einschließlich Luminanz- und Kontrasttechniken und Fehlersammeltechniken.
Die vorliegende Erfindung schlägt daher ein effizientes Verfahren gemäß Anspruch 1 zum Erzeugen komprimierter Bilder vor, das es möglich macht, die Ergebnisse zu verbessern, die mit einer der Quantisierungsmatrizen erhältlich sind, die durch den Stand der Technik synthetisiert werden.
Gemäß der Erfindung kann dieses Ziel erhalten werden mit einem optimierten Komprimierungsverfahren, wie es hierin nachfolgend allgemein beschrieben ist. Kurz gesagt schlägt die vorliegende Erfindung einen Lösungsansatz vor, der auf einer statistischen Charakterisierung der Fehler basiert, die während der Bildverarbeitungsphase eingeführt werden, die der Komprimierung vorausgeht, die Koeffizienten einer beliebigen Anfangsquantisierungsmatrix modifiziert – beispielsweise selbst einer der Matrizen, die der JPEG-Standard vorschlägt – und eine größere Komprimierungseffizienz erreicht als die Anfangsmatrix, ohne weitere Qualitätsverluste einzuführen.
Die Erfindung wird besser verständlich von der nachfolgenden detaillierten Beschreibung eines bestimmten Ausführungsbeispiels, wobei das Ausführungsbeispiel lediglich ein Beispiel ist und daher nicht als auf irgendeine Weise beschränkend angesehen werden sollte, zusammen mit den beiliegenden Zeichnungen.
1a zeigt das logische Blockschema des Bilderfassungs- und Komprimierungsprozesses in einer allgemeinen digitalen Stehbildkamera,
1b zeigt die Anordnung der R-, G-, B-Filterelemente in einem Sensor vom Bayer-Typ,
2 zeigt das Logikschema der Messung des Fehlers, der durch das Verarbeitungsverfahren, das in einem allgemeinen IGP verwendet wird, in die DCT-Koeffizienten eingeführt wird,
3a zeigt experimentelle Ergebnisse, die die Leistungsverbesserung bezüglich der Bitrate darstel len, die durch das Verfahren gemäß der Erfindung im Vergleich zum Stand der Technik erhalten wird,
3b zeigt experimentelle Ergebnisse, die die Leistungsverbesserung bezüglich des Prozentsatzes und den mittleren Bitratengewinn darstellen, der durch das Verfahren gemäß der Erfindung im Vergleich zum Stand der Technik erhalten wird, und
4 zeigt experimentelle Ergebnisse, die den Vergleich der Wahrnehmungsqualität bezüglich PSNR zwischen dem Verfahren gemäß der Erfindung und dem Stand der Technik darstellen.
Mit Bezugnahme auf 1a umfasst eine digitale Stehbildkamera einen Aufnahmeblock 1, der durch einen Sensor 2 ein Bild aufnimmt, das eine echte Szene darstellt.
Unabhängig davon, ob derselbe vom CCD- (ladungsgekoppeltes Bauelement) oder CMOS-Typ ist, ist der Sensor 2 eine integrierte Schaltung, die eine Matrix aus photoempfindlichen Zellen umfasst, von denen jede eine Spannung proportional zu dem Licht erzeugt, das auf dieselbe trifft.
Bei einem typischen Sensor ist jedes Pixel nur einer einzigen photoempfindlichen Zelle zugeordnet. Der Sensor ist durch ein optisches Filter bedeckt, das aus einer Matrix von Filterelementen besteht, von denen jedes einer photoempfindlichen Zelle zugeordnet ist. Jedes Filterelement überträgt zu der demselben zugeordneten photoempfindlichen Zelle die Lichtstrahlung, die der Wellenlänge von ausschließlich rotem Licht, ausschließlich grünem Licht oder ausschließlich blauem Licht entspricht, von dem dieselbe nur einen kleinen Teil absorbiert und daher nur eine Komponente für jedes Pixel erfasst.
Der Filtertyp, der verwendet wird, variiert von einem Hersteller zum anderen, aber der am häufigsten verwendete ist als ein Bayer-Filter bekannt. Die in 1b gezeigte Elementmatrix zeigt die Anordnung der Filterelemente dieses Filters, die sogenannte Bayer-Struktur.
Die Spannungswerte, die von den photoempfindlichen Zellen in Block 1 erfasst werden, werden durch einen A/D-Wandel in digitale Werte umgewandelt, was in der Figur nicht gezeigt ist.
Das Bild 3, das die Ausgabe des Aufnahmeblocks 1 darstellt, ist ein unvollständiges digitales Bild, weil dasselbe nur durch eine einzige Komponente (R, G oder B) pro Pixel gebildet ist. Das Format diese Bildes ist herkömmlicherweise bekannt als CFA (CFA = Colour Filter Array = Farbfilterarray).
Das CFA-Bild 3 wird an Block 4 gesendet, die sogenannte IGP (IGP = Image Generation Pipeline = Bilderzeugungspipeline), die eine komplexe Verarbeitungsphase durchzuführen hat, um ein unkomprimiertes Hochauflösungsdigitalbild 5 zu erhalten.
Der Kern der komplexen Verarbeitung, die in der IGP durchgeführt wird, ist der Rekonstruktionsprozess, der unter Verwendung des unvollständigen digitalen CFA-Bildes als Ausgangspunkt ein vollständiges digitales Bild erzeugt, beispielsweise im RGB-Format, bei dem jedes Pixel drei digitalen Werten zugeordnet ist, die den drei Komponenten R, G, B entsprechen. Diese Transformation impliziert einen Durchgang von einer Darstellung des Bildes auf nur einer einzelnen Ebene (Bayer), die aber Informationen über die verschiedenen Farbkomponenten enthält, zu einer Darstellung auf drei Kanälen (R, G, B). Der Rekonstruktionsprozess, der als Erweiterung zur vollen Auflösung bekannt ist, wird herkömmlicherweise mit bekannten Interpolationsalgorithmen oder mit Algorithmen erhalten, die einen gewichteten Mittelwert der Informationen aufbauen, die in dem CFA-Bild enthalten sind.
Die Erweiterung zur vollen Auflösung, die hierin nachfolgend einfach als Interpolation bezeichnet wird, jedoch ohne dadurch eine Beschränkung einzuführen, erzeugt nur eine Näherung des Bildes, das mit einem Sensor erhalten werden würde, der in der Lage ist, drei optische Komponenten pro Pixel zu erhalten. In diesem Fall führt der Interpolationsprozess daher einen Fehler ein, der von dem bestimmten Algorithmus abhängt, der in der IGP verwendet wird. Wie es nachfolgend erläutert wird, ist dieser Fehler, der mit einem Rauschen verbunden sein kann, ein Zufallsprozess, der in dem zweidimensionalen Raumfrequenzbereich statistisch gekennzeichnet werden kann.
Verschiedene andere Funktionen zum Verbessern der Bildqualität werden ebenfalls innerhalb des IGP-Blocks 4 durchgeführt, unter anderem Belichtungskorrektur, Filtern des Rauschens, das durch den Sensor 2 eingeführt wird, Anwendung spezieller Effekte und anderer Funktionen, die im Allgemeinen sowohl bei der Anzahl als auch beim Typ von einem Hersteller zum anderen variieren.
Schließlich wird das RGB-Bild in das entsprechende YCrCb-Bild 5 umgewandelt, indem jedes Pixel durch eine Luminanzkomponente Y und zwei Farbkomponenten Cr und Cb dargestellt ist.
Das Bild 5 in YCrCb-Format wird durch Block 6 komprimiert, der als Komprimierungsmaschine bekannt ist, der beispielsweise ein Codierungs-/Komprimierungsblock in Übereinstimmung mit dem JPEG-Grundlinienstandard sein könnte. Der Block 6 könnte als Eingabe auch ein Bild in einem anderen Format als YCrCb empfangen, obwohl die Auswahl dieses bestimmten Formats vorzuziehen ist. In der Tat arbeitet der JPEG-Komprimierungsalgorithmus getrennt auf den drei Kanälen, die das farbige Bild bilden: ein YCrCb-Format stellt die Luminanzinformationen (Y-Kanal) bereits getrennt von den Farbinformationen (Cr- und Cb-Kanäle) dar. Aus diesem Grund ist es möglich, eine größere Menge an Informationen von den Farbkanälen Cr und Cb zu löschen, für die das menschliche Auge weniger empfindlich ist.
Block 6 unterteilt jede Ebene (jeden Kanal) des Bildes in Unterblöcke, die 8 × 8 Pixel groß sind. Jeder Unterblock wird dann in eine 8 × 8-Matrix aus DCT-Koeffizienten F_i,j transformiert, wobei i = 0 ... 7 und j = 0 ... 7. Die erste DCT-Koeffiziente F_0,0 wird als Wechselsignal-Komponente bezeichnet und stellt den Mittelwert (in dem Unterblock) der Komponente dar, die der entsprechenden Ebene zugeordnet ist. Die anderen Koeffizienten, die sogenannten Wechselsignal-Komponenten, sind allmählich ansteigenden Raumfrequenzen zugeordnet.
Das verwendete Transformationsverfahren ist für Fachleute auf diesem Gebiet gut bekannt und ist daher hier nicht näher erläutert. Es wäre beispielsweise auch möglich, das Bild in Unterblöcke der Größe M × N zu teilen, wobei M und N jede gewünschte Ganzzahl sein können, oder die Unterblöcke in einen zweidimensionalen Raumfrequenzbereich zu transformieren. Falls dies gewünscht ist, wäre es auch möglich, die Farbebenen gemäß der bekannten Technik unterabzutasten und somit die Informationen, die in diesen Kanälen enthalten sind, weiter zu reduzieren.
Sobald die DCT-Koeffizienten erhalten wurden, kann mit dem Quantisierungsprozess begonnen werden, der im Wesentlichen gemäß der bekannten Technik durchgeführt wird, aber Matrizen verwendet und sogar Matrizen des Standardtyps, die durch das Verfahren gemäß der vorliegenden Erfindung weiter verfeinert wurden.
Beispielhaft wird hier die Synthese einer Quantisierungsmatrix Q^opt für den Luminanzkanal Y beschrieben, unter Verwendung einer beliebigen Quantisierungsmatrix Q^st als Ausgangspunkt, die auch eine Matrix des Standardtyps sein könnte. Eine analoge Prozedur wird für die anderen Kanäle übernommen, aber es ist auch möglich, die Quantisierungsmatrizen zu verwenden, die durch das Verfahren gemäß der Erfindung nicht optimiert wurden.
Die Anfangsmatrix Q^st wird optimiert durch Messen und statistisches Charakterisieren des Fehlers, den der IGP-Block in die DCT-Koeffizienten einführt. Ein Schema des Verfahrens, das verwendet wird, um eine Messung dieses Fehlers zu erhalten, ist in 2 gezeigt.
In der oberen Reihe wird ein unvollständiges CFA-Format-Bild, das eine echte Szene 7 darstellt, durch einen allgemeinen CCD-Sensor 2 aufgenommen, der beispielsweise als ein Bayer-Filter realisiert ist, und wird dann durch den IGP-Block 4 verarbeitet (interpoliert) und in ein vollständiges YCrCb-Formatbild umgewandelt. Die Ebene Y ist in 8 × 8-Unterblöcke unterteilt und jeder derselben wird dann in eine 8 × 8-DCT-Koeffizientenmatrix umgewandelt.
Auf der unteren Reihe wird ein Bild, das die gleiche echte Szene 7 darstellt, direkt in RGB-Format erfasst, d. h. mit drei Komponenten für jedes Pixel und mit voller Auflösung durch einen Sensor 9 und dann durch den Block 10 in ein YCrCb-Formatbild transformiert. Die Ebene Y wird in 8 × 8-Unterblöcke dividiert und jeder derselben wird dann in eine 8 × 8-DCT-Koeffizientenmatrix transformiert.
Der Sensor 9 ist in der Lage, ein vollständiges Bild direkt aufzunehmen und könnte beispielsweise ein dreiliniger Sensor oder ein komplexeres System sein, das aus einer Reihe von Prismen besteht, die zuerst den Lichtstrahl, der in das Objektiv eindringt, in seine drei Farbkomponenten zerlegen und dann diese Komponenten auf drei getrennte allgemeine CCD-Sensoren richten.
Wenn ein Sensor dieses Typs – in jedem Fall ein sehr teures Ausrüstungselement – nicht verfügbar ist, kann die gleiche Messung ohne weiteres erhalten werden mit der Hilfe einer Simulationssoftware unter Verwendung eines Bildes als Vollauflösungsbild, das aus drei digitalen Werten pro Pixel besteht und dem nachfolgenden Erhalten des entsprechenden unvollständigen CFA-Bild von demselben durch Löschen von zwei Werten pro Pixel gemäß dem Muster, in dem die Filterelemente in der Bayer-Matrix angeordnet sind (1b).
Der Unterschied zwischen den DCT-Koeffizienten eines Unterblocks des Bildes, das in CFA-Format aufgenommen wird, und dem entsprechenden Unterblock des Bildes, das mit voller Auflösung aufgenommen wird, ist eine 8 × 8-Matrix, die die Darstellung in dem DCT-Raumfrequenzbereich des Fehlers darstellt, der durch die IGP in den Unterblock eingeführt wird.
Wenn diese Messung für eine große Anzahl von Bildern wiederholt wird, erhält man eine statistische Charakterisierung des Fehlers, der durch die IGP (in diesem Fall bezüglich der Ebene Y) in den Raumfrequenzbereich eingeführt wurde, der nicht von der Position des Unterblocks innerhalb der Ebene abhängt.
Es wurde bemerkt, dass dieser Fehler ein Zufallsprozess ist, der abhängig von den Charakteristika der IGP selektiv in dem Raumfrequenzbereich wirkt und einige Frequenzen zu einem größeren Ausmaß verzerrt als andere. Beispielsweise wurde angemerkt, dass ein Merkmal, das vielen IGPs gemeinsam ist, die Tatsache ist, dass dieselben einen großen Fehler in die DCT-Koeffizienten einführen, die hohen Raumfrequenzen zugeordnet sind.
Eine mögliche statistische Messung des Fehlers, der durch die IGP eingeführt wird und einer DCT-Raumfrequenz zugeordnet ist, die durch die Indizes (i, j) identifiziert wird, ist der Mittelwert M_i,j der Module der Fehler, die bei der Frequenz (i, j) gemessen werden, d. h. der Fehler, die bei den DCT-Koeffizienten des Index (i, j) gemessen wurden, wie es von einer großen Anzahl von Bildern berechnet wurde. Die Menge
stellt für jeden Index (i, j) die Fehlerrate der Raumfrequenz dar, die durch die Indizes (i, j) bezüglich des Gesamtfehlers identifiziert wird, der durch die IGP in dem Raumfrequenzbereich eingeführt wird.
Sobald diese Menge bekannt ist, ist es möglich, für jede DCT-Frequenz, die durch die Indizes (i, j) identifiziert wird, einen Korrekturfaktor (oder einen Gewichtungskoeffizienten) w_i,j zu erhalten, der gegeben ist durch:
so dass größere Gewichte den Raumfrequenzen zugeordnet sind, die durch wesentlichere Fehler beeinträchtigt sind. S ist eine Normierungskonstante und stellt einen Gewinnfaktor dar, und der Wert derselben wird experimentell auf solche Weise bestimmt, um das PSNR des komprimierten Bildes zu optimieren.
Jedes Element Q opt / i,j der neuen Quantisierungsmatrix Q^opt kann erhalten werden von den Elementen Q st / i,j der Standardmatrix durch Multiplizieren dieser Elemente mit den entsprechenden Gewichten, d. h.: Qopti,j = wi,j Qsti,j .
Die Elemente der Anfangsquantisierungsmatrix werden somit auf eine Weise modifiziert, um den Wert der Elemente zu erhöhen, die den Raumfrequenzen entsprechen, die durch die größten Fehler betroffen sind. Dies verbessert die Komprimierungseffizienz und eliminiert gleichzeitig die Bildinformationen, die durch Rauschen verfälscht werden (Fehler).
An diesen Grundlösungsansatz können viele Varianten angelegt werden. Beispielsweise haben experimentelle Messungen gezeigt, dass die besten Ergebnisse erhalten werden durch Zwingen der Koeffizienten Q st / 0,0, Q st / 0,1, Q st / 1,0, Q st / 1,1, die den niedrigsten DCT-Frequenzen entsprechen, auf Eins. Wenn dies durchgeführt wird, vermeidet man die Möglichkeit, mangelnde Einheitlichkeit zwischen den Tonalitäten benachbarter Unterblöcke in dem decodierten und dekomprimierten Bild zu haben (Blockierungseffekt).
Um das Erzeugen von Artefakten zu vermeiden, wurden darüber hinaus die Gewichte w_i,j nur an die Frequenzen angelegt, für die der gemessene statistische Fehler unter einem bestimmten Schwellenwert lag (beispielsweise die Hälfte des statistischen Fehlers, der auf der DC-Komponente gemessen wurde).
Experimente bringen einen beträchtlichen Anstieg des Komprimierungsverhältnisses zum Vorschein, im Vergleich zu der Leistungsfähigkeit, die mit Standardmatrizen erhalten wird, wenn die Qualität des decodierten/dekomprimierten Bildes konstant gehalten wird.
Die Diagramme, die in 3a und 3b wiedergegeben sind, stellen die Leistungszunahme bezüglich der Bitrate dar. Insbesondere stellt das Diagramm von 3a die Bitraten (in der Abszisse) dar, die mit optimierten Matrizen (Kurve 10) und Standardmatrizen (Kurve 11) in dem Fall von 36 Bildern erhalten werden, die JPEG-Standardkomprimierung/Codierung unterworfen werden.
Der Prozentsatzgewinn bezüglich der Bitrate ist durch die Kurve 12 in 3b dargestellt, wobei die Kurve 13 den mittleren Gewinn darstellt (35 %).
4 zeigt einen Qualitätsvergleich bezüglich PSNR zwischen dem Verfahren mit Standardmatrizen (Kurve 14) und dem Verfahren mit optimierten Standardmatrizen (Kurve 15).
Die experimentellen Ergebnisse bestätigen somit, dass das oben erklärte Verfahren, obwohl es nur eine einzelne Quantisierungsmatrix pro Ebene verwendet, konkrete Vorteile bietet.
In diesem Zusammenhang sollte auch Aufmerksamkeit auf die Einfachheit dieses Verfahrens gelenkt werden im Vergleich zu anderen, da das Durchführen der Optimierung Block um Block eine andere Quantisierungsmatrix für jeden Block erzeugt und daher nicht mit dem JPEG-Basisilinienstandard übereinstimmt (der die Verwendung von nur einer Matrix pro Ebene vorsieht).

Claims

Ein Verfahren zum Komprimieren eines digitalen Bildes (3), das in einem Farbfilterarray- (CFA-) Format aufgenommen wird und einer Verarbeitungssequenz unterworfen wird, die zumindest eine Vollauflösungsausdehnungsphase (4) des CFA-Bildes umfasst, um ein vollständiges Bild (5) zu erzeugen, wobei das Verfahren die folgenden Schritte umfasst: – Zerlegen des vollständigen digitalen Bildes (5) in eine Mehrzahl von Ebenen, – Komprimieren (6) jeder der Ebenen durch eine diskrete Transformation in einen zweidimensionalen Raumfrequenzbereich unter Verwendung einer Quantisierungsmatrix für jede Ebene, deren Elemente Quantisierungskoeffizienten sind, die auf der Basis ihrer Position bestimmten Raumfrequenzen zugeordnet sind, dadurch gekennzeichnet, dass die Quantisierungsmatrix für zumindest eine Ebene des Bildes synthetisiert ist, durch Ausführen der folgenden Schritte: – Auswählen einer beliebigen Anfangsmatrix Q^st, – Zuweisen eines statistischen Maßes des Fehlers, der durch die zumindest eine Vollauflösungsausdehnungsphase (4), die an der betreffenden Ebene durchgeführt wird, in die Raumfrequenz eingeführt wird, zu jeder Raumfrequenz, und – Modifizieren der Matrix Q^st durch Multiplizieren jedes ihrer Elemente mit einem entsprechenden Ge wichtungskoeffizienten, der eine Funktion des statistischen Fehlermaßes ist, das der entsprechenden Raumfrequenz zugewiesen ist.
Ein Verfahren gemäß Anspruch 1, bei dem das digitale CFA-Bild (3) in dem Bayer-Format ist.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das Bild (5) nach der Verarbeitungssequenz und vor der Komprimierung (6) in dem YCrCb-Format ist.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Anfangsquantisierungsmatrix lediglich für die Komprimierung der Luminanzebene (oder des Kanals) Y modifiziert ist.
Ein Verfahren gemäß Anspruch 3 oder Anspruch 4, bei dem die Chrominanzebenen unterabgetastet werden, bevor dieselben komprimiert werden (6).
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die diskrete Transformation die DCT (diskrete Kosinustransformation) ist.
Ein Verfahren gemäß Anspruch 6, bei dem der Komprimierungsalgorithmus (6) die Ebenen in quadratische Unterblöcke mit 8-Pixel-Seiten unterteilt.
Ein Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem die diskrete Transformation die DWT (diskrete Wavelet-Transformation) ist.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Vollauflösungsausdehnungsphase (4) durch einen Interpolationsalgorithmus erhalten wird.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Anfangsmatrix Q^st eine Quantisierungsmatrix ist, die gemäß statistischen, inhaltlichen oder Wahrnehmungs-Kriterien optimiert ist.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Anfangsmatrix Q^st eine Quantisierungsmatrix ist, die durch den JPEG-Standard vorgeschlagen wird.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem einige Elemente der Quantisierungsmatrix, die durch Modifizieren der Anfangsmatrix Q^st erhalten werden, zu 1 gezwungen werden.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die einzigen Elemente der Anfangsmatrix Q^st, die modifiziert werden sollen, die Elemente sind, für die das statistische Fehlermaß, das der Raumfrequenz zugewiesen ist, die denselben zugeordnet ist, einen vorbestimmten Schwellenwert übersteigt.
Ein Verfahren gemäß einem der Ansprüche 1 bis 12, bei dem die einzigen Elemente der Anfangsmatrix Q^st, die modifiziert werden sollen, die Elemente sind, für die das statistische Fehlermaß, das der Raumfrequenz zugewiesen ist, die denselben zugeordnet ist, einen vorbestimmten Schwellenwert nicht überschreitet.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Gewichtungskoeffizienten eine ansteigende Funktion des statistischen Fehlermaßes sind.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das statistische Fehlermaß, das einer Raumfrequenz zugewiesen ist, die Summe der Module der Fehler ist, die bei dieser bestimmten Frequenz bei einer großen Probe von Bildern gemessen wurden.
Eine digitale Stehbildkamera, die eine Einrichtung zum Verwenden aller Verfahrensschritte gemäß einem der vorhergehenden Ansprüche umfasst.