DE69936304T2

DE69936304T2 - Bereichsbasierte skalierbare bildkodierung

Info

Publication number: DE69936304T2
Application number: DE69936304T
Authority: DE
Inventors: Meng Vancouver WANG; Xue Dong Regina YANG; Li North Vancouver QU; Brent Simon
Original assignee: Digital Accelerator Corp
Current assignee: Digital Accelerator Corp
Priority date: 1998-07-15
Filing date: 1999-07-15
Publication date: 2008-02-14
Anticipated expiration: 2019-07-16
Also published as: JP4215269B2; WO2000004721A1; RU2001104340A; JP2002521880A; DE69936304D1; CN100341331C; ATE364966T1; EP1095519A1; CA2337430A1; AU4597699A; CA2337430C; CN1316161A; EP1095519B1; CZ2001173A3; AU769818B2

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf Bildcodierung und im Speziellen auf die Kompression und Dekompression skalierbarer inhaltsbasierter, willkürlich zugänglicher unbewegter digitaler Bilder.
HINTERGRUND DER ERFINDUNG
Das schnelle Wachstum von Internet und digitalen Multimedia Anwendungen hat einen gleichbleibenden und wachsenden Bedarf für neue Bildcodierwerkzeuge geschaffen die die üblicherweise großen und schwerfälligen Rohbilddaten in komprimierte Form reduzieren. Kompaktheit des resultierenden Bitstroms ist jedoch nicht mehr einzig erwünschtes Ziel der Entwickler bei der Gestaltung neuer Codierwerkzeuge. Endbenutzer und ihre Anwendungen fordern in immer größerem Ausmaß Funktionen wie Skalierbarkeit, Fehlertoleranz und inhaltbasierten Zugang.
Fotos sowie Spielfilmaufnahmen sind zweidimensionale Darstellungen dreidimensionaler Objekte zur Betrachtung durch das menschliche Auge. Diese Aufnahmemethoden zweidimensionaler Versionen sind „kontinuierliche" oder „analoge" Reproduktionen. Digitale Bilder sind „diskontinuierliche" Annäherungen dieser analogen Bilder die aus einer Serie von benachbarten Punkten oder Bildelementen (Pixel) verschiedener Farbe und Intensität bestehen. Auf einem Computer oder Fernsehbildschirm werden digitale Bilder durch auf eine Glasfläche projizierte Pixel dargestellt und vom Anwender betrachtet. Die Anzahl der Pixel die für die Darstellung eines bestimmten Bildes verwendet werden, wird als seine Auflösung bezeichnet, das heißt je mehr Pixel zur Darstellung eines bestimmten Objektes verwendet werden, desto höher ist seine Auflösung.
Ein monotones Bild – Schwarzweißbilder werden als "Graustufen" bezeichnet – von moderater Auflösung kann aus 640 Pixeln pro horizontaler Linie bestehen. Ein typisches Bild würde 480 horizontale Reihen oder Linien beinhalten die aus jeweils 640 Pixel bestehen.
Deshalb werden insgesamt 307200 Pixel in einem 640 × 480 Pixel großen Bild dargestellt. Wenn jedes Pixel des monotonen Bildes ein Byte Daten erfordert um es zu beschreiben (das heißt ob es Schwarz oder Weiß ist), dann erfordert es 307200 Byte einzig zur Beschreibung eines Schwarzweißbildes. Moderne Graustufenbilder benutzen verschiedene Intensitätsstufen zur Darstellung von Dunkelheit und benutzen acht Bit oder 256 Graustufen. Die resultierenden Bilddateien sind deshalb entsprechend größer.
In Farbbildern wird die Farbe eines Pixel typisch durch drei Variable bestimmt: Rot (R), Grün (G) und Blau (B). Durch Mischen dieser drei Variable in unterschiedlichen Proportionen kann ein Computer verschiedene Farben des Spektrums darstellen. Je größer die Vielfalt zur Darstellung jeder der drei Farben, desto mehr Farben können dargestellt werden. Um zum Beispiel 256 Rotschattierungen zu repräsentieren, ist eine acht Bit Zahl erforderlich. Der Wertebereich einer solchen Farbe reicht daher von Null bis 255. Die Gesamtzahl der Bit die zur Darstellung eines Pixel benötigt wird ist daher 24 Bit – jeweils acht Bit pro Rot, Grün und Blau, weit bekannt als RGB888 Format. Daher hat ein RGB Bild drei Ebenen: Eine Rote, Grüne und eine Blaue, mit einem Farbraum pro Pixel von Null bis 16.78 Millionen oder R × G × B = 256 × 256 × 256. Ein Standardfarbbild mit 640 × 480 Pixel erfordert deshalb ungefähr 7.4 Megabit Daten zum Speichern oder Darstellen in einem Computersystem. Diese Zahl ergibt sich durch Multiplizieren der horizontalen und vertikalen Auflösung mit der Zahl der Bit die zum Darstellen des ganzen Farbraumes erforderlich sind – 640 × 480 × 24 = 7372800 Bit.
Noch immer ist das Prozessieren von Dateien dieser Grösse auf weitläufig verfügbarer Standardhardware, obwohl zunehmend leistungsfähiger und erschwinglicher, langsam und schwerfällig. Das ist besonders bei interaktiven Anwendungen und Internetbenutzung der Fall. Interaktive Anwendungen erfordern sehr schnelle multidirektionale Verarbeitung von Multimediadaten. Wegen ihrer durchgehend beträchtlichen Grösse sind Bilddateien ein geschwindigkeitsbeschränkender Faktor in der Entwicklung realistischer interaktiver Computeranwendungen. Im Fall des Internet, sind Endbenutzer und Anwendungen weiters beschränkt durch das langsame Tempo von Modems und anderen Übertragungsmedien. Zum Beispiel ist die Informationsmenge die man zur Zeit pro Sekunde über eine Telefonleitung übertragen kann durch die Leitungen und Schaltanlagen die von Telefonnetzbetreibern verwendet werden auf 33600 Bit pro Sekunde beschränkt. Deshalb würde es bei dieser Übertragungsrate ungefähr dreieinhalb Minuten dauern um ein einziges RGB888 Farbbild mit 640×480 Pixel mit seinen 7372800 Bit Daten komplett zu übertragen.
Eine Vielzahl existierender Bildkompressionsmethoden ist dem Fachmann weit bekannt. Einige dieser Methoden komprimieren verlustfrei, das heißt nach dem Decodieren und Dekomprimieren erzeugen diese Methoden die Originaldaten ohne Verlust oder Eliminierung von Daten. Wegen ihrer relativ geringen Reduktionsraten, befriedigen diese verlustfreien Techniken nicht alle Anforderungen die gegenwärtig an Bildkompressionstechnologien gestellten werden. Es existieren andere Kompressionsmethoden die nicht umkehrbar sind und als verlustbehaftet bekannt sind. Diese nicht umkehrbaren Methoden können beträchtliche Kompression zur Verfügung stellen, resultieren allerdings in Datenverlust. In Bilddateien werden die hohen Kompressionsraten eigentlich durch Eliminieren bestimmter Aspekte des Bildes, üblicherweise solcher auf die das menschliche Auge beschränkt oder nicht empfindlich ist, erwirkt. Nach dem Codieren werden, zur Dekompression und Wiederherstellung eines angemessenen Faksimile des Originalbildes, die reduzierten Daten einem Umkehrprozess unterzogen. Zur variablen Mischung von Datenkompression und Bildtreue können verlustbehaftete Kompressionstechniken auch mit verlustfreien Methoden gemeinsam verwendet werden.
Die Kompaktheit eines komprimierten Bitstroms wird üblicherweise gemessen indem man die Länge des Stromes mit der Grösse der korrespondierenden unkomprimierten Bilddaten vergleicht. Ein quantitatives Maß der Kompaktheit ist die Kompressionsrate oder alternativ die Bitrate wobei: Kompressionsrate = (Gesamtzahl der Byte der originalen Rohbilddaten)/(Gesamtzahl der Byte des komprimierten Bildes), und Bitrate = (Gesamtzahl Byte erforderlich zur Dekompression)/(Anzahl der Pixel des Originalbildes).
Im Allgemeinen gilt: Je höher die Kompressionsrate (oder je niedriger die Bitrate), desto höher die Kompaktheit des komprimierten Bitstromes. Kompaktheit ist immer von primärem Interesse für alle Datenkompressionstechniken gewesen.
Eines der weitverbreitetsten Formate für komprimierte Bilddateien ist das GIF Format. GIF steht für „Graphic Image Format" und ist von der Firma Compuserve entwickelt worden um eine Möglichkeit zur Verfügung zu stellen ein Bild von einem Einwahlbenutzer zu einem anderen, sogar zwischen verschiedenen Computerhardwareplattformen, zu übertragen. Es ist ein relativ altes Format das zum Handhaben einer Palette von 256 Farben ausgelegt worden ist – acht Bit im Gegensatz zu 24 Bit Farben. Zur Zeit der Entwicklung war dies beinahe Stand der Technik auf den meisten Personalcomputern.
Das GIF Format benutzt eine acht Bit Farbtabelle (manchmal als CLUT bezeichnet) um Farbwerte zu identifizieren. Wenn das Originalbild ein acht Bit Graustufenfoto ist, dann produziert das GIF Format eine komprimierte verlustfreie Bilddatei. Ein Graustufenbild hat typisch nur 256 Graustufen. Die operative Kompression wird erreicht durch den „Run Length Encoding" (RLE) Mechanismus zur Kompression der Information während die GIF Datei gespeichert wird. Wäre die Originaldatei ein 24 Bit Farbbild, dann würde es zuerst auf eine acht Bit CLUT abgebildet und dann mit RLE komprimiert. Der Verlust würde beim Abbilden der 24 Bit (16.7 Millionen) Originalfarben in die beschränkte acht Bit (256 Farben) CLUT auftreten. RLE Codierung würde ein unkomprimiertes Bild identisch zu dem abgebildeten acht Bit Bild reproduzieren aber nicht gleich der original 24 Bit Bilddatei. RLE ist kein effizienter Weg zum Komprimieren eines Bildes, wenn sich die Farbgestaltung entlang einer Linie von Pixel stark verändert. Es ist sehr effizient, wenn Reihen von Pixel mit der selben Farbe oder eine sehr beschränkte Zahl von Farben benutzt wird.
Der andere de facto Standard für Standbildformate ist das JPEG Format. JPEG steht für "Joint Photographic Experts Group". JPEG benutzt eine verlustbehaftete Kompressionsmethode zum Generieren der Enddatei. JPEG Dateien können weiter komprimiert werden als ihre GIF Verwandten und können mehr Farbtiefe als die acht Bit Tabelle des GIF Formates beibehalten. Die meiste JPEG Kompressionssoftware erlaubt es dem Benutzer zwischen Bildqualität und Höhe der Kompression zu wählen. Bei Kompressionsraten von 10:1 sehen die meisten Bilder fast genau so wie ihre Originale aus und warten mit exzellenter voller Farbwiedergabe auf. Bei Komprimierung mit 100:1 neigen die Bilder zum Auftreten von Blockartefakten die wesentlich die Bildqualität reduzieren. Anders als GIF benutzt JPEG nicht ausschließlich RLE zum Komprimieren des Bildes sondern eine progressive Auswahl an Werkzeugen zur Erzeugung der Enddatei.
Basierend auf der Luminanz und Chrominanz des Bildes, wandelt JPEG zuerst den Originalfarbraum des Bildes in einen normalisierten Farbraum (ein verlustbehafteter Prozess). Die Luminanz entspricht der Helligkeitsinformation, während die Chrominanz der Farbtoninformation entspricht. Tests haben gezeigt, dass das menschliche Auge auf Veränderungen der Helligkeit empfindlicher reagiert als auf Änderungen der Farbe oder des Farbtones. Mit Hilfe einer diskreten Cosinustransformation (DCT) werden die Daten in Blöcke von 8 × 8 Pixel umgeordnet was ebenfalls etwas Bildverlust verursacht. Es tastet, in diesen diskreten Bereichen, das Bild effektiv ab und benutzt dann eine mehr standardisierte RLE Codierung (sowie andere Codierschema) zum Erzeugen der Enddatei. Mit höherer Codierrate, steigen die Bildverlust und die 8 × 8 Pixelartefakte werden deutlicher.
Eines der Erfordernisse sich entwickelnder Technologien ist, dass sie ein Merkmal/Kennzeichen von Skalierbarkeit besitzen. Skalierbarkeit bedeutet den Grad zu dem ein komprimierter Bitstrom am Terminalende der Übertragung teilweise decodiert und benutzt werden kann. Um diese Anforderung progressiver Prozessierung zu erfüllen, ist Skalierbarkeit zur Standardanforderung für eine neue Generation digitaler Bildcodiertechnologien geworden. Üblicherweise sind skalierbare Pixelgenauigkeit und räumliche Auflösung zwei Grundvoraussetzungen für Standbildkompression.
Um Skalierbarkeit bei gleichzeitiger Bildtreue sicherzustellen, sind kürzlich Bildkompressionstechnologien mit mehrfach aufgelösten Zerlegungen basierend auf Wavelets entwickelt worden. Wavelets sind mathematische Funktionen die zuerst weitläufig nur in akademischen Anwendungen nach dem Zweiten Weltkrieg Verwendung fanden. Der Name Wavelet ist abgeleitet von der Tatsache, dass das Integral der Basisfunktion (mother wavelet) üblicherweise Null ergibt und daher um die x-Achse onduliert. Andere Eigenschaften, wie der Umstand, dass Wavelets orthonormal oder symmetrisch sind, ermöglichen die schnelle und leichte Berechnung der direkten und umgekehrten Wavelettransformationen, das heißt sie sind speziell nützlich in der Decodierung.
Ein weiterer wichtiger Vorteil waveletbasierter Transformationen ist die Tatsache, dass viele Klassen von Signalen oder Bildern durch Wavelets kompakter dargestellt werden können. Zum Beispiel beanspruchen Bilder mit Diskontinuitäten und scharfen Spitzen bei gleicher Präzision, üblicherweise wesentlich weniger Waveletbasisfunktionen als sinus- oder cosinusbasierte Funktionen. Dies hat zur Folge, dass die Bildkompressionsraten waveletbasierter Methoden potentiell höher sind. Bei gleicher Präzision sehen die rekonstruierten Bilder von Waveletkoeffizienten besser aus als die Bilder die man mit Hilfe einer Fouriertransformation (Sinus oder Cosinus) erhält. Dies scheint anzudeuten, dass ein Waveletschema Bilder produziert die eher dem Empfinden des visuellen Systems des Menschen entsprechen.
Ein Wavelet transformiert das Bild in eine grobe, niedrig aufgelöste Version des Originals und eine Serie von Weiterentwicklungen die feinere Details des Bildes enthalten. Diese mehrfach-auflösende Eigenschaft eignet sich gut für vernetzte Anwendungen in denen Skalierbarkeit und kontrollierter Qualitätsverlust erforderlich sind. Zum Beispiel kann ein heterogenes Netzwerk Verbindungen mit sehr hoher Bandbreite als auch mit 28.8 Modemverbindungen und dazwischen enthalten. Es wäre gut, dasselbe Videosignal an alle Teile des Netzwerkes zu senden, und dabei feinere Details fallen zu lassen und ein niedrig aufgelöstes Bild an die Teile des Netzwerkes mit niedriger Bandbreite zu senden. Wavelets eignen sich gut für diese Anwendung indem sie das grobe, niedrig aufgelöste Bild in die Pakete mit der höchsten Priorität packen die das gesamte Netzwerk erreichen. Die Weiterentwicklungen gehören in Pakete niedrigerer Priorität die in Teilen des Netzwerkes mit niedrigerer Bandbreite fallen gelassen werden können.
Diese mehrfach-auflösende Eigenschaft des codierten Bildes ermöglicht auch kontrollierten Qualitätsverlust in verrauschten Kommunikationsverbindungen wie drahtlosen Netzwerken oder in einem gestörten Netzwerk. Falls Fehler bei der Übertragung auftreten, können Pakete mit hoher Priorität die das niedrig aufgelöste Basisbild enthalten erneut übertragen werden, während die Weiterentwicklungen verworfen werden können.
Inhaltsbasierende Codierung und Zugänglichkeit bilden eine weitere neue Dimension innerhalb des Gebietes der Bildcodierung. Die Möglichkeit bestimmte Bereiche eines Bildes zu spezifizieren und zu manipulieren wird von bisher bekannten Codiertechniken wie JPEG nicht unterstützt. Weiters ist inhaltsbasierte willkürliche Zugänglichkeit keine unterstützte Funktion neuerer waveletbasierter Technologien. Anwendungen für die diese Eigenschaft wünschenswert sind inkludieren Multimediadatenbankanfragen, Internet Server-Client Interaktionen, Generierung und Editierung digitaler Bilder, fernmedizinische Diagnostik und interaktive Unterhaltung, um nur einige zu nennen.
Inhaltsbasierte Multimediadatenbankanfragen erfordern die Unterstützung von Mechanismen zum Auffinden des gesuchten Bildmaterials mit dem interessierenden Objekt. Inhaltsbasierte Hyperlinks zu Daten im Internet oder auf lokalen Speicherplatten ermöglicht es, gewünschte Objekte innerhalb eines Bildes als Einstiegspunkte zur Informationsnavigation zu verwenden. Inhaltsbasiertes Editieren ermöglicht es einem Anbieter von digitalen Inhalten die Attribute des Bildmaterials in einer objektorientierten oder einer bereichsbasierten Weise zu manipulieren. Inhaltsbasiertes Interagieren erlaubt es einem Teilnehmer oder Rechercheur digitaler Inhalte basierend auf den Bereichen von Interesse die Bildinformationsübertragung selektiv zu kontrollieren. Kurz gesagt, inhaltsbasierte Zugänglichkeit erlaubt die Verwendung semantisch bedeutsamer visueller Objekte als Basis zur Repräsentation, Erklärung, Manipulation und Abfrage von Bilddaten.
Said und Pearlman veröffentlichten "A New, Fast, and Efficient Image Codec Based an Set Partitioning in Hierarchical Trees (IEEE Transaction an CSVT, Vol 6, No. 3, June 1996). Said und Pearlman beschreiben die Zuhilfenahme einer Embedded Zerotree Wavelet (EZW) Codierung zur Transformation eines Bildes in einen Satz von Bildern variierender Auflösung. Die EZW Technik basiert auf 1) partieller Ordnung der transformierten Bildelemente nach Größe mit Übertragung der Ordnung durch einen Untermengensortieralgorithmus der im Decoder dupliziert wird, 2) geordneter Übertragung der Bitebenen von Verfeinerungsbits und 3) Verwertung der Selbstähnlichkeit der Bildwavelettransformation auf unterschiedlichen Skalen. Dadurch wird die Konstruktion eines komprimierten Bitstromes zur Übertragung des digitalen Bildes ermöglicht.
Frajka et al. veröffentlichten eine Methode für "Progressive image coding with spatially variable resolution" in den Proceedings of the International Conference an Image Processing in Los Alamitos, CA (IEEE, Page 53–56, XP000792714, ISBN: 0-8186-8184-5). Frajka et al. benutzen ein waveletbasiertes progressives Bildcodierverfahren das es erlaubt Bildbereiche mit verschiedenen räumlichen Verteilungen für zukünftig zu übertragende Bit zu spezifizieren. Die Bestimmung der Bildbereiche kann durch benutzerinteraktive Prozesse oder durch Prozesse die vom Codierer gesteuert werden erfolgen. Diese Methode ermöglicht die Identifizierung wichtiger Bildbereiche und der Anweisung einer Übertragungspriorität für die ausgewählten Bereiche. Diese Methode umfasst die Benutzung der zuvor erwähnten EZW Technik.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist ein Merkmal der vorliegenden Erfindung bereichsbasierte Codierung für die Bildkompression zur Verfügung zu stellen. Spezielle und bevorzugte Merkmale und Ausführungsformen der Erfindung sind in den beigefügten unabhängigen und abhängigen Patentansprüchen dargelegt. Gemäß eines Beispiels umfasst ein bereichsbasiertes Verfahren zum Codieren und Decodieren unbewegter digitaler Bilder, um einen skalierbaren, inhaltszugänglichen komprimierten Bitstrom zu erzeugen, die Schritte: Zerlegen und Ordnen der rohen Bilddaten in eine Hierarchie von Multiauflösungsunterbildern, Bestimmen von Bereichen von Interesse, Festlegen einer Bereichsmaske um die Bereiche von Interesse zu identifizieren, Codieren von Bereichsmasken für Bereiche von Interesse, Bestimmen von Bereichsmasken für nachfolgende Auflösungsgrade, und Abtasten und schrittweises Sortieren der Bereichsdaten auf der Basis der Größe der Multiauflösungskoeffizienten.
Gemäß eines weiteren Beispiels umfasst eine Vorrichtung für die bereichsbasierte Codierung und Decodierung von unbewegten digitalen Bildern, die einen skalierbaren, inhaltsabrufbaren komprimierten Bitstrom erzeugt: eine Einrichtung für das Zerlegen und Ordnen der Rohbilddaten in eine Hierarchie von Multiauflösungsunterbildern, eine Einrichtung für das Bestimmen von Bereichen von Interesse, eine Einrichtung für das Festlegen einer Bereichsmaske um Bereiche von Interesse zu identifizieren, eine Einrichtung für das Codieren von Bereichsmasken für Bereiche von Interesse, eine Einrichtung für das Bestimmen von Bereichsmasken für nachfolgende Auflösungsgrade, und eine Einrichtung für das Abtasten und fortschreitende Sortieren der Bereichsdaten auf der Basis der Größe der Multiauflösungskoeffizienten.
Gemäß eines weiteren Beispiels umfasst ein bereichsbasiertes System für das Codieren und Decodieren unbewegter digitaler Bilder, das einen skalierbaren, inhaltszugänglichen komprimierten Bitstrom erzeugt, die Schritte: Zerlegen und Ordnen der rohen Bilddaten in eine Hierarchie von Multiauflösungsunterbildern, Bestimmen von Bereichen von Interesse, Festlegen einer Bereichsmaske um die Bereiche von Interesse zu identifizieren, Codieren von Bereichsmasken für Bereiche von Interesse, Bestimmen von Bereichsmasken für nachfolgende Auflösungsgrade, und Abtasten und schrittweises Sortieren der Bereichsdaten auf der Basis der Größe der Multiauflösungskoeffizienten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung wird besser verstanden, wenn man sie in Kombination mit den folgenden Zeichnungen und der Beschreibung betrachtet, in welchen gleiche Ausdrücke gleiche Elemente andeuten.
1 zeigt ein detailliertes Mehrwegflussdiagram des vorliegenden Kompressionssystems und der Kompressionsarchitektur.
2 zeigt eine Darstellung einer Hierarchie von Multiauflösungszerlegungen einer waveletbasierten Transformation des Bildes „Lena".
3 zeigt eine schematische Darstellung des „geometrischen" Zugangs der Erfindung zur Codierung von Bereichen von Interesse.
4 zeigt eine grafische Darstellung des Konzepts „der führenden Eins" angewendet zur Codierung von Bereichen von Interesse.
5 zeigt eine Darstellung von drei Arten von Bereichsformationsschemata angewendet auf das Standbild "Lena".
6 zeigt eine Darstellung der Codierung von wichtigen Bereichen unter Benutzung einer diskreten Cosinustransformation (DCT) angewendet auf das Standbild „Lena".
7 zeigt ein Flussdiagram der Methode zur Formung einer Bereichshierarchie.
8 zeigt ein Flussdiagram der Wirkungsweise des Algorithmus A51 und des Skalieren von Bereichsmasken für nachfolgende Auflösungsgrade.
9 zeigt eine Darstellung von zwei verschiedenen Methoden zum Abtasten der bereichscodierten Daten.
10 zeigt ein Flussdiagram einer bevorzugten Methode zum Abtasten der Bereichsdaten unter Benutzung der Bereichsschrumpfmethode.
11 zeigt ein detailliertes Flussdiagram der Ordnung in welchem Daten innerhalb des Multiplexers auf der Kompressionsseite des Systems gepackt werden.
12 zeigt ein Flussdiagram der internen Architektur des Multiplexers des Kompressionssystems.
13 zeigt ein Flussdiagram der internen Architektur des Demultiplexers auf der Dekompressionsseite des Systems.
14 zeigt ein detailliertes Mehrwegflussdiagram des Dekompressionssystems und der Dekompressionsarchitektur.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
1 stellt die Gesamtarchitektur der Methode und des Systems zur Bilddatenkompression dar. In der bevorzugten Ausführungsform der Erfingung werden Rohbilddaten in das System als Bitmapbild eingegeben, dem System der vorliegenden Erfindung unterzogen und als komprimierter Bitstrom ausgegeben.
Der erste Schritt im Kompressionscodierprozess ist die Transformation or Zerlegung der Rohdaten in eine Multiresolution Decomposition Hierarchy (MDH). In der bevorzugten Ausführungsform der vorliegenden Erfindung wird eine diskrete Wavelettransformation verwendet um die Zerlegung zu erzeugen. Der Leser wird anerkennen, dass andere Transformationen existieren die gleichermaßen in der vorliegenden Erfindung verwendet werden können. Weiters braucht diese auflösungsbasierte Zerlegung nicht notwendigerweise ausgeführt werden, um die inhaltszugängliche Kompression von Rohbilddaten zu ermöglichen. Die vorliegende Erfindung basiert auf einer modularen Architektur die im Stande ist Daten in vielen verschiedenen Formaten zu bearbeiten.
Nach der mehrfachaufgelösten Zerlegung folgt als nächste Sufe der bevorzugten Ausführungsform die Bereichsformatierung und Codierung der MDH Daten. Der Leser wird bemerken, dass dieser Schritt auf die rohen Bilddaten oder auf Daten die durch eine Vielzahl von Techniken in eine mehrfachaufgelöste Hierarchie transformiert worden sind, angewendet werden mag. Dieser Schritt des Systems teilt sich in zwei Komponenten: Die Formung oder Bestimmung der Bereichshierarchie und die nachfolgende Codierung dieser Bereichsformen. Diese Daten formen die Mehrbereichsdatenkanäle zur Eingabe in den nächsten Schritt des Systems der vorliegenden Erfindung.
Nachdem die Daten unter Berücksichtigung ihrer Bereichsprioritäten codiert worden sind, müssen die Daten noch einmal sortiert werden, um die Skalierbarkeit für den Endbenutzer zu erhalten. Das fortschreitende Sortieren der Bereichen zugeordneten Daten ist die einzigartige und neuartige Methode des Systems zum effizienten und komprimierbaren Anordnen der Daten um die Bildtreue, ihre Skalierbarkeit und die inhaltsbasierte Zugänglichkeit zu erhalten.
Nachdem der Sortierschritt des Systems abgeschlossen ist, werden die Daten entropiecodiert. Entropiecodierung ist eine verlustfreie Methode zur Datenkompression die dem Stand der Technik entsprechend gut bekannt ist. Sie basiert auf statistischen Vorhersagemethoden und trägt weiters zur kompakten Eigenschaft des Enddatenstromes bei.
Schlussendlich ist ein Multiplexer (MUX Modul) inkludiert um den Fluss verschiedener Arten von Daten, die aus dem vorhergehenden Schritten des Prozesses stammen, zu steuern. Der Multiplexer der vorliegenden Erfindung erlaubt dem Benutzer das Bitbudget für den Datenfluss zum Dekomprimierer durch schrittweise Übertragung zu setzen. Die Forderung dieser Fähigkeit mag sich durch beschränkt verfügbare Resourcen zur Übertragung der Daten oder des Endbenutzers, ergeben. Nach der Multiplexierung kann der resultierende komprimierte Bitstrom über eine Vielzahl von Medien zur Decodierkomponente der Erfindung übertragen werden.
2 zeigt eine grafische Darstellung des ersten Schrittes der Codierung der Rohbilddaten der vorliegenden Erfindung. Wie bereits erwähnt stehen einige verschiedene Methoden zur Zerlegung oder Transformation der Rohbilddaten zur Verfügung, sodass verschiedene Auflösungsstufen aufgebaut werden können. Der Leser wird sich erinnern, dass dies die erwünschte Hierarchie für den skalierbaren und/oder kontrollierten Qualitätsverlust der Übertragung ermöglicht. Die verschiedenen verfügbaren Transformationsarten inkludieren: Wavelets, KL-Transformationen, Waveletpakettransformationen, Lifting Schemes, Fenster-Fouriertransformationen und diskrete Cosinustransformationen. Entsprechend der bevorzugten Ausführungsform der vorliegenden Erfindung basiert das speziell benutzte Wavelet auf einem Lifting Scheme. Ein im Stand der Technik gebildeter Fachmann wird jedoch verstehen, dass die Architektur der vorliegenden Erfindung andere Wavelets unterstützt oder etwa andere Transformationen die für den speziellen Zweck des Endbenutzers entworfen sind.
2 zeigt ein typisches Resultat einer mehrfachauflösungsbasierten Transformation der Datenmenge Ix, y unter Benutzung des Wavelet der bevorzugten Ausführungsform. Das Testbild „Lena" ist in eine Hierarchie von Daten transformiert worden, die auf Auflösungsstufen basieren die in drei räumlichen Orientierungen dargestellt sind. Dies ist die Multiresolution Decomposition Hierarchy (MDH). Die vorliegende Erfindung führt standardmässig entweder drei oder fünf verschiedene Stufen einer Zerlegung aus. 2 zeigt weiters, dass auf jeder Ausführungsstufe drei räumliche Orientierungen dargestellt sind: HL, HH und LH, wobei HL eine Hochpassabtastung auf horizontaler Ebene mit einer Tiefpassabtastung auf der Vertikale, HH eine Hochpassabtastung auf beiden Ebenen und LH eine Tiefpassabtastung auf der Horizontale mit einer Hochpassabtastung auf der Vertikale darstellt. Eine LL oder Tiefpassabtastung in beiden Ebenen würde auf jeder Auflösungsebene bedeutungslose Information darstellen, mag aber in der Hierarchie nachfolgenden Auflösungsstufen ausgewertet werden.
Nachdem die Daten auf diese Weise zerlegt und angeordnet worden sind, folgt als nächster Prozessschritt die Codierung der Daten um die zuvor beschriebene Inhaltszugänglichkeit zu ermöglichen. Um dieses Ziel zu erreichen definiert die vorliegende Erfindung zuerst einen Bereich von Interesse, leitet zweitens eine Maske zu deren Beschreibung ab und codiert dann diese Information so, dass sie Teil des komprimierten Datenstromes wird.
Ein wichtiges Konzept, entwickelt zur Durchführung dieses Schrittes des vorliegenden Systems, ist der Begriff geometrisch fortschreitender Codierung. Beim Verwirklichen bereichsbasierter Codierung unter Erhaltung der Skalierbarkeit, ist es erforderlich die Ordnung V (die Grösse der Auflösungskoeffizienten der MDH Daten) den Multibereichsdaten zuzuordnen (das heißt mit Beziehung R). Dies führt zu einem geometrischen Codiervorgang wie in 3 dargestellt. Dem Stand der Technik entsprechend, benutzt der kombinatorische Vorgang (links) einen Testwert (eine Null in der Transformationskoeffizientenebene) um das mögliche Auftreten einer Gruppe von Nullen bei einem höheren Auflösungsgrad vorherzusagen. Auf dieser Basis wird die Kompaktheit der Darstellung erreicht. Zu gleicher Zeit möge man bedenken, dass jeder, während einer Übertragung auf niedrigem Auflösungsgrad auftretende Fehler, in zunehmendem Maß Rückwirkungen auf weitere Vorhersagestufen haben wird.
Beim geometrischen Vorgang (rechts) der vorliegenden Erfindung, wird Kompaktheit der Darstellung durch Benutzen einer geometrischen Form zur Abdeckung einer großen Menge von Abtastungen (Nullen) erreicht, die dann codiert wird. Entsprechend werden Bereiche von Interesse in der MDH in Form von geometrischen Objekten, wie Regionen und Kurven dargestellt, und dann werden kompakte Codes zur Beschreibung dieser geometrischen Objekte erzeugt. Das kompakte Codieren der geometrischen Objekte bedient sich „der führenden Eins" Kurve C in 4. Die Vorteile die durch diese Methode der Erzeugung und Codierung erzielt werden umfassen die detaillierte Beschreibung von Bereichen, die kompakte Darstellung dieser Bereiche und die Robustheit gegenüber den oben beschriebenen Arten von Übertragungsfehlern.
Daher enthält, gegeben eine Untermenge der Koeffizienten {Cij} in der MDH, die Verteilung der Absolutwerte der Koeffizienten, unabhängig von deren Abtastordnung, drei Teile (4). Die führende Eins Kurve C besteht aus dem ersten höchstwertigen Bit ungleich Null der Binärdarstellung aller Koeffizienten. Die Verfeinerungszone besteht aus den Bit aller Koeffizienten unterhalb der führenden Eins Kurve. Die Nullzone besteht aus allen Nullen oberhalb der führenden Eins aller Koeffizienten. Daher gilt, ist die Zahl aller Koeffizienten n·N, die Zone der Verfeinerungsbit |x| Bit und die Zone aller Nullen |0|, dann ist |x| + |0| = (n – 1)·N weil N die Länge der Kurve C ist.
Zur verlustfreien Codierung dieser Daten, muss die Information für die Kurve C und für die Verfeinerungszone präzise aufgezeichnet werden. Die Leistungsstärke eines Codierers, sofern es Kompaktheit betrifft, wäre dann bestimmt durch seine Fähigkeit die Nullzone zu codieren, oder, in gleicher Weise, die Kurve C. Zum Erreichen einer Ordnung V der Skalierbarkeit, wird erwartet dass sich die Höhe der Kurve C nicht erhöht. Dies wird durch einen fortschreitenden Sortierprozess wie weiter unten beschrieben bewerkstelligt.
Am Anfang des Prozesses durch den die Mehrbereichsdaten erzeugt werden, werden in der vorliegenden Erfindung drei Methoden zur Bestimmung eines Bereiches von Interesse in Erwägung gezogen. In 5 sehen wir dass das System unterstützt:
1. Benutzerdefinierte Bereiche.
Nach dieser Methode wird der Bereich entweder durch einen interaktiven Prozess, d.h. indem der Benutzer den Bereich von Interesse mit einem Eingabegerät wie einer Computermaus, oder durch ein anderes Anwendungsprogramm, bestimmt. Eine „Maske" wird dann basierend auf diesem benutzerdefinierten Bereich erzeugt. Diese Methode der Bereichsbestimmung ist in 5a dargestellt.
2. Parkettierung.
In einer Parkettierungsmethode werden Pixel in Blöcke standardisierter Größe welche die Bereiche bestimmen zugeordnet. Bei JPEG können zum Beispiel 8 × 8 Blöcke als die durch Parkettierung spezifizierten Bereiche betrachtet werden. Parkettierung mag auch eine angemessene Methode zur Bereichsbestimmung sein, wenn man mit sehr großen Bildern wie solchen die bei der rechnerunterstützten Konstruktion oder beim rechnerunterstützten Fertigen üblich sind, arbeitet. Die Parkettierungsmethode zur Bereichsbestimmung is in 5b dargestellt.
3. Automatische Bereichsbestimmung.
Dieser automatisierte Prozess ist in 5c dargestellt. Die Aufgabe automatischer Bereichshierarchiebestimmung ist es, die MDH Daten oder die original Bilddaten in eine Hierarchie geometrischer Bereiche zu zerlegen. Entsprechend der vorliegenden Erfindung wird ein Domänentransformationszerlegungsschema entwickelt. Entsprechend der bevorzugten Ausführungsform dieses Prozesses, werden die MDH Daten durch Messen ihrer Absolutwerte oder durch Bestimmen der Bereichssignifikanz, wobei die Bereichssignifikanz ein Gruppenmaß der Gesamtsignifikanz aller Koeffizienten in einem Bereich von Interesse darstellt, in räumlich nicht überlappende Bereiche zerlegt. In der vorliegenden Erfindung betrachten wir zwei Arten von Bereichssignifikanz: Durchschnittliche Signifikanz und gewichtete Signifikanz. Die durchschnittliche Bereichssignifikanz ist das Mittel der Koeffizientensignifikanzen aller Koeffizienten in einem Bereich, und die gewichte Bereichssignifikanz ist das gewichtete Mittel der Koeffizientensignifikanz aller Koeffizienten in dem Bereich.
Die automatische Bereichsbestimmung der vorliegenden Erfindung wird durch Benutzen eines von zwei Zerlegungsalgorithmen erreicht. Der erste der beiden ist ein völlig logarithmisches Schema in dem Schwellenwerte 2^(n – 1), 2^(n – 2), ..., 2^0 benutzt werden um die MDH Daten zu ordnen, wenn bekannt ist, dass der größte MDH Koeffizient |Cij| < 2^n ist.
Der zweite Zerlegungsalgorithmus basiert of einem teilweise logarithmischen Schema. In diesem Schema werden nur bestimmte Potenzen von zwei als Schwellwerte benutzt die von einem Benutzerexperten bestimmt werden.
Nach dem Bestimmen der Schwellwerte für die MDH Daten mit einem der beiden Schemata, wird jeder Punkt auf der MDH Ebene mit einer eindeutigen Kennung markiert die den entsprechenden Schwellwert zuordnet. Daher, falls in einem Schema „n" Schwellwerte benutzt werden, wird die gesamte MDH Ebene mit n + 1 unterschiedlichen Kennungen markiert. Dieser Satz an Kennungen formt die Bereichsmaske.
In 5 sehen wir das Resultat der automatischen Zerlegung des Bildes „Lena". Die MDH Koeffizienten, die während der mehrfachaufgelösten Zerlegung erzeugt worden sind, fallen daher in drei Intervalle. In der bevorzugten Ausführungsform der vorliegenden Erfindung sind die Intervalle 0 bis 15, 16 bis 31 und 32 bis 64.
Unter Berücksichtigung der verschiedenen Auflösungsgrade und räumlichen Orientierungen der MDH Datenstruktur ist es vorstellbar, dass die Zerlegung der MDH Daten durch Anwendung eines gemeingültigen Maskensatzes für alle Auflösungsgrade und Orientierungen oder verschiedener Masken für verschiedene Orientierungen mit einer gemeinsamen gleichen Maske für alle Auflösungsgrade einer gegebenen Orientierung, sowie unterschiedlicher Masken für verschiedene Auflösungen und Orientierungen, erzielt werden kann.
Für die bevorzugte Ausführungsform der vorliegenden Erfindung wird der erste Zugang wegen der Selbstähnlichkeit zwischen verschiedenen Orientierungen verwendet. Für jeden Auflösungsgrad ist die Grenzinformation (Information betreffend Regionen mit grossem Detailreichtum oder solchen mit hohem Kontrast) in den Mengen HH1, HL1 und LH1 enthalten. Im Allgemeinen stellen weder HH, HL noch LH alleine, weil sie Bandpasseigenschaften in verschiedenen Richtungen erfassen, eine vollständige Beschreibung der Grenzinformation für den jeweiligen Auflösungsgrad zur Verfügung. Die Bestimmung eines „Grenzereignisses" kann nur geeignet ermittelt werden, wenn ein Ereignis in allen drei Orientierungen auftritt. Deshalb wird die folgende Funktion für den gemeinsamen Signifikanztest der ersten Auflösungsstufe verwendet: H1 = max {HHI, HLI, LHI}. Das heißt, dass die Signifikanz eines Bereiches durch das Maximum in allen drei Orientierungen an dieser Stelle bestimmt wird. Eine Alternative zu dieser Funktion ist H1 = a·HH1 + b·HL1 + c·LH1, wobei a + b + c = 1 ist.
Andere Gründe zum Anwenden einer gemeinsamen Maske für verschiedene Auflösungen und Richtungen inkludieren die Selbstähnlichkeit auf verschiedenen Auflösungsgraden und die Effizienz der Berechnung einer einzigen Maske. Das heißt, die Berechnung einer gemeinsamen Maske ist üblicherweise weniger rechenintensiv als das Berechnen mehrerer Masken.
Das Ziel der Bereichsformcodierung ist die Ermittlung einer genauen und kompakten Codierung der Bereichsmaske aus dem Bereichsbestimmungsprozess. Sowohl Kopaktheit und Genauigkeit der Formcodierung haben direkten Einfluss auf die Effizienz der gesamten Codiersystems. Entsprechend der Architektur der vorliegenden Erfindung werden mehrere Formcodierungsschemata unterstützt, allerdings wird in der bevorzugten Ausführungsform der folgende DCT-basierte Bereichskanal verwendet.
Entsprechend dieser Methode wird eine Bereichsmaske durch ihre Fouriertransformation codiert. Durch Anwenden eines Tiefpassfilters im Frequenzraum, kann die gesamte Form mehrerer Bereichsmasken mit einer geringen Zahl von DCT-Koeffizienten bei hoher Genauigkeit codiert werden. 6 illustriert ein grafisches Beispiel einer DCT codierten Bereichsmaske des Bildes „Lena". Indem man die DCT zur Beschreibung der Maske benutzt kann eine beträchtliche Kompression erzielt werden.
Für MDH Daten wird nur eine DCT zur Erzeugung der gemeinsamen Maske auf der höchsten Auflösungsstufe benutzt. Andere Masken für niedrigere Auflösungsstufen werden durch Skalieren abgeleitet. 7 illustriert den Datenfluss vom Anfang der Bereichsbestimmungsstufe bis hin zur Codierung der bereichsbasierten Datenlisten. Dieser Vorgang, der sogenannte Algorithmus A50, stellt eine Methode zur Bereichshierarchiebestimmung von unten-nach-oben dar und weist die folgenden Schritte auf:

(1) Berechne H1 = max{LH1, HL1, HH1} d.h. Für k = 1 bis N: H1[k] = max (LH1[k], HL1[k], HH1[k]);
(2) Wende das Bereichsbestimmungsschema auf die gemeinsame Signifikanzmaske H1 an um die Abschnittsmaske M1 zu erhalten.
(3) Wende einen Tiefpassfilter auf die DCT transformierte Maske M1 an um M1' zu erhalten.
(4) Skaliere M1' um die Masken M2, M3, ..., ML auf niedrigeren Auflösungsstufen zu erhalten (siehe Algorithmus A51 unten).
(5) Wende die Masken {M1', M2, ..., ML} an of entsprechende Koeffizientenebenen um die MDH in Bereiche zu zerlegen.

Nach dem obigen Schritt (3), wird die Maske des höchsten Auflösungsgrades (M1) durch einen Vorgang für niedrigere Auflösungsstufen der durch Algorithmus A51, der in 8 gezeigt ist, umgewandelt:
Algorithmus A51: Maskenskalierung
Gegeben seien Bereiche in M1 bezeichnet durch theta1, theta2, theta3, wobei theta1 > theta2 > theta3.
Für i = 2, 3, ..., b
Für alle x und y von M_i Mi(x, y) = max{Mi–1(2x, 2y), Mi–1(2x, 2y + 1), Mi–1(2x + 1,2y), Mi–1(2x + 2, 2y + 2)}
Während es andere Methoden gibt um die Masken für niedrigere Auflösungsstufen zu ermitteln, erhält der Algorithmus A51 zur Skalierung präzise die Form der Bereiche auf verschiedenen Auflösungsstufen. Weiters ist dieser Algorithmus recheneffizient.
Wieder unter Berücksichtigung von 1 haben die Daten nun durch die zwei Stufen der Multiauflösungszerlegung und der Bereichsbestimmung und Bereichscodierung passiert. Auf dieser Stufe sind die Daten auf Basis ihrer Bildinhalte umgeordnet worden. Obwohl der Bereichszerlegungsprozess die Form von Bereichen auf verschiedenen Auflösungsstufen und für alle Orientierungen erhält, erhält er nicht die Intervallwerte der Koeffizienten in entsprechenden Bereichen verschiedener Auflösungen und Orientierungen. Mit anderen Worten, die Beziehung R wird an verschiedene Auflösungsstufen und Orientierungen vererbt, während im Allgemeinen die Ordnung V nicht präzise erhalten bleibt. Die Aufgabe fortschreitenden Ordnens ist es die Ordnung V für alle Bereichskanäle wiederherzustellen.
Der erste Schritt beim fortschreitenden Ordnen der Daten ist das Abtasten bzw. Scannen der durch die Bereichsbestimmung und Bereichscodierung ermittelten Bereiche. Beim Abtasten bzw. Scannen dieser Daten, wird eine entsprechende Liste von den MDH Koeffizienten erzeugt wie sie laufend während des Abtastprozesses angetroffenen werden. Es liegt für den Fachmann auf der Hand, dass abhängig von den Eigenschaften der abzutastenden und in eine lineare Liste zu konvertierenden Daten, durch eine optimale Abtastmethode der Bereichsdaten Effizienzen erzielbar sind.
Im Allgemeinen sind zwei Arten von Abtastmethoden vorstellbar: Lineares Abtasten und Abtasten basierend auf einem Prinzip von Bereichsskalierung. Die bevorzugte Ausführungsform der vorliegenden Erfindung benutzt einen Software-Schalter zum Auswählen welche der beiden Abtastmethoden ausgeführt werden soll. Dieser Schalter bestimmt die Eigenschaften der Daten und dann die Ausführung der angemessenen Methode.
Die erste Abtastmethode für die von der Bereichsbestimmung und Bereichscodierung ermittelten Daten ist eine einfache lineare Analyse und Auflistung aller Koeffizienten. Bei dieser Methode werden die Koeffizienten beginnend in der am weitesten links befindlichen Stelle der obersten Reihe der Bereichsdaten und dann Reihe für Reihe, hinab bis zur am weitesten rechts befindlichen Stelle der untersten Reihe, abgetastet. Die Anwendung dieser Methode auf einen bestimmten Bereich ist in 9a dargestellt. Während das lineare Abtasten einfach realisierbar ist, besteht ein schwerwiegendes Problem dieser Methode darin, dass sie die absteigende oder aufsteigende inhärente Ordnung der Daten zerstören kann und deshalb die Kompaktheit des endgültigen resultierenden Datenstromes gefährdet. Dies ist besonders der Fall bei querformatigen Bergrücken oder ähnlich gestalteten Formen. Bei Bereichen mit detaillierten Mustern und sanften Wertänderungen, jedoch, kann lineare Abtastung verhältnismäßig leistungsfähig sein.
Die zweite Abtastmethode für bereichsbasierte Koeffizienten basiert auf dem Prinzip der Bereichsschrumpfung. Diese Methode ist in 9b dargestellt und mathematisch in Algorithmus A62 formuliert: Algorithmus A62:
10 zeigt weiters den Bereichsschrumpfungsprozess. In vielen Fällen wie querformatigen Bergrücken, kann diese Abtastmethode effektiv und leistungsfähig die Ordnung entsprechend der Grössenordnung in den Daten erhalten.
Unabhängig von der Abtastordnung die zur Erzeugung einer linearen Liste L für einen Bereich R benutzt wird, ist ein Sortieren erforderlich um die Ordnung V herzustellen. In der vorliegenden Erfindung wird eine teilweise Ordnung bis zum Grad der führenden Eins Kurve hergestellt. Deshalb wird, unter Verwendung der Liste L = {C1, C2, Cm), d.h. der erzeugten Liste der Zerlegungskoeffizienten, schrittweises Codieren durch den folgenden Algorithmus A620 realisiert:
Algorithmus A620: Schrittweises Sortieren

Schritt 1: Für jedes Element Ci in L, gib das n-te höchstwertige Bit (MSB) von Ci aus.
Schritt 2: Für Elemente mit MSB = 1, gib die Werte folgend dem MSB aus und entferne das Element von L.
Schritt 3: Setze n = n – 1 und gehe zu Schritt 1.

Dieser Algorithmus ordnet teilweise, nicht vollständig, die Liste L bis hin zu Potenzen von zwei. Dies ist ein schrittweiser Prozess zu dem Grad dass die Ausgabedatenliste an jedem beliebigen Punkt abgeschnitten werden kann während der Decoder die wertvollste Information erhalten hat. Abschliessend verlängert er nicht die Liste L: Bei komplettem, verlustfreiem Sortieren von L bleibt die Gesamtlänge der sortierten Ausgabe gleich der von L.
Der Algorithmus A620 besitzt Leistungsschwächen wenn viele Elemente erheblich kleine Werte haben. In dieser Situation wird ein beträchtliches Maß des Bitbudgets verwendet um die Nullen vor der führenden Eins in der Binärdarstellung jedes Elementes aufzuzeichnen. Der folgende Algorithmus verbessert die Leistungsfähigkeit durch Bestimmung und Benutzung eines Schwellwertes „b" um die niedrigen Koeffizientenwerte von jenen mit höheren Werten zu trennen.
Algorithm A621. Zweigeteiltes schrittweises Sortieren

Schritt 1: Für ein vorher bestimmtes b mit 0 <= b <= n, prüfe alle |Ci| in L, wenn Ci kleiner als 2^b übertrage Ci nach L2 sonst nach L1;
Schritt 2: Für L1, führe Algorithmus A620 beginnend mit n aus;
Schritt 3: Für L2, führe Algorithmus A620 beginnend mit b aus.

Es gibt zwei grundlegende Anforderungen an das schrittweise Sortieren: Erstens sollen die Daten in absteigender Ordnung von V wiederhergestellt werden, wenn der vom Sortierprozesses ausgegebene Bitstrom decodiert wird. Zweitens soll der Informationsgehalt in den wiederhergestellten Daten maximal sein, wenn der Bitstrom bei irgendeinem Punkt abreisst sodass nur ein Teil der Daten rekonstruiert wird.
Entropiecodierung
Betrachtet man wieder 1, dann wird offensichtlich, dass der nächste Schritt im System die Entropiecodierung der Daten ist. Entropiecodierung ist ein dem Fachmann gut bekanntes verlustfreies Datenkompressionsverfahren. Es basiert auf der inhärenten Eigenschaft binärer Codes und der Wiederholung gleicher Folgen von Daten. Es basiert auf einer Vorhersagemethode. In der vorliegenden Erfindung werden, wegen der statistischen Eigenschaften der zwei Typen von Daten die aus dem schrittweisen Sortieren der vorliegenden Erfindung resultieren, zwei verschiedene Methoden von Entropiecodierung verwendet. Typ B Daten sind die die die führende Eins Kurve bestimmen, und Typ A Daten sind alle Daten in der Verfeinerungszone unterhalb der führenden Eins Kurve. Wie aus Fig. ? ersichtlich ist ...
Multiplexing
Die Funktionsvielfalt beim Multiplexen im Codiersystem und im Decodiersystem stellt dem Codierer und dem Decodierer eine interaktive Möglichkeit zur flexiblen Steuerung der Bitrate und der Qualität der komprimierten Bilder zur Verfügung.
Die Interaktivität bei der Steuerung des Bitbudgets spiegelt sich in der Tatsache wieder, dass beide, Codierer als auch Decodierer, Kontrolle bei der Bestimmung und Zuweisung des Bitbudgets haben. Ein Basisbitbudget (BBB) wird vereinbart und vom Multiplexer benutzt um die Gesamtanzahl der Bit des komprimierten Bitstroms zu ermitteln. Beim Demultiplexvorgang kann ein Decodierbitbudget (DBB) dazu benutzt werden, um den Bitstrom vor dem Decodieren weiter selektiv zu stutzen.
Die Funktionen des Multiplexers sind in 12 dargestellt und umfassen:

(1) Unter Einhaltung des Basisbitbudget (BBB) zur Codierung des gesamten Bildes, Bestimmung des Bitbudget für jeden Auflösungsgrad und Bereichskanal.
(2) Interleaving der Daten der verschiedenen Kanäle in einen einzigen Bitstrom. Nach der Stutzung, Zusammenpacken der sortierten, gestutzten Daten der verschiedenen Bereiche, Orientierungen und Auflösungsstufen um einen Endbitstrom zu erzeugen. Die Standardordnung beim Packen der Daten, wie in 11 dargestellt, ist: a. Die Daten verschiedener Auflösungsstufen werden von der niedrigsten zur höchsten Auflösung gepackt, d.h. in der Ordnung von Stufe 5 -> Stufe 4 -> Stufe 3 -> Stufe 2 -> Stufe 1. b. Innerhalb gleicher Auflösungsstufen ist sonst keine bevorzugte Ordnung zwischen den drei Orientierungen vereinbart. Als Standard werden die Daten in der Reihenfolge HL -> LH -> HH abgetastet. c. Innerhalb einer bestimmten Orientierung eines bestimmten Auflösungsgrades, werden Bereich von der höchsten Bereichskennung zur niedrigsten Kennung abgetastet.

Nachdem ein komprimierter Bitstrom erzeugt worden ist, wird entsprechend der bevorzugten Ausführungsform der vorliegenden Erfindung, ein Decodierprozess der in der Lage ist das Bild wiederzuerzeugen, in Erwägung gezogen. Abhängig vom Bitbudget und der während der Erzeugung des komprimierten Bitstromes abgearbeiteten Schritte, kann das Originalbild vollständig getreu den Rohbilddaten oder, alternativ, unter Informationsverlust, wiederhergestellt werden.
Um den Multiplexer auf der Codierseite der vorliegenden Systems zu ergänzen, enthält die Decodierseite der vorliegenden Erfindung eine Demultiplexkomponente die in 13 dargestellt ist. Ein weiteres Merkmal der bevorzugten Ausführungsform der vorliegenden Erfindung ist die Fähigkeit des Benutzers am Decodierende des Systems sein eigenes Bitbudget zu bestimmen und möglicherweise die Daten bei einem beliebig gewählten Punkt abzuschneiden. Dieses „Decodierbitbudget" wird vor dem Demultiplexschritt bestimmt und ist in 10 gezeigt.
14 zeigt den Rest der Decodierseite des vorliegenden Systems. Zum größten Teil folgt der Decodierprozess einfach in umgekehrter Reihenfolge den abgearbeiteten Schritten der Codierseite des Systems.
Die Funktionen des Demultiplexers (14) sind:

(1) Entpacken des komprimierten Bitstromes in getrennte Datenlisten, sowie
(2) Anwenden des Decodierbitbudgets (DBB) zum Abschneiden der Datenlisten. Um Anwendungen mit allen Möglichkeiten zum Skalieren räumlicher Region, räumlicher Auflösung, Pixeltreue und räumlicher Orientierung zu versehen, sind Kontrollschemata zur Kontrolle des Bitbudget vorgesehen.

An den Ausführungsformen der vorliegenden Erfindung können verschiedene Abänderungen, Modifikationen und Anpassungen gemacht werden ohne vom Umfang der Erfindung, die in den Patentansprüchen definiert ist, abzuweichen.
ZUSAMMENFASSUNG
Es werden ein bereichsbasiertes System, eine Methode und eine Architektur zur Codierung und Decodierung digitaler Standbilder dargelegt, um einen skalierbaren, beliebig inhaltszugänglichen komprimierten Bitstrom zu erzeugen. Entsprechend dem System werden Rohbildaten in eine Hierarchie multiaufgelöster Unterbilder zerlegt und geordnet. Bereiche von Interesse werden bestimmt. Eine Bereichsmaske wird bestimmt um Bereiche von Interesse festzulegen und dann codiert. Diese Daten werden dann auf der Basis der Größe der multiaufgelösten Koeffizienten sortiert, um den skalierbaren, beliebig inhaltszugänglichen komprimierten Bitstrom zu erzeugen.

Claims

Bereichsbasiertes Verfahren für das Codieren und Decodieren unbewegter digitaler Bilder (10), um einen skalierbaren, inhaltszugänglichen komprimierten Bitstrom (60) zu erzeugen, das die Schritte aufweist: a. Zerlegen und Ordnen der rohen Bilddaten in eine Hierarchie von Multiauflösungsunterbildern (20), wobei die Multiauflösungsunterbilder Multiauflösungskoeffizienten mit einem Betrag bzw. einer Grösse beinhalten, b. Bestimmen der Bereiche von Interesse (30), c. Festlegen einer Bereichsmaske, um die Bereiche von Interesse auf einem ersten Auflösungsgrad (30) zu identifizieren, d. Codieren der Bereichsmasken für Bereiche von Interesse des ersten Auflösungsgrades unter Verwendung von geometrischer schrittweiser Codierung (40), e. Bestimmen und Codieren von Bereichsmasken für nachfolgende Auflösungsgrade, f. Abtasten bzw. Abscannen und schrittweises Sortieren der Bereichsmasken auf der Basis des Betrages bzw. der Größe der Multiauflösungskoeffizienten (50) und g. Konstruieren des komprimierten Bitstroms.
Verfahren nach Anspruch 1, bei dem die Hierarchie von Multiauflösungsunterbildern auf der Basis einer Wavelettransformation zusammengestellt wird.
Verfahren nach Anspruch 1, bei dem die Hierarchie der Multiauflösungsunterbilder auf der Basis einer Fourier-basierten Transformation zusammengestellt wird.
Verfahren nach Anspruch 1, bei dem die Hierarchie von Multiauflösungsunterbildern unter Verwendung von Rohbilddaten zusammengesetzt wird.
Verfahren nach Anspruch 1, bei dem die Bereiche von Interesse mittels eines automatisierten Prozesses bestimmt werden.
Verfahren nach Anspruch 1, bei dem die Bereiche von Interesse mittels einer Benutzerdefinition bestimmt werden.
Verfahren nach Anspruch 1, bei dem die geometrische fortschreitende Codierung eine Fourier-Transformation verwendet.
Verfahren nach Anspruch 1, bei dem die geometrische progressive Codierung eine Wavelettransformation verwendet.
Verfahren nach Anspruch 1, bei dem die bereichsbasierten Daten in einer linearen Art und Weise gescannt bzw. abgetastet werden, um eine Liste von Multiauflösungskoeffizienten zu erzeugen.
Verfahren nach Anspruch 1, bei dem die bereichsbasierten Daten unter Verwendung eines bereichsverkleinernden Protokolls gescannt bzw. abgetastet werden, um eine Liste von Multiauflösungskoeffizienten zu erzeugen.
Verfahren nach Anspruch 1, bei dem die Liste von Multiauflösungskoeffizienten sortiert wird unter Verwendung eines fortschreitenden, teilweise sortierten Regimes.
Verfahren nach Anspruch 1, bei dem die Liste von MultIauflösungskoeffizienten unter Verwendung eines fortschreitend sortierten Regimes sortiert wird unter Verwendung von Daten, die auf der Basis eines vorbestimmten Abschnitts geteilt sind.
Verfahren nach Anspruch 1, das weiterhin den Schritt eines Softwareschalters, der das optimale Verfahren der Entropiecodierung bestimmt, aufweist.
Verfahren nach Anspruch 1, das weiterhin den Schritt eines Multiplexingprotokolls, das die komprimierten Daten von unterschiedlichen Bereichen und Auflösungskanälen in einen integrierten Bitstrom zusammensetzt, aufweist, was sowohl den Codierer als auch den Decodierer in die Lage versetzt, das Bitbudget und die Qualität der komprimierten Bilder selektiv und interaktiv zu steuern.
Vorrichtung für die bereichsbasierte Codierung und Decodierung von unbewegten digitalen Bildern, die einen skalierbaren, inhaltsabrufbaren komprimierten Bitstrom erzeugt und aufweist: a. eine Einrichtung für das Zerlegen und Ordnen der Rohbilddaten in eine Hierarchie von Multiauflösungsunterbildem, wobei die Multiauflösungsunterbilder Multiauflösungskoeffizienten mit einer Größe bzw. einem Betrag beinhalten, b. eine Einrichtung für das Bestimmen von Bereichen von Interesse, c. eine Einrichtung für das Festlegen einer Bereichsmaske, um Bereiche von Interesse eines ersten Auflösungsgrades zu identifizieren, d. eine Einrichtung für das Codieren von Bereichsmasken für Bereiche von Interesse des ersten Auflösungsgrades unter Verwendung von geometrischer fortschreitender Codierung, e. eine Einrichtung für das Bestimmen und das Codieren von Bereichsmasken für nachfolgende Auflösungsgrade, f. eine Einrichtung für das Scannen und fortschreitende Sortieren der codierten Bereichsmasken auf der Basis der Größe der Multiauflösungskoeffizienten und g. eine Einrichtung für das Konstruieren des komprimierten Bitstroms.
Vorrichtung nach Anspruch 15, bei der die Hierarchie der Multiauflösungsunterbilder unter Verwendung einer Wavelettransformation zusammengesetzt wird.
Vorrichtung nach Anspruch 15, bei der die Hierarchie der Multiauflösungsunterbilder unter Verwendung einer Fourier-basierten Transformation zusammengesetzt wird.
Vorrichtung nach Anspruch 15, bei der die Hierarchie von Multiauflösungsunterbildern unter Verwendung von Rohbilddaten zusammengesetzt wird.
Vorrichtung nach Anspruch 15, bei der Bereiche von Interesse mittels eines automatisierten Prozesses bestimmt werden.
Vorrichtung nach Anspruch 15, bei der Bereiche von Interesse durch einen Benutzer bestimmt werden.
Vorrichtung nach Anspruch 15, bei der die geometrische fortschreitende Codierung eine Fourier-Transformation verwendet.
Vorrichtung nach Anspruch 15, bei der die geometrische fortschreitende Codierung eine Wavelettransformation verwendet.
Vorrichtung nach Anspruch 15, wobei die bereichsbasierten Daten in einer linearen Art und Weise gescannt werden, um eine Liste von Multiauflösungskoeffizienten zu erzeugen.
Vorrichtung nach Anspruch 15, in der bereichsbasierte Daten unter Verwendung eines bereichsverkleinernden Protokolls gescannt werden, um eine Liste von Multiauflösungskoeffizienten zu erzeugen.
Vorrichtung nach Anspruch 15, bei der die Liste von Multiauflösungskoeffizienten sortiert wird unter Verwendung eines progressiven teilweise sortierten Regimes.
Vorrichtung nach Anspruch 15, bei der die Liste von Multiauflösungskoeffizienten sortiert wird unter Verwendung eines fortschreitenden Sortierregimes unter Verwendung von Daten, die auf Basis einer vorbestimmten Partition aufgeteilt sind.
Vorrichtung nach Anspruch 15, die einen Softwareschalter bei der Bestimmung der optimalen Einrichtung der Entropiecodierung verwendet.
Vorrichtung nach Anspruch 15, die weiterhin eine Multiplexeinrichtung aufweist, die die komprimierten Daten von unterschiedlichen Bereichen und Auflösungskanälen in einen integrierten Bitstrom zusammensetzt, was sowohl den Codierer als auch den Decodierer in die Lage versetzt, das Bitbudget und die Qualität der komprimierten Bilder selektiv und interaktiv zu steuern.