DE60310128T2

DE60310128T2 - Verfahren zur wavelet-bildcodierung und entsprechendes decodierungsverfahren

Info

Publication number: DE60310128T2
Application number: DE60310128T
Authority: DE
Inventors: Sebastien Brangoulo; Patrick Gioia; Nathalie Laurent
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2002-12-20
Filing date: 2003-12-19
Publication date: 2007-09-27
Anticipated expiration: 2023-12-20
Also published as: AU2003299385A1; JP5022471B2; CN100588252C; CN1729694A; FR2849329A1; EP1574068B1; WO2004059982A1; EP1574068A1; JP2010206822A; ATE347233T1; JP2006511175A; US20060146182A1; ES2278223T3; BR0317316A; DE60310128D1

Description

Das Gebiet der Erfindung ist dasjenige der Codierung von Steh- oder Bewegtbildern, und besonders, aber nicht ausschließlich, der Codierung von aufeinander folgenden Bildern einer Videosequenz. Genauer gesagt, betrifft die Erfindung eine Codier-/Decodiertechnik von Bildern, denen eine Vernetzung zugeordnet ist, und die eine so genannte "Wavelets"-Methode anwendet. Die Erfindung betrifft insbesondere, aber nicht ausschließlich, die Wavelets der zweiten Generation, die besonders in dem Dokument von Wim Sweldens mit dem Titel "The Lifting Scheme: A Construction of Second Generation Wavelets" (deutsch: "Das Lifting-Schema: eine Konstruktion von Wavelets der zweiten Generation"), SIAM Journal on Mathematical Analysis, Volume 29, Nummer 2, Seiten 511-546, 1998 präsentiert werden.
Mit der Entwicklung neuer Übertragungsnetze (xDSL, Mobilstationen mit GPRS und mit UMTS usw.) müssen die Techniken der Bildcodierung und der Komprimierung von digitalen Videos sich an die Vielfältigkeit der Netze sowie an die möglichen Schwankungen der Dienstqualität (QoS) im Lauf der Zeit anpassen. Die Berücksichtigung aller dieser Faktoren auf der Ebene der Codierung von Steh- oder Bewegtbildern muss es erlauben, dem Endbenutzer eine optimale visuelle Qualität zu liefern.
Es sind heute mehrere Techniken der Bildcodierung bekannt, wie die Techniken der Codierung durch zeitliche Vorhersage und diskrete Cosinus-Transformationen basierend auf einer Blockstruktur, wie sie von den Normungsinstituten ISO/MPEG (englisch: "International Organization for Standardization/Moving Picture Coding Expert Group", deutsch: "Internationale Standardisierungsorganisation/Expertengruppe für die Codierung von Bewegtbildern") und/oder ITU-T (englisch: "International Telecommunication Union-Telecommunication Standardization Sector", deutsch: "Internationale Fernmelde-Union-Fernmelde-Standardisierungssektor") vorgeschlagen werden.
Es sind ebenfalls proprietäre Codiertechniken, die auf einer Codierung durch DCT-Transformation an Blöcken beruhen (Microsoft mit Windows Media, RealMedia mit Real One, Divx (eingetragene Warenzeichen), usw.), oder auch bestimmte Codiertechniken durch Wavelets oder Vernetzungen bekannt, wie sie insbesondere in den französischen Patentanmeldungen Nr. 2 781 907 mit dem Titel "Procédé de codage d'un maillage source tenant compte des discontinuités, et applications correspondantes" (Verfahren zur Codierung einer Quellenvernetzung unter Berücksichtigung der Unstetigkeiten, und entsprechende Anwendungen) und Nr. 2 825 855 mit dem Titel "Procédés et dispositifs de codage et de décodage d'images mettant en oeuvre des maillages emboîtés, programme, signal et applications correspondantes" (Verfahren und Vorrichtungen zur Codierung und Decodierung, die verschachtelte Vernetzungen verwenden, Programm, Signal und entsprechende Anwendungen) im Namen des gleichen Anmelders wie die vorliegende Patentanmeldung, die eine hierarchische Vernetzung anwenden, die eine Gruppe von Knoten und ausgerichteten Seiten definiert, die mit Hilfe von Wavelets codiert ist, oder auch in der Patentschrift US 6,236,757 angegeben werden, die eine adaptive Bildcodiermethode vorschlägt, die darin besteht, ein Bild in Segmente aufzuteilen (die rechteckig sein oder einem Unterbereich beliebiger Form des Bilds entsprechen können) und jedes Bildsegment einem Wavelet-Transformation-Filter der ersten Generation zuordnen, das aus einer Bank von Filtern ausgewählt wird, die an verschiedene Typen von Bildinhalten angepasst sind (vorstehende Ränder, sich langsam verändernde Konturen, ...), auf der Basis einer Vernetzung vom Typ quaternärer Baum, im Englischen auch "Quadtree" genannt.
Diese verschiedenen bekannten Techniken der Bildcodierung haben aber viele Nachteile, insbesondere bei den Anwendungen oder den Übertragungsnetzen mit sehr niedrigem Durchsatz.
So führen die auf Blöcken basierenden Codiertechniken zum Auftreten starker Effekte oder Artefakte, die die visuelle Qualität der Bildwiedergabe stark verringern. Von den Codierungen vom Typ MPEG-4 oder ITU-T/H.263 wird nun angenommen, dass sie ihre Grenzen erreicht haben, insbesondere aufgrund der Struktur von starren Blöcken mit festgelegter Größe, die als Träger der Gesamtheit der Berechnungen und Codieroperationen verwendet werden. Ebenso ergibt bei den Wavelets verwendenden Techniken eine Überschwingungswirkung, im Englischen auch "ringing" genannt, eine verschwommene Wiedergabe, sowie den für den Benutzer sehr unangenehmen Eindruck, das Wavelet auf dem Bild zu "sehen".
Eine Technik der Bearbeitung der visuellen Beeinträchtigungen aufgrund der Überschwingungen entlang der Konturen eines Bilds, die an die Bildcodierung und -komprimierung anwendbar ist, wird insbesondere in dem Dokument "high compression image coding using an adaptative morphological subband decomposition", Egger et al., proceedings of the IEEE, New York, Vol. 83, Nr. 2, 1. Februar 1995, Seiten 272-287 vorgestellt.
Diese Technik der Bildkomprimierung beruht auf einer adaptiven Zerlegung des Bilds in Unterbänder und auf der selektiven Anwendung von linearen Filtern in den texturierten Zonen des Bilds und von morphologischen Filtern in den anderen Zonen.
Für die Anwendungen oder die Übertragungsnetze mit höheren Durchsätzen ermöglichen es diese verschiedenen Techniken nicht, die Wirksamkeitsgrenze der Codierung zu erreichen.
Schließlich erlaubt es keine dieser Techniken des Stands der Technik, die Codierung eines Bilds unter Berücksichtigung der intrinsischen Eigenschaften dieses Bilds zu optimieren.
Außerdem wird im Rahmen der Codierung von Videosequenzen und mit dem Bemühen, das Volumen von übertragenen und codierten Daten zu verringern, häufig so vorgegangen, dass ein Fehlerbild berechnet wird, wie die Subtraktion eines Originalbilds der Sequenz und eines interpolierten, oder durch Schätzung/Kompensation der Bewegung bestimmten Bilds. Man kann sich zum Beispiel auf die französische Patentanmeldung Nr. 00 10917 mit dem Titel "Procédé de construction d'au moins une image interpolée entre deux images d'une sequence animée, procédés de codage et de décodage, signal et support de données correspondants" (Verfahren zur Konstruktion mindestens eines interpolierten Bilds zwischen zwei Bildern einer Bewegtsequenz, Codier- und Decodierverfahren, entsprechendes Signal und Datenträger) im Namen des gleichen Anmelders wie die vorliegende Patentanmeldung beziehen.
Keine der bekannten Codiertechniken ist aber an den spezifischen Inhalt solcher Fehlerbilder angepasst, die im Allgemeinen nur hohe Frequenzen enthalten, wie Konturen, Texturen oder auch Singularitäten.
Die Erfindung hat insbesondere zum Ziel, diese Nachteile des Stands der Technik zu beseitigen.
Genauer gesagt, ist es ein Ziel der Erfindung, eine Technik der Codierung von Stehbildern oder Bewegtbildern anzugeben, die es ermöglicht, das Ergebnis der Codierung im Vergleich mit den Techniken des Stands der Technik zu optimieren.
Es ist ein weiteres Ziel der Erfindung, eine Technik anzuwenden, die es ermöglicht, das Volumen der aus der Codierung hervorgehenden und somit ggf. von einem Kommunikationsnetz bis zur Decodier- und Bildwiedergabevorrichtung übertragenen Daten zu reduzieren.
Die Erfindung hat ebenfalls zum Ziel, eine Technik anzuwenden, die "abstufbar" ist, d.h., die sich an die Schwankungen der Übertragungsnetze anpasst, und insbesondere an die Durchsatzveränderungen solcher Netze.
Die Erfindung hat auch zum Ziel, eine Technik anzugeben, die eine Übertragung der Codierinformationen eines Bilds oder einer Bildsequenz mit niedrigem Durchsatz erlaubt.
Es ist ein weiteres Ziel der Erfindung, eine Technik anzuwenden, die es ermöglicht, eine gute visuelle Wiedergabequalität des codierten Bilds, und insbesondere der Unstetigkeitszonen dieses Bilds, zu erreichen.
Die Erfindung hat ebenfalls zum Ziel, eine Technik anzugeben, die gut an die Codierung von Fehlerbildern angepasst ist.
Die Erfindung hat noch zum Ziel, eine Technik anzugeben, die einfach und kostengünstig anwendbar ist.
Diese Ziele sowie weitere, die aus der nachfolgenden Beschreibung hervorgehen, werden mit Hilfe eines Verfahrens zur Codierung eines Bilds erreicht, dem eine hierarchische Vernetzung zugeordnet ist, das eine Wavelet-Codierung der Vernetzung anwendet.
Erfindungsgemäß verwendet ein solches Codierverfahren mindestens zwei Typen von Wavelets, die selektiv an unterschiedliche Zonen des Bilds angewendet werden.
So beruht die Erfindung auf einer völlig neuen und erfinderischen Vorgehensweise bei der Codierung von Stehbildern oder Bewegtbildern, und insbesondere bei der Codierung von Bildern einer Videosequenz. Die Erfindung schlägt nämlich nicht nur vor, die Bilder gemäß der innovativen Technik der Wavelets, und insbesondere der Wavelets der zweiten Generation, wie sie von W. Dahmen ("Decomposition of refinable spaces and applications to operator equations", Numer. Algor., N°5, 1993, Seiten 229-245, deutsch: "Zerlegung von Räumen, die verfeinert werden können, und Anwendungen auf die Operator-Gleichungen") und J.M. Carnicer, W. Dahmen und J.M. Pena ("Local decomposition of refinable spaces" Appl. Comp. Harm. Anal. 3, 1996, Seiten 127-153, deutsch: "Lokale Zerlegung von verfeinerbaren Räumen") eingeführt wurden, zu codieren, sondern auch, eine solche Codierung zu optimieren, indem unterschiedliche Wavelettypen an unterschiedliche Zonen des Bilds angewendet werden.
Die Erfinder der vorliegenden Patentanmeldung haben nämlich festgestellt, dass die verschiedenen existierenden Wavelettypen unterschiedliche Codiereigenschaften haben. Sie haben also die Idee gehabt, diese verschiedenen Eigenschaften zu nutzen, indem sie an verschiedene Zonen eines Bilds den Wavelettyp anwenden, dessen Codiereigenschaften am besten für den Inhalt jeder der Zonen geeignet sind.
So wird die globale Codierung des Bilds optimiert, indem die Wavelet-Codierung an Bereiche des Bilds mit unterschiedlichen Eigenschaften angepasst wird, und indem gegebenenfalls mehrere unterschiedliche Wavelettypen für die Codierung des gleichen Bilds verwendet werden.
Vorzugsweise weist ein solches Codierverfahren die folgenden Schritte auf:

– einen Schritt der Aufteilung des Bilds in mindestens zwei Zonen unterschiedlicher Beschaffenheit, wobei die Beschaffenheit einer Zone von mindestens einem charakteristischen Parameter der Vernetzung in der Zone abhängt;
– für jede der Zonen, einen Schritt der Zuordnung, zumindest in Abhängigkeit von der Beschaffenheit, eines Wavelettyps, der es ermöglicht, die Codierung der Vernetzung der Zone zu optimieren.

Es ist klar, dass in dem Fall, in dem das Bild homogen ist, insofern als alle Zonen dieses Bilds von gleicher Beschaffenheit sind, das Bild nicht aufgeteilt wird, sondern direkt die Zuordnung des Wavelettyps zum gesamten Bild durchgeführt wird, der es ermöglicht, die Codierung des Bilds in seiner Vollständigkeit zu optimieren.
Vorteilhafterweise berücksichtigt der charakteristische Parameter der Vernetzung die Dichte der Vernetzung in der Zone.
Die Dichte der Vernetzung an einem Punkt der Zone und in einem diesen Punkt enthaltenden Bereich ermöglicht es nämlich zum Beispiel zu bestimmen, ob die betrachtete Zone eine Texturzone, eine Konturzone oder eine Singularitätszone ist, wie nachfolgend in diesem Dokument ausführlicher beschrieben werden wird.
Gemäß einem vorteilhaften Merkmal der Erfindung gehört die Beschaffenheit der Zone zu der Gruppe, die umfasst:

– mindestens einen Texturtyp;
– mindestens einen Konturtyp;
– mindestens einen Singularitätstyp;
– mindestens einen Farbtyp;
– mindestens einen Formtyp.

Gemäß einem bevorzugten Merkmal der Erfindung gehören die Wavelettypen zu der Gruppe, die umfasst:

– die Loop-Wavelets;
– die Butterfly-Wavelets;
– die Catmull-Clark-Wavelets;
– die verfeinerten Wavelets.

Es ist dem Fachmann leicht verständlich, dass die Erfindung nicht nur auf die oben angegebenen Wavelettypen beschränkt ist, die nur zur Veranschaulichung angegeben werden.
Vorteilhafterweise weist ein solches Codierverfahren für jede der Zonen einen Schritt der Anwendung von Koeffizienten des Wavelettyps an die Vernetzung auf, der der Zone zugeordnet ist, unter Berücksichtigung eines Skalarwerts, der der Vernetzung an einem Aktualisierungspunkt der Zone zugeordnet ist, und des Skalarwerts, der der Vernetzung an zumindest bestimmten Punkten nahe dem Aktualisierungspunkt zugeordnet ist.
Vorzugsweise stellt der Skalarwert einen Parameter der Vernetzung dar, der zu der Gruppe gehört, die umfasst:

– die Luminanz der Vernetzung;
– mindestens eine Chrominanzkomponente der Vernetzung.

So platziert man sich zum Beispiel an den Anwendungspunkt der Vernetzung (oder Aktualisierungspunkt) und betrachtet eine Komponente der Chrominanz an diesem Punkt. Dann untersucht man den Wert dieser Chrominanzkomponente an den diesem Aktualisierungspunkt benachbarten Punkten, um dementsprechend die Waveletkoeffizienten (durch Gewichtung) anzuwenden, wie es nachfolgend in Zusammenhang mit den 7a bis 7d ausführlicher dargelegt wird.
Vorzugsweise enthält ein solches Codierverfahren außerdem einen Schritt der Codierung der Waveletkoeffizienten, der eine Technik anwendet, die zu der Gruppe gehört, die umfasst:

– eine Technik vom Typ Zero-Tree;
– eine Technik vom Typ EBCOT.

Da das Bild zu einer Sequenz von aufeinander folgenden Bildern gehört, weist das Verfahren vorteilhafterweise außerdem einen Schritt des Vergleichs der Waveletkoeffizienten des Bilds mit den Waveletkoeffizienten mindestens eines vorhergehenden oder nachfolgenden Bilds der Sequenz auf, um zu vemeiden, dass der Codierschritt für Waveletkoeffizienten des Bilds angewendet wird, die gleich denjenigen des vorhergehenden oder nachfolgenden Bilds sind.
So wird das Volumen der übertragenen Daten reduziert, was im Fall von Übertragungsnetzen mit niedrigem Durchsatz oder bei den Wiedergabe-Endgeräten geringer Kapazität besonders vorteilhaft ist. Für die Waveletkoeffizienten gleich den vorher für ein anderes Bild übertragenen Koeffizienten kann man sich damit begnügen, eine Gruppe von Nullen sowie eine Referenz zu übertragen, die es ermöglicht anzugeben, wo die Waveletkoeffizienten gefunden werden können (zum Beispiel eine Referenz auf das vorhergehende Bild, für das diese Koeffizienten bereits von der Decodiervorrichtung empfangen wurden).
Vorteilhafterweise ermöglicht es ein solches Codierverfahren, eine Sequenz von aufeinander folgenden Bildern zu codieren, und das Bild ist ein Fehlerbild, das durch Vergleich eines Originalbilds der Sequenz mit einem durch Bewegungsschätzung und -kompensation konstruierten Bild erhalten wird, wobei das Bild mindestens einen zu codierenden Fehlerbereich und ggf. mindestens einen im Wesentlichen leeren Bereich aufweist.
Wenn das Originalbild dem geschätzten Bild absolut gleich ist, ist das Fehlerbild natürlich leer und weist folglich keinen zu codierenden Fehlerbereich auf. Umgekehrt, wenn das Originalbild sich von dem geschätzten Bild in jedem Punkt unterscheidet, weist das Fehlerbild keinen leeren Bereich auf.
Vorzugsweise weist der Aufteilungsschritt einen Schritt der Erfassung der Fehlerbereiche des Bilds durch Schwellwertbildung auf, der es ermöglicht, mindestens einen Bereich des Bilds zu bestimmen, der einen größeren Fehler als ein vorbestimmter Schwellwert aufweist.
Dieser Schwellwert kann in Abhängigkeit von den Zwängen der Anwendung oder des betrachteten Übertragungsnetzes oder auch in Abhängigkeit von der Wiedergabequalität parametriert werden, die man erhalten möchte.
Gemäß einer ersten vorteilhaften Ausführungsvariante der Erfindung weist der Aufteilungsschritt ebenfalls einen Schritt der Umgruppierung mindestens mancher der erfassten Fehlerbereiche in Blöcke von parallelepipedischer Form auf.
Vorzugsweise weist der Aufteilungsschritt einen Schritt der Erzeugung der Zonen des Bilds in Form von Einheiten von Blöcken gleicher Beschaffenheit auf.
So wird die gleiche Waveletverarbeitung an alle Blöcke gleicher Beschaffenheit des Bilds angewendet, selbst wenn diese Blöcke innerhalb des Bilds voneinander entfernt sind.
Gemäß einer zweiten vorteilhaften Ausführungsform der Erfindung weist der Aufteilungsschritt einen Schritt der Erzeugung der Zonen des Bilds ausgehend von den erfassten Fehlerbereichen auf, der eine Technik vom Typ Quadtree anwendet.
Die Erfindung betrifft ebenfalls ein Verfahren zur Decodierung eines Bilds, dem eine durch Wavelets codierte hierarchische Vernetzung zugeordnet ist, das eine selektive Decodierung von unterschiedlichen Zonen des Bilds in Abhängigkeit von Informationen bezüglich eines Wavelettyps anwendet, der der Codierung der Vernetzung jeder der Zonen zugeteilt ist.
Da das Bild während der Codierung in mindestens zwei Zonen unterschiedlicher Beschaffenheit aufgeteilt wurde, und da die Beschaffenheit einer Zone mindestens von einem charakteristischen Parameter der Vernetzung in der Zone abhängt, weist das erfindungsgemäße Decodierverfahren die folgenden Schritte auf:

– einen Schritt des Extrahierens aus einem für das codierte Bild repräsentativen Datenfluss von Informationen bezüglich des Wavelettyps, der der Codierung der Vernetzung jeder der Zonen zugeteilt ist;
– für jede der Zonen einen Decodierschritt der Vernetzung der Zone in Abhängigkeit von solchen Informationen.

Die Erfindung betrifft auch eine Vorrichtung zur Codierung eines Bilds, dem eine hierarchische Vernetzung zugeordnet ist, die Mittel zur Codierung der Vernetzung durch Wavelets anwendet, und die Mittel zur selektiven Anwendung von mindestens zwei Wavelettypen an unterschiedliche Zonen des Bilds aufweist.
Die erfindungsgemäße Codiervorrichtung weist also die folgenden Mittel auf:

– Mittel zur Aufteilung des Bilds in mindestens zwei Zonen unterschiedlicher Beschaffenheit, wobei die Beschaffenheit einer Zone von mindestens einem charakteristischen Parameter der Vernetzung in der Zone abhängt;
– für jede der Zonen angewendete Mittel der Zuweisung, in Abhängigkeit von der Beschaffenheit der Zone, mindestens eines Wavelettyps, der es ermöglicht, die Codierung der Vernetzung der Zone zu optimieren.

Die Erfindung betrifft auch eine Vorrichtung zur Decodierung eines Bilds, dem eine durch Wavelets codierte hierarchische Vernetzung zugeordnet ist, die Mittel zur selektiven Decodierung unterschiedlicher Zonen des Bilds in Abhängigkeit von Informationen bezüglich eines Typs von Wavelets aufweist, der der Codierung der Vernetzung jeder der Zonen zugeordnet ist.
Da das Bild bei der Codierung in mindestens zwei Zonen unterschiedlicher Beschaffenheit aufgeteilt wurde, und da die Beschaffenheit einer Zone von mindestens einem charakteristischen Parameter der Vernetzung in der Zone abhängt, weist die erfindungsgemäße Decodiervorrichtung also die folgenden Mittel auf:

– Mittel zum Extrahieren aus einem für das codierte Bild repräsentativen Datenfluss von Informationen bezüglich eines Wavelettyps, der der Codierung der Vernetzung jeder der Zonen zugeteilt ist;
– für jede der Zonen Mittel zum Decodieren der Vernetzung der Zone in Abhängigkeit von solchen Informationen.

Die Erfindung betrifft ebenfalls ein Signal, das für ein Bild repräsentativ ist, dem eine hierarchische Vernetzung zugeordnet ist, die durch Wavelets codiert ist. Da beim Codieren mindestens zwei Typen von Wavelets selektiv an unterschiedliche Zonen des Bilds angewendet wurden, überträgt ein solches Signal erfindungsgemäß Informationen bezüglich des Wavelettyps, der der Codierung der Vernetzung jeder der Zonen zugeordnet ist.
Da das Bild bei der Codierung in mindestens zwei Zonen von unterschiedlicher Beschaffenheit aufgeteilt wurde, und da die Beschaffenheit einer Zone von mindestens einem charakteristischen Parameter der Vernetzung in der Zone abhängt, übertragt das erfindungsgemäße Signal also Informationen bezüglich eines Wavelettyps, der der Codierung der Vernetzung jeder der Zonen zugeordnet ist.
Vorteilhafterweise ist ein solches Signal in Form von Paketen strukturiert, die je einer der Zonen des Bilds zugeordnet sind, wobei jedes der Pakete die folgenden Felder aufweist:

– ein einen Paketanfang anzeigendes Feld;
– ein eine Kennung des Pakets übertragendes Feld;
– ein Informations-Vorspannfeld (englisch: "information header");
– ein Feld, das die Informationen bezüglich des Wavelettyps enthält, der der Zone zugeordnet ist;
– ein Feld, das Waveletkoeffizienten enthält, die an die Vernetzung der Zone angewendet werden;
– ein Feld bezüglich der Form der Vernetzung des Bilds;
– ein ein Paketende anzeigendes Feld.

Vorzugsweise weist das Informations-Vorspannfeld auf:

– ein Unterfeld bezüglich der Anzahl von Waveletkoeffizienten der Zone;
– ein Unterfeld, das die Zone des Bilds in Abhängigkeit von der Form der Vernetzung anzeigt;
– ein Unterfeld bezüglich der Anzahl von Bitebenen, die für die Waveletkoeffizienten angewendet werden.

Die Erfindung betrifft noch die Anwendung des oben beschriebenen Codierverfahrens und Decodierverfahrens auf mindestens eine der Domänen, die zur folgenden Gruppe gehören:

– das Video-"Streaming" (deutsch: "Senden eines Videoflusses");
– die Speicherung der Videos;
– die Videokonferenz;
– das Video auf Wunsch (englisch: VOD für "Video On Demand");
– die Videomails.

Weitere Merkmale und Vorteile der Erfindung gehen klarer aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform, die als einfaches veranschaulichendes und nicht einschränkendes Beispiel angegeben wird, und den beiliegenden Zeichnungen hervor. Es zeigen:
die 1a und 1b die allgemeinen Schaltbilder einer Lifting-Zerlegung, wie sie insbesondere von W. Sweldens "The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions", Proc. SPIE 2529, 1995, Seiten 68-69 (deutsch: Das "Lifting"-Schema: eine neue Philosophie für bi-orthogonale Wavelet-Konstruktionen") beschrieben wird;
2 das allgemeine Prinzip der Erfindung, das auf der Wahl von Transformationen durch Wavelets beruht, die an die Eigenschaften verschiedener Zonen eines Bilds angepasst sind;
3 das Prinzip der Aufteilung des Bilds der 2 in verschiedene Zonen gemäß einer Technik vom Typ Quadtree, wenn das Bild ein Fehlerbild ist;
4 ein Beispiel einer regelmäßigen dichten Vernetzung, die an ein Bild gemäß der Erfindung angewendet wird;
die 5a bis 5g verschiedene Schritte der Unterteilung der Vernetzung eines Bilds, die im Rahmen der Erfindung angewendet werden;
6 das Prinzip der Verwaltung der Ränder im Rahmen der Erfindung;
die 7a bis 7d die verschiedenen Grundmuster von Wavelets, die an die verschiedenen Zonen eines erfindungsgemäßen Bilds angewendet werden können.
Das allgemeine Prinzip der Erfindung beruht auf der Anwendung von verschiedenen Wavelettypen, und insbesondere von Wavelets der zweiten Generation, an verschiedene Zonen eines Bilds, um die globale Codierung des Bilds zu optimieren, indem ein Wavelettyp gewählt wird, dessen Codiereigenschaften an den Inhalt der betrachteten Zone angepasst sind.
Vor der Beschreibung einer detaillierten Ausführungsform der Erfindung wird zunächst kurz auf die Videocodierung sowie die Begriffe der Vernetzung, des Lifting und der Wavelets der zweiten Generation eingegangen. Die Erfindung kann nämlich insbesondere im allgemeinen Kontext der Codierung einer Videosequenz angewendet werden, die auf diesen verschiedenen Begriffen beruht.
Das allgemeine Prinzip der Videocodierung, das zum Beispiel in dem Dokument ISO/IEC (ITU-T SG8) JTC1/SC29 WG1 (JPEG/JBIG), JPEG2000 Part I Final Committee Draft, Document N1646R, März 2000 beschrieben wird, besteht darin, ein digitales Video in Form einer Folge von in der YUV-Ebene (Luminanz/Chrominanz r/Chrominanz b) dargestellten Bildern zu beschreiben, die auf verschiedene Weise abgetastet werden (4:4:4/4:2:2/4:2:0 ...). Das Codiersystem besteht darin, diese Darstellung unter Berücksichtigung der räumlichen und zeitlichen Redundanzen in den aufeinander folgenden Bildern zu ändern. Man wendet also Transformationen (zum Beispiel vom Typ DCT oder Wavelets) an, um eine Serie von untereinander abhängigen Bildern zu erhalten.
Diese Bilder werden in der Reihenfolge I/B/P "geordnet", in der jeder Bildtyp genau bestimmte Eigenschaften hat. Die Bilder I, auch "Intra"-Bilder genannt, werden in gleicher Weise codiert wie Stehbilder und dienen als Referenz für die anderen Bilder der Sequenz. Die Bilder P, auch "vorhergesagte" Bilder genannt, enthalten zwei Typen von Informationen: eine bewegungskompensierte Fehlerinformation und die Bewegungsvektoren. Diese beiden Informationen werden von einem oder mehreren vorhergehenden Bildern abgeleitet, die vom Typ I oder vom Typ P sein können. Die Bilder B, auch "bidirektionale" Bilder genannt, enthalten auch diese beiden Informationen, basieren aber auf zwei Referenzen, nämlich einer hinteren Referenz und einer vorderen Referenz, die vom Typ I oder vom Typ P sein können.
Dann genügt es, in klassischer Weise das in üblicher Weise codierte Intra-Bild "I" und dann die Bewegungsvektoren und die Fehler bezüglich jedes aufeinander folgenden Bilds zu übertragen, um die Vollständigkeit der betrachteten Videosequenz wiederherstellen zu können.
Die bekannten Techniken der Codierung von Stehbildern oder von Videosequenzen beruhen ebenfalls auf der Verwendung von hierarchischen Vernetzungen, die man den zu codierenden Bildern zuordnet. So sei ein Stehbild in Betracht gezogen, das zum Beispiel in Graupegeln codiert ist. Das Bild kann als eine diskretisierte Darstellung einer parametrischen Fläche betrachtet werden. Man kann also entweder auf eine Zone des Bilds oder auf das ganze Bild eine beliebige Vernetzung anwenden. Durch hierarchische Unterteilung (die adaptiv sein kann oder nicht) lässt man diese Vernetzung regelmäßig oder unregelmäßig fortschreiten. Man verfügt so über eine "Hierarchie", indem man die Vernetzung nur in die Bereiche des Bilds unterteilt, in denen der berechnete Fehler höher als ein vorbestimmter Schwellwert ist. Eine allgemeine Übersicht der Techniken auf der Basis von Vernetzungen wird ebenfalls in dem Dokument ISO/IEC (ITU-T SG8) JTC1/SC29 WGl (JPEG/JBIG), JPEG2000 Part 1 Final Committee Draft, Document N1646R, März 2000 angegeben.
Bestimmte Techniken der Bildcodierung beruhen ebenfalls auf einer besonderen Wavelet-Zerlegungsmethode, "Lifting" genannt, die insbesondere von W. Sweldens "The Lifting Scheme: A New Philosophy in Bi Orthogonal Wavelets Constructions", Proc. SPIE 2529, 1995, Seiten 68-69 (Deutsch: "Das "Lifting"-Schema: eine neue Philosophie für bi-orthogonale Wavelet-Konstruktionen") beschrieben wird. Das Lifting ist seit kurzem bekannt und setzt sich als eine einfachere und schnellere Methode der Waveletzerlegung als die übliche, konvolutive Methode durch. Es ermöglicht eine einfache Rekonstruktion durch einfache Zeilen/Spalten-Operationen an der Analysematrix.
In Zusammenhang mit den 1a und 1b werden die allgemeinen Grundmuster der "Lifting"-Zerlegung sowie die Form der zugehörigen mehrphasigen Matrix dargelegt.
Die allgemeine Methode besteht darin, das Signal in 2 gerade Tastproben 12 und ungerade Tastproben 13 zu teilen 11 und die ungeraden Tastproben in Abhängigkeit von den geraden Tastproben vorherzusagen. Wenn die Vorhersage durchgeführt ist, wird eine Aktualisierung des Signals ausgeführt, um seine Anfangseigenschaften zu wahren. Dieser Algorithmus kann so oft wie gewünscht wiederholt werden. Die Darstellung durch Lifting führt zu dem Begriff der mehrphasigen Matrix, die die Analyse 14 und die Synthese 15 des Signals erlaubt.
1b zeigt genauer das "Lifting"-Schema verkettet mit der mehrphasigen Matrix P(z), derart, dass:
wobei s_i(z) und t_i(z) zwei Laurent-Polynome und A und B Normalisierungskoeffizienten sind.
Es wird schließlich daran erinnert, dass die Wavelets der zweiten Generation, die insbesondere im Rahmen der vorliegenden Erfindung angewendet werden können, eine neue Transformation darstellen, die aus der Welt der Mathematik stammt.
Diese Transformation wurde zuerst von W. Dahmen ("Decomposition of refinable spaces and applications to operator equations, Numer. Algor., Nr. 5, 1993, Seiten 229-245, deutsch: "Zerlegung von verfeinerbaren Räumen und Anwendungen an Operatorgleichungen") und J.M. Carnicer, W. Dahmen und J.M. Pena ("Local decomposition of refinable spaces", Appl. Comp. Harm. Anal. 3, 1996, Seiten 127-153, deutsch: "Lokale Zerlegung von verfeinerbaren Räumen") eingeführt und dann von W. Sweldens ("The Lifting Scheme: A Construction of Second Generation Wavelets", Nov 1996, SIAM Journal on Mathematical Analysis, deutsch: "Das "Lifting"-Schema: eine Konstruktion von Wavelets der zweiten Generation") und W. Sweldens & P. Schröder ("Building Your Own Wavelet at Home", Chapter 2, Technical report 1995, Industrial Mathematics Initiative, deutsch: "Konstruieren Sie Ihre eigenen Wavelets zu Hause") entwickelt.
Diese Wavelets werden ausgehend von einer unregelmäßigen Unterteilung des Analyseraums konstruiert und basieren auf einer gewichteten und gemittelten Interpolationsmethode. Das üblicherweise an L²(R) verwendete Vektorprodukt wird zu einem gewichteten internen Vektorprodukt. Diese Wavelets sind besonders gut geeignet für die Analysen an kompakten Trägern und an den Zwischenräumen. Sie wahren aber die Eigenschaften der Wavelets der ersten Generation, nämlich eine gute Zeit/Frequenz-Lokalisierung und eine gute Rechengeschwindigkeit, da sie um die oben erläuterte Lifting-Methode herum konstruiert sind.
M. Lounsbery, T. DeRose und J. Warren in "Multiresolution Analysis for Surfaces of Arbitrary Topological Type", ACM Transactions on Graphics, 1994 (deutsch: "Mehrfachauflösungsanalyse von Oberflächen vom willkürlichen topologischen Typ") haben in Betracht gezogen, diese Wavelets an eine beliebige Oberflächenstruktur anzuwenden. Im Rahmen der vorliegenden Erfindung werden diese Wavelets an eine Vernetzung angewendet, die eine Oberfläche bildet, deren Topologie beliebig sein kann.
Um diese Wavelets der zweiten Generation auf exakte Weise zu definieren, kann man zunächst an die Eigenschaften erinnern, die diese letzteren mit den Wavelets der ersten Generation gemeinsam haben, und dann die zusätzlichen Eigenschaften angeben, die diese Wavelets der zweiten Generation aufweisen, und die insbesondere im Rahmen der vorliegenden Erfindung ausgewertet werden.
Den Wavelets erster und zweiter Generation gemeinsame Eigenschaften:

P1: Die Wavelets bilden eine Riez-Basis auf L₂(R) sowie eine "gleichmäßige" Basis für eine große Vielfalt von Funktionsräumen, wie die Lebesgue-, Lipchitz-, Sobolev- und Besov-Räume. Dies bedeutet, dass jede Funktion der erwähnten Räume auf einer Basis von Wavelets zerlegt werden kann, und diese Zerlegung konvergiert gleichmäßig in der Norm (die Norm des Ausgangsraums) zu dieser Funktion.
P2: Die Zerlegungskoeffizienten auf der gleichmäßigen Basis sind bekannt (oder können einfach gefunden werden). Entweder sind die Wavelets orthogonal oder die dualen Wavelets sind bekannt (im bi-orthogonalen Fall).
P3: Die Wavelets sowie ihre Duale haben lokale räumliche und frequenzielle Eigenschaften. Manche Wavelets haben sogar einen kompakten Träger (die vorliegende Erfindung verwendet vorzugsweise, aber nicht ausschließlich, solche Wavelets). Die Frequenzlokalisierungseigenschaften leiten sich direkt von der Regelmäßigkeit des Wavelet (für die hohen Frequenzen) und von der Anzahl von polynomialen Momenten Null (für die niederen Frequenzen) ab.
P4: Die Wavelets können bei der Mehrfachauflösungsanalyse verwendet werden. Dies führt zur FWT (Fast Wavelet transform, deutsch: "schnelle Wavelet-Transformation"), die es ermöglicht, von der Funktion zu den Waveletkoeffizienten in "linearer Zeit" überzugehen.

Zusätzliche Eigenschaften, die die Wavelets der zweiten Generation kennzeichnen:

Q1: Während die Wavelets der ersten Generation Basen für auf Rⁿ definierte Funktionen angeben, erfordern manche Anwendungen (Segmentierung von Daten, Lösungen der Gleichungen bei den teilweisen Ableitungen auf allgemeine Domänen, oder Anwendung der Wavelets auf eine Vernetzung mit willkürlicher Topologie ...) Wavelets, die auf willkürliche Domänen von Rⁿ definiert sind, wie die Kurven, die Flächen oder die Mannigfaltigkeiten;
Q2: Die Diagonalisierung der differentiellen Formen, die Analyse der Kurven und der Flächen, und die gewichteten Annäherungen erfordern eine Basis, die an die gewichteten Messungen angepasst ist. Die Wavelets der ersten Generation liefern aber nur Basen für die Räume mit unveränderlichen Messungen durch Translation (typischerweise die Lebesgue-Messungen);
Q3: Viele reale Probleme erfordern Algorithmen, die für die Daten mit unregelmäßiger Abtastung angepasst sind, während die Wavelets der ersten Generation nur eine Analyse der regelmäßig abgetasteten Daten erlauben.

Um die Konstruktion der Wavelets der zweiten Generation zusammenzufassen, kann man die nachfolgenden Prinzipien anführen.
Bei der Mehrfachauflösungsanalyse wird vorausgesetzt, dass der traditionelle Raum, in dem sich die Skalenfunktion entwickelt, die V_k sind, so dass:
Man vergrößert den Analyseraum, indem man sich in einen Banach-Raum (mit B bezeichnet) platziert. Man hat also für die Wavelets der zweiten Generation:
Man definiert im Banach-Raum im Sinne der Verteilungen ein Skalarprodukt, das es ermöglicht, die dualen Räume neu zu definieren. Die Verfeinerungsbedingung wird zu (in Matrixform): ϕk-1 = Pϕk wobei P eine beliebige Matrix ist.
Nach diesen einigen Erinnerungen an Begriffe, die für das Verständnis der Videocodiertechniken notwendig sind, wird nun das allgemeine Prinzip der Erfindung in Zusammenhang mit 2 ausführlicher dargelegt.
Es wird das mit 21 bezeichnete Bild betrachtet, das ein Stehbild oder eines der Bilder einer Videosequenz sein kann, das man codieren möchte. Eine mit 23 bezeichnete hierarchische Vernetzung ist ihm zugeordnet. In 2 ist diese Vernetzung eine regelmäßige Vernetzung, die das Bild 21 nur teilweise bedeckt. Die Vernetzung kann natürlich ebenfalls eine unregelmäßige Vernetzung sein und/oder die Gesamtheit des Bilds 21 bedecken.
Das allgemeine Prinzip der Erfindung besteht darin, innerhalb des Bilds 21 Zonen unterschiedlicher Beschaffenheiten zu identifizieren, an die unterschiedliche ausgewählte Wavelettypen angewendet werden, deren Eigenschaften gut an den Inhalt der betrachteten Zone angepasst sind. So kann man eine Aufteilung des Bilds 21 der 2 in mehrere Zonen 22 durchführen, die mit T1, T2 bzw. T3 bezeichnet sind.
Soweit möglich, sind diese mit T1, T2 und T3 bezeichneten Zonen in Form von rechteckigen Blöcken, um ihre Verarbeitung zu vereinfachen, oder in Form von Gruppen von zusammengefassten rechteckigen Blöcken konstruiert.
So ist die Zone T3 der Gruppe 22, die der Sonne 24 des Bilds 21 entspricht, ein die Sonne 24 einschließendes Rechteck. Dagegen hat die mit T1 bezeichnete Zone, die dem unregelmäßigen Relief 25 des Bilds 21 entspricht, eine Treppenform, die einer Gruppe von parallelepipedischen Blöcken entspricht, die so gut wie möglich den Formen des Reliefs 25 folgt.
Die Zone T1 ist eine Texturzone des Bilds 21, während die Zone T2 isolierte Singularitäten des Bilds 21 umschließt, und die Sonne der Zone T3 hauptsächlich von Konturen definiert ist.
Erfindungsgemäß wird also der Wavelettyp gewählt, der am besten für die Codierung jeder der Zonen geeignet ist. In einer besonderen Ausführungsform der Erfindung wählt man für die Texturzone T1 so die Anwendung eines Wavelets vom Typ Butterfly, während die Zonen der Singularität T2 und der Konturen T3 vorzugsweise ausgehend von verfeinerten Wavelets und von Loop-Wavelets codiert werden.
Auf diese weise kann man sowohl die Codierung des Bilds 21 als auch seine Wiedergabequalität auf einem geeigneten Endgerät optimieren.
Die nachfolgende Tabelle fasst die erfindungsgemäß bevorzugten Auswahlkriterien verschiedener Wavelettypen in Abhängigkeit von der Beschaffenheit der zu codierenden Zone zusammen.
Es können selbstverständlich auch andere Typen von Wavelets im Rahmen der Erfindung angewendet werden, die keineswegs nur auf die Wavelettypen und Beschaffenheiten von Zonen begrenzt ist, die in der obigen Tabelle beschrieben sind.
Es ist anzumerken, dass in der obigen Tabelle, insbesondere was die Konturen angeht, der Fall der natürlichen Objekte von demjenigen der nicht natürlichen Objekte unterschieden wird. Die natürlichen Objekte werden nämlich durch ungewissere Konturen bestimmt als die nicht natürlichen Objekte. So haben bezüglich der Frequenz die natürlichen Objekte keine genau definierte Knoten, im Gegensatz zu den nicht natürlichen Objekten. Es ist also angebracht, die beiden Fälle in Abhängigkeit vom verarbeiteten Objekt zu unterscheiden.
Ein Unterscheidungskriterium dieser beiden Typen von Objekten kann zum Beispiel durch Schwellwertbildung des von einem multidirektionalen Hochpassfilter gefilterten Bilds erhalten werden, die an die der Kontur zugeordneten Graupegel angewendet wird.
Nun wird eine besondere Ausführungsform der Erfindung im allgemeinen Kontext der Codierung einer Videosequenz dargelegt, bei der einer der besonderen Schritte der Anwendung der Erfindung entspricht.
Eine solche Codierung stützt sich insbesondere auf die oben beschriebenen Techniken der Videocodierung und des "Lifting".
Es wird ein Schema vom Typ I/(n)B/P betrachtet, mit n positiv oder Null, wobei I ein "Intra"-Bild, B ein bidirektionales Bild und P ein vorhergesagtes Bild bezeichnet. Als Beispiel kann man annehmen, dass man eine Codierung vom Typ MPEG, zum Beispiel MPEG-4, anwendet, außer für die Fehlerbilder, bei denen die Erfindung angewendet wird, mit Codierung durch Vernetzung und Wavelets der zweiten Generation.
Man könnte natürlich auch in Betracht ziehen, die MPEG-4-Codierung durch einen beliebigen Codiertyp zu ersetzen, der auf äquivalenten Techniken beruht, d.h. eine zeitliche Vorhersage und eine diskrete Cosinus-Transformation (DCT), die auf einer Blockstruktur basieren, und die Quantifizierungen und entropischen Codierungen für die erzeugten Informationen verwendet. Insbesondere kann eine Codierung ITU-T/H.264 oder MPEG-4 AVC (wie sie insbesondere in Joint Final Committee Draft of Joint Video Specification (ITU-T Rec. H.264 1 ISO/IEC 14496-10 AVC), Thomas Wiegand, Klagenfurt, 22. Juli 2002 beschrieben ist) die MPEG-4-Codierung ersetzen, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Für jedes Bild der betrachteten Videosequenz, das in die Codiervorrichtung oder den Codierer eintritt, entscheidet letzterer, es mit einem MPEG-4-Codiermodul (mit oder ohne Rate-Distorsion-Optimierung) oder mit einem spezifischen Codiermodul zu codieren, das auf einer Rate-Distorsion-Optimierung beruht. Es wird daran erinnert, dass die Rate-Distorsion-Optimierung es ermöglicht, einen Kompromiss zwischen der Qualität des Bilds und seiner Größe herzustellen: Ein auf der Rate-Distorsion-Optimierung beruhender Algorithmus ermöglicht es also, eine Optimierung durchzuführen, um den bestmöglichen Kompromiss zu erreichen.
Die Bewegungsschätzung der Bilder vom Typ P und B wird gemäß der "block matching"-Technik angewendet, die in der MPEG-4-Norm vorgesehen ist.
Die Codierung des Fehlers wird ihrerseits durch die Anwendung der Erfindung durchgeführt. Eine solche Umwandlung der Fehlerbilder in Wavelets der zweiten Generation, die auf der Vernetzung basiert, führt zu einer guten Darstellung der Unstetigkeiten der Bilder (Konturen, Textur, Singularitäten, ...) bei sehr geringen zugehörigen Codierungskosten. Die Erfindung ermöglicht es also, eine sehr gute Komprimierungswirksamkeit zu erreichen, da sie einerseits die verschiedenen Typen von Singularitäten der Bilder berücksichtigt, und da sie andererseits letztere verarbeitet, indem sie ein angepasstes Waveletmodell wählt.
Der erste Schritt der Codierung der Videosequenz, für den sich hier interessiert wird, betrifft die Codierung der "Intra"-Bilder I. Diese Codierung beruht zum Beispiel auf der Verwendung einer DCT-Transformation wie in MPEG-4, oder auf der Anwendung einer Methode der Waveletcodierung der ersten Generation, wie sie zum Beispiel von W. Dahmen in "Decomposition of refinable spaces and applications to operator equations", Numer. Algor., Nr. 5, 1993, Seiten 229-245 (deutsch: "Zerlegung von verfeinerbaren Räumen und Anwendungen an Operatorgleichungen") beschrieben wird.
Der zweite Schritt der Codierung der Videosequenz betrifft seinerseits die Codierung der vorhergesagten Bilder P und der bidirektionalen Bilder B. Man führt zuerst eine Bewegungskompensation dieser Bilder durch eine klassische Methode der Schätzung/Kompensation durch, wie zum Beispiel das "block matching" [beschrieben von G.J. Sullivan und R.L. Baker in "Motion compensation for video compression using control grid interpolation", International Conference on Acoustics, Speech, and Signal Processing, 1991. ICASSP-91. Vol. 4, Seiten 2713-2716, deutsch: "Bewegungskompensation für die Videokomprimierung unter Benutzung einer Steuergitter-Interpolation"], und speichert dann die entsprechenden Fehlerbilder.
So werden die Fehlerbilder durch Subtrahieren des genauen Bilds der Sequenz und eines durch Kompensation/Schätzung der Bewegung konstruierten Bilds erhalten. Wenn letzteres sich vom genauen Bild unterscheidet, weist das Fehlerbild also mindestens einen Fehlerbereich auf, der codiert werden sollte. Wenn mindestens bestimmte Bereiche des genauen Bilds und des durch Bewegungskompensation erhaltenen Bilds gleich sind, weist das Fehlerbild ebenfalls mindestens einen im Wesentlichen leeren Bereich auf, bei dem es genügt, bei der Übertragung des Codierflusses einen wert Null zu übertragen.
Während eines dritten Schritts werden die Fehlerinformationen und die Bewegungsinformationen getrennt, und man interessiert sich für die Erfassung der Fehlerbereiche innerhalb des Fehlerbilds über eine Schwellwertbildung. Wenn man eine Toleranzschwelle mit "e" bezeichnet, werden die Fehlerbereiche als alle die Bereiche des Fehlerbilds erkannt, die einen über dieser Schwelle liegenden Wert aufweisen.
In einer ersten Ausführungsvariante der Erfindung werden diese Fehlerbereiche in Blöcken umgruppiert (um Zonen viereckiger Form zu haben). Die Umgruppierung dieser Blöcke erfolgt durch Zuordnung mindestens einer Eigenschaft zu jedem Block, die Informationen über Texturen, Farben, Formen, Konturen, isolierte Singularitäten entspricht. Diese Charakterisierung ermöglicht es, Blöcke untereinander umzugruppieren und eine Aufteilung des Bilds in Form von Zonen unterschiedlicher Beschaffenheit zu erzeugen, die es ermöglicht, jede Zone der Aufteilung gemäß ihrer optimalen Transformation durch Anwendung des geeigneten Wavelettyps zu codieren.
In einer zweiten Ausführungsvariante der Erfindung, die in 3 dargestellt ist, erfolgt die Aufteilung des Bilds in Zonen unterschiedlicher Beschaffenheit gemäß einer Technik vom Typ "Quadtree".
Man betrachtet ein Bild 31, das zum Beispiel drei Fehlerbereiche mit den Bezugszeichen 32 bis 34 aufweist. Man geht durch aufeinanderfolgende Iterationen vor (Schritt 1 bis Schritt 4), indem man das Bild 31 in vier quadratische Zonen aufteilt, wobei jede dieser Zonen ihrerseits in vier quadratische Unterzonen aufgeteilt wird, und so weiter, bis das so erhaltene quadratische Netz als im mit 32, 33 oder 34 bezeichneten Fehlerbereich des Bilds 31 enthalten angesehen werden kann.
Nachdem die Erfassung der verschiedenen Fehlerblöcke des Bilds (gemäß einer der zwei oben beschriebenen Ausführungsvarianten) durchgeführt wurde, wird das Bild also in Zonen unterschiedlicher Beschaffenheiten zerschnitten, wie es oben in Zusammenhang mit 2 veranschaulicht wurde, die mit Hilfe unterschiedlicher Wavelets codiert werden, um die Optimierung der Codierung in Abhängigkeit von den Eigenschaften des gewählten Wavelets zu ermöglichen.
Die Beschaffenheit einer Zone kann zum Beispiel durch die Dichte der sie bedeckenden Vernetzung bestimmt werden. Wenn so die Vernetzung der betrachteten Zone dicht ist, kann man daraus ableiten, dass es sich um eine Texturzone handelt.
Eine Zone, die Singularitäten des Bilds aufweist, ist dagegen eine Zone, in der die Vernetzung um einen Punkt des Bilds herum dicht und dann an den benachbarten Punkten sehr wenig dicht ist. Eine Konturzone ist ihrerseits durch eine dichte Vernetzung in einer Richtung gekennzeichnet.
Während eines vierten Schritts, nachdem die Zonen (vorzugsweise in Form von Vierecken) unterschiedlicher Beschaffenheiten des Bilds bestimmt wurden, wird eine regelmäßige dichte Vernetzung an jede dieser Zonen angewendet, wie durch 4 veranschaulicht wird. Die Dichte der Vernetzung ist ein in Abhängigkeit vom Bild regelbarer Parameter. 4 stellt eine regelmäßige Vernetzung dar, die an ein Bild angewendet wird, das einen "Kameramann" darstellt. Diese Vernetzung ist vom versetzten Typ. Sie ermöglicht eine unregelmäßige Unterteilung und die Verwendung von Wavelets der zweiten Generation.
Während eines vierten Verarbeitungsschritts und gemäß einer ersten Ausführungsvariante geht man von der regelmäßigen dichten Vernetzung der 4 aus, um sie zu einer groben "optimalen" Vernetzung gemäß vorbestimmten Rate-Distorsion-Kriterien und in Abhängigkeit von den verschiedenen Eigenschaften der Zone des betrachteten Bilds (zum Beispiel Texturzone, Konturenzone, oder Zone von Singularitäten) fortschreiten zu lassen.
Die 5a bis 5d stellen das Fortschreiten der Vernetzung der 4 bei den Iterationen Nr. 3, 6, 9 bzw. 16 dar.
Genauer gesagt, nach dem Lesen des Bilds und der Erzeugung der regelmäßigen Vernetzung der 4 wird durch aufeinander folgende Iterationen vorgegangen, die darin bestehen, eine Optimierung L² der Dreiecke der Vernetzung, eine Zusammenlegung der Dreiecke und dann eine Permutation der Kanten, auch "Swapping" genannt, durchzuführen. Die Positionen der Knoten der Vernetzung werden anschließend quantifiziert, und eine geometrische Optimierung wird anschließend angewendet. Es muss nämlich überprüft werden, dass keine Netzmasche sich umgedreht hat: Man testet also jedes Dreieck ("in Uhrzeigerrichtung" genannte Operation). Eine letzte Quantifizierung der Punkte ist notwendig. Dann kommt man zur Quantifizierung L² zurück. Diese Schleife wird so oft wie gewünscht durchgeführt, wobei die Anzahl von aufeinander folgenden Iterationen einen benutzeranpassbaren Parameter der Codierung darstellt.
Die 5e bis 5g stellen diesen fünften Schritt der Codierung der Videosequenz in dem Fall dar, in dem das betrachtete Bild ein Fehlerbild ist. So stellt 5e ein Fehlerbild dar, das aus der so genannten Foreman-Videosequenz extrahiert wird; 5f stellt ein Fehlerbild dar, das aus der regelmäßig vernetzten Foreman-Sequenz extrahiert wird; schließlich stellt 5g ein Fehlerbild dar, das aus der vernetzten Foreman-Sequenz nach einigen Iterationen des Algorithmus der Suche von Zonen gemäß der Erfindung extrahiert wird.
Dieser fünfte Schritt der Codierung der Videosequenz kann ebenfalls gemäß einer zweiten Ausführungsvariante angewendet werden, die darin besteht, eine "grobe" Vernetzung an das betrachtete Bild anzuwenden, und dann diese grobe Vernetzung durch aufeinander folgende Unterteilungen zu verfeinern. Um eine solche grobe Vernetzung zu erzeugen, platziert man Punkte gleichen Abstands auf die Konturen, die Texturen und die Singularitäten des Bilds, die es anschließend ermöglichen, die zu bedeckende Zone sinnvoll, d.h. adaptiv, zu vernetzen. Dann wird eine Standard-Unterteilung 1 nach 4 durchgeführt, um durch Verfeinerung die halbregelmäßige End-Vernetzung zu erhalten.
Man kann zum Beispiel gemäß der Technik vorgehen, die von P. Gioia in "Reducing the number of wavelet coefficients by geometric partitioning", Computational Geometry, Theory and Applications Vol. 14, 1999, Seiten 25-48 (deutsch: "Reduzieren der Anzahl von Waveletkoeffizienten durch geometrische Aufteilung") beschrieben wird.
Der sechste Schritt der Codierung der Sequenz betrifft die Verwaltung der Ränder, wie in 6 dargestellt ist. Hierzu wird ein Homeomorphismus der ebenen Vernetzung 61 (versetzte Vernetzung) zu einem Torus 62 (gemäß einer so genannten Methode durch Periodisierung) oder auch eine klassische Symmetrisierung der Daten verwendet. Hierzu verlängert man das Bild, indem man die Diagonalen umkehrt, die sich an den problematischen Grenzen befinden (d.h. an den Grenzen, die nicht in eine der Richtungen der Vernetzung ausgerichtet sind). Die Vorgehensweise mit Periodisierung und Symmetrisierung stellt sich als bildstark heraus, da sie es ermöglicht, die Verzerrung der statistischen Verteilung der zu übertragenden Waveletkoeffizienten zu vermeiden und somit zu versuchen, so zu einem bi-exponentialen Gesetz zu konvergieren.
Während eines siebten Schritts werden die Wavelets der zweiten Generation an die Vernetzung des Bilds angewendet. Hierzu wendet man zum Beispiel die Methode an, die von par M. Lounsbery, T. DeRose, J. Warren "Multiresolution Analysis for Surfaces of Arbitrary Topological Type", ACM Transactions on Graphics, 1994 (deutsch: "Mehrfachauflösungsanalyse für Oberflächen vom willkürlichen topologischen Typ") vorgeschlagen wird, wobei die Wavelettypen gemäß der Erfindung in Abhängigkeit von der Beschaffenheit der betrachteten Zone ausgewählt werden (zum Beispiel Loop- oder Butterfly-Wavelets).
Das Wavelet wird an die Vernetzung unter Berücksichtigung eines der Vernetzung am Aktualisierungspunkt der Zone (der in einem besonderen Beispiel der Mittelpunkt sein kann) zugeordneten Skalarwerts, aber auch in Abhängigkeit von diesem gleichen Skalarwert an den benachbarten Punkten angewendet. Dieser Skalarwert kann zum Beispiel die Luminanz des betrachteten Punkts der Vernetzung oder eine Komponente der Chrominanz dieses gleichen Punkts sein. Daraus folgt eine gewichtete Zerlegung durch Wavelets, die in den 7a bis 7d dargestellt ist.
7a zeigt ein Butterfly-Wavelet, bei dem der mit 70 bezeichnete Mittelpunkt den Anwendungspunkt der Vernetzung anzeigt und bei dem die anderen Punkte die Interpolationskoeffizienten an den benachbarten Punkten der Vernetzung darstellen. Wie oben angegeben, ist dieses Wavelet besonders geeignet für die Verwaltung der Texturen.
In anderen Worten werden die charakteristischen Parameter der Vernetzung (zum Beispiel die Luminanz des Bilds an bestimmten Punkten) untersucht, um zu bestimmen, ob es notwendig und/oder vorteilhaft ist, einen mit 70 bezeichneten zusätzlichen Knoten gemäß einem Schritt der Analyse durch Wavelets der zweiten Generation hinzuzufügen, wie es zum Beispiel in dem oben erwähnten Artikel von M. Lounsbery, T. DeRose und J. Warren beschrieben ist.
Die 7b bis 7d zeigen Loop-Wavelets, verfeinerte Wavelets bzw. Catmull-Clark-Wavelets. Der mit 70 bezeichnete Punkt stellt in diesen verschiedenen Figuren den Anwendungspunkt der Vernetzung, auch Aktualisierungspunkt genannt, dar. Die anderen Punkte stellen ebenfalls die Interpolationskoeffizienten an den benachbarten Punkten der Vernetzung dar.
Wenn man in der oben beschriebenen Weise vorgeht, erhält man also Waveletkoeffizienten für die besondere Vernetzung der betrachteten Zone des Bilds. Diese Operation wird im ganzen Bild durchgeführt, und im Fall einer Videosequenz für alle Bilder P/B. Man wendet auf jeden Bereich der Vernetzung das am besten geeignete Wavelet in Abhängigkeit vom Typ der verarbeiteten Daten an (zum Beispiel Texturen, Konturen, Singularitäten, Farben, Formen, usw.).
Wie oben angegeben, kann man, um die Beschaffenheit der betreffenden Zone zu bestimmen, die Dichte der Vernetzung um einen Punkt und um einen Bereich um diesen Punkt herum durchdenken. Wenn an einem Punkt A des Bilds die Vernetzung (bezüglich seiner beiden aufeinander folgenden Nachbarn) dicht ist, aber um diesen Bereich herum die Vernetzung leer ist, wird gesagt, dass es sich um eine isolierte Singularität handelt. Man wendet dann zum Beispiel ein verfeinertes Wavelet an. Wenn um diesen Bereich herum die Vernetzung noch dicht ist, wird gesagt, dass es sich um eine Textur handelt, und man wendet vorzugsweise ein Butterfly-Wavelet an. Um die Konturen zu charakterisieren, erfasst man die Dichte der Vernetzung in einer Richtung (wenn die Vernetzung in einer bestimmten Richtung dicht ist).
Im Rahmen der Codierung einer Videosequenz berücksichtigt man ebenfalls die gegenseitige Abhängigkeit der aufeinander folgenden Bilder der Sequenz: Wenn man von einem Bild zum anderen übergeht kann ein Teil der (oder sogar die ganze) Vernetzung gleich sein. Es ist also angebracht, zum Decodier- oder Wiedergabe-Endgerät nur die Knoten der Vernetzung zu übertragen, die sich bezüglich des vorhergehenden Bilds der Sequenz geändert haben. Die anderen Knoten werden vom Codierer als fest angesehen. In gleicher Weise bleibt das an eine bestimmte Vernetzung angewendete Wavelet in den meisten Fällen von einem Bild zum anderen unverändert. Wenn das Wavelet gleich bleibt, überträgt man keine Informationen auf dieser Ebene.
Während eines achten Schritts codiert man die vorher erhaltenen Waveletkoeffizienten: Hierzu verwendet man eine Technik vom Typ Zerotree (wie sie zum Beispiel von J.M. Shapiro in "Embedded Image Coding Using Zerotree of Wavelet Coefficients", IEEE Transactions on Signal Processing, Vol. 41, Nr. 12, Dezember 1993, Seiten 3445-3461 (deutsch: "Eingebettete Bildcodierung unter Verwendung eines Zerotree von Waveletkoeffizienten" beschrieben wird)), oder eine Methode vom Typ EBCOT (wie sie zum Beispiel von D. Taubman in "High Performance Scalable Image Compression with EBCOT", IEEE Transactions on Image Processing, Vol. 9, Nr. 7, Juli 2000 (deutsch: "Skalierbare Hochleistungs-Bildkomprimierung mit EBCOT") beschrieben wird), um die Waveletkoeffizienten zu klassifizieren und zu quantifizieren.
Der neunte Schritt des Codierens der Videosequenz betrifft die Formatierung dieser Waveletkoeffizienten. Sie kann gemäß der Methode durchgeführt werden, die in dem Dokument ISO/IEC JTC 1/SC 29/WG 11, N4973, AFX Verification Model 8, Klagenfurt, Austria, July 2002, vorgeschlagen wird und die sich mit der MPEG4-Normierung befasst. Je nach den Interessenzonen oder den Zonen starken Fehler können Pakete beim Empfang und beim Decodieren voneinander unterschieden werden.
Eine andere Methode besteht darin, die Waveletkoeffizienten in der Prioritäts-"Reihenfolge" gemäß der im Paket enthaltenen Fehlermenge zu übertragen. So können die Daten in folgender Form übertragen werden: Paketnummer/Information Header (Anzahl von Koeffizienten, Zone des Bilds, Anzahl von Bitebenen, ...)/Wavelettyp/Waveletkoeffizienten/Vernetzungsinformationen. Die Daten werden zum Kanal übertragen und dann zum Decodieren oder Speichern empfangen.
Erfindungsgemäß wird vorzugsweise eine Signalstruktur definiert, die in Form von aufeinanderfolgenden Paketen organisiert ist, wobei jedes dieser Pakete selbst die folgenden Felder aufweist: Paketanfang/Paketnummer/Information Header/Wavelettypen/Waveletkoeffizienten/Form der Vernetzung/Paketende.
Das Feld Paketnummer enthält eine Kennung des Pakets, die in der Reihenfolge entsprechend der Größe des Pakets zugeteilt wird.
Das Feld "Information header" (deutsch: "Informationsvorspann") enthält die folgenden Unterfelder:

– die Anzahl von Waveletkoeffizienten (globale Anzahl in der Zone des verarbeiteten Bilds);
– die Zone des betrachtete Bilds (in Abhängigkeit von den Informationen, die insbesondere von dem Feld "Form der Vernetzung" geliefert werden);
– die Anzahl von Bitebenen (verwendet für die Codierung der Waveletkoeffizienten).

Das Feld Wavelettyp zeigt an, ob das an die betrachtete Zone angelegte Wavelet zum Beispiel ein Loop-Wavelet, ein Butterfly-Wavelet, ein Catmull-Clark-Wavelet oder auch ein verfeinertes Wavelet, oder von jedem anderen Typ ist, der in Abhängigkeit von der Beschaffenheit der betrachteten Zone gewählt wurde.
Das Feld Form der Vernetzung ermöglicht es seinerseits, die Basisvernetzung (in Form einer Gruppe von Knoten und Kanten) zu übertragen.
Wenn man zum Beispiel ein zu codierendes Bild betrachtet, das erfindungsgemäß in zwei Zonen unterschiedlicher Beschaffenheit aufgeteilt wurde, wobei die erste Zone durch Butterfly-Wavelets und die zweite durch Loop-Wavelets codiert wurde, hat das erfindungsgemäße Signal, das die übertragene codierte Sequenz übermittelt, vorzugsweise die folgende Form:
Bildanfang
Paketanfang/N°145/250 Koef/Knoten5, Kante2,4,5; Knoten45, Kante56,54,87, .../256/Butterfly/(10,25,14), (25,54,84), (...), (25,36,10)/Paketende
Paketanfang/N°260/130 Koef/Knoten14, Kante8,41,5; Knoten7, Kante21,47,21, .../256/Loop/(1,5,8), (2,4,42), (...), (52,20,10)/Paketende
Bildende
Die Erfindung sieht ebenfalls vor, jedem Wavelettyp einen vordefinierten Code zwischen dem Codierer und dem Decodierer zuzuordnen, um den Inhalt des Felds Wavelettyp zu vereinfachen. So kann man vorsehen, den Loop-Wavelets die Kennung 1, den Butterfly-Wavelets die Kennung 2, den Catmull-Clark-Wavelets die Kennung 3 und den verfeinerten Wavelets die Kennung 4 zuzuteilen. Das Feld Wavelettypen kann dann mit 2 Bits codiert werden.
Die Decodiermethode ist die duale Methode der Codiermethode. Bei Empfang des die obigen Pakete übermittelnden Signals extrahiert die Decodiervorrichtung daraus also die Informationen bezüglich des an jede der für das Bild definierten Zonen angewendeten Wavelettyps und wendet eine selektive Decodierung jeder dieser Zonen in Abhängigkeit vom bei der Codierung verwendeten Wavelettyp an.
Man erhält also ein Bild von optimaler visueller Qualität, und dies zu geringen Codierkosten.

Claims

Verfahren zur Bildcodierung, das einen Schritt des Erhalts einer dem Bild zugeordneten hierarchischen Vernetzung ausgehend von einer Anfangsvernetzung aufweist, an der Unterteilungen und/oder Umgruppierungen von Elementen der Anfangsvernetzung durchgeführt werden, dadurch gekennzeichnet, dass es ebenfalls die folgenden Schritte aufweist: – Aufteilung des Bilds in mindestens zwei unterschiedliche Zonen, die gemäß mindestens einem vorbestimmten Kriterium besondere Eigenschaften aufweisen; – Anwendung von mindestens zwei Typen von Wavelets, die den mindestens zwei Zonen des Bilds zugeordnet sind, um die Vernetzung der Zonen zu codieren.
Codierverfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Aufteilungsschritt das vorbestimmte Kriterium die Beschaffenheit der unterschiedlichen Zonen ist, wobei die Beschaffenheit einer Zone von mindestens einem charakteristischen Parameter der Vernetzung in der Zone abhängt, und dass im Anwendungsschritt der Typ von Wavelets zumindest in Abhängigkeit von der Beschaffenheit bestimmt wird, um die Codierung der Vernetzung der Zone zu optimieren.
Codierverfahren nach Anspruch 2, dadurch gekennzeichnet, dass der charakteristische Parameter der Vernetzung die Dichte der Vernetzung in der Zone berücksichtigt.
Codierverfahren nach einem der Ansprüche 2 und 3, dadurch gekennzeichnet, dass die Beschaffenheit der Zone zu der Gruppe gehört, die umfasst: – mindestens einen Texturtyp; – mindestens einen Konturtyp; – mindestens einen Singularitätstyp; – mindestens einen Farbtyp; – mindestens einen Formtyp.
Codierverfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Typen von Wavelets zu der Gruppe gehören, die umfasst: – die Loop-Wavelets; – die Butterfly-Wavelets; – die Catmull-Clark-Wavelets; – die verfeinerten Wavelets.
Codierverfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass es für jede der Zonen einen Schritt der Anwendung von Koeffizienten des Typs von Wavelets an die Vernetzung aufweist, der der Zone zugeordnet ist, unter Berücksichtigung eines Skalarwerts, der der Vernetzung an einem Aktualisierungspunkt der Zone zugeordnet ist, und des Skalarwerts, der der Vernetzung an zumindest bestimmten Punkten nahe dem Aktualisierungspunkt zugeordnet ist.
Codierverfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Skalarwert einen Parameter der Vernetzung darstellt, der zu der Gruppe gehört, die umfasst: – die Luminanz der Vernetzung; – mindestens eine Chrominanzkomponente der Vernetzung.
Codierverfahren nach einem der Ansprüche 6 und 7, dadurch gekennzeichnet, dass es weiter einen Schritt der Codierung der Waveletkoeffizienten aufweist, der eine Technik anwendet, die zu der Gruppe gehört, die umfasst: – eine Technik vom Typ Zero-Tree; – eine Technik vom Typ EBCOT.
Codierverfahren nach Anspruch 8, dadurch gekennzeichnet, dass, da das Bild zu einer Folge von aufeinander folgenden Bildern gehört, das Verfahren außerdem einen Schritt des Vergleichs der Waveletkoeffizienten des Bilds mit den Waveletkoeffizienten mindestens eines vorhergehenden oder nachfolgenden Bilds der Folge aufweist, um zu verhindern, dass der Codierschritt für Waveletkoeffizienten des Bilds angewendet wird, die gleich denjenigen des vorhergehenden oder nachfolgenden Bilds sind.
Codierverfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass es ermöglicht, eine Folge von aufeinander folgenden Bildern zu codieren, und dass das Bild ein Fehlerbild ist, das durch Vergleich eines Originalbilds der Folge mit einem durch Bewegungsschätzung und -kompensation konstruierten Bild erhalten wird, wobei das Bild mindestens einen zu codierenden Fehlerbereich und ggf. mindestens einen im Wesentlichen leeren Bereich aufweist.
Codierverfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Aufteilungsschritt einen Schritt der Erfassung der Fehlerbereiche des Bilds durch Schwellwertbildung aufweist, der es ermöglicht, mindestens einen Bereich des Bilds zu bestimmen, der einen größeren Fehler als ein vorbestimmter Schwellwert aufweist.
Codierverfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Aufteilungsschritt ebenfalls einen Schritt der Umgruppierung mindestens mancher der erfassten Fehlerbereiche in Blöcke parallelepipedischer Form aufweist.
Codierverfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Aufteilungsschritt einen Schritt der Erzeugung der Zonen des Bilds in Form von Einheiten von Blöcken gleicher Beschaffenheit aufweist.
Codierverfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Aufteilungsschritt einen Schritt der Erzeugung der Zonen des Bilds ausgehend von den erfassten Fehlerbereichen aufweist, der eine Technik vom Typ Quadtree anwendet.
Verfahren zur Decodierung eines Bilds, dem eine durch Wavelets codierte hierarchische Vernetzung zugeordnet ist, dadurch gekennzeichnet, dass es die folgenden Schritte aufweist: – Identifikation mindestens zwei unterschiedlicher Zonen des Bilds; – Anwendung einer Decodierung der Vernetzung jeder der Zonen unter Verwendung unterschiedlicher Typen von Wavelets, die den Zonen bei der Codierung der Vernetzung zugeteilt werden.
Vorrichtung zur Bildcodierung, die einen Schritt des Erhalts einer dem Bild zugeordneten hierarchischen Vernetzung ausgehend von einer Anfangsvernetzung aufweist, an der Unterteilungen und/oder Umgruppierungen von Elementen der Anfangsvernetzung vorgenommen werden, dadurch gekennzeichnet, dass sie Mittel zur selektiven Anwendung von mindestens zwei Typen von Wavelets an unterschiedliche Zonen des Bilds zur Codierung der Vernetzung aufweist.
Vorrichtung zur Decodierung eines Bilds, dem eine durch Wavelets codierte hierarchische Vernetzung zugeordnet ist, dadurch gekennzeichnet, dass sie Mittel zur selektiven Decodierung unterschiedlicher Zonen des Bilds in Abhängigkeit von Informationen bezüglich eines Typs von Wavelets aufweist, der der Codierung der Vernetzung jeder der Zonen zugeordnet ist.
Signal, das für ein Bild repräsentativ ist, dem eine hierarchische Vernetzung zugeordnet ist, die ausgehend von einer Anfangsvernetzung erhalten wird, an der Unterteilungen und/oder Umgruppierungen von Elementen der Anfangsvernetzung durchgeführt werden und die durch Wavelets codiert ist, dadurch gekennzeichnet, dass, da beim Codieren mindestens zwei Typen von Wavelets selektiv an unterschiedliche Zonen des Bilds angewendet wurden, das Signal Informationen bezüglich des Typs von Wavelets überträgt, der der Codierung der Vernetzung jeder der Zonen zugeordnet ist.
Signal nach Anspruch 18, dadurch gekennzeichnet, dass es in Form von Paketen aufgebaut ist, die je einer der Zonen des Bilds zugeordnet sind, wobei jedes der Pakete die folgenden Felder aufweist: – ein einen Paketanfang anzeigendes Feld; – ein eine Kennung des Pakets übertragendes Feld; – ein Informations-Vorspannfeld (im Englischen "information header"); – ein Feld, das die Informationen bezüglich des Typs von Wavelets enthält, der der Zone zugeordnet ist; – ein Feld, das Waveletkoeffizienten enthält, die an die Vernetzung der Zone angewendet werden; – ein Feld bezüglich der Form der Vernetzung des Bilds; – ein ein Paketende anzeigendes Feld.
Signal nach Anspruch 19, dadurch gekennzeichnet, dass das Informations-Vorspannfeld aufweist: – ein Unterfeld bezüglich der Anzahl von Waveletkoeffizienten der Zone; – ein Unterfeld, das die Zone des Bilds in Abhängigkeit von der Form der Vernetzung anzeigt; – ein Unterfeld bezüglich der Anzahl von Bitebenen, die für die Waveletkoeffizienten angewendet werden.
Anwendung des Codierverfahrens nach einem der Ansprüche 1 bis 14 und des Decodierverfahrens nach Anspruch 15 auf mindestens eine der Domänen, die zur folgenden Gruppe gehören: – das Video-"Streaming" (auf Deutsch: "Senden eines Videoflusses"); – Speicherung der Videos; – die Videokonferenz; – das Video auf Wunsch (im Englischen VOD für "Video On Demand"); – die Videomails.