DE602004001993T2

DE602004001993T2 - Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression

Info

Publication number: DE602004001993T2
Application number: DE200460001993
Authority: DE
Inventors: Yi Burnaby XIONG; Mark Vancouver SAUER; Meng c/o Digital Accelerator Corpora Wang; Peter Surrey KOAT
Original assignee: Digital Accelerator Corp
Current assignee: Etiip Holdings Inc Vancouver British Columb Ca
Priority date: 2003-03-28
Filing date: 2004-03-29
Publication date: 2007-04-12
Anticipated expiration: 2024-03-30
Also published as: CN1802667A; AU2004223358B2; EP1629436B1; CN100399357C; BRPI0408835A; JP2006523390A; DE602004001993D1; RU2335803C2; US8204109B2; CA2560075A1; AU2004223358A1; ATE336763T1; JP4804342B2; WO2004086302A1; EP1629436A1; ZA200508764B; US20090103602A1; EP1629436B8

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf das Gebiet der Kompression und insbesondere auf Videokompressionsverfahren und -vorrichtungen.
HINTERGRUND
Eine Sequenz von Bildern kann eine gewaltige Menge an Speicherplatz belegen und eine sehr hohe Transmissionsbandbreite benötigen, wenn sie in einer unkomprimierten digitalen Form dargestellt ist. Eine Punkt-zu-Punkt-Digitalvideokommunikation wurde im Nachgang zu Fortschritten in Computernetzwerken und einer Signalkompressionstechnologie vor einigen Jahren praktikabel.
Die Standardisierungsbemühungen für digitale Videokompression wurden ungefähr in 1988 initiiert. Aktuell hat die Kommission der Expertengruppe für bewegte Bilder (MPEG – Moving Picture Experts Group) unter ISO/IEC sowohl die MPEG-1 und die MPEG-2 Standards abgeschlossen; der MPEG-4 Standard ist ebenfalls abgeschlossen worden, aber neue Vorschläge werden noch akzeptiert. Zusätzlich entwickelte CCITT eine Serie von Empfehlungen – H.261, H.263 und H.263+ –, die sich auf Anwendungen für niedrige Bitraten konzentrieren. Der erste Schritt verwendet eine Bewegungsbewertung und einen Kompensationsalgorithmus, um einen vorberechneten Videoframe für den aktuellen Videoframe unter Verwendung des vorherigen Videoframes zu erzeugen, wobei der Unterschied zwischen dem aktuellen Videoframe und dem vorausberechneten Videoframe berechnet wird und als Bewegungsrestbild (MRP – motion residual picture) bezeichnet wird. Der zweite Schritt der Standardprozedur ist, das MRP unter Verwendung der diskreten Kosinustransformation (DCT – discrete cosine transform) zu kodieren. Solche DCT-basierten Systeme arbeiten nicht unter allen Umständen gut. Bei niedrigen Bitraten, welche für persönliche Videokommunikation genutzt werden, verursachen DCT-basierte Systeme bemerkbare Störungen und sichtbare Blockartefakte. Für Anwendungen hoher visueller Qualität wie DVD kann das erreichte Kompressionsverhältnis recht gering sein.
Bewegungsrestbilder können unter Verwendung anderer transformationsbasierter Techniken kodiert werden. Zum Beispiel können ebenfalls diskrete Wavelet-Transformationen (DWT – discrete wavelet transforms) und übervollständige Basistransformationen verwendet werden. Zakhor und Neff präsentierten ein Bewegungsrestkodierungssystem in US Patent Nr. 5,699,121, basierend auf einem übervollständigen Basistransformationsalgorithmus, genannt „Matching Pursuit". Dies wurde zuerst von Mallat und Zhang in IEEE Transaction in Signal Processing, Vol. 41, Nr. 12, Dez. 1993 vorgeschlagen. Zakhor und Neff's Videokodierer verbessert die visuelle Qualität und das PNSR gegenüber Standard-DCT-basierten Videokodierern. Jedoch ist deren System sehr langsam und die Kompressionsleistung ist nicht optimiert aufgrund eines ad-hoc-Designs für angepasste Basispositionskodierung und Quantisierung der Transformationskoeffizienten. Deshalb besteht der Bedarf nach einer neuen übervollständigen transformationsbasierten Videokodierungstechnik, welche sowohl Geschwindigkeit als auch Effizienz bereitstellen kann.
Diese Hintergrundinformation ist zur Verfügung gestellt, zum Zweck Informationen bekannt zu machen, die nach Ansicht des Anmelders von möglicher Relevanz für die vorliegende Erfindung sein können. Es ist nicht unbedingt ein Zuständnis beabsichtigt, noch sollte dies ausgelegt werden, dass irgendeine der vorhergehenden Informationen Stand der Technik gegen die vorliegende Erfindung darstellt.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine Aufgabe der vorliegenden Erfindung ist es, ein übervollständige Basis transformationsbasiertes Bewegungsrest-Frame-Kodierungsverfahren und eine Vorrichtung zur Videokompression zur Verfügung zu stellen. Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek bereitgestellt, das Verfahren aufweisend die Schritte: Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat; und Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei jedes Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt und der Schritt des Zerlegens des Restbildes die Schritte enthält: (i) Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; (ii) Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorbestimmten Schwellenwertes ist; (iii) Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; (iv) Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; (v) Kodieren des quantisierten Atoms, Subtrahieren des Atoms von dem Ersetzungsbereich im Restbild, wodurch die Energie des Restbildes reduziert wird und Verwenden eines quadtree-basierten Atom-Kodierers, um die Größe des Restbildes zu verringern, und (vi) Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium und Wiederholen der Schritte (i) bis (vi), bis das vorgegebene Kriterium erfüllt ist; wodurch das Restbild kodiert wird und die Größe desselben auf einen vorgegebenen Wert reduziert wird.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek bereitgestellt, welche Vorrichtung aufweist: Mittel zum Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat; und Mittel zum Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei jedes Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt, und die Mittel zum Zerlegen, des Restbildes enthalten: (i) Mittel zum Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; (ii) Mittel zum Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorgegebenen Schwellenwertes ist; (iii) Mittel zum Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; (iv) Mittel zum Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; (v) Mittel zum Kodieren des quantisierten Atoms, Subtrahieren des Atoms von dem Ersetzungsbereich im Restbild, dadurch die Energie des Restbildes reduzierend, und Verwenden eines quadtree-basierten Atom-Kodierers, um die Größe des Restbildes zu verringern; und (vi) Mittel zum Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium; dadurch das Restbild kodierend und die Größe desselben auf einen vorgegebenen Wert reduzierend.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt bereitgestellt, aufweisend ein computerlesbares Medium mit einem darauf aufgezeichneten Computerprogramm zum Durchführen eines Verfahrens zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek, aufweisend die Schritte: Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat; und Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei je des Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt, wobei der Schritt des Zerlegens des Restbildes die Schritte enthält: (i) Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; (ii) Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorgegebenen Schwellenwertes ist; (iii) Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; (iv) Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; (v) Kodieren des quantisierten Atoms, Substrahieren des Atoms von dem Ersetzungsbereich im Restbild, wodurch die Energie des Restbildes reduziert wird, und Verwenden eines quadtree-basierten Atom-Kodierers, um die Größe des Restbildes zu verringern; und (vi) Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium und Wiederholen der Schritte (i) bis (vi), bis das vorgegebene Kriterium erfüllt ist; wodurch das Restbild kodiert wird und die Größe desselben auf einen vorgegebenen Wert reduziert wird.
KURZE BESCHREIBUNG DER FIGUREN
1 illustriert ein Gesamtdiagramm eines Videokompressionssystems, das die übervollständige Basistransformation verwendet und verbundene Kodierungsmethoden gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist ein Beispiel eines Bewegungsrestbildes, prozessiert durch eine Ausführungsform der vorliegenden Erfindung.
3 illustriert ein einfaches Verzeichnis mit 16 Basen zur Verwendung bei einer Ausführungsform der vorliegenden Erfindung.
4 beschreibt den gesamten Atomzerlegungsprozess, basierend auf einer übervollständigen Basis gemäß einer Ausführungsform der vorliegenden Erfindung.
5 beschreibt die grundlegenden Schritte, welche durch den Restenergiesegmentierungsalgorithmus (RESA) ausgeführt werden gemäß einer Ausführungsform der vorliegenden Erfindung.
6 illustriert den ersten Schritt des RESA gemäß einer Ausführungsform der vorliegenden Erfindung.
7 illustriert den zweiten Schritt von RESA: Das Schema des Horizontalanwachsens gemäß einer Ausführungsform der vorliegenden Erfindung.
8 illustriert den dritten Schritt von RESA: Das Schema des Vertikalanwachsens gemäß einer Ausführungsform der vorliegenden Erfindung.
9 beschreibt die „Matching-Pursuit"-(Anpassungsverfolgung-)Atomsuche unter Verwendung des progres siven Eliminierungsalgorithmus (PEA) gemäß einer Ausführungsform der vorliegenden Erfindung.
10 illustriert wie das Unterverzeichnis einer passenden Basis gebildet werden soll, und Suchpositionskandidaten gemäß einer Ausführungsform der vorliegenden Erfindung.
11 illustriert die schnelle Berechnung von Bereichsenergie gemäß einer Ausführungsform der vorliegenden Erfindung.
12 illustriert die Parameter für ein Atom gemäß einer Ausführungsform der vorliegenden Erfindung.
13 ist ein Bespiel einer Atompositionskarte gemäß einer Ausführungsform der vorliegenden Erfindung.
14 ist ein den Atomkodierungsprozess illustrierendes Flussdiagramm gemäß einer Ausführungsform der vorliegenden Erfindung.
15 ist ein das Dekodieren eines komprimierten Restsignals illustrierendes Flussdiagramm gemäß einer Ausführungsform der vorliegenden Erfindung.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Die vorliegende Erfindung ist ein neuer Kodierer für ein übervollständiges Transformieren basierend auf Restbildkodierung verwendet für bewegungskompensierte Videokompressionssysteme. Die Erfindung ist analog zu vorhergehende „Matching-Pursuit"-Videokodierer derart, dass das Restbild in eine Liste von Atomen zerlegt wird, welche Basisfunktionen aus einem übervollständigen Verzeichnis darstellen. Der Atomauffindungsprozess wird jedoch unter Verwendung eines Restenergiesegmentierungsalgorithmus (RESA) und eines progressiven Eliminierungsalgorithmus (PEA) durchgeführt. Das Basisverzeichnis kann sehr groß sein, um die häufig bei Bewegungsrestbildern auftretenden Merkmale zu charakterisieren. Um ein Atom aufzufinden, identifiziert RESA die ungefähre Form und Position von Bereichen hoher Energie in den Bewegungsrestbildern derart, dass eine gute Übereinstimmung durch Vergleich mit einer kleineren Teilmenge von Basen in dem Verzeichnis gefunden werden kann. Des Weiteren beseitigt PEA progressiv Musterkandidaten aus der Beurteilung durch Vorherberechnung der Energie von Suchfenstern, wodurch die Berechnungszeit zum Auffinden der besten Überstimmung verringert ist. Immer wenn ein passendes Atom gefunden ist, wird das Restbild durch Entfernen des durch das Atom gekennzeichneten Teils aktualisiert. Die vorhergehenden Schritte des Auffindens von Atomen und Aktualisieren von Restbildern werden wiederholt bis eine gewünschte Kompressionsbitrate oder Qualität erreicht worden ist.
Die Erfindung führt ein neues Modulus-Quantisierungsschema zum „Matching-Pursuit" mit einer übervollständigen Basis ein, welches die Atomauffindungsprozedur ändert. Die durch die Transformation direkt-produzierten Koeffizienten sind kontinuierliche Fließkommawerte, welche ein Quantisieren zum optimalen digitalen Kodieren unter einem Bitbudget erfordern. In dem „Matching Pursuit" Algorithmus ist es erforderlich, einen In-Loop-Quantisierer zu verwenden – wobei jedes gefundene Atom zunächst quantisiert wird und dann verwendet wird, um das Restbild zu aktualisieren. Als solches beeinflusst jedes Atom die Auswahl von nachfolgenden Atomen. Wenn der Quantisierer spezifiziert ist bevor das Kodieren beginnt, wie in vorhergehenden „Matching Pursuit" Methoden, ist es schwierig, das Quantisierungsschema zu optimieren, da das optimale Quantisierungsdesign abhängig ist von Statistiken der Liste von ausgewählten Atommodulen. Das Quantisierungsschema gemäß der vorliegenden Erfindung wählt den Quantisierer angepasst während des Atomsuchprozesses.
Zusätzlich zum Atom-Modulus ist es erforderlich, den Index der ausgewählten Basis und die Position der Atome in einen übervollständigen transformationsbasierten Kodierer zu übertragen. Die Erfindung umfasst ein Verfahren zum effizienten Kodieren der Atompositionsinformation. Die Atompositionsverteilung bildet eine 2D-Karte, wo Pixelwerte von 1 und 0 das Vorhandensein von Atomen oder das Fehlen derselben an jeder Position entsprechend darstellen. Eine quadtree-ähnliche Technik ermöglicht das Kodieren der Positionskarte. Die Modulus- und Basisinformation sind in der Positionskodierung eingebettet. Die Atome unterschiedlicher Kanäle eines Farbvideos (Y, U, V) werden unabhängig kodiert.
Alle Atomparameter werden übertragen nachdem sie in eine komprimierte Version der Restbilder kodiert sind. Für den Dekodierungsprozess rekonstruiert der Dekodierer das Restbild durch Interpretieren des kodierten Bitstroms zurück in Atomparameter und kombiniert die Atominformation zum Bilden des rekonstruierten Stroms von Restbildern, welche dann mit dem bewegungskompensierten Bild kombiniert werden, um den rekonstruierten Videostrom zu bilden.
Die vorliegende Erfindung ist ein Verfahren zum Kodieren von Bewegungsrestbildern aufweisend die Schritte: Bilden der Atomzerlegung des Restbildes in einen übervollständigen Basisraum unter Verwendung des modifizierten „Matching Pursuit" Algorithmus; Auswählen des Modulus-Quantisierers; Kodieren der Atompositionskarte, des Modulus als auch des Index der ausgewählten Basis. Die vorliegende Erfindung stellt des Weiteren ein Verfahren zum Dekodieren von Restsignalen bereit, welches unter Verwendung des obigen Kodierungsverfahrens kodiert worden sind.
1 illustriert das verbundene Prozessieren, ausgeführt durch eine Videokompressionsvorrichtung 10, welche den Restbildkodierer 20 entsprechend einer Ausführungsform der vorliegenden Erfindung anwendet. Der Videoframe wird an fänglich durch einen Bewegungsbewerter 30 prozessiert, welcher den aktuellen Frame mit einem oder zwei Referenzframes vergleicht. In den meisten Fällen verändern Objekte in dem Video ihre Position in aufeinander folgenden Frames während der Hintergrund der gleiche bleibt. Da die Referenzframes zum Videodekodierer 12 übertragen worden sind, können einige Bereiche im Referenzframe verwendet werden, um den aktuellen Frame zu konstruieren. Der Bewegungsbewerter 30 identifiziert diese Bereiche innerhalb der Referenzframes, welche ähnlich zu Bereichen des aktuellen Frame sind. Der Bewegungskompensator 32 produziert den Unterschied zwischen diesen ähnlichen Bereichen und kombiniert sie als ein Bewegungsrestbild. Die Positionsbeziehungen zwischen ähnlichen Bereichen werden als Bewegungsvektoren dargestellt, welche durch einen Bewegungsvektor-Kodierer 34 prozessiert werden. Der Atomzerleger 40 prozessiert zuerst das Restbild und dann komprimiert der Atomkodierer 42 die resultierenden Atome. Die kodierten Bewegungsvektoren und Atome werden in einem Einbitstrom durch den Multiplexer 22 kombiniert. Das komprimierte Video wird übertragen oder durch eine Vorrichtung 24 gespeichert, welche das Video im komprimierten Format zu einem Videodekodierer 12 übergeben kann.
Der untere Teil der 1 illustriert den Dekodierer 12, in welchem der Demultiplexer 26 das komprimierte Videosignal trennt und korrespondierende Bits zum Bewegungsvektordekodierer 36 und dem Restbilddekodierer 28 entsprechend sendet. Der Bewegungsrekonstruierer 38 bildet den vorhergesagten Frame aus dem Referenzframe und dem Bewegungsvektor. Der Restbilddekodierer 28 rekonstruiert das Restbild. Diese zwei Signale, nämlich der Vorhersage-Frame und der Restframe werden zusammen addiert, um den endgültigen rekonstruierten Videoframe zu generieren.
2 ist ein Beispiel eines Bewegungsrestbildes für den Y-Farbkanal. Das ursprüngliche Restbild hat beides, Nega tiv- und Positivwerte. Zum angemessenen Darstellen des Restbildes als ein 256-stufiges Graubild werden die Pixelwerte im Restbild geschoben und so skaliert, dass reines Grau Null bezeichnet, während Schwarz und Weiß Negativ- und Positivwerte entsprechend darstellen. Zum Beispiel weist das Restbild einige Hochenergiebereiche auf, welche zu Bewegungen von Objekten im Video korrespondieren.
Die meisten Signalkompressionstechniken transformieren die Originaldaten in einige kompaktere Formate auf unterschiedliche Arten mathematischer Transformationen. Einige mathematische Transformationen wie DCT und DWT, verwenden eine vollständige Basis, welche eine invertierbare Transformationsmatrix bilden. Kürzlich haben übervollständige Basen und verbundene Transformationsalgorithmen beträchtliche Beachtung erlangt. Die Anzahl von Basen in einem übervollständigen Basisverzeichnis ist sehr viel größer als die Dimension der Originaldaten. Der Vorteil einer übervollständigen Basis ist der, dass die transformierten Koeffizienten effizienter beim Darstellen der wahren Merkmale im Originalsignal sind. Es existieren viele mathematische Methoden, um ein Basisverzeichnis für unterschiedliche Signale aufzubauen. Einige Verzeichnisse für Videobewegungsrestbilder sind entworfen worden und für sie ist nachgewiesen worden, dass sie die Merkmale in Restbildern gut abdecken. Zum Beispiel ist ein Basisverzeichnis basierend auf separierbaren Gabor-Funktionen durch Neff und Zakhor beschrieben worden in „Very Low Bit Rate Video Coding Based on Matching Pursuits", IEEE Transactions on Circuits and Systems for Video Technology, Feb. 1997, 158–171 und ein Basisverzeichnis basierend auf Haar-Funktionen ist durch Vleeschouwer und Macq beschrieben worden in „New dictionaries for matching pursuit video coding", Proc. of the 1998 International Conference on Image Processing, Vol. 1, 764–768. 3 ist ein einfaches Beispielverzeichnis enthaltend 16 Basen. Jede der obigen Verzeichnisse kann für die vorliegende Erfindung verwendet werden. Unter besonderem Bezug zu dem oben genannten Gabor-Verzeichnis sind 400 2D-Funktionen explizit genannt. Allerdings enthält es aktuell sehr viel mehr Basisstrukturen implizit, da jede der 400 2D-Funktionen an jede mögliche Position innerhalb des Bildes platziert werden kann. Die Verwendung einer Framegröße von 176X144 Pixels impliziert, dass das Verzeichnis aktuell 400X176X144 = 5.7 Millionen Basisstrukturen enthält – welches es höchst übervollständig macht. Die direkt den „Matching Pursuit" Algorithmus verwendende Transformation, beschrieben durch S. Mallat und Z. Zhang in „Matching Pursuits With Time-Frequency Dictionaries", IEEE Transaction in Signal Processing, Vol. 41, Nr. 12, Dez. 1993, wird eine extrem große Anzahl von Rechenschritten benötigen, um die Transformationskoeffizienten zu bestimmen. Der „Matching Pursuit" für Videokompression, erfunden durch Zakhor und Neff in US Patent Nr. 5,699,121 reduziert die Rechenlast, allerdings bleibt dieser rechenmäßig aufwendig. Die vorliegende Erfindung stellt einen Weg bereit, um Restbilder basierend auf allgemeinen Verzeichnissen zu transformieren, welches ausgeführt wird durch einen Atomzerleger 40, und einen Weg, um die transformierten Koeffizienten zu kodieren, welches die Aufgabe des Atomkodierers 42 ist.
Der Betrieb des Atomzerlegers 40 ist gemäß einer Ausführungsform vollständig beschrieben in 4. Der erste Schritt (Block 61), ausgeführt durch den Atomzerleger 40, ist, einen anfänglichen Suchbereich zu finden. Dieser Schritt wird realisiert durch den Restenergiesegmentierungsalgorithmus (RESA), wobei eine Ausführungsform davon in 5 gezeigt ist. RESA basiert auf einer allgemeinen Bereichsanwachsungsidee. Er wählt anfänglich einen 2x2-Block als einen Startpunkt zum Bereichsanwachsen (Block 70). Dieser Schritt erfordert die Aufteilung des Restbildes in 16x16 Blöcke, wie in 6 gezeigt. Die Energie, welche die Summe der Quadrate aller Pixelintensitäten ist, wird für jeden Block berechnet und der Block mit der höchsten Energie wird identifiziert, zum Beispiel als in 6 gezeigter Block 71. Block 71 wird weiter geteilt in vier 8x8- Unterblöcke und der Unterblock 72 mit der höchsten Energie wird identifiziert. Innerhalb des 8x8-Unterblocks 72 wird ebenfalls der höchste Energie-2x2-Block 73 identifiziert, wobei dieser Block als der Startpunkt zum Bereichsanwachsen verwendet wird.
Der nächste Schritt von RESA (Block 74, illustriert in 5) ist, den 2x2-Block auf der linken Seite des aktuellen Bereichs zu prüfen. 7 illustriert diesen Schritt von RESA. Ein Schwellenwert wird dynamisch berechnet als: T = AE·max(7 – AU,5)/10,wobei AU die Anzahl der Blöcke ist, welche auf der linken Seite des Startblocks hinzugefügt worden sind und AE ist die Durchschnittsenergie pro 2x2-Block des aktuellen Bereichs. Wenn die Energie des geprüften 2x2-Blocks größer als der aktuelle Schwellenwert ist, wird der 2x2-Block mit dem aktuellen Bereich gruppiert, zusammen bildend einen neuen größeren aktuellen Bereich. Andernfalls ist ein Stopppunkt auf dieser Seite gefunden worden und wir gruppieren diese Blöcke nicht zusammen. In einer ähnlichen, symmetrischen Weise, prüfe den 2x2-Block auf der rechten Seite des aktuellen Bereichs. Setze Anwachsen fort, erst die linke Seite und dann die rechte Seite, bis Stopppunkte auf beiden Seiten gefunden sind oder die Breite des Rechtecks 32 erreicht hat, (je nachdem welches zuerst auftritt). Ein horizontales Streifenrechteck 75 ist nach diesem Schritt gebildet, wobei die Dimension des Streifens 2·2m, 1 <= m <= 16 ist.
Der abschließende Schritt von RESA (Block 76 in 5) ist es, den Bereich basierend auf dem Streifen 75 anzuwachsen, wie in 8 gezeigt. Angenommen die Breite des Streifens 75 ist W. Betrachte das 2·W-Streifenrechteck oberhalb des aktuellen Bereichs zusammen mit einem Schwellwert: Ts = AEs·max(7 – AUs,5)/10, wobei Aus die Nummer der 2·W-Rechtecke ist, welche oberhalb des anfänglichen Streifens hinzugefügt sind und AEs die durchschnittliche Energie pro 2·W-Rechteck enthalten in dem aktuellen Bereich ist. Wenn das getestete 2·W-Rechteck eine Energie hat, die größer ist als ein Schwellwert, lasse es in dem aktuellen Bereich aufgehen. Andernfalls ist ein Stopppunkt auf dieser Seite gefunden worden. In einer ähnlichen, symmetrischen Weise prüfe das 2·W-Rechteck unterhalb des aktuellen Bereichs. Setze das Anwachsen fort, zuerst oberhalb und dann unterhalb, bis Stopppunkte auf beiden Seiten gefunden sind oder die Höhe oder der aktuelle Bereich 32 erreicht hat, (was immer zuerst kommt). Am Ende erhalten wir ein Rechteck 77, welches die Dimension 2n·2m, 1 <= –n, m <= 16 hat.
Mit weiterem Bezug auf 4 ist der Prozess zum Auffinden der am engsten passenden Basis vom vorgegebenen Verzeichnis illustriert (Block 62). Der Grad der Übereinstimmung zwischen einer Basis und dem Restbild ist dargestellt über den Absolutwert (Modulus) deren inneren Produkts, welches das Atom-Modulus genannt ist, wobei ein großer Modulus eine gute Anpassung impliziert. Der Prozess des Bestimmens dieses Modulus erfordert die Berechnung einer Anzahl innerer Produkte und Auswählen desjenigen mit dem größten Modulus als das aktuelle Atom. Dieser Prozess kann der langsamste Teil des „Matching Pursuit"-Algorithmus sein. In dem klassischen „Matching Pursuit"-Algorithmus würde es erforderlich sein, das innere Produkt zwischen dem Restbild und jedem der Millionen von Elementen in dem Verzeichnis zu berechnen, um das Modulus zu bestimmen. Im Stand der Technik zum Beispiel wird der 16·16-Block mit der höchsten Energie im Restbild einfach als der anfängliche Suchbereich ausgewählt – jede Basisstruktur ist zentriert an jedem Ort in dem ausgewählten Block und das innere Produkt zwischen der Basisstruktur und dem korrespondierenden Restbereich wird berechnet werden. Für ein Verzeichnis mit 400 Basen erfordert dieser Prozess 256 × 400 = 102400 innere Produktberechnun gen. 9 illustriert den neuen „Matching Pursuit"-Prozess gemäß der vorliegenden Erfindung.
Das resultierende RESA-Rechteck 77 in 8 stellt eine anfängliche Bewertung für die Form des Hochenergiemerkmals bereit. Es wird verwendet, um Basen im Verzeichnis auszufiltern, die eine Form haben, welche zu unterschiedlich vom RESA-Rechteck ist. Eine Teilmenge von passenden Basiskandidaten (Block 80) wird dann gebildet. Angenommen die Breite und die Höhe des Rechtecks 77 ist entsprechend w und h, so wird ein Unterverzeichnis gebildet, das alle Basen mit Formen enthält, die durch die Breite und die Höhe entsprechend spezifiziert sind, welches genügt: w – tw1 <= Breite <= w + tw2 und h – th1 <= Höhe <= h + th2,wobei tw1, tw2, th1 und th2 Werte sind, die festgelegt sind um die Basisgröße zu begrenzen. Diese Werte können gemäß der Verzeichnisstruktur geändert und angepasst werden. Die größten und kleinsten Abmessungen der getesteten Basen sind als Rechteck 90 und 91 in 10 illustriert. Zum Beispiel ist Block B80 ein simples Unterverzeichnisbeispiel enthaltend vier Basen.
RESA kann des Weiteren den Ort von Hochenergiemerkmalen im Restbild abschätzen. Die Positionskandidaten für passende Basen werden um das Zentrum des RESA-Rechtecks 77 (Block 81) herum gewählt. 10 zeigt ein kleines Rechteck 92 dessen Zentrum das gleiche ist wie das des RESA-Rechtecks 77. Es wird angenommen, dass alle Pixel innerhalb des Rechtecks 92 als ein Zentrum für den getesteten Restbereich arbeiten können. Rechteck 94 in 10 ist ein Beispiel, dessen Zentrum Punkt 93 ist, oder die links obere Ecke des Rechtecks 92. Die Breite (ws) und Höhe (hs) des Rechtecks 92 wird als variabel mit dem RESA-Rechteck 77 angenommen. Die Beziehung ist: ws = 2·min(w/2 + 1,6) und hs = 2·min(h/2 + 1,6)
Die Größe des Rechtecks 92 kann durch andere Regeln bestimmt werden oder einfach in einer Implementierung festgemacht werden. Die grundlegende Idee ist, dass eine gute Übereinstimmung um das Zentrum des RESA-Rechtecks 77 herum angeordnet ist. Des Weiteren werden jegliche Positionen innerhalb des Rechtecks 92, welche bereits das Zentrum eines Atoms enthalten nicht für irgendein neues Atom berücksichtigt. Punkt 95 in 10 ist ein Beispiel. Es sollte bemerkt werden, dass der Stand der Technik solch eine Beschränkung nicht angibt. Die Idee für diese Art der Beschränkung ist, dass wenn ein Atom eine gute Anpassung zur Verfügung stellt, es die Energie um sein Zentrum herum entfernen sollte ohne zu viel Extraenergie an seinen Grenzen einzuführen. Als solches ist es nicht erwünscht, für den „Matching Pursuit" Algorithmus zur gleichen Position zurückzukommen, um ein zweites Atom zu produzieren. Diese Beschränkung, keine Positionswiederholung zu forcieren, hat praktisch keine Auswirkung auf die Kodierleistungsfähigkeit und kann die Kodierung der Atompositionsinformation einfacher machen.
Der nächste Prozessierschritt (Block 89 in 9) wird progressiver Eliminierungsalgorithmus (PEA) für das Rest- „Matching Pursuit" genannt. Er ist unabhängig vom Verfahren, welches verwendet wurde, um das Testbasisunterverzeichnis zu bilden und Testpositionen zu setzen. Zum Beispiel wird PEA noch betrieben, wenn das Unterverzeichnis das gesamte Verzeichnis ist und der Satz von Positionskandidaten der Satz von Koordinaten aufweisend das gesamte Restbild ist. PEA ist ein Verfahren zum effizienteren Auffinden der am nächsten kommenden Basis durch progressives Entfernen von Vergleichskandidaten aus der Betrachtung. Dies hebt sich ab von klassischen „Matching Pursuits", welche alle Basiskandidaten bei allen möglichen Positionen vergleichen. Anfänglich wird das Maximum-Modulus Mm auf Null gesetzt (Block 82). Als nächstes wird eine Basis b(k,l) betrachtet (Block 83), wobei k und 1 die Breite und Höhe der 2D-Basisfunktion darstellen. Ein in gleicher Weise abgemessener an einem Positionskandidaten r(k,l,p) im Restbild zentrierter Bereich wird gebildet (Block 84). Block 85 vergleicht ||r(k,l,p)|| die Energie von r(k,l,p) mit dem aktuellen Maximum-Modulus (Mm), um zu entscheiden, ob eine Notwendigkeit besteht, das innere Produkt zwischen r(k,l,p) und b(k,l) zu berechnen. Um diese Operation zu erklären, wird die mathematische Dreiecksungleichung in Erinnerung gerufen: |<r(k,l,p), b(k,l)>| <= ||r(k,l,p)|| ||b(k,l)||
Die Aufgabe von „Matching Pursuit" ist es, das Maximum |<r(k,l,p), b(k,l)>| zu finden. Angenommen, das aktuelle Maximum-Modulus ist Mm. Wenn, für die Basis b(k,l) bei Position p, der korrespondierende Rest r(k,l,p) genügt ||r(k,l,p)|| ||b(k,l)|| <= Mm, dann: |<r(k,l,p), b(k,l)>| <= ||r(k,l,p)|| ||b(k,l)|| <= Mm
In diesem Fall ist es nicht notwendig, das innere Produkt <r(k,l,p), b(k,1)> zu berechnen und der Bereich r(k,l,p) wird zur nächsten Position bewegt. Die Norm der Basis ||b(k,l)|| kann a priori berechnet werden (tatsächlich sind die meisten Basen normalisiert, nämlich ||b(k,l)|| = 1), der einzige Overhead für diesen Test es dann, die Energie von r(k,l,p) zu berechnen. Ein effektiver Algorithmus um ||r(k,l,p)|| zu bestimmen, wird unten beschrieben.
Angenommen es gibt n unterschiedliche Abmessungen von Basishöhen {v₁, v₂, ... v_n} und m unterschiedliche Abmessungen von Basisbreiten {h₁, h₂, ... h_m}, welche ansteigend geordnet sind. Die Such-Rechteckdimension ist hs·ws und der Links-oben-Punkt des Suchrechtecks ist p(x,y). Die hs·ws·n·m Energiewerte können durch die folgenden vier Schritte berechnet werden:
Schritt 1: Berechne die Energie für die s = h_m + k Spalten (11 zeigt ein Beispiel der Spalten). Diese Spalten sind zentriert bei (x – h_m/2 + i,y), i = 0, 1, ..., s – 1. Deren Höhe ist v₁. Deren Energie wird dargestellt als C_1,0(0), C_1,1(0), ... C_1,s(0) und berechnet als : C1,i(0) = e(x – hm/2 + i,y – v1/2) + ... + e(x – hm/2 + i,y) + ... + e(x – hm/2 + i,y + v1/2),wobei e (x, y) die Energie der Pixel bei Position (x, y) darstellt.
Die Energie für die nächsten s Spalten mit den gleichen Koordinaten wie die obigen Streifen und Länge v₂ kann berechnet werden als: C2,i(0) = C1,i(0) + Extra (v2 – v1) Pixels Energie, i = 1, 2, ... s
Im allgemeinen haben wir: Cj,i(0) = Cj – 1,i(0) + Extra (vj – v(j – 1)) Pixels Energie,i = 1, 2, ... s; j = 1, 2, ... n
Schritt 2: Berechne die Energie der Spalten, welche vertikal zu den Spalten in Schritt 1 verschoben sind, unter Verwendung: Cj,i(a) = Cj,i(a – l) – e (x – hm/2 + i,y – v1/2 + a – l) + e (x – hm/2 + i,y + v1/2 + a), a = 1, ..., hs, wobei a die vertikale Verschiebung zu y beziffert.
Schritt 3: Berechne die Energien der Bereiche mit Höhe vj(j = 1, ..., n) und Breite h₁, h₂, ..., h_m und Zentrum (x,y + a), (v = 0, 1, ..., hs) unter Verwendung: Sj,1(0, a) = Cj,(hm – h1)/2(a) + ... + Cj,hm/2(a) + ... + Cj,(hm + h1)/2(a) Sj,2(0,a) = Sj,l(0,a) + Extra(h2 – h1) Spalten Energie
Im Allgemeinen Sj,i(0,a) = Sj,i – 1(0,a) + Extra(hi – h(i – 1)) Spalten Energie, i = 1, ..., m
Schritt 4: Berechne die Energien des ersten Satzes von Bereichen mit einer vertikalen Basislänge v_j, (j = 1, ..., n) und horizontalen Basislänge h_i, (i = 1, ..., m) und Zentrum (x + b, y + a), (b = 1, ..., ws und a = 1, ...hs) unter Verwendung: Sj,i(b,a) = Sj,i(b – l, a) – Cj,(hm – hi)/2 + b – l(a) + Cj,(hm + hi/2 + b(a)
Der Maximummodulus kann sukzessiv aktualisiert werden während des Matching-Pursuit-Prozesses; dies kann den Suchraum progressiv begrenzen. Mehrere Basen können die gleichen Abmessungen haben und somit kann eine Energieberechnung mehrere innere Produktberechnungen vermeiden. Die Leistungsfähigkeit von PEA ist auch damit verknüpft, wie schnell eine gute Übereinstimmung (nicht notwendigerweise die beste Übereinstimmung) gefunden ist. Weil große Bereiche immer mehr Energie enthalten, werden Basen größerer Dimension als erstes getestet.
Wenn ||r(k,l,p)||>Mm, wird Block 86 ausgeführt, um das innere Produkt p zwischen r(k,l,p) und b(k,l) zu berechnen. Block 87 vergleicht den Absolutwert von p mit dem aktuellen Maximummodulus Mm. Wenn |p| > Mm, wird der neue Mm als |p| gesetzt und der entsprechende Basisindex und die Position werden aufgezeichnet. Ungeachtet dessen, kehren wir weiter zum Block 84 zurück, bis alle Suchpositionen geprüft sind. Dann werden Blöcke 83 bis 88 wiederholt durchlaufen bis alle Basiskandidaten getestet worden sind. Schließlich wird ein Atom erzeugt, welches drei Parameter enthält: 1. Im Index der Basis im Verzeichnis welche die beste Übereinstimmung ergibt; 2. der Ort der besten Übereinstimmung im Restbild mit (x, y) Koordinaten und 3. das innere Produkt (p) zwischen der Basis und dem Restbild. 12 zeigt ein Beispiel eines Atoms auf einem Restbild.
Unter weiterem Bezug auf 4 besteht der Schritt nach Auffinden eines Atoms darin, die Atomparameter (Block 63) aufzuzeichnen. Bemerke in diesem Stadium, dass keine Quantisierung des Atommodulus durchgeführt wird. Entscheidungsblock 64 wird entscheiden, wann eine Atomquantisierung begonnen wird. Sein Betrieb hängt von dem Ziel einer Ratenkontrolle ab, die durch das Videokomprimierungssystem definiert ist. Wenn das Kompressionsverhältnis fest ist, wird Block 64 prüfen, ob noch immer Bits für mehr Atome verfügbar sind. Weil keine aktuelle Kodierung bislang durchgeführt worden ist, müssen die verwendeten Bits zum Kodieren der aktuellen Atome geschätzt werden. Lasse „Bip" die Durchschnittbits zum Kodieren der Basisindizes und Position darstellen, „Bm(i)" stellt die aktuellen Bits für das i'te Atommodulus ohne Quantisierung dar. Ansetzend ein Bit für das Zeichen des inneren Produkts (p), werden dann die verwendeten Bits für n Atome geschätzt als: Verwendete Bits = n·(Bip + 1) + Σ(Bm(1) + Bm(2) + ... Bm(n)),wobei „Bip" entsprechend den experimentellen Daten für einen ersten Restframe initialisiert ist; und als ein Realwert des letzten Frames gesetzt ist. Bm(i) kann für jedes Modulus genau bekannt sein. Eine wichtige Tatsache ist, dass das Modulus später quantisiert werden wird und resultieren wird in weniger zu verwendete Bits als aktuell geschätzt. Somit werden in diesem Stadium typischerweise weniger Atome sein als das was kodiert werden kann. Wenn das Videosystem eine bestimmte Qualität erreichen möchte, welche durch das mittlere Fehlerquadrat (MSE) das kodierten Restbildes im Vergleich zum aktuellen Restbild definiert ist, wird Block 64 das aktuelle erreichte MSE mit dem MSE-Ziel vergleichen. Das MSE nach Einführung eines Atoms wird aktualisiert gemäß der folgenden Gleichung: MSE(n) = MSE(n – 1) – p(n)·p(n), wobei MSE(n) das MSE nach Verwenden von n Atomen darstellt und p(n) das innere Produkt des n'ten Atoms darstellt. Anfänglich wird das MSE oder MSE(0) auf die Energie des ursprünglichen Restbildes gesetzt. Nach Ausführung der Quantisierung wird MSE(n) wahrscheinlich ansteigen und deshalb nicht mehr das MSE-Ziel erreichen. Zusammenfassend, wenn Bits zur Verfügung stehen oder das Qualitätsziel nicht erreicht worden ist, wird das Restbild basierend auf dem aktuellen Atom (Block 65) aktualisiert, gefolgt durch eine Suche nach einem anderen Atom wieder beginnend bei Block 61. Andernfalls, wenn das Bit oder das Qualitätsziel erreicht worden ist; wird Block 66 für den Quantisierungsentwurf ausgeführt. Restbildaktualisierung, ein Schritt für den Standard-Matching-Pursuit-Algorithmus, kann mathematisch beschrieben werden als r((k,l,p) = r(k,l,p) – p(n)·b(k,l)
Alle Bereiche, die nicht durch das aktuelle Atom bedeckt werden, werden unverändert bleiben.
Der Entwurf des Quantisierers (Block 66) basiert auf dem bislang gefundenen Minimummodulus (Minm)-Wert. Die Quantisierungsschrittabmessung (QS) wird gesetzt auf:
Alle bis zu diesem Punkt gefundenen Atome werden unter Verwendung des obigen QS im einfachen Mid-Read-Skalaren-Quantisierungsschema quantisiert. Als nächstes wird das Restbild wiederum aktualisiert entsprechend der nun quantisierten Liste von Atommoduli 67. Angenommen, dass der Atomko effizient vor und nach Quantisierung p(i) bzw. q(i) ist entsprechend (i = 1, ..., n). Angenommen, dass die korrespondierenden Basen sind b(i), (i = 1, ..., n). Das Restbild nach n unquantisierten Atomen ist: E(n) = (Originalrest) – p(1)b(1) – p(2)b(2) – ... – p(n)b(n)
Seine Energie ||E(n)|| ist ebenfalls bekannt. Es gibt zwei Wege, um die Restenergie nach Quantisierung zu berechnen. Der erste Weg ist, einfach das Restbild nach Quantisierung zu berechnen als: EQ(n) = (Originalrest) – q(1)b(1) – q(2)b(2)– ... – q(n)b(n)
Ein weiterer Weg ist, es rekursiv zu aktualisieren. Angenommen der Quantisierungsfehler für p(i) ist Δp(i). Dann ist das Restbild mit nur quantisiertem p(n): EQ(1) = E(n) – Δp(n)b(n) und ||EQ(1)|| = ||E(n)|| + Δp(n)·Δp(n) – 2Δp(n) <E(n),b(n)>
Der Rest mit der Quantisierung von p(n) und p(n – 1) wird: EQ(2) = EQ(1) – Δp(n – 1)g(n – 1)
Die Beziehung ist wirklich rekursiv und kann beschrieben werden als: EQ(i) = EQ(i – 1) – Δp(n – i + 1)g(n – i + 1), i = 1, 2, ... n, EQ(0) = E(n)
Die korrespondierende Energie ist: ||EQ(i)|| = ||EQ(i – 1)|| + Δp(n – i + 1)Δp(n – i + 1) – 2·Δp(n – i + 1)<EQ(i – 1),g(n – i + 1)>
Schließlich werden wir EQ(n) und ||EQ(n)|| erhalten, welches der Startpunkt für das weitere Atomauffinden ist. Eine wichtige Sache ist, dass die Liste von Atomen in jeder Reihenfolge für die rekursive Aktualisierung auftreten kann – die Aktualisierung braucht nicht in der Reihenfolge aufzutreten, in welcher die Atome gefunden wurden.
Weil die Moduli der Atome quantisiert worden sind, werden nun mehr Atome erforderlich sein, um die Ratenkontrolle oder das Qualitätsziel zu erreichen. Deshalb wird Block 68 ausgeführt, um zusätzliche Atome aufzufinden. Der Prozess ist der gleiche wie Block 61 bis 63. Jedoch werden die Atommoduli in diesem Stadium sofort quantisiert. Wir müssen nun mit Atomen umgehen, deren Moduli kleiner als (QS – QS/4) ist, ohne diese durch Setzen deren Quantisierungswert auf Null auszuwerfen. Das zu verwendende Schema wird unten gegeben:

1. Wenn das Atommodulus größer als (QS – QS/4) ist, dann verwendet der Quantisierer QS;
2. andernfalls, wenn das Atommodulus größer als (QS/2–QS/8) ist, dann wird es quantisiert als Wert QS/2;
3. andernfalls, wenn das Atommodulus größer als (QS/4–QS/16) ist, dann wird es quantisiert als Wert QS/4;
4. andernfalls, wenn das Atommodulus größer als (QS/8–QS/32) ist, dann wird es quantisiert als Wert QS/8.

In der Praxis sind typischerweise drei Ebenen Tiefe ausreichend, obwohl mehrere Ebenen verwendet werden können.
Nach Block 68 wird eine Realratenkontrolllogikeinheit ausgeführt (Block 69). Weil die Atome In-Loop in diesem Stadium quantisiert werden, kann die erreichte Qualität oder die aktuelle Anzahl von verwendeten Bits geschätzt werden. Wenn das Kompressionsziel erreicht ist, wird das System in den Atomkodierer 42 gehen. Andernfalls wird das Restbild basierend auf dem quantisierten Atommodulus aktualisiert und das System wird zu Block 68 zurückkehren, um das nächste Atom zu finden. Für Farbvideo enthält ein Restbild mehrere Kanäle, d.h. Y, U und V-Kanäle. Der Atomzerleger 40 wird für jeden Kanal unabhängig verwendet. Mit diesem Schema kann jeder Kanal sein eigenes Bitbudget oder erwünschtes Qualitätsziel haben. Es gibt bestimmte Bitfestlegungsverfahren, welche verwendet werden können, um Bitbudges für die unterschiedlichen Kanäle festzulegen.
All die Atome werden zur Ausgabe in einer komprimierten Form zum Atomkodierer 42 geführt. Die vorliegende Erfindung betrachtet die Atomverteilung für jeden Kanal als eine biwertige Karte wie in 13 illustriert. Die schwarzen Pixel stellen Atome in ihrer entsprechenden Position dar, während die weißen Pixel ein Fehlen von Atomen in dieser Position darstellen. Eine quadtree-artige Technik kann verwendet werden, um die Atome enthaltenden Positionen zu kodieren, obwohl wie selbstverständlich zu verstehen, andere Techniken verwendet werden können. Die anderen Parameter jedes Atoms können nach der Atompositioninformation kodiert werden, zum Beispiel unter Verwendung einer variablen Längenkodierung, jedoch können nach Kenntnis eines Fachmanns andere Kodierungstechniken verwendet werden. Die Kodierungsprozedur für das Atomparametersignal ist in 14 illustriert und in weiteren Details unten beschrieben.
Der erste Schritt einer Atomkodierung ist es, die gesamte Atomkarte zu zerlegen, zum Beispiel wie in 13 illustriert, in n·n Blöcke (Block 101). Der Wert n kann entweder 16 (für den Y-Kanal) oder 8 (für die U und V-Kanäle) sein. Für jeden n·n Block wird ein Nullbit ausgegeben, wenn keine Atome in dem Block sind; andernfalls wird ein Ein-Bit ausgegeben und der Block wird weiter prozessiert, um die Atome zum Dekodierer anzuordnen. Eine Quadtree-Zerlegungsprozedur wird dafür verwendet und ist in den folgenden vier Schritten zusammengefasst:
Schritt 1. Initialisieren eine Liste von Atomblöcken (LAB) mit einem Element – der n·n Block selbst.
Schritt 2. Wähle ein Element e von LAB. Wenn e's Größe 1·1 ist, gebe alle Atomparameter außer der Position aus: nämlich den Basisindex, Modulus und das Vor zeichen des inneren Produkts von e sollte ausgegeben werden, dann gehe weiter zu Schritt 4, andernfalls gehe weiter zu Schritt 3.
Schritt 3. Ausgabe der Atommusterbits für die vier Unterblöcke von e : a₁a₂a₃a₄, wobei a_i (i = 1, 2, 3, 4) Eins ist, wenn ein Atom in dem korrespondierenden Unterblock ist und andernfalls Null. Lege alle Unterblöcke i mit a_i-Wert gleich 1 in das Ende von LAB und kehre zu Schritt 2 zurück.
Schritt 4. Prüfe, ob LAB leer ist. Wenn es nicht leer ist, kehre zu Schritt 2 zurück; andernfalls endet das Kodieren für den einen n·n Block.
Der Basisindex und Atommodulus kann unter Verwendung eines variablen Längenkodierers kodiert werden, um Bits zu sparen, da diese Signalparameter nicht einheitlich verbreitet sein können. Die Atompositionsinformation kann implizit kodiert werden durch Aufzeichnen der Zerlegungsprozedur mit den 0/1-Bitdaten. Ein variables Längenkodierungsverfahren kann verwendet werden, um die Atommusterbits zu kodieren für die vier Unterblöcke: a1a2a3a4. Es gibt 15 Arten von Mustern für die Atommusterbits, a1a2a3a4, wobei beachtet werden. sollte, dass 0000 unmöglich ist. Jedoch treten einige Muster wie 1000 mit sehr viel höherer Wahrscheinlichkeit auf als andere Muster. Die Wahrscheinlichkeit für die unterschiedlichen Muster kann durch Experimente geschätzt werden, und verwendet werden, um eine Tabellengestaltung variabler Länge zu erzeugen. Des Weiteren sollte beachtet werden, dass die Wahrscheinlichkeitsverteilung variabel sein kann für unterschiedliche Kanäle und unterschiedliche Atomdichten. Deshalb können vielerlei Tabellen verwendet werden und die Blockkategorieinformation kann zuerst kodiert werden, so dass der Dekodierer weiß, welche Tabelle für Dekodierungszwecke verwendet werden sollte.
15 illustriert den Atomdekodierer 46, welcher Operationen ausführt, die invers zu denen sind, welche durch den Atomkodierer 42 ausgeführt werden. Zuerst empfängt der Atomdekodierer 46 ein Bit, welches den Status für den aktuellen n·n Block darstellt. Wenn der Wert Eins ist, wird er über die symmetrische Quadtree-Zerlegungsprozedur prozessiert. Anfänglich wird der n·n Block in vier Unterblöcke geteilt. Die Atommusterbits für die vier Unterblöcke werden dekodiert unter Verwendung einer inversen variablen Längenkodierung (VLC). Dann werden alle diese Unterblöcke mit Wert 1 in eine Liste von Atomblöcken (LAB) gelegt. Die LAB wird dynamisch aktualisiert durch rekursives Zerlegen jeden Elements in der LAB und Erlangen seiner Atommusterbits. Wenn ein Element aus der LAB ein 1·1 Block ist, sollte der Atombasisindex und der Modulus unter Verwendung der inversen VLC-Tabellen dekodiert sein; das das Vorzeichen des inneren Produkts darstellende Bit sollte dann eingelesen werden. Der Atomdekodierer für einen n·n Block wird beendet, wenn die LAB leer wird.
Das dekodierte Atomparametersignal wird dann zum Restrekonstruktor 48 gegeben, welcher das Restbild Kanal für Kanal unter Verwendung des klassischen Matching-Pursuit-Verfahrens bildet. Anfänglich sind alle Pixel im Restbild auf Null gesetzt. Dann wird jedes Atom eins nach dem anderen unter Verwendung der folgenden Prozedur hinzugefügt: Sei q(i) und b(i,k,l) darstellend den i'ten Atomkoeffizient und entsprechend die korrespondierende 2D-Basismatrix. Wenn (x(i), y(i)) den Ort des i'ten Atoms darstellen, dann wird die Matrix q(i)·b(i,k,l) zum bis dahin bei Position (x(i), y(i)) konstruierten Restbild hinzugefügt, um das neue aktuelle Restbild zu erhalten. Der Prozess wiederholt sich bis, alle Atome zum Kanal hinzugefügt worden sind. Ist jeder Kanal einmal zerlegt, endet der Prozess und das Restbild ist rekonstruiert.
Diejenigen, welche mit vorherigen Matching-Pursuit-basierenden Videokodierungstechniken befasst sind, werden eine Anzahl von Vorteilen feststellen, die mit den Techniken gemäß der vorliegenden Erfindung verbunden sind. Der Atomzerlequngsprozess basierend auf einem übervollständigen Basisraum ist beschleunigt worden über eine besser angepasste Energiebereichsschätzungsprozedur und über den progressiven Kandidateneliminierungsalgorithmus. Der Entwurf eines Atommodulusquantisierers ist nahtlos durch das Atomzerlegungsschema gewählt, während die vorhergehende Technik den Quatisierer spezifiziert bevor die Transformation begann. Schließlich ist der Atomkodierungsprozess effizienter, weil räumliche Beziehung zwischen den Atomen ausgenutzt werden durch das erfundene quadtree-basierte Zerlegungsschema. Insbesondere sammelt der Stand der Technik alle Atome in einer 1D-Liste, wodurch es schwerer gemacht wird, diese effizient zu kodieren im Vergleich zur vorliegenden Erfindung.
Die Ausführungsformen der Erfindung, die hier beschrieben sind, sind offensichtlich derart, dass diese in vielerlei Art variiert werden können. Solche Variationen werden nicht als eine Abweichung vom Sinn und Umfang der Erfindung betrachtet, und alle solche Modifikationen, welche nahe liegend für einen Fachmann sein würden, sind als innerhalb des Umfangs der folgenden Ansprüche liegend beabsichtigt.

Claims

Verfahren zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek, das Verfahren aufweisend die Schritte: a) Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat, und b) Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei jedes Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt und der Schritt des Zerlegens des Restbildes die Schritte enthält: i. Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; ii. Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorgegebenen Schwellenwertes ist; iii. Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; iv. Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; v. Kodieren des quantisierten Atoms, Subtrahieren des Atoms von dem Ersetzungsbereich im Restbild, wodurch die Energie des Restbildes reduziert wird und Verwenden eines quadtree- basierten Atom-Kodierers, um die Größe des Restbildes zu verringern, und vi. Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium und Wiederholen der Schritte (i) bis (vi), bis das vorgegebene Kriterium erfüllt ist, wodurch das Restbild kodiert wird und die Größe desselben auf einen vorgegebenen Wert reduziert wird.
Verfahren nach Anspruch 1, wobei der Schritt des Identifizierens eines Atoms in der Teilmenge von Basisfunktionen unter Verwendung eines progressiven Eliminierungsalgorithmus durchgeführt wird.
Verfahren nach Anspruch 1, wobei der Schritt des Identifizierens eines Ersetzungsbereiches das Erzeugen eines RESA Restenergiesegmentierungsalgorithmus-Rechtecks aufweist.
Verfahren nach Anspruch 3, wobei der Schritt des Identifizierens eines Ersetzungsbereiches das Identifizieren eines Anfangsbereiches innerhalb des Restbildes, der eine höchste Energie hat, und das Entwickeln des RESA-Rechtecks daraus aufweist.
Verfahren nach Anspruch 1, wobei der Schritt des Identifizierens eines Atoms in der Teilmenge von Basisfunktionen das Bestimmen eines inneren Produkts zwischen einer Basisfunktion und dem Ersetzungsbereich aufweist, wobei ein maximaler Absolutwert des inneren Produkts eine beste Übereinstimmung anzeigt.
Verfahren nach Anspruch 3, wobei das RESA-Rechteck mit den Basisfunktionen in der übervollständigen Bibliothek verglichen wird und die Basisfunktionen, die aus reichend mit dem RESA-Rechteck übereinstimmen, in die Teilmenge von Basisfunktionen gesetzt werden.
Verfahren nach Anspruch 2, wobei der progressive Eliminierungsalgorithmus Basisfunktionen aus der Teilmenge von Basisfunktionen entfernt, durch Vergleichen einer aktuell evaluierten Basisfunktion mit einer zuvor evaluierten Basisfunktion.
Verfahren nach Anspruch 1, wobei der Schritt des Quantisierens des Atoms das Bestimmen eines Quantisierens auf Basis eines Vergleichs zwischen dem Atom und dem Ersetzungsbereich aufweist.
Verfahren nach Anspruch 1, wobei das vorgegebene Kriterium auf Basis einer Soll-Bitstromgröße bestimmt wird.
Vorrichtung zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek, welche Vorrichtung aufweist: a) Mittel zum Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat, und b) Mittel zum Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei jedes Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt und die Mittel zum Zerlegen des Restbildes enthalten: i. Mittel zum Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; ii. Mittel zum Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorgegebenen Schwellenwertes ist; iii. Mittel zum Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; iv. Mittel zum Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; v. Mittel zum Kodieren des quantisierten Atoms, Subtrahieren des Atoms von dem Ersetzungsbereich im Restbild, dadurch die Energie des Restbildes reduzierend und Verwenden eines quadtree-basierten Atom-Kodierers, um die Größe des Restbildes zu verringern, und vi. Mittel zum Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium, dadurch das Restbild kodierend und die Größe desselben auf einen vorgegebenen Wert reduzierend.
Computerprogrammprodukt aufweisend ein computerlesbares Medium mit einem darauf aufgezeichneten Computerprogramm zum Durchführen eines Verfahrens zum Kodieren eines Restbildes unter Verwendung von Basisfunktionen aus einer übervollständigen Bibliothek, aufweisend die Schritte: a) Erhalten des Restbildes, wobei das Restbild eine Größe und eine Energie hat, und b) Zerlegen des Restbildes in eine Liste von einem oder mehreren Atomen, wobei jedes Atom eine Basisfunktion aus der übervollständigen Bibliothek darstellt, wobei der Schritt des Zerlegens des Restbildes die Schritte enthält: i. Identifizieren eines Ersetzungsbereiches in dem Restbild zur Darstellung durch ein Atom unter Verwendung eines Restenergiesegmentierungsalgorithmus; ii. Erzeugen einer Teilmenge von Basisfunktionen aus der übervollständigen Bibliothek, wobei jede Basisfunktion in der Teilmenge passend mit dem Ersetzungsbereich innerhalb eines vorgegebenen Schwellenwertes ist; iii. Identifizieren eines Atoms in der Teilmenge von Basisfunktionen, welches Atom zum Darstellen des Ersetzungsbereichs ist und welches Atom Parameter hat; iv. Quantisieren des Atoms und Modifizieren der Parameter des Atoms in eine zur Kodierung geeignete Form; v. Kodieren des quantisierten Atoms, Substrahieren des Atoms von dem Ersetzungsbereich im Restbild, wodurch die Energie des Restbildes reduziert wird und Verwenden eines quadtree-basierten Atom-Kodierers, um die Größe des Restbildes zu verringern, und vi. Vergleichen der verringerten Größe des Restbildes oder der verringerten Energie des Restbildes mit einem vorgegebenen Kriterium und Wiederholen der Schritte (i) bis (vi), bis das vorgegebene Kriterium erfüllt ist, wodurch das Restbild kodiert wird und die Größe desselben auf einen vorgegebenen Wert reduziert wird.