DE69933461T2

DE69933461T2 - Fehlerverdeckung für hierarchische subband kodierung und dekodierung

Info

Publication number: DE69933461T2
Application number: DE69933461T
Authority: DE
Inventors: Bing-Bing Plainsboro CHAI
Original assignee: Sharp Corp; MediaTek Inc
Current assignee: Sharp Corp; MediaTek Inc
Priority date: 1998-08-20
Filing date: 1999-08-20
Publication date: 2007-08-16
Anticipated expiration: 2019-08-21
Also published as: US6137915A; JP2003520459A; WO2000011875A8; DE69933461D1; EP1110410A1; WO2000011875A1; JP4472180B2; EP1110410B1; WO2000011875A9

Description

Die Erfindung betrifft die Fehlerverbergung auf dem Gebiet der digitalen Multimediakommunikation. Genauer gesagt betrifft die Erfindung ein Fehlerverbergungsverfahren, das die Fehlertoleranz verbessert, wenn es beim Codieren/Decodieren von zerlegten hierarchischen Unterbandkoeffizienten, z. B. Wavelettransformationskoeffizienten, verwendet wird.
TECHNISCHER HINTERGRUND DER ERFINDUNG
Auf dem Gebiet der digitalen Multimediakommunikation werden Datenströme, die Video-, Audio-, Takt- und Steuerdaten tragen, in verschiedene „Pakete" gepackt. Allgemein gesprochen ist ein Paket eine Gruppe von binären Zahlen, die Daten und Steuerelemente beinhalten, die als zusammengesetztes Ganzes geschaltet und übertragen werden. Die Daten, die Steuerelemente und andere Informationen sind in verschiedenen spezifischen Formaten angeordnet.
Beispiele solcher Formate werden beschrieben in verschiedenen internationalen Normen. Diese Normen beinhalten, sind jedoch nicht hierauf begrenzt, die Moving Picture Expert Groups Standards (z. B. MPEG-1 (11172-^*), MPEG-2 (13818-^*) und MPEG-4 (14496-^*)), H.261 und H.263. Beispielsweise legt MPEG ein Paket fest als bestehend aus einer Kopfzeile gefolgt durch eine Anzahl von zusammenhängenden Bytes (Nutzlast) von einem „elementaren Datenstrom". Ein elementarer Strom ist einfach ein generischer Begriff für codierte Video-, codierte Audio- oder andere codierte Bitströme. Genauer gesagt weist ein MPEG-2-„Transportstrom"-Paket eine Kopfzeile auf, die vier (4) oder mehr Bytes lang sein kann mit einer Nutzlast mit einer maximalen Länge von 184 Bytes. Transportstrompakete sind Teil von einem oder mehreren Programmen, die in einem Transportstrom zusammengesetzt werden. Der Transportstrom wird dann über einen Kanal mit einer bestimmten Übertragungsrate übertragen.
Die Übertragung von Paketen über einen verrauschten Kommunikationskanal, z. B. Funkkommunikation, kann eine Beschädigung in den Paketen verursachen, die vom Receiver/Decodierer empfangen werden. Einige Datenströme oder Bitströme tragen komprimierte Daten, die in einer Art und Weise korreliert sind, daß ein Teilverlust eines Paketes veranlassen kann, daß der Empfänger/Decodierer das gesamte Paket ignoriert. Komprimierungsverfahren sind nämlich nützlich für das Darstellen von Information so genau wie möglich mit einer minimalen Anzahl von Bits, was somit die Datenmenge minimiert, die gespeichert oder überfragen werden muß. Um die Komprimierungseffizienz weiter zu erhöhen, setzen einige Komprimierungsverfahren die „Signifikanz-basierte" Information ein, z. B. ein Signifikanzabbildungswertmodell, um einem Empfänger/Decodierer die Signifikanz der übertragenen Information oder die Abwesenheit der übertragenen Information anzuzeigen. Die „Signifikanz-basierte" Information wird häufig vorher festgelegt, z. B. unter Verwendung von Symbolen, so daß der Empfänger/Decodierer in der Lage ist, zusätzliche Information aus der übertragenen Information zu entschlüsseln. Der Verlust von komprimierten Daten, wie z. B. „Signifikanz-basierte" Information, führt jedoch häufig zu wesentlichen Fehlern, wenn ein Empfänger/Decodierer versucht, die beschädigten Daten zu dekomprimieren oder zu decodieren.
Zusätzlich beinhaltet eine andere Komprimierungstechnik die Transformation eines Eingangsbildes in Transformationskoeffizienten unter Verwendung von hierarchischer Unterbandzerlegung. Beispielsweise erscheint eine nützliche Komprimierungstechnik in den Proceedings of the International Conference on Acoustics, Speech and Signal Processing, San Francisco, Kalifornien, März 1992, Band IV, Seiten 657–660, wo ein Signalkomprimierungssystem beschrieben ist, daß eine hierarchische Unterbandzerlegung oder eine Wavelettransformation verwendet, gefolgt von dem hierarchisch nachfolgenden entropiecodierten Näherungsquantisierer. Eine Waveletpyramide, ebenso als kritisch abgefragte Quadraturspiegelfilterunterbanddarstellung (QMF) bekannt, ist ein spezieller Typ der hierarchischen Unterbandmehrfachauflösungsdarstellung eines Bildes.
Genauer gesagt kann in einem hierarchischen Unterbandsystem mit Ausnahme der Unterbänder der höchsten Frequenz jeder Koeffizient bei einer gegebenen Skala mit einem Satz von Koeffizienten mit der nächst feineren Skalierung der ähnlichen Orientierung gemäß einer Struktur, die als Waveletform bezeichnet ist, in Bezug stehen. Die Koeffizienten mit der gröbsten Skalierung werden die Elternknoten genannt und alle Koeffizienten, die demselben räumlichen oder zeitlichen Ort bei der nächst feineren Skalierung der ähnlichen Orientierung entsprechen, werden Nachfolgerknoten genannt.
Ein typisches Verfahren zum Codieren dieser Transformationskoeffizienten erfolgt in der Baumtiefenabtastordnung wie in 1 gezeigt, wo ein Bild in drei Auflösungsniveaus zerlegt wird. Genauer gesagt werden die Waveletkoeffizienten in einer 3-Block-Art codiert, wobei jeder Baumblock durch drei getrennte „Textureinheiten", die mit anderer Schattierung gezeigt sind, dargestellt wird. Jede Textureinheit stellt eine Baumstruktur beginnend von dem niedrigsten oder gröbsten AC-Band-Koeffizienten zu dem höchsten oder feinsten AC-Band-Koeffizienten dar.
Im tatsächlichen Betrieb können eine oder mehrere Textureinheiten beschädigt oder verloren gegangen sein, wenn sie über einen verrauschten Kanal übertragen werden. Der Verlust dieser Textureinheiten führt häufig zu bemerkbaren Fehlern in dem decodierten Bild. Es besteht somit in der Technik die Notwendigkeit, nach einer Vorrichtung und einem Verfahren für das Verbergen solcher Fehler aufgrund des Verlustes oder der Beschädigung von Textureinheiten.
Die US 5353059 beschreibt eine Fehlerverbergungsvorrichtung für das Verbergen von beschädigten Datenelementen in frequenzgetrennten digitalen Bilddaten (wie z. B. Subband-codierte Bilddaten). Abhängig von der räumlichen Frequenz, die durch ein beschädigtes Datenelement dargestellt wird, wird eine Anzahl von Fehlerverbergungsmitteln ausgewählt, um den Fehler zu verbergen. Das Verbergen wird durchgeführt durch Ersetzen eines beschädigten Datenelementes durch einen gewichteten Durchschnitt von benachbarten Elementen, das Ersetzen eines beschädigten Datenelementes durch ein benachbartes Element oder durch Ersetzen eines beschädigten Datenelementes durch ein Datenelement eines vorherigen Einzelbildes. Auf diese Art kann die verwendete Fehlerverbergung angepaßt sein, um die verschiedenen Eigenschaften der einzelnen Raumfrequenzkomponenten im frequenzgetrennten Bild zu berücksichtigen.
ZUSAMMENFASSUNG DER ERFINDUNG
Bestimmte und bevorzugte Aspekte und Ausführungsformen der Erfindung werden in den angefügten unabhängigen und abhängigen Ansprüchen ausgeführt.
Gemäß eines ersten Aspektes stellt die vorliegende Erfindung ein Verfahren zum Verbergen eines Fehlers in einem Bild bereit, wobei das Bild codiert wird unter Verwendung von hierarchischer Subbandzerlegung, die das Bild in eine Mehrzahl von Subbändern zerlegt, wobei das Verfahren die Schritte aufweist des Erfassens von zumindest einem beschädigten Transformationskoeffizienten an einem räumlichen Ort in einem ersten Subband, das Erhalten zumindest eines nicht-beschädigten Transformationskoeffizienten von zumindest einem anderen Subband auf demselben Zerlegungsniveau entsprechend demselben räumlichen Ort des erfaßten beschädigten Transformationskoeffizienten und Erzeugen eines Ersatztransformationskoeffizienten unter Verwendung des zumindest einen nicht beschädigten Transformationskoeffizienten für das Ersetzen des erfaßten zumindest einen beschädigten Transformationskoeffizienten.
In einer Ausführungsform der vorliegenden Erfindung wird eine Vorrichtung und ein Verfahren für das Verbergen von Fehlern in einem hierarchischen Subbandcodier-/-decodiersystem beschrieben. Genauer gesagt wird in einer Ausführungsform die Fehlerverbergung eines beschädigten oder fehlenden Koeffizienten erreicht durch Verwendung nicht-beschädigter Koeffizienten für denselben räumlichen Ort von anderen Unterbändern.
In einer zweiten Ausführungsform wird die Fehlerverbergung eines beschädigten oder fehlenden Koeffizienten erreicht durch Verwendung eines Fensters eines nicht-beschädigten Koeffizienten) für denselben räumlichen Ort von anderen Subbändern. Das vorliegende Fehlerverbergungsverfahren minimiert den Effekt von verlorenen Paketen, wodurch die Fehlertoleranz eines hierarchischen Subbandcodier-/-decodiersystems verbessert wird.
Weiterhin werden eine Mehrzahl von Fehlererfassungsausführungsformen ebenso beschrieben, um dem vorliegenden Fehlerverbergungsverfahren und der entsprechenden Vorrichtung zu helfen. Diese Fehlererfassungsausführungsformen verwenden Resynch-Markierer, Textureinheitnummern, Paketgröße und/oder nicht-zulässiges Bitmuster, um die Fehlererfassung durchzuführen.
KURZE BESCHREIBUNG DER FIGUREN
Die Lehren der vorliegenden Erfindung können leicht verstanden werden durch Betrachten der folgenden detaillierten Beschreibung in Verbindung mit begleitenden Zeichnungen, in denen
1 eine schematische Darstellung der Vorgänger-Nachfolger-Abhängigkeiten von Subbändern in einem Bild, das in drei Niveaus innerhalb eines Waveletbaums zerlegt ist, mit einer Mehrzahl von Textureinheiten, wie im Stand der Technik verwendet,
2 ein Blockdiagramm eines vereinfachten Paketstromsystems der vorliegenden Erfindung darstellt,
3 eine schematische Darstellung eines Waveletbaums ist mit beschädigten Koeffizienten und entsprechenden unbeschädigten Koeffizienten, die verwendet werden können, um die Fehlerverbergung zu bewirken,
4 eine schematische Darstellung eines Waveletbaums ist mit beschädigten Koeffizienten und entsprechenden Fenstern von nicht-beschädigten Koeffizienten, die verwendet werden können, um die Fehlerverbergung zu bewirken,
5 ein Flußdiagramm eines Verfahrens für das Verbergen eines Fehlers in einem hierarchischen Subbandcodier-/-decodiersystem ist, und
6 ein Blockdiagramm eines Codiersystems und eines Decodiersystems der vorliegenden Erfindung darstellt.
Um das Verständnis zu erleichtern, wurden identische Bezugszahlen verwendet, wo dies möglich war, um identische Elemente, die den Figuren gleich sind, zu bezeichnen.
DETAILLIERTE BESCHREIBUNG
2 stellt ein Blockdiagramm einer vereinfachten Struktur eines Paketstromsystems 200 der vorliegenden Erfindung dar. Für die Darstellung wird ein Datenstrom, wie z. B. ein „Transportstrom", wie er in Übereinstimmung mit den MPEG-Normen festgelegt ist, in dem in 2 dargestellten Paketstromsystem verwendet. Obgleich die vorliegende Erfindung unten unter der Verwendung des Transportstroms als ein Beispiel beschrieben wird, werden Fachleute erkennen, daß die vorliegende Erfindung bei allen Paketströmen angewendet werden kann, z. B. einem MPEG-„Programmstrom" oder irgendwelchen anderen Paketströmen in Übereinstimmung mit anderen Formaten. Weiterhin, obgleich die vorliegende Erfindung unten unter Verwendung des Begriffs „Strom" beschrieben wird, versteht es sich, daß die verschiedenen unten beschriebenen Operationen auf den gesamten Strom oder einen Teil hiervon angewendet werden können.
Das System 200 beinhaltet einen Bild-Video-Codierer 220 für das Empfangen und Codieren von Videodaten 210 in einen elementaren Video-Bistrom. Der Videocodierer 220 ist ein Codierer, der in der Lage ist, hierarchische Subband-zerlegte Koeffizienten zu erzeugen, z. B. Waveletkoeffizienten mit oder ohne Signifikanz-basierter Information. Der Bild-/Video-Codierer 220 kann ein einzelner Bildcodierer sein, z. B. ein Joint Photographic Expert Group (JPEG)-Codierer, GIF, PICT und dergleichen oder ein Codierer für eine Bildsequenz (Video), z. B. ein Block-basierter oder Waveletbasierter Bildcodierer, der in Übereinstimmung mit einem MPEG-Standard arbeitet. In dieser Beschreibung werden die Begriffe „Bildsequenz", „Bilder" und „Video" austauschbar verwendet. In dem breitesten Sinn arbeitet die Erfindung in Kooperation mit irgendeiner Form eines Bild- oder Bildsequenzcodierers, der von den vorliegenden Paketstrukturen profitieren würde, um Fehlertoleranz bereitzustellen. Ein Beispiel solch eines Codierers ist der Sarnofff Very Low Bit Rate (VLBR)-Codierer der beschrieben und beansprucht wird im US-Patent 5,764,805 (ausgestellt am 9. Juni 1998), andere Beispiele solcher Codierer werden beschrieben im US-Patent 6,483,946 mit dem Titel „Apparatus And Method For Encoding Zerotrees Generated By A Wavelet-Based Coding Techni que", wobei die Beschreibung hiervon für den Leser der vorliegenden Beschreibung interessant sein kann.
In gleicher Weise kann das System einen Audiocodierer 222 für das Empfangen und Codieren von Audiodaten 212 in einen elementaren Audiobitstrom beinhalten. Fachleute werden jedoch erkennen, daß eine Mehrzahl von Bild-/Videocodierern 220 _n und Audiocodierern 222 eingesetzt werden können, um eine Mehrzahl von elementaren Bitströmen zu erzeugen. In der Tat können die Mehrzahl von Video- und Audiocodierern gemeinsam durch einen Server 225 dargestellt werden, der verschiedene Codierer einsetzen kann und/oder einfach eine Mehrzahl (oder eine Bibliothek) von gespeicherten Elementarströmen in verschiedenen Speichermedien enthalten kann. Im allgemeinen enthält die Ausgabe solch eines Servers verzahnte Programmströme.
Die Bitströme wiederum werden zu den Paketierern 230 der vorliegenden Erfindung gesendet, wo die elementaren Bitströme in Pakete umgewandelt werden. Die Information für die Verwendung der Pakete unabhängig von dem Transportstrom können zugefügt werden, wenn die Pakete gebildet werden. Somit werden Nicht-Audio-/Videodaten erlaubt, sie sind jedoch nicht in 2 gezeigt.
Die Pakete werden empfangen und gemultiplext von dem Transportstrom-Multiplexer 240, um einen Transportstrom 245 zu erzeugen. Die Pakete, die aus den elementaren Strömen, die ein Programm (eine Gruppe von „Paketidentifizierern") (PIDs) mit verknüpften Video- und Audiodaten) bilden, nutzen im allgemeinen eine gemeinsame Zeitbasis. Somit kann der Transportstrom ein oder mehrere Programme mit einer oder mehreren unabhängigen Zeitbasen enthalten, wobei die Zeitbasen für die synchronisierte Darstellung verwendet werden. Die Zeitbasen von unterschiedlichen Programmen innerhalb eines Transportstroms können unterschiedlich sein.
Der Transportstrom 245 wird über einen Übertragungskanal 250 übertragen, der weiterhin getrennte kanalspezifische Codierer und Decodierer (nicht gezeigt) beinhalten kann. Als nächstes wird der Transportstrom 245 demultiplext und decodiert durch einen Transportstromdemultiplexer 260, wobei die elementaren Ströme als Eingänge zu dem Videodecoder 270 und dem Audiodecoder 290 dienen, der Ausgänge decodierte Videosignale 275 bzw. Audiosignale 295 sind.
Weiterhin wird die Taktinformation ebenso von dem Transportstromdemultiplexer 260 extrahiert und zu der Taktsteuerung 280 geliefert, für die Synchronisierung der Video- und Audiodecoder miteinander und mit dem Kanal. Die Synchronisation der Decoder mit dem Kanal wird verwirklicht durch die Verwendung der „Programmtaktreferenz" (PCR) in dem Transportstrom. Die PCR ist ein Zeitstempel, der die Zeit des Bitstroms selbst codiert, und wird verwendet, um den Decodertakt abzuleiten.
Die Fehlertoleranz ist insbesondere wichtig für Pakete, die hierarchisch zerlegte Information tragen, z. B. hierarchische Subband-zerlegte Koeffizienten. Hierarchische Subbandzerlegung stellt eine Mehrauflösungsdarstellung eines Bildes bereit. Beispielsweise wird das Bild als erstes in vier Subbänder LL, LH, HL, HH zerlegt, die jeweils in etwa ein Viertel des gesamten Frequenzbandes darstellen. Um die nächst gröbere Skalierungsbilddarstellung zu erhalten wird das LL-Band weiter unterteilt in vier Subbänder. Der Prozeß kann wiederholt werden, um eine hierarchische Subbandpy ramide zu bilden. Es versteht sich, daß die hierarchische Subbandzerlegung jede Anzahl von Subbandzerlegungen verwenden kann.
Hierarchische Subband-zerlegte Koeffizienten, z. B. Waveletkoeffizienten, können in Einheiten paketiert werden, die „Texturpakete" genannt werden, für die Fehlertoleranz. Ein Texturpaket besteht aus einer oder mehreren Codiereinheiten, die „Textureinheiten" genannt werden. Wenn nämlich die Textureinheit in ein einzelnes Paket paketiert wird, dann wird das Paket als Texturpaket bezeichnet. Beispiele von verschiedenen Textureinheitstrukturen werden beschrieben in der US-Patentanmeldung Nr. 09/377,383 korrespondierend zu der EP 1110410A mit dem Titel „Apparatus And Method for Forming a Coding Unit", wobei die Beschreibung hiervon für den Leser der vorliegenden Beschreibung interessant sein kann.
3 ist eine schematische Darstellung eines Waveletbaums 300 mit beschädigten Koeffizienten und entsprechenden nicht-beschädigten Koeffizienten, die verwendet werden können, um die Fehlerverbergung zu bewirken. Genauer gesagt wird der Waveletbaum 300 mit drei Niveaus erzeugt durch Anlegen der hierarchischen Waveletzerlegung an ein Eingangsbild. Um solch eine Bildzerlegung zu erreichen, wird das Bild zerlegt unter Verwendung der Filterung und dem Mal-Zwei-Subsampling in jeder der zwei Dimensionen in hohes horizontal-hohes vertikales (HH) 330c, hohes horizontal-niedriges vertikales (HL) 330b, niedriges horizontal-hohes vertikales (LH) 330a und niedriges horizontal-niedriges vertikales (LL) Frequenzsubband. Das LL-Subband wird dann weitergefiltert und zweimal untergesampelt in jeder der zwei Dimensionen, um einen Satz von HH 320c, HL 320b, LH 320a und LL-Subbändern zu erzeugen. Dieses Filtern und Subsampling wird rekursiv verwirklicht, um eine Anordnung von Subbändern zu erzeugen, wie z. B. die in 3 dargestellten, wo drei Untersamplings verwendet wurden. Die Vorgänger-Nachfolger-Abhängigkeiten zwischen den Subbändern werden als Pfeile dargestellt, die von dem Subband des Vorgängerknotens zu den Subbändern der Nachfolgerknoten zeigen. Das Subband mit der niedrigsten Frequenz ist das obere linke LL₃ und das Subband mit der höchsten Frequenz ist oben rechts HH₁. In diesem Beispiel haben alle Nachfolgerknoten einen Vorgänger.
In der vorliegenden Erfindung wird die Fehlerverbergung eines beschädigten oder fehlenden Koeffizienten (gezeigt mit einem „x" über einem Kreis) erzielt durch Verwendung eines unbeschädigten Koeffizienten (von unbeschädigten Koeffizienten) für denselben räumlichen Ort von anderen Subbändern im gleichen Auflösungsniveau und/oder von einem anderen Auflösungsniveau. Beispielsweise entsprechen in einer Waveletpyramide die Pixel in den Subbändern LH_k, HL_k, HH_k, d.h. (w_k + i, j), (i, h_k + j), (w_k + i, h_k + j) demselben räumlichen Ort in einem Bild, wobei i und j Koordinaten in dem Subband des Koeffizienten sind und w_k und h_k die Breite und die Höhe des Subbandes in der k-ten Schicht oder Zerlegungsniveau ist.
Beispielsweise kann ein beschädigter Koeffizient in dem HH₂-Subband verdeckt werden durch Verwenden von einem unbeschädigten Koeffizienten) für denselben räumlichen Ort von den Subbändern LH₂ und HL₂ im selben Auflösungsniveau. Ein neuer Koeffizient wird nämlich erzeugt, um den beschädigten Koeffizienten in dem HH₂-Subband zu ersetzen durch Ableiten oder Extrapolieren des neuen Koeffizienten aus den Subbändern LH₂ und HL₂ für denselben räumlichen Ort. In ähnlicher Weise kann ein neuer Koeffizient erzeugt werden, um einen beschädigten Koeffizienten in dem HH₁-Subband zu ersetzen, durch Ableiten oder Extrapolieren des neuen Koeffizienten aus den Subbändern LH₁ und HL₁ für denselben räumlichen Ort. Somit kann das decodierte Bild instandgesetzt werden mit den Ersetzungskoeffizienten für jeden Koeffizienten, der bei der Übertragung beschädigt wurde oder verloren ging.
Es sei x₀ ein beschädigter Koeffizient in einem Wavelet-transformierten Bild, der durch einen Ersetzungskoeffizienten verdeckt oder ersetzt werden soll. Es seien x₁ und x₂ die beiden Koeffizienten, die demselben räumlichen Ort in zwei anderen Subbändern entsprechen und bei demselben Wavelet-Zerlegungsniveau. Dann kann x₀ verborgen werden durch: x ^0 = f(yi, zj; yi ∈ w(x1), zj ∈ w(x2)) (1)wobei w(x) der Satz nicht-beschädigter Koeffizienten in der Umgebung von x ist, wobei feine Funktion der Pixel y_i, z_j ist. Es sei erwähnt, daß die Fensterfunktion w(x) auf einen einzelnen Koeffizienten von x begrenzt sein kann. Weiterhin sei erwähnt, daß die Gleichung (1) ebenso eine Fensterfunktion für einen Satz nicht-beschädigter Koeffizienten von x von einem anderen Zerlegungsniveau beinhalten kann. Somit kann Gleichung (1) auf andere Zerlegungsniveaus eiweitert werden, ausgedrückt durch: x ^0 = f(yi; yi ∈ w(xk), xk ∈ S(x0)) (1a)wobei S(x₀) ein Satz von Pixeln ist entsprechend demselben räumlichen Ort von x₀ in einem oder mehreren Zerlegungsniveaus. Falls bekannt ist, daß x₀ nicht Null ist, dann kann die Größe von x₀ verdeckt werden durch: |x ^₀| = max[|f(y_i, z_j; y_i ∈ w(x₁); z_j ∈ w(x₂))|, 1] (2)
In einer Ausführungsform, falls w(x) auf einen einzelnen Koeffizienten von x beschränkt ist, kann dann x₀ ausgedrückt werden durch: x0 = (x1 + x2)/ (3)
4 ist eine schematische Darstellung eines Waveletbaums 400 mit einem beschädigten Koeffizienten 420 und entsprechenden Fenstern 430 und 440 von nicht-beschädigten Koeffizienten, die verwendet werden können, um die Fehlerverbergung zu bewirken. Tatsächlich, falls das Vorzei chen (z. B. positiv oder negativ) des beschädigten Koeffizienten wiedererlangt werden kann, dann kann Gleichung 2 gebildet werden wie folgt:
wobei x₀ ein Koeffizient ungleich Null in einem Wavelet-transformierten Bild ist oder ersetzt werden soll mit einem Ersetzungskoeffizienten, x₁ und x₂ sind zwei Koeffizienten entsprechend demselben räumlichen Ort in zwei anderen Subbändern und auf dem gleichen Wavelet-Zerlegungsniveau, w(x) ist der Satz von Koeffizienten in der Umgebung von x, a_i und b_i sind Konstanten (z. B. eingestellt auf einen Wert 1). Ein Beispiel eines Verfahrens zum Minimieren des Verlustes von signifikanter Information, z. B. das Wiedererlangen zumindest des Vorzeichens eines Transformationskoeffizienten wurde beschrieben im US-Patent 6,526,175 mit dem Titel „Apparatus and Method For Packetizing Significance-Based Information", wobei die Beschreibung hiervon für den Leser der vorliegenden Beschreibung von Interesse sein kann.
Es sei erwähnt, daß die Funktionen f(y_i) und f(y_j) als irgendeine lineare und nicht-lineare Funktion implementiert sein können, z. B. eine „Minimum" (min)-Funktion, eine „Maximum" (max)-Funktion, eine „Median"-Funktion oder eine „gewichtete Durschnitts-" Funktion. Die Auswahl einer bestimmten Funktion kann basieren auf der Anforderung einer bestimmten Anwendung oder dem Inhalt der Bildsequenz selbst. Zusätzlich stellt 4 ebenso zwei mögliche Fensterfunktionen dar, wobei eine Fensterfunktion alle benachbarten Pixel um x beinhaltet und eine zweite Fensterfunktion, die alle benachbarten Pixel um x plus vier zusätzliche Pixel beinhaltet, die eine Kreuzkonfiguration bilden.
5 ist ein Flußdiagramm, das ein Verfahren 500 für das Verbergen eines Fehlers in einem hierarchischen Subbandcodier-/-decodiersystem zusammenfaßt. Es werden nämlich Ersetzungskoeffizienten erzeugt, um diejenigen Koeffizienten, die während der Übertragung verloren gegangen sind, zu ersetzen.
Genauer gesagt startet das Verfahren 500 in Schritt 505 und setzt mit Schritt 510 fort, wo der Decoder einen Fehler bei einem räumlichen Ort in einem der Subbänder erfaßt. Einer oder mehrere Transformationskoeffizienten können nämlich für ein Bild oder Einzelbild beschädigt oder verloren gegangen sein.
In Schritt 520 erhält das Verfahren 500 unbeschädigte Daten (Koeffizienten) von einem oder mehreren Subbändern in demselben Zerlegungsniveau, die zum selben räumlichen Ort wie der des erfaßten Fehlers korrespondieren. In einer Ausführungsform weisen die unbeschädigten Daten einen Wert von jedem der anderen Subbänder im selben Zerlegungsniveau entsprechend demselben Ort des beschädigten Koeffizienten auf.
Alternativ dazu, wie in den gestrichenen Linien gezeigt ist, kann in Schritt 525 das Verfahren 500 optional einen Ersetzungskoeffizienten erzeugen, um jeden der beschädigten Koeffizienten zu verbergen durch Erhalten von „Fenstern" von nicht-beschädigten Daten (Koeffizienten) von einem oder mehreren anderen Subbändern im selben Zerlegungsniveau, die einer Umgebung um denselben räumlichen Ort wie der des erfaßten Fehlers entsprechen. Die Entscheidung, eine Fensterfunktion einer bestimmten Größe oder Form anzuwenden, setzt bestimmte Faktoren voraus. Die nichtbeschädigten Koeffizienten in den anderen Subbändern, die von der Fenstergröße und Form festgelegt werden, müssen nämlich zunächst verfügbar sein, um verwendet zu werden, um den Ersetzungskoeffizienten zu erzeugen. Beispielsweise können, abhängig von der Abtastordnung eines bestimmten Codierschemas nicht-beschädigte Daten für denselben räumlichen Ort nicht verfügbar sein, wenn das Verbergungsverfahren ausgeführt wird, z. B. könnten diese Koeffizienten noch nicht decodiert sein. In solch einem Fall kann das Verbergungsverfahren verzögert werden bis alle verfügbaren Koeffizienten decodiert oder rekonstruiert wurden für das gesamte Bild oder das Verbergungsverfahren kann eine andere Fenstergröße und -form auswählen basierend auf den verfügbaren nicht-beschädigten Daten für denselben räumlichen Ort.
In Schritt 530 werden die Ersetzungskoeffizienten aus den unbeschädigten Daten von diesen anderen Subbändern erzeugt, wo sie dann an das decodierte Bild angelegt werden. Das Verfahren 500 endet in Schritt 540.
Bei der vorliegenden Erfindung kann der Fehlererfassungsschritt 510 in eine Anzahl von unterschiedlichen Ausführungsformen implementiert werden. Wie oben erörtert, wird der Texturdatenstrom in Texturpaketen codiert, wobei jedes Paket eine variable Anzahl von Codiereinheiten, z. B. Textureinheiten, aufweist. Im Betrieb startet jedes Paket typischerweise mit einem Resynchronisationsmarker (RESYNCH), der nirgendwo sonst in dem Paket auftaucht. An den Resynchronisationsmarker (RESYNCH) schließt sich eine erste und eine letzte Textureinheitnummer (TU_first, TU_last) an, um die erste und letzte Textureinheit anzuzeigen, die von dem gegenwärtigen Paket getragen wird. Wenn die arithmetische Codierung für die Entropiecodierung verwendet wird, wird der arithmetische Codierer zu Beginn jedes Paketes reinitialisiert. Der RESYNCH-Marker kann in unterschiedlichen Arten ausgewählt werden, z. B. kann man den 17 Bits-RESYNCH auswählen, so daß er gleich (0000 0000 0000 0000 1) ist, wobei Füllbits notwendig sein können, um das Auftreten von 16 aufeinanderfolgenden „0" sonstwo in dem Paket zu verhindern.
Unter Verwendung des obigen Szenarios können acht unterschiedliche Fehlererfassungsverfahren implementiert werden. Sobald ein Fehler erfaßt wird, kann das Decodierverfahren das Vorliegen der Fehlerverbergungsverfahren zusammen mit anderen Fehlertolerierungsverfahren implementieren, wie z. B. beschrieben im US-Patent 6,553,147 mit dem Titel „Apparatus And Method For Data Partitioning To Improving Error Resilience", dessen Beschreibung für den Leser der vorliegenden Beschreibung interessant sein kann.
Als erstes wird eine Fehlerbedingung für ein gegenwärtiges Paket erfaßt, wenn, nachdem erfolgreich das gesamte Paket decodiert wurde, ein beschädigter RESYNCH zu Beginn des nächsten Paketes aufgefunden wird. Die gegenwärtige Fehlerverbergung sollte dann wiederum an das gegenwärtige Paket angewendet werden und die Daten in dem vorher decodierten Paket können beginnend vom Ende des Paketes bis zu dem Punkt des zuletzt decodierten Segmentmarkers gelöscht werden, wie in der US 6,553,147 erörtert.
Zweitens wird eine Fehlerbedingung für ein gegenwärtiges Paket erfaßt, wenn der RE-SYNCH-Marker in der Mitte einer Textureinheit erscheint. Da jede Textureinheit vollständig in einem Paket enthalten sein muß, zeigt dies einen Fehler an. Erneut sollte die gegenwärtige Fehlerverbergung angewendet werden.
Drittens wird eine Fehlerbedingung erfaßt für ein gegenwärtiges Paket, falls TU_first oder TU_last außerhalb des Bereiches möglicher Textureinheitnummern für das gegenwärtige Paket liegen. Erneut sollte die gegenwärtige Fehlerverbergung dann angewendet werden.
Als viertes wird eine Fehlerbedingung erfaßt für ein gegenwärtiges Paket, falls TU_first ≤ prev_TU_last, wobei prev_TU_last das TU_last für das vorherige erfolgreiche decodierte Paket ist. Erneut sollte die vorliegende Fehlerverbergung dann angewendet werden.
Fünftens wird eine Fehlerbedingung erfaßt für ein gegenwärtiges Paket, falls TU_first > TU_last. Die Textureinheiten sind in der Codierordnung markiert. Somit sollte TU_first niemals größer als TU_last sein. Erneut sollte dann die vorliegende Fehlerverbergung angewendet werden.
Sechstens wird eine Fehlerbedingung für ein gegenwärtiges Paket erfaßt mit Erfassung eines verbotenen Bitmusters. Beispielsweise, falls RESYNCH = (0000 0000 0000 0000 1), wird dann ein Fehler erfaßt, wenn 17 aufeinanderfolgende „0en" in dem Paket gefunden werden. Erneut sollte die vorliegende Fehlerverbergung dann angewendet werden.
Siebtens wird eine Fehlerbedingung für ein gegenwärtiges Paket erfaßt, wenn die Gesamtzahl von Textureinheiten in einem Paket nicht zu TU_last – TU_first + 1 paßt. Erneut sollte die gegenwärtige Fehlerverbergung dann angewendet werden.
Achtens wird eine Fehlerbedingung für ein gegenwärtiges Paket erfaßt, wenn die Paketgröße nicht vernünftig ist. Es gibt üblicherweise eine Zielgröße für Pakete. Falls die Zielpaketgröße dem Decoder bekannt ist und jedes Paket derart ist, daß es eine minimale Anzahl von Textureinheiten enthält, um die Zielgröße zu erreichen (oder zu überschreiten), dann kann diese Bedingung bei der Fehlererfassung verwendet werden. Mit anderen Worten, falls die gegenwärtige Paketgröße größer als die Ziellänge ist und es immer noch einige zu decodierende Textureinheiten gibt, muß ein Fehler im vorliegenden Paket enthalten sein. Erneut sollte die vorliegende Fehlerverbergung dann angewendet werden.
Abhängig von der Bedingung des erfaßten Fehlers und/oder der Implementierung von anderen Fehlertolerierungsverfahren, wie z. B. die US 6,553,147 können somit eine oder mehrere beschädigte Textureinheiten im gegenwärtigen Paket versteckt werden unter Verwendung des vorliegenden Fehlerverbergungsverfahrens.
6 stellt ein Blockdiagramm eines Codiersystems 600 und ein Decodiersystem 660 der vorliegenden Erfindung dar. Das Codiersystem 600 weist einen Allzweckcomputer 610 und verschiedene Eingabe-/Ausgabegeräte 620 auf. Der Allzweckcomputer weist eine zentrale Verarbeitungseinheit (CPU) 612, einen Speicher 614 und einen Codierer/Paketierer 616 für das Codieren und Paketieren eines Bildes, Video- und/oder Audiosignals auf.
In der bevorzugten Ausführungsform ist der Codierer/Paketierer 660 einfach der Videocodierer 220, der Audiocodierer 222 und/oder der Paketierer 230, wie oben in 2 erörtert. Es versteht sich, daß die Codierer und die Paketierer gemeinsam oder getrennt implementiert werden können. Der Codierer/Paketierer 616 kann aus physikalischen Geräten bestehen, die mit der CPU 612 über einen Kommunikationskanal verbunden sind. Alternativ kann der Codierer/Paketierer 616 durch eine Softwareanwendung repräsentiert werden (oder eine Kombination aus Software und Hardware, z. B. unter Verwendung von anwendungsspezifischen integrierten Schaltkreisen (ASIC)), wobei die Software von einem Speichermedium (z. B. einem magnetischen oder optischen Laufwerk oder einer Diskette) geladen wird und von der CPU in dem Speicher 614 des Computers betrieben wird. Im Grunde genommen kann der Codierer/Paketierer 616 der vorliegenden Erfindung auf einem computerlesbaren Medium gespeichert sein.
Der Computer 610 kann mit einer Mehrzahl von Eingabe- und Ausgabegeräten 620, wie z. B. einer Tastatur, einer Maus, einem Audiorecorder, einer Kamera, einem Camcorder, einem Videomonitor, irgendeiner Anzahl von Abbildungsgeräten oder Speichergeräten einschließlich, jedoch nicht beschränkt auf Bandlaufwerke, Diskettenlaufwerke, Festplattenlaufwerke oder CD-Laufwerke verbunden sein.
Das Codiersystem ist mit dem Decodiersystem über einen Kommunikationskanal 650 verbunden. Die vorliegende Erfindung ist nicht auf einen bestimmten Typ von Kommunikationskanal beschränkt. Das Decodiersystem 660 weist einen Allzweckcomputer und verschiedene Eingabe-/Ausgabegeräte 680 auf. Der Allzweckcomputer weist eine Zentralverarbeitungseinheit (CPU) 672, einen Speicher 674 und einen Decoder, Depaketierer 676 für das Empfangen und Decodieren einer Abfolge von codierten Bildern auf.
In der bevorzugten Ausführungsform ist der Decodierer/Depaketierer 676 einfach irgendein Decoder oder mehrere Decoder, die komplementär zu dem Codierer/Paketierer 616 sind, wie oben erörtert, für das Decodieren der Bitströme, die von dem Codierer/Paketierer 616 erzeugt wurden und für das Implementieren der Fehlerverbergungsmethode, wie oben beschrieben. Der Decoder 676 kann ein physikalisches Gerät sein, das mit der CPU 672 über einen Kommunikationskanal verbunden ist. Alternativ dazu kann der Decoder/Depaketierer 676 durch eine Softwareanwendung dargestellt werden, die von einer Speichervorrichtung geladen wird, z. B. eine magnetische oder optische Platte, und liegt im Speicher 674 des Computers. Im Grunde genommen kann irgendeiner der komplementären Decodierer des Codierers/Paketierers 616 der vorliegenden Erfindung auf einem computerlesbaren Medium gespeichert sein.
Der Computer 660 kann mit einer Mehrzahl von Eingabe- und Ausgabegeräten 680 verbunden sein, wie z. B. einer Tastatur, einer Maus, einem Videomonitor oder irgendeiner Anzahl von Geräten für das Speichern oder Verteilen von Bildern einschließlich, jedoch nicht beschränkt auf ein Bandlaufwerk, ein Diskettenlaufwerk, ein Festplattenlaufwerk oder ein CD-Laufwerk. Die Eingabegeräte dienen dazu, dem Computer das Speichern und Verteilen der Sequenz von decodierten Videobildern zu erlauben. Obgleich verschiedene Ausführungsformen, die die Lehren der vorliegenden Erfindung verwenden, gezeigt und im Detail beschrieben wurden, können Fachleute leicht viele andere variierte Ausführungsformen ableiten, die immer noch diese Lehren berücksichtigen.
Von einem Blickpunkt wurde daher ein Verfahren für das Verbergen eines Fehlers in einem Bild beschrieben, wobei das Bild codiert wird unter Verwendung von hierarchischer Subbandzerlegung, die das Bild in eine Mehrzahl von Subbändern zerlegt, wobei das Verfahren die Schritte aufweist des Erfassens zumindest eines beschädigten Transformationskoeffizienten bei einem räumlichen Ort in einem ersten Subband, Erhalten zumindest eines nicht-beschädigten Transformationskoeffizienten von zumindest einem anderen Subband bei dem gleichen Zerlegungsniveau entsprechend demselben räumlichen Ort des erfaßten beschädigten Transformationskoeffizienten, und Erzeugen eines Ersetzungstransformationskoeffizienten unter Verwendung des zumindest einen unbeschädigten Transformationskoeffizienten für das Ersetzen des erfaßten zumindest einen beschädigten Transformationskoeffizienten.

Claims

Verfahren für das Verbergen eines Fehlers in einem Bild, wobei der Fehler codiert wird unter Verwendung einer hierarchischen Subbandzerlegung, die das Bild in eine Mehrzahl von Subbändern zerlegt, wobei das Verfahren die Schritte aufweist: (a) Erfassen (510) von zumindest einem beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband, (b) Erhalten (520) von zumindest einem nicht beschädigten Transformationskoeffizienten von zumindest einem anderen Subband auf demselben Zerlegungsniveau entsprechend derselben räumlichen Stelle des erfaßten beschädigten Transformationskoeffizienten und (c) Erzeugen (530) eines Ersetzungstransformationskoeffizienten unter Verwendung des zumindest einen nicht beschädigten Transformationskoeffizienten für das Ersetzen des erfaßten zumindest einen beschädigten Transformationskoeffizienten.
Verfahren nach Anspruch 1, bei dem das Erhalten von Schritt (b) zumindest einen nicht beschädigten Transformationskoeffizienten erhält (525) und zwar durch Verwenden einer Fensterfunktion der Transformationskoeffizienten in einer Umgebung, die der räumlichen Stelle des erfaßten beschädigten Transformationskoeffizienten entspricht.
Verfahren nach Anspruch 2, bei dem die Fensterfunktion implementiert wird in Übereinstimmung mit |x ^0| = max[|f(yj, zy, yi ∈ w(x1), zj ∈ w(xg))|, 1]wobei x ^₀ der Ersetzungstransformationskoeffizienten ist, wobei w(x) ein Satz von nicht beschädigten Koeffizienten in einer Umgebung von x ist, wobei x₁ und x₂ der zumindest eine nicht beschädigte Transformationskoeffizient von zumindest einem anderen Subband ist, wobei eine Funktion der Transformationskoeffizienten y_i, z_j ist.
Verfahren nach Anspruch 1, bei dem der Korrelationsschritt b) weiterhin zumindest einen nicht beschädigten Transformationskoeffizienten von dem zumindest einen anderen Subband auf einem anderen Zerlegungsniveau entsprechend derselben räumlichen Stelle des erfaßten beschädigten Transformationskoeffizienten erhält.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem der Erfassungsschritt a) den zumindest einen beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband erfaßt durch Erfassen einer ersten Textureinheitszahl, die kleiner oder gleich einer letzten Textureinheitszahl eines vorher decodierten Pakets ist.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem der Erfassungsschritt a) den zumindest einen beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband erfaßt durch Erfassen einer ersten Textureinheitszahl, die größer als eine letzte Textureinheitszahl des gegenwärtigen Pakets ist.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem der Erfassungsschritt a) den zumindest einen beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband erfaßt durch Erfassen des Auftretens eines verbotenen Bitmusters.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem der Erfassungsschritt a) den zumindest einen beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband erfaßt durch Erfassen einer Gesamtzahl von Textureinheiten in einem gegenwärtigen Paket, die sich von einer letzten Textureinheitszahl abzüglich einer ersten Textureinheitszahl plus einem Wert 1 unterscheidet.
Vorrichtung (676) für das Verbergen eines Fehlers in einem Bild, wobei das Bild codiert wird unter Verwendung der hierarchischen Subbandzerlegung, die das Bild in eine Mehrzahl von Subbändern zerlegt, wobei die Vorrichtung aufweist: eine Einrichtung (676) für das Erfassen (510) von zumindest einem beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband, eine Einrichtung (676) für das Erhalten (520) von zumindest einem Transformationskoeffizienten von zumindest einem anderen Subband auf dem gleichen Zerlegungsniveau entsprechend derselben räumlichen Stelle des erfaßten beschädigten Transformationskoeffizienten, und eine Einrichtung (676) für das Erzeugen (530) eines Ersetzungstransformationskoeffizienten unter Verwendung von zumindest einem nicht beschädigten Transformationskoeffizienten für das Ersetzen des erfaßten zumindest einen beschädigten Transformationskoeffizienten.
Computerlesbares Medium (674, 680), das eine Mehrzahl von Befehlen gespeichert hält, wobei die Mehrzahl von Befehlen Befehle beinhalten, die, wenn sie von einem Prozessor ausgeführt werden, veranlassen, daß der Prozessor die folgenden Schritte ausführt: (a) Erfassen (510) von zumindest einem beschädigten Transformationskoeffizienten an einer räumlichen Stelle in einem ersten Subband, (b) Erhalten (520) von zumindest einem unbeschädigten Transformationskoeffizienten von zumindest einem anderen Subband auf einem gleichen Zerlegungsniveau entsprechend derselben räumlichen Stelle des erfaßten beschädigten Transformationskoeffizienten, und (c) Erzeugen (530) eines Ersetzungstransformationskoeffizienten unter Verwendung von zumindest einem nicht beschädigten Transformationskoeffizienten für das Ersetzen des erfaßten, zumindest einen beschädigten Transformationskoeffizienten.