DE69322531T2

DE69322531T2 - Dynamische Bitverteilung für dreidimensionale Teilbandbildkodierung

Info

Publication number: DE69322531T2
Application number: DE69322531T
Authority: DE
Inventors: John Warren New Jersey 07060 Hartung; Arnaud E. New York New York 10014 Jacquin; Thomas Andrew Watchung New Jersey 07060 Michel; Christine Irene Bridgewater New Jersey 08807 Podilchuk
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1992-02-07
Filing date: 1993-01-28
Publication date: 1999-06-24
Anticipated expiration: 2013-01-29
Also published as: EP0555016A2; US5481308A; DE69322531D1; JPH0646403A; CA2088082A1; CA2088082C; EP0555016B1; US5309232A; JP2915238B2; EP0555016A3

Description

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zur Codierung einer Bildsignalfolge.
Für Anwendungen wie zum Beispiel Telekonferenz über bestehende und zukünftige Netze sowie CD-ROM- Speicherung wird eine qualitativ hochwertige Videocodierung mit niedriger Bitrate benötigt. Ein effektiver Codierer mit niedriger Bitrate sollte die Redundanzen aufgrund von zeitlichen und räumlichen Korrelationen und auch wahrnehmungsbezogen irrelevante Bestandteile einer Bildsequenz entfernen.
Digitale Teilbandcodierungsverfahren sind in der Technik wohlbekannt. Siehe zum Beispiel N. S. Jayant und P. Noll, "Digital Coding of Waveforms: Principles and Applications to Speech and Video" (1984).
Teilbandcodierungsverfahren wurden bisher für die Bildcodierung in einer dreidimensionalen räumlichzeitlichen Teilbandgrundstruktur verwendet, so wie es in G. Karlasson und M. Vetterli, "Three Dimensional Subband Coding of Video", Proceedings ICASSP (1988), 1100-1103, beschrieben wird. Das dort beschriebene Verfahren setzt eine mehrdimensionale Filterung ein, um räumlich/zeitliche Frequenzbänder oder Teilbänder zu erzeugen (sogenannte Quadratur-Mirror-Filter). Diese letzteren Filter werden z. B. in J. D. Johnston, "A Filter Family Designed for Use in Quadrature Mirror Filter Bands", Proceedings ICASSP (1980), beschrieben.
IEEE Transactions on circuits and systems for video technology; Band I, Nr. 2, 1.6.1991, New York, USA, Seiten 210-221, XP214523; H. M. Lang et al.: "Digital HDTV Compression Using Parallel Motion- Compensated Transform Coders", beschreibt ein System, das die Codierung der mehrfachen Teilbänder parallel zu N "Teilcodierern" durchführt. Die Zuteilung von Bit unter den Teilbändern wird unter Verwendung eines dynamischen Kanal(Bit-)Zuteilungsalgorithmus durchgeführt, der die Verzerrung d jedes Teilbands mit der Anzahl b von Bit in Beziehung setzt, die für dessen Codierung zugeteilt werden.
Aus der US-A-5063444 ist ein System bekannt, bei dem Gruppen von (zu einem Empfänger) zu sendenden Signalen nach einem gewählten Bedeutsamkeitsparameter sortiert und dann in absteigender Reihenfolge der Bedeutsamkeit übertragen werden, bis die Übertragungskapazität erschöpft wurde.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren nach Anspruch 1 bereitgestellt.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung nach Anspruch 8 bereitgestellt.
Die vorliegende Erfindung nutzt die Grundstruktur der dreidimensionalen Teilbänder aus, um eine dynamische Bitzuteilung zu bestimmen, die von wahrnehmungsbezogenen Kriterien des menschlichen Sehens abhängt. Dies erfolgt im Hinblick sowohl auf die relative Bedeutsamkeit einzelner Teilbänder als auch die Bedeutsamkeit örtlicher räumlicher Bereiche in solchen Teilbändern. Nachfolgend werden drei beispielhafte Ausführungsformen der vorliegenden Erfindung beschrieben.
Zum Beispiel wird bei der ersten beispielhaften Ausführungsform der vorliegenden Erfindung eine Bildsequenz in verschiedene räumlich/zeitliche Frequenzbänder aufgeteilt. Die zeitlichen Korrelationen werden ausgenutzt, indem an den Teilbanddaten zwischen Einzelbildern ein bedingtes Austauschen vorgenommen wird. Sofern das Teilband nicht aufgrund von gemessen an dem niedrigen Signalenergieinhalt in dem Teilband wahrnehmungsbezogen unbedeutenden Informationen verworfen wird, wird an den Daten entweder bildpunkt- oder blockweise ein bedingtes Austauschen vorgenommen. Das Teilband, das den niedrigsten räumlich-zeitlichen Frequenzkomponenten entspricht, muß aufgrund der in dem Teilband vorliegenden hohen Signalenergie und seiner wahrnehmungsbezogenen Bedeutsamkeit für Videodaten präzise codiert werden. Das Band mit der niedrigsten räumlich-zeitlichen Frequenz wird unter Verwendung von PCM mit einem gleichförmigen Quantisierer quantisiert.
Die gemessen an ihrer Gesamt-Signalenergie wahrnehmungsbezogen bedeutsamen oberen Teilbänder werden entweder durch geometrische Vektorquantisierung (die in der US-Patentanmeldung Nr. 07/503 659 der Autoren mit dem Titel "Geometric Vector Quantization" (entsprechend der EP-A-0450937, veröffentlicht am 09.10.1991), und in der US-Patentanmeldung Nr. 07/832 536 der Autoren mit dem Titel "Geometric Vector Quantization" (entsprechend der EP-A-0555017, veröffentlicht am 11.08.1993), die gleichzeitig mit der vorliegenden Schrift registriert wurden, beschrieben wird) oder durch herkömmliche PCM unter Verwendung eines gleichförmigen Quantisierers codiert.
Die Bereiche der bedeutsamen oberen Frequenz- Teilbänder, die codiert werden sollen, werden durch Verwendung des adaptiven Bitzuteilungsverfahrens der vorliegenden Erfindung ausgewählt.

Kurze Beschreibung der Zeichnungen

Fig. 1 und 2 zeigen ein erstes Ausführungsbeispiel der vorliegenden Erfindung mit einem digitalen Bildcodierer bzw. einem Bilddecodierer.
Fig. 3 zeigt eine typische Teilbandfilteranordnung.
Fig. 4 und 5 zeigen ein zweites Ausführungsbeispiel der vorliegenden Erfindung mit einem digitalen Bildcodierer bzw. einem Bilddecodierer.
Fig. 6 zeigt Teilbänder in der Reihenfolge der wahrgenommenen Sichtbarkeit von Fehlern angeordnet.
Fig. 7 zeigt einen Graph der durch einen Bitzuteilungsblock durchgeführten Bitzuteilung.
Fig. 8 zeigt ein drittes Ausführungsbeispiel der vorliegenden Erfindung mit einem Bildcodierer.
Fig. 9 zeigt eine graphische Darstellung der Teilbänder mit einer Andeutung eines beispielhaften Bereichs hoher Energie und einer Abbildung des Bereichs auf die Teilbänder.
Fig. 10 zeigt ein Flußdiagramm einer Prozedur zur Bestimmung von Quantisiererparametern.

Ausführliche Beschreibung

A. Ein erstes Ausführungsbeispiel

Fig. 1 und 2 zeigen ein erstes Ausführungsbeispiel der vorliegenden Erfindung.
Fig. 1 zeigt einen Bildcodierer, der die adaptive Bitzuteilung der vorliegenden Erfindung zusammen mit bedingtem Austauschen und Quantisierung auf der Grundlage von PCM mit einem gleichförmigen Quantisierer oder mit geometrischer Vektorquantisierung einsetzt. Ähnlich zeigt Fig. 2 einen Bilddecodierer auf der Grundlage derselben erfindungsgemäßen Verfahren. Jedes der Systemelemente wird nun einzeln beschrieben.
Fig. 1 zeigt eine Darstellung eines graphischen Bildes, z. B. Einzelbildsequenzen eines Videobildes. Da die bei dieser beispielhaften Bildcodierung eingesetzte Teilbandfilterung für die zeitliche Filterung 2 Abgriffe verwendet, erweist es sich als zweckmäßig, im Block 300 zwei aufeinanderfolgende Einzelbilder des Eingangssignals zu speichern. Als ein spezifisches Beispiel enthält jedes Einzelbild des Bildes 240 · 360 Bildpunkte, was als das gemeinsame Zwischenformat (CIF) bekannt ist. Für die vorliegenden Zwecke wird das Bild als ein mehrschichtiges Bild mit bis zu 256 möglichen Intensitätswerten angesehen. Farbbilder lassen sich mit den vorliegenden erfindungsgemäßen Verfahren codieren.
Mit Bezug auf Fig. 1 werden aufeinanderfolgende Einzelbilder eines Videobildes an den (ausführlicher in Fig. 3 gezeigten) Teilbandanalysefilterblock 300 angelegt. Mit Haar-Filtern mit 2 Abgriffen für die zeitliche Filterung und eindimensionalen Quadratur- Mirror-Filtern (QMFs) mit 10 Abgriffen der in J. D. Johnston, "A Filter Family Designed for Use in Quadrature Mirror Filter Banks", Proceedings ICASSP (1980), beschriebenen Art für die räumliche Filterung werden dort die räumlich-zeitlichen Frequenzkomponenten des Bildes erzeugt. Bei einer typischen Ausführungsform der vorliegenden Erfindung besteht die Teilbandgrundstruktur aus 11 räumlich-zeitlichen Frequenzbändern, die in Fig. 3 gezeigt sind. Bis auf die konkrete Wahl von Teilbandfiltern ist dies dieselbe grundlegende Struktur wie die in G. Karlsson und M. Vetterli, "Three Dimensional Subband Coding of Video", Proceedings ICASSP (1988) verwendete. Die Ausdrücke HP und LP beziehen sich auf Hochpaßfilterung bzw. Tiefpaßfilterung, während sich die Indizes t, h und v auf zeitliche, horizontale bzw. vertikale Filterung beziehen. Die Teilbänder, deren Signalenergieinhalt typischerweise niedrig ist, werden ohne ernsthafte Verschlechterung der rekonstruierten Bildsequenz verworfen. Die übrigen Teilbänder werden mit einem bedingten Austauschen, um die zeitliche Korrelation auszunutzen, und entweder PCM mit einem gleichförmigen Quantisierer (wie zum Beispiel dem von Jayant und Noll, "Digital Coding of Waveforms: Principles and Applications to Speech and Video" (1984) beschriebenen) oder geometrischer Vektorquantisierung (wie zum Beispiel der in der US-Patentanmeldung Nr. 07/832 536 beschriebenen) codiert.
Die Teilbänder mit den höchsten räumlichzeitlichen Frequenzen werden aufgrund ihrer allgemeinen wahrnehmungsbezogenen Unbedeutsamkeit verworfen. Bei dem hier beschriebenen konkreten Verfahren werden die in Fig. 3 mit 9 bis 11 gekennzeichneten Teilbänder ohne ernsthafte Verzerrung der Bildqualität verworfen. Allgemein können abhängig von der Bitrate, der erwünschten Qualität und der Teilbandgrundstruktur beliebig viele hochfrequente Teilbänder verworfen werden.
Die bedeutsamen Teilbänder werden entweder mit einem Skalarquantisierer oder mit geometrischer Vektorquantisierung codiert (Blöcke 310i in Fig. 1).
Die dynamische Bitzuteilung wird in Fig. 1 durch den Block 320 dargestellt. Die Bitzuteilung richtet sich nach dem Grad des bedingten Austauschens und der Menge von Bewegungsdaten, bestimmt anhand der Signalenergie in dem entsprechenden Teilband.
Das bedingte Austauschen wird auf alle bedeutsamen Teilbänder angewandt und ist Teil des Blocks 320 der dynamischen Bitzuteilung. Das bedingte Austauschen wird bildpunktweise in den Teilbändern mit einem Skalarquantisierer und blockweise in den Teilbändern mit geometrischer Vektorquantisierung durchgeführt. Die Blockgröße entspricht der bei dem betreffenden Vektorquantisierungsverfahren verwendeten Blockgröße. Das bildpunktweise bedingte Austauschen wird durch den folgenden Ausdruck beschrieben:
wobei x(i, j, t) der ursprüngliche Bildpunktwert in der i-ten Zeile, der j-ten Spalte und zum Zeitpunkt t und (i, j, t der quantisierte Bildpunktwert in der i-ten Zeile, der j-ten Spalte und zum Zeitpunkt t ist. Q stellt die Quantisierung des eingeklammerten Terms dar, während Tcr ein empirisch abgeleiteter Skalar- Schwellenwert des bedingten Austauschens ist. Die Wahl von Tcr bestimmt, wie viele der Teilbanddaten aus den zuvor codierten Teilbändern wiederholt werden. Als ein Beispiel einer typischen Videosequenz haben die Autoren festgestellt, daß eine gute Wahl für Tcr zwischen 10 und 25 liegt. Die Durchführung des blockweisen bedingten Austauschens ähnelt dem bildpunktweisen Ansatz, mit der Ausnahme, daß die Bedingung in Gleichung (1) für alle Bildpunkte in einem Datenblock erfüllt sein muß; andernfalls muß der Block quantisiert und übertragen werden.
Nachdem das bedingte Austauschen an den Teilbändern mit bedeutsamen Informationen vorgenommen wurde, werden die Nebeninformationen, die anzeigen, welche Bildpunkte aus dem vorigen Einzelbild wiederholt und welche Bildpunkte quantisiert werden, zur Codierung zu dem Block 330, dem Entropiecodierer, gesendet. Der Entropiecodierer kann ein beliebiges verlustloses Codierungsverfahren sein und ist in diesem Beispiel der adaptive Lempel-Ziv-Algorithmus. Siehe z. B. T. A. Welch, A Technique for High Performance Data Compression, IEEE Computer (1988). Die Anzahl von Bit, die der Entropiecodierer von Block 330 in Fig. 1 zur Codierung der Nebeninformationen des bedingten Austauschens benötigt, wird in den dynamischen Bitzuteilungsblock 320 eingespeist, um die Anzahl verfügbarer Bit zur Codierung der Teilbandddaten zu aktualisieren. Nach der Entropiecodierung wird das Bildsignal dann zur Übertragung zu einem Decodierer auf den Kommunikationskanal 345 aufmultiplexiert (siehe die nachfolgende Besprechung).
Das Verfahren der dynamischen Bitzuteilung umfaßt zwei bedeutsame Teile. Der erste Teil ist die Festlegung der Reihenfolge der Teilbänder aufgrund ihrer wahrnehmungsbezogenen Bedeutsamkeit. Diesbezüglich wird das Band mit der niedrigsten räumlich-zeitlichen Frequenz als das bedeutsamste behandelt, da es die meiste Signalenergie und den größten Teil der ursprünglichen Bildstruktur enthält. Dieses Band wird sehr genau codiert. Das nächstbedeutsamste Teilband ist das Bewegungsteilband (das in Fig. 3 dem Teilband 8 entspricht). Diesem Teilband werden genug Bit zur Codierung der Bewegungsinformationen gegeben. Mit den übrigen Bit werden die räumlich hochfrequenten und zeitlich niederfrequenten Teilbänder codiert (die in Fig. 3 den Teilbändern 2-7 entsprechen). Wenn die Bewegungsinformationen zahlreich sind, dann werden dem Bewegungsteilband mehr Bit gegeben, und es bleiben weniger Bit zur Codierung der feinen räumlichen Einzelheiten übrig. Die große Bewegungsaktivität sollte die Verluste bei den feinen räumlichen Einzelheiten maskieren. Wenn die Bewegungsaktivität nachläßt, dann bleiben mehr Bit zur Codierung der feinen räumlichen Einzelheiten übrig, die nun sichtbar werden.
Der zweite Teil der dynamischen Bitzuteilung besteht darin, für die Codierung die bedeutsamen Bereiche des Bildes zu finden. Dies erfolgt über alle Teilbänder hinweg durch Wahl der Blöcke mit der höchsten mittleren Energie für die Codierung.
Da das Teilband mit den niedrigsten räumlichzeitlichen Frequenzen (Teilband 1) einen großen Teil der grundlegenden Bildstruktur und die meiste Signalenergie enthält, ist es wichtig, dieses Teilband genau zu codieren. Deshalb codiert die vorliegende Ausführungsform zunächst das Band mit den niedrigsten räumlich-zeitlichen Frequenzen unter Verwendung von PCM und eines gleichförmigen Quantisierers. Bei einem typischen Bildverfahren besteht der gleichförmige Quantisierer aus 6-8 Bit. Wenn das Signal in dem Teilband mit den niedrigsten Frequenzen Daten enthält, die eine Wahrscheinlichkeitsdichtefunktion aufweisen, die nicht gleichförmig ist, dann wird PCM mit einem Quantisierer angewandt, der sich für die Wahrscheinlichkeitsdichtefunktion des Signals eignet. Die Anwendung eines an die Wahrscheinlichkeitsdichtefunktion des Signals angepaßten Quantisierers ist ein herkömmliches Verfahren und wird z. B. in der oben angeführten Arbeit von Jayant und Noll beschrieben. Die Anzahl erforderlicher Bit zur Codierung des Bands mit den niedrigsten räumlich-zeitlichen Frequenzen unter Verwendung von PCM und eines gleichförmigen Quantisierers wird in den Block 320 - dynamische Bitzuteilung - eingespeist, um die Anzahl verfügbarer Bit zur Codierung der Bänder mit hohen räumlichzeitlichen Frequenzen zu aktualisieren.
Das nächste Band, das codiert wird, entspricht dem Teilband, das zeitlich hochfrequente Komponenten und räumlich niederfrequente Komponenten enthält. Bei dem in der Grundstruktur von Fig. 3 vorgelegten Beispiel entspricht dies dem Teilband 8. Dieses Frequenz-Teilband enthält einen großen Teil der Bewegungsinformationen des Videosignals. Die Signalenergie in diesem Teilband ergibt eine gute Anzeige des Grades der Bewegung in der Videosequenz zu einem gegebenen Zeitpunkt. Das Teilband 8 wird durch Quantisieren der Daten in den Blöcken codiert, deren örtliche Energie einen vorbestimmten Schwellenwert überschreitet, der durch den folgenden Ausdruck gegeben wird:
x(i,j,t)² ≥ Tm (2)
wobei die Summation über den Datenblock durchgeführt wird, N die Blockgröße bedeutet und Tm ein vorbestimmter skalarer Bewegungsschwellenwert ist. In diesem Beispiel ist 100 ein guter Wert für Tm. Die Blöcke in dem Bewegungsteilband, deren mittlere Energie den Schwellenwert Tm überschreitet, werden mit geometrischer Vektorquantisierung mit entweder 2 oder 3 Schichten codiert (die in der oben angeführten US- Patentanmeldung Nr. 07/503 659 beschrieben wird). Die Anzahl der erforderlichen Bit zur genauen Codierung der Bewegungsdaten wird in den Block 320 - dynamische Bitzuteilung - eingespeist, um die Anzahl der übrigen Bit zur Codierung der verbleibenden Teilbänder zu aktualisieren.
Die zuletzt codierten Teilbänder entsprechen den zeitlich niederfrequenten und räumlich hochfrequenten Komponenten. Bei der in Fig. 3 gezeigten Beispielgrundstruktur entspricht dies den mit 2 bis 7 gekennzeichneten Teilbändern. Die übrigen Bit zur Codierung der Teilbänder 2 bis 7 werden über alle verbleibenden Teilbänder hinweg auf die Blöcke mit der größten durch die Gleichung 2 definierten örtlichen Energie verteilt. Die Blöcke können mit geometrischer Vektorquantisierung codiert werden. Jeder dieser verbleibenden Blöcke, insbesondere die niedrigeren räumlichen Frequenzen entsprechenden (wie zum Beispiel die Teilbänder 2-4 in Fig. 3), kann mit dem für das Band mit den niedrigsten räumlich-zeitlichen Frequenzen beschriebenen Skalarquantisierer codiert werden. In diesem Fall werden die Bildpunkte mit dem größten Absolutwert codiert.
Fig. 2 zeigt ein Decodierer-Gegenstück des Codierers von Fig. 1. Aus dem Kanal empfangene codierte Signale werden zunächst in der. Einheit 400 demultiplexiert. Die Dequantisierersteuereinheit 420 verwendet Nebeninformationen zur Bestimmung, welche Bereiche der Teilbänder aus dem durch bedingtes Austauschen gegebenen zuvor codierten Teilband wiederholt wurden, welche Bereiche quantisiert wurden und welche Bereiche durch Null ersetzt wurden. Die mit 410i gekennzeichneten Dequantisierereinheiten rekonstruieren die Daten aus den Vektorindizes und Betragsinformationen, die durch den geometrischen Vektorquantisierer bereitgestellt werden. Die Teilbandsyntheseeinheit 430 führt die umgekehrten Operationen der Teilbandanalyseeinheit 300 durch, um die Bilder zu rekonstruieren.
Die obige Ausführungsform kann außer der in Fig. 3 gezeigten auch an andere Grundstrukturen angepaßt werden, wodurch die Wahl der wahrnehmungsbezogen bedeutsamsten Teilbänder und der wahrnehmungsbezogen bedeutsamsten Bereiche des Bildes besser gesteuert werden kann.

B. Ein zweites Ausführungsbeispiel

Ein zweites Ausführungsbeispiel der vorliegenden Erfindung codiert Video- Einzelbildsequenzen mit einer maximalen begrenzten Bitrate. Diese Ausführungsform liefert codierte Videosignale zur Übertragung oder Speicherung auf einem Medium mit einer spezifizierten konstanten oder zeitlich veränderlichen Bitrate.

1. Der Codierer

Fig. 4 zeigt eine Ausführungsform des Videocodierers. Eine Eingangsvideobildsequenz wird durch den Teilbandanalysefilterblock 300 in zeitliche und räumliche Teilbänder zerlegt. Die Teilbandstruktur stimmt mit der von Fig. 4 der oben angeführten Patentanmeldung Nr. 07/503 659 überein. Die Ausgangssignale der Teilbandfilter werden kritisch abgetastet, und die Bänder 7, 9, 10 und 11 werden auf null gesetzt. Die zerlegte Videosequenz enthält deshalb halbsoviele Abtastwerte wie die ursprüngliche Eingangsbildsequenz. Die durch Null ersetzten Bänder enthalten typischerweise sehr wenig Energie, so daß das Nullsetzen dieser Bänder nur eine sehr geringfügige Verschlechterung der rekonstruierten Videosequenz verursacht. Zur Minimierung der Verzögerung werden zeitliche Filter mit zwei Abgriffen und für die räumliche Zerlegung Quadratur-Mirror-Filter der zehnten Ordnung verwendet. Obwohl die vorliegende Erfindung nur für die Luminanzkomponente einer Farbvideosequenz beschrieben wird, erhält man dieselben vorteilhaften Ergebnisse, wenn die vorliegende Erfindung auf die Chrominanzkomponenten einer Farbsequenz angewandt wird.
Die Zerlegung durch den Filterblock 300 erzeugt Teilbänder mit verminderter räumlicher Redundanz. Es verbleiben jedoch zeitliche Redundanz in den unteren zeitlichen Teilbändern und räumliche Korrelationen zwischen den Teilbändern. Das Verfahren des bedingten Austauschens wird verwendet, um zeitliche Redundanz aus dem codierten Signal zu entfernen, wodurch bei einer spezifizierten Codierungsrate eine größere decodierte Videoqualität erzielt wird. Durch die Dequantisiererblöcke G10i und den Dequantisierersteuerblock 620 können Teilbandkorrelationen ausgenutzt werden, um die Qualität des decodierten Videosignals weiter zu verbessern.
Während Spitzenbewegungen von Objekten in einem Videosignal kann es vorkommen, daß die verfügbare Codierungsrate nicht ausreicht, um alle wahrnehmungsbezogen bedeutsamen Teilbandabtastwerte zu codieren. Deshalb teilt diese Ausführungsform Codierungsbit in und unter den Teilbändern zu, um die wahrgenommene Codierungsverzerrung zu minimieren. Quantisierungsfehler fallen am meisten im Teilband 1, weil es den größten Teil der grundlegenden Bildstruktur enthält, und im Teilband 8 für bewegte Bereiche der Videosequenz auf.
Abtastwerte in den Bändern 1, 2, 3 und 4 werden durch einen zusätzlichen Faktor von 2 über den der anderen Bänder hinaus unterabgetastet. Quantisierungsfehler in diesen Bändern sind sichtbarer als die in den höheren räumlichen Bändern, weil diese Abtastwerte räumlich während der Rekonstruktion um einen zusätzlichen Faktor interpoliert werden und deshalb Abtastfehler einen größeren Bereich in dem decodierten Videoeinzelbild einnehmen. Das Band 4 weist gewöhnlich eine sehr geringe Energie auf und ist deshalb bei typischen Videosequenzen wahrnehmungsbezogen weniger bedeutsam als die Bänder 5 und 6. Fig. 6 zeigt die Teilbänder in der Reihenfolge der wahrgenommenen Sichtbarkeit von Fehlern angeordnet.
Mit dieser Reihenfolge wird die Priorität der Zuteilung verfügbarer Bandbreite für jeden Teilbandquantisiererblock 310i bestimmt. Die Bandbreiten- oder Bitzuteilung wird durch den dynamischen Bitzuteilungsblock 520 implementiert. Da die erforderliche Bandbreite zur Codierung verschiedener Bänder korreliert ist, kann in jeder Phase der Zuteilung ein fester Anteil der übrigen Bandbreite den Teilbändern zugeteilt werden. Diese Anteile wurden empirisch bestimmt. Fig. 7 zeigt einen Graph der durch den Block 520 ausgeführten Bitzuteilung. Jeder Knoten des Graphs entspricht einem dieser Teilbänder, und jeder Rand ist mit dem Anteil der übrigen Bit aus dem vorherigen Teilband gekennzeichnet, die dem niedrigeren Teilbandknoten zugeteilt werden.
Die übrigen Bit nach der Quantisierung der Bänder 1 und 8 werden gleichmäßig den Teilbändern 2, 3, 5 und 6 zugeteilt. Obwohl den Bändern mit niedrigerer Priorität die gleiche Bandbreite zugeteilt wird, werden diesen Bändern weniger Bit pro Abtastwert zugeteilt, da sie mehr Abtastwerte enthalten. Der Vorteil dieser Art der Zuteilung von Bit besteht darin, daß die Quantisierer für die Bänder 1 und 8 und diejenigen für die Bänder 2, 3, 5 und 6 parallel implementiert werden können, wodurch sich eine größere Effizienz der Funktionsweise ergibt.
Die zeitliche Redundanz in den Bändern 1, 2, 3, 4, 5 und 6 wird durch selektives Wiederholen von Teilbandabtastwerten entfernt, die sich um weniger als einen bestimmten Schwellenwert von dem entsprechenden zuvor übertragenen Wert unterscheiden. Dieses Verfahren wird als bedingtes Austauschen bezeichnet und wurde oben mit Bezug auf das erste Ausführungsbeispiel beschrieben. Das bedingte Austauschen wird in der Teilbandanalysegrundstruktur angewandt. Der Vorteil wird erzielt, indem auf Prioritätsbasis denjenigen Teilbändern Bandbreite für das Austauschen zugeteilt wird, die die höchste Sichtbarkeit aufweisen. Dies führt zu einer wahrnehmungsbezogen verbesserten decodierten Qualität.
Um zu bestimmen, welche Teilbandabtastwerte wiederholt werden sollten, wird die Betragsdifferenz zwischen den gerade quantisierten Teilbandabtastwerten und den entsprechenden Abtastwerten eines zuvor quantisierten Videoeinzelbildes berechnet. Jeder Quantisiererblock 510i enthält einen Speicher, der die zuvor quantisierten Teilbandabtastwerte enthält. Da die Abtastwerte mit einem linearen Acht-Bit-Code dargestellt werden, liegt der Fehlerbetrag im Bereich von (0, 256). Durch den Quantisierer 310i wird effektiv unter Verwendung des Fehlerwerts als Adresse für eine der 256 Speicherstellen, die für jedes Auftreten des entsprechenden Fehlerwerts inkrementiert werden, für jeden Abtastwert in dem Teilband ein Histogramm des Auftretens der Fehlerwerte erzeugt. Aus dem Histogramm wird ein Codierungsfehlerschwellenwert bestimmt, indem beginnend mit dem größten Fehler und weiter in Richtung zu dem niedrigsten Fehler, bis die benötigte Bandbreite zur Quantisierung der durch diese Summe angegebenen Zahl von Abtastwerten gleich der verfügbaren Codierungsbandbreite ist, summiert wird, wie oft jeder Fehlerwert auftritt. Die Adresse der Speicherstelle, auf die zugegriffen wird, wenn die Summation beendet ist, ist gleich dem Codierungsfehlerschwellenwert. Dem Schwellenwert wird die Beschränkung auferlegt, daß er größer als ein Fehler sein muß, der in der decodierten Videosequenz nicht sichtbar ist. Dieser Minimalwert wurde für die Teilbänder 1, 2, 3 empirisch als gleich drei (3) bestimmt. Abtastwerte mit einem größeren Fehler als der bestimmte Schwellenwert werden codiert und zu dem Decodierer gesendet, so wie es nachfolgend beschrieben wird. Die Stellen von Abtastwerten, die unter dem Schwellenwert liegen, werden effizient unter Verwendung von Lauf-Längencodierung und Entropiecodierung, z. B. Huffman-Codierung, der Lauf- Längen codiert, was durch den Entropiecodierer 530 implementiert wird. Überschüssige Bit sind für eine Zuteilung an Teilbänder niedrigerer Priorität verfügbar, wenn der durch das Histogrammverfahren bestimmte Fehlerschwellenwert unter den Schwellenwert der minimalen Sichtbarkeit fällt.
In den Bändern 1, 2, 3 und 4 übertragene Abtastwerte werden mit einem Skalarquantisierer codiert. In den Bändern 5 und 6 übertragene Abtastwerte werden mit einem Skalar- oder Vektorquantisierer und insbesondere dem in den oben angeführten Patentanmeldungen beschriebenen geometrischen Vektorquantisierer codiert. Die Entscheidung, den Skalar- oder den Vektorquantisierer zu verwenden, wird getroffen, indem auf die den Teilbändern 5 und 6 zugeteilte Bandbreite ein Schwellenwert angewandt wird. Eine Zuteilung unter einem empirisch bestimmten Schwellenwert zeigt einen hohen Grad der Bewegung in der Videosequenz an. Empirisch wurde festgestellt, daß die wahrgenommene Verzerrung minimiert wird, wenn der Vektorquantisierer für eine Bandbreitenzuteilung verwendet wird, die unter 60% der maximalen Zuteilung fällt. Durch dieses Verfahren wird ein Vorteil erzielt, weil die durch den Vektorquantisierer eingeführte Verzerrung durch Bewegung in der Videosequenz maskiert wird. Dies ermöglicht die Codierung einer größeren Anzahl von Abtastwerten aufgrund der größeren Effizienz dieses Quantisierers. Wenn die Bandbreitenzuteilung über den Schwellenwert zunimmt und deshalb der Grad der durch Bewegung in der Videosequenz gewährten Maskierung abnimmt, dann wird der Skalarquantisierer verwendet, um die durch den Vektorquantisierer eingeführten Fehler zu vermindern.

2. Geometrische Vektorquantisierung

Dieser Abschnitt beschreibt eine effiziente Implementierung des in den Teilbändern 5, 6 und 8 verwendeten geometrischen Vektorquantisierers. Diese Implementierung liefert ein Mittel zur Einschränkung der notwendigen Bandbreite zur Codierung des gegebenen Teilbands und liefert ein effektives Verfahren zur Suche nach Nullvektoren.
Nullvektoren entsprechen wiederholten Abtastwerten in den Bändern 5 und 6 und beziehen sich auf nullwertige Abtastwerte im Band 8. Das in der Patentanmeldung Nr. 07/503 659 beschriebene geometrische Vektorcodebuch erfordert zur Identifizierung von Null- und von Nicht-Nullvektoren annähernd die gleiche Komplexität. Da die meisten Teilbandabtastwerte typischerweise als der Nullvektor codiert werden, kann durch ein effektives Nullvektor- Suchverfahren eine wesentliche Verminderung der Vektorsuchkomplexität erzielt werden. Nullvektoren können identifiziert werden, indem zunächst für Band 8 in jedem Vektor der Abtastwert mit dem größten Betrag, oder für die Bänder 5 und 6 der größten Betragsdifferenz, bestimmt wird, wenn bedingtes Austauschen verwendet wird. Durch das oben beschriebene Histogrammverfahren wird ein Codierungsschwellenwert bestimmt, für Band 8 unter Verwendung der Maximalbeträge bzw. für die Bänder 5 und 6 unter Verwendung der maximalen Differenzbeträge. Diejenigen Vektoren, die einen Maximalbetrag aufweisen, der unter den Codierungsschwellenwert fällt, werden als Nullvektoren identifiziert. Die übrigen Vektoren werden mit den in den oben angeführten und hiermit aufgenommenen Patentanmeldungen beschriebenen effizienten Codebuchsuchverfahren codiert. Die Position von Nullvektoren wird mit Lauf-Längencodierung und Entropiecodierung, z. B. Huffman-Codierung, der Lauf- Längen codiert. Der Codierungsschwellenwert im Band 8 wird auf einen Minimalwert von 6 begrenzt. Wenn durch das Histogrammverfahren von dem Codierungswert bestimmt wird, daß er weniger als 6 beträgt, dann ist überschüssige Codierungsbandbreite verfügbar, die den Bändern mit niedrigerer Priorität zugeteilt werden kann.
Die übertragenen Abtastwerte werden in entsprechende Stellen in jedem Teilbandabtastwertspeicher in den Quantisiererblöcken 510i geschrieben. Der Kanalmultiplexiererblock 340 formatiert die Informationen aus den Quantisiererblöcken 510i, so daß sie übertragen oder auf dem geeigneten Medium gespeichert werden können. Zu diesen Informationen gehören die lauf-längencodierten Abtastwertpositionen und die übertragenen quantisierten Abtastwerte. Für die Bänder 5 und 6 werden Nebeninformationen bereitgestellt, um anzugeben, ob bei dem Codierungsprozeß eine Skalar- oder eine Vektorquantisierung verwendet wurde.

3. Der Decodierer

Fig. 5 zeigt eine Ausführungsform des Decodierers. Der Kanaldemultiplexiererblock 400 arbeitet auf umgekehrte Weise wie der Multiplexierer 340 in Fig. 4, um die codierten Teilbandinformationen zu trennen. Diese Informationen werden den Dequantisiererblöcken 610i für jedes Teilband bereitgestellt. Im Fall von Vektorquantisierung in den Bändern 5, 6 und 8 rekonstruieren die Dequantisierer die Vektorabtastwerte so, wie es in der US- Patentanmeldung Nr. 07/503 659 beschrieben wird. Die übrigen Abtastwerte im Band 8 werden auf null gesetzt. Die Dequantisiererblöcke 610i, die den Teilbändern 1, 2, 3, 4, 5 und 6 entsprechen, enthalten Speicher, die die zuvor dequantisierten Teilbandabtastwerte enthalten. Abtastwerte, die durch den Codierer quantisiert und übertragen werden, ersetzen entsprechende Abtastwerte in diesen Teilbandabtastwertspeichern; die übrigen Abtastwerte werden wiederholt. Die Differenz zwischen den übertragenen Abtastwerten und zuvor gespeicherten Abtastwerten werden für das Teilband 1 berechnet und zur nachfolgend beschriebenen Verwendung gespeichert.
Die selektive Modifizierung der Teilbandabtastwerte in dem Decodierer verbessert die wahrgenommene Qualität des rekonstruierten Videosignals. Dies wird folgendermaßen durch die Dequantisiererblöcke 610i und den Dequantisierersteuerblock 620 erzielt. Beanstandenswerte Fehler in der decodierten Videosequenz können auftreten, wenn die Codierungsrate so eingeschränkt wird, daß eine unzureichende Bandbreite zur Übertragung aller Teilbandabtastwerte vorliegt, wobei die Fehler über einem wahrnehmbaren Schwellenwert liegen. Unter dieser Bedingung enthalten die Decodierer-Teilbänder unter Verwendung eines bedingten Austauschens drei Arten von Abtastwerten: (i) Abtastwerte mit geringen Fehlern, die wiederholt werden, (ii) neu empfangene Abtastwerte und (iii) Abtastwerte mit großen Fehlern, die beanstandenswerte Artefakte in der decodierten Videosequenz verursachen. Diese großen Fehler treten am häufigsten in den Teilbändern mit niedrigerer Bandbreitenzuteilungspriorität auf. Die Fehler erscheinen typischerweise als Ränder, die hinter bewegten Objekten verbleiben.
Quantisierungsfehler im Teilband 1 bleiben klein, da es die höchste Bandbreitenzuteilungspriorität aufweist. Dieser Umstand wird zusammen mit der räumlichen Korrelation zwischen den Teilbändern benutzt, um Abtastwerte in den oberen Teilbändern zu identifizieren, die einen großen Fehler aufweisen. Das Verfahren vergleicht das oben beschriebene Band-1- Differenzsignal mit einem empirisch bestimmten Schwellenwert. Ein nützlicher Schwellenwert ist 12, denn der Bereich von Intensitätswerten im Band 1 ist (0, 256). Wenn die Differenz größer als der Schwellenwert ist, dann werden die entsprechenden räumlichen Abtastwerte in den Teilbändern 2, 3, 4, 5 und 6 weiter geprüft.
Jeder Abtastwert im Teilband 1 entspricht vier Abtastwerten in den Teilbändern 5 und 6, da das Teilband 1 in den Analysefiltern 300 durch einen zusätzlichen Faktor von zwei dezimiert wird. Wenn die entsprechenden Abtastwerte des oberen Teilbands nicht durch den Codierer übertragen wurden, dann wird angenommen, daß sie einen großen Fehler aufweisen und die Abtastwerte werden weiter verarbeitet, um die resultierende Verzerrung zu vermindern. Ein nützliches Verfahren besteht darin, diese Abtastwerte auf null zu setzen, um Fahneneffekte an bewegten Bereichen zu beseitigen. In glatten Bereichen des Bildes können sich andere Verfahren, wie zum Beispiel Interpolation zwischen Abtastwerten mit geringem Fehler, als vorteilhaft erweisen. Dieses Verfahren liefert einen Vorteil durch Verminderung der wahrgenommenen Codierungsverzerrung, ohne zusätzliche Nebeninformationen zu dem Decodierer zu übertragen.
Die resultierenden Teilbandabtastwerte werden schließlich an den Teilbandsyntheseblock 430 angelegt, der die Sequenz von Videoeinzelbildern rekonstruiert.
Eine beispielhafte Hardwarearchitektur für eine Echtzeit-Implementierung der vorliegenden Erfindung wird im Anhang gezeigt.

C. Ein drittes Ausführungsbeispiel

Die allgemeine Struktur des Codierers dieser Ausführungsform ist in Fig. 8 gezeigt. Eine Reihe von Videoeinzelbildern wird in eine Teilbandanalysefilterbank 300 eingespeist, die das Frequenzspektrum in Teilbänder aufteilt. Das Ausgangssignal der Teilbandanalyse wird von einem dynamischen Bitzuteiler 720 verwendet. Der dynamische Bitzuteiler 720 ist für die Entscheidung verantwortlich, wieviel der gesamten verfügbaren Bitrate jedem Teilband zugeteilt werden soll. Der dynamische Bitzuteiler 720 bestimmt außerdem, von welchen räumlichen Bereichen es in jedem Teilband wichtiger ist, sie zu codieren. Diese Informationen werden zusammen mit dem Ausgangssignal der Teilbandanalyse 300 den Quantisierern 710i bereitgestellt. Unter bestimmten Umständen kann eine Rückkopplung von dem Entropiecodierer 330 erforderlich sein, um die exakte erforderliche Bitrate für die Codierung einiger der Teilbänder zu bestimmen. Der resultierende Bitstrom wird multiplexiert 340 und über einen Kanal 345 übertragen. Der dynamische Bitzuteiler 720 nimmt an, daß beim Eintritt jedes Einzelbildes in das System eine feste Rate verfügbar ist, obwohl sich diese Rate bei dem Auftreten des nächsten Einzelbildes ändern könnte.
Ein Codierungsvorteil kann erzielt werden, indem die Teilbänder in Bereiche aufgeteilt und Bereichen, von denen angenommen wird, daß sie wahrnehmungsbezogen relevanter sind, mehr Bit zugeteilt werden. Die Definition der wahrnehmungsbezogenen Relevanz kann bei verschiedenen Anwendungen unterschiedlich sein. Ein zweckmäßiges Verfahren zur Bestimmung wahrnehmungsbezogen relevanter Bereiche besteht darin, das zeitliche Hochpaß- und räumliche Tiefpaß-Teilband (Teilband 8 in Fig. 9) in Blöcke aufzuteilen und folgendermaßen die Energie in jedem Block zu berechnen:
ek,l,t = x²i,j,t
wobei xi,j,t den Intensitätswert eines Bildpunkts in Spalte i, Zeile j zum Zeitpunkt t darstellt. Die berechneten Energiewerte ek,l,t für jeden Block werden in abnehmender Reihenfolge sortiert und in zwei oder mehr Gruppen klassifiziert. Als Beispiel werden zwei Klassen von Blöcken, hohe Energie und niedrige Energie, angenommen. In Fig. 8 wird das Ausgangssignal aus der Teilbandanalysefilterbank 300 dem dynamischen Bitzuteiler 720 bereitgestellt. Der dynamische Bitzuteiler 720 ist verantwortlich für die Bestimmung der Energiegruppierung.
Wenn die Blöcke mit hoher und niedriger Energie aus dem Teilband 8 bestimmt wurden, werden mit diesen räumlichen Informationen alle zu codierende Teilbänder quantisiert (Fig. 9). Wenn zum Beispiel ein Block als ein Block mit hoher Energie klassifiziert würde, dann könnte der entsprechende Block mit einem feineren Quantisierer in jedem der codierten Teilbänder quantisiert werden. Durch die Erhaltung einer besseren Qualität in diesem Block in allen der codierten Teilbänder weist das rekonstruierte Bild in dem entsprechenden Block ein größeres Rauschverhältnis auf. Dies ist ideal für eine Anwendung, bei der in bewegten Bereichen eine größere räumliche Auflösung erforderlich ist. Eine solche Anwendung könnte zum Beispiel die Codierung einer Bildsequenz einer Person sein, die die (häufig von Gehörlosen verwendete) amerikanische Zeichensprache verwendet. Andererseits könnten diesen Bereichen bei Anwendungen, bei denen dort, wo Bewegung auftritt, keine hohe räumliche Auflösung erforderlich ist, weniger Bit zugeteilt werden. Es können beliebig viele Blöcke mit hoher und niedriger Energie in dem Teilband 8 identifiziert werden.
Wenn die Bewegungsaktivität gering ist, werden Teilbandbilder nicht in Bereiche mit viel und wenig Bewegung aufgeteilt. In diesem Fall werden alle Bereiche des Teilbandbildes als gleich wichtig behandelt. Die Bewegungsaktivität wird durch Aufzeichnung vergangener Extrema der Gesamtenergie im Band 8 bestimmt. Wenn zum Beispiel die Gesamtenergie des Teilbands 8 für ein aktuelles Einzelbild im unteren Drittel des Dynamikumfangs der Aufzeichnung vergangener Werte der Gesamtenergie des Teilbands liegt, dann wird die Bewegungsaktivität als niedrig angesehen.
Nachdem die Blöcke mit hoher und niedriger Energie bestimmt wurden, wird eine anfängliche Zuteilung von Bit zur Codierung jedes Teilbands bestimmt. Eine typische anfängliche Zuteilung stellt dem Teilband 1 50% der Gesamt-Bit bereit, dem Teilband 8 weitere 40% und die übrigen 10% werden auf die Teilbänder 2-7 verteilt. Die Gesamtzahl von Bit wird durch die Kanalbandbreite und die Einzelbildrate bestimmt.
Die Ausführungsform codiert das Teilband 1 zuerst, da das Teilband 1 einen wesentlichen Teil des Energiegehalts des ursprünglichen Signals enthält. Mit der gegebenen anfänglichen Zuteilung von Bit zur Codierung dieses Teilbands wird die Anzahl von Bildpunkten, die genau codiert werden können, berechnet, indem die Gesamtzahl von dem Teilband zugeteilten Bit durch die Anzahl der erforderlichen Bit zur Codierung jedes Bildpunkts dividiert wird. Die Anzahl der erforderlichen Bit zur Codierung jedes Bildpunkts ist die Summe der erforderlichen Bit zur Darstellung der Adresse, des Vorzeichens und des Betrags des übertragenen Bildpunkts. Die Anzahl von Adressen- und Vorzeichenbit bleibt innerhalb eines Teilbands fest, aber die Anzahl der erforderlichen Bit zur Darstellung des Bildpunktbetrags wird mit einer iterativen Prozedur bestimmt (siehe Fig. 10).
Diese Prozedur beginnt mit der Berechnung eines Histogramms der Absolutwerte der Differenz zwischen Bildpunkten mit der gleichen Adresse in dem aktuellen und dem vorherigen Einzelbild. Es wird der Maximalwert gespeichert. Mit dem Histogramm wird der Schwellenwert eines Totzonen-Quantisierers bestimmt. Ein Totzonen- Quantisierer eliminiert automatisch die Codierung von Bildpunktwerten, die unter einen Schwellenwert fallen. Teilband-Differenzwerte, die größer als der Totzonen- Schwellenwert sind, werden codiert, während diejenigen, die dem Schwellenwert entsprechen oder darunter liegen, nicht codiert sondern aus dem vorherigen Einzelbild wiederholt werden. Das System verwendet einen empirisch bestimmten Minimal-Schwellenwert als eine erste Abschätzung des tatsächlichen Totzonen-Schwellenwerts. Bei einer Kanalbitrate von 384 kbs sind beispielhafte Minimal-Schwellenwertabschätzungen für die Bänder 1-8 wie folgt: 3, 4, 4, 5, 5, 5, 5, und 5. Die Schrittgröße für den Quantisierer wird dann auf zweimal den Wert des Totzonen-Schwellenwerts eingestellt. Der maximale Grad der Verzerrung, die durch einen einzigen (auf oder unter den Schwellenwert fallenden) uncodierten Bildpunkt verursacht werden kann, ist der Schwellenwert. Da dieser Verzerrungsgrad als für nicht codierte Bildpunkte annehmbar angenommen wird, wird dieselbe maximale Verzerrung auch bei codierten quantisierten Bildpunkten zugelassen, indem die Schrittgröße auf zweimal den Totzonen-Schwellenwert eingestellt wird.
Der minimale Schwellenwert basiert auf Experimenten, die durchgeführt wurden, um den Grad der Verzerrung zu bestimmen, der in jedes Teilband eingeführt werden kann, bevor das Rauschen wahrnehmbar wird. Der Grund für die Einführung eines minimalen Schwellenwerts besteht darin, zu verhindern, daß bestimmte Teilbänder übercodiert werden.
Wenn der anfängliche Totzonen-Schwellenwert, die Schrittgröße und der maximale absolute Differenzwert bestimmt wurden, wird die Anzahl von Quantisierungsstufen gemäß dem folgenden Ausdruck bestimmt:
Dieser Wert wird dann auf die nächste Zweierpotenz aufgerundet, um die größte Anzahl von Stufen für die verfügbaren Bit zu erzeugen. Die Anzahl der erforderlichen Bit zur Codierung eines Bildpunkts kann nun bestimmt werden, indem die Anzahl der erforderlichen Bit für die Adresse und das Vorzeichen zu der Anzahl der erforderlichen Bit für diesen Quantisierer addiert wird. Dividieren der Gesamtzahl von Bit durch die Bit pro Bildpunkt bestimmt die Anzahl von Bildpunkten, die in diesem Teilbandbereich codiert werden können. Ein Zählwert der Anzahl von Bildpunkten, die über den Totzonen-Schwellenwert fallen, wird aus dem Histogramm berechnet. Wenn dieser Zählwert kleiner als der zulässige Zählwert ist, dann werden die Quantisiererparameter festgehalten. Wenn der Zählwert jedoch größer als der zulässige Zählwert ist, dann wird der Totzonen-Schwellenwert erhöht und die Berechnungen werden wie in Fig. 10 gezeigt wiederholt. Die Erhöhung des Totzonen-Schwellenwerts erzwingt eine Zunahme der Schrittgröße, da diese auf zweimal den Totzonen- Schwellenwert eingestellt ist. Dadurch vermindert sich letztlich die Anzahl der erforderlichen Bit zur Quantisierung derselben Daten, obgleich diese gröber erfolgt. Der Totzonenwert wird erhöht, bis der Zählwert von zu codierenden Bildpunkten unter die zulässige Anzahl von codierten Bildpunkten fällt. Wenn dies eintritt, werden die Quantisiererparameter festgehalten und dem Quantisierer 710i bereitgestellt.
Mit den Quantisiererparametern wird dann das Teilband tatsächlich codiert. Nach der Codierung des Teilbands 1 können möglicherweise einige Bit übrig sein, wenn die Anzahl zu codierender Bit kleiner als die zulässige Anzahl von Bit ist. Dies kann in zwei Umständen auftreten. Erstens ist der tatsächliche Zählwert, wenn der Minimal-Totzonen-Schwellenwert verwendet wird, um Übercodierung zu verhindern, gewöhnlich kleiner als der zulässige Zählwert. Zweitens stimmt der gewünschte Zählwert eventuell nicht genau mit dem zulässigen Zählwert überein, da das Histogramm diskrete Werte verwendet. Um zu verhindern, daß das System mehr als seine zugeteilte Bitrate verwendet, wird der Wert des Totzonen-Schwellenwerts erhöht, bis der tatsächliche Zählwert kleiner als der zulässige Zählwert oder gleich dem zulässigen Zählwert ist. Unter diesen beiden Umständen werden etwaige übrige Bit sofort auf das nächste zu codierende Teilband umverteilt.
In diesem Fall wird als nächstes das Teilband 8 codiert. Für das Teilband 8 wird genau dieselbe Prozedur befolgt wie für das Teilband 1, mit der Ausnahme, daß statt der Differenz zwischen zwei Einzelbildern das ursprüngliche Einzelbild verwendet wird. Dieses Verfahren wurde wegen der niedrigen Korrelation zwischen aufeinanderfolgenden Einzelbildern im Teilband 8 gewählt. Wiederum werden etwaige übrige Bit weitergeleitet, um die Codierung nachfolgender Teilbänder zu unterstützen.
Wenn die Teilbänder 1 und 8 codiert sind, werden alle übrigen zeitlichen Tiefpaß-Teilbänder (Teilbänder 2-7) codiert. Dafür werden zwei alternative Verfahren bereitgestellt. Das erste Verfahren betrifft die Verarbeitung der Teilbänder in einer wahrnehmungsbezogen bedeutsamen Reihenfolge: 2, 3, 5, 6, 4, 7. Wie beim Teilband 8 werden etwaige übrige Bit aus der vorherigen Codierung zu der vorbestimmten Bitzuteilung für das aktuelle Teilband hinzugefügt. Wiederum wird der Totzonen-Quantisierer auf dem Differenzsignal benutzt, um diese Teilbänder zu aktualisieren. Wie beim Teilband 1 wird bei der Codierung dieser Teilbänder ein empirisch abgeleiteter Minimal-Totzonen-Schwellenwert auferlegt. Das zweite Verfahren verwendet ein Energiekriterium, das aus dem Differenzsignal aus allen Teilbändern 2-7 die höchsten Werte auswählt, statt jedes der Bänder 2-7 einzeln zu betrachten.
Von den zeitlichen Hochpaß-Teilbändern wird nur das Teilband 8 codiert. Die Teilbänder 9, 10 und 11 werden alle auf null gesetzt und nicht codiert (wie bereits besprochen kann dies durch die Filterbank 300 erfolgen).
Diese Ausführungsform setzt den im obigen Abschnitt B.3 besprochenen und in Fig. 5 gezeigten Decodierer ein.

Anhang

Einführung

Bei der Standardisierung von Videocodierungsverfahren für Telekommunikations- sowie Multimediaanwendungen wurden in letzter Zeit große Fortschritte erzielt. Die Grundlage dieser Standards ist die bewegungskompensierte diskrete Cosinustransformation (MC-DCT). Obwohl diese Verfahren aufgrund ihrer lokalen Operationen und geringen Speicheranforderungen effizient zu implementieren sind, ist ihre Leistung bei niedrigen Bitraten jedoch durch Bewegungskompensation und DCT-Blockartefakte beschränkt. Für Videokonferenzanwendungen ist es sehr vorteilhaft, mit 384 kbit/s oder weniger oder sogar mit nur 19,2 kbit/s zu arbeiten.
Durch die Teilbandfilterung wird der DCT eine alternative Darstellung im Frequenzbereich bereitgestellt. Vitterli [1] hat gezeigt, daß zur Aufteilung des ursprünglichen Signals in N unterabgetastete Teilbänder und zur Rekonstruktion des ursprünglichen Signals separable zeitliche und räumliche Quadratur-Mirror-Filter verwendet werden können. Die Teilbänder können so angelegt werden, daß sie die wahrnehmungsbezogene Bandempfindlichkeit ausnutzen, um Quantisierungsrauschen zu verbergen, wodurch eine grobe Quantisierung der spärlichen höherfrequenten Bänder ermöglicht wird. In den oberen Bändern wurden unter Verwendung der Vektorquantisierung Codierungsraten von 0,1 Bit pro Bildpunkt und weniger erzielt, wodurch es möglich wird, die stärker sichtbaren unteren Bänder mit größerer Wiedergabetreue zu codieren [2]. Die Teilbandanalyse vermeidet die stark sichtbare Blockstruktur und die stark sichtbaren Bewegungskompensationsfehler von MC-DCT-Codierern bei niedrigen Codierungsraten. Obwohl die Rechenkomplexität beider Codierer ähnlich ist, sind Speicherung und Datenverschiebung bei dem Teilbandcodierer aufgrund der zeitlichen Filterung und globalen Filterungsoperationen komplizierter.
In letzter Zeit erschienen mehrere Echtzeit- Videocodierungsarchitekturen in der Literatur, darunter Architekturen mit festen Algorithmen [3], Einzelbefehls-Mehrdaten-Architekturen (SIMD- Architekturen) mit gemeinsam benutztem Speicher [4], Architekturen mit systolischen Anordnungen [5] und Mehrbefehls-Mehrdaten-Architekturen (MIMD- Architekturen) mit gemeinsam benutztem Speicher [6]. Diese Architekturen stellen die globalen Datenverschiebungs- und lokalen Speicheranforderungen, die für die Implementierung des oben beschriebenen dreidimensionalen Teilbandcodierers benötigt werden, bei zeitlicher und räumlicher Videokonferenzauflösung nicht in Echtzeit bereit. Diese Zusammenfassung wendet sich an die Implementierung von dreidimensionalen Echtzeit-Teilbandvideocodierern auf einem programmmierbaren MIMD-Array-Prozessor, der als der Video-Array-Prozessor (VAP) bezeichnet wird. Zu den Hauptmerkmalen dieser Architektur gehört ein verteilter Einzelbildspeicher und ein globaler Datenbus. Der verteilte Speicher stellt einen lokalen Einzelbildspeicher für die Implementierung der zeitlichen und horizontalen Filterung bereit. Der globale Bus stellt eine Kommunikation zwischen Prozessoren sowohl für das Transponieren der Daten für die vertikale Filterung als auch für die Übertragung codierter und uncodierter Daten bereit. Obwohl sie direkt auf die oben beschriebene zweite Ausführungsform der vorliegenden Erfindung anwendbar ist, werden Durchschnittsfachleute einsehen, daß diese Implementierung auch an die beiden anderen Ausführungsformen angepaßt werden kann.

Teilbandcodierungsverfahren

Das Teilbandcodierungsverfahren umfaßt die Filterung der ursprünglichen Sequenz zu kritisch abgetasteten Teilbändern, die quantisiert und zu dem Decodierer übertragen werden. Zur dynamischen Verteilung der Bit auf die Teilbänder und zur Anpassung der Teilbandquantisierer zur Minimierung sichtbarer Artefakte werden Zwischenbandinformationen verwendet. Der Decodierer dequantisiert und filtert die empfangenen Daten durch entsprechende Filter zur Rekonstruktion der Bildsequenz.

Teilbandfilter

Die ursprüngliche Videosequenz wird mit separablen Filtern zeitlich und räumlich zerlegt. Die Teilbandzerlegung für Videokonferenzanwendungen (255 · 240 Bildpunkte mit 15 Einzelbildern pro Sekunde) ist in der Abb. 3 dieses Anhangs gezeigt. Es zeigt sich, daß die Bänder 7, 9, 10 und 11 bei typischen Szenen sehr wenig Energie enthalten und während der Rekonstruktion mit einer geringen resultierenden Verschlechterung auf Null gesetzt werden können. Das untere zeitliche Band codiert Bewegung unterhalb der halben Einzelbildrate und enthält die Informationen zur Rekonstruktion statischer Teile der Bildsequenz. Band 1 ist eine räumlich tiefpaßgefilterte Version der ursprünglichen Bildsequenz, während die oberen räumlichen Bänder hochfrequente Komponenten codieren. Diese erscheinen als spärliche kantenähnliche Bilder. Band 8 codiert zeitliche Frequenzen, die über der halben Einzelbildrate liegen und weist eine bedeutsame Energie nur für bewegte Teile der Bildsequenz auf. Dieses Band erscheint ebenfalls spärlich und kantenähnlich.
Da separable Filter verwendet werden, wird die Zerlegung in Teilbänder, wie in Abb. 2 dieses Anhangs gezeigt, stufenweise erzielt. Die Notation Th, Tl, Hh, Hl, Vh und Vl entspricht jeweils der zeitlichen, horizontalen und vertikalen Filterung zu hohen und niedrigen Bändern. Da das Ausgangssignal jeder Filterstufe kritisch abgetastet und nur die Hälfte der Bänder beibehalten wird, ist die Anzahl von Bildpunkten in den resultierenden Teilbändern gleich der Hälfte der Anzahl in der ursprünglichen Sequenz. Es sollte beachtet werden, daß im Gegensatz zu DCT- gestützten Verfahren, bei denen nur eine Umgebung zur Berechnung der Darstellung im Frequenzbereich erforderlich ist, zur Erzielung der Teilbandzerlegung eine gesamte Zeile oder Spalte von Daten verarbeitet werden muß.

Teilbandquantisierer

Zur Erzielung einer niedrigen, konstanten Codierungsrate bei gleichzeitiger Aufrechterhaltung einer guten Qualität nutzt der Quantisierer zeitliche Redundanz, charakteristische Teilbandeigenschaften und wahrnehmungsbezogene Maskierung von Verzerrungen aus. Die Teilbandzerlegung entfernt räumliche Redundanz in den Teilbändern, weswegen unter Verwendung räumlicher Prädiktoren keine wesentliche Codierungsgewinne festgestellt wurden. Zeitliche Redundanz wird entfernt, indem in dem unteren zeitlichen Teilband bedingtes Austauschen verwendet wird. Nach der Übertragung werden statische Bereiche in nachfolgenden Einzelbildern wiederholt; die Bereiche, die wiederholte Bildpunkte enthalten, werden mit einer niedrigen Bitrate unter Verwendung von Lauf-Längencodierung übertragen. Bewegten Segmenten werden entsprechend der Sichtbarkeit von Fehlern in jedem Teilband Bit zugeteilt. Diese Bit werden dynamisch zugeteilt, wobei die Priorität zuerst den untersten räumlichen Teilbändern sowohl in den hohen als auch niedrigen zeitlichen Bändern zukommt. Wenn die Entropie während starker Bewegung die Codierungsrate übersteigt, werden zuerst die oberen räumlichen Bänder mit einer niedrigen Rate mit Vektorquantisierung codiert, und die bewegten Bereiche werden mit zunehmender Bewegung mit einer niedrigeren räumlichen Auflösung codiert, indem diese Bereiche in den oberen räumlichen Bändern auf Null gesetzt werden. Zur Bestimmung der auf Null gesetzten Bildpunkte werden ohne Übertragung zusätzlicher Nebeninformationen Zwischenbandinformationen verwendet. In den unteren vier Teilbändern werden Skalarquantisierer verwendet, um sichtbare Artefakte zu minimieren. Der Effekt dieser Verfahren ist die Codierung bewegter Bereiche mit höheren Einzelbildraten und die Verminderung der räumlichen Auflösung bewegter Bereiche, wenn die Entropie der Bildsequenz die Codierungsrate übersteigt. Dadurch werden Quantisierungsfehler in weniger sichtbare bewegte Bereiche und Teilbänder eingeführt, während sich langsam ändernde und statische Bereiche eine hohe Auflösung und minimales Quantisierungsrauschen beibehalten.

VAP-Architektur

Der VAP wurde entwickelt, um eine flexible Echzeitimplementierung des oben beschriebenen Verfahrens bereitzustellen. Das Videoformat, die Teilbandfilterstruktur und die Quantisierer sind in einer MIMD-Architektur voll programmiert. Es kann abhängig von der Komplexität des Algorithmus eine Videoauflösung bis zum vollen CCIR601 (720 · 485 Bildpunkte, 30 Einzelbilder pro Sekunde) verarbeitet werden.

VAP-Array

Der VAP-Codierer umfaßt eine Videoschnittstelle, ein Prozessorelement-Array (PE- Array) und eine Zwischenboard-Schnittstelle (siehe Abb. 1 dieses Anhangs). Dateneingaben und Übertragungen zwischen Prozessoren finden synchron mit Zeilen von Videodaten statt, die nacheinander zu jedem PE übertragen werden. Zusätzlich wird jedem PE am Anfang einer Teilbildsequenz signalisiert, um die Hintergrundverarbeitung zu synchronisieren, die das Codierungsverfahren implementiert. Da dies jedem PE einen Zeitschlitz auf dem Zwischenprozessorbus zur Verfügung stellt, wird der Buskonflikt beseitigt und die Verzögerung minimiert. Datenübertragungen und Übertragung zwischen Prozessoren werden auf jedem PE gepuffert, um das Vordergrund-E/A-Prozeßoverhead zu minimieren. Das VAP-Decodierer-PE-Array ist identisch, wobei Schnittstellen zur Eingabe codierter Daten und zur Ausgabe von CCIR601-Videodaten bereitgestellt werden.
Der VAP-Codierer und der VAP-Decodierer sind jeweils auf einer 9U-VME-Karte aufgebaut, und zum Herunterladen von Programmen und zur Steuerung wird eine VME-Schnittstelle zwischen dem Host und jedem PE bereitgestellt. Auf dem Codierer- und auf dem Decodiererboard sind acht PE angeordnet.

PE-Architektur

Jedes PE umfaßt einen DSP32C-Prozessor von AT&T, Speicher, eine Dateneingabeschnittstelle und eine Schnittstelle zwischen Prozessoren. Die E/A- und Prozeßsynchronisierung wird durch die DSP32C- Interruptleitungen erzielt. Die Host-Kommunikation verwendet die Parallel-E/A (PIO) des DSP32C. Videodaten und Daten zwischen Prozessoren werden über die externe Speicherschnittstelle übermittelt, wodurch direkt von den E/A-Puffern aus auf Befehlsoperanden zugegriffen werden kann. Schreibadressen zwischen Prozessoren werden direkt auf den DSP32C-Adreßraum abgebildet, wodurch Datenübertragungen mit der Befehlsrate ermöglicht wird, wodurch Übertragungen zwischen Prozessoren mit einer anhaltenden Rate von 50 Mbyte/s erfolgen können. Videodaten können mit der vollen CCIR601-Rate von 27 Mbyte/s in den Daten-FIFO eingegeben werden. Jedes PE enthält einen; 256k · 32-SRAM, auf den mit der Ausführungsrate von 25 MFLOPS des Prozessors zugegriffen werden kann.
Die zusammengenommene Verarbeitungsrate der acht PE-Codierer und -Decodierer, die aufgebaut wurden, beträgt 400 MFLOPS, mit einem externen verteilten Gesamtspeicher von 16 Mbyte. Zusätzlich enthält jeder DSP32C sechs kbyte internen statischen RAM.

Codiererimplementierung

Ein wichtiger Gesichtspunkt bei Telekonferenzcodierern ist die bei der Codierung, Übertragung und Decodierung der Bildsequenz wahrgenommene Verzögerung. Die Codierungs- und Decodierungszeit ist bei Teilbandcodierern eine Funktion der Ordnung und der Verarbeitungsverzögerung des zeitlichen Filters, was Übertragungen zwischen Prozessoren mit einschließt. Zur Minimierung der Verzögerung wurde in einer Studie die Auswirkung der Ordnung des zeitlichen Filters auf den Codierungsgewinn bestimmt. Die Ordnung des FIR-Filters wurde auf weniger als vierte Ordnung beschränkt, da bei Filtern höherer Ordnung bei der Rate von 15 fps (Einzelbildern pro Sekunde) eine wesentliche Verzögerung eingeführt wird. Es wurde festgestellt, daß Filter mit zwei Abgriffen eine gute Quantisiererleistung bei minimaler Verzögerung liefern - diese wurden deshalb für die Implementierung gewählt. Zur Minimierung der Quantisierungseffekte aufgrund des Aliasing zwischen Bändern wurden räumliche QMF-Filter der zehnten Ordnung verwendet, da sich die Ordnung der räumlichen Filter nicht auf die Codiererverzögerung auswirkt. Die Verarbeitungsverzögerung wird durch Lastausgleich in dem Prozessor-Array minimiert, während Übertragungen zwischen Prozessoren wie nachfolgend beschrieben minimiert werden.
Um das Interruptoverhead zu minimieren und gleichzeitig relativ zu der zeitlichen Filterverzögerung eine kleine Übertragungs-Latenzzeit bereitzustellen, erfolgen Datenübertragungen und Übertragungen zwischen Prozessoren mit der CCIR601- Zeilenrate, d. h. alle 69 us. Da in jedem Array acht PE vorliegen, wird jedes PE alle 550 us unterbrochen. Während der Interrupt-Serviceroutine führt das PE Übertragungen zwischen Prozessoren durch und gibt die entsprechenden unterabgetasteten Luminanz- und Chrominanzdaten ein. Es können bis zu 850 32-Bit- Übertragungen während jedem Zeilenintervall durchgeführt werden. Die Interrupt-Serviceroutine lädt außerdem Zeilen- und Einzelbildzähler, mit denen Hinterrundprozesse zeitlich gesteuert werden. Der Einzelbildzähler durchläuft zyklisch vier CCIR601- Einzelbilder, was bei der Rate von 15 fps zwei Einzelbildern entspricht. Die Einzelbildzähler in allen PE werden synchronisiert, so daß die zeitlichen Filter in allen PEs zur selben Zeit beginnen.
Die Luminanzanalysefilter sind wie in Abb. 2 dieses Anhangs gezeigt über das PE-Array verteilt. Während des ersten Teilbildes des Einzelbildes 0 empfängt jedes PE eine aufeinanderfolgende Videodatenzeile. Da jedes PE einen lokalen Einzelbildspeicher enthält, kann die zeitliche Filterung und die erste Stufe der horizontalen Filterung ohne Datentransfer über den Zwischenprozessorbus durchgeführt werden. Um die anschließende vertikale Filterung durchzuführen, werden die Daten unter Verwendung des Zwischenprozessorbusses in den beiden nächsten Teilbildern transponiert. Alle vertikalen Zeilen, die jedem Teilband entsprechen, werden zu einem PE übertragen, so daß die folgende Zerlegung und Quantisierung durchgeführt werden kann. Obwohl das PE0 eine zusätzliche Filterung durchführen muß, wird an seinen Teilbändern nur eine Skalarquantisierung vorgenommen, so daß eine ungefähr gleiche Auslastung auf die PEs verteilt wird, die eine Vektorquantisierung durchführen. Teilbandzuteilungsdaten werden zwischen PEs in einem anschließenden Teilbild übertragen. Die beschriebene Prozeß- und zeitliche E/A-Steuerung ist in Abb. 4 dieses Anhangs gezeigt.
Das beschriebene Prozeß- und E/A-Verfahren führt zu einer Codierer-plus-Decodiererverzögerung von 333 ms, einschließlich der Verzögerung aufgrund der zeitlichen Filterung. Die Chrominanzbänder werden auf ähnliche Weise verarbeitet, mit der Ausnahme, daß aufgrund der vertikalen Unterabtastung der Chrominanz nur jedes zweite PE zeitliche und horizontale Filterung durchführt. Die anschließende Filterung und Quantisierung werden in den PEs 4, 5, 6 und 7 durchgeführt.
In dem Decodierer-Array wird eine ähnliche Prozeß- und E/A-Steuerung verwendet, wobei Dequantisierer und Filter in umgekehrter Reihenfolge ausgeführt werden, um die Bildsequenz zu rekonstruieren. Das Decodierer-Array führt außerdem eine Aufabtastung der Daten durch, so daß sie in einem standardmäßigen CCIR601-Format über den Zwischenprozessorbus ausgegeben werden können.

Quellenangaben

1. Martin Vitterli, "Multi-Dimensional Subband Coding: Some Theory and Algorithms", Signal Processing 6, 1984, Seiten 97-112.
2. C. I. Podilchuk, N. S. Jayant, P. Noll, "Sparse Codebooks for the Quantization of Non-dominant Subbands in Image Coding", IEEE International Conference on ASSP, 1990.
3. Kun-Min Yang, Didier J. LeGall, "Hardware Design of a Motion Video Decoder for 1-1.5 Mbps Rate Application", Signal Processing, Image Communication 2, 1990, Seiten 117-126.
4. Cornelis Hoek, Rainer Heiss, Detlef Mueller, "An Array Processor Approach for Low Rate Video Coding", Signal Processing, Image Communication 1, 1989, Seiten 213-223.
5. A. J. DeGroot, E. M. Johansson, S. R. Parker, "Image Processing Using the Sprint Microprocessor", IEEE International Conference on Systems Engineering, 1989, Seiten 173-176.
6. J. R. Parker, T. R. Ingoldsby, "Design and Analysis of a Multiprocessor for Image Processing", Journal of Parallel and Distributed Computing, Band 9, Nr. 3, Juli 1990, Seiten 297-303.

Claims

1. Verfahren zur Codierung einer Bildsignalfolge, wobei die Bildsignalfolge eine Mehrzahl von Bildsignalen umfaßt, wobei ein Bildsignal eine Menge von Bildpunktsignalen umfaßt, mit den folgenden Schritten:

Auffiltern (300) der Bildsignalfolge in eine Mehrzahl von Teilband-Bildpunktsignalen;

Codieren (310i) eines oder mehrerer Bildpunktsignale einer ersten Menge von Teilband- Bildpunktsignalen unter Verwendung eines oder mehrerer Bit einer ersten Anzahl von Bit;

Bereitstellen (320) einer zweiten Anzahl von Bit zur Verwendung bei der Codierung einer zweiten Menge von Teilband-Bildpunktsignalen; und

Codieren (310i) eines oder mehrerer Bildpunktsignale der zweiten Menge von Teilband- Bildpunktsignalen unter Verwendung eines oder mehrerer Bit der zweiten Anzahl von Bit;

dadurch gekennzeichnet, daß

jedes Bit der ersten Anzahl von Bit für die Codierung der ersten Menge von Teilband- Bildpunktsignalen verfügbar ist; und

die zweite Anzahl von Bit ein oder mehrere Bit der ersten Anzahl von Bit umfaßt, die bei der Codierung der ersten Menge von Teilband-Bildpunktsignalen nicht benutzt werden.

2. Verfahren nach Anspruch 1, mit dem Schritt des Erzeugens eines ersten Signals, das widerspiegelt, daß ein oder mehrere Teilband-Bildpunktsignale der besagten ersten Menge durch eines oder mehrere zuvor decodierte Teilband-Bildpunktsignale dargestellt werden können.

3. Verfahren nach Anspruch 2, wobei der Erzeugungsschritt den Schritt des Vergleichens eines oder mehrerer Teilband-Bildpunktsignale mit einem oder mehreren vorherigen Teilband-Bildpunktsignalen zur Bestimmung, ob eine Differenz zwischen den verglichenen Signalen ein Fehlerkriterium erfüllt, umfaßt.

4. Verfahren nach Anspruch 3, wobei das Fehlerkriterium auf dem Teilband basiert, das den verglichenen Teilband-Bildpunktsignalen entspricht.

5. Verfahren nach Anspruch 1, wobei das Teilband, das der ersten Menge von Teilband-Bildpunktsignalen entspricht, eine größere wahrnehmungsbezogene Signifikanz aufweist als das Teilband, das der zweiten Menge von Teilband-Bildpunktsignalen entspricht.

6. Verfahren nach Anspruch 5, wobei das Teilband, das der ersten Menge von Teilband-Bildpunktsignalen entspricht, niedrige räumliche Frequenzen der Menge von Bildpunktsignalen widerspiegelt.

7. Verfahren nach Anspruch 1, wobei der Schritt des Codierens eines oder mehrerer Bildpunktsignale der ersten Menge von Teilband-Bildpunktsignalen den Schritt des Bestimmens umfaßt, welches eine oder welche mehrere Teilband-Bildpunktsignale der besagten ersten Menge relativ zu einem oder mehreren anderen Teilband- Bildpunkten der besagten ersten Menge eine größere wahrnehmungsbezogene Signifikanz aufweisen.

8. Vorrichtung zur Codierung einer Bildsignalfolge, wobei die Bildsignalfolge eine Mehrzahl von Bildsignalen umfaßt, wobei ein Bildsignal eine Menge von Bildpunktsignalen umfaßt, mit folgendem:

einem Mittel zum Auffiltern (300) der Bildsignalfolge in eine Mehrzahl von Teilband- Bildpunktsignalen;

einem Mittel zum Codieren (310i) eines oder mehrerer Bildpunktsignale einer ersten Menge von Teilband-Bildpunktsignalen unter Verwendung eines oder mehrerer Bit einer ersten Anzahl von Bit;

einem Mittel zum Bereitstellen (320) einer zweiten Anzahl von Bit zur Verwendung bei der Codierung einer zweiten Menge von Teilband-Bildpunktsignalen; und

einem Mittel zum Codieren (310i) eines oder mehrerer Bildpunktsignale der zweiten Menge von Teilband-Bildpunktsignalen unter Verwendung eines oder mehrerer Bit der zweiten Anzahl von Bit;

dadurch gekennzeichnet, daß die Vorrichtung für eine solche Wirkung ausgelegt ist, daß

9. Vorrichtung nach Anspruch 8 mit einem Mittel zum Erzeugen eines ersten Signals, das widerspiegelt, daß ein oder mehrere Teilband-Bildpunktsignale der besagten ersten Menge durch eines oder mehrere zuvor decodierte Teilband-Bildpunktsignale dargestellt werden können.

10. Vorrichtung nach Anspruch 9, wobei das Mittel zum Erzeugen ein Mittel zum Vergleichen eines oder mehrerer Teilband-Bildpunktsignale mit einem oder mehreren vorherigen Teilband-Bildpunktsignalen zur Bestimmung, ob eine Differenz zwischen den verglichenen Signalen ein Fehlerkriterium erfüllt, umfaßt.

11. Vorrichtung nach Anspruch 10, wobei das Fehlerkriterium auf dem Teilband basiert, das den verglichenen Teilband-Bildpunktsignalen entspricht.

12. Vorrichtung nach Anspruch 8, wobei das Teilband, das der ersten Menge von Teilband- Bildpunktsignalen entspricht, eine größere wahrnehmungsbezogene Signifikanz aufweist als das Teilband, das der zweiten Menge von Teilband- Bildpunktsignalen entspricht.

13. Vorrichtung nach Anspruch 12, wobei das Teilband, das der ersten Menge von Teilband- Bildpunktsignalen entspricht, niedrige räumliche Frequenzen der Menge von Bildpunktsignalen widerspiegelt.

14. Vorrichtung nach Anspruch 8, wobei das Mittel zum Codieren eines oder mehrerer Bildpunktsignale der ersten Menge von Teilband-Bildpunktsignalen ein Mittel zum Bestimmen umfaßt, welches eine oder welche mehrere Teilband-Bildpunktsignale der besagten ersten Menge relativ zu einem oder mehreren anderen Teilband- Bildpunkten der besagten ersten Menge eine größere wahrnehmungsbezogene Signifikanz aufweisen.