DE19544787B4

DE19544787B4 - Verfahren und Vorrichtung zum Codieren eines Bewegtbildes

Info

Publication number: DE19544787B4
Application number: DE1995144787
Authority: DE
Inventors: Shi-Hwa Lee; Jae-Seob Shin
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1994-11-30
Filing date: 1995-11-30
Publication date: 2006-04-27
Anticipated expiration: 2015-12-01
Also published as: DE19544787A1; JPH08237670A; FR2727545B1; GB9524409D0; GB2295742A; JP3403561B2; GB2295742B; KR100287214B1; FR2727545A1; KR960020507A

Abstract

Verfahren zum Codieren eines Bewegtbildes, bei dem
(a) Bewegungsvektoren erzeugt werden, indem eine Bewegungsabschätzung hinsichtlich der aktuellen Originalbilder unter Bezug auf die vorhergehenden Originalbilder durchgeführt wird, und bewegungskompensierte Bilder unter Bezug auf die Bewegungsvektoren und auf rekonstruierte Bilder der vorhergehenden Originalbilder erzeugt werden, gekennzeichnet durch die folgenden Schritte:
(b) Teilen der Bewegungskompensationsfehler, die nach der Durchführung des Schrittes (a) erzeugt sind, in akkumulierte Fehler und in Kompensationsfehler,
(c) Quad-Tree-Verarbeitung der akkumulierten Fehler und der kompensierten Fehler, die im Schritt (b) aufgeteilt wurden, nach Maßgabe der Charakteristik jeder Fehlerart,
(d) Quantisieren bezüglich eines Mittelwertes in jedem Quad-Tree der akkumulierten Fehler und der Kompensationsfehler, die im Schritt (c) verarbeitet wurden, und Bestimmen eines Quantisierungskoeffizienten nach Maßgabe einer bestimmten Quantisierungsschrittgröße,
(e) Codieren mit variabler Länge der im Schritt (d) quantisierten Daten,
(f) Speichern der Ausgangsdaten vom Schritt (e),
(g) Bestimmen der Quantisierungsschrittgröße für den Schritt (d)...

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Codieren eines Bewegtbildes, bei denen Bewegungsvektoren erzeugt werden, indem eine Bewegungsabschätzung hinsichtlich der aktuellen Originalbilder unter Bezug auf die vorhergehenden Originalbilder durchgeführt wird und bewegungskompensierte Bilder unter Bezug auf die Bewegungsvektoren und auf rekonstruierte Bilder der vorhergehenden Originalbilder erzeugt werden.

Ein derartiges Verfahren und eine derartige Vorrichtung sind aus der EP 0658057 A2 bekannt.

Ein bisher in weitem Umfang verwandter Bewegtbildcodierer entfernt im Allgemeinen eine zeitliche Überlappung über eine Bewegungsverarbeitung und eine räumliche Überlappung über eine diskrete Kosinustransformation, um dadurch die Daten zu komprimieren.

7 der zugehörigen Zeichnung zeigt den Grundaufbau eines Bewegtbildcodierers, der so ausgebildet ist, dass eine zeitliche Überlappung über eine Bewegungsverarbeitung und eine räumliche Überlappung über eine diskrete Kosinustransformation beseitigt werden können, und der dazu bestimmt ist, in einer Anzahl von standardisierten Codierern wie beispielsweise H.261, MPEG-1 und MPEG-2 verwandt zu werden.

Wie es in 7 dargestellt ist, erzeugt ein Bewegungsabschätzungsteil 11 Bewegungsvektoren zur Bildung der aktuellen Bilder unter Bezug auf vorhergehende Bilder. Um einen Bewegungsvektor zu erzeugen, führen die meisten Codierer einen Vollsuchlauf innerhalb eines bestimmten Bereiches auf der Grundlage der kleinsten absoluten Fehler mit einer festen Blockeinheit durch. Der Bewegungsvektor, der vom Bewegungsabschätzungsteil 11 erzeugt wird, wird auf einen Bildspeicher und Bewegungskompensator 17 übertragen und in ein bewegungskompensiertes Bild über eine Bewegungskompensation unter Bezug auf ein rekonstruiertes Bild der vorhergehenden Bilder umgewandelt, die vorher in einem Speicher gespeichert sind. Das bewegungskompensierte Bild wird somit über die Bewegungsabschätzung durch den Bewegungsabschätzungsteil 11 und die Bewegungskompensation durch den Bildspeicher und Bewegungskompensator 17 dem aktuellen Bild sehr ähnlich.

Ein Subtrahierer 18 berechnet den Unterschied zwischen dem aktuellen Bild und dem bewegungskompensierten Bild, um einen Bewegungskompensationsfehler zu erzeugen. Das heißt mit anderen Worten, dass dann, wenn das bewegungskompensierte Bild dem Bewegungskompensationsfehler zuaddiert wird, das komplette aktuelle Bild erzeugt wird. Der Bewegungskompensationsfehler wird auf einen Kosinustransformationsteil 12 zur Durchführung einer diskreten Kosinustransformation übertragen und von einem räumlichen Bereich in einen Frequenzbereich übersetzt.

Ein Quantisierer (Q) 13 quantisiert den im Kosinustransformationsteil 12 transformierten Fehler nach Maßgabe einer Quantisationsschrittgröße, die in einem Bitratensteuerteil 18 erzeugt wird. Der im Quantisierer 13 quantisierte Bewegungskompensationsfehler wird in einem Codierer 19 mit variabler Länge codiert, auf einen Pufferspeicher 21, d. h. auf die letzte Stufe des Codierers über einen Multiplexer 20 übertragen und dann an einen Decodierer abgegeben.

In einem Umkehrquantisierer (Q^–1) 14 und in einem Umkehrkosinustransformationsteil (DCT^–1) 15, die als Umkehrtransformationsprozessoren des Quantisierers 13 und des Kosinustransformationsteils 12 dienen, wird der Bewegungskompensationsfehlerkehrwert umkehrquantisiert und nach einer diskreten Kosinusfunktion umkehrtransformiert und anschließend in einem Addierer 16 dem bewegungskompensierten Bild zuaddiert, um dadurch ein rekonstruiertes Bild des aktuellen Bildes zu erzeugen. Das rekonstruierte Bild wird im Bildspeicher und Bewegungskompensator 17 gespeichert. Das erzeugte rekonstruierte Bild ist dabei vollständig gleich dem rekonstruierten Bild, das im Decodierer erzeugt wird.

Dementsprechend bestehen die vom Codierer auf den Decodierer übertragenen Daten in einem Bewegungskompensationsfehler, wobei ein Teil des Bewegungsvektors und der Daten verlorengeht. Im Decodierer wird das bewegungskompensierte Bild dadurch gebildet, dass der empfangene Bewegungsvektor benutzt wird und dann der Bewegungskompensationsfehler umkehrtransformiert wird, um dadurch ein rekonstruiertes Bild zu erzeugen, das gleich dem rekonstruierten Bild ist, das im Bildspeicher und Bewegungskompensator 17 gespeichert ist.

Der Bewegungskompensationsfehler vom Subtrahierer 18 wird aus zwei Gründen erzeugt. Wenn zunächst mehr als zwei verschiedene Bewegungskomponenten in einem Block vorhanden sind, dann kann durch eine Abschätzung der Bewegung mit einer festen Blockeinheit durch den Bewegungsabschätzungsteil 11 der Bildspeicher und Bewegungskompensator 12 keine exakte Bewegungskompensation durchführen, was zur Folge hat, dass Fehler im bewegungskompensierten Bild gegenüber dem ursprünglichen Bild erzeugt werden. Derartige Fehler werden als Kompensationsfehler bezeichnet. Für derartige Kompensationsfehler ist es charakteristisch, dass sie meistens am Randbereich eines sich im Bild bewegenden Gegenstandes und nur in geringem Maße an anderen Stellen erzeugt werden. Ein derartiger Effekt wird von Strobach als Linienzeichnungseffekt bezeichnet.

Ein Bewegungskompensationsfehler wird zum zweiten infolge eines akkumulierten Fehlers erzeugt. Wenn der Bewegungskompensationsfehler durch die verschiedenen aufeinanderfolgenden Arbeitsvorgänge vollständig codiert ist, ist kein Fehler im rekonstruierten Bild enthalten. Es wird jedoch ein Fehler erzeugt, während die Quantisierung mit einer Quantisierungsschrittgröße durchgeführt wird, die durch den Bitratensteuerteil 18 nach Maßgabe einer Sollbitübertragungsgeschwindigkeit oder -rate festgelegt wird. Es entstehen daher Fehler im rekonstruierten Bild, das vom Decodierer und dem Bildspeicher und Bewegungskompensator 17 erzeugt wird. Derartige Fehler akkumulieren sich, während der Arbeitsablauf bezüglich eines Bildes fortgesetzt wird, sie haben zwar keinen hohen Wert, sind jedoch sehr breit und willkürlich verteilt.

Ein Bewegungskompensationsfehler hat somit die Charakteristik sowohl eines Kompensationsfehlers als auch eines akkumulierten Fehlers, da der Bewegungskompensationsfehler durch eine Kombination beider Fehlerarten erzeugt wird. Das heißt, dass der Bewegungskompensationsfehler einen hohen Wert am Randbe reich des sich im Bild bewegenden Objektes ähnlich wie der Kompensationsfehler und einen niedrigen Fehlerwert hat, der unregelmäßig über alle Bereich verteilt ist, wie es beim akkumulierten Fehler der Fall ist.

Der oben beschriebene Bewegungskompensationsfehler wird vom räumlichen Bereich in den Frequenzbereich über eine diskrete Kosinustransformation transformiert, so dass eine Konzentration der Stärke zu erwarten ist. Eine Konzentration der Stärke über eine diskrete Kosinustransformation ist allerdings nur in dem Fall zulässig, dass die Werte jedes Bildpunktes im räumlichen Bereich einander stark entsprechen. Da der Bewegungskompensationsfehler die Eigenschaft einer unregelmäßigen Verteilung aufgrund des akkumulierten Fehlers hat, ist die Stärke nicht konzentriert, sondern vielmehr verteilt, wenn eine diskrete Kosinustransformation bezüglich des Bewegungskompensationsfehlers mit unregelmäßiger Verteilung durchgeführt wird.

Strobach hat daher stattdessen ein Codierungsverfahren mittels eines Quad-Trees vorgeschlagen und darauf hingewiesen, dass die diskrete Kosinustransformation bezüglich des Bewegungskompensationsfehlers unzureichend ist.

Wenn beim Codieren mit einem Quad-Tree die Bildpunkte in Blöcken ähnliche Werte bezüglich eines Blockes mit einer bestimmten Größe haben, dann wird ein Mittelwert der Werte in den Blöcken codiert, wenn jedoch die Bildpunkte in den Blöcken sehr verschiedene Werte haben, dann werden die Blöcke in vier Unterblöcke unterteilt und wird dann die Ähnlichkeit der Werte in jedem Unterblock bezüglich der vier Unterblöcke beurteilt. In dieser Weise werden ein Mittelwert in jedem Block und die Struktur eines Quad-Trees dadurch codiert, dass fortlaufend jeder Block in vier Teile unterteilt wird, bis eine bestimmte Bedingung erfüllt ist.

Strobach hat jedoch nur die Charakteristik der Kompensationsfehler als Charakteristik des Bewegungskompensationsfehlers betrachtet und somit die Charakteristik der unregelmäßigen Verteilung der akkumulierten Fehler nicht berücksichtigt. Das heißt, dass die Bewegtbildsignale einen hohen Verteilungswert nicht nur aufgrund von Fehlern, die am Rand des sich bewegenden Gegenstandes konzentriert sind, sondern auch aufgrund der unregelmäßigen Verteilung der akkumulierten Fehler in anderen Bereichen haben. Wenn daher die Bewegungskompensationsfehler über einen Quad-Tree codiert werden, sollten alle Bereiche in eine Vielzahl von kleinen Teilen unterteilt werden. Dementsprechend nimmt das Informationsvolumen in Folge der Codierung der Mittelwerte bezüglich jedes Bereiches einschließlich der Information über die Struktur des zu codierenden Quad-Trees zu.

Da der Mittelwert aufgrund der unregelmäßigen Verteilung der akkumulierten Fehler nahezu bei null liegt, wird durch den Mittelwert ein merklicher Fehlerkompensationseffekt allerdings nicht erzielt.

8 zeigt die Anzahl der Blattknoten, die erzeugt werden, wenn Kompensationsfehler, akkumulierte Fehler und Bewegungskompensationsfehler (Kompensationsfehler + akkumulierte Fehler) durch einen Quad-Tree geteilt werden, indem ein einheitlicher Verteilungsschwellenwert 400 angewandt wird. Es ist ersichtlich, dass die Zahl der Blattknoten in den Kompensationsfehlern weitaus größer als in den akkumulierten Fehlern ist, so dass die Bewegungskompensationsfehler noch größer werden.

Wie es oben erwähnt wurde, hat sich die diskrete Kosinustransformation, die in weitem Umfang zum Codieren von Bewegungskompensationsfehlern verwandt wird, aufgrund der unregelmäßigen Verteilung der Bewegungskompensationsfehler und der hochfrequenten Anteile an den Rändern als unzureichend herausgestellt. Das Quad-Tree-Verfahren, das als Ersatz vorgeschlagen worden ist, hat sich aufgrund der unregelmäßigen Verteilung der Bewegungskompensationsfehler gleichfalls als unzureichend erwiesen.

Fehler werden im Übrigen bei der Quantisierung mit einer Quantisierungsschrittgröße, die vom Bitratensteuerteil 18 erzeugt wird, durch Datenverluste hervorgerufen, die beim Codieren entstehen. Wenn die Sollbitübertragungsrate hoch ist, ist die Quantisierungsschrittgröße klein, so dass wenige Fehler auftreten. Wenn die Sollbitübertragungsgeschwindigkeit jedoch niedrig ist, ist die Quantisierungsschrittgröße groß, so dass die Fehler sehr groß sind und damit die Bildqualität der rekonstruierten Bilder beeinträchtigt ist.

Insbesondere im Fall einer Codierung eines Bewegtbildes mit einer sehr niedrigen Übertragungsgeschwindigkeit von weniger als 64 kBit/s (kips) hat das übliche diskrete Kosinustransformationsverfahren oder das Quad-Tree-Verfahren eine sehr große Quantisierungsschrittgröße aufgrund der begrenzten Übertragungsgeschwindigkeit, was zu einem großen Datenverlust führt. Das hat zur Folge, dass ein Blockierungseffekt, d.h. ein nachwirkendes Bild gleicher Größe wie der eines verarbeiteten Blockes auf einem Bildschirm bleibt, dass ein sog. Moskitoeffekt auftritt, bei dem Fehler am Rand eines sich bewegenden Gegenstandes in Form von Punkten oder Flecken konzentriert sind und dass die Begrenzungslinien eines Gegenstandes diskordant oder versetzt sind, was die Bildqualität erheblich beeinträchtigt.

Die der Erfindung zugrunde liegende Aufgabe besteht demgegenüber darin, ein Verfahren und eine Vorrichtung der eingangs genannten Art zu schaffen, mit denen eine höhere Bildqualität erzielt werden kann, indem Fehler wie der Versetzungsfehler, der Moskitoeffekt und der Blockeffekt herabgesetzt werden.

Diese Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung gelöst, die im Anspruch 1 bzw. im Anspruch 4 angegeben sind.

Besonders bevorzugte Weiterbildungen des erfindungsgemäßen Verfahrens sind Gegenstand der Ansprüche 2 und 3. Besonders bevorzugte Ausgestaltungen der erfindungsgemäßen Vorrichtung sind Gegenstand der Ansprüche 5 bis 8.

Bei dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung werden die Bewegungskompensationsfehler, die nach der Bewegungskompensation erzeugt sind, in akkumulierte Fehler und Kompensationsfehler nach Maßgabe der Verteilungscharakteristik in einen bestimmten Bereich aufgeteilt und dann codiert, um dadurch eine effektive Biterzeugung und Erzeugung rekonstruierter Bilder zu ermöglichen.

Im Folgenden wird anhand der zugehörigen Zeichnung ein be sonders bevorzugtes Ausführungsbeispiel der Erfindung näher beschrieben. Es zeigen
1 das Blockschaltbild einer Vorrichtung zum Codieren eines Bewegtbildes,
2 das Blockschaltbild im einzelnen des Bewegungsabschätzungs- und -kompensatorteils und des Fehlergenerator- und -teilerteils in 1,
3 ein Flussdiagramm zur Erläuterung der Arbeitsweise des ersten und des zweiten Quad-Tree-Prozessors in 1,
4 das Blockschaltbild des Addierer- und Filterteils in 1 im Einzelnen,
5A bis 5I schematisch in Beispielen den Prozessablauf bezüglich der akkumulierten Fehler und der Kompensationsfehler,
6 die Abfolge eines Experiments zur Filterung bezüglich der akkumulierten Fehler, die nach der Verarbeitung der Kompensationsfehler übrig bleiben,
7 den Aufbau eines herkömmlichen Bewegtbildcodierers sund
8 die Anzahl der Blattknoten, die dann erzeugt werden, wenn Kompensationsfehler, akkumulierte Fehler und Bewegungskompensationsfehler nach dem Quad-Tree-Verfahren verarbeitet werden.
Die in 1 dargestellte Vorrichtung zum Codieren eines Bewegtbildes umfasst einen ersten und einen zweiten Pufferspeicher 51 und 59, einen Bewegungsabschätzungs- und -kompensatorteil 52, einen Bewegungskompensationsfehlergenerator- und -teilerteil 53, einen ersten und einen zweiten Quad-Tree-Prozessor 54 und 55, einen Schaltteil, beispielsweise einen Multiplexer 56, einen Quantisierer 57, einen Codierer 58 mit variabler Länge, einen Bitratensteuerteil 60, einen Umkehrquantisierer 61, einen ersten und einen zweiten Umkehr-Quad-Tree-Prozessor 62 und 63 und einen Addierer und Filterteil 64.
Wenn die in 1 dargestellte Vorrichtung zum Codieren eines Bewegtbildes arbeitet, speichert der erste Pufferspeicher 51 die aktuellen und die vorhergehenden Originalbilder, erzeugt der Bewegungsabschätzungs- und -kompensatorteil 52 Bewegungs vektoren, indem er eine Bewegungsabschätzung an den aktuellen Bildern unter Bezug auf die vorhergehenden Originalbilder durchführt, die im ersten Pufferspeicher 51 gespeichert sind und erzeugt der Bewegungsabschätzungs- und -kompensatorteil 52 bewegungskompensierte Bilder unter Bezug auf die erzeugten Bewegungsvektoren und die rekonstruierten Bilder der vorhergehenden Originalbilder, die gespeichert sind.
Der Bewegungskompensationsfehlergenerator- und -teilerteil 53 erzeugt Bewegungskompensationsfehler über die bewegungskompensierten Bilder, die durch den Bewegungsabschätzungs- und Kompensatorteil 52 erzeugt wurden, und die aktuellen Originalbilder und erzeugt akkumulierte Fehler und Kompensationsfehler durch Aufteilen der Bewegungskompensationsfehler.
Der erste und der zweite Quad-Tree-Prozessor 54 und 55 führen jeweils Quad-Tree-Verarbeitungen zur Codierung bezüglich der Kompensationsfehler und der akkumulierten Fehler durch, die vom Bewegungskompensationsfehlergenerator- und -teilerteil 53 ausgegeben werden.
Der Multiplexer 56 empfängt die Bewegungsvektoren vom Bewegungsabschätzungs- und Kompensatorteil 52 und die Ausgangsdaten vom ersten und vom zweiten Quad-Tree-Prozessor 54 und 55, wählt der Reihe nach Eingangsbewegungsvektoren und Daten aus und überträgt dann diese auf einen nicht dargestellten Decodierer.
Der Quantisierer 57 führt eine Quantisierung bezüglich eines Mittelwertes während der Quad-Tree-Verarbeitung von den vom Multiplexer 56 gelieferten Daten durch und bestimmt einen Quantisierungskoeffizienten nach Maßgabe einer Quantisierungsschrittgröße, die vom Bitratensteuerteil 60 gegeben wird.
Der Codierer 58 führt eine Codierung mit variabler Länge bezüglich der durch den Quantisierer 57 quantisierten Daten durch und der zweite Pufferspeicher 59 speichert die Ausgangsdaten vom Codierer 58 mit variabler Länge.
Der Bitratensteuerteil 60 bestimmt die Quantisierungsschrittgröße für den Quantisierer 57 nach Maßgabe des Volumens des im zweiten Pufferspeicher 59 gespeicherten Daten und der Umkehrquantisierer 61 führt einen Arbeitsvorgang durch, der dem des Quantisierers 57 entgegengesetzt ist, so dass er die quantisierten Daten in eine Form transformiert, die ähnlich der der Daten vor der Quantisierung ist.
Der erste und der zweite Umkehr-Quad-Tree-Prozessor 62 und 63 erzeugen Reproduktionskompensationsfehler und akkumulierte Reproduktionsfehler, indem sie nur Blöcke mit einem Mittelwert in einem bestimmten Unterblock aus den Ausgangsdaten vom Umkehrquantisierer 61 extrahieren.
Der Addierer- und Filterteil 64 erzeugt erste rekonstruierte Bilder, indem er die akkumulierten Reproduktionsfehler und die Reproduktionskompensationsfehler den bewegungskompensierten Bildern zuaddiert, die vom Bewegungsabschätzungs- und Kompensatorteil 52 ausgegeben werden, und erzeugt dann endgültige rekonstruierte Bilder durch Verarbeitung der unregelmäßig verteilten Fehler über eine Filterung.
Zunächst kann die Charakteristik von Bewegungskompensationsfehler mit sowohl der Charakteristik der akkumulierten Fehler als auch der der Kompensationsfehler in der folgenden Weise ausgedrückt werden: et = MC(ME(xt-1), x t-1) – xt = |ememc + eacc| (1)wobei et die Bewegungskompensationsfehler bezeichnet, t die Zeit ist, ME(k) die Bewegungsvektoren bezeichnet, die bezüglich eines Bildes "k" erzeugt werden, MC(v,k) ein rekonstruiertes Bild unter Verwendung der Bewegungsvektoren "v" und bezüglich des Bildes "k" bezeichnet, x_t ein rekonstruiertes Bild für die Zeit "t" bezeichnet und x_t das Originalbild für die Zeit "t" bezeichnet.
In der folgenden Gleichung (2) sind die in der Gleichung (1) mit "et" bezeichneten Bewegungskompensationsfehler in Kompensationsfehler e_memc und in akkumulierte Fehler e_acc aufgeteilt, so dass eine angemessene Verarbeitung der Verteilungscharakteristiken jedes Fehlers möglich wird. et = MC(ME(xt-1), x t-1) – xt = MC(ME(xt-1), x t) – xt + eacc = ememc + eacc (2)
Dabei kann "e_t" aus der Gleichung (1) erhalten werden. Da e_memc gleich MC(ME(x_t-1), x_t-1/) ist, können die akkumulierten Fehler und die Kompensationsfehler durch e_acc = e_t – e_memc erhalten werden. Die Kompensationsfehler sind so verteilt, dass sie am Außenrand eines sich bewegenden Gegenstandes konzentriert sind, haben jedoch einen sehr kleinen Wert in anderen Bereichen. Wenn die Kompensationsfehler, deren Fehlerwerte bereits in einem begrenzten Bereich konzentriert sind, durch das Quad-Tree-Verfahren in kleine Teile unterteilt werden, ist eine wirksame Codierung möglich. In den anderen Bereichen erfolgt keine Codierung, da der Mittelwert nahe bei 0 liegt.
Die akkumulierten Fehler sind sehr unregelmäßig über die gesamten Bilder verteilt und haben meistens kleine Werte, so dass der Mittelwert der akkumulierten Fehler in großen Blöcken nahezu gleich 0 ist. Eine Tiefpassfilterung reicht daher für eine wirksame Verarbeitung aus, ohne zusätzliche Daten zu übertragen. Da die akkumulierten Fehler jedoch aus einer unvollständigen Verarbeitung der Kompensationsfehler resultieren, werden die akkumulierten Fehler nach dem gleichen Verfahren wie die Kompensationsfehler über eine Quad-Tree-Verarbeitung verarbeitet. Da die akkumulierten Fehler kaum in kleinere Teile unterteilt werden, wie es andererseits bei den Kompensationsfehlern der Fall ist, und diese weiterhin kleine Werte und eine unregelmäßige Verteilung haben, erfolgt trotz der Verarbeitung über den Mittelwert eine Tiefpassfilterung nach der Verarbeitung durch den Mittelwert.
2 zeigt das Blockschaltbild im Einzelnen des Bewe gungsabschätzungs- und Kompensatorteils 52 und des Fehlergenerator- und -teilerteils 53 in 1. Der Bewegungsabschätzungs- und Kompensatorteil 52 umfasst einen Bewegungsabschätzer 101 und einen ersten und einen zweiten Bewegungskompensator 102 und 103. Der Bewegungskompensationsfehlergenerator- und -teilerteil 53 umfasst einen Pufferspeicher 107 und einen ersten bis dritten Subtrahierer 108, 109 und 110.
Wenn der in 2 dargestellte Bewegungsabschätzungs- und Kompensatorteil 52 arbeitet, erzeugt der Bewegungsabschätzer 101 Bewegungsvektoren, erzeugt der erste Bewegungskompensator 102 ein erstes bewegungskompensiertes Bild unter Verwendung der Bewegungsvektoren vom Bewegungsabschätzer 101 und unter Bezug auf die vorhergehenden Originalbilder und erzeugt der zweite Bewegungsabschätzer 103 zweite bewegungskompensierte Bilder unter Verwendung der Bewegungsvektoren vom Bewegungsabschätzer 101 und unter Bezug auf rekonstruierte Bilder der vorhergehenden Originalbilder.
Wenn der Bewegungskompensationsfehlergenerator- und -teilerteil 53 arbeitet, speichert der Pufferspeicher 107 die zweiten bewegungskompensierten Bilder vom zweiten Bewegungskompensator 103 und bildet der Pufferspeicher 107 rekonstruierte Bilder, erzeugt der erste Subtrahierer 108 Kompensationsfehler, indem er den Unterschied zwischen den ersten bewegungskompensierten Bildern vom ersten Bewegungskompensator 102 und den aktuellen Originalbildern bildet, erzeugt der zweite Subtrahierer 109 Bewegungskompensationsfehler, indem er den Unterschied zwischen den bewegungskompensierten Bildern vom zweiten Bewegungskompensator 103 und den aktuellen Originalbildern bildet, und erzeugt der dritte Subtrahierer 110 akkumulierte Fehler, indem er den Unterschied zwischen den Bewegungskompensationsfehlern vom zweiten Subtrahierer 109 und den Kompensationsfehlern vom ersten Subtrahierer 108 bildet.
3 zeigt in einem Flussdiagramm den Arbeitsablauf des ersten und des zweiten Quad-Tree-Prozessors 54 und 55 in 1.
In einem Schritt 151 werden Fehlerbilder mit einer be stimmten Blockgröße eingegeben, woraufhin in einem Schritt 152 ein Mittelwert M eines gesamten Blockes und Mittelwerte M1, M2, M3 und M4 von vier Unterblöcken berechnet werden, die durch einen Quad-Tree aufgeteilt wurden.
In einem Schritt 153 wird entschieden, ob der Mittelwert M kleiner als ein bestimmter Schwellenwert TH ist. In einem Schritt 154 wird entschieden, ob die Mittelwerte M1, M2, M3 und M4 der Unterblöcke kleiner als der Schwellenwert TH sind, wenn der Mittelwert M kleiner als der Schwellenwert TH ist. Wenn die Mittelwerte M1, M2, M3 und M4 der Unterblöcke kleiner als der Schwellenwert TH sind, was im Schritt 154 festgestellt wird, dann wird die Aufteilung nach dem Quad-Tree-Verfahren beendet und werden die Quad-Tree-Strukturen, die insoweit gespeichert sind, auf den Multiplexer 56 in 2 in einem Schritt 156 übertragen.
Wenn allerdings der Mittelwert M größer als der Schwellenwert TH ist, was im Schritt 153 festgestellt wird, dann wird der Mittelwert M von allen Werten im Block abgezogen, um einen neuen Wert des Blockes zu erzeugen, was im Schritt 156 erfolgt, und neue Mittelwerte M1, M2, M3, M4 der Unterblöcke zu erzeugen, was im Schritt 157 erfolgt. In einem Schritt 158 wird entschieden, ob die Mittelwerte M1, M2, M3, M4 der Unterblöcke, die im Schritt 157 erzeugt wurden, kleiner als der Schwellenwert TH sind. Wenn alle Mittelwerte M1, M2, M3, M4 der Unterblöcke kleiner als der Schwellenwert TH sind, dann wird die Aufteilung nach dem Quad-Tree-Verfahren beendet und werden die Quad-Tree-Strukturen, die insoweit gespeichert sind, auf den Multiplexer 56 in 2 im Schritt 155 übertragen.
Wenn wenigstens einer der Mittelwerte M1, M2, M3, M4 der Unterblöcke größer als der Schwellenwert TH ist, was im Schritt 158 ermittelt wird, dann wird entschieden, ob ein aktueller Block größer als ein minimaler Block ist, was im Schritt 159 erfolgt. Wenn im Schritt 159 festgestellt wird, dass der aktuelle Block größer als der minimale Block ist, dann wird der Block durch einen Quad-Tree geteilt, wird die Quad-Tree-Struktur gespeichert und geht der Arbeitsablauf auf den Schritt 152 zurück, wobei für jeden Unterblock im Schritt 160 ein weiterer Quad-Tree-Prozess wiederholt wird.
4 zeigt im einzelnen das Blockschaltbild des Addierer- und Filterteils 64 in 1. Wie es in 4 dargestellt ist, sind ein erster und ein zweiter Addierer 201 und 202, ein Filterabgriffs- und -koeffizientenbestimmungsteil 203 und ein Tiefpassfilter 204 vorgesehen.
Wenn der Addierer- und Filterteil 64 in 4 arbeitet, addiert der erste Addierer 201 die bewegungskompensierten Bilder vom Bewegungsabschätzungs- und Kompensatorteil 52 in 2 zu den Reproduktionskompensationsfehlern, die vom ersten Umkehr-Quad-Tree-Prozessor 62 in 2 ausgegeben werden, und addiert der zweite Addierer 202 die Ausgangsdaten vom ersten Addierer 201 zu den akkumulierten Reproduktionsfehlern, die vom zweiten Umkehr-Quad-Tree-Prozessor 63 in 2 ausgegeben werden.
Der Filterabgriffs- und -koeffizientenbestimmungsteil 203 bestimmt die Anzahl der Abgriffe je nach der Größe der Unterblöcke der akkumulierten Reproduktionsfehler vom zweiten Umkehr-Quad-Tree-Prozessor 63 in 2. Er bestimmt einen Filterkoeffizienten durch Ausbreiten von Bildern gleicher Größe und in der gleichen Position in den rekonstruierten Bildern vom ersten Addierer 201. Das Tiefpassfilter 204 filtert die Ausgangsdaten vom zweiten Addierer 202 mit dem Filterkoeffizienten, der durch den Filterabgriffs- und -koeffizientenbestimmungsteil 203 bestimmt wurde.
Die 5A bis 5I zeigen in Beispielen schematisch den Verfahrensablauf bezüglich der akkumulierten Fehler und der Kompensationsfehler.
5A zeigt die ursprünglichen Signale und 5B zeigt die akkumulierten Fehler. Die akkumulierten Fehler (5B) bestehen unregelmäßig über alle Signalbereiche. 5C zeigt die akkumulierten Fehler (5B) in einer Kombination mit dem ursprünglichen Signal (5A). Wenn eine Tiefpassfilterung bezüglich des Signals von 5C erfolgt, dann kann ein rekonstruiertes Signal erzeugt werden, wie es in 5D dargestellt ist. Allein durch ein Tiefpassfiltern kann somit bereits ein rekonstruiertes Signal erzeugt werden, das dem ursprünglichen Signal sehr ähnlich ist, da der Mittelwert der akkumulierten Fehler gleich 0 ist und die akkumulierten Fehler unregelmäßig verteilt sind. 5E zeigt die Kompensationsfehler. Das Signal von 5F, in dem die Kompensationsfehler vorhanden sind, kann dann erzielt werden, wenn die Kompensationsfehler (5E) mit dem ursprünglichen Signal kombiniert werden (5A). Wenn das Signal von 5F durch einen Quad-Tree (im Fall des ersten Signals durch einen Dreierbaum) geteilt wird, wird nur ein Bereich, wie er in 5G dargestellt ist, in dem Kompensationsfehler vorhanden sind, in kleine Teile aufgeteilt. Der Bereich mit Fehlern kann durch den Mittelwert ersetzt werden, so dass sich unter Verwendung des Quad-Trees und des Mittelwertes rekonstruierte Kompensationsfehler ergeben, wie sie in 5H dargestellt sind. Wenn das Signal von 5H vom Signal in 5F abgezogen wird, dann werden rekonstruierte Bilder erhalten, wie sie in 5I dargestellt sind. Ein derartiges Quad-Tree-Verfahren bezüglich der Kompensationsfehler ist sehr effektiv, da die Kompensationsfehler meistens konzentriert in einem bestimmten Bereich auftreten.
6 zeigt das Ergebnis eines Filterexperimentes bezüglich der akkumulierten Fehler, die nach der Verarbeitung der Kompensationsfehler bleiben. Die benutzten Bewegtbilddaten stammten von einem Bild eines Werkführers, das mit 10 Hz abgetastet wurde und eine Größe von 352 × 288 hatte. Das Experiment zeigt, dass durch nur fünf zweidimensionale Abgriffe und einen festen Koeffizientenwert statt der adaptiven Filterung gefilterte Ergebnis, das dem Bild entspricht, wobei tatsächlich dann, wenn eine adaptive Filterung benutzt wird, ein noch effektiveres Ergebnis erwartet werden kann. Das Ergebnis des Experimentes zeigt, dass die Bildqualität um 3–4 db ohne einen speziellen Codierungsvorgang bezüglich der akkumulierten Fehler verbessert werden kann.
Wie es oben beschrieben wurde, werden bei dem Verfahren und der Vorrichtung zum Codieren eines Bewegtbildes Bewegungs kompensationsfehlersignale in Kompensationsfehler und akkumulierte Fehler aufgeteilt, werden konzentrierte Fehler in den Kompensationsfehlern nach dem Quad-Tree-Verfahren verarbeitet, um einen Mittelwert zu codieren, und werden die anderen Fehler geringer Größe in den Kompensationsfehlern gefiltert, wobei die akkumulierten Fehler zum größten Teil nach Maßgabe der Charakteristik und des Mittelwertes eines Teils davon codiert werden. Die Biterzeugung ist verglichen mit dem herkömmlichen diskreten Kosinustransformationsverfahren oder dem Quad-Tree-Verfahren verringert, so dass dieses Verfahren zum Codieren von Bewegtbildern mit sehr niedriger Übertragungsgeschwindigkeit zweckmäßig ist.
Eine wirksame Codierung der Kompensationsfehler erleichtert es weiterhin, die Erscheinung stark zu verringern, dass die Grenzen eines Gegenstandes versetzt sind, und den Moskitoeffekt und den Blockeffekt über eine Filterung herabzusetzen, so dass die Bildqualität wirksam verbessert ist, und zwar im Vergleich mit dem herkömmlichen diskreten Kosinustransformationsverfahren oder dem herkömmlichen Quad-Tree-Verfahren.
Es werden weiterhin Daten nur im räumlichen Bereich verarbeitet, ohne eine Bereichstransformation, so dass es möglich ist, Verzögerungen durch die Bereichstransformation zu vermeiden, die beim diskreten Kosinustransformationsverfahren erfolgt. Akkumulierte Fehler und Kompensationsfehler können über den allgemeinen Quad-Tree verarbeitet werden, so dass eine spezielle Hardware aufgrund einer speziellen Fehlerverarbeitung nicht erforderlich ist.

Claims

Verfahren zum Codieren eines Bewegtbildes, bei dem (a) Bewegungsvektoren erzeugt werden, indem eine Bewegungsabschätzung hinsichtlich der aktuellen Originalbilder unter Bezug auf die vorhergehenden Originalbilder durchgeführt wird, und bewegungskompensierte Bilder unter Bezug auf die Bewegungsvektoren und auf rekonstruierte Bilder der vorhergehenden Originalbilder erzeugt werden, gekennzeichnet durch die folgenden Schritte: (b) Teilen der Bewegungskompensationsfehler, die nach der Durchführung des Schrittes (a) erzeugt sind, in akkumulierte Fehler und in Kompensationsfehler, (c) Quad-Tree-Verarbeitung der akkumulierten Fehler und der kompensierten Fehler, die im Schritt (b) aufgeteilt wurden, nach Maßgabe der Charakteristik jeder Fehlerart, (d) Quantisieren bezüglich eines Mittelwertes in jedem Quad-Tree der akkumulierten Fehler und der Kompensationsfehler, die im Schritt (c) verarbeitet wurden, und Bestimmen eines Quantisierungskoeffizienten nach Maßgabe einer bestimmten Quantisierungsschrittgröße, (e) Codieren mit variabler Länge der im Schritt (d) quantisierten Daten, (f) Speichern der Ausgangsdaten vom Schritt (e), (g) Bestimmen der Quantisierungsschrittgröße für den Schritt (d) nach Maßgabe des Volumens der Daten, die im Schritt (f) gespeichert wurden, (h) Umkehrtransformation der im Schritt (d) quantisierten Daten in Daten vor der Quantisierung, (i) Durchführung einer Umkehr-Quad-Tree-Verarbeitung bezüglich eines Blockes mit einem Mittelwert in einem bestimmten Unterblock der Daten vom Schritt (h), um Reproduktionskompensationsfehler und akkumulierte Reproduktionsfehler zu erzeugen, und (j) Erzeugen erster rekonstruierter Bilder aus den Reproduktionskompensationsfehlern und den akkumulierten Reproduktionsfehlern vom Schritt (i) und den bewegungskompensierten Bildern vom Schritt (a) und anschließendes Erzeugen endgültiger rekonstruierter Bilder über eine Tiefpassfilterung.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Schritt (c) der größte Teil der akkumulierten Fehler über die Tiefpassfilterung verarbeitet wird und nur ein Teil, dessen Mittelwert nicht gleich 0 ist, Quad-Tree-verarbeitet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Schritt (c) die konzentrierten Fehler der Kompensationsfehler über die Quad-Tree-Verarbeitung codiert werden, während andere Fehler mit kleiner Größe nicht codiert werden.
Vorrichtung zum Codieren eines Bewegtbildes, gekennzeichnet durch einen ersten Pufferspeicher (51) zum Speichern von vorhergehenden Originalbildern und von aktuellen Originalbildern, einen Bewegungsabschätzungs- und -kompensatorteil (52) zum Erzeugen von Bewegungsvektoren, indem eine Bewegungsabschätzung anhand der aktuellen Originalbilder unter Bezug auf die vorhergehenden Originalbilder durchgeführt wird, die im ersten Pufferspeicher (51) gespeichert sind, und zum Erzeugen von bewegungskompensierten Bildern unter Bezug auf die erzeugten Bewegungsvektoren und auf rekonstruierte Bilder der vorhergehenden Originalbilder, einen Bewegungskompensationsfehlergenerator- und -teilerteil (53) zum Erzeugen von Bewegungskompensationsfehlern durch die bewegungskompensierten Bilder, die durch den Bewegungsab schätzungs- und -kompensatorteil (52) erzeugt werden und zum Aufteilen der Bewegungskompensationsfehler in Kompensationsfehler und akkumulierte Fehler, einen ersten und einen zweiten Quad-Tree-Prozessor (54, 55) zur Durchführung einer Quad-Tree-Verarbeitung, um die Kompensationsfehler und die akkumulierten Fehler vom Bewegungskompensationsfehlergenerator und -teilerteil (53) zu codieren, einen Schaltteil (56) zum Umschalten und Ausgeben der Bewegungsvektoren, die durch den Bewegungsabschätzungs- und Kompensatorteil (53) erzeugt werden, und der Daten, die vom ersten und vom zweiten Quad-Tree-Prozessor (54, 55) ausgegeben werden, einen Quantisierer (57) zum Quantisieren eines Mittelwertes im Quad-Tree der Ausgangsdaten vom Schaltteil (56) und zum Bestimmen eines Quantisierungskoeffizienten nach Maßgabe einer bestimmten Quantisierungsschrittgröße, einen Codierer (58) mit variabler Länge zur Durchführung einer Codierung mit variabler Länge bezüglich der durch den Quantisierer (57) quantisierten Daten, einen zweiten Pufferspeicher (59) zum Speichern der Ausgangsdaten vom Codierer (58) mit variabler Länge, einen Bitratensteuerteil (60) zum Bestimmen der Quantisierungsschrittgröße für den Quantisierer (57) nach Maßgabe des Volumens der Daten, die im zweiten Pufferspeicher (59) gespeichert sind, einen Umkehrquantisierer (61) zum Transformieren der durch den Quantisierer (57) quantisierten Daten in die Daten vor der Quantisierung, einen ersten und einen zweiten Umkehr-Quad-Tree-Prozessor (62, 63) zur Durchführung einer Umkehr-Quad-Tree-Verarbeitung bezüglich Blöcken mit einem Mittelwert in einem bestimmten Unterblock der Ausgangsdaten vom Umkehrquantisierer (61), um Reproduktionskompensationsfehler und akkumulierte Reproduktions fehler zu erzeugen, und einen Addierer- und Filterteil (64) zum Erzeugen erster rekonstruierter Bilder durch Addieren der Reproduktionskompensationsfehler und der akkumulierten Reproduktionsfehler vom ersten und vom zweiten Umkehr-Quad-Tree-Prozessor (62, 63) zu den bewegungskompensierten Bildern vom Bewegungsabschätzungs- und -kompensatorteil (52) und zum Erzeugen der endgültigen rekonstruierten Bilder durch eine Verarbeitung von unregelmäßig verteilten Fehlern über eine Filterung.
Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass der Bewegungsabschätzungs- und -kompensatorteil (52) einen Bewegungsabschätzer (101) zum Erzeugen der Bewegungsvektoren, indem eine Bewegungsabschätzung anhand der aktuellen Originalbilder unter Bezug auf die vorhergehenden Orignalbilder durchgeführt wird, einen ersten Bewegungskompensator (102) zum Erzeugen von ersten bewegungskompensierten Bildern unter Verwendung der Bewegungsvektoren und unter Bezug auf die vorhergehenden Originalbilder, und einen zweiten Bewegungskompensator (103) zum Erzeugen zweiter bewegungskompensierter Bilder unter Verwendung der Bewegungsvektoren und unter Bezug auf die rekonstruierten Bilder der vorhergehenden Originalbilder umfasst.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass der Bewegungskompensationsfehlergenerator und -teilerteil (53) einen Pufferspeicher (107) zum Speichern der zweiten bewegungskompensierten Bilder vom zweiten Bewegungskompensator (103), um rekonstruierte Bilder zu erzeugen, einen ersten Subtrahierer (108) zum Erzeugen von Kompensa tionsfehlern, indem der Unterschied zwischen den ersten bewegungskompensierten Bildern vom ersten Bewegungskompensator (102) und den aktuellen Originalbildern gebildet wird, einen zweiten Subtrahierer (109) zum Erzeugen der Bewegungskompensationsfehler, indem der Unterschied zwischen den zweiten bewegungskompensierten Bildern vom zweiten Bewegungskompensator (103) und den aktuellen Originalbildern gebildet wird, und einen dritten Subtrahierer (110) zum Erzeugen der akkumulierten Fehler, indem der Unterschied zwischen den Bewegungskompensationsfehlern vom zweiten Subtrahierer (109) und den Kompensationsfehlern vom ersten Subtrahierer (108) gebildet wird, umfasst.
Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass der Addierer und Fehlerteil (64) einen ersten Addierer (201) zum Addieren der bewegungskompensierten Bilder vom Bewegungsabschätzungs- und -kompensatorteil (52) zu den Reproduktionskompensationsfehlern vom ersten Umkehr-Quad-Tree-Prozessor (62), einen zweiten Addierer (202) zum Addieren der Ausgangsdaten vom ersten Addierer (201) zu den akkumulierten Reproduktionsfehlern vom zweiten Umkehr-Quad-Tree-Prozessor (63) und einen Filterabgriff- und Koeffizientenbestimmungsteil (203) zum Bestimmen der Filterabgriffe nach Maßgabe der Blockgröße der akkumulierten Reproduktionsfehler, die vom zweiten Umkehr-Quad-Tree-Prozessor (63) ausgegeben werden, und zum Bestimmen eines Filterkoeffizienten nach Maßgabe der Verbreitung der rekonstruierten Bilder vom zweiten Umkehr-Quad-Tree-Prozessor (63), und ein Tiefpassfilter (204) zum Filtern der Ausgangsdaten des zweiten Addierers (202) mit dem Filterkoeffizienten, der durch den Filterabgriff und Koeffizientenbestimmungsteil (203) bestimmt ist, umfasst.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Anzahl der Filterabgriffe des Filterabgriff- und -koeffizientenbestimmungsteils (203) proportional zu der Größe der Unterblöcke der akkumulierten Reproduktionsfehler ist, die vom zweiten Umkehr-Quad-Tree-Prozessor (63) ausgegeben werden.