-
Die
vorliegende Erfindung betrifft die prädiktive Bilddecodierung und
die prädiktive
Bildcodierung und insbesondere Verfahren und Vorrichtungen zur prädiktiven
Bilddecodierung, Verfahren und Vorrichtungen zur prädiktiven
Bildcodierung und Datenspeichermedien, die zur Verarbeitung von
Bildern mit veränderlicher
Größe verwendet
werden.
-
Hintergrund
der Erfindung
-
Um
ein digitales Bild mit hoher Effizienz zu speichern oder zu übertragen,
muss es kompressionscodiert werden. Ein typisches Verfahren zur
Kompressionscodierung digitaler Bilder ist das durch JPEG (Joint
Photographic Experts Group; Gemeinsame Fachgruppe Fotografie) und
MPEG (Moving Picture Experts Group; Fachgruppe Film) vertretene DCT-Verfahren (Discrete
Cosine Transformation; Diskrete Kosinustransformation). Darüber hinaus
gibt es Wellenform-Codierungsverfahren wie Codierung mit unterteilten
Bändern,
Wavelet-Codierung und Fraktal-Codierung. Um ein redundantes Signal
zwischen Bildern zu eliminieren, wird eine Interbild-Prädiktion
durch Bewegungskompensation durchgeführt und das Differenzsignal
wird Wellenform-codiert.
-
Hier
wird ein auf der Bewegungskompensations-DCT beruhendes MPEG-Verfahren
beschrieben. Zunächst
wird ein Eingangsbild eines zu codierenden Rahmens in mehrere Makroblöcke mit
einer Größe von jeweils
16 × 16
Pixeln unterteilt. Jeder Makroblock wird weiter in vier Blöcke mit
einer Größe von jeweils
8 × 8
Pixeln unterteilt, und jeder Block von 8 × 8 Pixeln wird DCT-transformiert
und quantisiert. Dieses Verfahren heißt Intrabild-Codierung.
-
Mit
einem Verfahren der Bewegungserkennung, wie Block-Abgleich, aus
einem Rahmen, der vorübergehend
an ein Objektbild mit einem zu quantisierenden Objekt-Makroblock angrenzt,
wird der Prädiktions-Makroblock
mit dem kleinsten Fehler aus dem Objekt-Makroblock erkannt und aufgrund
der erkannten Bewegung wird die Bewegungskompensation aus dem letzten
Bild durchgeführt,
um so einen optimalen Prädiktionsblock
zu erhalten. Ein Signal, das die Bewegung zu dem Prädiktionsblock
mit dem kleinsten Fehler anzeigt, ist ein Bewegungsvektor. Ein Bild,
das als Bezug für
die Erzeugung des Prädiktions-Makroblocks
verwendet wird, wird nachstehend als Bezugsbild bezeichnet. Danach
wird die Differenz zwischen den Objektblock und dem entsprechenden Prädiktionsblock
ermittelt, und diese Differenz wird DCT-transformiert, um den DCT-Koeffizienten zu
erhalten. Der DCT-Koeffizient wird quantisiert und die quantisierten
Ausgangsdaten werden zusammen mit den Bewegungs-Informationen übertragen
oder gespeichert. Dieses Verfahren heißt Bild-zu-Bild-Codierung.
-
Die
Bild-zu-Bild-Codierung hat zwei Prädiktionsmodi: Prädiktion
aus einem vorhergehenden Bild in der Reihenfolge der Anzeige und
Prädiktion
sowohl aus vorhergehenden als auch künftigen Bildern. Der erstgenannte
Modus wird als Vorwärtsprädiktion und
der letztgenannte als Zweirichtungsprädiktion bezeichnet.
-
Decoderseitig
wird nach dem Zurückführen des
quantisierten DCT-Koeffizienten zum ursprünglichen Differenzsignal der
Prädiktionsblock
auf der Grundlage des Differenzsignals und des Bewegungsvektors
erhalten, und der Prädiktionsblock
und das Differenzsignal werden addiert, um das Bild zu reproduzieren.
Bei diesem herkömmlichen
Verfahren wird vorausgesetzt, dass die Größe des Bezugsbilds (eines Bilds,
das als Bezug zur Erzeugung eines Prädiktionsbilds dient) gleich
der Größe des Objektbilds
ist.
-
In
den letzten Jahren sind mehrere Objekte, die ein Bild (Bild beliebiger
Form) darstellen, getrennt kompressionscodiert und übertragen
worden, um dadurch die Codierungsleistung zu verbessern und eine objektweise
Reproduktion zu ermöglichen.
Bei der Codierung und Decodierung dieser Bilder beliebiger Form ändert sich
die Größe des Bilds
sehr häufig.
So wird ein Ball immer kleiner, bis er schließlich ganz verschwindet. Außerdem kommt
es vor, dass die Größe des Bilds
(Objekts) Null wird.
-
Bei
der normalen prädiktiven
Codierung ist ein Bezugsbild ein reproduziertes Bild kurz vor einem Objektbild,
das gerade verarbeitet wird. Wenn die Größe des Bezugsbilds Null ist,
da nichts in dem Bezugsbild definiert ist, d. h. da das Bezugsbild
keine signifikanten Bilddaten hat, die zur prädiktiven Codierung zu verwenden
sind, kann keine prädiktive
Codierung durchgeführt
werden. In diesem Fall gibt es außer der Intrabild-Codierung
keine herkömmliche Methode.
In der Regel erhöht
jedoch die Intrabild-Codierung die Menge der codierten Daten und
senkt die Kompressionsleistung. Wenn ein Bild verschwindet (Bildgröße = Null)
und in einer Folge von Laufbildern häufig erscheint, wird die Codierungsleistung
erheblich verschlechtert. Wenn beispielsweise bei einem Blitzlicht-Laufbild
das Licht in Bild-Einheiten
verschwindet und wieder erscheint, müssen alle Bilder des Lichts
Intrabild-codiert werden.
-
Das
Dokument
DE 195.06.372 beschreibt ein
bidirektionales Bewegungsberechnungsverfahren und eine Vorrichtung
dafür in
einem mit niedriger Bitrate laufenden Videocodierungs/-decodierungssystem
zum Filtern von Bewegungsvektoren durch Vornahme einer bidirektionalen
Bewegungsberechnung in Einheiten von Objekten, die die gleiche Bewegung
in einem Konstantenbereich haben, und zum Kompensieren der Bewegung
unter Verwendung von Bewegungsvektoren, die durch Vorwärts- oder
Rückwärtsbewegungsprädiktion
nach dem Bewegungsprädiktionsmodus
von voreingestellten Rahmen erzeugt werden, die den genauen Bewegungsvektor gegenüber dem
vorhandenen Blockabgleichsalgorithmus ermitteln können und
die Rahmen-zu-Rahmen-Bewegung
mit einer geringeren Informationsmenge darstellen können. Dadurch
werden weniger Daten für
die Komprimierung verwendet und die Qualität des wiederhergestellten Bilds
kann verbessert werden.
-
Das
Dokument US-A-5.510.840 beschreibt eine Bewegungsvektor-Feststellungsschaltung,
die den Bewegungsvektor für
jeden Makroblock zwischen einem ungeradzahligen und einem geradzahligen
Feld ermittelt. Eine Codiersystem- Bestimmungsschaltung bestimmt die Art
des Codiersystems, das heißt,
ob das Codiersystem ein feldgestütztes
oder ein rahmengestütztes
Codiersystem ist, aufgrund des Medianwerts eines Bewegungsvektors. Eine
Steuerschaltung steuert Gatter und Umschalter entsprechend der Art
des Codiersystems, die vom Bestimmungssystem bestimmt worden ist,
um ein feldgestütztes
oder ein rahmengestütztes
Bezugsbild aus Pufferspeichern zu erzeugen. Die Schaltungsanordnung
von einem additiven Knoten zu einer VLC-Schaltung findet Differenzdaten
zwischen dem Bezugsbild und dem zu codierenden Bild, während die
Differenzdaten durch diskrete Kosinus-Transformation transformiert
werden und die transformierten Daten einer Codierung variabler Länge unterzogen werden.
Die VLC-Schaltung
setzt die Codiersystem-Art als Flag in den Kopf einer vorgegebenen
hierarchischen Schicht eines Bitstroms. Eine Bilddaten-Decodiervorrichtung
erkennt das Flag und führt die
Decodierung durch Umschalten von der feldgestützten Decodierung zur rahmengestützten Decodierung
oder umgekehrt, in Abhängigkeit
von dem Flag zur Wiedergabe der Bilddaten, durch.
-
Der
Beitrag „Object-oriented
analysis synthesis coding of moving images" („Objektorientierte Analysensynthesecodierung
von Laufbildern")
von N. G. Musmann et al., in Signal Processing: Image Communication,
XX, Jg. 1, 01.01.1989, S. 117– 38, befasst
sich mit einem prädiktiven
Codierungsverfahren durch Teilen eines Bilds in die drei Parameter
Bewegung, Form und Farbe. Anstatt die übliche blockweise Codierung
zu verwenden, kann entsprechend D1 ein Bild, das ein Objekt enthält, effizienter
durch prädiktive
Codierung codiert werden. Wenn jedoch kleine Objekte codiert werden,
schaltet die Codermodussteuerung auf die Block-orientierte Codierung
zurück.
-
Kurze Darstellung
der Erfindung
-
Ziel
der vorliegenden Erfindung ist es, ein Verfahren zur prädiktiven
Bilddecodierung zur Verfügung
zu stellen, das eine effiziente prädiktive Decodierung eines Bilds
veränderlicher
Größe auch
dann realisieren kann, wenn die Größe eines Bezugsbilds Null ist
oder wenn das Bezugsbild völlig
transparent ist.
-
Weitere
Ziele und Vorzüge
der Erfindung dürften
aus der nachstehenden detaillierten Beschreibung hervorgehen. Die
detaillierte Beschreibung und die beschriebenen speziellen Ausführungsformen
dienen nur der Erläuterung,
da Fachleute anhand der detaillierten Beschreibung verschiedene
Ergänzungen
und Modifikationen innerhalb des Schutzumfangs der Erfindung erkennen
dürften.
-
Die
vorliegende Erfindung betrifft also ein Verfahren zur prädiktiven
Bilddecodierung, das in den beigefügten Ansprüchen definiert ist.
-
Kurze Beschreibung
der Zeichnungen
-
1 ist
ein Ablaufdiagramm eines Prädiktionsbild-Erzeugungsprozesses
bei einem Verfahren zur prädiktiven
Bilddecodierung gemäß einer
ersten Ausführungsform,
das dem besseren Verständnis der
vorliegenden Erfindung dient.
-
Die 2(a) und 2(b) sind
schematische Darstellungen zur Erläuterung der Bildprädiktion
bei dem erfindungsgemäßen Verfahren
zur prädiktiven
Bilddecodierung.
-
3 ist
ein Blockdiagramm, das eine Vorrichtung zur prädiktiven Bilddecodierung gemäß der ersten
Ausführungsform
zeigt.
-
4 ist
ein Blockdiagramm, das eine Rahmen-Speichereinheit zeigt, die in
der Vorrichtung zur prädiktiven
Bilddecodierung gemäß der ersten
Ausführungsform
verwendet wird.
-
7 ist
ein Diagramm, das Bilddaten gemäß der ersten
Ausführungsform
zeigt.
-
8 ist
ein Ablaufdiagramm eines Prädiktionsbild-Erzeugungsprozesses
bei einem prädiktiven Bilddecodierungsverfahren
gemäß einer
zweiten Ausführungsform,
das dem besseren Verständnis der
Erfindung dient.
-
9 ist
ein Diagramm, das Bilddaten gemäß der zweiten
Ausführungsform
der Erfindung zeigt.
-
11 ist
ein Ablaufdiagramm eines Prädiktionsbild-Erzeugungsprozesses
bei einem prädiktiven
Bilddecodierungsverfahren gemäß einer
sechsten Ausführungsform
der vorliegenden Erfindung.
-
Die 14(a)–14(c)) sind Diagramme zur Erläuterung eines Datenspeichermediums,
das ein Programm zur Implementierung der Bildverarbeitung mit einem
Computer enthält,
die das Verfahren nach der Ausführungsform
der Erfindung ist.
-
Detaillierte
Beschreibung der bevorzugten Ausführungsformen
-
Ausführungsform 1
-
1 ist
ein Ablaufdiagramm eines Prädiktionsbild-Erzeugungsprozesses
bei einem prädiktiven Bilddecodierungsverfahren
gemäß einer
ersten Ausführungsform.
Bevor 1 erläutert
wird, wird ein Bildprädiktionsverfahren
gemäß der ersten
Ausführungsform
anhand der 2(a) und 2(b) beschrieben.
-
Die
Größe eines
Eingangsbilds, das bei dem Verfahren zur prädiktiven Bilddecodierung der
ersten Ausführungsform
verwendet wird, ist veränderlich, und
es kann passieren, dass die Größe Null
wird.
-
2(a) zeigt Bilder 201 bis 210 eines
Laufbilds, die in der Reihenfolge der Anzeige angeordnet sind. Das
Bild 201 ist der erste anzuzeigende Rahmen, an den sich 202, 203 ...
anschließen,
und diese Reihenfolge ist durch #1 bis #10 dargestellt. Da das Bild
#1 (201) das erste Bild ist, wird es Intrabild-codiert.
Bei der ersten Ausführungsform
wird ein Bild (ein Rahmen) in mehrere Blöcke unterteilt, die jeweils eine
Größe von 8 × 8 Pixeln
haben, und jeder Block von 8 × 8
Pixeln wird DCT-transformiert und quantisiert. Der quantisierte
Koeffizient wird einer Codierung variabler Länge unterzogen. Bei der Decodierung
werden die durch die Codierung variabler Länge erhaltenen codierten Daten
einer Decodierung variabler Länge
unterzogen, und der durch die Decodierung variabler Länge erhaltene
quantisierte Koeffizient wird einer Rückquantisierung und Rück-DCT unterzogen,
wodurch das Bild reproduziert wird. Dann wird das Bild #2 (202)
einer prädiktiven Bild-zu-Bild-Codierung durch Verweisen
auf das reproduzierte Bild #1 (201) unterzogen.
-
Bei
der ersten Ausführungsform
wird mittels Block-Abgleichs als Bewegungserkennungsverfahren der
Prädiktionsblock
mit dem kleinsten Fehler aus dem Objektblock, der gerade verarbeitet
wird, aus dem Bild #1 (201) erkannt. Aufgrund der erkannten
Bewegung vom Objektblock zum Prädiktionsblock
wird durch Bewegungskompensation des Objektblocks aus dem reproduzierten
Bild #1 (201) ein optimaler Prädiktionsblock erhalten. Danach
wird die Differenz z wischen dem 0bjektblock und dem entsprechenden
Prädiktionsblock
ermittelt und DCT-transformiert. Der DCT-Koeffizient wird quantisiert und der
quantisierte Ausgabewert wird zusammen mit den Bewegungs-Informationen übertragen oder
gespeichert. Das reproduzierte Bild #1 (201) dient als
Bezugsbild für
das Bild #2 (202). Diese Prädiktion wird als Vorwärtsprädiktion
bezeichnet. Bei der Decodierung wird der Prädiktionsblock zu der der Rückquantisierung
und Rück-DCT
unterzogenen Differenz addiert, wodurch das Bild reproduziert wird.
-
In ähnlicher
Weise werden das Bild #3 (203) und das Bild #4 (204)
unter Verwendung der durch P feile gekennzeichneten Bezugsbilder
prädiktiv
codiert. Wie beiden Bildern #6 (206), #8 (208)
und #10 (210) kann die Prädiktion vom vorletzten Bild
erfolgen. Im Gegensatz zur Vorwärtsprädiktion
kann die Prädiktion
wie bei den Bildern #5 (205), #7 (207) und #9
(209) durch Verweisen auf ein künftiges Bild erfolgen, das
nach dem Objektbild angezeigt werden soll. Diese Prädiktion
wird als Rückwärtsprädiktion
bezeichnet. Wenn sowohl die Vorwärts-
als auch die Rückwärtsprädiktion
durchgeführt
werden, handelt es sich um eine Zweirichtungsprädiktion. Die Zweirichtungsprädiktion
hat drei Modi: Vorwärtsprädiktionsmodus,
Rückwärtsprädiktionsmodus,
Interpolationsmodus zur Herstellung des Gleichgewichts von Vorwärts- und
Rückwärtsprädiktion.
-
2(b) zeigt die Übertragungsreihenfolge, d.h.
die Decodierungsreihenfolge, der Bilder, die wie in 2(a) gezeigt vorhergesagt wurden.
-
Das
Bild #1 (211) wird zuerst decodiert und reproduziert. Durch
Verweisen auf das reproduzierte Bild #1 wird das Bild #2 (212)
decodiert. Bei den Zweirichtungsprädiktionsbildern wie beim Bild
#5 (216) müssen
die für
die Prädiktion
verwendeten Bezugsbilder vor dem Prädiktionsbild decodiert und
reproduziert werden.
-
Daher
wird das Bild #6 (215) vor dem Bild #5 (216) decodiert.
Ebenso werden die Bilder #8 (217) und #10 (219)
vor den Bildern #7 (218) bzw. #9 (220) übertragen,
decodiert und reproduziert.
-
Bei
der Übertragung
eines Bilds mit veränderlicher
Größe muss
die Größe des Bilds übertragen
werden. Bei der ersten Ausführungsform
wird die Bildgröße am Kopf
der codierten Daten des Bilds angegeben und die horizontale Größe Hm und
die vertikale Größe Vm werden
jeweils durch 20 Bit dargestellt. 7 zeigt
die gemäß der ersten
Ausführungsform
codierten Bilddaten (VD), die außer der horizontalen Größe Hm und
vertikalen Größe Vm auch
den Bewegungsvektor, die Quantisierungsbreite und den DCT-Koeffizienten aufweisen.
-
Nachstehend
wird der Prädiktionsbild-Erzeugungsprozess
bei dem Verfahren zur prädiktiven Bilddecodierung
gemäß der ersten
Ausführungsform beschrieben.
-
Um
ein Prädiktionsbild
zu erzeugen, wird zunächst
die Größe des vorhergehenden
Bezugsbilds eingegeben (Schritt 102), und es wird geprüft, ob die Größe des Bezugsbilds
Null ist oder nicht (Schritt 103).
-
Bei
der in 2(b) gezeigten Decodierungsreihenfolge
ist stets ein Bezugsbild vor einem zu decodierenden Bild vorhanden
(bei der Codierung ein Codierungsobjekt). Das heißt, das
Bezugsbild ist das zuletzt reproduzierte Bild beim Verfahren der
prädiktiven
Decodierung der ersten Ausführungsform.
Beispielsweise ist in 2(b) das
Bild #3 (213) ein Bezugsbild für das Bild #4 (214).
Ein durch Zweirichtungsprädiktion
reproduziertes Bild kann jedoch nicht zur Prädiktion verwendet werden, sodass
dieses Bild kein Bezugsbild sein kann. Daher ist beispielsweise das
Bild #6 (215) ein Bezugsbild für das Bild #8 (217).
-
Wenn
im Schritt 103 entschieden wird, dass die Größe des Bezugsbilds
nicht Null ist, folgt Schritt 104, in dem ein Prädiktionsbild
unter Verwendung des Bezugsbilds erzeugt wird. Wenn jedoch im Schritt 103 entschieden
wird, dass die Größe des Bezugsbilds
Null ist, folgt Schritt 105, in dem ein Prädiktionsbild
unter Verwendung eines vor kurzem reproduzierten Bilds, dessen Größe nicht
Null ist, als Bezugsbild erzeugt wird. Die Methode zur Erkennung eines
vor kurzem reproduzierten Bilds, dessen Größe nicht Null ist, wird nachstehend
anhand von 2(b) beschrieben.
-
Wenn
ein Prädiktionsbild
des Bilds #4 (214) erzeugt wird, wird unterstellt, dass
die Größe des Bilds
#3 (213) unmittelbar vor dem Bild #4 (214) Null ist
und die Größe des Bilds
#2 nicht Null ist. In diesem Fall wird durch Verweisen auf das Bild
#2 (212) ein Prädiktionsbild
des Bilds #4 (214) erzeugt. Genauso wird bei der Erzeugung
eines Prädiktionsbilds
des Bilds #6 (215) in der Annahme, dass die Größe der Bilder
#3 (213) und #4 (214) Null ist, das Prädiktionsbild
durch Verweisen auf das Bild # 2 (212) erzeugt. Die erste
Ausführungsform
verwendet die blockweise Bewegungskompensation als Verfahren zur
Erzeugung eines Prädiktionsbilds,
wie MPEG1.
-
3 ist
ein Blockdiagramm, das eine Vorrichtung zur prädiktiven Bilddecodierung 300 gemäß der ersten
Ausführungsform
zeigt.
-
Die
Vorrichtung zur prädiktiven
Bilddecodierung 300 empfängt Bilddaten, die durch Kompressionscodierung
eines Bilds mit veränderlicher
Größe nach
einem vorgeschriebenen Verfahren erhalten werden, und führt die
prädiktive
Decodierung der Bilddaten durch.
-
Die
Vorrichtung zur prädiktiven
Bilddecodierung 300 weist einen Daten-Analysator 302,
eine Decoder 303 und ein Addierwerk 306 auf. Der
Daten-Analysator 302 analysiert die kompressionscodierten
Bilddaten und gibt die Quantisierungsbreite und den DCT-Koeffizienten an
die Leitung 312, den Bewegungsvektor an die Leitung 318 und
die Bildgröße an die
Leitung 321 aus. Der Decoder 303 wandelt die komprimierten
Blockdaten (komprimierter Block) aus dem Daten-Analysator 302 durch
Daten-Expansion in einen expandierten Block um. Das Addierwerk 306 addiert
den expandierten Block und den Prädiktionsblock, um einen reproduzierten
Block zu erzeugen.
-
Die
Vorrichtung zur prädiktiven
Bilddecodierung 300 weist außerdem eine Rahmen-Speichereinheit 309 und
einen Prädiktionsbild-Generator 310 auf.
Die Rahmen-Speichereinheit 309 speichert
den reproduzierten Block. Der Prädiktionsbild-Generator 310 erzeugt
eine Adresse zum Zugreifen auf die Rahmen-Speichereinheit 309 aufgrund
des Bewegungsvektors und erhält
als Prädiktionsblock
einen Block, der der Adresse aus dem in der Rahmen-Speichereinheit 309 gespeicherten
Bild entspricht. Bei der ersten Ausführungsform bestimmt der Prädiktionsbild-Generator 310 als
Bezugsbild ein einziges reproduziertes Bild, das vor kurzem reproduziert
worden ist und wichtige zu referenzierende Bilddaten aufweist, aufgrund
der Bildgröße vom Daten-Analysator 302.
Die Bestimmung des Bezugsbilds kann, wie in 3 durch
Strichlinien dargestellt ist, mit einem Steuergerät 320 erfolgen,
das die Rahmen-Speichereinheit 309 entsprechend der Bildgröße vom Daten-Analysator 302 steuert.
Das heißt,
die Rahmen-Speichereinheit 309 wird vom Steuergerät 320 so
gesteuert, dass sie ein einzelnes reproduziertes Bild wählt, das
vor kurzem reproduziert worden ist und wichtige zu referenzierende
Bilddaten aufweist.
-
Der
Decoder 303 weist einen Rückquantisierer (IQ) 304,
der den komprimierten Block aus dem Daten-Analysator 302 rückquantisiert,
und einen diskreten Kosinus-Rücktransformator
(nachstehend als IDCT bezeichnet) 305 auf, der die Ausgangssignale vom
Rückquantisierer 304 einer
Rück-DCT
(Transformation eines Frequenzbereichssignals in ein Raumbereichssignal)
unterzieht.
-
Die
Bezugssymbole 301 und 307 bezeichnen das Eingabe-
bzw. Ausgabeterminal der Vorrichtung zur prädiktiven Bilddecodierung 300.
-
Nachstehend
wird die Funktionsweise der in 3 gezeigten
Vorrichtung zur prädiktiven
Bilddecodierung beschrieben.
-
Zunächst werden
Bilddaten (codierte Daten), die durch Kompressionscodierung eines
Bilds mit veränderlicher
Größe nach
einem festgelegten Verfahren erhalten werden, in das Eingabeterminal 301 eingegeben.
Bei der ersten Ausführungsform
erfolgt die Kompressionscodierung durch Bewegungskompensations-DCT
wie bei MPEG1, sodass die codierten Daten den Bewegungsvektor, die
Quantisierungsbreite, den DCT-Koeffizienten und die Bildgrößendaten
umfassen.
-
Dann
werden im Daten-Analysator 302 die kompressionscodierten
Bilddaten analysiert und die Quantisierungsbreite und der DCT-Koeffizient
werden als komprimierte Blockdaten über die Leitung 312 an
den Decoder 303 gesendet. Außerdem wird der im Daten-Analysator 302 analysierte
Bewegungsvektor über
die Leitung 318 an den Prädiktionsbild-Generator 310 gesendet.
Ebenso wird die vom Daten-Analysator 302 analysierte Bildgröße über die Leitung 321 an
das Steuergerät 320 gesendet.
-
Im
Decoder 303 werden die komprimierten Blockdaten, d. h.
der komprimierte Block, vom Rückquantisierer 304 und
vom Rück-DCT-Transformator 305 expandiert,
sodass ein expandierter Block 314 entsteht. Genauer gesagt,
rückquantisiert
der Rückquantisierer 304 den
komprimierten Block und der Rück-DCT-Transformator 305 transformiert
das Frequenzbereichssignal in ein Raumbereichssignal, sodass der
expandierte Block 314 entsteht. Im Prädiktionsbild-Generator 310 wird
entsprechend dem über die
Leitung 318 gesendeten Bewegungsvektor eine Adresse 321 zum
Zugreifen auf die Rahmen-Speichereinheit 309 erzeugt
und in die Rahmen-Speichereinheit 309 eingegeben. Dann
wird aus den in der Rahmen-Speichereinheit 309 gespeicherten
Bildern ein Prädiktionsblock 317 erzeugt.
Der Prädiktionsblock 317 (319)
und der expandierte Block 314 werden in das Addierwerk 306 eingegeben,
in dem die Blöcke 319 und 314 addiert
werden, so dass ein reproduzierter Block 315 entsteht.
Der reproduzierte Block 315 wird vom Ausgabeterminal 307 ausgegeben
und wird gleichzeitig über
die Leitung 316 gesendet und in der Rahmen-Speichereinheit 309 gespeichert.
Wenn die Intrabild-Decodierung durchgeführt wird, sind die Abtastwerte
des Prädiktionsblocks
alle Null.
-
Die
Funktionsweise des Prädiktionsbild-Generators 310 ist
mit der identisch, die bereits in Zusammenhang mit dem Ablaufdiagramm
von 1 beschrieben wurde. Das heißt, die Größe des Bezugsbilds wird in
den Prädiktionsbild-Generator 310 eingegeben,
und der Prädiktionsbild-Generator 310 bestimmt
das Bezugsbild. Die Bezugsbild-Bestimmung kann durch Steuern der
Rahmen-Speichereinheit 309 entsprechend den über das
Steuergerät 320 und
die Leitung 322 gesendeten Informationen darüber, ob
die Größe des Bezugsbilds
Null ist oder nicht, erfolgen.
-
4 ist
ein Blockdiagramm, das eine Rahmen-Speicherbank 406 als
Beispiel für
die Rahmen-Speichereinheit 309 in der Vorrichtung zur prädiktiven
Bilddecodierung 300 gemäß der ersten
Ausführungsform
zeigt. Die Rahmen-Speicherbank 406 weist drei Rahmen-Speicher 401 bis 403 auf.
Das reproduzierte Bild wird in einem der Rahmen-Speicher 401 bis 403 gespeichert.
Bei der Erzeugung eines Prädiktionsbilds
erfolgt der Zugriff auf die Rahmen-Speicher 401 bis 403.
-
Bei
der ersten Ausführungsform
hat die Rahmen-Speicherbank 406 Schalter 404 und 405.
Der Schalter 405 soll einen Rahmen-Speicher zum Speichern
des reproduzierten Bilds wählen,
das von den Rahmen-Speichern 401 bis 403 über die
Leitung 408 (entspricht der Leitung 316 in 3)
eingegeben wird. Der Schalter 405 wählt nacheinander die Rahmen- Speicher 401 bis 403,
die vom Steuergerät 320, d.
h. entsprechend dem Steuersignal 322, gesteuert werden.
Das heißt,
nachdem das erste reproduzierte Bild im Rahmen-Speicher 401 gespeichert worden ist,
wird das zweite reproduzierte Bild im Rahmen-Speicher 402 gespeichert. Nachdem
das dritte reproduzierte Bild im Rahmen-Speicher 403 gespeichert
worden ist, wählt
der Schalter 405 den Rahmen-Speicher 401. Der
Schalter 404 ist über
die Leitung 407 (entspricht der Leitung 317 in 3)
mit dem Prädiktionsbild-Generator 310 verbunden.
Dieser Schalter 404 wählt
ebenfalls nacheinander die Rahmen-Speicher 401 bis 403,
die vom Steuergerät 320,
d. h. entsprechend dem Steuersignal 322, gesteuert werden.
Die Schaltfolge wird jedoch entsprechend der Größe des Bezugsbilds geändert. Obwohl zur
Erzeugung eines Prädiktionsbilds
entsprechend der vorgegebenen Reihenfolge beispielsweise der Schalter 404 mit
dem Rahmen-Speicher 402 verbunden werden muss, wenn die
Bildgröße des Rahmen-Speichers 402 Null
ist, steuert das Steuergerät 320 den
Schalter 404 so, dass der vorhergehende Rahmen-Speicher 401 gewählt wird
(unter der Voraussetzung, dass die Bildgröße des Rahmen-Speichers 401 nicht
Null ist). Auf diese Weise kann ein Prädiktionsbild aus einem Bezugsbild,
dessen Größe nicht
Null ist, erzeugt werden. Der Schalter 404 kann mit mehreren
Rahmen-Speichern gleichzeitig verbunden werden. Bei einer Einheit,
bei der jeder Rahmen-Speicher bei jeder Reproduktion eines einzelnen
Bilds rückgesetzt
wird, kann durch Steuern der Einheit mit dem Steuergerät 320 in
einer Weise, dass der Rahmen-Speicher nicht rückgesetzt wird, wenn die Größe des reproduzierten
Bilds Null ist, ein vor kurzem reproduziertes Bild, dessen Größe nicht
Null ist, im Rahmen-Speicher bleiben. Mit anderen Worten, es ist
möglich,
eine Aktualisierung des Rahmen-Speichers zu vermeiden.
-
Obwohl
bei der ersten Ausführungsform
das blockweise Bewegungskompensations-DCT-Verfahren beschrieben wird, kann
die vorliegende Erfindung auch für
andere Prädiktionsverfahren
verwendet werden, die beispielsweise globale Bewegungskompensation
oder arbiträre
gitterförmige
Block-Bewegungskompensation nutzen. Obwohl bei der ersten Ausführungsform
ein Prädiktionsbild
aus einem einzigen reproduzierten Bild, das als Bezugsbild dient,
erzeugt wird, kann die vorliegende Erfindung ebenso für den Fall
verwendet werden, wo ein Prädiktionsbild
aus mehreren Bezugsbildern erzeugt wird.
-
Wie
vorstehend beschrieben, wird gemäß der ersten
Ausführungsform
die Größe eines
vorhergehenden Bezugsbilds ermittelt, die in die Vorrichtung eingegeben
wird, und wenn die Größe des Bezugsbilds
nicht Null ist, wird ein Prädiktionsbild
unter Verwendung des Bezugsbilds erzeugt. Wenn jedoch die Größe des vorhergehenden
Bezugsbilds Null ist, wird ein Prädiktionsbild unter Verwendung
eines vor kurzem reproduzierten Bilds erzeugt, dessen Größe nicht
Null ist. Wenn also mehrere Objekte, die ein Bild darstellen, kompressionscodiert
und objektweise gesendet werden, um die Kompressionsleistung zu
erhöhen,
wird vermieden, dass ein Bild mit veränderlicher Größe, das
bereits verschwunden ist, als Bezugsbild für die prädiktive Decodierung oder Codierung
verwendet wird, was zu einer zweckmäßigen prädiktiven Decodierung oder Codierung
führt,
die das Restsignal (Differenzsignal) unterdrücken kann. Außerdem können die
codierten Daten, die von der Vorrichtung zur prädiktiven Bildcodierung gemäß der siebenten
Ausführungsform
erhalten werden, von der Vorrichtung zur prädiktiven Bilddecodierung g
emäß der zweiten
Ausführungsform
fehlerfrei decodiert werden.
-
Ausführungsform 2
-
Bei
der ersten Ausführungsform
wird ermittelt, ob die Größe des Bezugsbilds
Null ist oder nicht, und die Bezugsbild-Bestimmung erfolgt unter
Verwendung der ermittelten Informationen. Wenn jedoch der Umstand,
dass die Bildgröße Null
ist, durch einen anderen Index (z. B. ein Ein-Bit-Flag F) dargestellt wird,
kann die Steuerung mit diesem Index durchgeführt werden. Bei der zweiten
Ausführungsform
wird die Erzeugung des Prädiktionsbilds
unter Verwendung dieses Indexes gesteuert.
-
Das
heißt,
bei der zweiten Ausführungsform, die
in 9 dargestellt ist, weisen die codierten Daten
eines Objektbilds ein Ein-Bit-Flag F auf, das anzeigt, dass die
Bildgröße Null
ist, d. h. das entsprechende Bezugsbild ist völlig transparent und hat keine
codierten Daten, und dieses Flag F wird vor der die Bildgröße angebenden
horizontalen und vertikalen Größe Hm und
Vm gesetzt. Wenn die Bildgröße Null
ist, ist das Flag F „0". Bei der zweiten
Ausführungsform
wird also die Erzeugung eines Prädiktionsbilds
mit Hilfe des Flags F gesteuert.
-
Nachstehend
wird ein Prädiktionsbild-Erzeugungsprozess
bei dem Verfahren zur prädiktiven Bilddecodierung
gemäß der zweiten
Ausführungsform
anhand des Ablaufdiagramms von 8 beschrieben.
-
Um
ein Prädiktionsbild
zu erzeugen, wird zunächst
im Schritt 802 ein vorhergehendes Bezugsbild eingegeben,
und im Schritt 803 wird geprüft, ob das Flag F des Bezugsbilds „1" ist oder nicht.
Wenn im Schritt 803 entschieden wird, dass das Flag F des Bezugsbilds „1" ist, ist die Größe dieses
Bezugsbilds nicht Null, d. h. das Bezugsbild ist nicht völlig transparent
und es hat codierte Daten. Somit wird im Schritt 804 ein
Prädiktionsbild
unter Verwendung des vorhergehenden Bezugsbilds erzeugt.
-
Wenn
jedoch im Schritt 803 entschieden wird, dass das Flag F
des Bezugsbilds nicht „1" ist, folgt Schritt 805,
in dem ein Prädiktionsbild
unter Verwendung eines vor kurzem reproduzierten Bilds, dessen Flag
F nicht „0" ist, als Bezugsbild
erzeugt wird.
-
Wenn,
wie vorstehend beschrieben, bei der zweiten Ausführungsform mehrere Objekte,
die ein Bild darstellen, kompressionscodiert und dann objektweise
gesendet werden, wird vermieden, dass ein Bild mit veränderlicher
Größe, das
bereits verschwunden ist, als Bezugsbild verwendet wird, was zu
einer zweckmäßigen prädiktiven
Decodierung oder Codierung führt,
die das Restsignal (Differenzsignal) unterdrücken kann. Außerdem haben
die codierten Daten des Objektbilds an ihrem Kopf ein Flag, das
anzeigt, ob das zuvor reproduzierte Bild wichtige zu referenzierende
codierte Daten hat, und die Bezugsbild- Bestimmung erfolgt durch Erkennen dieses Flags.
Dadurch wird die Bestimmung des Bezugsbilds erleichtert.
-
Ausführungsform 6
-
11 ist
ein Ablaufdiagramm eines Prädiktionsbild-Erzeugungsprozesses
bei einem Verfahren zur prädiktiven
Bilddecodierung, das die Zweirichtungsprädiktion verwendet, gemäß einer
sechsten Ausführungsform
der vorliegenden Erfindung. Genauer gesagt, wird bei der sechsten
Ausführungsform
die Frage „Ist
Größe Null?" in den Schritten 603, 604 und 607 in 6 in die Frage „Ist Flag F 0?" in den Schritten 1103, 1104 und 1107 in 11 geändert.
-
In
dem Fall, dass bei der sechsten Ausführungsform mehrere Objekte,
die ein Bild darstellen, kompressionscodiert und objektweise gesendet
werden, wenn ein Prädiktionsbild
unter Verwendung von Vorwärts-
und Rückwärts-Bezugsbildern
erzeugt wird, wird vermieden, dass Bilder mit veränderlicher Größe, die
bereits verschwunden sind, als Bezugsbilder verwendet werden, was
zu einer zweckmäßigen prädiktiven
Decodierung oder Codierung führt,
die das Restsignal (Differenzsignal) unterdrücken kann. Wenn festgestellt
wird, dass das Flag F der Vorwärts- und
Rückwärts-Bezugsbilder
jeweils „0" ist, wird ein Prädiktionsbild
mit einem vorgegeben Wert erzeugt. Dadurch wird die Erkennung eines
Bilds mit veränderlicher
Größe, das
bereits verschwunden ist, erleichtert und die Erzeugung des Prädiktionsbilds
wird ebenfalls erleichtert.
-
Wenn
ein Programm zur Implementierung des Verfahrens der prädiktiven
Bilddecodierung oder des Verfahrens der prädiktiven Bildcodierung nach der
vorstehenden Ausführungsform
der Erfindung in ein Speichermedium, wie etwa eine Diskette, aufgezeichnet
wird, kann die Bildverarbeitung nach der Ausführungsform ohne weiteres in
einem unabhängigen
Computersystem durchgeführt
werden.
-
Die 14(a)–14(c)) sind Diagramme zur Erläuterung des Falls, dass die
prädiktive
Bilddecodierung nach der vorstehenden Ausführungsform mit einem Computersystem
durchgeführt
wird, das eine Diskette verwendet, die ein dem Verfahren entsprechendes
Programm enthält.
-
14(a) zeigt die Vorderansicht einer Diskette FD,
eine Schnittansicht der Diskette und einen Diskettenkörper D als
Speichermedium. 14(b) zeigt ein Beispiel für den physischen
Aufbau des Diskettenkörpers
D. Der Diskettenkörper
D ist in einem Gehäuse
FC enthalten. Auf der Oberfläche
des Diskettenkörpers
D ist eine Vielzahl von Spuren Tr konzentrisch von der Außenperipherie
zur Innenperipherie der Diskette ausgebildet. Jede Spur ist in Winkelrichtung
in 16 Sektoren unterteilt. Daher werden im Diskettenkörper D,
der das vorgenannte Programm enthält, die Daten des Programms
in zugewiesene Bereiche des Diskettenkörpers D aufgezeichnet.
-
14(c) zeigt den Aufbau zum Aufzeichnen/Wiedergeben
des Programms in die/von der Diskette FD, wobei Cs ein Computersystem
und FDD ein Diskettenlaufwerk ist. Wenn das Programm in die Diskette
FD aufgezeichnet wird, werden die Daten des Programms aus dem Computersystem
Cs über das
Diskettenlaufwerk FDD in die Diskette FD geschrieben. Wenn das vorgenannte
prädiktive
Bilddecodierungsverfahren im Computersystem Cs von dem Programm
auf der Diskette FD durchgeführt wird,
wird das Programm vom Diskettenlaufwerk FDD aus der Diskette FD
gelesen und zum Computersystem Cs übertragen.
-
Obwohl
bei der vorstehenden Beschreibung der Schwerpunkt auf einem Datenspeichermedium lag,
das ein Programm zur Durchführung
eines Verfahrens der prädiktiven
Bilddecodierung nach der vorstehenden Ausführungsform enthält, liegt
ein Datenspeichermedium, das codierte Bilddaten nach der vorstehenden
Ausführungsform
enthält,
ebenfalls innerhalb des Schutzumfangs der Erfindung.
-
Obwohl
bei der vorstehenden Beschreibung der Schwerpunkt auf der Bildverarbeitung
mit einem Computersystem lag, das eine Diskette als Datenspeichermedium
verwendet, kann eine ähnliche
Bildverarbeitung auch unter Verwendung anderer Speichermedien, wie
etwa einer integrierten Schaltungskarte und einer ROM-Kassette,
erfolgen, solange das Bildverarbeitungsprogramm in die Medien aufgezeichnet
werden kann.