DE69418525T2

DE69418525T2 - Bildsignalkodierung mit hoher Wirksamkeit

Info

Publication number: DE69418525T2
Application number: DE69418525T
Authority: DE
Inventors: Nobuhisa Obikane; Katsumi Tahara
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-03-31
Filing date: 1994-03-31
Publication date: 1999-11-18
Anticipated expiration: 2014-04-01
Also published as: TW301098B; US5657086A; CN1087557C; EP0618731B1; EP0618731A2; CN1100871A; EP0618731A3; DE69418525D1; KR940023254A; KR100340369B1

Description

Hocheffizientes Codieren von Bildsignalen

Die Erfindung betrifft Vorrichtungen und Verfahren zum Codieren von Bildsignalen. Sie bezieht sich insbesondere auf das Codieren von Bildsignalen unter Benutzung von prädiktiver Codierung und orthogonalen Transformationen.
In einem Telekonferenzsystem oder einem Bildtelefonsystem z. B. werden Bewegtbildsignale unter Ausnutzung der Innervollbild- und Zwischenvollbild-Korrelation (Intraframe- bzw. Interframe-Korrelation) komprimiert und codiert, so daß sie effizienter über einen Kommunikationskanal zu einer entfernten Stelle übertragen werden können.
Die Intraframe-Korrelation kann durch eine orthogonale Transformation, z. B. eine diskrete Cosinustransformation (DCT) genutzt werden.
Die Interframe-Korrelation kann durch prädiktives Codieren zwischen aufeinanderfolgenden Bildern genutzt werden. Der Ausdruck Bild bezieht sich in der vorliegenden Beschreibung im allgemeinen auf ein von einem Einzel- oder Vollbild der Videoinformation repräsentiertes Bild. Wenn die Halbbilder eines Vollbilds unverschachtelt, d. h. separat, codiert werden, kann jedes Halbbild als Bild bezeichnet werden.
Wie in Fig. 1A der anliegenden Zeichnungen beispielhaft dargestellt ist, werden in den Zeitpunkten t1, t2 und t3 Vollbilder PC1, PC2 und PC3 erzeugt. In Fig. 1B ist durch Schraffierung angedeutet, wie die Differenz zwischen den Vollbildern PC1 und PC2 als Differenzbilddaten PC12 und die Differenz zwischen den Vollbildern PC2 und PC3 als Differenzbilddaten PC23 gewonnen werden. Da die Änderung zwischen den Signalen von zeitlich benachbarten Vollbildern vergleichsweise klein ist, wird der Übertragungskanal effizienter ausgenutzt, wenn statt der originalen Bilder lediglich Differenzbilddaten übertragen werden. Das heißt, wenn man als codierte Bildsignale die Differenzbilddaten verwendet, wird die zu übertragende Datenmenge reduziert.
Wenn jedoch ausschließlich die Differenzsignale übertragen werden, kann das originale Bild nicht wiederhergestellt werden. Es ist vorteilhaft, gelegentlich ein Bild als Referenz für die Differenzbilddaten zu übertragen, das nicht prädiktiv codiert ist, weil dies manchmal effizienter ist als die Übertragung des Bilds als prädiktiv codiertes Bild.
Bilder, bei deren Codierung lediglich Intraframe-Korrelation und keine Interframe-Korrelation benutzt wird, werden hier als Intra-Bilder oder I-Bilder bezeichnet.
Bilder, die mit prädiktiver Codierung relativ zu einem zuvor codierten Bild codiert werden, werden hier als prädiktive Bilder oder P-Bilder bezeichnet. Das zuvor codierte Bild kann ein I-Bild sein oder ein P-Bild und geht dem P-Bild zeitlich voran,
Bilder, die mit prädiktiver Codierung relativ zu höchstens zwei Bildern, d. h. relativ zu nur einem zeitlich vorausgehenden Bild oder relativ sowohl zu einem zeitlich vorausgehenden als auch zu einem zeitlich nachfolgenden Bild codiert werden, werden hier als bidirektional prädiktiv codierte Bilder oder B-Bilder bezeichnet. Wenn sich die prädiktive Codierung auf zwei Bilder bezieht, können diese zwei Bilder I-Bilder oder P-Bilder oder jeweils eines von diesen sein, und es wird der Mittelwert der beiden Bilder ermittelt und als Referenzbild für das zu codierende Bild benutzt.
Eine Serie von Bildern kann als eine Gruppe von Bildern mit einer vorbestimmten Anzahl von Vollbildern, wie z. B. F1 ... F17 betrachtet werden. Die Luminanz- und Chrominanz-Bildsignale des vorderen Vollbilds F1 sind als I-Bild codiert. Die Bildsignale des zweiten Vollbilds F2 sind als B-Bild codiert, und die Bildsignale des dritten Vollbilds F3 sind als P-Bild codiert. Das vierte und die folgenden Vollbilder F4 bis F17 sind abwechselnd als B-Bilder und P-Bilder codiert. Fig. 2A zeigt die für die Codierung der P-Bilder benutzten Referenzbilder, während Fig. 2B die für die Codierung von B-Bildern benutzten Referenzbilder zeigt.
Wie Fig. 3A und 3B zeigen, gibt es vier Methoden zum Codieren der (weiter unten erläuterten) Makroblöcke eines Bilds. Wenn mehrere Methoden geeignet sind, wird auf einen Makroblock auf einer Makroblock-für-Makroblock-Basis diejenige Methode angewendet, bei der die Menge der codierten Daten am kleinsten ist. Die Blöcke F0 bis F5 in Fig. 3A repräsentieren Daten für Vollbilder von Bewegtbildsignalen, während die Blöcke F1X bis F5X in Fig. 3B Daten für codierte Vollbilder repräsentieren. Die in durchgezogener Linie ausgeführten Pfeile in Fig. 3A zeigen die Vollbilder, auf die sich die Bewegungsvektoren x0 ... x6 beziehen.
Die erste Methode, die als SP1 dargestellt ist, besteht darin, keine prädiktive Codierung anzuwenden, d. h. ausschließlich Intraframe-Korrelation zu benutzen. Diese Methode eignet sich für einen beliebigen Makroblock eines I-Bilds, eines P-Bifds und eines B-Bilds. Mit anderen Worten, wenn ohne prädiktive Codierung weniger codierte Daten erzeugt werden, wählt man diese Methode.
Die zweite Methode, die als SP2 dargestellt ist, besteht darin, relativ zu einem Bild prädiktiv zu codieren, das dem laufenden Bild zeitlich nachfolgt, und wird als rückwärtsprädiktives Codieren bezeichnet.
Die dritte Methode, die als SP3 dargestellt ist, besteht darin, relativ zu einem Bild, das dem laufenden Bild zeitlich vorangeht, prädiktiv zu codieren, und wird als vorwärtsprädiktives Codieren bezeichnet. Die zweite Methode eignet sich nur für Makroblöcke von B-Bildern. Die dritte Methode eignet sich hingegen für Makroblöcke von P-Bildern und von B-Bildern.
Die vierte Methode, die als SP4 dargestellt ist, besteht darin, relativ zu dem Mittelwert von zwei Bildern, nämlich einem dem laufenden Bild zeitlich vorangehenden und einem zeitlich nachfolgenden Bild, prädiktiv zu codieren. Diese Methode eignet sich nur für Makroblöcke von B-Bildern.
Zum Codieren einer Sequenz von Vollbildern wird zuerst das Vollbild F1 als I-Bild codiert, wobei die erste Methode SP1 angewendet wird, so daß es direkt in Form der codierten Daten FIX über einen Übertragungskanal übertragen wird.
Das Vollbild F3 wird dann als P-Bild codiert. Wenn die dritte Methode SP3, d. h. vorwärtsprädiktive Codierung, für einen Makroblock angewendet wird, werden ein Bewegungsvektor x3, der die Bewegung zwischen dem laufenden Bild F3 und dem als Referenzbild benutzten zeitlich vorangehenden Vollbild F1 repräsentiert, und die Differenzsignale, die die Differenz zwischen einem bewegungskompensierten Referenzbild F1 und dem laufenden Bild F3 repräsentieren, wie durch den gestrichelten Pfeil SP3 angedeutet, berechnet und als Daten F3X für diesen Makroblock codiert. Falls für einen Makroblock des gerade codierten P-Bildes eine kleinere Menge an codierten Daten erzeugt wird, kann alternativ die erste Methode SP1 angewendet werden, bei der die Daten des originalen Vollbilds F3 direkt als Übertragungsdaten F3X für diesen Makroblock verwendet werden.
Das Vollbild F2 wird als B-Bild codiert. Wenn die vierte Methode SP4 zum Codieren eines Makroblocks des Vollbilds F2 benutzt wird, wird die Differenz zwischen dem Mittelwert des zeitlich vorangehenden Vollbilds F1 und des zeitlich nachfolgenden Vollbilds F3 auf einer Pixel-für-Pixel-Basis berechnet. Die Differenzdaten und die Bewegungsvektoren x1 und x2 werden als Daten F2X codiert. Wenn alternativ die erste Verarbeitungsmethode SP1 zum Codieren eines Makroblocks des Vollbilds F2 angewendet wird, bilden die Daten des originalen Vollbilds F2 die codierten Daten F2X.
Wenn die zweite oder dritte Methode SP2 bzw. SP3 zum Codieren eines Makroblocks des Vollbilds F2 angewendet wird, wird die Differenz zwischen dem zeitlich nachfolgenden Vollbild F3 und dem laufenden Vollbild F2 bzw. die Differenz zwischen dem zeitlich vorangehenden Vollbild F1 und dem laufenden Vollbild F2 berechnet. Die Differenzdaten und einer der Bewegungsvektoren x1, x2 werden als Daten F2X codiert.
Um die Übertragungsdaten F4X und F5X zu erzeugen, werden das Vollbild F4 für das B-Bild und das Vollbild F5 für das P-Bild ähnlich verarbeitet, wie dies oben beschrieben wurde.
Die räumliche Redundanz innerhalb eines Bildes wird reduziert, indem ein Abschnitt des Bilds durch eine orthogonale Transformation, z. B. eine diskrete Cosinustransformation (DCT), aus der Zeitdomäne in die Frequenzdomäne versetzt wird. Ein Pixeldatenblock aus dem Bild, der eine Abmessung von z. B. 8 Pixel Breite · 8 Zeilen Höhe hat und der die Luminanz- oder Chrominanzamplitude in den entsprechenden Pixeln repräsentiert, wird durch DCT-Transformation in einen Block aus 8 · 8 Frequenzkoeffizienten umgewandelt, der in einer vorbestimmten Zickzackform von niedrigen zu hohen Frequenzen abgetastet wird und eine Serie von 64 Koeffizienten liefert, die die Beträge der entsprechenden in dem Block enthaltenen Frequenzen repräsentieren. Der erste Koeffizient wird als Gleichkoeffizient bezeichnet, während die anderen 63 Koeffizienten als Wechsel- oder hochfrequente Koeffizienten bezeichnet werden. Ein Pixelblock, der einen festen Abschnitt eines Bilds repräsentiert, entspricht einem Gleichkoeffizienten, der die Amplitude des festen Abschnitts kennzeichnet und keine Hochfrequenzkoeffizienten aufweist. Ein Pixelblock, der einen stark detaillierten Bildabschnitt repräsentiert, entspricht Koeffizientendaten mit vielen von Null verschiedenen Wechselwerten.
Ein Bild einer natürlichen Szene ist tendenziell glatt, d. h. ihm fehlen stark detaillierte Bildteile. Deshalb entsprechen die Pixelblöcke eines solchen Bildes DCT-Koeffizienten, denen Wechselkoeffizienten fehlen, d. h. sie haben die Lauflänge von Nulldaten. Diese Lauflängen von Nulldaten werden werden mit variabler Länge codiert, indem sie als eine Lauflängenzahl dargestellt werden, die angibt, wie viele Nullen in der Lauflänge vorhanden sind. Der Lauflängenwert wird dann weiter mit einem Huffman-Code codiert.
In dem Decodierer wird das codierte Signal einer variablen Längendecodierung (einer inversen variablen Längencodierung) und dann einer inversen DCT-Transformation unterzogen, um die originalen Pixeldaten für das Bild zurückzugewinnen.
Durch die Anwendung der Verfahren mit prädiktiver Codierung und orthogonaler Transformation auf eine Bildsequenz werden erhebliche Mengen an zeitlicher und räumlicher Redundanz aus der Bildsequenz beseitigt, so daß man eine hocheffizient codierte Darstellung der Bildsequenz erhält.
Eine Fläche eines Bildes enthält Pixel in ungeradzahligen Zeilen und Pixel in geradzahligen Zeilen. Bei der progressiven Abtastung werden die Pixelzeilen in einem Vollbild von oben nach unten abgetastet. Bei der Wiedergabe werden die Pixel in der gleichen Reihenfolge dargestellt. Bei der verschachtelten Abtastung (Zeilensprungverfahren) werden zunächst die ungeradzahligen Pixelzeilen abgetastet, die in einem Vollbild ein ungeradzahliges Halbbild bilden, und dann die geradzahligen Pixelzeilen, die in dem Vollbild ein geradzahliges Halbbild bilden. Bei der Wiedergabe wird das ungeradzahlige Halbbild und dann das geradzahlige Halbbild angezeigt, so daß seine Zeilen mit den Zeilen des ungeradzahligen Halbbilds verschachtelt sind.
Wenn in einer Sequenz von im Zeilensprungverfahren abgetasteten Bildern Bewegung dargestellt wird, zeigt die einzelnen Vollbilder eine kammartige Verformung. Fig. 4 zeigt ein Bild eines Wagens, der sich von der linken Seite zur rechten Seite des Bilds bewegt. Wenn das ungeradzahlige Halbbild abgetastet wird, befindet sich der Wagen in einer bestimmten Position. Wenn dann das geradzahlige Halbbild abgetastet wird, hat sich der Wagen nach rechts vorwärts bewegt. Bei der Wiedergabe der verschachtelt abgetasteten Halbbilder eines Vollbilds, das dieses Bild repräsentiert, sind die von dem geradzahligen Halbbild repräsentierten Kanten gegenüber den von dem ungeradzahligen Halbbild repräsentierten Kanten versetzt, so daß die Kanten eines Objekts ausgefranst erscheinen. Die kammartige Verformung ist an vertikalen Kanten wie der Vorderseite des Wagens besonders sichtbar.
Bei der vollbildbasierten Verarbeitung eines im Zeilensprungverfahren abgetasteten Bildes werden die Pixelzeilen in einem Bereich des Bildes verarbeitet, während die ungeradzahligen Zeilen und die geradzahligen Zeilen verschachtelt sind, wie dies in Fig. 5A dargestellt ist. Die DCT-Transformation wird typischerweise an einem Block von verschachtelten Bilddaten der Größe 8 Pixel · 8 Zeilen durchgeführt.
Bei der halbbildbasierten Verarbeitung eines Zeilensprungverfahren abgetasteten Bildes sind in einem Bereich eines Bildes die Zeilen in dem ungeradzahligen Halbbild von den Zeilen in dem geradzahligen Halbbild dieses Bereichs getrennt, und alle Zeilen des ungeradzahligen Halbbilds werden getrennt von den Zeilen des geradzahligen Halbbilds verarbeitet, wie dies in Fig. 5B dargestellt ist. Die DCT-Transformation wird typischerweise an einem 8 · 8-Datenblock durchgeführt, der entweder ein ungeradzahliges Halbbild oder ein geradzahliges Halbbild eines Bildbereichs repräsentiert, d. h. die DCT-Transformation wird an einem 8 · 8-Block aus entmischten Bilddaten durchgeführt.
Die Menge an DCT-Koeffizientendaten, die zur Darstellung eines Bilds benötigt wird, wird von der Natur des dargestellten Bilds beeinflußt. So hat beispielsweise die Größe der in einem Bild dargestellten Bewegung oft großen Einfluß auf die orthogonale Transformation. Wie Fig. 4 zeigt, ist ein Bereich, der die Straße darstellt, gleichförmig und eignet sich für die vollbildbasierte DCT-Transformation. Ein Bereich jedoch, der die Vorderkante des Wagens in Fig. 4 repräsentiert, ist für die vollbildbasierte DCT-Transformation schlecht geeignet, da eine erhebliche Menge von hochfrequenten Koeffizienten in einem transformierten Block von Null abweichende Werte hat, wodurch die Lauflängen mit dem Wert Null reduziert und die Effizienz des variablen Längencodes herabgesetzt wird.
Im Gegensatz hierzu werden bei der halbbildbasierten Verarbeitung die Zeilen in dem ungeradzahligen Halbbild im Bereich der Kante des Wagens von den Zeilen in dem geradzahligen Halbbild getrennt betrachtet, so daß keine abrupten Übergänge dargestellt werden müssen, sondern nur Kanten, die sich glatt ändern, wodurch die Menge der hochfrequenten Koeffizientendaten relativ zu dem Fall, bei dem die Zeilen in verschachtelter Form verarbeitet werden, drastisch reduziert wird. Deshalb sind die Null-Lauflängen bei der halbbildbasierten DCT-Transformation der Wagenkante länger als bei der vollbildbasierten DCT-Transformation, so daß zur Darstellung der Wagenkante weniger Daten mit variablem Längencode codierte benötigt werden, wenn halbbildbasierte DCT-Transformation angewendet wird.
Fig. 6 zeigt eine Anordnung zum Codieren und Decodieren von Bewegtbildsignalen nach dem oben beschriebenen prädiktiven Codierschema. Wie Fig. 6 zeigt, codiert eine Codiervorrichtung 1 die Eingangsbildsignale und überträgt die codierten Signale zu einem Aufzeichnungsmedium 3 als Übertragungskanal für die Aufzeichnung. Eine Decodiervorrichtung 2 reproduziert die auf dem Aufzeichnungsmedium 3 aufgezeichneten Signale und decodiert diese als Ausgangssignale.
Die Codiervorrichtung 1 besitzt einen Eingang 10, eine Vorverarbeitungsschaltung 11, A/D-Wandler 12 und 13, einen Vollbildspeicher 14 mit einem Luminanzsignal-Vollbildspeicher 15 und einem Farbdifferenzsignal-Vollbildspeicher 16, einen Formatwandler 17 und einen Codierer 18.
Der Eingang 10 nimmt ein Videosignal VD auf und liefert dieses an die Vorverarbeitungsschaltung 11, die das Videosignal VD in Luminanzsignale und Farbsignale, im vorliegenden Fall Chrominanz- oder Farbdifferenzsignale, trennt, die dann den Analog/Digital-Wandlern (A/D-Wandlern) 12 bzw. 13 zugeführt werden. Die durch die Analog/Digital-Wandlung in den A/D-Wandlern 12 und 13 digitalisierten Videosignale werden dem Vollbildspeicher 14 mit den Speichern 15, 16 zugeführt, die die Luminanzsignale bzw. Farbdifferenzsignale speichern und die in ihnen gespeicherten Signale in den Formatwandler 17 auslesen.
Der Wandler 17 wandelt die in dem Vollbildspeicher 14 gespeicherten Vollbildformatsignale in Blockformatsignale um. Wie Fig. 7A zeigt, sind die Bilder in dem Vollbildspeicher 14 als Rahmenformatdaten mit V Zeilen gespeichert, die jeweils aus H Punkten bestehen. Die Wandlerschaltung 17 teilt jedes Vollbild in N "Scheiben", wobei jede Scheibe ein Vielfach von 16 Zeilen umfaßt. Wie Fig. 7B zeigt, teilt der Wandler 17 jede Scheibe in M Makroblöcke. Wie Fig. 7C zeigt, repräsentiert jeder Makroblock Luminanzsignale Y, die 16 · 16 Pixeln oder Punkten entsprechen, sowie die zugehörigen Chrominanzsignale Cr, Cb. Die Luminanzsignale werden weiter unterteilt in Blöcke Y1 bis Y4, die jeweils aus 8 · 8 Punkten bestehen. Die Luminanzsignale aus 16 · 16 Punkten sind den Cb-Signalen mit 8 · 8 Punkten und den Cr-Signalen mit 8 · 8 Punkten zugeordnet. Der Wandler 17 liefert die Blockformatsignale an den Codierer 18, der weiter unten in Verbindung mit Fig. 8 näher beschrieben wird.
Der Codierer 18 codiert die Blockformatsignale und gibt die codierten Signale über einen Übertragungskanal als Bitstrom für die Aufzeichnung auf dem Aufzeichnungsmedium 3 aus.
Die Decodiervorrichtung 2 enthält einen Decodierer 31, einen Formatwandler 32, einen Vollbildspeicherteil 33 mit einem Luminanzsignal-Vollbildspeicher 34 und einem Farbdifferenzsignal-Vollbildspeicher 35, ferner Digital/Analog-Wandler (A/D-Wandler) 36 und 37, eine Nachverarbeitungsschaltung 38 und einen Ausgang 30.
Der Decodierer 31 reproduziert codierte Daten von dem Aufzeichnungsmedium 3, decodiert die codierten Daten, wie dies weiter unten anhand von Fig. 12 ausführlicher beschrieben wird, und liefert die decodierten Datensignale an den Formatwandler 32, der die decodierten Datensignale in Vollbildformat-Datensignale umwandelt und die Vollbildformat-Datensignale als Luminanzsignale und Farbdifferenzsignale an den Speicher 33 liefert. Die Speicher 34, 35 des Speichers 33 speichern die Luminanz- bzw. Chrominanzsignale und führen sie den D/A-Wandlern 36 bzw. 37 zu. Die analogen Signale aus den Wandlern 36, 37 werden in der Nachverarbeitungsschaltung synthetisiert, deren Ausgangsbildsignale dem Ausgang 30 und von dort einer nicht dargestellten Anzeigeeinheit, z. B. einer Kathodenstrahlröhre, für die Anzeige zugeführt werden.
Fig. 8 zeigt den Codierer 18 von Fig. 6. Der Codierer 18 speichert generell drei Bilder, nämlich das laufende Bild und die Bilder, die dem laufenden Bild zeitlich vorangehen und nachfolgen. Auf der Basis der sequentiellen Position des laufenden Bilds in der Bildergruppe wird für jedes Bild ein Bildcodiertyp (I, P oder B) ausgewählt.
Der Codierer 18 wählt auch die jeweils geeignete Codierung, d. h. die entweder vollbildbasierte oder die halbbildbasierte prädiktive Codierung aus, wie dies weiter unten anhand von Fig. 9 erläutert wird. Er wählt außerdem die geeignete DCT-Codierung, d. h. entweder die vollbildbasierte oder die halbbildbasierte DCT-Codierung, aus, wie dies weiter unten anhand von Fig. 10 erläutert wird. Für jedes Bild werden die geeigneten Bewegungsvektoren ermittelt, und das Bild wird relativ zu keinem oder zu einem oder zu zwei zuvor codierten Bildern prädiktiv codiert, um ein Differenzdatensignal zu erzeugen, wobei die zuvor codierten Bilder, die als Referenzbilder bezeichnet werden, lokal decodiert wurden. Das Differenzdatensignal wird in Blöcke von Koeffizientendaten orthogonal transformiert, die quantisiert, mit variabler Länge codiert und als codierte Daten übertragen werden.
Der Codierer 18 enthält einen lokalen Decodierer, in dem die quantisierten Daten dequantisiert, invers orthogonal transformiert und als Referenzbilder gespeichert werden. Die prädiktive Codierung wendet den (die) für das laufende Bild gewonnenen Bewegungsvektor(en) auf das (die) Referenzbild(er) an, um ein Prädiktionsbild zu erzeugen, das von dem laufenden Bild subtrahiert wird, um die Differenzdaten zu gewinnen.
Die Elemente des Codierers 18 werden nun im Detail erläutert.
Bilddaten für die Codierung werden Makroblock für Makroblock dem Eingang 49 und von dort einem Bewegungsvektor-Detektor 50 zugeführt, der die Bilddaten der entsprechenden Vollbilder als I-Bilder, als P-Bilder oder als B-Bilder verarbeitet, wie dies z. B. in Fig. 2A und 2B dargestellt ist. Die Schaltung 50 führt die Bilddaten des laufenden Vollbilds einem Vollbildspeicher 51 zu, der aus Vollbildspeichern 51a, 51b, 51c besteht, die zur Speicherung eines zeitlich vorangehenden Bildes bzw. des laufenden Bildes bzw. eines zeitlich nachfolgenden Bildes benutzt werden.
Die Vollbilder F1, F2, F3 werden in den Speichern 51a, 51b bzw. 51c gespeichert. Das in dem Speicher 51c gespeicherte Bild wird dann in den Speicher 51a übertragen, und die Vollbilder F4, F5 werden in den Speichern 51b bzw. 51c gespeichert. Für die übrigen Bilder der Bildergruppe werden die Operationen zum Übertragen des in dem Speicher 51c gespeicherten Bilds in den Speicher 51a und zum Speichern der nächsten zwei Bilder in den Speichern 51b, 51c entsprechend wiederholt.
Nachdem die Bilder in den Speicher eingelesen und dort temporär gespeichert sind, werden sie ausgelesen und einem Prädiktionsmodus-Umschalter 52 zugeführt, der das laufende Bild entweder einer vollbildbasierten oder einer halbbildbasierten prädiktiven Codierung unterzieht. Nach der Verarbeitung der ersten Vollbilddaten einer Bildergruppe als I-Bild und vor der Verarbeitung des zweiten Vollbilds als B-Bild verarbeitet der Bewegungsvektor-Detektor 50 das dritte P-Vollbild. Die Verarbeitungssequenz unterscheidet sich von der Sequenz, in der die Bilder zugeführt werden, weil das B- Bild eine Rückwärts-Prädiktion bedingen kann, so daß es für die anschließende Decodierung erforderlich sein kann, daß zuvor das dem B-Bild zeitlich vorangehende P-Bild decodiert wurde.
Der Bewegungsvektor-Detektor berechnet für jeden Makroblock als Schätzwert für die Intra-Codierung die Summe der Absolutwerte der Prädiktionsfehler für den Vollbild-Prädiktionsmodus und die Summe der Absolutwerte von Prädiktionsfehlern für den Halbbild-Prädiktionsmodus und liefert diese Summen an die Prädiktions-Entscheidungsschaltung 54, die die Summen vergleicht und nach Maßgabe des kleinsten dieser Werte entweder den Vollbild-Prädiktionsmodus oder den Halbbild-Prädiktionsmodus auswählt und den jeweils ausgewählten Modus an den Prädiktionsmodus-Umschalter 52 liefert.
Wenn der Vollbild-Prädiktionsmodus gewählt wird, gibt der Prädiktionsmodus-Umschalter 52 die vier Luminanzblöcke Y1 bis Y4 und die zwei Chrominanz- oder Farbdifferenzblöcke Cb, Cr jedes der von dem Bewegungsvektor-Detektor 50 empfangenen Makroblöcke ohne weitere Verarbeitung aus. Wie Fig. 9A zeigt, wechseln in jedem Luminanz- und Farbdifferenzblock ungeradzahlige oder erste Halbbildzeilendaten, die durch durchgezogene Linien gekennzeichnet sind, mit geradzahligen oder zweiten Halbbildzeilendaten, die durch gestrichelte Linien gekennzeichnet sind, so ab, wie sie von dem Bewegungsvektor-Detektor 50 empfangen werden. In Fig. 9A bezeichnet der Buchstabe a Einheiten für die Bewegungskompensation. Im Vollbild-Prädiktionsmodus wird eine Bewegungs kompensation mit vier Luminanzblöcken (Makroblöcken) als Einheit durchgeführt und den vier Luminanzblöcken Y1 bis Y4 wird ein einziger Bewegungsvektor zugeteilt.
Wenn der Halbbild-Prädiktionsmodus gewählt wird, verarbeitet der Prädiktionsmodus-Umschalter 52 die von dem Bewegungsvektor-Detektor 50 empfangenen Signale so, daß jeder der vier Luminanzblöcke Daten aus einem einzigen Halbbild umfaßt und die zwei Farbdifferenzblöcke unverschachtelte ungeradzahlige und geradzahlige Halbbilddaten aufweisen. Wie Fig. 9B zeigt, haben die Luminanzblöcke Y1 und Y2 ungeradzahlige Halbbilddaten und die Luminanzblöcke Y3 und Y4 geradzahlige Halbbilddaten, während die oberen Hälften der Farbdifferenzblöcke Cb, Cr ungeradzahlige Halbbild-Farbdifferenzdaten für die Luminanzblöcke Y1 und Y2 und die unteren Hälften der Farbdifferenzblöcke Cb, Cr geradzahlige Halbbild-Farbdifferenzdaten für die Luminanzblöcke Y3 und Y4 repräsentieren. In Fig. 9B bezeichnet der Buchstabe b Einheiten für die Bewegungskompensation. Im Halbbild-Prädiktionsmodus wird die Bewegungskompensation für die Blöcke von ungeradzahligen Halbbildern und für die Blöcke von geradzahligen Halbbildern getrennt durchgeführt, so daß den beiden Luminanzblöcken Y1 und Y2 ein Bewegungsvektor und den beiden Luminanzblöcken Y3 und Y4 ein anderer Bewegungsvektor zugeordnet wird.
Der Prädiktionsmodus-Umschalter 52 liefert das für die vollbildbasierte oder halbbildbasierte prädiktive Codierung verarbeitete laufende Bild an die Recheneinheit 53 von Fig. 8. Die Recheneinheit 53 führt entweder eine Innerbild-Prädiktion, eine Vorwärts-Prädiktion, eine Rückwärts-Prädiktion oder eine bidirektionale Prädiktion durch. Die Prädiktions-Entscheidungsschaltung 54 kann in Abhängigkeit von den mit den laufenden Bildsignalen verbundenen Prädiktionsfehlersignalen den besten Prädiktionstyp auswählen.
Der Bewegungsvektor-Detektor 50 berechnet für das laufende Bild die Summe der Absolutwerte der Differenzen zwischen jedem Signal Aij und dem Mittelwert der Signale Aij in jedem Makroblock, d. h. Σ Aij - , und liefert die Summe als Schätzwert für die Intra-Codierung an die Prädiktions-Entscheidungsschaltung 54.
Der Bewegungsvektor-Detektor 50 berechnet sowohl im Vollbild-Prädiktionsmodus als auch im Halbbild-Prädiktionsmodus die Summe der Absolutwerte (oder die Summe der Quadrate) der Differenz (Aij - Bij) zwischen den Signalen Aij der Makroblöcke des laufenden Bilds und der Signale Bij der Makroblöcke des Prädiktionsbildes, d. h. Σ Aij - Bij . Wie oben erläutert wurde, wird (werden) der (die) Bewegungsvektor(en) für das laufende Bild auf das (die) Referenzbild(er) angewendet, um das Prädiktionsbild zu erzeugen. Wenn das Referenzbild dem laufenden Bild zeitlich vorangeht, wird die Größe Σ Aij - Bij als Vorwärts-Prädiktionsfehlersignal bezeichnet. Wenn das Referenzbild dem laufenden Bild zeitlich nachfolgt, wird die Größe Σ Aij - Bij als Rückwärts-Prädiktionsfehlersignal bezeichnet. Wenn das bewegungskompensierte Prädiktionsbild der Mittelwert aus einem zeitlich vorangehenden und einem zeitlich nachfolgenden Referenzbild ist, wird die Größe Σ Aij - Bij als bidirektionales Prädiktionsfehlersignal bezeichnet.
Der Bewegungsvektor-Detektor 50 liefert die Fehlersignale der Vorwärts-Vollbild-Prädiktion, der Vorwärts-Halbbild-Prädiktion, der Rückwärts-Vollbild-Prädiktion, der Rückwärts-Halbbild-Prädiktion, der bidirektionalen Vollbild-Prädiktion und der bidirektionalen Halbbild-Prädiktion an die Prädiktions- Entscheidungsschaltung 54.
Die Prädiktions-Entscheidungsschaltung 54 wählt eine der Codierungsarten Innencodierung, Vorwärts-Zwischenbild-Prädiktion, Rückwärts-Zwischenbild-Prädiktion oder bidirektionale Zwischenbild-Prädiktion und eine der Prädiktionsarten Vollbild- und Halbbild-Prädiktionsmodus aus, und zwar nach Maßgabe des kleinsten Schätzwerts für die Prädiktionsfehlersignale der Innencodierung und der Vorwärts-Vollbild-, der Vorwärts-Halbbild-, der Rückwärts-Vollbild-, der Rückwärts-Halbbild-, der bidirektionalen Vollbild- und der bidirektionalen Halbbild-Prädiktion. Die Recheneinheit 53 bewirkt eine prädiktive Codierung des laufenden Bilds, so wie es von dem Prädiktionsmodus-Umschalter 52 verarbeitet wird, entsprechend dem von der Prädiktions-Entscheidungsschaltung 54 ausgewählten Prädiktionsmodus.
Der Bewegungsvektor-Detektor 50 berechnet den (die) Bewegungsvektor(en), der (die) dem ausgewählten Prädiktionsmodus zugeordnet ist (sind), und liefert ihn (sie) an eine variable Längencodierschaltung 58 und eine Bewegungskompensationsschaltung 64, die weiter unten erläutert werden.
Die Summen der Absolutwerte der Interframe-Differenzen (Prädiktionsfehler) auf Makroblockbasis werden von dem Bewegungsvektor-Detektor 50 zu dem Prädiktionsmodus-Umschalter 52 und zu der Prädiktions-Entscheidungsschaltung 54 übertragen, wie dies oben beschrieben wurde.
Die Recheneinheit 53 liefert prädiktiv codierte Daten, die auch als Differenzdaten bezeichnet werden, für das laufende Bild an einen DCT-Modusumschalter 55, der das laufende Bild für die vollbildbasierte oder die halbbildbasierte orthogonale Transformation verarbeiten kann.
Der DCT-Modusumschalter 55 vergleicht die Effizienz der Codierung für den Fall, daß die DCT-Operationen für die Makroblöcke in einem Bild mit den Daten ungeradzahliger Halbbilder abwechselnd mit den Daten geradzahliger Halbbilder durchgeführt werden, d. h. für vollbildbasierte orthogonale Transformation, wie sie in Fig. 10A dargestellt ist, mit der Effizienz der Codierung für den Fall, daß die DCT-Operationen für die Makroblöcke in einem Bild mit den Daten ungeradzahliger Halbbilder getrennt von den Daten geradzahliger Halbbilder durchgeführt werden, d. h. für halbbildbasierte orthogonale Transformation, wie sie in Fig. 10B dargestellt ist. Die Schaltung 55 wählt dann den Modus mit der höheren Codiereffizienz aus.
Für die Bewertung der Codiereffizienz für die vollbildbasierte orthogonale Transformation bringt der DCT-Modusumschalter 55 die Luminanzdaten des Makroblocks in eine verschachtelte Form, wie dies in Fig. 10A dargestellt ist, und berechnet die Differenzen zwischen den Zeilensignalen von ungeradzahligen Halbbildern und den Zeilensignalen von geradzahligen Halbbildern, die in vertikaler Richtung einander benachbart sind, und ermittelt die Summe EFM der Absolutwerte der Differenzen oder die Summe der Quadratwerte der Differenzen.
Zur Bewertung der Codiereffizienz für die halbbildbasierte orthogonale Transformation bringt der DCT-Modusumschalter 55 die Luminanzdaten des Makroblocks in nichtverschachtelte Form, wie dies in Fig. 10B dargestellt ist, und berechnet die Differenzen zwischen vertikal benachbarten Zeilensignalen von ungeradzahligen Halbbildern und die Differenzen zwischen vertikal benachbarten Zeilensignalen von geradzahligen Halbbildern und ermittelt die Summe EFD der Absolutwerte der Differenzen oder die Summe der Quadratwerte der Differenzen.
Der DCT-Umschalter vergleicht die Differenz zwischen den vollbildbasierten und den halbbildbasierten Summen der Absolutwerte mit einem vorbestimmten Schwellwert und wählt die vollbildbasierte DCT-Transformation aus, wenn die Differenz EFM - EFD kleiner ist als der vorbestimmte Schwellwert.
Falls die Prädiktions-Entscheidungsschaltung 54 den Vollbild-Prädiktionsmodus auswählt, ist die Wahrscheinlichkeit groß, daß der Prädiktionsmodus-Umschalter 55 den Vollbild-DCT-Modus auswählt. Falls die Prädiktions-Entscheidungsschaltung 54 hingegen den Halbbild-Prädiktionsmodus auswählt, ist die Wahrscheinlichkeit groß, daß der DCT-Modusumschalter 55 den Halbbild-DCT- Modus wählt. Da dies jedoch nicht notwendigerweise so ist, setzt der Prädiktionsmodus-Umschalter 52 den Modus, der den kleinsten Wert für die Summe der Absolutwerte der Prädiktionsfehler ergibt, während der DCT-Modusumschalter 55 den Modus setzt, der die optimale Effizienz für die orthogonale Transformationscodierung ergibt.
Falls der auch als Vollbild-DCT-Modus bezeichnete vollbildbasierte orthogonale Transformationsmodus gewählt wird, stellt der DCT-Modusumschalter 55 sicher, daß die vier Luminanzblöcke Y1 bis Y4 und die zwei Farbdifferenzblöcke Cb, Cr Zeilen von abwechselnden oder verschachtelten ungeradzahligen und geradzahligen Halbbildzeilen repräsentieren, wie dies in Fig. 10A dargestellt ist. Falls der auch als Halbbild-DCT-Modus bezeichnete halbbildbasierte orthogonale Transformations modus gewählt wird, stellt der DCT-Modusumschalter 55 sicher, daß jeder der Luminanzblöcke nur ein Halbbild repräsentiert und jeder Farbdifferenzblock Zeilen von entmischten oder nicht verschachtelten ungeradzahligen und geradzahligen Halbbildern aufweist, wie dies in Fig. 10B dargestellt ist.
Der DCT-Modusumschalter 55 liefert die Daten mit der dem ausgewählten DCT-Modus entsprechenden Konfiguration und ein DCT-Flag, das den ausgewählten DCT-Modus kennzeichnet, an die variable Längencodierschaltung 58 und die Bewegungskompensationsschaltung 64.
Fig. 11 zeigt ein Beispiel für den Aufbau des DCT-Modusumschalters 55. Die Subtrahierelemente 160 berechnen die Differenzen zwischen den einander entsprechenden Pixeln von vertikal benachbarten ungeradzahligen und geradzahligen Halbbildzeilensignalen des verschachtelten Makroblocks (a). Die Quadrierschaltungen 161 quadrieren die entsprechenden Differenzen und führen die quadrierten Differenzen dem Addierer 162 zu, der die Summe der quadrierten Differenzen, d. h. den Wert EFM, berechnet. Der Addierer 162 liefert die Summe EFM an den Komparator 165.
Entsprechend berechnen die Subtrahierer 170 die Differenzen zwischen Pixeln von vertikal benachbarten ungeradzahligen Halbbildzeilensignalen und die Differenzen zwischen Pixeln von vertikal benachbarten geradzahligen Halbbildzeilensignalen des Makroblocks, wie dies in der halbbildbasierten Konfiguration (b) dargestellt ist. Die Quadrierschaltungen 171 quadrieren die entsprechenden Differenzen, und der Addierer 172 berechnet die Summe der quadrierten Differenzen, d. h. den Wert EFM, und liefert die Summe EFM an den Komparator 165.
Der Komparator 165 vergleicht die Differenz zwischen der Summe EFD und der Summe EFM mit einem vorbestimmten Schwellwert und wählt danach entweder den Vollbild-DCT-Modus oder den Halbbild-DCT-Modus aus.
Es sei noch einmal auf Fig. 8 Bezug genommen. Der DCT-Modusumschalter 55 liefert passend konfigurierte Differenzbilddaten an eine DCT-Schaltung 56, die diese Daten durch diskrete Cosinustransformation orthogonal in DCT-Koeffizienten transformiert und die DCT-Koeffizientendaten an eine Quantisierschaltung (Quantisierer) 57 ausgibt, die die Koeffizientendaten mit Quantisierungsstufen quantisiert, die in Übereinstimmung mit dem in einem Übertragungspuffer 59 gespeicherten Datenvolumen ausgewählt sind, und liefert die quantisierten Daten an eine variable Längencodierschaltung 58.
Der variablen Längencodierschaltung 58 werden außerdem die Quantisierungsstufendaten aus dem Quantisierer 57, ferner die Prädiktionsmodusdaten aus der Prädiktions-Entscheidungsschaltung 54, d. h. Daten, die angeben, ob Innerbild-Prädiktion, Vorwärts-Prädiktion, Rückwärts-Prädiktion oder bidirektionale Prädiktion angewendet wird, sowie Bewegungsvektordaten aus dem Bewegungsvektor-Detektor 50 zugeführt. Die Codierschaltung 58 empfängt außerdem aus der Prädiktions-Ent scheidungsschaltung 54 Prädiktions-Flag-Daten mit einem Flag, das angibt, ob Vollbild-DCT-Modus oder Halbbild-DCT-Modus angewendet wird. Diese Information wird in dem Kopfabschnitt (Header) des codierten Datenstroms angeordnet.
Die variable Längencodierschaltung 58 codiert die quantisierten Daten und die Header-Information mit einem variablen Längencode, z. B. einem Huffman-Code, nach Maßgabe der von der Quantisierschaltung 57 zugeführten Quantisierstufendaten und gibt die resultierenden Daten an den Übertragungspuffer 59 aus.
Die quantisierten Daten und die Quantisierungsstufe werden auch einer Schaltung 60 zur inversen Quantisierung (einem inversen Quantisierer) zugeführt, die die quantisierten Daten mit dieser Quantisierungsstufe dequantisiert und die zurückgewonnenen DCT-Koeffizientendaten einer inversen DCT- Schaltung 61 zuführt, die die DCT-Koeffizientendaten invers transformiert und zurückgewonnene Differenzdaten erzeugt, die einer Recheneinheit 62 zugeführt werden.
Die Recheneinheit 62 kombiniert die zurückgewonnenen Differenzdaten mit einem zuvor codierten und decodierten und bewegungskompensierten Referenzbild, um decodierte Daten für ein rekonstruiertes Bild zu erzeugen, das als Referenzbild benutzt wird und in einen von zwei Vollbildspeichern 63a, 63b eingelesen wird. Die Speicher 63a, 63b können die in ihnen gespeicherten Referenzbilddaten in eine Bewegungskompensationsschaltung 64 auslesen, die die Bewegungsvektoren aus dem Bewegungsvektor-Detektor 50 dazu benutzt, um aus dem Referenzbild ein Prädiktionsbild zu erzeugen. Im speziellen Fall benutzt die Schaltung 64 den Bewegungsvektor, um die Adresse für das Auslesen des Referenzbilds aus dem Speicher 63a oder 63b zu ändern.
Nachdem für eine Gruppe von Bildern die I-Bilddaten des ersten Vollbilds und die P-Bilddaten des dritten Vollbilds in den Speichern oder Einheiten 63a bzw. 63b für die Vorwärts- und Rückwärts- Prädiktionsbilder gespeichert sind, verarbeitet der Bewegungsvektor-Detektor 50 die B-Bilddaten des zweiten Vollbilds. Die Prädiktions-Entscheidungsschaltung 54 wählt den Vollbild- oder den Halbbild-Prädiktionsmodus, während sie nach Maßgabe der Summe der Absolutwerte der Prädiktionsfehler in dem Makroblock als Prädiktionsmodus entweder den Intraframe-Prädiktionsmodus, den Vorwärts-Prädiktionsmodus, den Rückwärts-Prädiktionsmodus oder den bidirektionalen Prädiktionsmodus setzt.
Da ein rekonstruiertes B-Bild nicht als Referenzbild für andere Bilder benutzt wird, wird es nicht in dem Vollbildspeicher 63 gespeichert.
In dem Vollbildspeicher 63 werden die Speicherbänke der Speichereinheiten 63a, 63b für das Vorwärts- und Rückwärts-Prädiktionsbild nach Bedarf miteinander vertauscht, so daß ein in einer der Einheiten 63a oder 63b gespeichertes Bild entweder als Vorwärts- oder als Rückwärts-Prädiktionsbild ausgegeben wird.
Die Bewegungskompensationsschaltung 64 liefert die bewegungskompensierten Daten als Prädiktionsbild an die Recheneinheit 62 und an die Recheneinheit 53, die das Prädiktionsbild von dem P- Bild oder dem B-Bild subtrahiert, das gerade prädiktiv codiert wird.
Das heißt, wenn die Bewegungsvektor-Detektorschaltung 50 aus der Einheit 51a die Bilddaten für ein I-Bild aus dem Vorwärts-Originalbild empfängt, wählt die Prädiktions-Entscheidungsschaltung 54 den Intraframe-Prädiktionsmodus aus und setzt einen Schalter 53a der Recheneinheit 53 auf den Eingangskontakt a. Dies hat zur Folge, daß die I-Bilddaten direkt dem DCT-Modusumschalter 55 zugeführt werden. In diesem Fall wird kein Prädiktionsbild aus der Bewegungskompensationsschaltung 64 erwartet. Die I-Bilddaten werden außerdem der Speichereinheit 63a für das Vorwärts-Prädiktionsbild zugeführt.
Wenn die Prädiktions-Entscheidungsschaltung 54 den Vorwärts-Prädiktionsmodus auswählt, setzt sie den Schalter 53d auf den Eingangskontakt b, wodurch die Recheneinheit 53a veranlaßt wird, das von der Bewegungskompensationsschaltung 64 erzeugte Prädiktionsbild für jeden Makroblock auf einer Pixel-für-Pixel-Basis von dem aus dem Speicher 51 ausgelesenen Bild zu subtrahieren, um Differenzdaten zu erzeugen. Das P-Bild wird nach der Codierung und lokalen Decodierung einer der Einheiten 63a, 63b zugeführt. Wenn beispielsweise das P-Bild unmittelbar auf ein I-Bild folgt, wird das P-Bild in der Einheit 63b für das Rückwärts-Prädiktionsbild gespeichert.
Für die Vorwärts-Prädiktionscodierung ist das Prädiktionsbild ein Referenz-I-Bild oder ein Referenz- P-Bild, das aus der Vorwärts-Prädiktionsbild-Einheit 63a des Vollbildspeichers 63a ausgelesen und von der Bewegungskompensationsschaltung 64 mit dem von der Bewegungsvektor-Detektorschaltung 50 ausgegebenen Bewegungsvektor bewegungskompensiert wird. Das heißt, die Bewegungskompensationsschaltung 64 verschiebt für jeden Makroblock die Leseadresse der Vorwärts-Prädiktionsbild-Einheit 63a um einen Betrag, der dem von der Bewegungsvektor-Detektorschaltung 50 ausgegebenen laufenden Bewegungsvektor entspricht.
Wenn die Prädiktions-Entscheidungsschaltung 54 den Rückwärts-Prädiktionsmodus auswählt, setzt sie den Schalter 53d auf den Eingangskontakt c. Dies veranlaßt die Recheneinheit 53b, das von der Bewegungskompensationsschaltung 64 erzeugte Prädiktionsbild auf einer Pixel-für-Pixel-Basis von dem aus dem Speicher 51 ausgelesenen Bild zu subtrahieren, um Differenzdaten zu erzeugen.
Für die Rückwärts-Prädiktionscodierung ist das Prädiktionsbild ein P-Bild, das aus der Rückwärts- Prädiktionsbild-Einheit 63b des Vollbildspeichers 63 ausgelesen und von der Bewegungskompensationsschaltung 64 nach Maßgabe des von der Bewegungsvektor-Detektorschaltung 50 ausgege benen Bewegungsvektors bewegungskompensiert wird. Das heißt, die Bewegungskompensationsschaltung 64 verschiebt für jeden Makroblock die Leseadresse der Rückwärts-Prädiktionsbild-Einheit 63b um einen Betrag, der dem von der Bewegungsvektor-Detektorschaltung 50 ausgegebenen laufenden Bewegungsvektor entspricht.
Wenn die Prädiktions-Entscheidungsschaltung 54 den bidirektionalen Prädiktionsmodus auswählt, setzt sie den Schalter 53d auf den Eingangskontakt d, wodurch die Recheneinheit 53c veranlaßt wird, ein Prädiktionsbild auf einer Pixel-für-Pixel-Basis von dem aus dem Speicher 51 ausgelesenen Bild zu subtrahieren, um Differenzdaten zu erzeugen. Das Prädiktionsbild ist der Mittelwert aus einem Vorwärts-Prädiktionsbild und einem Rückwärts-Prädiktionsbild.
Bei der bidirektionalen Prädiktion werden das in der Vorwärts-Prädiktionsbild-Einheit 63a gespeicherte Bild und das in der Rückwärts-Prädiktionsbild-Einheit 63b gespeicherte Bild ausgelesen und von der Bewegungskompensationsschaltung 64 nach Maßgabe der Bewegungsvektoren bewegungskompensiert, die von der Bewegungsvektor-Detektorschaltung 50 ausgegeben werden. Das heißt, die Bewegungskompensationsschaltung 64 verschiebt für jeden Makroblock die Leseadresse der Vorwärts- und Rückwärts-Prädiktionsbild-Speichereinheiten 63a, 63b um einen Betrag, der dem jeweils geeigneten Exemplar der von der Bewegungsvektor-Detektorschaltung 50 ausgegebenen laufenden Bewegungsvektoren entspricht.
Der Übertragungspuffer 59 speichert die ihm zugeführten Daten temporär, erzeugt Steuerdaten, die das in ihm gespeicherte Datenvolumen angeben, und liefert diese Steuerdaten an die Quantisierschaltung 57. Wenn das in dem Übertragungspuffer 59 gespeicherte Datenvolumen einen vorbestimmten oberen Grenzwert erreicht, veranlassen die Steuerdaten aus dem Übertragungspuffer 59, daß die Quantisierungsstufe der Quantisierschaltung 57 vergrößert wird, so daß das Volumen der quantisierten Daten kleiner wird. Wenn das in dem Übertragungspuffer 59 gespeicherte Datenvolumen einen vorbestimmten unteren Grenzwert erreicht, veranlassen die Steuerdaten aus dem Übertragungspuffer 59 in analoger Weise, daß die Quantisierungsstufe der Quantisierschaltung 57 verkleinert wird, so daß das Volumen der quantisierten Daten größer wird. Auf diese Weise verhindert der Übertragungspuffer 59, daß die ihm zugeführten Daten seine Kapazität übersteigen oder unterlaufen. Die in dem Übertragungspuffer 59 gespeicherten Daten werden in einer vorbestimmten Zeitlage zu einem Ausgang 69 und von dort in einen Übertragungskanal für die Aufzeichnung, z. B. auf dem Aufzeichnungsmedium 3, ausgelesen.
Die vorangehende Beschreibung bezog sich vorwiegend auf die Luminanzblöcke. Die Farbdifferenzblöcke werden ähnlich verarbeitet und übertragen, wobei der dem Bewegungsvektor des Luminanzblocks entsprechende Bewegungsvektor benutzt wird, der jedoch sowohl in vertikaler als auch in horizontaler Richtung halbiert ist.
Fig. 12 zeigt den Decodierer 31 von Fig. 6. Die von dem Aufzeichnungsmedium 3 übertragenen reproduzierten codierten Bilddaten werden einer nicht dargestellten Empfangsschaltung oder einem Eingang 80 zugeführt, der die codierten Bilddaten in einen Empfangspuffer 81 leitet. Dieser dient zur temporären Speicherung der codierten Bilddaten und liefert diese Daten an eine variable Längendecodierschaltung 82 in einer Decodierschaltung 90.
Die variable Längendecodierschaltung 82 unterzieht die codierten Daten einer variablen Längendecodierung, gibt den zurückgewonnenen Bewegungsvektor, die Prädiktionsmodusdaten, die Prädiktionsflags und die DCT-Flags an die Bewegungskompensationsschaltung 87 aus und liefert die Quantisierungsstufendaten und die einer variablen Längendecodierung unterzogenen Bilddaten, einschließlich des Prädiktionsmodus, des Bewegungsvektors, des Prädiktionsflags, des DCT-Flags und der quantisierten Bilddaten für jeden Makroblock an eine inverse Quantisierungsschaltung 83.
Die inverse Quantisierungsschaltung 83 dequantisiert die von der variablen Längendecodierschaltung 82 zugeführten Bilddaten nach Maßgabe der Quantisierungsstufendaten aus der variablen Längendecodierschaltung 82 und gibt die zurückgewonnenen Koeffizientendaten an eine inverse Transformations-Schaltung (IDCT-Schaltung) 84 aus.
Die IDCT-Schaltung 84 unterzieht die zurückgewonnenen Koeffizientendaten einer inversen Transformation und erzeugt so zurückgewonnene Differenzdaten, die an eine Recheneinheit 85 ausgegeben werden.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 ein I-Bild repräsentieren, verarbeitet die Recheneinheit 85 die Daten nicht, sondern gibt sie einfach über einen Ausgang 91 an die Formatwandlerschaltung 32 von Fig. 6 und an eine Vorwärts-Prädiktionsbild-Einheit 86a des Vollbildspeichers 86 weiter.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 einen Makroblock eines in dem Vorwärts-Prädiktionsmodus erzeugten P-Bildes repräsentieren, werden die Referenzbilddaten des vorangegangenen Vollbildes, so wie sie in der Vorwärts-Prädiktionsbild-Einheit 86a des Vollbildspeichers 86 gespeichert sind, ausgelesen und in einer Bewegungskompensationsschaltung 87 nach Maßgabe des von der variablen Längendecodierschaltung 82 ausgegebenen Bewegungsvektors bewegungskompensiert, um ein Prädiktionsbild zu erzeugen. Die Bewegungskompensationsschaltung 87 benutzt den Bewegungsvektor, um die der Speichereinheit 86a zugeführte Leseadresse zu ändern. Die Recheneinheit 85 addiert das Prädiktionsbild zu den zurückgewonnenen Differenzdaten, um ein decodiertes oder rekonstruiertes Bild zu erzeugen, das in der Rückwärts- Prädiktionsbild-Speichereinheit 86b des Vollbildspeichers 86 gespeichert wird. Das decodierte P- Bild wird in dem Decodierer 31 gehalten und ausgegeben, nachdem das nächste B-Bild decodiert und ausgegeben wurde, so daß die Bilder in der Reihenfolge restauriert werden, in der sie dem Codierer 18 von Fig. 6 zugeführt wurden.
Selbst wenn der Makroblock des P-Bildes als Daten nach dem Innencodiermodus codiert wurden, wird das decodierte P-Bild direkt in der Rückwärts-Prädiktionsbild-Speichereinheit 86b gespeichert, ohne von der Recheneinheit 85 an den Ausgang 91 ausgegeben zu werden.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 einen Makroblock eines im Innencodiermodus codierten B-Bildes repräsentieren, was aus dem Prädiktionsmodus bestimmt wird, den die variable Längendecodierschaltung 82 der Bewegungskompensationsschaltung 87 zuführt, wird kein Prädiktionsbild erzeugt.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 einen Makroblock eines in Vorwärts-Prädiktionsmodus codierten B-Bildes repräsentieren, was aus dem Prädiktionsmodus ermittelt wird, den die variable Längendecodierschaltung 82 der Bewegungskompensationsschaltung 87 zuführt, werden die in der Vorwärts-Prädiktionsbild-Speichereinheit 86a des Vollbildspeichers 86 gespeicherten Daten ausgelesen und von der Bewegungskompensationsschaltung 87 unter Benutzung des Bewegungsvektors aus der variablen Längendecodierschaltung 82 bewegungsdecodiert, um das Prädiktionsbild zu erzeugen. Die Recheneinheit 85 summiert die zurückgewonnenen Differenzdaten zu dem Prädiktionsbild, um das zurückgewonnene B-Bild zu erzeugen.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 einen Makroblock eines im Rückwärts-Prädiktionsmodus codierten B-Bildes repräsentieren, was aus dem Prädiktionsmodus ermittelt wird, den die variable Längendecodierschaltung 82 der Bewegungskompensationsschaltung 87 zuführt, werden die in der Rückwärts-Prädiktionsbild-Speichereinheit 86b gespeicherten Daten ausgelesen und von der Bewegungskompensationsschaltung 87 unter Benutzung des Bewegungsvektors aus der variablen Längendecodierschaltung 82 bewegungskompensiert, um das Prädiktionsbild zu erzeugen. Die Recheneinheit 85 summiert die zurückgewonnen Differenzdaten zu dem Prädiktionsbild, um das zurückgewonnene B-Bild zu erzeugen.
Wenn die zurückgewonnenen Differenzdaten aus der IDCT-Schaltung 84 einen Makroblock eines im bidirektionalen Prädiktionsmodus codierten B-Bildes repräsentieren, was aus dem Prädiktionsmodus ermittelt wird, den die variable Längendecodierschaltung 82 der Bewegungskompensationsschaltung 87 zuführt, werden sowohl die in der Vorwärts- als auch die in der Rückwärts-Prädiktionsbild-Speichereinheit 86a bzw. 86b gespeicherten Daten ausgelesen und von der Bewegungskompensationsschaltung 87 mit den jeweiligen Bewegungsvektoren aus der variablen Längendecodierschaltung 82 bewegungskompensiert und dann gemittelt, um das Prädiktionsbild zu erzeugen. Die Recheneinheit 85 summiert die zurückgewonnen Differenzdaten zu dem Prädiktionsbild, um das zurückgewonnene B-Bild zu erzeugen.
Das zurückgewonnene B-Bild wird über den Ausgang 91 der Formatwandlerschaltung 32 zugeführt. Das B-Bild wird jedoch nicht in dem Vollbildspeicher 86 gespeichert, da es nicht für die Erzeugung eines Prädiktionsbildes für andere Bilder benutzt wird.
Nach der Ausgabe des B-Bildes werden die in der Rückwärts-Prädiktionsbild-Speichereinheit 86b gespeicherten Bilddaten des P-Bildes ausgelesen und über die Bewegungskompensationsschaltung 87 der Recheneinheit 85 zugeführt. Eine Bewegungskompensation findet dann nicht statt.
Die Gegenstücke zu dem Prädiktionsmodusumschalter 52 und dem DCT-Modus-Umschalter 55 des Decodierers 18 von Fig. 8 sind in dem Decodierer 31 nicht dargestellt. Die von diesen Schaltungen durchzuführenden Verarbeitungen, d. h. die Verarbeitung für die Wiederherstellung aus der Konfiguration, in der die Zeilensignale von ungeradzahligen Halbbildern und die Zeilensignale von geradzahligen Halbbildern voneinander getrennt sind, in die Konfiguration, in der die Zeilensignale von ungeradzahligen und geradzahligen Halbbildern einander abwechseln, wird in der Bewegungskompensationsschaltung 87 durchgeführt.
Vorangehend wurde die Verarbeitung der Luminanzsignale erläutert. Es ist für den einschlägigen Fachmann ohne weiteres erkennbar, daß die Verarbeitung der Farbdifferenzsignale analog durchgeführt wird. Der in diesem Fall benutzte Bewegungsvektor entspricht allerdings dem sowohl in vertikaler als auch in horizontaler Richtung halbierten Bewegungsvektor der Luminanzsignale.
Die herkömmlichen Codierverfahren haben den Nachteil, daß die oben beschriebenen Differenzen EFM und EFD, die zur Auswahl entweder des vollbildbasierten DCT-Modus oder des halbbildbasierten DCT-Modus benutzt werden, nicht notwendigerweise den orthogonalen Transformationsmodus prädizieren, der die größere Effizienz ergibt.
Ein weiterer Nachteil der oben beschriebenen Codierverfahren besteht darin, daß die Wahl der Bildprädiktion nicht notwendigerweise die effizienteste orthogonale Transformation des Prädiktionsbilds ergibt, weil die Wahl einer der Prädiktionsarten Innerbild-Prädiktion, Vorwärts-Innerbild- Prädiktion, Rückwärts-Innerbild-Prädiktion oder bidirektionale Innerbild-Prädiktion anhand von Prädiktionsfehlersignalen erfolgt, die nicht eine Funktion der DCT-Koeffizienten sind.
Die Literaturstelle IEEE Transactions on Circuits and Systems for Video Technology 1 (1991), März, Nr. 1, New York, USA, Seiten 4 bis 13 "A Bit-Rate Reduction System for HDTV Transmission" Barbero, Cucchi and Stroppiana, beschreibt Systeme zum Codieren von Bildern. Es wird ein System beschrieben, das eine "a-Posteriori-Technik" benutzt, und ein anderes System, das eine "a-Priori- Technik" benutzt.
Die räumliche Redundanz in einem Bild wird reduziert durch Benutzung
a) eines Innerhalbbild-Modus (Intrafield-Modus), bei dem nur Abtastproben verwendet werden, die zu dem gleichen Halbbild gehören.
Zeitliche Redundanz kann reduziert werden, indem die Differenzen zwischen einem 8 · 8-Block von Pixeln und einer Prädiktion dieser Pixel bestimmt wird.
b) In einem Zwischenhalbbild-Modus (Interfield-Modus) werden Abtastproben aus einem laufenden Halbbild und einem vorhergehenden Halbbild, das als Prädiktionshalbbild dient, verwendet.
c) In einem Interframe-Modus werden Halbbilder aus einem laufenden und einem vorhergehenden Vollbild, das als Prädiktions-Vollbild dient, verwendet.
d) In einem bewegungskompensierten Interframe-Modus wird für jeden Block aus 8 · 8 Pixeln ein Bewegungsvektor berechnet und als Prädiktion verwendet.
Bei einer "a-Posteriori-Technik" wird diskrete Cosinustransformation (DCT) getrennt auf jeden der vier Modi a) bis d) angewendet und der resultierende (transformierte) Modus gewählt, der die kleinste Bitzahl ergibt.
Bei der "a-Priori-Technik" werden 8 · 8-Blöcke bestimmt, wobei jeder der vier Modi a) bis d) verwendet werden. Dann wird der Modus ausgewählt, der einem Block mit der kleinsten Wechselenergie erzeugt, und der ausgewählte Block wird DCT-transformiert.
EP-A-510 972 beschreibt ebenfalls ein Bildcodiersystem. Ein Bild wird in Blöcke unterteilt. Es wird entweder der Intraframe- oder der Interframe-Modus gewählt, je nachdem welche Blöcke mit der kleinsten Wechselenergie erzeugt. Der ausgewählte Modus wird dann der diskreten Cosinustransformation unterzogen.
Nach einem Aspekt der Erfindung ist ein Verfahren zum Codieren von Bildsignalen vorgesehen mit den Verfahrensschritten:
Anordnen von Bildsignaldaten in vollbildformatierten Blöcken, in denen ungeradzahlige Halbbilddaten und geradzahligen Halbbilddaten abwechseln,
orthogonales Transformieren der vollbildformatierten Blöcke, um vollbildbasierte Koeffizientendaten zu bilden,
Anordnen der Bildsignaldaten in halbbildformatierten Blöcken, die jeweils die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,
orthogonales Transformieren der halbbildformatierten Blöcke, um halbbildbasierte Koeffizientendaten zu bilden,
Festlegen der Summe der Absolutwerte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke oder der Quadratsumme der Werte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke,
Auswählen desjenigen der halbbild- und vollbildformatierten Blöcke, der eine kleinere Koeffizientendatenmenge aufweist, in Abhängigkeit von einem Vergleich der für die halbbildformatierten Blöcke und die vollbildformatierten Blöcke berechneten Summen, und
Kodieren der ausgewählten Daten für die Übertragung.
Nach einem anderen Aspekt der Erfindung ist eine Vorrichtung zum Codieren von Bildsignalen vorgesehen mit
einer Einrichtung zum Anordnen der Bildsignaldaten in vollbildformatierten Blöcken, in denen ungeradzahlige Halbbilddaten und geradzahligen Halbbilddaten abwechseln,
einer Einrichtung zum orthogonalen Transformieren der vollbildformatierten Blöcke, um vollbildbasierte Koeffizientendaten zu bilden,
einer Einrichtung zum Anordnen der Bildsignaldaten in halbbildformatierten Blöcken, die jeweils die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,
einer Einrichtung zum orthogonalen Transformieren der halbbildformatierten Blöcke, um halbbildbasierte Koeffizientendaten zu bilden,
einer Einrichtung zum Festlegen der Summe der Absolutwerte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke oder der Quadratsumme der Werte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke,
einer Einrichtung zum Auswählen desjenigen der halbbild- und vollbildformatierten Blöcke, der eine kleinere Koeffizientendatenmenge aufweist, in Abhängigkeit von einem Vergleich der für die halbbildformatierten Blöcke und die vollbildformatierten Blöcke berechneten Summen, und
einer Einrichtung zum Kodieren der ausgewählten Daten für die Übertragung.
Die orthogonale Transformation kann eine diskrete Cosinustransformation (DCT) sein. Außerdem können die vollbildbasierten und die halbbildbasierten Summen entweder nur die hochfrequenten Koeffizienten, die Wechselkoeffizienten oder alle Koeffizienten enthalten. Darüber hinaus kann einer der Blöcke von vollbildbasierten Koeffizienten oder halbbildbasierten Koeffizienten ausgewählt werden, indem eine der betreffenden Summen mit einem vorbestimmten Schwellwert verglichen wird oder eine der betreffenden Summen mit einer zweiten entsprechenden Summe oder mit einem gewichteten Wert der zweiten entsprechenden Summe verglichen wird.
Die Erfindung wird im folgenden an exemplarischen Ausführungsbeispielen und unter Bezugnahme auf die anliegenden Zeichnungen näher erläutert, in denen einander entsprechende Teile durch die gleichen Bezugszeichen gekennzeichnet sind.
Fig. 1A und 1B zeigen Darstellungen zur Veranschaulichung der Interframe-Korrelation,
Fig. 2A und 2B zeigen Diagramme zur Veranschaulichung von Bildtypen, die bei der prädiktiven Codierung benutzt werden,
Fig. 3 zeigt ein Diagramm, das veranschaulicht, wie Bildsignale in codierte Daten für die Übertragung umgewandelt werden,
Fig. 4 zeigt ein Diagramm, das ein Objekt in Bewegung veranschaulicht,
Fig. 5A und 5B zeigen Diagramme, die verschachtelte ungeradzahlige und geradzahlige Zeilen und entmischte ungeradzahlige und geradzahlige Zeilen eines Abschnitts eines ein Bild repräsentierenden Vollbilds veranschaulichen,
Fig. 6 zeigt ein Blockschaltbild eines Vorschlags für eine Anordnung zum Codieren und Decodieren von Bildsignalen,
Fig. 7A bis 7C zeigen Diagramme, auf die bei der Erläuterung der Funktion der Formatwandlerschaltung von Fig. 6 Bezug genommen wird,
Fig. 8 zeigt ein Blockdiagramm des Codierers in der Vorrichtung von Fig. 6,
Fig. 9A und 9B zeigen Diagramme, auf die für die Erläuterung der prädiktiven Codierung des Codierers von Fig. 8 Bezug genommen wird,
Fig. 10A und 10B zeigen Diagramme, auf die bei der Erläuterung der orthogonalen Transformation des Codierers von Fig. 8 Bezug genommen wird,
Fig. 11 zeigt ein Blockdiagramm einer Konfiguration des DCT-Modusumschalters von Fig. 8,
Fig. 12 zeigt ein Blockdiagramm des Decodierers der Vorrichtung von Fig. 6,
Fig. 13 zeigt ein Blockdiagramm eines Codierers nach einem ersten Ausführungsbeispiel der Erfindung,
Fig. 14 zeigt ein Blockdiagramm eines Codierers nach einem zweiten Ausführungsbeispiel der Erfindung,
Fig. 15 zeigt ein Blockdiagramm eines Teils des Codierers von Fig. 14.
Bei der Erfindung werden Bildsignale so codiert, daß von der vollbildbasierten und der halbbildbasierten orthogonalen Transformation von Bildsignaldaten diejenige ausgewählt wird, die am effizientesten ist, wobei die vollbildbasierten und die halbbildbasierten Koeffizientendaten benutzt werden, um diejenige orthogonale Transformation zu bestimmten, die die kleinste Menge an Koeffizientendaten ergibt.
Fig. 13 zeigt ein Blockdiagramm eines Codierers nach einem ersten Ausführungsbeispiel der Erfindung. In Fig. 13 sind diejenigen Element, die mit Elementen von Fig. 8 identisch sind, mit den gleichen Bezugszeichen versehen wie dort. Auf ihre erneute Beschreibung wird hier verzichtet.
Der in Fig. 13 dargestellte Codierer besitzt eine Vollbild-DCT-Schaltung 200 für die vollbildbasierte orthogonale Transformation von Bildsignaldaten, eine Halbbild-DCT-Schaltung 201 zur halbbildbasierten orthogonalen Transformation von Bildsignaldaten und einen Vollbild/Halbbild-DCT-Modusumschalter 255, die aus den von der Vollbild-DCT-Schaltung 200 und von der Halbbild-DCT- Schaltung 201 gelieferten codierten Koeffizientendaten jeweils die auswählt, am effizientesten codiert sind.
Die Bildsignaldaten des laufenden Bilds, die von der Recheneinheit 53 auf einer Basis Makroblock für Makroblock prädiktiv codiert werden, werden in der Vollbild-DCT-Schaltung 200 so verarbeitet, als ob sie in den vollbildformatierten Blöcken von Fig. 10A angeordnet wären. Die Vollbild-DCT- Schaltung 200 transformiert jeden vollbildformatierten Block, der ein 8 · 8-Pixelarray umfaßt, orthogonal und erzeugt ein Array von 64 vollbildbasierten DCT-Koeffizienten.
Die prädiktiv codierten Bildsignaldaten werden außerdem auf einer Basis Makroblock für Makroblock der Halbbild-DCT-Schaltung 201 zugeführt und von dieser so verarbeitet, als ob sie in den halbbildformatierten Blöcken von Fig. 10B angeordnet wären. Jeder aus einem 8 · 8-Pixelarray bestehende halbbildformatierte Block wird orthogonal transformiert, um ein Array aus 64 halbbildbasierten DCT-Koeffizienten zu gewinnen.
Der DCT-Modusumschalter 255 wählt für jeden Makroblock entweder die Arrays der vollbildbasierten Koeffizienten oder die Arrays der halbbildbasierten Koeffizienten aus und liefert die ausgewählten Arrays an den Quantisierer 57 für die weitere Verarbeitung, wie sie oben in Verbindung mit Fig. 8 beschrieben wurde.
Im folgenden wird die Art und Weise beschrieben, in der der Vollbild/Halbbild-DCT-Modusumschalter 255 entweder die vollbildbasierten Koeffizienten oder die halbbildbasierten Koeffizienten auswählt.
Nach einem ersten Verfahren zur Bestimmung der jeweils jeweils effizienteren von der vollbildbasierten und der halbbildbasierten orthogonalen Transformation berechnet der DCT-Modusumschalter 255 die Summe der Absolutwerte für jedes von vier Arrays aus 64 DCT-Koeffizienten, die die vier orthogonal transformierten vollbildformatierten Luminanzblöcke repräsentieren, die in Fig. 10A durch Y[1], Y[2], Y[3] oder Y[4] dargestellt sind. Der DCT-Modusumschalter 255 addiert die vier entsprechenden Summen, um ein Vollbildgewicht zu berechnen. Dies geschieht summarisch in folgender Weise:
(3) Vollbild-Gewicht
Vollbild-DCT-Koeffizient [i],[j]
worin j den Index des jeweiligen vollbildbasierten Koeffizienten, i den Index der jeweiligen Luminanzblöcke und der Ausdruck Vollbild-DCT-Koeffizient [i] [j] den Wert des vollbildbasierten Koeffizienten repräsentieren.
Der DCT-Modusumschalter 255 berechnet in gleicher Weise ein Halbbildgewicht nach der folgenden Gleichung:
(4) Halbbild-Gewicht
Halbbild-DCT-Koeffizient [i], [j]
worin j den Index des jeweiligen halbbildbasierten Koeffizienten, i den Index der jeweiligen Luminanzblöcke (die in Fig. 1 OB durch Y[1], Y[2], Y[3] und Y[4] dargestellt sind) und der Ausdruck Halbbild-DCT-Koeffizient [i][j] den Wert des halbbildbasierten Koeffizienten repräsentieren.
Anstelle der Summe der Absolutwerte wird alternativ die Summe der Quadrate der jeweiligen DCT- Koeffizienten berechnet. Das Vollbildgewicht und das Halbbildgewicht können die Summen der Absolutwerte oder die Summe der Quadrate der beiden Arrays von DCT-Koeffizienten enthalten, die die beiden Farbdifferenzblöcke repräsentieren und in Fig. 10A und 10B mit Cb[5] bzw. Cr[6] bezeichnet sind.
Der DCT-Modusumschalter 255 vergleicht das Vollbildgewicht mit einem vorbestimmten Schwellwert TH&sub1;. Wenn das Vollbildgewicht kleiner ist als TH&sub1;, wird die vollbildbasierte orthogonale Transformation als die effizientere orthogonale Transformation bestimmt, und der DCT-Modusumschalter 255 liefert die vollbildbasierten Koeffizienten an den Quantisierer 57.
Falls das Vollbildgewicht gleich oder größer ist als TH&sub1;, wird das Vollbildgewicht mit dem Halbbildgewicht verglichen. Falls das Vollbildgewicht kleiner ist als das Halbbildgewicht, wird entschieden, daß die vollbildbasierte orthogonale Transformation die effizientere orthogonale Transformation ist, und die vollbildbasierten Koeffizienten werden dem Quantisierer 57 zugeführt. Wenn umgekehrt das Halbbildgewicht kleiner ist als das Vollbildgewicht, wird entschieden, daß die halbbildbasierte orthogonale Transformation die effizientere orthogonale Transformation ist, und die halbbildbasierten Koeffizienten werden ausgegeben.
Alternativ wird das Vollbildgewicht mit dem Halbbildgewicht verglichen, indem gewichtete Werte benutzt werden. Wenn beispielsweise die Relation
Vollbildgewicht < (Halbbildgewicht * β&sub1;) + α&sub1;
wahr ist, ist die vollbildbasierte orthogonale Transformation die effizientere Transformation, und die vollbildbasierten Koeffizienten werden ausgewählt. Wenn die Relation nicht wahr ist, werden die halbbildbasierten Koeffizienten ausgewählt. In diesem Beispiel repräsentieren α&sub1; und β&sub1; vorbestimmte Gewichtungswerte, die empirisch ermittelt werden.
Nach einem zweiten Verfahren zur Bestimmung der jeweils effizienteren aus der vollbildbasierten orthogonalen Transformation und der halbbildbasierten orthogonalen Transformation berechnet der DCT-Modusumschalter 255 das Vollbildgewicht und das Halbbildgewicht in der oben beschriebenen Weise, jedoch nur mit einem Teil jedes Arrays der 64 vollbildbasierten Koeffizienten und nur einem Teil jedes Arrays der 64 halbbildbasierten Koeffizienten, z. B. mit den Koeffizienten der untersten zwei Zeilen jedes 8 · 8-Arrays von DCT-Koeffizienten. Weil diese DCT-Koeffizienten höhere Frequenzen repräsentieren und deshalb mehr Information über eine Bewegung eines ungeradzahligen Halbbilds und eines geradzahligen Halbbilds anzeigen als die Koeffizienten, die niedrigere Frequenzen repräsentieren, berechnet der DCT-Modusumschalter 255 das Vollbildgewicht und das Halbbildgewicht unter Verwendung nur dieser höherfrequenten Koeffizienten.
Bei diesem zweiten Verfahren vergleicht der DCT-Modusumschalter 255 das Vollbildgewicht mit dem Halbbildgewicht. Wenn das Vollbildgewicht den kleineren Wert hat, werden die vollbildbasierten Koeffizienten ausgewählt und dem Quantisierer 57 zugeführt. Wenn umgekehrt das Halbbildgewicht den kleineren Wert hat, werden die halbbildbasierten Koeffizienten ausgewählt und dem Quantisierer 57 zugeführt.
Alternativ wird das Vollbildgewicht mit dem Halbbildgewicht verglichen, wobei gewichtete Werte verwendet werden. Wenn beispielsweise die Relation
Vollbildgewicht < (Halbbildgewicht * β&sub2;) + α&sub2;
wahr ist, werden die vollbildbasierten Koeffizienten ausgewählt. Wenn die Relation nicht wahr ist, werden die halbbildbasierten Koeffizienten ausgewählt. In diesem Beispiel repräsentieren α&sub2; und β&sub2; vorbestimmte Gewichtungswerte, die empirisch ermittelt werden.
Fig. 14 zeigt das Blockschaltbild eines Codierers nach einem zweiten Ausführungsbeispiel der Erfindung. In diesem zweiten Ausführungsbeispiel erfolgt die Auswahl zwischen Intra-Codierung und Intercodierung und die Auswahl zwischen vollbildbasierter und halbbildbasierter orthogonaler Transformation als Funktion der jeweiligen DCT-Koeffizienten, die die kleinste Menge an Koeffizientendaten haben.
Der in Fig. 14 dargestellte Codierer enthält eine Prädiktions-Entscheidungsschaltung 319 und einen Schalter 320, die in Fig. 15 im Detail dargestellt sind. Diejenigen Elemente in Fig. 14, die mit Elementen von Fig. 8 identisch sind, sind mit den gleichen Bezugszeichen versehen wie dort und werden nicht erneut beschrieben. In diesem zweiten Ausführungsbeispiel berechnet der Bewegungsvektor- Detektor 50 jedoch keinen Schätzwert für die Intra-Codierung. Die Prädiktions-Entscheidungsschaltung 54 wählt nur eine der Prädiktionsarten Vorwärts-Prädiktion, Rückwärts-Prädiktion oder bidirek tionale Prädiktion aus. Sie führt hingegen keine Auswahl bezüglich Intra-Codierung oder Intercodierung durch.
Wie Fig. 15 zeigt, führt der Prädiktionsmodus-Umschalter 52 dem Eingang 300 für jeden Prädiktionsmodus die Bildsignaldaten des laufenden Bilds auf einer Basis Makroblock für Makroblock zu. Die Bildsignaldaten werden von der Vollbild-DCT-Schaltung 303 so verarbeitet als ob sie in intracodierten vollbildformatierten Blöcken mit jeweils 8 · 8-Pixelarrays angeordnet wären. Die Vollbild-DCT- Schaltung 303 transformiert jeden intracodierten vollbildformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 intracodierten vollbildbasierten DCT-Koeffizienten, die dem DCT-Modusumschalter 311 zugeführt werden.
Für jeden Prädiktionsmodus werden die Bildsignaldaten des laufenden Bildes auch von der Halbbild-DCT-Schaltung 304 verarbeitet, als ob sie in intracodierten halbbildformatierten Blöcken angeordnet wären. Die Halbbild-DCT-Schaltung 304 transformiert jeden intracodierten halbbildformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 intracodierten halbbildbasierten DCT-Koeffizienten.
Der DCT-Modusumschalter 311 wählt für jeden Makroblock entweder die Arrays aus intracodierten vollbildbasierten Koeffizienten oder die Arrays aus intracodierten halbbildbasierten Koeffizienten und liefert die ausgewählten Koeffizienten an den Schalter 315.
Die Verfahren, nach denen der DCT-Modusumschalter 311 entweder die Arrays der intracodierten vollbildbasierten Koeffizienten oder die Arrays der intracodierten halbbildbasierten Koeffizienten auswählt, entspricht im wesentlichen dem ersten oder zweiten Verfahren, das in dem DCT-Modusumschalter 255 des in Verbindung mit Fig. 13 diskutierten ersten Ausführungsbeispiels abläuft. Bei dem ersten Verfahren dieses zweiten Ausführungsbeispiels berechnet die Schaltung 311 jedoch ein intracodiertes Vollbildgewicht und ein intracodiertes Halbbildgewicht, wobei nur die 63 Wechselkoeffizienten jedes Arrays aus 64 vollbildbasierten Koeffizienten und die 63 Wechselkoeffizienten jedes Arrays aus 64 halbbildbasierten Koeffizienten benutzt werden. Der DCT-Modusumschalter 311 liefert das Gewicht, das aus dem intracodierten Vollbildgewicht und dem intracodierten Halbbildgewicht ausgewählt wurde, als Intra-Codier-Gewicht an die Prädiktions-Entscheidungsschaltung 319.
Wenn die Prädiktions-Entscheidungsschaltung 54 den Vorwärts-Prädiktionsmodus wählt, werden die Bildsignaldaten vom dem Eingang 300 über den Wähler 330 auch der Recheneinheit 353a zugeführt, die einen Makroblock eines über den Eingang 301 zugeführten prädiktiven Bilds von einem Makroblock des Bildsignals subtrahiert, um vorwärtsprädiktiv codierte Daten zu erzeugen. Die vorwärtsprädiktiv codierten Daten werden von der Vollbild-DCT-Schaltung 305 so verarbeitet, als ob sie in vorwärtsprädiktiv codierten vollbildbasierten Blöcken angeordnet wären, die jeweils ein 8 · 8-Pixelarray umfassen. Die Vollbild-DCT-Schaltung 305 transformiert jeden vorwärtsprädiktiv codierten rahmenformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 vorwärtsprädiktiv codierten vollbildbasierten DCT-Koeffizienten und liefert diese Koeffizienten an den DCT-Modusumschalter 312.
Die vorwärtsprädiktiv codierten Daten werden auch von der Halbbild-DCT-Schaltung 306 verarbeitet, so als ob sie in vorwärtsprädiktiv codierten halbbildformatierten Blöcken angeordnet wären. Die Halbbild-DCT-Schaltung 306 transformiert jeden vorwärtsprädiktiv codierten halbbildformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 vorwärtsprädiktiv codierten halbbildbasierten DCT-Koeffizienten und liefert die Koeffizienten an die Schaltung 312.
Der DCT-Modusumschalter 312 wählt für jeden Makroblock entweder die Arrays der vorwärtsprädiktiv codierten vollbildbasierten Koeffizienten oder die Arrays der vorwärtsprädiktiv codierten halbbildbasierten Koeffizienten und liefert die ausgewählten Koeffizienten an den Schalter 315. Der DCT- Modusumschalter 312 wählt eine des Arrays im wesentlichen genauso aus wie der DCT-Modusumschalter 255 in dem ersten Ausführungsbeispiel. Der DCT-Modusumschalter 312 berechnet so ein vorwärtsprädiktives Vollbildgewicht und ein vorwärtsprädiktives Halbbildgewicht, wählt eines der Gewichte aus und liefert das ausgewählte Gewicht als Intercodier-Gewicht an die Prädiktions-Entscheidungsschaltung 319.
Wenn die Prädiktions-Entscheidungsschaltung 54 den Rückwärts-Prädiktionsmodus auswählt, werden die Bilddaten von dem Eingang 300 über den Wähler 330 auch an die Recheneinheit 353b geliefert, die einen über den Eingang 302 zugeführten Makroblock eines Prädiktionsbildes von einem Makroblock der Bildsignaldaten subtrahiert, um rückwärtsprädiktive codierte Daten zu erzeugen. Die rückwärtsprädiktiven codierten Daten werden von der Vollbild-DCT-Schaltung 307 verarbeitet, als ob sie in rückwärtsprädiktiv codierten vollbildformatierten Blöcken angeordnet wären, die jeweils ein 8 · 8-Pixelarray umfassen. Die Vollbild-DCT-Schaltung 307 transformiert jeden rückwärtsprädiktiv codierten vollbildformatierten Block orthogonal und bildet als ein entsprechendes Array aus 64 rückwärtsprädiktiv codierten vollbildbasierten DCT-Koeffizienten und liefert die Koeffizienten an den DCT-Modusumschalter 313.
Die rückwärtsprädiktiv codierten Daten werden auch von der Halbbild-DCT-Schaltung 308 verarbeitet, als ob sie in rückwärtsprädiktiv codierten halbbildformatierten Blöcken angeordnet wären. Die Halbbild-DCT-Schaltung 308 transformiert jeden rückwärtsprädiktiv codierten halbbildformatierten Block orthogonal und bildet eine entsprechendes Array aus 64 rückwärtsprädiktiv codierten halbbildbasierten DCT-Koeffizienten und liefert die Koeffizienten an die Schaltung 313.
Der DCT-Modusumschalter 313 wählt für jeden Makroblock entweder die Arrays aus rückwärtsprädiktiv codierten vollbildbasierten Koeffizienten oder die Arrays aus rückwärtsprädiktiv codierten halbbildbasierten Koeffizienten aus und liefert die ausgewählten Koeffizienten an den Schalter 315.
Der DCT-Modusumschalter 313 wählt eines der Arrays im wesentlichen genauso aus wie der DCT- Modusumschalter 312. Der DCT-Modusumschalter 313 berechnet so ein rückwärtsprädiktives Vollbildgewicht und ein rückwärtsprädiktives Halbbildgewicht, wählt eines der Gewichte aus und liefert das ausgewählte Gewicht als Intercodier-Gewicht an die Prädiktions-Entscheidungsschaltung 319.
Wenn die Prädiktions-Entscheidungsschaltung 54 den bidirektionalen Prädiktionsmodus auswählt, werden die Bildsignaldaten von dem Eingang 300 über den Wähler 330 an die Recheneinheit 353c geliefert, die den Mittelwert eines über den Eingang 301 zugeführten Makroblocks eines vorwärtsprädiktiven Bildes und eines über den Eingang 302 zugeführten Makroblocks eines rückwärtsprädiktiven Bildes von den Bildsignaldaten subtrahiert, um bidirektional prädiktiv codierte Daten zu erzeugen. Die bidirektional prädiktiv codierten Daten werden von der Vollbild-DCT-Schaltung 309 so verarbeitet, als ob sie in bidirektional prädiktiv codierten vollbildbasierten Blöcken angeordnet wären, die jeweils ein 8 · 8-Pixelarray umfassen. Die Vollbild-DCT-Schaltung 309 transformiert jeden bidirektional prädiktiv codierten vollbildformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 bidirektional prädiktiv codierten vollbildbasierten DCT-Koeffizienten und liefert die Koeffizienten an den DCT-Modusumschalter 314.
Die bidirektional prädiktiv codierten Daten werden auch von der Halbbild-DCT-Schaltung 310 verarbeitet, als ob sie in bidirektional prädiktiv codierten halbbildformatierten Blöcken angeordnet wären. Die Halbbild-DCT-Schaltung 310 transformiert jeden bidirektional prädiktiv codierten halbbildformatierten Block orthogonal und bildet ein entsprechendes Array aus 64 bidirektional prädiktiv codierten halbbildbasierten DCT-Koeffizienten und liefert die Koeffizienten an den DCT-Modusumschalter 314.
Der DCT-Modusumschalter 314 wählt entweder die Arrays der bidirektional prädiktiv codierten vollbildbasierten Koeffizienten oder die Arrays der bidirektional prädiktiv codierten halbbildbasierten Koeffizienten aus und liefert die ausgewählten Koeffizienten an den Schalter 315. Der DCT-Modusumschalter 314 wählt eines der Arrays im wesentlichen genauso aus wie der OCT-Modusumschalter 312. Der DCT-Modusumschalter 314 berechnet so ein bidirektional prädiktives Vollbildgewicht und ein bidirektional prädiktives Halbbildgewicht, wählt eines der Gewichte aus und liefert das ausgewählte Gewicht als Intercodier-Gewicht an die Prädiktions-Entscheidungsschaltung 319.
Die Prädiktions-Entscheidungsschaltung 319 vergleicht den Wert des Intercodier-Gewichts mit einem vorbestimmten Schwellwert TH&sub2;. Wenn das Intercodier-Gewicht kleiner ist als TH&sub2;, wird daraus gefolgert, daß die orthogonale Transformation, die dem Intercodier-Gewicht entspricht, als prädiktiver Codiermodus und DCT-Transformationsmodus effizienter sind.
Falls der Wert des Intercodier-Gewichts gleich oder größer ist als der Wert TH&sub2;, werden das Intercodier-Gewicht und das Intracodier-Gewicht miteinander verglichen. Wenn das Intercodier-Ge wicht den kleineren Wert hat, werden die entsprechenden Prädiktionsmodus-Koeffizienten ausgewählt. Wenn hingegen das Intracodier-Gewicht den kleineren Wert hat, werden die entsprechenden intracodierten Koeffizienten ausgewählt.
Alternativ werden das Intracodier-Gewicht und das Intercodier-Gewicht unter Verwendung gewichteter Werte verglichen. Wenn beispielsweise die Relation
Intercodier-Gewicht < (Intracodier-Gewicht * β&sub3;) + α&sub3;
wahr ist, wird daraus gefolgert, daß der entsprechende Intercodier-Prädiktions-Codiermodus und die vollbildbasierte oder halbbildbasierte orthogonale Transformation der effizienteste Modus ist, und die entsprechenden DCT-Koeffizientendaten werden ausgewählt. Falls die Relation nicht wahr ist, werden die entsprechenden intracodierten Koeffizientendaten ausgewählt. In diesem Beispiel repräsentieren die Werte α&sub3; und β&sub3; vorbestimmte Gewichtungswerte, die empirisch ermittelt werden.
Die Prädiktions-Entscheidungsschaltung 319 setzt den Schalter 315 auf einen der Eingangskontakte a, b, c oder d, so daß er die entsprechenden Koeffizientendaten, d. h. die intracodierten vollbildbasierten, die intracodierten halbbildbasierten, die vorwärtsprädiktiv codierten vollbildbasierten, die vorwärtsprädiktiv codierten halbbildbasierten, die rückwärtsprädiktiv codierten vollbildbasierten, die rückwärtsprädiktiv codierten halbbildbasierten, die bidirektional prädiktiv codierten vollbildbasierten bzw. die bidirektional prädiktiv codierten halbbildbasierten Koeffizientendaten aufnimmt. Der Schalter 315 liefert die ausgewählten Koeffizientendaten an den Ausgang 318.
Die ausgewählten Koeffizientendaten werden über den Ausgang 318 dem Quantisierer 57 von Fig. 14 zugeführt und weiterverarbeitet, wie dies oben anhand von Fig. 8 beschrieben wurde.
Vorangehend wurden anhand der anliegenden Zeichnungen einige Ausführungsbeispiele der Erfindung und verschiedene Modifizierungen dieser Ausführungsbeispiele im Detail beschrieben. Die Erfindung ist hierauf nicht beschränkt, der einschlägige Fachmann ist vielmehr ohne weiteres in der Lage, diverse Änderungen und weitere Modifizierungen vorzusehen, ohne daß der Schutzbereich der Erfindung verlassen wird.

Claims

1. Verfahren zum Kodieren von Bildsignalen mit den Verfahrensschritten:

Anordnen von Bildsignaldaten in vollbildformatierten Blöcken, in denen ungeradzahlige Halbbilddaten und geradzahligen Halbbilddaten abwechseln,

orthogonales Transformieren (20, 303, 305, 307, 309) der vollbildformatierten Blöcke, um vollbildbasierte Koeffizientendaten zu bilden,

Anordnen der Bildsignaldaten in halbbildformatierten Blöcken, die jeweils die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,

orthogonales Transformieren (201, 304, 306, 308, 310) der halbbildformatierten Blöcke, um halbbildbasierte Koeffizientendaten zu bilden,

Festlegen (255, 311-314) der Summe der Absolutwerte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke oder der Quadratsumme der Werte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke,

Auswählen (255, 318, 319) desjenigen der halbbild- und vollbildformatierten Blöcke, der eine kleinere Koeffizientendatenmenge aufweist, in Abhängigkeit von einem Vergleich der für die halbbildformatierten Blöcke und die vollbildformatierten Blöcke berechneten Summen, und

Kodieren (57-59) der ausgewählten Daten für die Übertragung.

2. Verfahren nach Anspruch 1 mit dem weiteren Verfahrensschritt des Quantisierens (57) der ausgewählten Daten.

3. Verfahren nach Anspruch 1 oder 2, bei dem die Bildsignaldaten auf einer Basis Makroblock für Makroblock in den vollbildformatierten Blöcken und in den halbbildformatierten Blöcken angeordnet werden und bei dem die ausgewählten Daten auf einer Basis Makroblock für Makroblock ausgewählt werden.

4. Vorrichtung zum Kodieren von Bildsignalen mit

einer Einrichtung zum Anordnen der Bildsignaldaten in vollbildformatierten Blöcken, in denen ungeradzahlige Halbbilddaten und geradzahligen Halbbilddaten abwechseln,

einer Einrichtung zum orthogonalen Transformieren (20, 303, 305, 307, 309) der vollbildformatierten Blöcke, um vollbildbasierte Koeffizientendaten zu bilden,

einer Einrichtung zum Anordnen der Bildsignaldaten in halbbildformatierten Blöcken, die jeweils die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,

einer Einrichtung zum orthogonalen Transformieren (201, 304, 306, 308, 310) der halbbildformatierten Blöcke, um halbbildbasierte Koeffizientendaten zu bilden,

einer Einrichtung zum Festlegen (255, 311-314) der Summe der Absolutwerte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke oder der Quadratsumme der Werte der Koeffizienten zumindest von Teilen der halbbildformatierten Blöcke und der vollbildformatierten Blöcke,

einer Einrichtung zum Auswählen (255, 318, 319) desjenigen der halbbild- und vollbildformatierten Blöcke, der eine kleinere Koeffizientendatenmenge aufweist, in Abhängigkeit von einem Vergleich der für die halbbildformatierten Blöcke und die vollbildformatierten Blöcke berechneten Summen, und

einer Einrichtung zum Kodieren (57-59) der ausgewählten Daten für die Übertragung.

5. Vorrichtung nach Anspruch 4 mit einer Einrichtung zum Quantisieren (57) der ausgewählten Daten.

6. Vorrichtung nach Anspruch 4 oder 5, bei der die Bildsignaldaten auf einer Basis Makroblock für Makroblock in den vollbildformatierten Blöcken und in den halbbildformatierten Blöcken angeordnet werden und bei dem die ausgewählten Daten auf einer Basis Makroblock für Makroblock ausgewählt werden.

7. Verfahren nach Anspruch 1, 2 oder 3, bei dem der Verfahrensschritt des orthogonalen Transformierens (200) der vollbildformatierten Blöcke Arrays von vollbildbasierten Koeffizi enten erzeugt, wobei jedes Array einem der vollbildformatierten Blöcke entspricht,

der Verfahrensschritt des Festlegens (255) die jeweiligen Größen zumindest eines Teils jedes Arrays von vollbildbasierten Koeffizienten kombiniert, um eine vollbildbasierte Summe zu bilden,

der Verfahrensschritt des orthogonalen Transformierens (200) der halbbildformatierten Blöcke Arrays von halbbildbasierten Koeffizienten erzeugt, wobei jedes Array einem der halbbildformatierten Blöcke entspricht,

der Verfahrensschritt des Festlegens (255) die jeweiligen Größen zumindest eines Teils jedes Arrays von halbbildbasierten Koeffizienten kombiniert, um eine halbbildbasierte Summe zu bilden,

und der Verfahrensschritt des Auswählens in Abhängigkeit von einem Vergleich der vollbildbasierten Summe und der halbbildbasierten Summe dasjenige der Arrays von vollbildbasierten Koeffizienten und der Arrays von halbbildbasierten Koeffizienten auswählt, das die kleinere Koeffizientendatenmenge aufweist.

8. Verfahren nach Anspruch 1, 2, 3 oder 7, bei dem der Verfahrensschritt des orthogonalen Transformierens (200) der vollbildbasierten Blöcke eine diskrete Cosinustransformation der vollbildbasierten Blöcke umfaßt und bei dem der Verfahrensschritt des orthogonalen Transformierens (200) der halbbildbasierten Blöcke eine diskrete Cosinustransformation der halbbildbasierten Blöcke umfaßt.

9. Verfahren nach Anspruch 7 oder 8, bei dem die Bildsignaldaten Luminanzdaten und Farbdifferenzdaten umfassen und bei dem jeder der vollbildformatierten Blöcke und jeder der halbbildformatierten Blöcke entweder die Luminanzdaten oder die Farbdifferenzdaten repräsentiert und die halbbildformatierten Blöcke, die die Farbdifferenzdaten repräsentieren, ungeradzahlige Halbbilddaten umfassen, die von geradzahligen Halbbilddaten getrennt sind.

10. Verfahren nach einem der Ansprüche 7 bis 9, bei dem der genannte Teil jedes Arrays von vollbildbasierten Koeffizienten und der genannte Teil jedes Arrays von halbbildbasierten Koeffizienten hochfrequente Koeffizienten umfassen.

11. Verfahren nach einem der Ansprüche 7 bis 10, bei dem die vollbildbasierten Koeffizienten ausgewählt werden, wenn der Wert der vollbildbasierten Summe unter einem vorbestimmten Schwellwert liegt.

12. Verfahren nach einem der Ansprüche 7 bis 10, bei dem die vollbildbasierten Koeffizienten ausgewählt werden, wenn die vollbildbasierten Summe einen kleineren Wert hat als die halbbildbasierte Summe, und bei dem die halbbildbasierten Koeffizienten ausgewählt werden, wenn die vollbildbasierten Summe einen größeren Wert hat als die halbbildbasierte Summe.

13. Verfahren nach einem der Ansprüche 7 bis 10,

bei dem die vollbildbasierten Koeffizienten ausgewählt werden, wenn

Sum,Vollbild < Sum,Halbbild * β + α,

wobei

Sum, Vollbild = die genannte vollbildbasierte Summe

Sum,Halbbild = die genannte halbbildbasierte Summe und

β, α = vorbestimmte Werte bedeuten

und bei dem die halbbildbasierten Koeffizienten ausgewählt werden, wenn

Sum,Vollbild ≥ Sum,Halbbild * β + α.

14. Vorrichtung nach Anspruch 4, 5 oder 6, bei der

die Einrichtung zum orthogonalen Transformieren der vollbildformatierten Blöcke Arrays von vollbildbasierten Koeffizienten bildet, wobei jedes Array einem der vollbildbasierten Blöcke entspricht,

die Einrichtung zum Festlegen die jeweiligen Größen zumindest eines Teils (255) jedes Arrays von vollbildbasierten Koeffizienten kombiniert, um eine vollbildbasierte Summe zu bilden,

die Einrichtung zum orthogonalen Transformieren der halbbildformatierten Blöcke Arrays von halbbildbasierten Koeffizienten bildet, wobei jedes Array einem der halbbildbasierten Blöcke entspricht,

die Einrichtung zum Festlegen die jeweiligen Größen zumindest eines Teils jedes Arrays von halbbildbasierten Koeffizienten kombiniert, um eine halbbildbasierte Summe zu bilden, und

die Einrichtung zum Auswählen (255) aus den Arrays von vollbildbasierten Koeffizienten und den Arrays von halbbildbasierten Koeffizienten in Abhängigkeit von einem Vergleich der vollbildbasierten Summe und der halbbildbasierten Summe dasjenige der Arrays von vollbildbasierten Koeffizienten und halbbildbasierten Koeffizienten auswählt, das die kleinere Koeffizientendatenmenge aufweist,

15. Vorrichtung nach Anspruch 4, 5, 6 oder 14, bei der die Einrichtung zum orthogonalen Transformieren (200) der vollbildformatierten Blöcke eine diskrete Cosinustransformation der vollbildformatierten Blöcke durchführt und bei der die Einrichtung zum orthogonalen Transformieren (200) der halbbildformatierten Blöcke eine diskrete Cosinustransformation der halbbildformatierten Blöcke durchführt.

16. Vorrichtung nach Anspruch 14 oder 15, bei der die Bildsignaldaten Luminanzdaten und Farbdifferenzdaten umfassen und bei der jeder der vollbildformatierten Blöcke und jeder der halbbildformatierten Blöcke entweder die Luminanzdaten oder die Farbdifferenzdaten repräsentiert und die halbbildformatierten Blöcke, die die Farbdifferenzdaten repräsentieren, ungeradzahlige Halbbilddaten umfassen, die von geradzahligen Halbbilddaten getrennt sind.

17. Vorrichtung nach Anspruch 14, 15 oder 16, bei der der genannte Teil jedes Arrays von vollbildbasierten Koeffizienten und der genannte Teil jedes Arrays von halbbildbasierten Koeffizienten hochfrequente Koeffizienten umfassen.

18. Vorrichtung nach einem der Ansprüche 14 bis 17, bei der die vollbildbasierten Koeffizienten ausgewählt werden, wenn der Wert der vollbildbasierten Summe unter einem vorbestimmten Schwellwert liegt.

19. Vorrichtung nach einem der Ansprüche 14 bis 17, bei der die vollbildbasierten Koeffizienten ausgewählt werden, wenn die vollbildbasierte Summe einen kleineren Wert hat als die halbbildbasierte Summe, und bei dem die halbbildbasierten Koeffizienten ausgewählt werden, wenn die vollbildbasierte Summe einen größeren Wert hat als die halbbildbasierte Summe.

20. Vorrichtung nach einem der Ansprüche 14 bis 17,

bei der die vollbildbasierten Koeffizienten ausgewählt werden, wenn

Sum, Vollbild < Sum,Halbbild * β + α,

wobei

Sum,Vollbild = die genannte vollbildbasierte Summe

Sum,Halbbild = die genannte halbbildbasierte Summe und

β, α = vorbestimmte Werte

sind

und bei der die halbbildbasierten Koeffizienten ausgewählt werden, wenn

Sum,Vollbild Sum,Halbbild * β + α.

21. Verfahren nach einem der Ansprüche 1 bis 3 und 7 bis 9, bei dem

die Bildsignaldaten in intrakodierten vollbildformatierten Blöcken und in interkodierten vollbildformatierten Blöcken angeordnet werden, in denen ungeradzahligen Halbbilddaten mit geradzahligen Halbbilddaten abwechseln,

die intrakodierten vollbildformatierten Blöcke und die interkodierten vollbildformatierten Blöcke orthogonal transformiert werden (303, 305, 307, 309), um intrakodierte vollbildbasierte Koeffizientendaten bzw. interkodierte vollbildbasierte Koeffizientendaten zu bilden,

die Bildsignaldaten in intrakodierten halbbildformatierten Blöcken und in interkodierten halbbildformatierten Blöcken angeordnet werden, die jeweils entweder die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,

die intrakodierten halbbildformatierten Blöcke und die interkodierten halbbildformatierten Blöcke orthogonal transformiert werden, um intrakodierte halbbildbasierte Koeffizientendaten bzw. interkodierte halbbildbasierte Koeffizientendaten zu bilden,

der Verfahrensschritt des Festlegens festlegt:

a1) die Summe (die intrakodierte halbbildbasierte Summe) der Absolutwerte der Koeffizienten zumindest von Teilen der intrakodierten halbbildformatierten Blöcke und die Summe (die intrakodierte vollbildbasierte Summe) der Absolutwerte der Koeffizienten zumindest von Teilen der intrakodierten vollbildformatierten Blöcke (311) oder

a2) die Quadratsumme (die intrakodierte halbbildbasierte Summe) der Werte der Koeffizienten zumindest von Teilen der intrakodierten halbbildformatierten Blöcke und die Quadratsumme (die intrakodierte vollbildbasierte Summe) der Werte der Koeffizienten zumindest von Teilen der intrakodierten vollbildformatierten Blöcke (311) und

b1) die Summe (die interkodierte halbbildbasierte Summe) der Absolutwerte der Koeffizienten zumindest von Teilen der interkodierten halbbildformatierten Blöcke und die Summe (die interkodierte vollbildbasierte Summe) der Absolutwerte der Koeffizienten zumindest von Teilen der interkodierten vollbildformatierten Blöcke (312, 313, 314) oder

b2) die Quadratsumme (die interkodierte halbbildbasierte Summe) der Werte der Koeffizienten zumindest von Teilen der interkodierten halbbildformatierten Blöcke und die Quadratsumme (die interkodierte vollbildbasierte Summe) der Werte der Koeffizienten zumindest von Teilen der interkodierten vollbildformatierten Blöcke (311), und

der Verfahrensschritt des Auswählen (318, 319) auf der Basis eines Vergleichs der festgelegten Summen denjenigen aus den intrakodierten halbbildformatierten Blöcke, den intrakodierten vollbildformatierten Blöcken, den interkodierten halbbildformatierten Blöcke und den interkodierten vollbildformatierten Blöcken auswählt, der die kleinste Koeffizientendatenmenge aufweist.

22. Verfahren nach Anspruch 21, bei dem der Verfahrensschritt des Auswählens umfaßt:

das Auswählen (311) derjenigen aus den intrakodierten vollbildbasierten Koeffizientendaten und den intrakodierten halbbildbasierten Koeffizientendaten als ausgewählte intrakodierte Koeffizientendaten, die die kleinere Koeffizientendatenmenge haben,

das Auswählen (312-3124) derjenigen aus den interkodierten vollbildbasierten Koeffizientendaten und den interkodierten halbbildbasierten Koeffizientendaten als ausgewählte interkodierte Koeffizientendaten, die die kleinere Koeffizientendatenmenge haben, und

das Auswählen (318, 319) derjenigen aus den ausgewählten intrakodierten Koeffizientendaten und den ausgewählten interkodierten Koeffizientendaten, die die kleinere Koeffizientendatenmenge haben.

23. Verfahren nach Anspruch 22, bei dem die intrakodierten vollbildbasierten Koeffizientendaten als intrakodierte Koeffizientendaten ausgewählt werden, wenn der Wert der genannten intrakodierten vollbildbasierten Summe kleiner ist als ein erster vorbestimmter Schwellwert, und bei dem die interkodierten vollbildbasierten Koeffizientendaten als interkodierte Koeffizientendaten ausgewählt werden, wenn der Wert der genannten interkodierten vollbildbasierten Summe kleiner ist als ein zweiter vorbestimmter Schwellwert.

24. Verfahren nach Anspruch 22,

bei dem die intrakodierten vollbildbasierten Koeffizientendaten als die ausgewählten intrakodierten Koeffizientendaten ausgewählt werden, wenn der Wert der intrakodierten vollbildbasierten Summe kleiner ist als die intrakodierte halbbildbasierte Summe und

bei dem die intrakodierten halbbildbasierten Koeffizientendaten als die ausgewählten intrakodierten Koeffizientendaten ausgewählt werden, wenn der Wert der intrakodierten vollbildbasierten Summe größer ist als die intrakodierte halbbildbasierte Summe und

bei dem die interkodierten vollbildbasierten Koeffizientendaten als die ausgewählten interkodierten Koeffizientendaten ausgewählt werden, wenn der Wert der interkodierten vollbildbasierten Summe kleiner ist als die interkodierte halbbildbasierte Summe und

bei dem die interkodierten vollbildbasierten Koeffizientendaten als die ausgewählten interkodierten Koeffizientendaten ausgewählt werden, wenn der Wert der interkodierten vollbildbasierten Summe größer ist als die interkodierte halbbildbasierte Summe.

25. Verfahren nach Anspruch 22, bei dem

bei dem die intrakodierten vollbildbasierten Koeffizientendaten ausgewählt werden, wenn

Sumintra,Vollbild < Sumintra,Halbbild * β + α, wobei

Sumintra,Vollbild = die genannte intrakodierte vollbildbasierte Summe

Sumintra,Halbbild = die genannte intrakodierte halbbildbasierte Summe und

β, α - vorbestimmte Werte bedeuten

und bei dem die halbbildbasierten Koeffizienten ausgewählt werden, wenn

Sumintra,Vollbild ≥ Sumintra,Halbbild * β a.

26. Verfahren nach Anspruch 22, bei dem die interkodierten vollbildbasierten Koeffizientendaten ausgewählt werden, wenn

Suminter,Vollbild < Suminter,Halbbild * β + α.

wobei

Suminter,Vollbild = die genannte interkodierte vollbildbasierte Summe

Suminter,Halbbild = die genannte interkodierte halbbildbasierte Summe und

β, α = vorbestimmte Werte bedeuten

und bei dem die halbbildbasierten Koeffizienten ausgewählt werden, wenn

Suminter,Vollbild ≥ Suminter,Halbbild * β + α.

27. Verfahren nach einem der Ansprüche 21 bis 26, bei dem die genannten vorbestimmten Summen der Absolutwerte oder Quadrate der Werte von Wechselkoeffizienten sind.

28. Verfahren nach Anspruch 27, bei dem die Wechselkoeffizienten hochfrequente Koeffizienten sind.

29. Vorrichtung nach einem der Ansprüche 4 bis 6 und 15 bis 20, bei der

die Einrichtung zum Anordnen der Bildsignaldaten in vollbildformatierten Blöcke die Daten in intrakodierten vollbildformatierten Blöcken und in interkodierten vollbildformatierten Blöcken anordnet, in denen ungeradzahligen Halbbilddaten mit geradzahligen Halbbilddaten abwechseln,

die Einrichtung (303, 305, 307, 309) zum orthogonalen Transformieren der vollbildformatierten Blöcke die intrakodierten vollbildformatierten Blöcke und die interkodierten vollbildformatierten Blöcke transformiert, um intrakodierte vollbildbasierte Koeffizientendaten bzw. interkodierte vollbildbasierte Koeffizientendaten zu bilden,

die Einrichtung zum Anordnen der Bildsignaldaten in halbbildformatierten Blöcken die Daten in intrakodierten halbbildformatierten Blöcken und in interkodierten halbbildformatierten Blöcken anordnet, die jeweils entweder die ungeradzahligen Halbbilddaten oder die geradzahligen Halbbilddaten enthalten,

die Einrichtung (304, 306, 308, 310) zum orthogonalen Transformieren der halbbildformatierten Blöcke die intrakodierten halbbildformatierten Blöcke und die interkodierten halbbildformatierten Blöcke transformiert, um intrakodierte halbbildbasierte Koeffizientendaten bzw. interkodierte halbbildbasierte Koeffizientendaten zu bilden,

die Festlegungseinrichtung festlegt:

a1) die Summe der Absolutwerte der Koeffizienten zumindest von Teilen der intrakodierten halbbildformatierten Blöcke und zumindest von Teilen der intrakodierten vollbildformatierten Blöcke (311) oder

a2) die Quadratsumme der Werte der Koeffizienten zumindest von Teilen der intrakodierten halbbildformatierten Blöcke und zumindest von Teilen der intrakodierten vollbildformatierten Blöcke (311) und

b1) die Summe der Absolutwerte der Koeffizienten zumindest von Teilen der interkodierten halbbildformatierten Blöcke und zumindest von Teilen der interkodierten vollbildformatierten Blöcke (312, 313, 314) oder

b2) die Quadratsumme der Werte der Koeffizienten zumindest von Teilen der interkodierten halbbildformatierten Blöcke und zumindest von Teilen der interkodierten vollbildformatierten Blöcke (312, 313, 314), und

die Auswahleinrichtung (318, 319) auf der Basis eines Vergleichs der festgelegten Summen denjenigen aus den intrakodierten halbbildformatierten Blöcken, den intrakodierten vollbildformatierten Blöcken, den interkodierten halbbildformatierten Blöcken und den interkodierten vollbildformatierten Blöcken auswählt, der die kleinste Koeffizientendatenmenge aufweist.