DE4132600A1 - Video-codec - Google Patents

Description

Die Erfindung betrifft ein Video-Codec mit Mitteln für die datenreduzierende Codierung eines Videosignals nach einem vorbestimmten Codierverfahren und mit entsprechenden Mit­ teln zur Decodierung eines nach dem vorbestimmten Codier­ verfahren codierten Videosignals.

Derartige Video-Codecs können z. B. bei der Bildtelefonie eingesetzt werden, um die bei Bewegtbildszenen anfallenden Datenmengen auf die Bitrate des Übertragungskanals mit möglichst wenig Informationsverlust zu reduzieren.

Eine andere Anwendungsmöglichkeit ergibt sich in Verbin­ dung mit Videodatenspeichern, in denen Videodaten vorü­ bergehend gespeichert werden sollen. Durch die datenredu­ zierende Funktion des Video-Codecs ergibt sich eine scheinbar wesentliche Vergrößerung der Kapazität der Spei­ cher.

Ein bewährtes Codierverfahren, nach dem derartige Video- Codecs arbeiten, ist in der CCITT-Empfehlung H.261 be­ schrieben (vgl. z. B.: Draft Revision of Recommendation H.261: Videocodec for Audiovisual Services at p*64 kbits/s. Signal Processing: Image Communication 2 (1990) 221-239. Elsevier Science Publishers B.V.). In dieser Empfehlung sind auch die für die Durchführung des Verfah­ rens notwendigen Bausteine sowie deren Funktionen angege­ ben. Eine mit der H.261-Empfehlung verträgliche Ausgestal­ tung eines Codecs ist in der Druckschrift "Description of Reference Model 7", Specialist Group on Coding for Visual Telephony, CCITT SGXV, Working Party XV/4, Doc. 446, 1988 angegeben. Das erste dieser Dokumente wird im folgenden mit (D1) und das zweite mit (D2) zitiert werden.

Weitere Strukturen von Hybrid-Codierern oder Hybrid-Deco­ dierern findet man z. B. in den Patentanmeldungen EP 2 90 085 A2 und EP 2 44 001 A2, im folgenden mit (D3) und (D4) zitiert. Die Bezeichnung dieser Codierer bzw. Decodierer spielt auf Besonderheiten des zugrundeliegenden Codierver­ fahrens an (vgl. 1.c.). Einzelheiten zur Durchführung des Codierverfahrens sowie Einzelheiten der Vorverarbeitung sind in den Durckschriften EP 2 60 748 A2, DE 38 39 502 A1 und in einem Artikel von B. Grätsch und M. Riegel enthal­ ten (Grätsch, B. und Riegel, M.: "ASIC-Realisierung eines Formatkonverters für die Bildcodierung", mikro elektronik Band 5 (1991), Heft 3, Seiten 120 bis 123). Diese Druck­ schriften werden im folgenden mit (D5), (D6) und (D7) zitiert werden.

An den bekannten Strukturen für Codierer und Decodierer wird wenig geändert, wenn beide zu einer Einheit, dem sogenannten Codec, zusammengefaßt werden.

Diese Strukturen sind sehr eng an das zeitliche Nachein­ ander des Codierverfahrens nach (D1) gebunden. Das hat unter anderem den Nachteil, daß geringfügige Änderungen am Codierverfahren oder Änderungen an der Realisierung ein­ zelner Verfahrensschritte Änderungen fast aller Bausteine des Codecs nach sich ziehen.

Der Erfindung liegt die Aufgabe zu Grunde, ein Struktur­ prinzip zum Aufbau eines eingangs genannten Videocodecs anzugeben, bei dem der beschriebene Nachteil nicht auf­ treten kann.

Diese Aufgabe wird durch folgende Merkmale gelöst:

• 1a) Module, die dafür vorgesehen sind, unabhängige Teile des vorbestimmten Verfahrens durchzuführen oder zu steuern,
• 1b) Schnittstellen, über die der Datenaustausch zwischen den Moduln stattfinden kann.

Wegen des modularen Aufbaus eines erfindungsgmäßen Codecs und wegen des Datenaustausches zwischen den Moduln über einheitliche Schnittstellen ist es zum Beispiel gleichgül­ tig, ob einer der Module im Wesentlichen durch Hardware oder im Wesentlichen durch Software realisiert ist, wenn nur die Schnittstellenbedingungen eingehalten werden. Bei Änderung eines Moduls können die anderen Module unverän­ dert bleiben.

Angepaßt an die zur Verfügung stehende Technologie können rechenintensive Verfahrensschritte mit Hardware durchge­ führt werden und weniger rechenintensive, aber logisch komplizierte Verfahrensschritte mit Software.

In einem Unteranspruch ist eine spezielle Ausgestaltung des allgemeinen Schaltungsprinzip für das Codierverfahren nach der H.261-Empfehlung angegeben. Die Schaltung besteht aus sechs Moduln, die durch ihre wichtigsten Funktionen charakterisiert sind. Die Funktionen als solche sind dem Fachmann aus der oben zitierten Literatur bekannt.

Eine wichtige und vorteilhafte Eigenschaft der Erfindung und ihrer Ausgestaltung ist die Doppelfunktion, die die Module oder auch Teile von ihnen haben. Ein Video-Codec nach der Erfindung ist nämlich als verteiltes Prozessorsy­ stem anzusehen, das die Codierung und die Decodierung im sogenannten Time-Sharing quasi-gleichzeitig durchführt.

In einer weiteren Ausgestaltung ermöglicht ein zentraler Datenspeicher, auf den alle Module Zugriff haben, den Datenaustausch zwischen den Modulen durch Referenzadres­ sen.

Anhand eines Ausführungsbeispiels und anhand der Figuren soll die Erfindung nun näher erläutert werden.

Es zeigt

Fig. 1 eine symbolische Darstellung eines Videocodecs nach der Erfindung, bei dem das zu Grunde gelegte Codier­ verfahren das in der H.261-Empfehlung beschriebene Ver­ fahren ist, und

Fig. 2 einen Stromlaufplan eines erfindungsgemäßen Co­ decs.

Die Darstellung eines erfindungsgemäßen Video-Codecs nach der Fig. 1 erfolgt in einer Ebene, die sich durch ihren hohen Grad an Abstraktion auszeichnet. Die abgebildete Struktur bzw. Architektur ist an eine funktionelle Zerle­ gung des Verfahren nach (Dl) angepaßt. Die Architektur enthält sechs Module 1 bis 6, deren Funktionen im folgen­ den zusammen mit dem Codierverfahren nach der H.261-Emp­ fehlung soweit erläutert werden sollen, wie es erforder­ lich erscheint, damit die Erfindung durch den zuständigen Fachmann ausführbar wird. Details sind der schon zitierten Literatur entnehmbar; sie soll Bestandteil der nun folgen­ den Ausführungen sein. Gleiches gilt für den IEEE-Standard 1196 NuBus über Schnittstellen.

Auf einer Leitung a0 wird der Schaltung ein digitalisier­ tes Videosignal a0 zugeführt. Für eine Leitung und für das Signal, das diese Leitung überträgt, wird hier das gleiche Bezugszeichen verwendet.

Das Videosignal a0 hat ein Format nach dem Studiostandard. Es wird durch den ersten Modul 1 in ein Videosignal mit sogenanntem CIF-Format (vgl. hierzu (Dl) und (D7)) gewan­ delt und in diesem Format weiterverarbeitet.

Nach dem CIF-Format besteht das Signal für ein Videobild aus Angaben über 288 Zeilen von Bildpunkten (Pels), wobei jede Zeile 352 Bildpunkte enthält. Jedem Bildpunkt sind bei Farbsignalen grundsätzlich drei Zahlenangaben zugeord­ net, nämlich ein Luminanzwert Y und zwei Chrominanzwerte CB und CR. Im CIF-Format werden jedoch vier benachbarten Bildpunkten die gleichen Chrominanzwerte zugeordnet, ohne daß das vom menschlichen Auge wahrgenommen wird. Durch diese Irrelevanzreduktion wird schon vor der eigentlichen Codierung eine erhebliche Reduktion der anfallenden Daten bewirkt.

Die weitere Verarbeitung und Codierung der im Modul 1 gespeicherten ganzen Videobilder erfolgt auf der Basis von Bildausschnitten. Es werden zwei verschiedene Arten von Bildausschnitten und deren Darstellung durch Daten unter­ schieden. Makroblöcke sind die Daten aller zu einem recht­ eckigen Bildausschnitt gehörenden Bildpunkte; dabei han­ delt es sich um Ausschnitte von 16*16-Bildpunkten. Die Daten setzen sich demnach aus den zugehörigen 16*16-Lumi­ nanzwerten und aus zugehörigen 8*8-CB-Werten sowie 8*8-CR- Werten zusammen.

Blöcke werden die Luminanzwerte von jeweils 8*8-Bildpunk­ ten genannt; ebenso die beiden oben erwähnten 8*8-Chromi­ nanzwerte. Blöcke und Makroblöcke, die im Modul 1 abge­ speichert sind, werden durch Angabe einer Adresse aus den Speichern des Moduls 1 ausgelesen oder in sie eingeschrie­ ben. Auf die Bildspeicher des Moduls 1 haben alle anderen Module Zugriff durch die Übertragung von Block- oder Ma­ kroblockadressen.

Ein Modul 2 fordert für die Analyse der im Modul 1 abge­ speicherten Bilder makroblockweise Daten an. Für die Ana­ lyse werden nur die Luminanzwerte der Makroblöcke benö­ tigt, weil - wie die Erfahrung gezeigt hat - das Analy­ seergebnis das gleiche bleibt, wenn auch die Chrominanz­ werte mit einbezogen werden.

Im vorliegenden Fall ist mit Analyse die Bestimmung des Bewegungsvektors für einen Makroblock gemeint, der Be­ standteil eines für alle Videobilder gleichen Rasters ist (vgl. hierzu z. B. (D6)).

Bei der Bestimmung dieses Bewegungsvektors wird ein zu codierender Makroblock des Rasters mit allen Makroblöcken des vorangegangenen Videobildes verglichen, die sich durch Verschiebungen um maximal ± 15 Bildpunkte horizontal und vertikal aus der ursprünglichen Lage ergeben. Die zum Vergleich herangezogenen Makroblöcke des vorangegangenen Videobildes gehören also - bis auf den Makroblock mit dem Nullvektor als Verschiebungsvektor - nicht zu den Makro­ blöcken des festen Rasters.

Verglichen wird dadurch, daß bildpunktweise der Betrag der Differenz zwischen den Daten der beiden Makroblöcke gebil­ det wird und die Beträge für alle 16*16-Bildpunkte auf­ summiert werden. Derjenige Verschiebungsvektor, für den die genannte Summe (Absolut-Norm des Differenzmakroblocks) am kleinsten ist, wird Bewegungsvektor und der zugehörige Makroblock des vorangegangenen Videobildes wird Prädik­ tionsmakroblock genannt. Der Bewegungsvektor ist ein Ana­ lyseergebnis bzw. ein Analysedatum des Moduls 2. Ein wei­ teres Analysedatum ist die Varianz des zu codierenden Makroblocks sowie die Absolut-Norm des Differenzmakro­ blocks mit dem Nullvektor als Verschiebungsvektor.

Diese Daten werden vom Modul 2 über eine Schnittstelle a3 an einen Modul 4 mit Steuerfunktionen übergeben, der diese Daten bewertet und damit den Codierprozeß steuert (näheres weiter unten).

Ein Modul 3 stellt die eigentliche Codierschleife dar (vgl. hierzu (D2), (D4) und (D5)). Sie enthält eine Co­ diereinheit, die die Blöcke des zu codierenden Bildes oder die Differenzen zwischen diesen Blöcken und denen des vorangegangenen Bildes einer 2dimensionalen Cosinus- Transformation unterwirft. Welcher der beiden Fälle durch­ geführt wird, entscheidet der Modul 4. Die erforderlichen Blöcke erhält der Modul 3 über eine Schnittstelle a2.

Ein steuerbarer Quantisierer des Moduls 3 quantisiert die Transformations-Koeffizienten. Auch der Quantisierer wird vom Modul 4 gesteuert. Im Modul 3 wird die Quantisierung und die Codierung eines Blocks auch rückgängig gemacht und der decodierte Block über die Schnittstelle a2 in einem Bildspeicher des Moduls 1 eingeschrieben. Gleichzeitig gibt der Modul 3 den codierten Block, d. h. die quantisier­ ten Transformationskoeffizienten als sogenannte Hauptin­ formation an einen Modul 6 über eine Schnittstelle a5 weiter. Ebenfalls werden Nebeninformationen über die Schnittstelle a5 an den Modul 6 weitergegeben, die der Modul 3 vom Steuermodul 4 erhält. Zu diesen Nebeninforma­ tionen gehört unter anderem der Bewegungsvektor, die Num­ mer der Quantisierungskennlinie, mit der ein Block quanti­ siert worden ist, und die Angabe darüber, ob ein Block codiert wird oder die Differenz zwischen Block und Prädik­ tionsblock.

Im Modul 6 werden diese Daten nach einem VLC-Code (Code, bei dem die Codeworte unterschiedliche Längen haben) co­ diert und in einen Pufferspeicher eingeschrieben. Aus diesem werden sie dann als serieller Datenstrom über eine Leitung d0 an einen Empfänger übertragen. Über eine Schnittstelle a7 erhält der Modul 4 Informationen über den Füllstand des Pufferspeichers (einer der Zustandsparame­ ter) und wählt in Abhängigkeit von diesem Zustandsparame­ ter die Quantisierungskennlinie für den Quantisierer im Modul 3 aus.

Ein Modul 5 nimmt ein VCL-codiertes Videosignal c0 in einen Pufferspeicher auf und decodiert dieses Signal in ein Signal mit Codeworten gleicher Länge. Bei jedem Auf­ treten eines neuen Videobildes übergibt der Modul 5 das zuletzt VLC-decodierte Bild zur Weiterverarbeitung an den Modul 4. Der Modul 4 speichert dieses Bild so lange, bis die Decodiereinheiten des Moduls 3 zur Verfügung stehen. Dann wird das gespeicherte Bild vom Modul 3 decodiert, in einen Bildspeicher des Moduls 1 eingeschrieben und als Videosignal b0 einem Monitor zugeführt.

Im Stromlaufplan des erfindungsgemäßen Codecs nach Fig. 2 haben die zur Fig. 1 korrespondierenden Module, Leitungen und Signale die gleichen Bezugszeichen wie in Fig. 1. So wird auf der mehradrigen Leitung a0 das Videosignal im Studiostandard eingegeben und durch Unterabtastung sowie durch Interpolation durch Einheiten G1 und El in das CIF- Format gewandelt (vgl. hierzu (D7)). Die umgekehrten Ope­ rationen werden durch Bausteine C1, D1 und F1 bewirkt; über die Ausgangsleitung b0 werden Videosignale im Studio­ standard abgegeben.

Die Bausteine C1, D1, E1, F1 und G1 sind Bestandteile des Moduls 1 nach Fig. 1. Weitere Bestandteile dieses Moduls sind ein Speicher H1 für sechs Videobilder im CIF-Format sowie zwei Interface-Schaltungen A1 und B1, die für die Anpassung der Daten des Moduls 1 an die Schnittstellenbe­ dingungen des IEEE-Standards 1196 sorgen. Über das interne Bussystem Bi tauschen die Bausteine des Moduls 1 ihre Daten miteinander aus.

Der Modul 2 besteht aus einem Spezial-Prozessor A2 und dem zugehörigen Arbeitsspeicher B2. Die Funktionen des Moduls 2 sind durch Hardware realisiert. Gleiches gilt für den Modul 3, der ebenfalls aus einem Spezial-Prozessor be­ steht, der Zugriff auf die Daten der Bildspeicher Hl hat.

Die Module 4, 5 und 6 sind in Software realisiert, die durch zwei Prozessoren B4 und D4 und den zugehörigen 32- Bit breiten Arbeitsspeichern A4 und C4 ausgeführt wird.

Die Prozessoren A2, A3, B4, D4 haben Zugriff auf einen Zentralspeicher 7, bestehend aus einer Interface-Schaltung A7 und Speichern B7. Der Zugriff erfolgt über ein Bussy­ stem Bu, das der IEEE-Norm 1196 entspricht. Durch die adressierbaren Speicher B7 wird der Pufferspeicher des Moduls 5 und der des Moduls 6 realisiert.

Der Austausch von Codier- und Steuerdaten zwischen den Mo­ dulen 1 bis 6, der bei der Beschreibung der Fig. 1 erwähnt worden ist, erfolgt über den Austausch von Adressen für den zentralen Speicher 7. Bekommt ein erster Modul von einem zweiten Leseadressen übertragen, so erhält der zwei­ te Modul Zugriff auf die entsprechenden Speicherstellen des Zentralspeichers 7 und holt sich bei Bedarf die unter diesen Adressen abgelegten Daten.

Eingabe und Ausgabe von VLC-codierten Videosignalen c0 und d0 erfolgen über die Interface-Schaltung A7.

Claims (4)

1. Video-Codec mit Mitteln (3, 5) für die datenreduzierende Codierung eines Videosignals (a0) nach einem vorbestimmten Codierverfahren, mit entsprechenden Mitteln (3, 6) zur Decodierung eines nach dem vorbestimmten Codierverfahren codierten Videosignals, gekennzeichnet durch folgende Merkmale:
1a) Module (1 bis 6), die dafür vorgesehen sind, unabhän­ gige Teile des vorbestimmten Verfahrens durchzuführen oder zu steuern,
1b) Schnittstellen (a1 bis a7), über die der Datenaus­ tausch zwischen den Modulen stattfinden kann.

2. Video-Codec nach Anspruch 1, dadurch gekennzeichnet, daß bei einem Codierverfahren nach der H.261-Empfehlung, bei dem sich das codierte Signal aus Haupt- und Nebenin­ formationen zusammensetzt, nachstehende Module vorgesehen sind:
2a) ein erster Modul (1) mit folgenden Funktionen:
2a.1) die Abspeicherung ganzer, nicht codierter und decodierter Videobilder,
2a.2) die Abgabe und Aufnahme von Ausschnitten aus nicht codierten und decodierten Videobildern;
2b) ein zweiter Modul (2) mit folgenden Funktionen:
2b.1) die Analyse von Ausschnitten nicht codierter oder decodierter Videobilder,
2b.2) die Abgabe der Analysedaten;
2c) ein dritter Modul (3) mit folgenden Funktionen:
2c.1) ausschnittsweise Codierung und Decodierung von Videobildern oder von Differenzen von Videobil­ dern,
2c.2) Abgabe der codierten und decodierten Aus­ schnitte,
2c.3) Abgabe der Nebeninformationen;
2d) ein vierter Modul (4) mit folgenden Funktionen:
2d.1) Aufnahme von Analysedaten und Zustandsparame­ tern,
2d.2) Aufnahme und Abgabe von Nebeninformationen,
2d.3) Verarbeitung der aufgenommenen Daten zu Steuer­ informationen, mit denen Teilprozesse des Co­ dierverfahrens gesteuert werden;
2e) ein fünfter Modul (5) mit folgenden Funktionen:
2e.1) Zusammenfassung von Haupt- und Nebeninformatio­ nen zu einem seriellen Datenstrom,
2e.2) Codierung der Daten entsprechend einem Variable Length Code;
2f) ein sechster Modul (6) mit folgenden Funktionen:
2f.1) Decodierung eines nach einem Variable Length Code codierten Videosignals,
2f.2) Erkennung ganzer VCL-decodierter Bilder und de­ ren Weitergabe.

3. Video-Codec nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß ein zentraler Datenspeicher (7) vorgesehen ist, auf den alle Module (1 bis 6) Zugriff haben, und daß der Da­ tenaustausch zwischen den Modulen (1 bis 6) indirekt durch Austausch von Referenzadressen für den zentralen Daten­ speicher (7) erfolgen kann.

4. Video-Codec nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß der erste Modul (1) Mittel (C1, D1, E1, F1, G1) zur Wandlung des Formats von Videosignalen enthält.