DE69210963T2

DE69210963T2 - Verfahren zur Bildkodierung eines Videosignals

Info

Publication number: DE69210963T2
Application number: DE69210963T
Authority: DE
Inventors: Harald Brusewitz
Original assignee: Telia AB
Current assignee: Telia AB
Priority date: 1991-11-15
Filing date: 1992-11-12
Publication date: 1997-01-16
Anticipated expiration: 2012-11-13
Also published as: GB2261567B; SE468737B; SE9103381L; DE69210963D1; GB9221424D0; SE9103381D0; JPH05260458A; GB2261567A; EP0545875B1; US5966181A; EP0545875A1

Description

Verfahren zur Bildkodierung eines Videosignals

Die Erfindung betrifft ein Verfahren zur Bildkodierung eines Videosignals.
Es ist in erster Linie beabsichtigt, daß das Verfahren entsprechend der vorliegenden Erfindung bei der Übertragung von Videosignalen eingesetzt werden sollte, die zum Beispiel in Bildtelefonen verwendet werden. Um für einen derartigen Einsatz Signale mit guter Qualität zu erhalten, wird das Videosignal in ein Digitalsignal umgewandelt. Das Format des Digitalsignals wird durch den H.261 Standard des International Consultative Committee for Telegraphs und Telephones (CCITT) vorgeschrieben. Das Verfahren der Digitalisierung des Videosignals kann jedoch vom Anwender selbständig ausgewählt werden.
Die Übertragung des Digitalsignals wird traditionell mit Hilfe einer Anzahl von Schaltungen durchgeführt, die häufig in eine Videosignaleingangsstufe, eine Kodierkernschaltung und einen Videomultiplexer (VMUX) unterteilt werden. Die Videosignaleingangsstufe bewirkt eine geeignete Signalverarbeitung des Videoeingangssignals. Die Kodierkernschaltung bewirkt eine Form der Umwandlungskodierung des Signals, welche vorhersagbar (INTER) oder nichtvorhersagbar (INTRA) sein kann. Nach der Umwandlungskodierung wird das Signal quantisiert.
Der digitale Bitstrom wird dann von dem VMUX einer weiteren Kodeverarbeitung unterworfen, um eine Kompression des Bitstromes zu bewirken. Traditionell ist die Lauflängenkodierung eine Kodierung variabler Länge und sie bewirkt ebenfalls eine Fehlerkorrektur. Die Arbeit des VMUX wird normalerweise mit Hilfe eines Signalprozessors bewirkt. Da diese Kodierungen verschiedene Anzahlen von Bits pro Halbbild erzeugen und die Bitrate auf der Übertragungsleitung am Ausgang der Bildkodierungsanordnung konstant ist, enthält der VMUX einen Pufferspeicher.
Probleme, die mit der bekannten Technologie auftreten, betreffen die Vermeidung eines Überlaufs im Pufferspeicher und daß der Pufferspeicher vorzeitig leer wird. Diese beiden Probleme führen zu einer Verschlechterung in der Bildqualität. Gleichzeitig sollte der Inhalt des Pufferspeichers so klein wie möglich sein.
Aus EP-A-0 444 839 ist ein Verfahren zur Bildkodierung eines Videosignals mit einer bekannten Halbbildrate bekannt, bei dem das Videosignal kodiert und quantisiert wird, um die Digitalisierung und Kompression des Signals zur Erzeugung eines Bitstroms mit einer Bitrate zu bewirken, die durch die Übertragungsleitung bestimmt wird, auf welcher der Bitstrom übertragen wird, und bei dem der Bitstrom vor der Übertragung in einem Pufferspeicher gespeichert wird. Das Verfahren enthält die Schritte: Überwachung des Inhaltes des Pufferspeichers, Vergleichen des Inhaltes des Pufferspeichers mit der Sunime eines kontrollierbaren Quantisierungsgrößenbereiches (QCR) und einem Randwert, und Justierung der Schritthöhe im Quantisierer als Funktion der Differenz zwischen den überwachten Inhalten des Pufferspeichers und der Summe. Das Dokument sagt nichts über die Berechnung oder Bestimmung dieser Summe.
Das US-A-4 833 535 beschreibt ein Bildübertragungsgerät, in welchem die Übertragungsrate der Leitung die maximale Kapazität des Pufferspeichers bestimmt.
Die vorliegende Erfindung stellt einen Fortschritt gegenüber dem Stand der Technik dar, indem die Schritthöhe der Quantisierungsanordnungen in Abhängigkeit von der Differenz zwischen dem überwachten Inhalt des Pufferspeichers und einem idealen Inhalt des Pufferspeichers justiert wird, der auf Basis der Halbbildrate des Videosignals, der Bitstromrate und des minimal erlaubten Inhaltes des Pufferspeichers, welcher ebenfalls von der Halbbildrate und der Bitstromrate abhängig ist, berechnet wird.
Die Erfindung liefert ein Verfahren zur Bildkodierung eines Videosignals mit einer bekannten Halbbildrate, bei dem das Videosignal kodiert und quantisiert wird, um eine Digitalisierung und Kompression des Signals zur Erzeugung eines Bitstrom mit einer Bitrate zu bewirken, die durch die Übertragungsleitung bestimmt wird, auf welcher der Bitstrom übertragen wird, und bei dem der Bitstrom vor der Übertragung in einem Pufferspeicher gespeichert wird, und der Inhalt des Pufferspeichers (B) überwacht wird, dadurch gekennzeichnet, daß das Verfahren die Schritte enthält, Abtasten der Rate (R) des Bitstromes am Ausgang des Pufferspeichers;
Berechnung des idealen Inhaltes des Pufferspeichers (Bideal) wie folgt:
Bideal (GOB - 1 + MB/33)/12 x (k1 + g)R/f0 + bR/f0 wobei
GOB die Anzahl der Blockgruppen darstellt,
MB die Anzahl der Makroblocks darstellt,
k1 die Anzahi der übersprungenen Halbbilder ist,
welche durch die Kodiereinrichtung bestimmt wird,
f0 die Halbbildrate des Videosignals darstellt,
R die Bitstromrate darstellt,
g berücksichtigt, wann die Kodierung beendet ist, und
bR/f0 ist der minimal erlaubte Inhalt im Puffer; und Justierung der Schritthöhe (QUANT) im Quantisierer (Q) als Funktion der Differenz (B - Bideal) zwischen den Werten des überwachten (B) und des idealen (Bideal) Inhalts des Pufferspeichers.
Die vorhergehenden und weitere Merkmale entsprechend der vorliegenden Erfindung sollen anhand der folgenden Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen verständlicher werden, wobei
Figur 1 eine bekannte Bildkodiereinrichtung in Form eines Blockschaltbildes zeigt, welche eine Kodierkernschaltung und einen VMUX enthält.
Figur 2 eine Bildkodiereinrichtung zur Durchführung des Verfahrens entsprechend der vorliegenden Erfindung in Form eines Blockschaltbildes zeigt, und
Figur 3 ein Diagramm des Inhalts des Pufferspeichers in Abhängigkeit von der Zeit entsprechend einem bevorzugten Ausführungsbeispiel der Erfindung zeigt.
Die Grundausführung der bekannten Bildkodiereinrichtung ist in Figur 1 der Zeichnungen veranschaulicht und enthält eine Kodierkernschaltung 1 und einen VMUX 2. An den Eingang der Kodierkernschaltung 1 wird über einen Begrenzer oder eine andere Eingangsschaltung (nicht gezeigt) ein Videosignal mit einer Bildrate f0 angelegt. Das Eingangssignal wird über eine Subtraktionsschaltung 3 an die Umwandlungskodiereinrichtung T angelegt. Das Signal wird durch die Kodiereinrichtung T umgewandelt und dann in einem Quantisierer Q quantisiert. Die Kodierkernschaltung 1 verwendet für das Halbbild normalerweise eine Form der vorhersagbaren Kodierung, welche mit Hilfe der Subtraktionsschaltung 3 von dem Videosignal subtrahiert wird. Dann wird mit Hilfe eines inversen Quantisierers IQ und einer inversen Umwandlungskodiereinrichtung IT eine inverse Quantisierung beziehungsweise eine inverse Umwandlung durchgeführt. Bei der Vorhersage werden ein Halbbildspeicher FM und möglichst ein Bewegungsberechner ME verwendet.
Der Ausgang des Kodierkernes 1, d.h. ein Ausgang des Quantisierers Q ist mit dem Eingang des VMUX 2 verbunden, welcher eine Scanneranordnung, ZIG, deren Eingang den Eingang des VMUX bildet, einer Lauflängenkodieranordnung, RL, einer Anordnung, EVENTS, welche die Lauflängenkodierung stützt, eine Anordnung, VLC, mit veränderlicher Längenkodierung, einen Pufferspeicher und eine Fehlerkorrektureinrichtung, FEC, welche in Kaskade geschaltet sind, enthält und welche in einer Weise arbeiten, die dem Fachmann bekannt ist.
Im VMUX wird das Videosignal in einer Weise verarbeitet, bei der es so ökonomisch wie möglich auf eine Übertragungsleitung (nicht gezeigt), die normalerweise mit dem Ausgang 4 des FEC verbunden wäre, gegeben werden kann. Das Signal muß ebenfalls an die Bitrate R auf der Übertragungsleitung angepaßt werden. Die Bitrate wird von dem Taktsignal am Ausgang 4 abgeleitet.
Die Arbeit des VMUX wird herkömmlich mit Hilfe eines programmierten Signalprozessors bewirkt.
In der Praxis kann der Quantisierer 5 einen Teil entweder der Kodierkernschaltung 1 oder des VMUX 2 bilden. In dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist der Quantisierer 5 im VMUX enthalten, wie in Fig. 2 der Zeichnungen dargestellt wird, er könnte aber auch in einer solchen Weise nebengeschaltet werden, daß der VMUX wahlweise zusammen mit der Kodierkernschaltung und mit oder ohne Quantisierer verwendet werden kann.
Die Funktion des Pufferspeichers besteht darin, Bits mit einer Taktrate freizugeben, welche durch die Bitrate auf der Übertragungsleitung gesteuert wird. Da die Kodierung des Videosignals verschiedene Anzahlen von Bits pro Halbbild, abhängig unter anderen Dingen vom Inhalt des Halbbildes erzeugt, kann sich der Inhalt des Pufferspeichers verändern. Es ist wichtig, anzumerken, daß im Pufferspeicher kein Überlauf auftreten sollte, weil das dazu führen würde, daß die Information in den Halbbildern für immer verloren wäre. Desweiteren sollte der Inhalt des Pufferspeichers so klein wie möglich sein, um die Verzögerung zu verringern, die heißt, die Zeitdauer, während der die Bits im Pufferspeicher gespeichert werden. Es sollte auch sichergestellt werden, daß der Pufferspeicher selten leer wird, weil es dann erforderlich wäre, den Bitstrom mit redundanten Bits aufzufüllen, und dies würde zu einer Verschlechterung in der Bildqualität führen.
Das Format des Bitstromes wird durch den CCITT-Standard vorgegeben, auf den oben verwiesen wird. Ein Halbbild besteht aus zwölf Blockgruppen, welche als GOB bezeichnet werden, und jede Blockgruppe besteht aus 33 Makroblocks, welche als MB bezeichnet werden. Die Halbbildrate des Videosignals am Eingang der Bildkodiereinrichtung liegt gewöhnlich bei 30 Hz.
Bei dem Ausführungsbeispiel der vorliegenden Erfindung, wie es in Fig. 2 der Zeichnungen veranschaulicht wird, wird der Inhalt B des Pufferspeichers durch Veränderung der Schritthöhe im Quantisierer Q reguliert. Die Funktion der Regeleinrichtung 6, wie sie in Fig. 2 dargestellt ist, besteht nicht nur darin, den Inhalt B des Pufferspeichers abzutasten, sondern auch die Bitrate R am Ausgang des Pufferspeichers. Die Regeleinrichtung 6 berechnet den idealen Inhalt des Pufferspeichers, welcher mit Bideal bezeichnet wird, und vergleicht ihn mit dem aktuellen Wert. Die Regeleinrichtung 6 berechnet die Differenz zwischen dem aktuellen und dem idealen Wert und ändert die Schritthöhe im Quantisierer Q als Funktion des Differenzwertes. Die Regelsignale am Ausgang der Regeleinrichtung 6 werden sowohl an den Quantisierer Q als auch an den inversen Quantisierer IQ angelegt. Wenn die Quantisieranordnungen als Teil der Kodierkernschaltung enthalten sind, dann werden die Regelsignale an die Quantisierer der Kodierkernschaltung angelegt.
Fig. 3 zeigt ein Beispiel, wie sich der Inhalt des Pufferspeichers während der Arbeit eines bevorzugten Ausführungsbeispiels entsprechend der Erfindung ändert. In 1/f0 Sekunden wird ein Halbbild kodiert, oder genauer in (1 - g) 1/f0 Sekunden, wobei der Wert von g berücksichtigt wird, wenn die Kodierung abgeschlossen ist. Während dieser Zeit vergrößert sich der Inhalt des Pufferspeicher auf einen Wert, welcher mit Be bezeichnet wird. Entsprechend einer anderen Methode wird eine Anzahl von Halbbildern k übersprungen, um den Inhalt des Pufferspeichers zu begrenzen. Die Anzahl k ≥ k0 ist die Anzahl der überspringenden Halbbilder, die gemäß Dekoder im Empfänger erforderlich sind. Die Anzahl k basiert ebenfalls auf der Bitrate R am Ausgang des Pufferspeichers.
In den folgenden (k + g)/f0 Sekunden werden keine Bits erzeugt, und dadurch wird der Inhalt des Pufferspeichers verringert. Die Rate der Verringerung ist R, welche am Ausgang des Pufferspeicher abgetastet wird. Um die gewünschte Bildrate mit k1 übersprungenen Halbbildern zu erreichen, sollte der Inhalt des Pufferspeichers am Ende der Halbbildkodierung ideal wie folgt sein:
Be = (k1 + b + g) R/f0
wenn die Bitrate am Ausgang der Bildkodiereinrichtung f0 Hz beträgt und bR/f0 der minimal erlaubte Inhalt des Pufferspeichers darstellt.
Wenn Be geringer als (k0 + b + g) R/f0 ist, dann muß die Kodiereinrichtung eine Bitauffüllung in einer Zeitspanne durchführen, bevor die Kodierung des nächsten Halbbildes beginnen kann.
In der Kodierung wird "leerer Puffer" folglich als ein linearer Anstieg von 0 bis (k0 + b + g) R/f0 in 1/f0 Sekunden definiert.
Bempty = (GOB - 1 + MB/33)/12 x (k0 + b + g) R/f0
In derselben Weise wird der ideale Inhalt des Pufferspeichers (welcher der einzige ist, der in der Schaltung gewonnen werden muß) abgeleitet als
Bideal = (GOB - 1 + MB/33)/12 x (k1 + 9) R/f0 + bR/f0
wobei, wie oben festgestellt wird, GOB die Anzahl der Blockgruppen und MB die Anzahl der Makroblocks darstellt. Bideal ist folglich der Inhalt, den der Pufferspeicher besitzen muß, um in k1 + 1 Halbbildintervallen bis zu einer Minimalgrenze von bR/f0 leer zu sein.
Die Anzahl der im Quantisierungsprozeß erzeugten Bits basiert selbstverständlich auf der Schritthöhe; je größer die Schritthöhe ist, um so mehr Bits werden erzeugt. Die Schritthöhe wird entsprechend der Erfindung bei Beginn jeder Blockgruppe so verändert, daß der Inhalt des Pufferspeichers in die Nähe des idealen Wertes kommt. Es werden die folgenden Entscheidungsregeln verwendet.
Die Schritthöhe QUANT ist, wie durch die folgende Formel gezeigt wird, eine Funktion der Abweichung vom idealen Inhalt des Pufferspeichers:
QUANT = f(Bdev) = f(B - Bideal),
wobei die Funktion f für Intervalle von Bdev-Werten konstant ist.
Die Schwellenwerte für f werden mit Bx bezeichnet und können von den in einem BOOT-PROM gespeicherten Werten abgeleitet werden. Um verschiedene Bitrate behandeln zu können, befinden sich die Bx-Werte, wie durch die folgende Formel angedeutet wird, in Termen der Faktoren von R/f0:
Tx = B - Bideal - Bx R/f0
Um die Berechnung von QUANT zu vereinfachen, müssen für jedes Halbbild und jeden Makroblock bestimmte Terms abgeleitet werden.

FÜR DEN ERSTEN MB IN JEDEM GOB

T0 ≥ 0 - > QUANT = QUANT + 3
T1 ≥ 0 - > QUANT = QUANT + 2
T2 ≥ 0 - > QUANT = QUANT + 1
T3 < 0 - > QUANT = QUANT - 1
T4 < 0 - > QUANT = QUANT - 2
T5 < 0 - > QUANT = QUANT - 3

FÜR MB INNERHALB GOB

T6 ≥ 0 - > QUANT = QUANT + 1
T7 < 0 - > QUANT = QUANT - 1
Die Schritthöhe wird auf ein bestimmtes Intervall begrenzt.
QUANTmin ≤ QUANT ≤ QUANTmax
Es wurde entschieden, die Schritthöhe zu begrenzen, da eine Schritthöhe < QUANTmin in der Bildqualität keine reale Verbesserung bringt, während eine Schritthöhe > QUANTmax ein schlechtes Bildes erzeugt. Um unter solchen Verhältnissen den Inhalt des Pufferspeichers zu regulieren, müssen andere Methoden verwendet werden anstelle solcher, wie das Bitauffüllen und das Überspringen von Halbbildern.
Im allgemeinen werden für den Fall INTER und den Fall INTRA verschiedene Schritthöhen verwendet. Entsprechend der vorliegenden Erfindung wird die modifizierte Schritthöhe QUANT für INTRA-Blocks verwendet und das Umschalten wird unter Verwendung eines variablen Qmod, welches die Differenz für den Fall INTRA vorschreibt, auf Blockbais durchgeführt. Das liefert:
QUANTINTRA = QUANT + Qmod;
QUANTminINTRA ≤ QUANTINTRA ≤ QUANTmaxINTRA
Um Bideal zu berechnen, muß k1, welches die erforderliche Anzahl der übersprungenen Halbbilder vorschreibt, bekannt sein und ist eine Funktion von R/f0, das heißt der Bitrate am Ausgang geteilt durch die Halbbildrate des Videosignals. Die Halbbildrate des Videosignals beträgt im allgemeinen 30 Hz, während R am Ausgang aus dem Pufferspeicher gemessen wird. k1 kann nur die Werte 0, 1, 2, 3 annehmen, welche, vorausgesetzt, daß k0 = 0 ist, die Bildraten 30, 15, 10 und 7,5 Hz am Ausgang des Pufferspeichers liefern. k1 kann mit Hilfe definierter R/f0-Intervalle für jeden Wert von k1 wie folgt auf R basieren:
R/f0 > R0 ergibt k1 = max (0,k0)
R0 ≥ R/f0 > R1 ergibt k1 = max (1,k0)
R1 ≥ R/f0 > R2 ergibt k1 = max (2,k0)
R2 ≥ R/f0 > ergibt k1 = max (3,k0)
Die Geschwindigkeit der Halbbilder am Ausgang wird in einer solchen Art und Weise ausgewählt, daß die Anzahl der Bits pro Halbbild nicht zu gering wird. Unten wird ein Beispeil von ausgewählten Bildraten mit unterschiedlichen Standardbildraten R am Ausgang angegeben:
30 Hz für R > 384 kBit/s
15 Hz für R > 128 kBit/s
10 Hz für R > 64 kBit/s
7,5 Hz für R > 64 kBit/s
was die Intervallgrenzen R2 = 2133, R1 = 4267, R0 = 12800 für f0 = 30 Hz liefert.
Die Anordnung entsprechend der vorliegenden Erfindung wird vorzugsweise als integrierte Schaltung aufgebaut, zum Beispiel als VLSI-Schaltkreis.
Die verschiedenen, von außen geforderten Parameterwerte, werden in einem BOOT-PROM entsprechend der unten gezeigten Tabelle gespeichert. DIE IN DEM BOOT-PROM GESPEICHERTEN PARAMETER
Das Problem der Regelung des Puffers wird somit mit Hilfe der vorliegenden Erfindung durch Justierung der Schritthöhe in der Quantisierungsanordnung gelöst.
Die Erfindung kann auch mit anderen, dem Fachmann direkt offensichtlichen Methoden kombiniert werden.

Claims

1. Verfahren zur Bildkodierung eines Videosignals mit einer bekannten Bildfrequenz, bei dem das Videosignal kodiert und quantisiert wird, um eine Digitalisierung und Kompression des Signals zu bewirken und einen Bitstrom zu bilden, dessen Bitrate durch die Übertragungsleitung, auf der der Bitstrom übertragen werden soll, bestimmt ist, und bei dem der Bitstrom vor der Übertragung in einem Pufferspeicher gespeichert und der Inhalt (B) des Pufferspeichers überwacht wird, dadurch gekennzeichnet, daß das Verfahren die folgenden Schritte aufweist:

Erfassen der Rate (R) des Bitstroms am Ausgang des Pufferspeichers;

Berechnen des als Bideal bezeichneten idealen Pufferspeicherinhalts wie folgt:

Bideal = (GOB - 1 + MB/33)/12 x (k1 + g) R/fo + bR/fo wobei bedeuten:

GOB die Anzahl der Blockgruppen,

MB die Anzahl der Makroblöcke,

k1 die von dem Kodierer bestimmte Anzahl ausgelassener Bilder,

fo die Bildfrequenz des Videosignals,

R die Bitstromrate,

g die Beendigung der Codierung berücksichtigt

bR/fo der zulässige Mindestinhalt in dem Puffer ist; und

Einstellen der Sprunghöhe (QUANT) in dem Quantisierer (Q) in Abhängigkeit von der Differenz (B - Bideal) zwischen den Werten des überwachten (B) und idealen (Bideal) Pufferspeicherinhalts.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Einstellung der Stufenhöhe (QUANT) in dem Quantisierer (Q) wie folgt berechnet wird:

QUANT = f (B - Bideal)

wobei B der Pufferspeicherinhalt ist,

Bideal der ideale Pufferspeicherinhalt ist,

und f auf der Annahme konstanter Werteintervalle der Werte von B - Bideal beruht und in dem Intervall

QUANTmin ≤ QUANT ≤ QUANTmax

liegt, wobei QUANTmin und QUANTmax die kleinste bzw. größte zulässige Stufenhöhe sind.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die vom Kodierer bestimmte Anzahl von ausgelassenen Bildern (k1) eine Funktion der Bitrate (R) des Signals am Ausgang und der Bildfrequenz (f0) des Videoeingangssignals ist, wobei die Anzahl von Bits pro Bild nicht geringer als ein vorgegebener Wert ist und notwendigerweise höher als die vom Decoder im Empfänger benötigte Anzahl von ausgelassenen Bildern (k0) ist.