DE4336101A1

DE4336101A1 - Standbild-Codierer mit einem Bewegtbild-Codierer als Codiereinheit

Info

Publication number: DE4336101A1
Application number: DE4336101A
Authority: DE
Inventors: Walter Dipl Ing Demmer; Peter Dipl Ing Vogel; Burghard Dipl Ing Krupa
Original assignee: Philips Patentverwaltung GmbH
Current assignee: Philips Intellectual Property and Standards GmbH
Priority date: 1993-10-22
Filing date: 1993-10-22
Publication date: 1995-04-27

Description

Die Erfindung betrifft einen Standbild-Codierer mit einem Bewegtbild-Codierer als Codiereinheit und einen entspre chenden Standbild-Decodierer.

Im CCITT-Standard H.261 (im folgenden mit D1 zitiert) sind unter anderem die wesentlichsten funktionellen Merkmale eines Bewegtbild-Codierers angegeben, bei dem es darauf ankommt, die Daten für die einzelnen Bilder einer Video bildsequenz derart zu codieren, daß bei gegebener Über tragungsbitrate von p_*64 kbit/s (p=1,2,3 . . . ) die Bildse quenz auf der Empfängerseite mit möglichst hoher Bildqua lität rekonstruierbar ist (vgl. hierzu z. B.: Draft Revi sion of Recommendation H.621: Video Codec for Audiovisual Services at p×64 kbit/s. Signal Processing: Image Commu nication 2(1990) 221-239. Elsevier).

In D1 ist vorgesehen, daß die zu codierenden Bilder zu nächst auf das Common Intermediate Format (CIF) oder auf das Quarter Common Intermediate Format (QCIF) gebracht werden müssen, bevor sie weiteren Transformationen und Veränderungen unterworfen werden.

Bilder im CIF-Format bestehen aus 352 Bildelementen pro Zeile und aus 288 Zeilen pro Bild. Bilder im QCIF-Format bestehen aus 176 Bildelementen pro Zeile und aus 144 Zei len pro Bild.

Für Standbilder und Graphiken mit hoher Bildqualität - also mit hoher Auflösung - sind die beiden angegebenen Formate jedoch unzureichend. Für solche Bilder ist zum Beispiel das Studio-Format wesentlich geeigneter, d. h. ein Format mit 720 Bildelementen pro Zeile und 576 Zeilen pro Bild (vergleiche hierzu: CCIR Rec.601).

Es gibt drei auf der Hand liegende Möglichkeiten, im Stu dioformat vorliegende Standbilder oder Graphiken mit einem Bewegtbild-Codierer nach D1 zu codieren und nach der Über tragung zu rekonstruieren:

1. Das im Studioformat vorliegende Standbild wird durch Unterabtastung in vier Teilbilder vom CIF-Format zerlegt; diese vier Teilbilder werden - wie eine Sequenz von Be wegtbildern - dem Bewegtbild-Codierer nacheinander zur Codierung zugeführt.
2. Das im Studioformat vorliegende Standbild wird durch Unterabtastung in vier Teilbilder vom CIF-Format zerlegt; jedes Teilbild wird dem Bewegtbild-Codierer so oft zuge führt, bis die Abweichung zwischen dem zugeführten Teil bild und dem auf der Senderseite decodierten Teilbild eine vorgegebene Grenze unterschreitet.
3. Das im Studioformat vorliegende Standbild wird derart in vier CIF-Teilbilder zerlegt, daß das erste Teilbild aus dem oberen linken Viertel, das zweite aus dem unteren linken Viertel, das dritte aus dem oberen rechten Viertel und das vierte aus dem unteren rechten Viertel des ur sprünglichen Bildes besteht; jedes Teilbild wird dem Be wegtbild-Codierer so oft zugeführt, bis die Abweichung zwischen dem zugeführten Teilbild und dem auf der Sender seite decodierten Teilbild eine vorgebene Grenze unter schreitet.

Bei der ersten Möglichkeit wird - entsprechend der Funk tionsweise des Bewegtbild-Codierers - das erste Teilbild im sogenannten INTRA-Modus codiert, d. h. ohne Bezug auf die vorangegangenen (oder nachfolgenden) Bilder. Das auf der Senderseite rekonstruierte Teilbild mit mehr oder weniger guter Bildqualität wird dann als Prädiktionsbild für das zweite Teilbild verwendet und so fort bis zum vierten Teilbild. Ab dem zweiten Teilbild arbeitet der Bewegtbild-Codierer im sogenannten INTER-Modus, in dem die Differenz zwischen dem zu codierenden und dem rekonstru ierten (Teil-)Bild codiert wird. Da die Prädiktionsbilder in der Regel wenig mit den nachfolgenden Teilbildern kor reliert sind, ergibt diese Möglichkeit - wegen der groben Einstellung des Quantisierers im Bewegtbild-Codierer - Bilder mit entsprechend schlechter Qualität auf der Emp fängerseite.

Bei den Möglichkeiten 2 und 3 wird dieser Nachteil ver mieden, und zwar durch das mehrfache Zuführen des gleichen Teilbildes. Der Bewegtbild-Codierer verändert automatisch bei der Codierung des wieder angebotenen Teilbildes die Einstellung seines Quantisierers zu einer feineren Quanti sierung hin. Als Prädiktionbild für den im INTER-Modus arbeitenden Bewegtbilcodierer wird also das gleiche Teil bild verwendet, das jedoch mit gröberer Quantisierung codiert wurde. Damit wird die Qualität des rekonstruierten Teilbildes bei jedem Durchlauf verbessert. Die Möglichkeit 3 ist außerdem diejenige, bei der die Korrelation zwischen den Bildelementen eines Teilbildes am größten ist. Daher ist die flächenhafte Kosinus-Transformation, die mit den Daten der Bildpunkte (Bildelemente) vorgenommen wird, auch am wirksamsten. Unter Wirksamkeit wird in diesem Zusammen hang die Darstellbarkeit des gesamten Bildinhaltes durch nur wenige Transformationskoeffizienten verstanden.

Nachteil der dritten Möglichkeit ist, daß Teilnehmer, die nicht über eine Ausrüstung verfügen, um die unter Punkt 3 aufgezählten Maßnahmen durchzuführen - also nur über einen Bewegtbild-Codierer verfügen - nicht einmal Stand bilder schlechter Qualität empfangen können, im Gegensatz zu den beiden anderen Möglichkeiten. Mit anderen Worten, eine Vorrichtung nach Punkt 3 ist nicht rückwärtskompati bel.

Der Erfindung liegt die Aufgabe zugrunde, einen Standbild codierer mit einem Bewegtbild-Codierer nach dem H.261- Standard als Codiereinheit anzugeben, der sich durch eine gute Codiereffizienz und durch eine Rückwärtskompatibili tät mit guter Bildqualität auszeichnet.

Diese Aufgabe wird mit Mitteln gelöst, die dafür vorgese hen sind,

a) die Bildpunktdaten eines Standbildes mit hoher Auflö sung derart linear zu mitteln, daß sich ein Bild mit einem Format ergibt, das für die Codierung durch den Bewegtbild- Codierer geeignet ist,
b) das Standbild mit hoher Auflösung durch horizontale und vertikale Unterabtastung in Teilbilder mit einem Format zu zerlegen, das für die Codierung durch den Bewegtbild-Co dierer geeignet ist,
c) das linear gemittelte Bild als erstes Bild zu codieren und zu übertragen.

Ein entsprechender Standbild-Decodierer ist gekennzeichnet durch

a) Mittel, die dafür vorgesehen sind, Mittelwerte eines empfangenen und decodierten Standbildes hoher Auflösung sowie Teilbilder dieses Standbildes, die durch horizontale und vertikale Unterabtastung entstanden sind, getrennt abzuspeichern,
b) Mittel (6, 7), die dafür vorgesehen sind, aus den abge speicherten Mittlewerten und den abgespeicherten Teilbil dern ein weiteres Teilbild des Standbildes mit hoher Auf lösung zu bestimmen.

Vorteilhafte Ausgestaltungen sind in den abhängigen An sprüchen angegeben.

Anhand von Ausführungsbeispielen und Figuren soll die Erfindung nun näher erläutert werden. Es zeigen:

Fig. 1 einen erfindungsgemäßen Standbild-Codierer,

Fig. 2 einen erfindungsgemäßen Standbild-Decodierer,

Fig. 3 bis Fig. 5 Flußdiagramme, die die Übertragung von Standbildern erläutern.

Hauptbestandteil der in Fig. 1 gezeigten Anordnung ist ein H.261-Bewegtbild-Codierer 3, in der Figur auch als "H.261 Encoder-Kern" bezeichnet. Einige Bestandteile dieses Co dierers sind durch Beschriftung hervorgehoben, nämlich die Einheiten "Intra Switch", "Bildspeicher" und "Bildspeiche rerweiterung". Für die Bewegtbildübertragung ist ein Vi deoeingang a1 vorgesehen. Diesem Eingang werden Videodaten im Studioformat (CCIR Rec. 601) zugeführt und an einen Wandler 1 weitergereicht, der die Daten vom Studioformat in das CIF-Format umwandelt und über eine Leitung b1 an einen Multiplexer 2 weitergibt. Es gelangt über eine Lei tung b4 an den H.261-Bewegtbild-Codierer, falls die Ein stellung des Multiplexers 2 entsprechend gewählt ist.

In diesem Fall verläuft die Bewegtbild-Codierung und Über tragung entsprechend den Vorschriften nach D1.

Sollen Standbilder codiert und übertragen werden, werden diese zunächst über einen Grafikeingang a2 im Studioformat einem Grafikbildspeicher 5 zugeführt und dort abgespei chert. Eine erweiterte Steuerung 7 steuert die Schreib- und Lesevorgänge des Grafikbildspeichers 5, die Stellung des Multiplexers 2, die Betriebsarten des H.261-Bewegt bild-Codierers 3. Außerdem gibt sie diese Steuerdaten - soweit sie für die Decodierung eines übertragenen Stand bildes erforderlich sind - an eine Einheit 4 weiter, die diese Daten H.261-compatibel in das Sendesignal einfügt.

Die Standbildcodierung beginnt damit, daß die erweitere Steuerung 7 die Übertragung des im Grafikspeicher 5 einge speicherten Bildes an einen Mittelwertbildner 6 veranlaßt. Der Mittelwertbildner 6 mittelt die Daten von jeweils 4 benachbarten Bildpunkten linear und ungewichtet und über trägt die Mittelwerte über eine Leitung b2 an den Multi plexer 2. Die Steuerung 7 schaltet den Multiplexer derart, daß das gemittelte Signal über die Leitung b4 an den Be wegtbild-Codierer 3 weitergegeben wird und dort wie das erste Bild einer Bewegtbildsequenz codiert und an einen Empfänger übertragen wird.

Durch die Mittelung über jeweils vier Bildpunkte durch den Mittelwertbildner 6 entsteht auf der Leitung b2 ein Bild im CIF-Format. Danach erfolgt die Übertragung von drei weiteren Teilbildern, die sich aus dem im Grafikspeicher 5 eingespeicherten Gesamtbild durch horizontale und vertika le Unterabtastung ergeben. Die hierzu erforderlichen Adressen werden von der erweiterten Steuerung 7 erzeugt.

Das gemittelte Bild und die drei Teilbilder werden vom Bewegtbild-Codierer 3 behandelt wie eine Bewegtbildfolge bestehend aus vier Bildern. Alle hierfür nötigen Steuer zeichen werden ebenfalls von der erweiterten Steuerung 7 erzeugt.

Um die Vorgänge formelhaft darzustellen, seien x, y, z und w jeweils die Bildpunktdaten eines der vier bildpunktfrem den Teilbilder im CIF-Format, die aus einem Bild im Stu dioformat durch Unterabtastung gewonnen werden können. Dann wird als erstes Bild im CIF-Format ein Bild übertra gen, dessen Bildpunktdaten a sich schreiben lassen als

a= (x+y+z+w) /4. (1)

Für die drei weiteren übertragenen Teilbilder mit den Bildpunktdaten b, c und d gilt

b = y, c = z und d = w. (2)

Aus den übertragenen Daten a, b, c und d lassen sich auf der Empfängerseite die Originaldaten x, y, z und w wegen der Beziehungen (1) und (2) elementar zurückgewinnen.

Fig. 2 zeigt einen Standbild-Decodierer, der ebenfalls als zentralen Baustein einen H.261-Bewegtbild-Decodierer 3 enthält. Aus den übertragenen Daten werden durch eine Funktionseinheit 4 die Steuerdaten extrahiert und an eine erweiterte Steuerung 7 weitergegeben.

Das Empfangssignal wird nach dessen Decodierung über eine Leitung b4 an einen Demultiplexer 2 übertragen und je nach dessen Stellung auf Leitungen b1, b2 oder b3 weitergege ben. Die Leitung b1 ist für den üblichen Betrieb nach den H.261-Vorschriften vorgesehen. Die decodierten Bilder im CIF-Format werden durch einen Wandler 1 in Bilder mit Stu dioformat umgewandelt und auf einen Videoausgang a1 gege ben.

Werden Standbilder übertragen, so wählt die erweiterte Steuerschaltung 7 für das Bild nach (1) - also für das gemittelte Bild - die Leitung b2 und stellt entsprechend den Demultiplexer 2 ein. Dieses Bild wird in einen Grafik bildspeicher 5 eingeschrieben und dort unverändert festge halten, bis über eine Leitung b3 die restlichen Teilbilder ebenfalls übertragen, decodiert und in den Grafikspeicher 5 eingeschrieben worden sind. Danach werden die Daten des gemittelten Bildes mit den Daten des ersten Teilbildes überschrieben. Diese ergeben sich - mit der in Formel (1) und (2) verwendeten Symbolik - aus den Daten der bisher übertragenen Teilbilder durch die Beziehung:

x = 4_*a - b - c - d. (3)

Die Werte x ermittelt eine Recheneinheit 6.

Das im Grafikbildspeicher 5 abgespeicherte Bild kann bei Bedarf (im Studioformat) an einen Bildschirm weiter über tragen werden.

Die Bausteine, die erforderlich sind, um Standbilder in dem beschriebenen Sinne zu codieren und übertragen, näm lich beim Sender den Grafikspeicher 5, den Mittelwertbild ner 6, den Multiplexer 2 und die erweiterte Steuerung 7 und beim Empfänger den Demultiplexer 2, den Grafikspeicher 5, den Rechner 6 und die erweiterte Steuerung 7 ermögli chen den Bildtelefonteilnehmern eine hochauflösende Gra fik-Option. Kommunizieren zwei Teilnehmer miteinander, die beide über eine hochauflösende Grafik-Option verfügen, so erfordert das auf beiden Seiten Funktionsabläufe, die in den Fig. 3 und 4 dargestellt sind.

Die Fig. 3 zeigt die Funktionsabläufe auf der Sendeseite eines Teilnehmer mit hochauflösender Grafikoption. Die einzelnen Teilfunktionen bedeuten:

301 Verbindungsaufbau
302 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle
303 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption
304 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung
305 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?
Falls Nein, springe nach 316
306 Bewegtbild-Verbindung mit der Gegenstelle
(Mux in Stellung b1)
307 Vorbereiten einer Grafik-Übertragung durch Ablegen eines Bildes im Grafik-Bildspeicher
308 Auslösen der Grafik-Übertragung
309 Verfügt die Gegenstelle über kompatible Grafik-Op tion?
Falls Nein:
310 Bildung eines CIF-Bildes mit Interpolation zwischen 4 benachbarten Pixeln (Bildpunkten)
311 Übertragung des CIF-Bildes als "eingefrorenes Bild"
(Mux in Stellung b2)
312 Abbrechen der Grafik-Übertragung
Falls Ja:
313 Bildung eines CIF-Bildes mit Interpolation zwischen vier benachbarten Pixeln
314 Übertragung des CIF-Bildes als "eingefrorenes Bewegt bild"
315 Übertragung von drei weiteren "CIF-formatigen" Teil bildern
(Mux in Stellung b3)
316 Verbindungsabbau

Fig. 4 zeigt die entsprechenden Abläufe, wenn der Teil nehmer bei einem Bewegtbilddecoder über eine hochauflösen der Grafikoption verfügt. Die einzelnen Funktionsschritte bedeuten:

401 Verbindungsaufbau
402 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle
403 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption
404 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung
405 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?
Falls Nein, springe nach 411
406 Bewegtbild-Verbindung mit der Gegenstelle
(Mux in Stellung b1)
407 Gegenstelle löst Grafik-Übertragung aus
408 Decodieren des interpolierten Teilbildes
(Mux in Stellung b2)
409 Decodieren von drei weiteren "CIF-formatigen" Teil bildern
(Mux in Stellung b3)
410 "Rückwärtsberechnung" des "fehlenden" Teilbildes und Ablage im Grafik Bildspeicher
411 Verbindungsabbau

Verfügt ein Teilnehmer über einen Decoder ohne Grafikop tion, so sind folgende Teilschritte erforderlich:

501 Verbindungsaufbau
502 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle
503 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption
504 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung
505 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?
Falls Nein, springe nach 507
506 Bewegtbild-Verbindung mit der Gegenstelle
507 Verbindungsabbau

Wie die Beispiele erkennen lassen, ist die Übertragung von Standbildern auch an Teilnehmer möglich, die nur über einen H.261-Decoder verfügen, jedoch nicht über eine er findungsgemäße Grafik-Option. Verfügt der Empfänger über keine Grafik-Option, erhält er das gemittelte Bild mit den Bilddaten a nach (1). Dieses Bild gibt den Informations gehalt des Originalbildes wesentlich deutlicher wieder als jedes andere Teilbild.

Ein anderes Ausführungsbeispiel besteht darin, die zusätz liche Steuerung so auszugestalten, daß bei der Codierung der drei folgenden Teilbilder y, z und w das gemittelte Bild mit den Bildpunktdaten a immer als Prädiktionsbild verwendet wird. Dazu dient die Speichererweiterung des Bewegtbild-Codierers 3, in der das Prädiktionsbild bis zum Ende der Standbildübertragung abgespeichert werden muß.

Desweiteren kann jedes (Teil)-Bild dem Bewegtbild-Codierer 3 mehrmals - das heißt mit einer vereinbarten Anzahl von Wiederholungen - zum Codieren zugeführt werden. Das erhöht die Qualität der übertragenen Teilbilder (zur Begründung siehe weiter oben). Wird auch in diesem Falle das gemit telte Bild als Prädiktionsbild verwendet, so geschieht dies nur bei der erstmaligen Zuführen eines Teilbildes an den Bewegtbild-Codierer 3.

Da das mit der höchsten Anzahl von Wiederholungen codierte Teilbild das mit der besten Qualität ist, wird auf der Empfängerseite auch nur dieses Teilbild für die Zusammen setzung zum Standbild mit hoher Auflösung verwendet.

Claims

1. Standbild-Codierer mit einem Bewegtbild-Codierer (3) als Codiereinheit, gekennzeichnet durch

a) Mittel (2, 5, 6, 7), die dafür vorgesehen sind, die Bildpunktdaten eines Standbildes mit hoher Auflösung derart linear zu mitteln, daß sich ein Bild mit einem Format ergibt, das für die Codierung durch den Be wegtbild-Codierer (3) geeignet ist,
b) Mittel (2, 5, 7), die dafür vorgesehen sind, das Standbild mit hoher Auflösung durch horizontale und vertikale Unterabtastung in Teilbilder mit einem Format zu zerlegen, das für die Codierung durch den Bewegtbild-Codierer (3) geeignet ist,
c) Mittel (2, 7), die dafür vorgesehen sind, das linear gemittelte Bild als erstes Bild zu codieren und zu übertragen.

2. Standbild-Decodierer mit einem Bewegtbild-Decodierer (3) als Decodiereinheit, gekennzeichnet durch

a) Mittel (2, 5, 7), die dafür vorgesehen sind, Mittel werte eines empfangenen und decodierten Standbildes hoher Auflösung sowie Teilbilder dieses Standbildes, die durch horizontale und vertikale Unterabtastung entstanden sind, getrennt abzuspeichern,
b) Mittel (6, 7), die dafür vorgesehen sind, aus den abge speicherten Mittelwerten und den abgespeicherten Teilbildern ein weiteres Teilbild des Standbildes mit hoher Auflösung zu bestimmen.

3. Standbild-Codierer nach Anspruch 1, dadurch gekennzeichnet, daß der Bewegtbild-Codierer (3) eine Bildspeicher-Erweite rung enthält, die dafür vorgesehen ist, die linear gemit telten Bildpunktdaten des Standbildes mit hoher Auflösung für alle nachfolgenden Teilbilder als Prädiktionsdaten zu verwenden.

4. Standbild-Decodierer nach Anspruch 2, dadurch gekennzeichnet, daß der Bewegtbild-Decodierer (3) eine Bildspeicher-Erwei terung enthält, die dafür vorgesehen ist, die linear gemit telten Bildpunktdaten des Standbildes mit hoher Auflösung für alle nachfolgenden Teilbilder als Prädiktionsdaten zu verwenden.

5. Standbild-Codierer nach Anspruch 1 oder 3, gekennzeichnet durch Mittel (5, 7), die dafür vorgesehen sind, die gemittelten Bildpunktdaten des Standbildes mit hoher Auflösung und die nachfolgenden Teilbilder dem Bewegtbild-Codierer (3) mit einer vereinbarten Anzahl von Wiederholungen zur Codierung und zur Übertragung zuzuführen.

6. Standbild-Decodierer nach Anspruch 2 oder 4, gekennzeichnet durch Mittel (5, 7), die dafür vorgesehen sind, bei wiederholter Codierung gemittelter Bildpunktdaten des Standbildes mit hoher Auflösung sowie bei wiederholter Codierung von Teil bildern dieses Standbildes nur das übertragene und deco dierte Teilbild der letzten Wiederholung abzuspeichern.