DE19608737C1 - Anordnung und Verfahren zur Formatwandlung von Bildblöcken von einem ersten Codierungsformat in ein zweites Codierungsformat - Google Patents

Description

Beispielsweise bei Videokonferenzen oder Bildtelefonaten über Datennetze müssen an den Schnittstellen zwischen Datennetzab­ schnitten verschiedener Bandbreite die Übertragungsformate der Daten gewandelt werden. Teilnehmer einer Videokonferenz oder eines Bildtelefonats können über Kanäle verschiedener Bandbreite miteinander verbunden sein, so daß die Teilnehmer die übertragenen Bildsequenzen in unterschiedlicher Auflösung zur Verfügung gestellt bekommen. Ein Beispiel für eine solche Formatwandlung ist der Übergang von einem Breitbandnetz zu einem ISDN-Netz beispielsweise bei Videodaten, die nach dem MPEG-Standard codiert sind, in ein Format, das dem H.263- Standard entspricht. Dies führt bei diesem Beispiel zu einer Reduktion der Bildzeilen und Bildspalten um den Faktor 2, bzw. um den Faktor 4. Dazu wird der empfangene Bitstrom deco­ diert, also in unkomprimierte Videodaten zurückgewandelt, an­ schließend wird das Codierungsformat konvertiert und die Vi­ deodaten schließlich wieder codiert, um in einem Datennetzab­ schnitt mit gegenüber dem Datennetzabschnitt, aus dem der Bitstrom empfangen wurde, anderer Bandbreite weitergeleitet zu werden.

Im Rahmen dieses Dokumentes werden unter den Codierungsforma­ ten Bitströme verstanden, die beispielsweise nach folgendem blockbasierten Codierungsverfahren codiert werden:

• - H.261-Standard [1],
• - MPEG-Standard [2],
• - JPEG-Standard [3],
• - H.263-Standard.

Verfahren zur Formatkonversion zwischen den oben beschriebe­ nen blockbasierten Codierungsformaten sind aus [4] und [5] bekannt.

Es ist bekannt, die Decodereinheit, die Formatwandlereinheit, sowie die Codiereinheit als separate Einheiten hintereinan­ derzuschalten. Die Decodiereinheit enthält bei der bekannten Anordnung einen Eingangspufferspeicher, um die bei der Deco­ dierung von Bildblöcken entstandene variable Bitrate zu glät­ ten und gleichmäßig in den Bildspeicher zu schreiben. Die Co­ diereinheit weist einen Ausgangspufferspeicher auf, um eine zeitlich konstante Bitrate auf das Netz zu schicken. In dem Eingangspufferspeicher und in dem Ausgangspufferspeicher wer­ den üblicherweise 1 bis 3 Bilder gespeichert, so daß bei der Formatwandlung der Bildblöcke eine systembedingte Verzögerung durch die Speicherung der Bilddaten in dem Eingangspuffer­ speicher und dem Ausgangspufferspeicher entsteht. Diese sy­ stembedingte Verzögerung ist nicht durch eine noch so schnel­ le Hardware zur Decodierung, Formatwandlung und Codierung zu überwinden. Bei niedrigen Datenraten des Datennetzes, wie sie beispielsweise im ISDN-Netz vorgesehen sind, werden bei­ spielsweise nur etwa 10 Bilder pro Sekunde übermittelt. Damit ergibt sich allein durch die Formatwandlung mit Decodierung und Codierung durch die Zwischenspeicherung der Bilder in dem Einganspufferspeicher und dem Ausgangspufferspeicher eine zu­ sätzliche Verzögerung von einer halben Sekunde, bei einer Du­ plex-Verbindung entsteht sogar eine doppelt so große Zeitver­ zögerung, was sich für den Betrachter des jeweils beispiels­ weise auf einem Bildschirm dargestellten Bildes störend aus­ wirkt.

Ferner ist ein erheblicher Nachteil in der bekannten Anord­ nung und in dem bekannten Verfahren darin zu sehen, daß ein Eingangspufferspeicher in der Decodiereinheit vorgesehen ist, wodurch ein erhöhter Kostenaufwand zur Bereitstellung dieses Eingangspufferspeichers erforderlich ist.

Somit liegt der Erfindung das Problem zugrunde, eine Anord­ nung und ein Verfahren zur Formatwandlung von Bildblöcken an­ zugeben, durch die die oben beschriebenen Nachteile der be­ kannten Anordnung bzw. des bekannten Verfahrens vermieden werden.

Das Problem wird durch die Anordnung gemäß Patentanspruch 1, sowie das Verfahren gemäß Patentanspruch 3 gelöst.

Bei der Anordnung gemäß Patentanspruch 1 ist kein Eingangs­ pufferspeicher in der Decodiereinheit vorgesehen. Der Ver­ zicht auf einen Eingangspufferspeicher wird dadurch ermög­ licht, daß die Bildblöcke in der Decodiereinheit decodiert werden, sobald sie von der Decodiereinheit empfangen werden. Weiterhin ist bei der erfindungsgemäßen Anordnung ein erster Bildspeicher sowie ein Mittel zur Formatwandlung der Bild­ blöcke von einem ersten Codierungsformat in Bildblöcke eines zweiten Codierungsformats vorgesehen. Ferner sind eine Co­ diereinheit und ein Ausgangspufferspeicher bei der erfin­ dungsgemäßen Anordnung vorgesehen.

Durch diese Anordnung wird eine Formatwandlung der Bildblöcke mit erheblich geringerer Zeitverzögerung ermöglicht, da nicht zuerst komplette Bilder in dem Eingangspufferspeicher gespei­ chert werden und dann die Bilder als Ganzes decodiert werden, sondern dadurch, daß in der Decodiereinheit die Decodierung begonnen wird, sobald genügend Bildblöcke zur Decodierung der Bildblöcke empfangen wurden.

Weiterhin ist ein Vorteil der erfindungsgemäßen Anordnung darin zu sehen, daß durch den Verzicht auf den Eingangspuf­ ferspeicher die Kosten für die gesamte Anordnung zur Format­ wandlung erheblich reduziert werden, da keine Kosten mehr für den Eingangspufferspeicher anfallen.

Auch wird die benötigte Verlustleistung durch häufiges Ein- und Ausschreiben von Daten aus dem Eingangspufferspeicher re­ duziert.

Bei dem erfindungsgemäßen Verfahren gemäß Patentanspruch 3 werden Bildblöcke des ersten Codierungsformats empfangen und, sobald die Bildblöcke empfangen wurden, decodiert. Nach der Decodierung wird die Formatwandlung in das zweite Codierungs­ format durchgeführt. Die in dem Format gewandelten Bildblöcke werden mit einem zweiten Codierungsverfahren codiert und zu einer Empfängereinheit übertragen.

Dieses Verfahren weist ebenso die oben genannten Vorteile der erfindungsgemäßen Anordnung gegenüber dem bekannten Verfahren auf.

Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Ein Ausführungsbeispiel ist in den Figuren dargestellt und wird im weiteren näher erläutert. Es zeigen

Fig. 1 eine Skizze einer bekannten Anordnung zur Formatwandlung;

Fig. 2 eine Skizze der erfindungsgemäßen Anordnung zur Formatwandlung;

Fig. 3 ein Ablaufdiagramm, in dem die Verfahrensschritte des erfindungsgemäßen Verfahrens dargestellt sind.

Die bekannte Anordnung zur Formatwandlung weist eine Deco­ diereinheit DE mit einem Eingangspufferspeicher EP auf (vgl. Fig. 1). Weiterhin weist die Decodiereinheit DE ein Decodie­ rungsmittel DEC zur Decodierung empfangener Bildblöcke und einen ersten Bildspeicher BS1 auf.

Ferner ist in der Anordnung ein Mittel zur Formatwandlung FW von decodierten Bildblöcken eines ersten Codierungsformats in Bildblöcke eines zweiten Codierungsformats vorgesehen.

In einer Codiereinheit CE werden die in ihrem Format gewan­ delten Bildblöcke codiert. Die Codiereinheit CE weist folgen­ de Komponenten auf: Einen zweiten Bildspeicher BS2, ein Co­ dierungsmittel COD zur Codierung der Bildblöcke mit einem zweiten Codierungsverfahren, das Bildblöcke, die in dem zwei­ ten Codierungsformat vorliegen, codiert, sowie einen Aus­ gangspufferspeicher AP.

In Fig. 2 ist die erfindungsgemäße Anordnung zur Formatwand­ lung dargestellt. Hierbei weist die Decodiereinheit DE ledig­ lich das Decodierungsmittel DEC zur Decodierung der empfange­ nen Bildblöcke, die in einem ersten Codierungsformat codiert sind, sowie den ersten Bildspeicher BS1 auf. Der Eingangspuf­ ferspeicher EP ist bei der erfindungsgemäßen Anordnung nicht vorgesehen. Dadurch wird eine erhebliche Kostenreduktion er­ reicht, da kein Eingangspufferspeicher EP mehr nötig ist. Auch die Zeitverzögerung zur gesamten Formatwandlung wird er­ heblich durch die erfindungsgemäße Anordnung reduziert.

Ferner ist bei der erfindungsgemäßen Anordnung das Mittel zur Formatwandlung FW und die Codiereinheit CE vorgesehen. Die Codiereinheit CE weist den zweiten Bildspeicher BS2, das Co­ dierungsmittel COD zur Codierung der Bildblöcke mit dem zwei­ ten Codierverfahren sowie den Ausgangspufferspeicher AP auf.

Das Mittel zur Formatwandlung FW von decodierten Bildblöcken des ersten Codierungsformats in Bildblöcke des zweiten Codie­ rungsformats kann in einer Weiterbildung der Anordnung derart ausgestaltet sein, daß die Formatwandlung mit variabler Pi­ xelrate durchgeführt wird.

Mögliche Ausgestaltungen des Mittels zur Formatwandlung sind bekannt und in den Dokumenten [4] und [5] beschrieben.

In Fig. 3 ist das erfindungsgemäße Verfahren mit seinen ein­ zelnen Verfahrensschritten in einem Ablaufdiagramm darge­ stellt.

In einem ersten Schritt 301 werden Bildblöcke, die mit einem ersten Codierungsverfahren codiert wurden, in der oben be­ schriebenen Anordnung empfangen. Die Bildblöcke, also der Bitstrom, der aus dem Datennetz von der Anordnung empfangen wird, wird ohne Zwischenspeicherung decodiert 302 und in dem ersten Bildspeicher BS1 gespeichert 303.

Bei einer Formatwandlung der Bildblöcke 304 werden die Bild­ blöcke, die noch in dem ersten Codierungsformat, jedoch deco­ diert in dem ersten Bildspeicher BS1 vorliegen, in Bildblöcke des zweiten Codierungsformats umgewandelt. Dies geschieht, sobald genügend dekomprimierte Bildblöcke des ersten Codie­ rungsformats in dem ersten Bildspeicher BS1 gespeichert sind, um eine Formatwandlung durchzuführen.

Für den Fall, daß die Formatwandlung in einer Formatreduktion um den Faktor 2 vorgegeben ist, entspricht die Anzahl ausrei­ chender Bildblöcke zum Beginn der Formatwandlung beispiels­ weise einer Bildblockzeile sowie zwei Bildblöcken. Diese Si­ tuation ist in Fig. 2 mit Bildblöcken einer ersten Bildblock­ zeile BZ1 sowie Bildblöcken einer zweiten Bildblockzeile BZ2 dargestellt. Die in dem ersten Bildspeicher BS1 gespeicherten Bildblöcke sind mit einer Schraffur gekennzeichnet. Felder des ersten Bildspeichers BS1, die nicht schraffiert sind, deuten an, daß diese Speicherbereiche des ersten Bildspei­ chers BS1 noch nicht mit decodierten Bildblöcken belegt sind.

Die Formatwandlung 304 kann in einer Weiterbildung des erfin­ dungsgemäßen Verfahrens auch mit einer variablen Pixelrate erfolgen.

Die Bildblöcke des zweiten Codierungsformats werden in dem zweiten Bildspeicher BS2 gespeichert 305. In einem weiteren Schritt 306 werden die in dem zweiten Bildspeicher BS2 ge­ speicherten Bildblöcke mit dem zweiten Codierungsverfahren codiert. Die beiden Bildblöcke werden in den Ausgangspuffer­ speicher AP gespeichert 307, von wo aus die Daten mit kon­ stanter Bitrate auf das Netz zu einer Empfängereinheit über­ tragen werden 308.

Ein weiterer Vorteil dieser Anordnung und des erfindungsgemä­ ßen Verfahrens ist darin zu sehen, daß auch die Größe des Ausgangspufferspeichers AP erheblich reduziert werden kann, da durch die Verringerung der Verzögerung der Decodierung der Bildblöcke auch nicht mehr so viele Daten in dem Ausgangspuf­ ferspeicher gespeichert werden müssen, bevor die Daten auf das Datennetz gelegt werden können.

In diesem Dokument wurden die folgenden Veröffentlichungen zi­ tiert:
[1] Ming Liou, Overview of the px64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, S. 60-63, April 1991, 1991;
[2] D. Le Gall, A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, S. 47-58, April 1991, 1991;
[3] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, S. 31-44, April 1991, 1991;
[4] M. Ernst, Motion Compensated Video Processing for Studio Applications, Les Assises des Jeunes Chercheurs, Club de Rennes, Tokio, Japan, S. 1-26, Juni 1992;
[5] R. Simonetti et al, A Deinterlacer for IQTV Receivers and Multimedia Applications, IEEE Transactions on Consumer Electronics, Vol. 39, No. 3, S. 234-240, August 1993.

Claims (5)

1. Anordnung zur Formatwandlung von Bildblöcken von einem er­ sten Codierungsformat in ein zweites Codierungsformat,

• - bei der eine Decodiereinheit (DE) ohne Eingangspuffer vorgesehen ist zur Decodierung der gewandelten Bildblöcke mit einem ersten Codierungsverfahren,
• - bei der ein erster Bildspeicher (BS1) vorgesehen ist,
• - bei der ein Mittel zur Formatwandlung (FW) von decodierten Bildblöcken des ersten Codierungsformats in Bildblöcke des zweiten Codierungsformats vorgesehen ist,
• - bei der ein zweiter Bildspeicher (BS2) vorgesehen ist,
• - bei der ein Codierungsmittel (COD) vorgesehen ist zur Co­ dierung der gewandelten Bildblöcke mit einem zweiten Codie­ rungsverfahren, und
• - bei der ein Ausgangspuffer (AP) vorgesehen ist.

2. Anordnung nach Anspruch 1, bei der in dem Mittel zur Formatwandlung (FW) die Formatwand­ lung mit variabler Pixelrate durchgeführt wird.

3. Verfahren zur Formatwandlung von Bildblöcken von einem er­ sten Codierungsformat in ein zweites Codierungsformat,

• - bei dem empfangene Bildblöcke mit einem ersten inversen Co­ dierungsverfahren decodiert werden, sobald die Bildblöcke empfangen wurden (301, 302),
• - bei dem die decodierten Bildblöcke in einem ersten Bildspeicher (BS1) gespeichert werden (303),
• - bei dem für die gespeicherten Bildblöcke eine Formatwand­ lung in das zweite Codierungsformat durchgeführt wird (304),
• - bei dem die gewandelten Bildblöcke in einem zweiten Bildspeicher (BS2) gespeichert werden (305),
• - bei dem die gespeicherten gewandelten Bildblöcke mit einem zweiten Codierungsverfahren codiert werden (306),
• - bei dem die codierten Bildblöcke in einem Ausgangspuffer (AP) gespeichert werden (307), und
• - bei dem die gespeicherten codierten Bildblöcke zu einer Empfängereinheit übertragen werden (308).

4. Verfahren nach Anspruch 3, bei dem die Formatwandlung begonnen wird, sobald eine zur Formatwandlung ausreichende Anzahl von Bildblöcken decodiert sind.

5. Verfahren nach Anspruch 3 oder 4, bei dem die Formatwandlung mit variabler Pixelrate durchge­ führt wird.