DE19608737C1

DE19608737C1 - Format conversion device for converting image blocks from first to second coding format

Info

Publication number: DE19608737C1
Application number: DE19608737A
Authority: DE
Inventors: Robert Dr Kutka; Juergen Dr Pandel
Original assignee: Siemens AG
Current assignee: Intel Germany Holding GmbH
Priority date: 1996-03-06
Filing date: 1996-03-06
Publication date: 1997-06-19
Anticipated expiration: 2016-03-07
Also published as: WO1997033436A1

Abstract

The device contains a decoder unit (DE) without an input buffer for encoding the converted image blocks using a first encoding method, a first image memory (BS1), a format conversion stage (FW) for converting decoded image blocks in the first code format into the second code format, a second image memory (BS2), an encoder (COD) and an output buffer (AP). The encoder encodes converted image blocks using a second encoding method. The format conversion is conducted using a variable pixel rate, and is started as soon as sufficient image blocks have been decoded.

Description

Beispielsweise bei Videokonferenzen oder Bildtelefonaten über Datennetze müssen an den Schnittstellen zwischen Datennetzab schnitten verschiedener Bandbreite die Übertragungsformate der Daten gewandelt werden. Teilnehmer einer Videokonferenz oder eines Bildtelefonats können über Kanäle verschiedener Bandbreite miteinander verbunden sein, so daß die Teilnehmer die übertragenen Bildsequenzen in unterschiedlicher Auflösung zur Verfügung gestellt bekommen. Ein Beispiel für eine solche Formatwandlung ist der Übergang von einem Breitbandnetz zu einem ISDN-Netz beispielsweise bei Videodaten, die nach dem MPEG-Standard codiert sind, in ein Format, das dem H.263- Standard entspricht. Dies führt bei diesem Beispiel zu einer Reduktion der Bildzeilen und Bildspalten um den Faktor 2, bzw. um den Faktor 4. Dazu wird der empfangene Bitstrom deco diert, also in unkomprimierte Videodaten zurückgewandelt, an schließend wird das Codierungsformat konvertiert und die Vi deodaten schließlich wieder codiert, um in einem Datennetzab schnitt mit gegenüber dem Datennetzabschnitt, aus dem der Bitstrom empfangen wurde, anderer Bandbreite weitergeleitet zu werden.For example, in video conferences or video calls over Data networks must be at the interfaces between data networks cut the transmission formats with different bandwidth of the data are converted. Participants in a video conference or a video call can be channel different Bandwidth must be connected so that the participants the transmitted image sequences in different resolutions get provided. An example of one Format conversion is the transition from a broadband network to an ISDN network, for example, for video data after the MPEG standard are encoded in a format that complies with the H.263 Standard corresponds. In this example, this leads to a Reduction of image lines and image columns by a factor of 2, or by a factor of 4. The received bit stream is deco dated, i.e. converted back into uncompressed video data finally the encoding format is converted and the Vi deodata is finally encoded again in order to access a data network intersected with the data network section from which the Bit stream was received, different bandwidth forwarded to become.

Im Rahmen dieses Dokumentes werden unter den Codierungsforma ten Bitströme verstanden, die beispielsweise nach folgendem blockbasierten Codierungsverfahren codiert werden:In the context of this document, the coding formats understood bit streams, for example according to the following block-based coding methods are coded:

- H.261 standard [1],
- MPEG standard [2],
- JPEG standard [3],
- H.263 standard.

Verfahren zur Formatkonversion zwischen den oben beschriebe nen blockbasierten Codierungsformaten sind aus [4] und [5] bekannt.Format conversion procedure between the above block-based coding formats are from [4] and [5] known.

Es ist bekannt, die Decodereinheit, die Formatwandlereinheit, sowie die Codiereinheit als separate Einheiten hintereinan derzuschalten. Die Decodiereinheit enthält bei der bekannten Anordnung einen Eingangspufferspeicher, um die bei der Deco dierung von Bildblöcken entstandene variable Bitrate zu glät ten und gleichmäßig in den Bildspeicher zu schreiben. Die Co diereinheit weist einen Ausgangspufferspeicher auf, um eine zeitlich konstante Bitrate auf das Netz zu schicken. In dem Eingangspufferspeicher und in dem Ausgangspufferspeicher wer den üblicherweise 1 bis 3 Bilder gespeichert, so daß bei der Formatwandlung der Bildblöcke eine systembedingte Verzögerung durch die Speicherung der Bilddaten in dem Eingangspuffer speicher und dem Ausgangspufferspeicher entsteht. Diese sy stembedingte Verzögerung ist nicht durch eine noch so schnel le Hardware zur Decodierung, Formatwandlung und Codierung zu überwinden. Bei niedrigen Datenraten des Datennetzes, wie sie beispielsweise im ISDN-Netz vorgesehen sind, werden bei spielsweise nur etwa 10 Bilder pro Sekunde übermittelt. Damit ergibt sich allein durch die Formatwandlung mit Decodierung und Codierung durch die Zwischenspeicherung der Bilder in dem Einganspufferspeicher und dem Ausgangspufferspeicher eine zu sätzliche Verzögerung von einer halben Sekunde, bei einer Du plex-Verbindung entsteht sogar eine doppelt so große Zeitver zögerung, was sich für den Betrachter des jeweils beispiels weise auf einem Bildschirm dargestellten Bildes störend aus wirkt.It is known that the decoder unit, the format converter unit, and the coding unit as separate units in series to switch. In the known, the decoding unit contains Arrangement of an input buffer memory to which the Deco smoothing the resulting variable bit rate and write evenly into the image memory. The Co The unit has an output buffer memory to a to send a constant bit rate over the network. By doing Input buffer and who in the output buffer which usually stores 1 to 3 images, so that the Format conversion of the image blocks a system-related delay by storing the image data in the input buffer memory and the output buffer memory is created. This sy stem-related delay is not so fast le hardware for decoding, format conversion and coding too overcome. At low data rates of the data network, like them are provided in the ISDN network, for example for example, only about 10 frames per second transmitted. In order to results solely from the format conversion with decoding and coding by buffering the images in the Input buffer and the output buffer one too additional delay of half a second for a you plex connection is even twice as long hesitation, which is for the viewer of each example show disturbing image displayed on a screen works.

Ferner ist ein erheblicher Nachteil in der bekannten Anord nung und in dem bekannten Verfahren darin zu sehen, daß ein Eingangspufferspeicher in der Decodiereinheit vorgesehen ist, wodurch ein erhöhter Kostenaufwand zur Bereitstellung dieses Eingangspufferspeichers erforderlich ist.Furthermore, there is a considerable disadvantage in the known arrangement tion and in the known method to see that a Input buffer memory is provided in the decoding unit, thereby increasing the cost of providing this Input buffer memory is required.

Somit liegt der Erfindung das Problem zugrunde, eine Anord nung und ein Verfahren zur Formatwandlung von Bildblöcken an zugeben, durch die die oben beschriebenen Nachteile der be kannten Anordnung bzw. des bekannten Verfahrens vermieden werden.The invention is therefore based on the problem of an arrangement and a method for format conversion of image blocks admit the disadvantages of the be described above known arrangement or the known method avoided will.

Das Problem wird durch die Anordnung gemäß Patentanspruch 1, sowie das Verfahren gemäß Patentanspruch 3 gelöst.The problem is solved by the arrangement according to claim 1, and the method according to claim 3 solved.

Bei der Anordnung gemäß Patentanspruch 1 ist kein Eingangs pufferspeicher in der Decodiereinheit vorgesehen. Der Ver zicht auf einen Eingangspufferspeicher wird dadurch ermög licht, daß die Bildblöcke in der Decodiereinheit decodiert werden, sobald sie von der Decodiereinheit empfangen werden. Weiterhin ist bei der erfindungsgemäßen Anordnung ein erster Bildspeicher sowie ein Mittel zur Formatwandlung der Bild blöcke von einem ersten Codierungsformat in Bildblöcke eines zweiten Codierungsformats vorgesehen. Ferner sind eine Co diereinheit und ein Ausgangspufferspeicher bei der erfin dungsgemäßen Anordnung vorgesehen.In the arrangement according to claim 1 there is no input buffer memory provided in the decoding unit. The Ver This avoids the need for an input buffer memory light that the picture blocks in the decoding unit decodes as soon as they are received by the decoding unit. Furthermore, there is a first in the arrangement according to the invention Image storage and a means of converting the format of the image blocks from a first encoding format into picture blocks second coding format provided. Furthermore, a Co diereinheit and an output buffer at the inventor arrangement provided.

Durch diese Anordnung wird eine Formatwandlung der Bildblöcke mit erheblich geringerer Zeitverzögerung ermöglicht, da nicht zuerst komplette Bilder in dem Eingangspufferspeicher gespei chert werden und dann die Bilder als Ganzes decodiert werden, sondern dadurch, daß in der Decodiereinheit die Decodierung begonnen wird, sobald genügend Bildblöcke zur Decodierung der Bildblöcke empfangen wurden.With this arrangement, the format of the image blocks is changed enables with significantly less time delay, since not first complete images are stored in the input buffer memory be saved and then the images are decoded as a whole, but in that the decoding in the decoding unit is started as soon as enough picture blocks for decoding the Image blocks have been received.

Weiterhin ist ein Vorteil der erfindungsgemäßen Anordnung darin zu sehen, daß durch den Verzicht auf den Eingangspuf ferspeicher die Kosten für die gesamte Anordnung zur Format wandlung erheblich reduziert werden, da keine Kosten mehr für den Eingangspufferspeicher anfallen. Another advantage of the arrangement according to the invention to be seen in the fact that by dispensing with the entrance puff save the cost of the entire arrangement to format conversion can be significantly reduced since there are no more costs for the input buffer memory.

Auch wird die benötigte Verlustleistung durch häufiges Ein- und Ausschreiben von Daten aus dem Eingangspufferspeicher re duziert.The required power loss is also caused by frequent input and output Write data from the input buffer right induced.

Bei dem erfindungsgemäßen Verfahren gemäß Patentanspruch 3 werden Bildblöcke des ersten Codierungsformats empfangen und, sobald die Bildblöcke empfangen wurden, decodiert. Nach der Decodierung wird die Formatwandlung in das zweite Codierungs format durchgeführt. Die in dem Format gewandelten Bildblöcke werden mit einem zweiten Codierungsverfahren codiert und zu einer Empfängereinheit übertragen.In the inventive method according to claim 3 image blocks of the first coding format are received and, once the picture blocks are received, decoded. After Decoding is the format conversion to the second coding format performed. The image blocks converted in the format are encoded using a second encoding method and transmitted to a receiver unit.

Dieses Verfahren weist ebenso die oben genannten Vorteile der erfindungsgemäßen Anordnung gegenüber dem bekannten Verfahren auf.This method also has the advantages of arrangement according to the invention compared to the known method on.

Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Further developments of the invention result from the dependent Claims.

Ein Ausführungsbeispiel ist in den Figuren dargestellt und wird im weiteren näher erläutert. Es zeigenAn embodiment is shown in the figures and will be explained in more detail below. Show it

Fig. 1 eine Skizze einer bekannten Anordnung zur Formatwandlung; Fig. 1 is a sketch of a known arrangement for format conversion;

Fig. 2 eine Skizze der erfindungsgemäßen Anordnung zur Formatwandlung; Fig. 2 is a sketch of the inventive arrangement for format conversion;

Fig. 3 ein Ablaufdiagramm, in dem die Verfahrensschritte des erfindungsgemäßen Verfahrens dargestellt sind. Fig. 3 is a flowchart showing the process steps of the inventive method.

Die bekannte Anordnung zur Formatwandlung weist eine Deco diereinheit DE mit einem Eingangspufferspeicher EP auf (vgl. Fig. 1). Weiterhin weist die Decodiereinheit DE ein Decodie rungsmittel DEC zur Decodierung empfangener Bildblöcke und einen ersten Bildspeicher BS1 auf. The known arrangement for format conversion has a decoding unit DE with an input buffer memory EP (cf. FIG. 1). Furthermore, the decoding unit DE has a decoding means DEC for decoding received picture blocks and a first picture memory BS1.

Ferner ist in der Anordnung ein Mittel zur Formatwandlung FW von decodierten Bildblöcken eines ersten Codierungsformats in Bildblöcke eines zweiten Codierungsformats vorgesehen.Furthermore, there is a means for format conversion FW in the arrangement of decoded picture blocks of a first encoding format in Picture blocks of a second coding format are provided.

In einer Codiereinheit CE werden die in ihrem Format gewan delten Bildblöcke codiert. Die Codiereinheit CE weist folgen de Komponenten auf: Einen zweiten Bildspeicher BS2, ein Co dierungsmittel COD zur Codierung der Bildblöcke mit einem zweiten Codierungsverfahren, das Bildblöcke, die in dem zwei ten Codierungsformat vorliegen, codiert, sowie einen Aus gangspufferspeicher AP.In a coding unit CE they are won in their format encoded picture blocks. The coding unit CE follows de components on: a second image memory BS2, a Co Coding means for coding the image blocks with a second encoding method, the picture blocks used in the two th coding format are available, coded, and an off gear buffer memory AP.

In Fig. 2 ist die erfindungsgemäße Anordnung zur Formatwand lung dargestellt. Hierbei weist die Decodiereinheit DE ledig lich das Decodierungsmittel DEC zur Decodierung der empfange nen Bildblöcke, die in einem ersten Codierungsformat codiert sind, sowie den ersten Bildspeicher BS1 auf. Der Eingangspuf ferspeicher EP ist bei der erfindungsgemäßen Anordnung nicht vorgesehen. Dadurch wird eine erhebliche Kostenreduktion er reicht, da kein Eingangspufferspeicher EP mehr nötig ist. Auch die Zeitverzögerung zur gesamten Formatwandlung wird er heblich durch die erfindungsgemäße Anordnung reduziert.In Fig. 2, the arrangement for Formatwand treatment is shown. Here, the decoding unit DE has only the decoding means DEC for decoding the received picture blocks encoded in a first coding format, and the first picture memory BS1. The input buffer memory EP is not provided in the arrangement according to the invention. As a result, a considerable cost reduction is achieved since an input buffer memory EP is no longer necessary. The time delay for the entire format conversion is also reduced considerably by the arrangement according to the invention.

Ferner ist bei der erfindungsgemäßen Anordnung das Mittel zur Formatwandlung FW und die Codiereinheit CE vorgesehen. Die Codiereinheit CE weist den zweiten Bildspeicher BS2, das Co dierungsmittel COD zur Codierung der Bildblöcke mit dem zwei ten Codierverfahren sowie den Ausgangspufferspeicher AP auf.Furthermore, in the arrangement according to the invention, the means for Format conversion FW and the coding unit CE are provided. The Coding unit CE has the second image memory BS2, the Co dation means COD for coding the image blocks with the two th coding method and the output buffer memory AP.

Das Mittel zur Formatwandlung FW von decodierten Bildblöcken des ersten Codierungsformats in Bildblöcke des zweiten Codie rungsformats kann in einer Weiterbildung der Anordnung derart ausgestaltet sein, daß die Formatwandlung mit variabler Pi xelrate durchgeführt wird.The means for converting the format FW of decoded picture blocks of the first coding format into picture blocks of the second coding In a further development of the arrangement, the approx be designed that the format conversion with variable Pi xelrate is carried out.

Mögliche Ausgestaltungen des Mittels zur Formatwandlung sind bekannt und in den Dokumenten [4] und [5] beschrieben. Possible configurations of the means for format conversion are known and described in documents [4] and [5].

In Fig. 3 ist das erfindungsgemäße Verfahren mit seinen ein zelnen Verfahrensschritten in einem Ablaufdiagramm darge stellt.In Fig. 3, the method according to the invention with its individual process steps in a flowchart is Darge.

In einem ersten Schritt 301 werden Bildblöcke, die mit einem ersten Codierungsverfahren codiert wurden, in der oben be schriebenen Anordnung empfangen. Die Bildblöcke, also der Bitstrom, der aus dem Datennetz von der Anordnung empfangen wird, wird ohne Zwischenspeicherung decodiert 302 und in dem ersten Bildspeicher BS1 gespeichert 303.In a first step 301 , image blocks which have been coded using a first coding method are received in the arrangement described above. The picture blocks, that is to say the bit stream which is received from the data network by the arrangement, is decoded 302 without intermediate storage and stored 303 in the first picture memory BS1.

Bei einer Formatwandlung der Bildblöcke 304 werden die Bild blöcke, die noch in dem ersten Codierungsformat, jedoch deco diert in dem ersten Bildspeicher BS1 vorliegen, in Bildblöcke des zweiten Codierungsformats umgewandelt. Dies geschieht, sobald genügend dekomprimierte Bildblöcke des ersten Codie rungsformats in dem ersten Bildspeicher BS1 gespeichert sind, um eine Formatwandlung durchzuführen.When the picture blocks 304 are converted into a format, the picture blocks which are still in the first coding format but decoded in the first picture memory BS1 are converted into picture blocks of the second coding format. This happens as soon as enough decompressed picture blocks of the first coding format are stored in the first picture memory BS1 to carry out a format conversion.

Für den Fall, daß die Formatwandlung in einer Formatreduktion um den Faktor 2 vorgegeben ist, entspricht die Anzahl ausrei chender Bildblöcke zum Beginn der Formatwandlung beispiels weise einer Bildblockzeile sowie zwei Bildblöcken. Diese Si tuation ist in Fig. 2 mit Bildblöcken einer ersten Bildblock zeile BZ1 sowie Bildblöcken einer zweiten Bildblockzeile BZ2 dargestellt. Die in dem ersten Bildspeicher BS1 gespeicherten Bildblöcke sind mit einer Schraffur gekennzeichnet. Felder des ersten Bildspeichers BS1, die nicht schraffiert sind, deuten an, daß diese Speicherbereiche des ersten Bildspei chers BS1 noch nicht mit decodierten Bildblöcken belegt sind.In the event that the format conversion is specified in a format reduction by a factor of 2, the number of sufficient image blocks at the beginning of the format conversion corresponds, for example, to one image block line and two image blocks. This situation is shown in FIG. 2 with image blocks of a first image block line BZ1 and image blocks of a second image block line BZ2. The image blocks stored in the first image memory BS1 are marked with hatching. Fields of the first image memory BS1, which are not hatched, indicate that these memory areas of the first image memory BS1 are not yet occupied with decoded image blocks.

Die Formatwandlung 304 kann in einer Weiterbildung des erfin dungsgemäßen Verfahrens auch mit einer variablen Pixelrate erfolgen. In a further development of the method according to the invention, the format conversion 304 can also be carried out with a variable pixel rate.

Die Bildblöcke des zweiten Codierungsformats werden in dem zweiten Bildspeicher BS2 gespeichert 305. In einem weiteren Schritt 306 werden die in dem zweiten Bildspeicher BS2 ge speicherten Bildblöcke mit dem zweiten Codierungsverfahren codiert. Die beiden Bildblöcke werden in den Ausgangspuffer speicher AP gespeichert 307, von wo aus die Daten mit kon stanter Bitrate auf das Netz zu einer Empfängereinheit über tragen werden 308.The picture blocks of the second coding format are stored 305 in the second picture memory BS2. In a further step 306 , the image blocks stored in the second image memory BS2 are encoded using the second coding method. The two image blocks are stored 307 in the output buffer memory AP, from where the data are transmitted 308 to the receiver unit at a constant bit rate.

Ein weiterer Vorteil dieser Anordnung und des erfindungsgemä ßen Verfahrens ist darin zu sehen, daß auch die Größe des Ausgangspufferspeichers AP erheblich reduziert werden kann, da durch die Verringerung der Verzögerung der Decodierung der Bildblöcke auch nicht mehr so viele Daten in dem Ausgangspuf ferspeicher gespeichert werden müssen, bevor die Daten auf das Datennetz gelegt werden können. Another advantage of this arrangement and that of the invention The process can be seen in the fact that the size of the Output buffer memory AP can be significantly reduced, because by reducing the delay in decoding the Image blocks also no longer have as much data in the output buffer memory must be saved before the data is on the data network can be laid.

In diesem Dokument wurden die folgenden Veröffentlichungen zi tiert:
[1] Ming Liou, Overview of the px64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, S. 60-63, April 1991, 1991;
[2] D. Le Gall, A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, S. 47-58, April 1991, 1991;
[3] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, S. 31-44, April 1991, 1991;
[4] M. Ernst, Motion Compensated Video Processing for Studio Applications, Les Assises des Jeunes Chercheurs, Club de Rennes, Tokio, Japan, S. 1-26, Juni 1992;
[5] R. Simonetti et al, A Deinterlacer for IQTV Receivers and Multimedia Applications, IEEE Transactions on Consumer Electronics, Vol. 39, No. 3, S. 234-240, August 1993.The following publications have been cited in this document:
[1] Ming Liou, Overview of the px64 kbit / s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, pp. 60-63, April 1991, 1991;
[2] D. Le Gall, A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, pp. 47-58, April 1991, 1991;
[3] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, vol. 34, no. 4, pp. 31-44, April 1991, 1991;
[4] M. Ernst, Motion Compensated Video Processing for Studio Applications, Les Assises des Jeunes Chercheurs, Club de Rennes, Tokyo, Japan, pp. 1-26, June 1992;
[5] R. Simonetti et al, A Deinterlacer for IQTV Receivers and Multimedia Applications, IEEE Transactions on Consumer Electronics, Vol. 39, No. 3, pp. 234-240, August 1993.

Claims

1. Arrangement for format conversion of image blocks from a first coding format into a second coding format,

a decoding unit (DE) without an input buffer is provided for decoding the converted picture blocks using a first coding method,
- in which a first image memory (BS1) is provided,
a means for converting the format (FW) of decoded picture blocks of the first coding format into picture blocks of the second coding format is provided,
- in which a second image memory (BS2) is provided,
- In which a coding means (COD) is provided for coding the converted image blocks with a second coding method, and
- in which an output buffer (AP) is provided.

2. Arrangement according to claim 1, in which in the medium for format conversion (FW) the format wall variable pixel rate is performed.

3. Method for format conversion of picture blocks from a first coding format into a second coding format,

in which received picture blocks are decoded with a first inverse coding method as soon as the picture blocks have been received ( 301, 302 ),
in which the decoded picture blocks are stored in a first picture memory (BS1) ( 303 ),
- In which a format conversion into the second coding format is carried out for the stored image blocks ( 304 ),
- in which the converted image blocks are stored ( 305 ) in a second image memory (BS2),
- in which the stored converted image blocks are encoded using a second encoding method ( 306 ),
- in which the coded picture blocks are stored in an output buffer (AP) ( 307 ), and
- In which the stored coded picture blocks are transmitted to a receiver unit ( 308 ).

4. The method according to claim 3, in which the format conversion is started as soon as one for Format conversion sufficient number of picture blocks decoded are.

5. The method according to claim 3 or 4, where the format conversion with variable pixel rate leads.