DE3706749C2

DE3706749C2 - Process for improving the picture quality in digital progressive still picture transmission

Info

Publication number: DE3706749C2
Application number: DE3706749A
Authority: DE
Inventors: Wolfgang Dr Ing Mauersberger
Original assignee: Telefonbau und Normalzeit GmbH; Telenorma GmbH
Current assignee: Telenorma GmbH
Priority date: 1987-03-03
Filing date: 1987-03-03
Publication date: 1993-11-11
Anticipated expiration: 2007-03-04
Also published as: DE3706749A1

Description

Die Erfindung betrifft ein Verfahren zur Verbesserung der Bildqualität bei digitaler progressiver Standbild übertragung nach dem Oberbegriff des Patentanspruchs 1.The invention relates to a method for improvement the picture quality with digital progressive still picture Transfer according to the preamble of claim 1.

In dem DE-Fachbuch "Text- und Bildkommunikation, NTG-Fachberichte", Band 74, 1980 (VDE-Verlag GmbH, Berlin) sind Aufsätze abgedruckt, die sich mit der Übertragung von Einzelbildern befassen. Ab Seite 298 wird ein Verfahren zur Übertragung von elektronisch gespeicherten Farbfernseh-Einzelbildern über Fernsprechleitungen beschrieben. Mit einer in der Systemübersicht beschriebenen und in Bild 1 dargestellten Anordnung sollen auf Knopfdruck gespeicherte Einzelbilder einer Farbfernsehkamera über eine Fernsprechleitung übertragen werden. Auf der Sendeseite und auf der Empfangsseite sind besonders ausgestaltete Modems notwendig, womit nach der digitalen Aufbereitung des Bildsignals die Übertragung des zeilensequentiellen Signals in analoger Form erfolgt. Die dabei benutzten Taktraten von etwa 2 kHz sind der Übertragungsbandbreite des Fernsprechkanals angepaßt.In the DE specialist book "Text and Image Communication, NTG Technical Reports", Volume 74, 1980 (VDE-Verlag GmbH, Berlin) are essays printed, which deal with the transfer of single images. From page 298 a procedure for the transfer of electronically stored color television frames over telephone lines described. With one in the system overview The arrangement described and shown in Figure 1 is said to be based on Single images of a color television camera saved at the push of a button can be transmitted over a telephone line. On the sending side and on the reception side are specially designed Modems necessary, with which after the digital preparation of the Image signal the transmission of the line sequential signal in analog form. The clock rates of about 2 kHz are adapted to the transmission bandwidth of the telephone channel.

Ab Seite 335 wird eine Video-Einzelbildübertragung über Schmalbandkanäle mit zeitlich zunehmender Auflösung beschrieben. Es handelt sich um ein zweistufiges Verfahren, womit sowohl eine absolute als auch eine subjektive Verkürzung der Wartezeit für den Empfänger eines Bildes möglich ist. Zu diesem Zweck wird auf der Sendeseite ein Transformationscoder eingesetzt, welcher eine größere Zahl von benachbarten Bildpunkten einer Zeile zu einem Vektor zusammenfaßt. Jeder Vektor des Bildes wird dann einer orthonormalen Transformation unterzogen, wie dies auf Seite 337 beschrieben ist. Dadurch ergeben sich auf der Empfängerseite relativ schnell die sichtbaren Umrisse eines Bildes, wie dies in Bild 2.2.b auf Seite 338 dargestellt ist. Mit zunehmender Übertragungszeit wird die Auflösung des empfangenen Bildes gesteigert. Dadurch ergibt sich im Mittel eine wesentliche Einsparung an Übertragungszeit gegenüber einstufigen Verfahren, welche die Bilddaten ohne Vorverarbeitung übertragen. Hierzu sind auf Seite 335 im Abschnitt "Einleitung" nähere Angaben gemacht. Zur Vervollkommnung eines Bildes sind im Empfänger sequentielle Rücktransformationen erforderlich, wobei jeweils ankommende Bilddaten mit den bereits empfangenen Bilddaten in geeigneter Weise verknüpft werden. Hierzu sind umfangreiche Rechenoperationen erforderlich. Die Übertragungszeit kann jedoch begrenzt werden, wenn beim Empfänger erkannt wird, daß eine hinreichend große Auflösung vorliegt. Dadurch ist eine wesentliche Einsparung an Übertragungszeit möglich.From page 335 a video single frame transmission over narrowband channels described with increasing resolution. It is a two-stage process, which means that both absolute as well as a subjective shortening of the waiting time for the recipient of an image is possible. For this purpose a transformation encoder is used on the transmission side, which a larger number of neighboring pixels on a line summarizes a vector. Each vector of the picture will then undergo an orthonormal transformation like this on Page 337 is described. This results on the receiving end relatively quickly the visible outline of an image, as shown in Figure 2.2.b on page 338. With increasing Transmission time is the resolution of the received Image increased. This results in an essential one on average Saving of transmission time compared to one-step processes, which transmit the image data without preprocessing. For this, see page 335 in the section "Introduction" made. To perfect a picture are in the receiver sequential reverse transformations required, each time incoming image data with the image data already received be linked in a suitable manner. This is extensive Arithmetic operations required. The transmission time can be limited, however, if the receiver detects that there is a sufficiently large resolution. This is one significant savings in transmission time possible.

Ein Verfahren zur progressiven Übertragung von Grauton- und Binärbildern durch einfache, effiziente und verlustlose Codierverfahren ist in "Proceedings of the IEEE", Vol. 68, Nr. 7 vom Juli 1980 auf den Seiten 885 bis 896 beschrieben. Auch bei diesem Verfahren werden mehrere Bildpunkte zunächst zusammengefaßt, damit möglichst schnell ein zunächst unscharfes Bild auf der Empfängerseite entstehen kann. Besonders deutlich geht dies auf der Fig. 7 auf Seite 889 hervor. Hier werden 3 Methoden der Übertragung miteinander verglichen. Im unteren Teil des Bildes ist zu sehen, wie bei einer zeilenweisen Abtastung das fertige Bild entsteht. Es ist deutlich zu erkennen, daß in der 1. Hälfte des Zeitabschnitts kaum zu erkennen ist, um welches Bild es sich handeln wird. Dem gegenüber ist im oberen Teil der Fig. 4 deutlich zu erkennen, auf welche Weise sich die Auflösung eines zunächst unscharfen Bildes steigert. Die dazu notwendige komplexe Codiermethode ist ab Seite 892 beschrieben.A process for the progressive transmission of gray tone and binary images through simple, efficient and lossless coding methods is in "Proceedings of the IEEE", Vol. 68, No. 7 dated July 1980 on pages 885 to 896. This one too Several pixels are first combined, so that an initially out of focus picture appears as quickly as possible the recipient side can arise. This is particularly clear 7 on page 889. Here are 3 methods compared the transmission. In the lower part of the The image can be seen as is the case with a line-by-line scan finished picture emerges. It can be clearly seen that in the 1st half of the period is barely recognizable by which Picture it will be. In contrast, the upper part of the Fig. 4 clearly see how the resolution of an initially blurred image. The necessary complex coding method is described from page 892.

Ein weiterer Aufsatz in der gleichen Literaturstelle ab Seite 897 befaßt sich mit der progressiven Übertragung von Darstellungen bei Benutzung einer Wachstums-Geometrie-Codierung. Dabei werden Schwarz-Weiß-Informationen über Schmalbandkanäle übertragen. Über das Bild verteilt werden bestimmte Punkte, sogenannte Samenkörner ausgewählt, welche dann im weiteren Verlauf der Übertragung der Gestalt des Bildes entsprechend wachsen. Auf diese Weise wird an der Empfangsstelle die Darstellung mehr oder weniger exakt regeneriert, wie dies in Fig. 9 auf Seite 903 dargestellt ist. Im weiteren Verlauf des Absatzes ab Seite 906 wird die Anwendung der Wachstums-Geometrie-Codierung bei mehrstufigen Darstellungen, das heißt für die Übertragung von Grautönen, diskutiert.Another article in the same reference from page 897 deals with the progressive transmission of representations when using a growth geometry coding. Black and white information about narrowband channels transfer. Certain points, so-called, are distributed over the image Seeds selected, which then in the further course grow according to the transfer of the shape of the image. In this way, the presentation at the receiving point regenerated more or less exactly, as shown in FIG Page 903 is shown. In the further course of the paragraph Page 906 shows the application of growth geometry coding for multi-level displays, that is for the transfer of shades of gray, discussed.

Ein weiterer Beitrag zur Bildübertragung ist unter der Überschrift "Codierung von Videosignalen" abgedruckt in der DE-Zeitschrift Elektrisches Nachrichtenwesen, Band 59, Nr. 3, 1985 ab Seite 286. Als Codierverfahren wird die Pulscode-Modulation (Seite 288) und die Differenz-Pulscode-Modulation auf Seite 290 angegeben. Außerdem ist noch auf Seite 291 die Transformationscodierung erwähnt. Bei der Betrachtung der Codes für die Videosignalübertragung auf Seite 292, wobei auch die Farbinformation eines Bildes eingeschlossen ist, wird von einer breitbandigen Übertragung ausgegangen. Maßnahmen, die notwendig sind, um Standbilder über Schmalbandkanäle zu übertragen, wobei ein progressiver Bildaufbau stattfindet, sind in diesem Beitrag nicht enthalten.Another contribution to image transmission is under the heading "Coding of video signals" printed in the DE magazine Electrical Communication, Volume 59, No. 3, 1985 from page 286. Pulse code modulation is used as the coding method (Page 288) and differential pulse code modulation on page 290 specified. The transformation coding is also on page 291 mentioned. When considering the codes for video signal transmission on page 292, including the color information an image is enclosed by a broadband Transmission ran out. Measures that are necessary to transmit still images over narrowband channels, where A progressive image construction takes place in this post not included.

In dem DE-Fachbuch "Elektronische Textkommunikation", welches 1983 im VDE-Verlag Berlin, Offenbach erschienen ist, ist ab Seite 323 ein Aufsatz mit dem Titel Telefax-Fernkopieren abgedruckt. Es ist dort beschrieben auf welche Weise mit Text oder Grafiken und auch gemischt bedruckte Dokumente übertragen werden können. Auf den Seiten 330 und 331 sind unter Punkt 2.3 Codierungsverfahren für die Gerätegruppe 3 beschrieben. Es wird dort angegeben, auf welche Weise durch die Verwendung von redundanz-reduzierenden Quellencodierungs verfahren die Übertragungszeit einer Vorlage reduziert werden kann. Hierbei wird meist die Größe einer DIN-A4- Seite zugrunde gelegt, wovon auf den Seiten 328 und 329 sogenannte CCITT-Testdokumente abgebildet sind. Beim Fernkopieren wird im allgemeinen die Information zeilenweise übertragen, und die Wiedergabe des empfangenen Dokumentes erfolgt ebenfalls zeilenweise. Somit entsteht am Empfangsort sukzessive eine dem gesendeten Original entsprechende Kopie. Eine auf diese Art empfangene Kopie kann entweder als sogenannte Hardkopie durch einen Fernkopierer direkt erstellt werden, oder es kann die Information in einen Speicher aufgenommen werden. Eine gespeicherte Bildinformation ist danach jederzeit abrufbar und kann entweder durch einen Kopierer oder Drucker zu Papier gebracht werden oder an einem Bildschirm angezeigt werden.In the DE specialist book "Electronic Text Communication", which appeared in 1983 in the VDE publishing house Berlin, Offenbach is an essay entitled from page 323 Fax facsimile printed. It is described there in what way with text or graphics and also mixed printed documents can be transferred. On pages 330 and 331 under point 2.3 Coding method for device group 3 described. It specifies how the Use of redundancy-reducing source coding procedure reduces the transmission time of a template can be. Usually the size of a DIN A4 Page, of which on pages 328 and 329 so-called CCITT test documents are shown. At the The information is generally copied by telefax transmitted line by line, and playback of the received Document is also done line by line. Thus arises successively at the place of reception the original sent corresponding copy. A copy received in this way can either be a so-called hard copy by a Fax machines can be created directly, or it can be Information can be stored in a memory. A saved image information is thereafter at any time available and can be either by a copier or Be put on paper or on a printer Screen.

Wenn bei der Informationsübertragung Codierungsverfahren angewendet werden, wie sie in dem erwähnten Fachbuch beschrieben werden, so können bereits auf der Sendeseite beim Codieren gewisse Fehler auftreten, die zwar in vielen Fällen vernachlässigbar sind, aber bei fein aufgelösten wichtigen Dokumenten störend wirken oder zu Fehlinterpretation Anlaß geben können.If coding process when transmitting information be used as they are in the mentioned specialist book can be described on the transmission side certain errors occur during coding, which are in are negligible in many cases, but with finely resolved ones important documents disturb or close Can give rise to misinterpretation.

Die Aufgabe der Erfindung besteht darin, ein Verfahren anzugeben, womit auf der Sendseite entstehende Restfehler nachträglich kompensiert werden können, so daß am Empfangsort eine höherwertige Wiedergabe ermöglicht wird.The object of the invention is a method specify what residual errors arise on the sending side can be compensated subsequently, so that on Reception location a higher quality reproduction is made possible.

Diese Aufgabe wird durch eine Merkmalskombination gelöst, wie sie im Patentanspruch 1 angegeben ist.This task is solved by a combination of features, such as it is specified in claim 1.

Damit wird in vorteilhafter Weise erreicht, daß zunächst ohne Beeinflussung der Übertragungszeit auf bekannte Weise eine Bildinformation übertragen wird, die dann nachträglich auf eine dem Original entsprechende Qualität gebracht wird. Auf der Sendeseite entstehende Restfehler werden dabei beseitigt. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.It is advantageously achieved that initially without affecting the transmission time on known ones Way an image information is transmitted, which then subsequently to a quality corresponding to the original brought. Remaining errors on the sending side will be eliminated. Developments of the invention result from the subclaims.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand einer Zeichnung näher erläutert. In der Zeichnung ist ein Sendespeicher S-SP dargestellt, an dessen Eingang E eine zu übertragende Bildinformation zum Einspeichern angeboten wird. Der Ausgang A dieses Sendespeichers S-SP ist mit dem Eingang eines progressiven Codierers PC und mit dem Eingang eines Rechenwerkes RW verbunden. Der Ausgang des progressiven Codierers PC ist mit einer Umschalteinrichtung UE, die zum Übertragungskanal ÜK führt, verbunden. Außerdem ist am Ausgang des progressiven Codierers PC ein progressiver Dekoder PD angeschlossen. An embodiment of the invention is as follows explained in more detail using a drawing. In the drawing a transmission memory S-SP is shown at the input E an image information to be transmitted for storage is offered. The output A of this transmit memory S-SP is with the input of a progressive encoder PC and connected to the input of an arithmetic unit RW. The The output of the progressive encoder is with a PC Switching device UE, the transmission channel ÜK leads, connected. It is also at the exit of the progressive Encoder PC connected to a progressive decoder PD.

Der Ausgang des progressiven Decoders PD ist mit dem Eingang eines Zwischenspeiches ZW-SP verbunden. Der Ausgang dieses Zwischenspeichers ZW-SP führt ebenso wie der Ausgang A des Sendespeichers S-SP zu einem Rechenwerk RW. Der Ausgang dieses Rechenwerkes RW ist mit dem Eingang eines Differenz-Codierers DC verbunden. Der Ausgang des Differenz-Codierers CD ist mit der bereits erwähnten Umschalteinrichtung UE verbunden, die zum Übertragungskanal ÜK führt. Dieser Weg wird erst in einer zweiten Übertragungsphase wirksam.The output of the progressive decoder PD is with the Input of a buffer ZW-SP connected. The The output of this buffer ZW-SP also leads like the output A of the transmit memory S-SP to one Calculator RW. The output of this arithmetic unit is RW connected to the input of a differential encoder DC. The output of the differential encoder CD is with the already mentioned switching device UE connected leads to the transmission channel ÜK. This way is only effective in a second transmission phase.

Eine im Sendespeicher S-SP befindliche Bildinformation wird durch den progressiven Decoder PD nach einem bekannten Codierungsverfahren codiert und gelangt zu der in der Schaltstellung 1 befindlichen Umschalteinrichtung UE, so daß während dieser ersten Übertragungsphase die progressiv codierten Bildsignale auf dem Übertragungskanal ÜK gelangen. Gleichzeitig werden die vom Ausgang des progressiven Codierers PC erzeugten Signale dem progressiven Decoder PD zugeführt, der sie decodiert dem Zwischenspeicher ZW-SP anbietet. In diesem Zwischenspeicher ZW-SP sind dann die Bildsignale nach dem gleichen Schema abgelegt, wie sie im Sendespeicher S-SP gespeichert sind. Es können jedoch Unterschiede auftreten, die durch die progressive Codierung bedingt sind.An image information located in the transmit memory S-SP is encoded by the progressive decoder PD according to a known coding method and reaches the switching device UE located in the switch position 1 , so that the progressively encoded image signals arrive on the transmission channel ÜK during this first transmission phase. At the same time, the signals generated by the output of the progressive encoder PC are fed to the progressive decoder PD, which decodes them and offers them to the buffer memory ZW-SP. The image signals are then stored in this buffer ZW-SP according to the same scheme as they are stored in the transmit memory S-SP. However, there may be differences due to the progressive coding.

Wenn die progressive Standbildübertragung in der ersten Übertragungsphase abgeschlossen ist, so schaltet die Umschalteinrichtung UE auf den Ausgang des Differenz- Codierers DC um. Das Rechenwerk RW beginnt nun damit, den Inhalt des Sendespeichers S-SP mit dem Inhalt des Zwischenspeichers ZW-SP zu vergleichen und bildet Differenzinformationen. Diese Differenzen werden im Differenz-Codierer DC progressiv codiert und während der zweiten Übertragungsphase über die umgeschaltete Umschalteinrichtung UE auf den Übertragungskanal gegeben.When the progressive still image transmission in the first Transmission phase is completed, the switches Switchover device UE to the output of the differential Encoder DC around. The arithmetic unit RW now begins the content of the transmit memory S-SP with the content of the To compare and form cache ZW-SP Difference information. These differences are in the Differential encoder progressively encoded and during DC the second transmission phase over the switched Switchover device UE to the transmission channel given.

Auf der Empfangsseite befindet sich zunächst ebenfalls eine Umschalteinrichtung UE am Übertragungskanal, so daß die progressiv codierten Differenzsignale nach vorheriger Decodierung in einem auf der Empfangsseite befindlichen Zwischenspeicher aufgenommen werden können. Mit einem auf der Empfangsseite befindlichen Rechenwerk werden diese Bildsignale dann zu den bereits während der ersten Übertragungsphase empfangenen und in einem Empfangsspeicher zwischengespeicherten Signalen hinzuaddiert.On the reception side there is also initially a switching device UE on the transmission channel, so that the progressively coded difference signals according to the previous one Decoding in one on the receiving side Buffer can be recorded. With a arithmetic unit located on the receiving side these image signals then to those already during the first Received transmission phase and in a receive memory cached signals added.

Je nach Ausgestaltung der auf der Empfangsseite befindlichen Steuereinrichtung kann bei der Addition der in der zweiten Übertragungsphase empfangenen Information zu der während der ersten Übertragungsphase empfangenen Information eine Ergänzung und damit eine qualitative Verbesserung des Bildes in verschiedener Weise vorgenommen werden. So kann beispielsweise sich das Bild zeilenweise von oben nach unten verändern. Es ist jedoch auch denkbar, daß die nachträgliche Veränderung eines Bildes von der Bildmitte ausgehend sich nach beiden Seiten, also nach oben und nach unten ausbreitend vollzieht. Die Veränderung des Bildes kann auch vom Zentrum des Bildes ausgehend sich spiralförmig nach außen hin ausbreiten.Depending on the design of those on the reception side Control device can in the addition of the second transmission phase received information on the received during the first transmission phase Information is a supplement and therefore a qualitative one Enhancing the image in different ways will. For example, the picture may line up change from top to bottom. However, it is also conceivable that the subsequent change of a picture starting from the center of the picture on both sides, thus spreading upwards and downwards. The change in the image can also be from the center of the Starting from the image spiraling outwards spread.

Claims

1. A method for improving the image quality in digital progressive still image transmission, digitally stored image templates are transmitted serially over a channel with the aid of a progressive encoder so that the still image is created successively on the receiving side, characterized in that a progressive decoder (PD) is used the output of the progressive encoder (PC) leading to the transmission channel (ÜK) is connected, the output of which is connected to a buffer (ZW-SP), that during a first transmission phase the progressively coded image signals are transmitted and also decoded in parallel to the buffer ( ZW-SP) get that an arithmetic logic unit (RW), which is connected with its inputs to the outputs of a transmit memory (S-SP) and also to the outputs of the buffer memory (ZW-SP), during a second transmission phase differences between the Contents of the transmit memory (S-SP) and the in the buffer (Z W-SP) stored and already transmitted information is continuously calculated, which is coded by a differential encoder (DC) and given to the transmission channel (ÜK).

2. The method according to claim 1, characterized, that a switchover device (UE) is provided, which the transmission channel (ÜK) during the first Transfer phase with the exit of the progressive Encoder (PC) and during the second transmission phase with the output of the differential encoder (DC) connects.

3. The method according to claim 1, characterized, that as a differential encoder (DC) a Huffmann encoder is used.

4. The method according to claim 3, characterized, that the Huffmann encoder with a prepared one optimized code conversion table works.

5. The method according to claim 1, characterized, that when transferring the difference information to the recipient this the image received there is added line by line.

6. The method according to claim 5, characterized, that the line-by-line addition at the first line begins.

7. The method according to claim 5, characterized, that the line-by-line addition in the middle of the picture begins and spreads to both sides.

8. The method according to claim 1, characterized, that when transferring the difference information to the recipient the image received there in the center beginning of the picture and spiraling outwards spreading is completed by addition.

9. The method according to claim 1, characterized, that in the transmission of color image information Memory capacity of the transmit memory (S-SP) and also the buffer (ZW-SP) accordingly (at least is enlarged three times.