DE3901103C1

DE3901103C1 - Method for transmitting stereoscopic television images

Info

Publication number: DE3901103C1
Application number: DE3901103A
Authority: DE
Inventors: Heinz Dr.-Phys. 8024 Oberhaching De Fehlhammer; Roger Dipl.-Ing. Heimann; Herbert Dipl.-Ing. Hofmann; Matthias Dipl.-Ing. 8000 Muenchen De Oepen
Original assignee: Institut fuer Rundfunktechnik GmbH
Current assignee: Institut fuer Rundfunktechnik GmbH
Priority date: 1989-01-16
Filing date: 1989-01-16
Publication date: 1989-09-21

Abstract

To transmit stereoscopic television images with reduced bandwidth and, respectively, bit rate, an additional signal is formed from the L and R signals at the transmitting end and transmitted together with the L or R signal. The L and R signal includes the left-hand and, respectively, right-hand image information to be offered to the left and, respectively, right eye. The additional signal contains the displacement vectors which are in each case formed by comparing the L and R signals for a particular image block of pixels with respect to the displacement of the picture information (disparity) in both signals. At the receiving end, the R and, respectively, L signal not transmitted is reconstructed from the transmitted additional signal and the one transmitted L or, respectively, R signal.

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1. Ein derarti ges Verfahren ist aus der EP 02 04 006 A1 bekannt.The invention relates to a method according to the preamble of patent claim 1. Such a The method is known from EP 02 04 006 A1.

Es ist bekannt, für die Übermittlung von stereo skopischen Fernsehbildern je eine Bildinformation für das linke Auge (L-Signal) und für das rechte Auge (R-Signal) des Betrachters zu übertragen ("Die neue Fernsehtechnik" von Dr. Norbert Mayer, Franzis- Verlag 1987, Seiten 125 bis 132). Diese Übertragung erfordert gegenüber der monoskopischen Fernsehbild übertragung die doppelte Übertragungskapazität, wenn die Bildauflösung in horizontaler und vertikaler Richtung beibehalten werden soll.It is known for the transmission of stereo scopic television pictures one picture information each for the left eye (L signal) and for the right Eye (R signal) of the viewer ("The neue Fernsehtechnik "by Dr. Norbert Mayer, Franzis- Verlag 1987, pages 125 to 132). This transfer requires versus the monoscopic television picture transmission double the transmission capacity if the image resolution in horizontal and vertical Direction should be maintained.

Zur Verringerung der Bandbreite bzw. Bitrate für die Übertragung stereoskopischer Fernsehbilder ist es aus der EP 02 04 006 bereits bekannt, bei der Aufnahme zwar ein Links- und ein Rechts-Signal zu bilden, jedoch nur eines dieser Signale zusammen mit einem Zusatzsignal zu übertragen, welches den Verschiebungsvektoren bestimmten Bildblöcke bezüg lich des Links- und Rechtssignals entspricht. Das jeweils nicht übertragene Rechts- bzw. Linkssignal läßt sich aus dem übertragenen Links- bzw. Rechts signal mit Hilfe des Zusatzsignals rekonstruieren. Indessen verteilen sich etwaige bei der Signal- Rekonstruktion ergebende Fehler stets auf das eine, dem nicht übertragenen Signal entsprechende stereo skopische Halbbild, was zu einem unangenehmen Stör eindruck beim Betrachter führen kann.To reduce the bandwidth or bit rate for the transmission of stereoscopic television pictures it is already known from EP 02 04 006, at a left and a right signal to form, however, only one of these signals together with an additional signal to transmit the Relation vectors related to certain image blocks corresponds to the left and right signal. The Right or left signal not transmitted in each case can be transferred from the left or right Reconstruct the signal using the additional signal. Meanwhile, any of the signal Reconstruction resulting errors always on the one, stereo corresponding to the signal not transmitted scopic field, resulting in an unpleasant sturgeon can make an impression on the viewer.

Die Aufgabe der Erfindung besteht demgegenüber darin, bei einem Verfahren der eingangs erwähnten Art eine verbesserte stereoskopische Wiedergabe zu ermöglichen.In contrast, the object of the invention is therein, in a method of the aforementioned Kind of an improved stereoscopic reproduction to enable.

Diese Aufgabe wird erfindungsgemäß durch die kenn zeichnenden Merkmale des Patentanspruchs 1 gelöst.This object is achieved by the kenn Drawing features of claim 1 solved.

Vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemäßen Übertragungsverfahrens ergeben sich aus den Unteransprüchen.Advantageous refinements and developments of the transmission method according to the invention itself from the subclaims.

Die Erfindung wird anhand von Ausführungsbeispielen in den Zeichnungen näher erläutert. Es zeigt:The invention is based on exemplary embodiments explained in more detail in the drawings. It shows:

Fig. 1 ein Prinzipschaltbild der sendeseitigen Einrichtung zur Durchführung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens; Fig. 1 is a block diagram of the transmitting side device for carrying out a first embodiment of the inventive method;

Fig. 2 ein Prinzipschaltbild der empfangsseitigen Einrichtung zur Durchführung des ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens; Fig. 2 is a schematic diagram of the reception-side device for carrying out the first embodiment of the inventive method;

Fig. 3 ein Blockschaltbild der sendeseitigen Einrichtung zur Durchführung eines zweiten Ausführungsbeispiels des er findungsgemäßen Verfahrens, und Fig. 3 is a block diagram of the transmitter-side device for performing a second embodiment of the inventive method, and

Fig. 4 ein Blockschaltbild der empfangsseitigen Einrichtung zur Durchführung des zweiten Ausführungsbeispiels des erfindungs gemäßen Verfahrens. Fig. 4 is a block diagram of the receiving device for performing the second embodiment of the inventive method.

Wie aus Fig. 1 ersichtlich ist, werden mit Hilfe einer aus den Kameras 11 und 21 bestehenden Bildquelle für stereoskopische Fernsehbilder ein Linkssignal und ein Rechtssignal erzeugt, welche den physiologischen Seh eindruck des linken bzw. rechten Auges nachbilden. Die in Fig. 1 durch gesonderte Blöcke 12 bzw. 22 an den Ausgängen der Kameras 11 bzw. 21 symbolisierten L- bzw. R-Signale weisen einen ähnlichen Bildinhalt auf, wobei jedoch die durch Dreiecke in den Blöcken 12 und 22 symbolisierten Bildobjekte entsprechend dem Augenabstand gegeneinander versetzt sind. Die L- und R-Signale werden einer Verarbeitungsstufe 30 zugeführt, welche aus den beiden Signalen ein zusätzliches Signal erzeugt, das die Verschiebungsvektoren enthält, welche jeweils durch Vergleich der L- und R-Signale für einen bestimmten Bildblock von Bildpunkten bezüglich der er wähnten Verschiebung der Bildinformation (Disparität) gebildet werden. Die Verschiebungsvektoren sind innerhalb des Blocks der Stufe 30 mit Pfeilen zwischen den beiden dreieckförmigen Bildobjekten angedeutet.As can be seen from FIG. 1, with the aid of an image source for stereoscopic television images consisting of the cameras 11 and 21 , a left signal and a right signal are generated, which simulate the physiological visual impression of the left or right eye. The L or R signals symbolized in FIG. 1 by separate blocks 12 and 22 at the outputs of the cameras 11 and 21 have a similar image content, but the image objects symbolized by triangles in the blocks 12 and 22 correspond to that Eye relief are offset from each other. The L and R signals are fed to a processing stage 30 , which generates an additional signal from the two signals which contains the displacement vectors, each of which by comparing the L and R signals for a specific image block of pixels with respect to the said displacement the image information (disparity) are formed. The displacement vectors are indicated within the block of level 30 with arrows between the two triangular image objects.

Für die stereoskopische Übertragung wird das L-Signal in der Kodierstufe 13 kodiert und zusammen mit dem in einer Stufe 40 kodierten zusätzlichen Signal einem Sig nalkombinierer 50 zugeführt. Der Signalkombinierer 50 ver teilt entweder die Signale der Kodierstufen 13 und 40 auf getrennte Kanäle oder - wie dargestellt - auf einen gemeinsamen Kanal, wobei zweckmäßigerweise die kodierten zusätzlichen Signale in die freien Zeitabschnitte des kodierten L-Signals eingefügt werden. Das kodierte zu sätzliche Signal kann entweder in analoger Form oder - was günstiger ist - in digitaler Form dem Signalkombi nierer 50 zugeführt werden. Bei den freien Zeitabschnitten des kodierten L-Signals kann es sich um die horizontale und/oder vertikale Austastlücke handeln.For the stereoscopic transmission, the L signal is coded in the coding stage 13 and, together with the additional signal coded in a stage 40, is fed to a signal combiner 50 . The signal combiner 50 ver either divides the signals of the coding stages 13 and 40 into separate channels or - as shown - onto a common channel, the encoded additional signals being expediently inserted into the free time segments of the encoded L signal. The coded additional signal can be supplied to the signal combiner 50 either in analog form or - which is more favorable - in digital form. The free time segments of the coded L signal can be the horizontal and / or vertical blanking interval.

In der Signalverarbeitungsstufe 30 kann das zusätzliche Signal über die Disparität von Bildobjekten zwischen den L- und R-Signalen dadurch extrahiert werden, daß die Verschiebung von zu Bildblöcken zusammengefaßten Bildpunkten berechnet wird. Dabei bietet es sich an, das zusätzliche Signal in Form eines digitalen Signals zu erzeugen.In the signal processing stage 30 , the additional signal can be extracted via the disparity of picture objects between the L and R signals by calculating the displacement of picture elements combined into picture blocks. It makes sense to generate the additional signal in the form of a digital signal.

Zur Reduktion der Bitrate des Gesamtsignals kann sowohl das digitale zusätzliche Signal als auch das zu über tragende kodierte L-Signal einer geeigneten Datenreduktion unterworfen werden, bevor im Signalkombinierer 50 das Gesamtsignal gebildet wird. Die dabei erzielbare Reduktion der zu übertragenen Information für die Verschiebungs vektoren (das heißt, des zusätzlichen Signals) ergibt sich einmal aus der Möglichkeit zur Zusammenfassung von Bildpunkten zu Blöcken, die dann zur Berechnung der Verschiebungsvektoren herangezogen werden, wobei die Größe der Blöcke entweder fest vorgewählt ist oder adaptiv entsprechend dem Bildinhalt und/oder der Bewegung im Bild verändert werden kann. Zum anderen ergibt sich eine Reduktionsmöglichkeit durch Anwendung von Reduktions verfahren für die Übertragung der Verschiebungsvektoren.To reduce the bit rate of the overall signal, both the additional digital signal and the coded L signal to be transmitted can be subjected to a suitable data reduction before the overall signal is formed in the signal combiner 50 . The achievable reduction in the information to be transmitted for the displacement vectors (that is, the additional signal) results from the possibility of combining pixels into blocks, which are then used to calculate the displacement vectors, the size of the blocks either being preselected is or can be changed adaptively according to the image content and / or the movement in the image. On the other hand, there is a possibility of reduction by using reduction methods for the transmission of the displacement vectors.

Empfangsseitig ist gemäß Fig. 2 ein Signaldekombi nierer 60 vorgesehen,welcher aus dem empfangenen Gesamt signal das kodierte Links-Signal einer Dekodierungsstufe 70 und das kodierte zusätzliche Signal einer Dekodierungs stufe 80 zuführt. Die dekodierten Signale an den Ausgängen der Stufen 70 und 80 werden einer Signalverarbeitungs stufe 90 zugeführt, welche in inverser Weise wie die sendeseitige Signalverarbeitungsstufe 30 arbeitet. Dabei rekonstruiert die Signalverarbeitungsstufe 90 das nicht übertragene R-Signal aus dem übertragenen L-Signal und dem übertragenen zusätzlichen Signal. Das rekonstruierte R-Signal wird ebenso wie das dekodierte L-Signal einem Stereo-Wiedergabegerät 100 zugeführt. In diesem Wiedergabe gerät werden das L- und das R-Signal entsprechend dem Augenabstand räumlich versetzt gegebenenfalls in seitlich alternierender Folge wiedergegeben. Welcher Art der stereo skopen Wiedergabe in dem Wiedergabegerät 100 gewählt wird, ist für die Zwecke der Erfindung belanglos.On the receiving side, a signal decoder 60 is provided according to FIG. 2, which supplies the coded left signal to a decoding stage 70 and the coded additional signal to a decoding stage 80 from the total signal received. The decoded signals at the outputs of stages 70 and 80 are fed to a signal processing stage 90 , which operates in an inverse manner as the transmission-side signal processing stage 30 . The signal processing stage 90 reconstructs the non-transmitted R signal from the transmitted L signal and the transmitted additional signal. The reconstructed R signal, like the decoded L signal, is fed to a stereo playback device 100 . In this reproduction device, the L and R signals are reproduced spatially offset according to the interpupillary distance, possibly in a laterally alternating sequence. Which type of stereo scope playback is selected in the playback device 100 is irrelevant for the purposes of the invention.

Es kann günstig sein, für die Übertragung einmal das L-Signal und das andere Mal das R-Signal abwechselnd zu verwenden, wie in Fig. 1 durch die Umschalter 10, 20 angedeutet ist. Die in den gestrichelten Pfaden einge zeichneten Umschaltkontakte 20 a und 20 b sind dabei offen, wenn die Umschaltkontakte 10 a und 10 b geschlossen sind und umgekehrt. Entsprechend sind auf der Empfangsseite gemäß Fig. 2 korrespondierende Umschalter 101 und 201 vorgesehen, deren Umschaltkontakte 101 a, 101 b geschlossen sind, wenn die Umschaltkontakte 201 a und 201 b offen sind. Die empfangsseitigen Umschalter 101, 201 sind beispielsweise über die Bildwechselfrequenz mit den sendeseitigen Umschaltern 10, 20 synchronisiert.It can be favorable to use the L signal alternately for the transmission and the R signal the other time, as indicated in FIG. 1 by the changeover switches 10 , 20 . The switch contacts 20 a and 20 b shown in the dashed paths are open when the switch contacts 10 a and 10 b are closed and vice versa. Corresponding to 2 corresponding switches are on the receiving side according to FIG. 101 and 201 are provided, whose switching contacts are closed b 101 101 a, when the change-over contacts 201 and 201b are open. The changeover switches 101 , 201 on the reception side are, for example, synchronized with the changeover switches 10 , 20 on the transmission side via the frame rate.

Bei der Schätzung der für die Übertragung der Disparität verwendeten Verschiebungsvektoren können Schätzfehler auftreten, was dazu führen kann, daß sich bei der Rekon struktion aus direkt übertragenem L- bzw. R-Signal und dem zusätzlichen Signal empfangsseitig ein Restfehler ergibt, der unter Umständen den stereoskopischen Bild eindruck an den fehlerbehafteten Bildstellen stört. Diese Restfehler können bereits auf der Sendeseite er mittelt werden, so daß ein entsprechendes Korrektursignal erzeugt und zur Empfangsseite mitübertragen wird. Ein entsprechendes zweites Ausführungsbeispiel ist in den Fig. 3 und 4 veranschaulicht.In the estimation of the displacement vectors used for the transmission of the disparity, estimation errors can occur, which can lead to a residual error resulting in the reconstruction from the directly transmitted L or R signal and the additional signal on the receiving side, which in some circumstances may be the stereoscopic Image impression at the faulty image areas disturbs. These residual errors can already be averaged on the transmission side, so that a corresponding correction signal is generated and transmitted to the reception side. A corresponding second exemplary embodiment is illustrated in FIGS. 3 and 4.

Fig. 3 zeigt wiederum die beiden Kameras 11 und 21 zur Erzeugung der L- und R-Signale, welche in den Analog/Digital-Wandlern 120 bzw. 220 digitalisiert wer den. Aus den beiden digitalen L- und R-Signalen wird in der digitalen Bildverarbeitungsstufe 300 wiederum das zusätzliche Signal erzeugt, wie dies anhand der Bildverarbeitungsstufe 30 in Fig. 1 bereits erläutert wurde. Der Bildverarbeitungsstufe 300 ist eine Rekon struktionsstufe 310 nachgeschaltet, welche aus dem für die Übertragung vorgesehenen, digitalisierten L-Signal und dem zusätzlichen Signal bereits auf der Senderseite das R-Signal rekonstruiert und einer Vergleichsstufe 320 zuführt. Die Stufe 320 vergleicht das rekonstruierte R-Signal mit dem originalen R-Signal am Ausgang des Analog/Digital-Wandlers 220 und erzeugt hieraus ein Differenzsignal, das in dem Koder 330 kodiert und zu sammen mit dem im Koder 130 kodierten L-Signal und dem im Koder 400 kodierten zusätzlichen Signal einem Multi plexer 500 zugeführt wird. Der Multiplexer 500 entspricht dem Signalkombinierer 50 gemäß Fig. 1 und führt das auf einen gemeinsamen Kanal oder auf zwei Kanäle verteilte Multiplexsignal einem Kanalkoder 510 zu, der zum Sender führt. Fig. 3 again shows the two cameras 11 and 21 for generating the L and R signals, which are digitized in the analog / digital converters 120 and 220, respectively. The additional digital signal is in turn generated in the digital image processing stage 300 from the two digital L and R signals, as has already been explained with reference to the image processing stage 30 in FIG. 1. The image processing stage 300 is followed by a reconstruction stage 310 , which reconstructs the R signal from the digitized L signal intended for transmission and the additional signal on the transmitter side and supplies it to a comparison stage 320 . The stage 320 compares the reconstructed R signal with the original R signal at the output of the analog / digital converter 220 and uses this to generate a difference signal which is encoded in the encoder 330 and together with the L signal encoded in the encoder 130 and the in the encoder 400 coded additional signal is fed to a multiplexer 500 . The multiplexer 500 corresponds to the signal combiner 50 according to FIG. 1 and feeds the multiplex signal distributed over a common channel or over two channels to a channel encoder 510 which leads to the transmitter.

In der Empfangseinrichtung gemäß Fig. 4 erfolgt die umgekehrte Signalverarbeitung wie in Fig. 3. Das em pfangene Signal wird in einem Kanaldekoder 610 de kodiert und einem Demultiplexer 600 zugeführt, welcher aus dem kanaldekodierten Empfangssignal das kodierte L-Signal, das kodierte zusätzliche Signal und das kodierte Korrektursignal abtrennt und entsprechenden Dekodier stufen 700, 800 und 1000 zuführt. In einer Rekon struktionsstufe 900 wird aus dem dekodierten L-Signal und aus dem dekodierten zusätzlichen Signal (Ausgänge der Stufen 700 und 800) das R-Signal rekonstruiert, welches einer nachgeschalteten Korrekturstufe 910 zuge führt wird, um dort zusammen mit dem dekodierten Korrek tursignal (Ausgang der Stufe 1000) einer Korrektur unterzogen zu werden. Das korrigierte R-Signal wird ebenso wie das dekodierte L-Signal nach erfolgter Digital/Analog-Wandlung (D/A-Wandler 120 bzw. 710) der stereoskopischen Wiedergabeeinrichtung 100 zugeführt.The reverse signal processing as in FIG. 3 takes place in the receiving device according to FIG. 4. The received signal is decoded in a channel decoder 610 and fed to a demultiplexer 600 , which uses the channel-decoded received signal to produce the coded L signal, the coded additional signal and separates the coded correction signal and supplies appropriate decoding stages 700 , 800 and 1000 . In a reconstruction stage 900 , the R signal is reconstructed from the decoded L signal and from the decoded additional signal (outputs of stages 700 and 800 ), which is fed to a downstream correction stage 910 in order to be there together with the decoded correction signal ( Output of stage 1000 ) to be subjected to a correction. The corrected R signal, like the decoded L signal, is fed to the stereoscopic display device 100 after the digital / analog conversion (D / A converter 120 or 710 ).

Claims

1. A method for transmitting stereoscopic television images, which are recorded as a left signal (L signal) for the left image information to be presented to the left eye and as a right signal (R signal) for the right image information to be presented to the right eye, in which on the transmission side, an additional signal is formed from the L and R signals and transmitted together with the L or R signal, the additional signal containing the displacement vectors, each of which by comparing the L and R signals for a particular one Image block of image points with respect to the shift of the image information (disparity) in both signals, and in which the non-transmitted R- or L- from the received additional signal and the one transmitted L or R signal Signal is reconstructed and the L and R signals are spatially and possibly temporally offset from each other, characterized in that the L and R signals in changes in time are transmitted together with the additional signal.

2. The method according to claim 1, characterized ge indicates that the additional signal transmitted in a separate transmission channel becomes.

3. The method according to claim 1, characterized ge indicates that the additional signal transmitted in free periods of the one L or R signal is also transmitted.

4. The method according to any one of claims 1 to 3, because characterized by that each L or R signal to be transmitted in digi tal form is transferred.

5. The method according to any one of claims 1 to 4, because characterized by that each L or R signal to be transmitted in digi tal form is transmitted with a reduced bit rate.

6. The method according to any one of claims 1 to 5, because characterized in that the to generate a displacement vector image block used on the transmission side accordingly the respective image information of just about carrying L or R signal adaptive in size is changed, the information on each because selected block size either as own In formation is transmitted to the reception side or on the receiving side by evaluating the received In formation is determined.

7. The method according to any one of claims 1 to 6, there characterized in that the to generate a displacement vector image block used on the transmission side accordingly the informa determined over several image phases tion about moving parts of the picture (objects) in his Size is changed adaptively, taking the information about the selected size of the image section either as your own information about the place of reception is transmitted or at the receiving end by evaluation the information received is determined.

8. The method according to any one of claims 1 to 7, there characterized by that for the transmission of the displacement vectors transmitting additional signal with reduced Bit rate is transmitted.

9. The method according to any one of claims 1 to 8, there characterized by that for Compensation of estimation errors in the transmission side Calculation of the displacement vectors from the transmitting L or R signal and the calculated Shift vectors not to be transferred in each case R and L signal reconstructed and with the original R or L signal is compared and a correction signal is derived from this comparison which is transmitted and received is used to correct the estimation errors.