DE3144050C2 - Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate - Google Patents
Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rateInfo
- Publication number
- DE3144050C2 DE3144050C2 DE19813144050 DE3144050A DE3144050C2 DE 3144050 C2 DE3144050 C2 DE 3144050C2 DE 19813144050 DE19813144050 DE 19813144050 DE 3144050 A DE3144050 A DE 3144050A DE 3144050 C2 DE3144050 C2 DE 3144050C2
- Authority
- DE
- Germany
- Prior art keywords
- image
- images
- transmitted
- extrapolation
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/04—Display arrangements
- G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
- G01S7/068—Cathode-ray tube displays or other two dimensional or three-dimensional displays with data-rate converters preceding the display, e.g. flicker free display, constant brightness display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
- H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung bezieht sich auf ein Verfahren zur Übertragung und Wiedergabe von Videoszenen, die sich relativ zum Aufnahmesensor fortlaufend bewegen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz. Durch die reduzierte Bildfolgefrequenz wird die beispielsweise von einem Flugzeug oder dergleichen zu einer Bodenstation übertragene Datenmenge wesentlich reduziert. Durch abbildungsangepaßte Interpolation und/oder Extrapolation werden wiedergabeseitig Zwischenbilder erzeugt und in die übertragene Bildfolge eingefügt. Die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktpositionen der beiden übertragenen Bilder werden aus der als bekannt ermittelten Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegende Objektpunkte in jedem der beiden übertragenen Bilder bestimmt. Jeweils das erste von zwei übertragenen Bildern wird für eine Zeitdauer als Festbild dargestellt. An diese Festbilddarstellung schließt sich eine Darstellung von Zwischenbildern an, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.The invention relates to a method for the transmission and reproduction of video scenes which move continuously relative to the recording sensor, in particular aerial photo scenes, with a reduced frame rate. As a result of the reduced frame rate, the amount of data transmitted, for example, from an aircraft or the like to a ground station is significantly reduced. By means of interpolation and / or extrapolation adapted to the image, intermediate images are generated on the reproduction side and inserted into the transmitted image sequence. The object-identical pixel positions of the two transmitted images to be assigned for the inter- or extrapolation are determined from the known assignment of the pixel positions for at least two object points located on vertically and horizontally unequal coordinates in each of the two transmitted images. The first of two transmitted images is displayed as a fixed image for a period of time. This fixed image display is followed by a display of intermediate images which are generated from the respective fixed image and a subsequently transmitted image by the map-matched interpolation and / or extrapolation.
Description
4040
Die Erfindung bezieht sich auf ein Verfahren zur Übertragung und Wiedergabe von Videoszenen nach dem Oberbegriff des Patentanspruchs 1 und stellt eine Verbesserung und weitere Ausbildung des Verfahrens nach dem Patent gemäß der DE-PS 3CU8 329 dar.The invention relates to a method for transmitting and playing back video scenes the preamble of claim 1 and represents an improvement and further development of the method according to the patent according to DE-PS 3CU8 329.
Die Wiedergabegüte der nach dem im Hauptpatent beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbüder ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Abbildungsmodells für die Erzeugung der Zwischenbüder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine Abflachung steiler Grauwertübergänge (Beschränkung des Detailkontrastes) auf stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.The quality of reproduction of the transferred according to the method described in the main patent Intermediate images are particularly important to the accuracy of the discrete image representation Accuracy of the mapping model for the generation of the intermediate buildings and the accuracy of the arithmetic operations addicted. Depending on the implementation effort, there are different limits that a flattening of steep gray value transitions (restriction of the detail contrast) to stochastic gray value fluctuations at image edges (edge unrest) and the recognizability and thus the evaluability of image details can affect.
Aufgabe der Erfindung ist es, das Verfahren nach dem Hauptpatent im Hinblick auf Verbesserungen in der Auswertbarkeit von Bildeinzelheiten weiterzuentwikkeln, ohne daß dabei der Aufwand wesentlich gesteigert werden muß.The object of the invention is the method according to the main patent with a view to improvements in the Further develop the evaluability of image details without significantly increasing the effort must become.
Diese Aufgabe wird gemäß der Erfindung dadurch gelöst, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Wiedergabe von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßteThis object is achieved according to the invention in that in each case the first of two transmitted Images is displayed as a fixed image for a period of time and that this fixed image display is a Playback of intermediate images follows, from the respective fixed image and a subsequent one transferred image by the image-matched
Interpolation und/oder Extrapolation erzeugt werden.Interpolation and / or extrapolation are generated.
In einer zweckmäßigen Ausführungsform ist die Zeitdauer der Festbilddarstellung relativ zur Zeitdauer der Bewegtbilddarstellung wählbar.In an expedient embodiment, the duration of the freeze frame display is relative to the duration the moving image display selectable.
Im nachstehenden ist zunächst das Verfahren nach dem Hauptpatent anhand der Zeichnung beschrieben.In the following, the method according to the main patent is first described with reference to the drawing.
Fig. 1 zeigt die geometrische Anordnung für die Aufnahme einer Luftbildszene aus der Höhe H über Grund bei schräg nach vorn ausgerichteter (Video-) Kamera. (Die x- und χ -Achse verlaufen senkrecht zur Zeichenebene.)Fig. 1 shows the geometric arrangement for the recording of an aerial scene from the height H above ground with the (video) camera oriented obliquely forwards. (The x and χ axes are perpendicular to the plane of the drawing.)
F i g. 2 zeigt die Bildaufnahmeebene der Kamera mit dem Weg für zwei Punkte der Objektebene bei Bewegung der Kamera in Flugrichtung nach F i g. 1.F i g. 2 shows the image recording plane of the camera with the path for two points of the object plane at Movement of the camera in the direction of flight according to FIG. 1.
F i g. 3 zeigt die zeitliche Anordnung zweier übertragener Bilder (Bild 0 und Bild N)und eines dazwischenliegenden, wiedergabeseitig interpolierten Bildes (Bild n), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen Aa, An bzw. ßb, Bs sowie der nach einem linearen Modell daraus bestimmten Bildpunktzuordnung Cn, Ca bzw. Cn, Cn- F i g. 3 shows the temporal arrangement of two transmitted images (image 0 and image N) and an interpolated image (image n) that is interpolated on the reproduction side, with the object-identical pixel positions Aa, An or βb, Bs determined by measurement, as well as according to a linear model derived therefrom certain pixel assignment C n , Ca or C n , Cn-
Bei der geometrischen Anordnung nach F i g. 1 werden Geraden, die in der Szene (Objektebene) parallel zur/-Achse verlaufen, in der Bildaufnahmeebene (F i g. 2) entsprechend der Abbildungsperspektive als schräg zur y'-Achse verlaufende Geraden abgebildet. Sie repräsentieren zugleich jeweils den geometrischen Ort der Bildpunktpositionen für einen Objektpunkt (hier: den im Bild durchlaufenen Weg) bei Bewegung der Kamera in Flugrichtung (s. F i g. 1).In the geometrical arrangement according to FIG. 1 straight lines in the scene (object plane) run parallel to the / axis, in the image recording plane (FIG. 2) according to the imaging perspective as Straight lines running obliquely to the y'-axis are shown. At the same time, they each represent the geometric Location of the pixel positions for an object point (here: the path traversed in the image) when moving the camera in the direction of flight (see Fig. 1).
Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d. h. dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend, wie in Fig. 3, durch einen linearen Verlauf approximiert werden. Bei Kenntnis der Positionsordnung für ein Paar von Objektpunkten in zwei Referenzbildern, z. B. den Positionen (Bildpunkten) A0, ßb in Bild 0 und An, Sn in Bild N nach F i g. 3, lassen sich die Zuordnungen für den Rest des Bildfeldes, z. B. für die Bildpunkte C0, Cv, aus dem Verhältnis der Büdpunktabstände nach dem Strahlensatz ermitteln. Die Zuordnung zwischen den objektgleiciien Bildpunkten G und Cn mit den Koordinaten x'ca. y'cn bzw. x'cn, y'cN und dem entsprechenden Bildpunkt Cn mit den Koordinaten x'o„ y'cn in einem Bild η wird durch eine für diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern 0 und N charakterisiert und kann aus den in x'c„ bzw. y'c„ linearen KoordinatenbeziehungenThe dependence of the image point position of an object point on time, ie its image-to-image offset, is determined by the regularities of the imaging geometry. To simplify matters, as in FIG. 3, it can be approximated by a linear curve. With knowledge of the position order for a pair of object points in two reference images, e.g. B. the positions (pixels) A 0 , ßb in image 0 and A n , S n in image N according to FIG. 3, the assignments for the rest of the image field, e.g. B. for the image points C 0 , Cv, determine from the ratio of the Büdpunktabstands according to the ray theorem. The assignment between the object-identical image points G and Cn with the coordinates x'ca. y'cn or x'cn, y'cN and the corresponding image point C n with the coordinates x'o "y'cn in an image η is and can be characterized by a specific straight line between images 0 and N for this point from the linear coordinate relationships in x'c " or y'c"
y'cu = λ, y'cn + /h, y'c u = λ, y'c n + / h,
=£1= £ 1
5555
6060
1 + /u , 1 + / u,
(D (2)(D (2)
bestimmt werden.to be determined.
Die Koeffizienten /), bis /J4 und g\ bis g* ergeben sich aus den gemessenen Bildpunktzuordnungen A0, As und ßo, Bs, wobei h, (';= 1, 2, 3, 4) für jedes η (d. h. innerhalb jedes Bildes) und g, für jedes y'c„ (d. h. innerhalb jeder Bildzeile) konstant ist (siehe unten). Der durch die Gleichungen dargestellte Algorithmus ermöglicht eine zeilen- und bildsequentielle Verarbeitung im Sinne desThe coefficients /), to / J 4 and g \ to g * result from the measured pixel assignments A 0 , As and ßo, Bs, where h, ('; = 1, 2, 3, 4) for each η (ie within each image) and g, is constant for each y ' c " (ie within each image line) (see below). The algorithm represented by the equations enables line and image sequential processing in the sense of
auszugebenden Videosignals und ist dadurch für die technische Realisierung des Verfahrens besonders geeignet.video signal to be output and is therefore special for the technical implementation of the method suitable.
Aus den Grauwerten Sco und Scn für die Bildpunkte C3 und Cn mit den nach den Gleichungen (1) bis (4) ermittelten Koordinaten x'co, y co bzw. χ'γν,Υ'cn ergibt sich der zu regenerierende Grauwru SCn für den Bildpunkt Cn durch Interpolation nach der Beziehung The gray matter S to be regenerated results from the gray values Sco and Scn for the image points C 3 and C n with the coordinates x'co, y co and χ'γν, Υ'cn determined according to equations (1) to (4) Cn for the image point C n by interpolation according to the relationship
Scn = Jj W- η) Sc0 +η - SCv]
oder durch Extrapolation gemäß
Sc =SCo Sc n = Jj W- η) Sc 0 + η - S Cv ]
or by extrapolation according to
Sc = S Co
(55(55
1010
(6a)(6a)
Sc„ =Sc "=
(6b)(6b)
2020th
Die Extrapolation wird in Bildteilen angewendet, in denen einer oder mehrere der aus den Gleichungen (1) bis (4) ermittelten Koordinatenwerte außerhalb des WertebereichsThe extrapolation is used in parts of the image in which one or more of the equations (1) to (4) determined coordinate values outside the value range
(7)(7)
(8)(8th)
2525th
3030th
liegen, d. h. außerhalb der Bildaufnahmeebene mit der Breite a und der Höhe b nach F i g. 2.lie, ie outside the image recording plane with the width a and the height b according to FIG. 2.
Eine Extrapolation statt der Interpolation kann in weiteren Fällen zweckmäßig sein, z. B. wenn die Zuordnung zwischen den Referenzbildern vorübergehend nur ungenau zu ermitteln oder die Überlappung der Bildinformation relativ gering ist.An extrapolation instead of the interpolation can be useful in other cases, e.g. B. if the Assignment between the reference images can temporarily only be determined imprecisely or the overlap the image information is relatively small.
Objektbewegungen in der Szene treten in einer durch Extrapolation regenerierten Bild- (oder Teilbild-) Folge -to nicht in Erscheinung, während sie bei der Interpolation im alleemeinen durch ein allmähliches Ab- und Aufklingen der Helligkeitsintensität gekennzeichnet sind. Dieser Fall, in dem der Interpolation nicht objektgleiche Bildpunkte zugrundeliegen, entspricht in seiner Wirkung einem Überblenden zwischen den Positionen des bewegten Objektes in aufeinanderfolgenden Referenzbildern.Object movements in the scene occur in an image (or partial image) sequence regenerated by extrapolation does not appear, while in interpolation it is generally characterized by a gradual decrease and decrease Are marked as the intensity of the brightness decreases. This case where the interpolation fails object-like image points are based, corresponds in its effect to a cross-fading between the Positions of the moving object in successive reference images.
Ähnlich sind die Verhältnisse bei Kanalstörungen. Durch Störungen in einem Referenzbild hervorgerufene w Grauwertänderungen nehmen in der interpolierten Bildfolge allmählich, d. h. innerhalb von N Bildperioden, zu und klingen anschließend wieder entsprechend ab.The situation is similar in the case of canal disturbances. W caused by disturbances in a reference image Gray value changes gradually increase in the interpolated image sequence, i. H. within N image periods, and then subside accordingly.
Die für das Verfahren erforderliche Referenzpunktzuordnung A0, An und B0, Bs läßt sich u. a. durch eine Bildkorrelationsmethode oder aus empfangsseitig bekannten Bordmeßdaten ermitteln. Zur Erhöhung der Entscheidungssicherheit ist die Messung der Zuordnung für weitere Bildpunkte und anschließende Auswahl nach vorgegebenen Kriterien (wie z. B. Zuverlässigkeits- oder Majoritätskriterien) möglich. Werden Referenzpunktzuordnungen speziell für den Bereich eines innerhalb der Szene bewegten Objektes gemessen, so können auch in solchen Bereichen objektgleiche Bildpunkte für die Interpolation bestimmt und der Bewegungsablauf damit direkt statt durch das oben beschriebene Ab- und Aufklingen der Helligkeitsintensität wiedergegeben werden.The reference point assignment A 0 , A n and B 0 , Bs required for the method can be determined, inter alia, by an image correlation method or from on-board measurement data known at the receiving end. To increase the reliability of the decision, it is possible to measure the assignment for further image points and then select them according to predetermined criteria (such as, for example, reliability or majority criteria). If reference point assignments are measured specifically for the area of an object moving within the scene, image points that are identical to the object can also be determined for the interpolation in such areas and the movement sequence can thus be reproduced directly instead of by the decrease and decrease of the brightness intensity described above.
Im folgenden werden die in den Gleichungen (1) bis (4) verwendeten Koeffizienten Λ, und g, (i=\, 2, 3, 4) definiert. Die gewählte Aufteilung der Gleichungen bietet Vorteile für den Ablauf der Rechenoperationen in einer gerätetechnischen Einrichtung. The coefficients Λ, and g, (i = \, 2, 3, 4) used in equations (1) to (4) are defined below. The selected division of the equations offers advantages for the execution of the arithmetic operations in a technical device.
Λ, = . (9a)Λ, =. (9a)
A, = , (9b)A, = , (9b)
(9c)(9c)
g\ =-, T^ · (IOa) g \ = -, T ^ (IOa)
1 - fr Xi-„ 1 - for Xi - "
g; = ^ (10b) G; = ^ (10b)
' ~ fr Λ'»'~ fr Λ' »
(10c) (lOd)(10c) (lOd)
O/2■ Ι
O / 2
i - fr1-Ä
i - fr
Die Größen /;, und g, haben jeweils gleichen Nenner. Die Werte für /i, müssen einmal je Vertikalperiode (Dauer eines Bildes) und die Werte für g, einmal je Horizontalperiode (Dauer eine Zeile) des Fernsehsignals bestimmt werden. Über die Gleichungen (1) bzw. (3) ist g, von /?, abhängig.The quantities /;, and g, each have the same denominator. The values for / i must be determined once per vertical period (duration of an image) and the values for g once per horizontal period (duration one line) of the television signal. Via equations (1) and (3), g depends on /?.
Es werden folgende Hilfsgrößen verwendet:The following auxiliary variables are used:
h =>'ev-.»1e„ h =>'e v -. » 1 e "
fr =fr =
</.4.ν.^-</β^βν + -νβν</. 4.ν. ^ - </ β ^ β ν + - ν βν
/- — ,/ H-L- ,,· \
*?. — ".Ί V I Λ1 Λ.4 \ / / - -, / HL- ,, · \
* ?. - ".Ί VI Λ 1 Λ.4 \ /
_ x'bs - x'b„_ x'b s - x'b "
Xb-, -Xb1,Xb-, -Xb 1 ,
(Ha) (lib)(Ha) (lib)
(12a) (12b)(12a) (12b)
(12c) (12d)(12c) (12d)
Die Werte für /1, /2, k\ und fr> müssen einmal je N Vertikalperioden bestimmt werden.The values for / 1, / 2, k \ and fr> must be determined once for every N vertical periods.
Die erforderlichen Koordinatenwerte sind durch Messung der Positionszuordnung der objektgleichenThe required coordinate values are identical to the object by measuring the position assignment
Bildpunkte A0 (χ Ά ο, )'Άο) und Αν(χ'Λν, γ'ΛΝ> bzw. Bo (x'ho.}''bü) und Bm(χ'ιιν,}'«νbekannt. Image points A 0 (χ Ά ο,) 'Άο) and Α ν (χ' Λ ν, γ ' Λ Ν> or Bo (x'ho.}''Bü) and Bm (χ'ιιν,}' «ν known .
Das beschriebene Verfahren hat prinzipiell auch Gültigkeit, wenn die Bildpunktzuordnungen innerhalb der zeitlichen Folge durch die exakten Beziehungen der Abbildungsgeometrie statt durch das aufwandgünstigere lineare Modell beschrieben werden.In principle, the method described is also valid if the image point assignments are within the temporal sequence through the exact relationships of the imaging geometry instead of through the more cost-effective linear model to be described.
Zuzüglich oder alternativ zur beschriebenen Interpolation bzw. Extrapolation des Bild-zu-Bild-Versatzes für das Gesamtbild kann eine entsprechende Interpolation oder Extrapolation für vorbestimmte Bildbereiche erfolgen, beispielsweise für sich vor dem Hintergrund bewegende Objekte, für die dann jeweils die entsprechenden Koordinatenpunkte gesondert festzulegen sind, oder allgemein zur Erhöhung der Wiedergabegenauigkeit und/oder Hervorhebung einzelner Bildteile.In addition or as an alternative to the described interpolation or extrapolation of the image-to-image offset for the overall image can be a corresponding interpolation or extrapolation for predetermined image areas take place, for example, for objects moving in front of the background, for which the corresponding Coordinate points are to be specified separately, or in general to increase the reproduction accuracy and / or highlighting individual parts of the image.
Grundsätzlich ist das Verfahren auch für andere Anwendungen mit Relativbewegung zwischen Aufnahmesensor und Szene einsetzbar.In principle, the method is also suitable for other applications with relative movement between the recording sensor and scene can be used.
Je nach Anzahl der eingefügten Zwischenbilder kann die Wiedergabe mit Originalgeschwindigkeit, Zeitraffung oder Zeitdehnung erfolgen.Depending on the number of inserted intermediate images, playback at original speed, time lapse or time stretching.
Die Wiedergabegüte der im vorstehenden beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbildcr ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Abbildungsmodeiis für die Erzeugung der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine jo Abflachung steiler Grauwertübergänge (Beschränkung des Detailkontrastes) und stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.The reproduction quality of the method described above in the sequence of the transmitted images The inserted intermediate images depend in particular on the accuracy of the discrete image representation, the accuracy the mapping mode for generating the intermediate images and the accuracy of the arithmetic operations addicted. Depending on the implementation effort, there are different limits that a jo Flattening of steep gray value transitions (restriction of the detail contrast) and stochastic gray value fluctuations at image edges (edge unrest) and the recognizability and thus the evaluability of image details can affect.
Die Auswertbarkeit von Bildeinzelheiten kann ohne wesentliche Steigerung des Aufwandes dadurch verbessert werden, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine -m Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.The evaluability of image details can thereby be improved without a significant increase in effort that the first of two transmitted images is displayed as a fixed image for a period of time and that this fixed image display has a -m Representation of intermediate images follows, from the respective fixed image and a subsequent one transmitted image can be generated by the map-matched interpolation and / or extrapolation.
Unter dem Begriff »Festbild« soll eine Wiedergabe eines Bildes ohne Änderung von Bildelementen verstanden werden. Die Festbilddarstellung erfolgt typisch durch Wiederholung der Wiedergabe des betreffenden übertragenen Bildes mit für das Wiedergabegerät üblicher Bildwiedergabefrequenz.The term "fixed image" is intended to mean a reproduction of an image without changing any image elements be understood. The still image is typically displayed by repeating the playback of the relevant transmitted image with the usual image reproduction frequency for the reproduction device.
Während der für eine vorgegebene Zeit wirksamen Festbilddarstellung ist das Bild frei von den Bcschrän kungen, der die Wiedergabegenauigkeit der durch Interpolation und/oder Extrapolation regenerierten Zwischenbilder unterliegt. Ein Bildbeobachter kann damit jeweils die Festbildphase ausnutzen, um sich auf Bildeinzelheiten (beispielsweise Einzelheiten eines Zieles) zu konzentrieren. Die anschließende Bewegtbilddarstellung dient in diesem Fall dazu, den Beobachter weitgehend ermüdungsfrei auf das nächste übertragene Bild überzuleiten und es ihm außerdem zu ermöglichen, etwaige Objektbewegungen gegenüber dem Bildhintergrund zu erfassen. Der Beobachter kann dabei ihn interessierende Bildbereiche im Auge behalten und sich im nächsten Festbild sofort wieder auf die interessierenden Einzelheiten konzentrieren. Im Gegensatz dazu wird bei einer Folge übergangslos aufeinanderfolgender Festbilder im allgemeinen eine Mindestsuchzeit benötigt, um im nächsten Bild den entsprechenden interessierenden Bereich wieder aufzufinden, insbesondere bei relativ großem Bild-zu-Bild-Versatz. Durch die Möglichkeit, spezielle Detailinformation in der Festbildphase zu gewinnen, sind die durch die Bildregeneration entstehenden Begrenzungen der Wiedergabegenauigkeit in der Bewegtbildphase weniger bedeutsam als bei ausschließlicher Bewegtbilddarstellung.During the still image display, which is effective for a specified time, the image is free from the cupboards kings that the reproduction accuracy of the regenerated by interpolation and / or extrapolation Subject to intermediate images. An image observer can thus take advantage of the freeze frame phase to focus on Focus on image details (e.g. details of a target). The subsequent video display In this case it is used to transfer the observer to the next one largely without getting tired To transfer the image and also to enable it to detect any object movements in relation to the background of the image capture. The observer can keep an eye on image areas that are of interest to him and himself Concentrate immediately on the details of interest in the next fixed image. In contrast to a minimum search time is generally required for a sequence of continuously consecutive fixed images, in order to find the relevant area of interest in the next picture, in particular with a relatively large picture-to-picture offset. Through the The possibility of obtaining special detailed information in the freeze frame phase is provided by the image regeneration resulting limitations of the reproduction accuracy in the moving image phase are less significant than with exclusive display of moving images.
Bei Verwendung des Verfahrens im Echtzeitbetrieb wird die Bewegtbildphase zeitraffend wiedergegeben, da die für die Darstellung des Bild-zu-Bild-Überganges zur Verfugung stehende Zeit kurzer ist als die Periodendauer der übertragenen Bildfolge und damit kurzer als der entsprechende zeitliche Abstand der Bilder bei der Aufnahme. Zum Beispiel beträgt bei einer übertragenen Büdfoige mit einer Periodendauer von 4 Sekunden (entsprechend einer Folgefrequenz von 0,25 Bildern pro Sekunde) und Wahl einer Festbildphase von 3 Sekunden die Bewegtbildphase statt 4 Sekunden (zeitlicher Abstand der Bilder bei der Aufnahme) nur 1 Sekunde.When using the method in real-time operation, the moving image phase is reproduced in a fast-moving manner, because the one for the representation of the picture-to-picture transition available time is shorter than the period of the transmitted image sequence and thus shorter than the corresponding time interval between the images when they were taken. For example, one is transmitted Büdfoige with a period of 4 seconds (corresponding to a repetition frequency of 0.25 Images per second) and choosing a fixed image phase of 3 seconds, the moving image phase instead of 4 seconds (time interval between the images when recording) only 1 second.
Bei starker Zeitraffung während der Bewegtbildphase kann es zweckmäßig sein, anstelle eines Verlaufes mit konstanter Geschwindigkeit einen Verlauf mit zunächst allmählich zunehmender und anschließend allmählich abnehmender Geschwindigkeit vorzusehen. Im Vergleich zu dem im Fall konstanter Geschwindigkeit auftretenden plötzlichen Einsetzen und Abbrechen der Bildbewegung bei Übergang vom bisherigen bzw. zum nachfolgenden Festbild treten im Fall der allmählichen Geschwindigkeitszunahme bzw. -abnähme geringere Bildbeschleunigungen bzw. -Verzögerungen auf, die sich bei der Bildbetrachtung subjektiv vorteilhaft auswirken. Die Geschwindigkeit in Abhängigkeit von der Zeit kann beispielsweise nach einer Dreieck-, Winkel- (z. B. Sinus, Cosinus) oder Exponentialfunktion oder auch einer Approximation durch Polynome verlaufen.In the case of strong time lapse during the moving image phase, it may be useful to use instead of a course constant speed a course with initially gradually increasing and then gradually to be provided with decreasing speed. Compared to that in the case of constant speed occurring sudden onset and abortion of the image movement when transitioning from previous or to subsequent freezes occur in the case of the gradual increase or decrease in speed Image accelerations or delays, which have a subjectively advantageous effect when viewing the image. The speed as a function of time can, for example, be based on a triangle, angle (e.g. sine, Cosine) or exponential function or an approximation using polynomials.
Dauer und/oder Zeitpunkt der Festbilddarstellung können variabel gestaltet werden. So ist es möglich, die Wiedergabeeinrichtung so auszubilden, daß vom Beobachter Festbildfolgen geeigneter Länge in die Bewegtbilddarstellung wahlweise eingefügt werden, beispielsweise, wenn der Beobachter einer regenerierten Bewegtbildfolge auf Bildbereiche stößt, in denen er Einzelheiten genauer erkennen möchte. Die Umschaltung kann dabei von Hand durchgeführt werden. Es aber auch eine automatische Umschaltung, beispielsweise abhängig von vorgegebenen Bildelementen oder zeitabhängig, möglich. Bei ausreichender Überlappung des Inhalts aufeinanderfolgender Bilder bietet sich die Möglichkeit, die Festbildphase wahlweise auch über die Peräodendauer der übertragenen Bildfolge hinaus auszudehnen, indem nicht jedes der Bilder berücksichtigt, sondern durch Unterdrückung einzelner Bilder (z. B. jedes zweiten Bildes) mit größerem Bild-zu-BiId-Abstand gearbeitet wird.The duration and / or time of the fixed image display can be designed variably. So it is possible that To train playback device so that the observer still image sequences of suitable length in the moving image display can be optionally inserted, for example if the observer has a regenerated Moving image sequence encounters image areas in which he would like to see details more precisely. The switchover can be done by hand. But there is also an automatic switchover, for example depending on given picture elements or time-dependent, possible. With sufficient overlap of the content of successive images offers the option of the fixed image phase also via the Period duration of the transmitted image sequence to expand by not taking into account each of the images, but by suppressing individual images (e.g. every second picture) with a larger picture-to-picture distance is being worked on.
Das Verhältnis der Dauer der Festbildphase zur Dauer der Bewegtbildphase läßt sich für einzelne Bildbereiche unterschiedlich wählen. Speziell kann zum Beispiel die Einfügung einer Festbilddarstellung auf einen Bereich in der Bildmitte beschränkt werden, während die übrigen Bildteile beispielsweise ständig in der Bewegtbilddarstellung verbleiben.The ratio of the duration of the fixed image phase to the duration of the moving image phase can be determined for individual Select image areas differently. Specifically, for example, the inclusion of a still image display an area in the center of the image, while the other parts of the image, for example, are constantly in the moving image display remain.
Bekannte Zusatzmaßnahmen zur Bildwiedergabeverbesserung, insbesondere digitale Filteroperationen, bei denen in der Bewegtbildphase realisierungstechnische Begrenzungen zu ähnlichen Beschränkungen führen können wie bei der Bildregeneration nach demKnown additional measures for image reproduction improvement, in particular digital filter operations, at which, in the moving image phase, technical implementation limitations lead to similar restrictions can as with the image regeneration after the
Hauptpatent, sind vorteilhaft in der Festbildphase einsetzbar.Main patent, can be used advantageously in the fixed image phase.
Bedarfsweise bietet sich die Möglichkeit, die Gesamtszene gegenüber Echtzeitbetrieb in kürzerer oder längerer Zeit darzubieten. Speziell kann beispielsweiseIf necessary, there is the option of viewing the entire scene compared to real-time operation in a shorter or longer time. Specifically, for example
durch eine der eingefügten Festbilddarstellung proportionale Verlängerung der Gesamtdarstellungszeit erreicht werden, daß in der Bewegtbilddarstellung die Szenenbewegung mit der Geschwindigkeit des Echtzeitbetriebs, d. h. ohne Zeitraffung wiedergegeben wird.achieved by an extension of the total display time proportional to the inserted fixed image display that in the moving image display the scene movement at the speed of real-time operation, d. H. is played back without time lapse.
Claims (3)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19813144050 DE3144050C2 (en) | 1981-11-03 | 1981-11-03 | Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate |
| FR8218071A FR2515910B2 (en) | 1981-11-03 | 1982-10-28 | METHOD FOR TRANSMITTING AND REPRODUCING VIDEO SCENES, PARTICULARLY AERIAL VIEW SCENES, WITH A REDUCED FREQUENCY OF IMAGE RECURRENCE |
| US06/438,537 US4496972A (en) | 1980-05-10 | 1982-11-01 | Method for the representation of video images or scenes, in particular aerial images transmitted at reduced frame rate |
| GB08231329A GB2110046B (en) | 1981-11-03 | 1982-11-02 | Representation of video images transmitted at reduced frame rate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19813144050 DE3144050C2 (en) | 1981-11-03 | 1981-11-03 | Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE3144050A1 DE3144050A1 (en) | 1983-05-19 |
| DE3144050C2 true DE3144050C2 (en) | 1983-09-29 |
Family
ID=6145738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19813144050 Expired DE3144050C2 (en) | 1980-05-10 | 1981-11-03 | Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate |
Country Status (3)
| Country | Link |
|---|---|
| DE (1) | DE3144050C2 (en) |
| FR (1) | FR2515910B2 (en) |
| GB (1) | GB2110046B (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126382A (en) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | Animation frame rate conversion system with use of moving quantity |
| DE3523424C1 (en) * | 1985-06-29 | 1986-10-30 | Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln | Method for the transmission and reproduction of video scenes, in particular aerial scenes, with a reduced frame rate with a relative movement of the recorded scene relative to the recording sensor |
| DE3531677A1 (en) * | 1985-09-05 | 1987-03-12 | Philips Patentverwaltung | METHOD AND ARRANGEMENT FOR GENERATING INTERMEDIATE SIGNALS FROM REFERENCE IMAGE SIGNALS WITH REDUCED IMAGE FREQUENCY |
| DE3533379A1 (en) * | 1985-09-19 | 1987-03-26 | Deutsche Forsch Luft Raumfahrt | METHOD FOR STEREOSCOPIC MOVEMENT IMAGE PRESENTATION OF IMAGE SCENES WITH RELATIVE MOVEMENT BETWEEN RECORDING SENSOR AND RECORDED SCENE |
| US5214751A (en) * | 1987-06-04 | 1993-05-25 | Thomson Grand Public | Method for the temporal interpolation of images and device for implementing this method |
| FR2616248B1 (en) * | 1987-06-04 | 1992-04-24 | Thomson Grand Public | METHOD FOR TEMPORAL INTERPOLATION OF IMAGES AND DEVICE FOR CARRYING OUT SAID METHOD |
| FR2630875B1 (en) * | 1988-04-29 | 1994-08-05 | Labo Electronique Physique | IMAGE TRANSMISSION SYSTEM USING A RELATIVELY NARROW BANDPASS TRANSMISSION CHANNEL |
| FR2673060B1 (en) * | 1991-02-19 | 1993-06-04 | Matra Communication | VISUAL SPEAKER TERMINAL. |
| GB2350005B (en) | 1999-03-17 | 2003-01-08 | Canon Kk | Image processing apparatus |
| JP4608791B2 (en) | 2001-03-15 | 2011-01-12 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| EP1583364A1 (en) * | 2004-03-30 | 2005-10-05 | Matsushita Electric Industrial Co., Ltd. | Motion compensated interpolation of images at image borders for frame rate conversion |
| JP4453647B2 (en) | 2005-10-28 | 2010-04-21 | セイコーエプソン株式会社 | Moving image display device and moving image display method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3073896A (en) * | 1960-05-31 | 1963-01-15 | Bell Telephone Labor Inc | Video interchange by digital band and scan conversions |
| US3423526A (en) * | 1965-01-21 | 1969-01-21 | Hughes Aircraft Co | Narrow-band television |
| FR2316819A1 (en) * | 1975-07-03 | 1977-01-28 | Telecommunications Sa | DIGITAL RATE REDUCTION PROCESS DURING THE TRANSMISSION OF VIDEO SIGNALS |
-
1981
- 1981-11-03 DE DE19813144050 patent/DE3144050C2/en not_active Expired
-
1982
- 1982-10-28 FR FR8218071A patent/FR2515910B2/en not_active Expired
- 1982-11-02 GB GB08231329A patent/GB2110046B/en not_active Expired
Also Published As
| Publication number | Publication date |
|---|---|
| GB2110046B (en) | 1985-03-13 |
| FR2515910A2 (en) | 1983-05-06 |
| GB2110046A (en) | 1983-06-08 |
| FR2515910B2 (en) | 1986-04-25 |
| DE3144050A1 (en) | 1983-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE4411179B4 (en) | image capture device | |
| DE3144050C2 (en) | Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate | |
| DE102008053472A1 (en) | Object detection system | |
| DE102019005516A1 (en) | Video painting using reliability-weighted motion estimation | |
| EP1267178A1 (en) | Method for processing a high definition picture | |
| DE102008030555A1 (en) | Device for processing stereo images | |
| DE102005034597A1 (en) | Method and device for generating a depth map | |
| DE102012219834A1 (en) | Tracking system | |
| DE102010062496A1 (en) | Method and device for processing image information of two sensors suitable for image acquisition of a stereo sensor system | |
| DE3533379C2 (en) | ||
| DE102013205854A1 (en) | Temporary coherence on detection of a clear path | |
| DE4109159C2 (en) | Method and device for tracking a vehicle in front of a vehicle | |
| DE102018204325A1 (en) | Method, device and means of transport for a kinetosevermeidende, virtual representation of multimedia content in a means of transport | |
| DE102012211961A1 (en) | Method and apparatus for calculating a change in a magnification of an object | |
| DE102014210481A1 (en) | Information display on moving objects visible through windows | |
| EP0290633B1 (en) | Method for detecting changes in the driving range of an unmanned vehicle | |
| DE4125688C2 (en) | Distance detection device | |
| DE102018211371A1 (en) | Optical measuring method and optical measuring device | |
| EP0414017A2 (en) | Method for object-oriented movement compensation of picture information for the reproduction of coded moving picture sequences | |
| DE3018329C2 (en) | Method for the transmission and reproduction of video scenes, in particular aerial photo scenes, with a reduced frame rate | |
| EP2996327A2 (en) | Surround view system for vehicles with attachments | |
| DE112020001559T5 (en) | INFORMATION PROCESSING EQUIPMENT, PROGRAM AND INFORMATION PROCESSING METHOD | |
| EP0534996B1 (en) | Device for segmenting moving objects by background adaptation with compensation of the camera movement | |
| DE102020103403A1 (en) | IMPACT DETECTION SYSTEM FOR A VEHICLE AND IMPACT DETECTION METHOD FOR IT | |
| DE102021005335B4 (en) | Method for compensating measurement errors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AF | Is addition to no. |
Ref country code: DE Ref document number: 3018329 Format of ref document f/p: P |
|
| AF | Is addition to no. |
Ref country code: DE Ref document number: 3018329 Format of ref document f/p: P |
|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| AF | Is addition to no. |
Ref country code: DE Ref document number: 3018329 Format of ref document f/p: P |
|
| D2 | Grant after examination | ||
| 8364 | No opposition during term of opposition | ||
| 8327 | Change in the person/name/address of the patent owner |
Owner name: DEUTSCHE FORSCHUNGSANSTALT FUER LUFT- UND RAUMFAHR |
|
| 8327 | Change in the person/name/address of the patent owner |
Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V., 5 |
|
| 8340 | Patent of addition ceased/non-payment of fee of main patent |