DE3642064C1

DE3642064C1 - Method for converting the frame rate of television signals and filter for carrying out the method

Info

Publication number: DE3642064C1
Application number: DE19863642064
Authority: DE
Inventors: Andreas Dipl-Ing Ebner; Rainer Dipl-Ing Schaefer
Original assignee: Institut fuer Rundfunktechnik GmbH
Current assignee: Institut fuer Rundfunktechnik GmbH
Priority date: 1986-12-09
Filing date: 1986-12-09
Publication date: 1988-03-03

Abstract

To convert the frame rate of television signals, the television signal to be converted is supplied in parallel to a multiplicity of spatio/temporal filters (F1 to Fn) having different motion-adapted filter characteristics. Each filter supplies a motion-adapted filter and frame-rate-adapted television signal and a control signal for assessing the instantaneous adaptation of the filter. The control signals of all the filters are used for determining and selecting the best-adapted filter output signal.

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1 sowie auf ein Filter zur Durchführung des Verfahrens, wie es jeweils aus "The Royal Television Society Journal", September/ October 1974, Seiten 140 bis 159 bekannt ist.The invention relates to a method according to the Preamble of claim 1 and a filter to carry out the procedure as it each "The Royal Television Society Journal", September / October 1974, pages 140 to 159.

Bekannte Verfahren zur Wandlung der Bildwechselfrequenz von Fernsehsignalen (EBU-Dokument GT V1/HDTV 261 "Second Generation HDTV Standards Converter" vom Sept. 1985) sehen eine mehrdimensionale Filterung des ankommenden Bildsignals vor, um die bei der Wandlung der Bildabtastraten z. B. von 60 Hz auf 50 Hz entstehenden Alias-Störungen hinreichend zu unterdrücken. Die spatio-temporale Filtercharakteristik wird dabei in Abhängigkeit von der Geschwindigkeit bewegter Bildstrukturen fortlaufend nachgesteuert. Hierzu ist es erforderlich, mit Hilfe einer möglichst genauen Bewegungsdetektion die Bewegung von Bildstrukturen nach Betrag und Richtung zu erfassen, was jedoch einen hohen schaltungstechnischen Aufwand bedingt. Darüber hinaus liefert die Bewegungsdetektion mit der davon gesteuerten Bildverarbeitung bei bestimmten Änderungen der Bildstrukturen stark verfälschte Bildsignale, beispielsweise dann, wenn sich ein kleines, flächiges Bildelement mit einer vom Durchschnitt der gesamten Bewegungen stark abweichenden Geschwindigkeit und Richtung bewegt, so daß es bei der Bewegungsdetektion unberücksichtigt bleibt.Known methods for converting the frame rate of television signals (EBU document GT V1 / HDTV 261 "Second Generation HDTV Standards Converter "from Sept. 1985) see a multi-dimensional filtering of the incoming Image signal before to convert the image sampling rates e.g. B. from 60 Hz to 50 Hz aliasing to suppress sufficiently. The spatio-temporal Filter characteristics are dependent on the Continuous speed of moving picture structures readjusted. For this it is necessary with help motion as accurate as possible capture image structures by amount and direction, however, what a high circuit complexity conditionally. In addition, the motion detection provides with the image processing it controls for certain Changes in the image structures, strongly distorted image signals, for example, if there is a small, flat picture element with an average of overall movements greatly differing speed and direction moves so that it is in motion detection remains unconsidered.

Die Aufgabe der Erfindung besteht demgegenüber darin, den schaltungstechnischen Aufwand bei der Wandlung der Bildwechselfrequenz zu verringern und gleichzeitig die Qualität der Wandlung bei kritischen, bewegten Bildstrukturen zu erhöhen.In contrast, the object of the invention is the circuitry complexity in the conversion of Reduce frame rate while maintaining the Quality of the conversion with critical, moving picture structures to increase.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruchs 1 gelöst. Ein zur Durchführung des erfindungsgemäßen Verfahrens besonders geeignetes Filter ist in den Unteransprüchen angegeben.This object is achieved by the characterizing Features of claim 1 solved. One for Implementation of the method according to the invention in particular suitable filter is specified in the subclaims.

Die Erfindung beruht auf der Überlegung, daß im Fernsehsignal nur ein begrenzter Bereich an Änderungsgeschwindigkeiten von bewegten Bildstrukturen vorhanden ist, welcher durch einen Satz von Filtern mit unterschiedlicher Bewegungsadaption und geeigneter Bandbreite abgedeckt wird. Dasjenige Filter, welches die momentane Bewegung der Bildstruktur am besten adaptiert, wird selektiert und auf den Ausgang des Wandlers geschaltet. Eine Bewegungsdetektion mit entsprechendem Schaltungsaufwand und kritischer Bewertung von schnellen, kleinflächigen Bewegungsänderungen wird auf diese Weise vermieden.The invention is based on the consideration that in the television signal only a limited range of rates of change of moving picture structures which is characterized by a set of filters with different Adaptation of movement and suitable bandwidth is covered. The filter that the current Movement of the image structure is best adapted selected and switched to the output of the converter. A motion detection with appropriate circuitry and critical assessment of fast, small-scale Changes in movement are avoided in this way.

Die Erfindung wird anhand der in den Zeichnungen dargestellten Ausführungsbeispielen näher erläutert. Es zeigtThe invention is illustrated in the drawings Embodiments explained in more detail. It shows

Fig. 1 ein Blockschaltbild eines Wandlers für die Bildwechselfrequenz, welcher eine bewegungsadaptierte Filterbank aufweist; Figure 1 is a block diagram of a converter for the frame rate, which has a motion-adapted filter bank.

Fig. 2 und 5 Blockschaltbilder zweier vereinfachter Ausführungsformen von bewegungsadaptierten Filtern; Figs. 2 and 5 are block diagrams of two simplified embodiments of motion adapted filters;

Fig. 3 die Filtercharakteristik des Filters nach Fig. 2 für zwei unterschiedliche Filterauslegungen und Fig. 3 shows the filter characteristic of the filter of FIG. 2 for two different filter designs and

Fig. 4 die Filtercharakteristik des Filters nach Fig. 5 für zwei unterschiedliche Filterauslegungen. Fig. 4 shows the filter characteristic of the filter of Fig. 5 for two different filter designs.

Bei dem in Fig. 1 dargestellten Wandler wird das ankommende Fernsehsignal mit beispielsweise einer Bildwechselfrequenz von 60 Hz parallel auf eine Filterbank 10 verteilt, welche aus einzelnen Filtern F₁ bis F _n besteht. Die Filter F₁ bis F _n sind bewegungsadaptiert, d. h., daß die Filtercharakteristik jedes einzelnen Filters auf eine ganz bestimmte, im Fernsehsignal auftretende Bewegungsgeschwindigkeit ausgelegt ist. Abhängig von der Bandbreite und dem Dämpfungsverlauf der einzelnen Filter F₁ bis F _n sowie der Anzahl n der Filter kann man mehr oder weniger genau die Skala der vorkommenden Bewegungsgeschwindigkeiten im Fernsehsignal abdecken.In the converter shown in Fig. 1, the incoming television signal with, for example, a frame rate of 60 Hz is distributed in parallel to a filter bank 10 , which consists of individual filters F ₁ to F _n . The filters F ₁ to F _n are motion-adapted, ie the filter characteristic of each individual filter is designed for a very specific speed of movement occurring in the television signal. Depending on the bandwidth and the attenuation curve of the individual filters F ₁ to F _n and the number n of filters, you can more or less exactly cover the scale of the occurring movement speeds in the television signal.

Jedes der Filter F₁ bis F _n der Filterbank 10 liefert ein verarbeitetes Bildsignal an einem ersten Ausgang a _i, das bewegungsadaptiert gefiltert und der neuen Bildwechselfrequenz, z. B. 50 Hz angepaßt ist. Außerdem wird an einem zweiten Ausgang d _i ein Steuersignal generiert, welches eine Aussage über die Qualität der durchgeführten Filterung zuläßt. Die generierten Steuersignale werden einem Selektor 20 zugeführt, welcher aufgrund der Steuersignale feststellt, welches der verarbeiteten Bildsignale am optimalsten gefiltert ist. Entsprechend dieser Feststellung erzeugt der Selektor 20 eine Schaltinformation für den Auswahlschalter 30, der das am besten hinsichtlich des momentanen Bildinhaltes und des Bewegungsablaufes im ankommenden Fernsehsignal geeignete Filter mit dem Ausgang 40 verbindet.Each of the filters F ₁ to F _{n of} the filter bank 10 supplies a processed image signal at a first output a _i , which is filtered in a motion-adapted manner and the new frame rate, e.g. B. 50 Hz is adjusted. In addition, a control signal is generated at a second output d _i , which allows a statement about the quality of the filtering carried out. The generated control signals are fed to a selector 20 , which uses the control signals to determine which of the processed image signals is most optimally filtered. According to this determination, the selector 20 generates switching information for the selection switch 30 , which connects the filter which is best suited to the output 40 with regard to the current image content and the movement sequence in the incoming television signal.

Anstelle einer harten Umschaltung zwischen den verarbeiteten Bildsignalen im Auswahlschalter 30 ist es möglich, eine weiche bzw. kontinuierliche Umschaltung zwischen mehreren verarbeiteten Bildsignalen vorzunehmen.Instead of a hard changeover between the processed image signals in the selection switch 30 , it is possible to carry out a soft or continuous changeover between a plurality of processed image signals.

Im Blockschaltbild nach Fig. 2 ist eine einfache Ausführungsform eines bewegungsadaptierten Filters dargestellt, wie es in der Filterbank 10 (Fig. 1) verwendet werden kann. Das ankommende Fernsehsignal wird auf zwei Signalzweige geleitet, welche Stufen 111 bzw. 112 aufweisen, die jeweils eine Verzögerung und Gewichtung des ankommenden Fernsehsignals bewirken. Die Ausgangssignale der Stufen 111 und 112 werden sowohl summiert (Addierstufe 113) als auch voneinander subtrahiert (Subtrahierstufe 114), wobei das Summationssignal das bearbeitete Bildsignal (Ausgang a _i) und das Subtraktionssignal das Steuersignal (Ausgang d _i) des Filters darstellen. Jede der Stufen 111, 112 besteht aus der Serienschaltung eines Laufzeitgliedes mit der Laufzeit τ₁₁₁ bzw. τ₁₁₂ und eines Multipliziergliedes M, welches das um τ₁₁₁ bzw. τ₁₁₂ verzögerte Fernsehsignal mit einem Faktor A₁₁₁ bzw. A₁₁₂ gewichtet. Die Faktoren A₁₁₁ und A₁₁₂ werden von einer gegebenenfalls für alle Filter F₁ bis F _n gemeinsamen Steuerschaltung 115 erzeugt, welche mit dem ankommenden Fernsehsignal gespeist ist und aufeinanderfolgende Teilbilder detektiert (anhand der V-Synchronimpulse) und zyklisch durchnumeriert. Die maximale Nummer eines Durchnumerierungszyklus' ergibt sich aus dem Verhältnis des kleinsten gemeinsamen Vielfachen von ein- und ausgehender Bildwechselfrequenz zu ausgehender Bildwechselfrequenz. Ist z. B. die eingehende Bildwechselfrequenz 60 Hz und die ausgehende Bildwechselfrequenz 50 Hz, so ergibt sich eine maximale Nummer des Zyklus' zu (5 × 60)/50 = 6. In Abhängigkeit von der Nummer des Teilbildes werden die Faktoren A₁₁₁, A₁₁₂ gemäß folgender Beziehung bestimmt:In the block diagram of FIG. 2, a simple embodiment is shown a motion-adapted filter, such as may be used in the filter bank 10 (FIG. 1). The incoming television signal is routed to two signal branches, which have stages 111 and 112 , respectively, which each cause a delay and weighting of the incoming television signal. The output signals of stages 111 and 112 are both summed (adding stage 113 ) and subtracted from one another (subtracting stage 114 ), the summation signal representing the processed image signal (output a _i ) and the subtraction signal the control signal (output d _i ) of the filter. Each of the stages 111, 112 consists of the series connection of a delay element with the delay τ ₁₁₁ or τ ₁₁₂ and a multiplier M , which weights the delayed television signal by τ ₁₁₁ or τ ₁₁₂ with a factor A ₁₁₁ or A ₁₁₂. The factors A ₁₁₁ and A ₁₁₂ are generated by a possibly for all filters F ₁ to F _n common control circuit 115 , which is fed with the incoming television signal and detects successive fields (using the V-sync pulses) and numbered cyclically. The maximum number of a numbering cycle results from the ratio of the smallest common multiple of incoming and outgoing frame rate to outgoing frame rate. Is z. B. the incoming frame rate 60 Hz and the outgoing frame rate 50 Hz, there is a maximum number of the cycle 'to (5 × 60) / 50 = 6. Depending on the number of the field, the factors A ₁₁₁, A ₁₁₂ according to determines the following relationship:

mitWith

undand

f _{B in}:eingehende Bildwechselfrequenzf _{B out}:ausgehende Bildwechselfrequenz f _{B in} : incoming frame rate f _{B out} : outgoing frame rate

Entsprechend der dem jeweiligen Filter zugeordneten, festen Geschwindigkeit der zu adaptierenden Bewegung im Bild werden die Laufzeiten τ₁₁₁, τ₁₁₂ aus einer Kombination von Vollbild-, Zeilen- und Bildpunkt-Verzögerungen gewählt. Je nach Größenordnung der in den Stufen 111, 112 vorgesehenen Laufzeiten τ₁₁₁, τ₁₁₂ führt das Filter gemäß Fig. 2 eine ein- bis dreidimensionale Filterung durch.Corresponding to the fixed speed assigned to the respective filter of the movement to be adapted in the image, the transit times τ ₁₁₁, τ ₁₁₂ are selected from a combination of frame, line and pixel delays. Depending on the magnitude of the transit times τ ₁₁₁, τ ₁₁₂ provided in stages 111, 112 , the filter according to FIG .

In Fig. 3 ist ein Beispiel für die durch das Filter gemäß Fig. 2 erzeugte Filtercharakteristik im Spektralbereich veranschaulicht. Die Darstellung beschränkt sich auf zweidimensionale, d. h., spatio-temporale Spektren im Basisband, wobei eine weitere spatiale Dimension in einer dritten Koordinatenrichtung zu ergänzen wäre. Sämtliche Spektralkomponenten einer translatorisch bewegten Bildstruktur werden durch ein zugeordnetes Filter der Filterbank 10 hinreichend aliasfrei gefiltert. FIG. 3 illustrates an example of the filter characteristic in the spectral range generated by the filter according to FIG. 2. The representation is limited to two-dimensional, ie spatio-temporal spectra in the baseband, with a further spatial dimension in a third coordinate direction having to be added. All spectral components of a translationally moved image structure are filtered with an alias-free filter by an associated filter of the filter bank 10 .

Die mit F _i und F _j in Fig. 3 bezeichneten, schraffierten Bereiche geben die Durchlaßbereiche zweier unterschiedlicher Filterauslegungen wieder. Die unteren Begrenzungsgeraden der Bereiche F _i, F _j schneiden in einem gemeinsamen Punkt +f _B/2 die temporale Frequenzachse f _t, wobei f _B die eingehende Bildwechselfrequenz ist. Die oberen Begrenzungsgeraden der Bereiche F _i, F _j schneiden sich in dem gemeinsamen Punkt -f _B/2. Die Steigung der Begrenzungsgeraden entspricht der jeweils zugeordneten festen Geschwindigkeit der zu adaptierenden Bewegung im Bild.The hatched areas denoted by F _i and F _j in FIG. 3 represent the pass areas of two different filter designs. The lower boundary lines of the areas F _i , F _j intersect the temporal frequency axis f _t at a common point + f _B / 2, where f _{B is} the incoming frame rate. The upper boundary lines of the areas F _i , F _j intersect at the common point - f _B / 2. The slope of the boundary line corresponds to the respectively assigned fixed speed of the movement to be adapted in the image.

Fig. 4 gibt zwei verschiedene Auslegungen für eine gegenüber Fig. 3 abweichende Charakteristik einer Filterstruktur wieder, welche in Fig. 5 näher dargestellt ist. Wie man aus Fig. 4 erkennt, schneiden sich die Begrenzungsgeraden der Durchlaßbereiche im Koordinatenursprung, was bedeutet, daß sich die Bandbreite jedes Filters kontinuierlich ändert. Diese Bandbreitenänderung wird dadurch erreicht, daß bei dem Filter gemäß Fig. 5 in Abweichung von Fig. 2 die Stufen 111, 112 mehrfach vorhanden sind. FIG. 4 shows two different designs for a characteristic of a filter structure that differs from FIG. 3, which is shown in more detail in FIG. 5. As can be seen from Fig. 4, the bounding lines of the passband intersect in the coordinate origin, which means that the bandwidth of each filter changes continuously. This bandwidth change is achieved in that in the filter according to FIG. 5, in deviation from FIG. 2, stages 111, 112 are present several times.

Claims

1. Process for converting the frame rate of television signals using motion-adapted spatio-temporal filters, characterized by the following process steps:

a) The television signal to be converted is fed in parallel to a plurality of spatio-temporal filters ( F ₁ to F _n ) with different motion-adapted filter characteristics, each filter delivering a motion-adapted filtered and frame rate-adapted television signal and a control signal for assessing the current adaptation of the filter and
b) the best adapted filter output signal is determined and selected based on the control signals of all filters ( F ₁ to F _n ).

2. Spatio-temporal filter for performing the method according to claim 1, characterized by the following features:

a) A first and second stage ( 111, 112 ) for delaying and weighting the television signal to be converted, each stage consisting of the series connection of a delay element ( τ ₁₁₁, τ ₁₁₂) and a multiplier (M) ;
b) a control circuit ( 115 ) which is fed with the television signal to be converted and detects successive fields and is numbered cyclically in order to generate a weighting factor ( A ₁₁₁, A ₁₁₂) for each multiplier (M) ;
c) an adder ( 113 ) which sums the output signals of the stages ( 111, 112 ), the sum signal corresponding to the filtered and frame rate-adapted television signal, and
d) a subtractor ( 114 ) which subtracts the output signals of the stages ( 111, 112 ) from one another, the subtraction signal corresponding to the control signal for assessing the instantaneous adaptation.

3. Filter according to claim 2, characterized in that the maximum number of a numbering cycle the ratio of the smallest common multiple from incoming and outgoing frame rate to outgoing frame rate corresponds.

4. Filter according to claim 2 or 3, characterized in that the transit times ( τ ₁₁₁, τ ₁₁₂) of the delay elements according to the filter associated with the fixed speed of the movement to be adapted in the image from a combination of frame, line and pixel delays are selected.