DE19701909C2 - Verfahren und Schaltungsanordnung zur Flimmerreduktion eines Bildsignals - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Flimmerreduktion ei­ nes Bildsignals gemäß den Merkmalen des Oberbegriffs des Pa­ tentanspruchs 1. Die Erfindung betrifft außerdem eine ent­ sprechende Schaltungsanordnung.

Nach den herkömmlichen analog und digital arbeitenden Fern­ sehstandards PAL, NTSC, SECAM oder MPEG2 werden senderseitig zeilenverkämmte Halbbilder mit Zeilensprung übertragen. Die Halbbilder umfassen abwechselnd nur gerade oder ungeradzahli­ ge Zeilen des Vollbildes. Das vom Betrachter wahrgenommene Bild weist insbesondere bei großen Bildschirmen Zeilenflim­ mern auf. Wegen der relativ geringen Halbbildrate von 50 oder 60 Hz tritt Flächenflimmern auf.

Zur Abhilfe wird bekanntlich die Halbbildwiedergaberate ver­ doppelt. Bei bloßer Wiederholung der empfangenen Halbbilder bleiben Flimmerkomponenten erhalten und bei bewegten Objekten können sich Doppelkanten bilden. Zur Abhilfe kann eine Bewe­ gungskompensation vorgesehen werden. Die Ermittlung entspre­ chender Bewegungsvektoren erfordert jedoch eine aufwendige Bewegungsschätzung, die bei ungenügender Qualität der Bewe­ gungsvektoren wiederum Artefakte erzeugt. Andere Verfahren sehen wiederum unterschiedliche Verarbeitungen mit harter Um­ schaltung unter Verwendung von Heuristiken an, um bewegte und unbewegte Bilder zu unterscheiden.

Aus der DE 36 10 715 A1 ist ein Verfahren zur flimmerfreien Wiedergabe eines Videosignals, das aus zwei Teilbildern nach dem Zwischenzeilen-Verfahren zusammengesetzt ist, bekannt, bei dem aus dem Videosignal ein abgeleitetes Videosignal ge­ bildet wird, dessen Teilbildfrequenz und Vollbildfrequenz je­ weils um einen Faktor gegenüber denjenigen des Videosignals vergrößert sind.

In der EP 0 488 003 A2 ist ein Fernsehempfänger beschrieben, der zur Signalverarbeitung eines Videobildes ein neuronales Netzwerk enthält. Das neuronale Netzwerk wird dabei zur Er­ zeugung von Zwischenzeilen bei der Umwandlung von interlace zu noninterlace-Bildern eingesetzt. Die durch Interpolation gewonnenen Zwischenzeilen werden mit den ursprünglichen Zei­ len des Videosignales verknüpft, um ein noninterlace-Bild zu erhalten.

Die Aufgabe der Erfindung besteht darin, ein anderes Verfah­ ren zur Flimmerreduktion eines Bildsignals unter Verwendung eines neuronalen Netzes anzugeben.

Diese Aufgabe wird mit den Merkmalen des Patentanspruchs 1 gelöst.

Eine Schaltungsanordnung ist in Patentanspruch 8 angegeben.

Ein neuronales Netz wirkt bekanntlich als nichtlineares Fil­ ter. Durch "Training" des Netzes, wodurch die verfügbaren Pa­ rameter des Netzes eingestellt werden, wird eine gewünschte Filterfunktion erhalten. Das Netz wird mit vorgegebenen Wer­ tepaaren von bereits vorliegenden Eingangs- und Ausgangshalb­ bildern trainiert. Auch wenn die im späteren Praxisbetrieb zu verarbeitenden Bilddaten von den Trainingsbildern abweichen, liefert das neuronale Netz trotzdem gute Ergebnisse. Darüber hinaus kann das Netz auf besonders kritische Bildinhalte hin speziell trainiert werden.

Trainingsdaten für das neuronale Netz liegen in ausreichender Anzahl vor. Aus fortlaufend abgetasteten Vollbildfolgen kön­ nen zusammengehörige Eingangs-Ausgangs-Halbbilder für das Training abgeleitet werden. Beim Training werden die Netzpa­ rameter mittels numerischer Optimierung gemäß einer Kosten­ funktion ermittelt. Hierzu liegen standardmäßige, z. B. fehlergradientengestützte Optimierungsverfahren vor. Um die Verfahren an den nichtlinearen Charakter des Netzes anzupas­ sen, werden die Optimierungsverfahren ergänzt, z. B. durch stochastischen, schrittweisen Gradientenabstieg. Zur Berech­ nung des erforderlichen Gradienten der Kostenfunktion in den Netzparametern wird zweckmäßigerweise das Verfahren der Er­ ror-Backpropagation eingesetzt. Die Kostenfunktion, die zu minimieren ist, besteht zweckmäßigerweise in der Summe der quadratischen Differenzen zwischen den Netzausgangsdaten und den für die Netzausgangsdaten vorgegebenen Zieldaten. Die Menge der eingangsseitigen Trainingsdaten sollte den späteren Einsatzbereich des neuronalen Netzes möglichst gut abdecken. Hierzu empfiehlt sich eine große Anzahl von in ihrer Vertei­ lung der Anwendungssituation entsprechenden Trainingsbeispie­ len. Das neuronale Netz wird vorzugsweise als sogenanntes Multi-Layer Perzeptron (MLP) realisiert.

Im Gegensatz zu herkömmlichen Flimmerbefreiungsverfahren, die Bewegungsschätzung und/oder heuristische Umschaltungen vor­ nehmen, gibt das neuronale Netz auch bei kritischen Eingangs­ daten Halbbilder aus, die möglichst wenige sichtbare Artefak­ te enthalten.

Nachfolgend wird die Erfindung anhand der in der Zeichnung dargestellten Figuren näher erläutert. Es zeigen:

Fig. 1 Bildpunktschemata von Eingangs- und Ausgangshalb­ bildern mit den Eingangsdatenwerten für verschiede­ ne neuronale Netze,

Fig. 2 Eingangs- und Ausgangsdatenwerte bei Verwendung ei­ nes einzigen neuronalen Netzes und

Fig. 3 ein Multi-Layer Perzeptron.

Als ein zur Ausführung der vorliegenden Erfindung zur Anwen­ dung kommendes neuronales Netz wird vorzugsweise ein Multi- Layer Perzeptron verwendet, dessen Struktur in Fig. 3 darge­ stellt ist. Das Netz 1 enthält eine Schicht 2 aus je einem Eingangspuffer für ein Eingangssignal E1, ..., En. Je ein Ausgangssignal ist an einem zugeordneten Neuron einer Schicht 3 abgreifbar. Im dargestellten MLP wird ein einziges Aus­ gangssignal A für einen einzigen Bildpunkt erzeugt. Zwischen der Eingangs- und der Ausgangsschicht ist eine verborgene Schicht 4 aus Neuronen angeordnet (sogenannter Hidden Layer). Neuronen sind bekanntlich Summiererverstärker, denen eine An­ zahl i von Signalen eingangsseitig zuführbar ist, die im Neu­ ron mit einem Gewichtungsfaktor w_i multiplikativ gewichtet und miteinander summiert und zusätzlich mit einem Bias- Gewicht versehen werden. Die Transferfunktion der Neuronen ist bei den Eingangs- und Ausgangspuffern eine Identität, bei den Neuronen der verborgenen Schicht eine sigmoide Funktion. Im allgemeinen ist jedes Neuron der verborgenen Schicht 4 bzw. der Ausgangsschicht 3 mit jedem Neuron der vorhergehen­ den Schicht verbunden. Die diesen Verbindungen zugeordneten Gewichte w bzw w' werden durch Training des Netzes festge­ legt. Die sigmoide (s-förmige) Transferfunktion der Neuronen der verborgenen Schicht 4 ist zweckmäßigerweise ein Tangens­ hyberbolikus (tanh). Das neuronale Netz kann hardwaremäßig mit analoger oder digitaler Schaltungstechnik realisiert wer­ den. Zweckmäßig ist eine prozessorgestützte Realisierung, bei der die in Fig. 3 gezeigte Schaltung und deren Signalfluß­ lauf in Software nachgebildet werden. Außerdem können anwen­ dungsspezifische Hardwareanteile mit programmierbaren kombi­ niert werden, um den Netzwerkalgorithmus in Hardware zu rea­ lisieren.

In der Fig. 1 sind eine Folge von senderseitig übertragenen Halbbildern mit Zeilensprung A1, B1, A2 ausschnittsweise dar­ gestellt sowie eine Ausgangshalbbildfolge mit Zeilensprung­ halbbildern α, β, γ, δ bei verdoppelter Halbbildrate. Ein­ gangsseitig bereitgestellte Bildpunkte sind durch Kreise dar­ gestellt, durch neuronale Netze erzeugte Bildpunkte durch Rechtecke. Das erste Halbbild α der Ausgangsbildfolge wird durch direkte Übernahme der Bildpunkte des Halbbilds A1 er­ halten. Die Bildpunkte der übrigen Halbbilder β, γ, δ werden jeweils durch ein neuronales Netz berechnet. Zur Berechnung des Bildpunkts 10 im Halbbild β ist ein erstes neuronales Netz vorgesehen, dem Bildpunkte der bewegungsphasenmäßig be­ nachbarten eingangsseitigen Halbbilder A1, B1 zugeführt wer­ den. Die Qualität der Filterung hängt vom räumlichen und zeitlichen Einzugsbereich der Eingangswerte des neuronalen Netzes ab. Zur Berechnung des Bildpunkts 10 werden zweckmäßi­ gerweise die in den Halbbildern A1, B1 ausgefüllt kreisförmig dargestellten Bildpunkte verwendet. Hierzu werden dem raster­ gleichen eingangsseitigen Halbbild B1 eine Anzahl von Bild­ punkten 11 entnommen, die an der bezüglich des zu erzeugenden Bildpunkts 10 entsprechenden Zeile liegen. Darüber hinaus werden Bildpunkte in den beiden jeweils darüber und darunter liegenden mit Bildpunkten besetzten Zeilen 12, ..., 15 des Halbbilds B1 dem neuronalen Netz zugeführt. Aus dem Halbbild A1, das zum zu erzeugenden Halbbild β rasterverschieden ist, werden eine Anzahl von Bildpunkten aus den Zeilen 20, 21 in das neuronale Netz eingespeist, die bezüglich der Zeile des zu erzeugenden Bildpunkts 10 unmittelbar benachbart liegen, sowie Bildpunkte je einer weiteren darüber und darunter lie­ genden Zeile 23, 24.

Der Eingabebereich des neuronalen Netzes in den Halbbildern A1, B1 ist punktsymmetrisch bezüglich der dort dem zu erzeu­ genden Bildpunkt 10 entsprechenden Stelle. Dabei nimmt die Anzahl der jeweils aus einer Zeile verwendeten Bildpunkte mit zunehmenden Abstand von dieser Stelle ab. Eine Vorschrift zur Festlegung des Einzugsbereichs des neuronalen Netzes inner­ halb der Halbbilder A1, B1 wird vorzugsweise wie folgt fest­ gelegt: Um zum Bildpunkt 14 zu gelangen, werden fünf Schritte durchgeführt. Ein erster Schritt, um vom Bildpunkt 10 zur entsprechenden Bildpunktstelle 30 im Halbbild B1 zu gelangen. Ein weiterer Schritt, um zur Bildpunktstelle 31 in der unmit­ telbar darüber liegenden, im Halbbild B1 nicht besetzten Zei­ le zu gelangen. Ein weiterer Schritt, um zum Bildpunkt 32 zu gelangen, ein weiterer Schritt, um zur Bildpunktstelle 33 zu gelangen, und ein weiterer Schritt, um zum Bildpunkt 14 zu gelangen. Der Bildpunkt 34 wird erreicht, indem an der Stelle 32 um zwei Schritte nach rechts gegangen wird. In Weiterfüh­ rung dieses Prinzips werden dem neuronalen Netz aus dem Halb­ bild B1 diejenigen Bildpunkte zugeführt, die höchstens einen wie oben beschrieben ermittelten Abstand von insgesamt fünf zeitlichen und örtlichen Schritten zur Stelle des zu erzeu­ genden Bildpunkts 10 aufweisen. Entsprechendes gilt für das Halbbild A1. Zum Bildpunkt 23 gelangt man durch einen ersten Schritt von der Stelle des zu erzeugenden Bildpunkts 10 zur entsprechenden, nicht besetzten Stelle 40 im Halbbild A1 so­ wie durch vier weitere Schritte über mit Bildpunkten besetzte und nicht besetzte Zeilen nach oben in vertikale Richtung. Um Speicherplatz zu sparen, werden zweckmäßigerweise nur Ein­ gangsbildpunkte der um einen Zeitschritt vorher oder nachher liegenden eingangsseitigen Halbbilder verwendet, d. h. der Halbbilder A1, B1 für das zu erzeugende Halbbild β. Da die Eingangshalbbilder A1, B1 zwei verschiedene Bewegungsphasen darstellen, berechnet das neuronale Netz bei entsprechendem Training die Bildpunkte des Halbbilds β derart, daß der Bil­ dinhalt des Halbbilds β eine zwischen den Bewegungsphasen der Halbbilder A1, B1 liegende Bewegungsphase darstellt.

In entsprechender Weise werden die Bildpunkte des Halbbilds 8 berechnet. Für einen Bildpunkt 50 sind die dem hierzu vorge­ sehenen dritten neuronalen Netz zuzuführenden Eingangsbild­ punkte der Halbbilder B1, A2 ausgefüllt dargestellt. Die Form der Eingabemaske ist bezüglich des Halbbilds B1 spiegelsymme­ trisch.

Das Halbbild γ wird aus den Bildpunkten des rasterverschiede­ nen, bewegungsphasengleichen Halbbilds B1 erzeugt. Zur Be­ rechnung eines Bildpunkts 60 wird die Größe des Einzugsbe­ reichs der Eingangsbildpunkte im Halbbild B1 wiederum durch eine maximale Anzahl von fünf Entfernungsschritten von der Bildpunktposition 60 festgelegt. Um den Speicheraufwand bei ausreichender Wiedergabequalität möglichst gering zu halten, werden dem zweiten neuronalen Netz zweckmäßigerweise aus den Halbbildern A1, A2 keine Bildpunkte zugeführt.

Durch jedes neuronale Netz können auch mehr als ein Bildpunkt berechnet werden. Die Eingangswerte sind wiederum diejenigen, die bezüglich der Stellen der zu erzeugenden Bildpunkte höch­ stens um eine vorgegebene Anzahl von Schritten entfernt lie­ gen, wobei aus Aufwandsgründen die Anzahl der Zeitschritte in Vorwärts- und Rückwärtsrichtung gering ist. Bei mehreren von einem neuronalen Netz berechneten Ausgangsbildpunkten wird der Rechenaufwand pro zu berechnendem Ausgangswert geringer. Die Relation von Multiplikationen pro Ausgangswert nimmt ab.

Während bei dem oben anhand von Fig. 2 beschriebenen Verfah­ ren für jedes der Halbbilder β, γ, δ ein neuronales Netz ver­ wendet wird, ist in der Fig. 2 ein Beispiel dargestellt, bei dem die Berechnung dieser Halbbilder durch nur ein einziges neuronales Netz durchgeführt wird. Zur Erzeugung der Bild­ punkte 10, 60, 50 werden diesem einzigen neuronalen Netz die in Fig. 3 ausgefüllt markierten Bildpunkte zugeführt. Diese ergeben sich unter Anwendung der oben beschriebenen Vor­ schrift der maximalen Anzahl von Schritten ausgehend von je­ der Stelle der zu erzeugenden Bildpunkte 10, 60, 50.

Eine Schaltungsanordnung zur Durchführung der beschriebenen Aufwärtskonversion mittels neuronaler Netze sieht zwei Bildspeicher vor, in denen je ein Halbbild zwischengespei­ chert wird. Die Bildspeicher sind in Reihe geschaltet, wobei die Halbbilddaten ausgangsseitig jeweils mit der doppelten Zeilenfrequenz auslesbar sind. Der Prozessor zur Abarbeitung der neuronalen Netze ist mit der Ausgangsseite der Halb­ bildspeicher verbunden.

Die Erfindung kann dahingehend weitergebildet werden, daß ei­ ne progressive Bildfolge mit 100/120 Hz Vollbildrate erzeugt wird, indem ausgehend von den eingangsseitigen Halbbildern nach dem oben beschriebenen Verfahren die Bildpunkte für die Halbbilder mit Zeilensprung erzeugt werden und gleichzeitig die Bildpunkte für die entsprechenden Zwischenzeilen.

Claims (8)

1. Verfahren zur Flimmerreduktion eines Bildsignals, bei dem eingangsseitig eine Bildfolge mit zeilenverkämmten Halbbil­ dern (A1, B1, A2) mit einer vorgegebenen Halbbildrate zuge­ führt wird und ausgangsseitig eine Bildfolge mit zeilenver­ kämmten Halbbildern (α, β, γ, δ) mit der verdoppelten Halb­ bildrate abgegriffen wird, dadurch gekennzeichnet, daß aus Halb­ bildern der Bildfolge mit zeilenverkämmten Halbbildern (A1, B1, A2) mindestens eines der ausgangsseitigen Halbbilder (β, γ, δ) mittels einer Filterung erzeugt wird, die als neu­ ronales Netz ausgeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die eingangsseitige Bildfolge abwechselnd erste Halbbilder (A1, A2) mit einer ersten Zeilenrasterlage und zweite Halb­ bilder mit einer anderen zweiten Rasterlage (B1) aufweist und daß die ausgangsseitige Bildfolge aufeinanderfolgend erste, zweite, dritte und vierte Halbbilder, von denen die ersten (α) und dritten (γ) die eine der Rasterlagen aufweisen und die zweiten (β) und vierten (δ) die andere der Rasterlagen, und daß eines dieser ausgangsseitigen Halbbilder (α) durch direkte Übernahme eines der eingangsseitigen Halbbilder (A1) erzeugt wird und die drei übrigen (β, γ, δ) durch je eine Filterung mit einem neuronalen Netz erzeugt werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß jede der Filterungen durch je ein unterschiedliches neurona­ les Netz ausgeführt wird mit Ausgangswerten (10, 50, 60) für nur eines der ausgangsseitigen Halbbilder oder daß jede der Filterungen durch ein einziges neuronales Netz mit Ausgangs­ werten (10, 50, 60) für jedes der ausgangsseitigen Halbbilder durchgeführt wird.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß dem neuronalen Netz zur Berechnung der zweiten (β) und vier­ ten (δ) ausgangsseitigen Halbbilder Bildpunkte mindestens von zwei benachbarten eingangsseitigen Halbbildern (A1, B1; B1, A2) zugeführt werden, die aus derjenigen Bildzeile (11) ent­ nommen sind, der der zu erzeugende Bildpunkt (10) angehört, und mindestens einer benachbarten Bildzeile (12, ..., 15, 20, ..., 24).

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Anzahl der zur Filterung dem neuronalen Netz zugeführten Bildpunkte in jeder Zeile mit zunehmendem Abstand von derje­ nigen Bildzeile (11, 40), der der zu erzeugende Bildpunkt (10) angehört, geringer ist und daß die Anzahl der aus ent­ sprechenden Bildzeilen in verschiedenen Halbbildern (A1, B1) zugeführten Bildpunkte mit zunehmendem zeitlichen Abstand vom zu erzeugenden Halbbild (β) geringer ist.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Anordnung derjenigen Bildpunkte, die dem neuronalen Netz eingangsseitig zugeführt werden, in jedem der eingangsseiti­ gen Halbbilder punktsymmetrisch zu der dort einer dem zu er­ zeugenden Bildpunkt entsprechenden Stelle (10, 50, 60) ist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß Zwischenzeilenbildpunkte für die Bilder der ausgangsseitigen Bildfolge durch die neuronalen Netze bzw. das neuronale Netz erzeugt werden.

8. Schaltungsanordnung zur Flimmerreduktion eines Bildsi­ gnals, mit Mitteln zur Bereitstellung einer eingangsseitigen Bildfolge mit zeilenverkämmten Halbbildern (A1, B1, A2) mit einer vorgegebenen Halbbildrate und Mitteln, an denen eine ausgangsseitige Bildfolge mit zeilenverkämmten Halbbildern (α, β, γ, δ) mit der verdoppelten Halbbildrate abgreifbar ist, gekennzeichnet durch mindestens ein als neuronales Netz ausgeführtes Filter, durch das eines der ausgangsseitigen Halbbilder (α, β, γ, δ) aus Halbbildern der Bildfolge mit zeilenverkämmten Halbbildern (A1, B1, A2) erzeugbar ist.