DE4412610A1 - Verfahren zur zweidimensionalen Filterung von Bildpunktinformation in Matrixform sowie Anordnung und Verwendung - Google Patents

Description

Die Erfindung geht aus von einem Verfahren zur zweidimensionalen Filterung von Bildpunktinformation in Matrixform, insbesondere von Prädiktionsbildblöcken.

Aus der EP 0 366 919 A2 ist ein zweidimensionales digitales Filter für eine Einrichtung zur datenreduzierenden Übertragung von Bildern mit blockweiser Codierung bekannt. Es sind dort mehrere parallel angeordnete digitale Signalprozessoren vorgesehen, wobei die Signalprozessoren nacheinander eine horizontale und eine vertikale Filterung von Bildelementen vornehmen.

Aufgabe vorliegender Erfindung ist es, ein Verfahren zur zweidimensionalen Filterung von Bildpunktinformation in Matrixform anzugeben, welches bei vertretbarem Realisierungsaufwand für Hochgeschwindigkeitsverarbeitung geeignet ist. Außerdem soll eine Anordnung zum Durchführen des Verfahrens sowie eine Verwendung aufgezeigt werden. Diese Aufgabe wird bezüglich des Verfahrens durch die Schritte des Anspruchs 1 und bezüglich der Anordnung durch die Merkmale des Anspruchs 6 gelöst. Die Ansprüche 2 bis 5 betreffen Ausgestaltungen des Verfahrens und die Ansprüche 7 bis 8 Ausgestaltungen der Anordnung. Anspruch 9 betrifft eine vorteilhafte Verwendung.

Aus der EP 0 319 430 B1 ist es prinzipiell bekannt, zur Verarbeitung von Bildblöcken in Matrixform einen Bildspeicher vorzusehen, der eine Matrixtransposition erlaubt. Matrixelemente einer Wortsequenz werden dort zeilenweise eingeschrieben und spaltenweise ausgelesen. Die EP 0 319 430 B1 liefert jedoch keine Anregung zur zweidimensionalen Filterung von Datensequenzen.

Das Verfahren/die Anordnung nach der Erfindung ermöglicht die Unterdrückung von Rauschanteilen in der Bildpunktsequenz. Insbesondere können störende Artefakte bzw. Rauschanteile in Prädiktionsbildern unterdrückt werden. Die Erfindung eignet sich beispielsweise auch zur Filterung anderer Bildpunktinformation in Matrixform, die Rauschanteile oder Störmuster, z. B. durch eine vorausgegangene DCT-Transformation, aufweisen.

Anhand der Zeichnungen werden Ausführungsbeispiele der Erfindung erläutert. Es zeigen

Fig. 1 ein Blockschaltbild eines Schleifenfilters nach der Erfindung,

Fig. 2 ein Filtermodul mit parallel arbeitenden Addierern,

Fig. 3 den Aufbau eines Bildcoders unter Verwendung eines erfindungsgemäßen Filters,

Fig. 4 die Speicherorganisation bei Nachbildung eines transponierenden Speichers.

Das Filter kann als eindimensionales (1D)- oder als zweidimensionales (2D) -Funktionsmodul aufgebaut werden. Bei einem 1D-Filtermodul wird jeder Ausgangsbildpunkt (pel) aus mindestens zwei im Ausführungsbeispiel aus drei Eingangsbildpunkten durch Verknüpfung, beispielsweise additiver Art, (mit Ausnahme der Randbereiche des Bildblockes) ermittelt. Um einen ganzen Bildblock zu filtern, müssen 320 pels in einem Speicher geladen werden und 128 Verknüpfungsschritte müssen ausgeführt werden. In der 2D-Lösung werden 9 Eingangspels für ein gefiltertes Ausgangspel herangezogen mit Ausnahme der Randbereiche. Insgesamt müssen 400 pels geladen werden und die Verknüpfung wird innerhalb von 64 Zeitschritten für einen Bildblock durchgeführt. Beide Verknüpfungsmethoden können auf verschiedene Weise modifiziert werden, um die Anzahl der Verknüpfungsschritte oder die Verarbeitungsfrequenz beim Laden der Bildpunkte zu reduzieren.

Die Eingangsdaten des Filters werden von einem Bildspeicher in Form eines SSD-RAM bereitgestellt, welcher eine Ausgangswortbreite von 11 pels aufweist und demgemäß die Verarbeitung eines 8×8 pel großen bewegungskompensierten Prädiktionsblockes erlaubt. Der Nachteil der 2D-Lösung besteht darin, daß 9 pixels aus 3 Zeilen eines Bildblockes für eine Verknüpfung zu laden sind und daß zwischen 9 Arbeitsmoden zu unterscheiden ist für die Behandlung der Randbereiche.

Bei der 1-D Lösung (Fig. 1), kann eine parallele Filterung aller 8 Bildpunkte einer Zeile (x-Richtung des Bildblockes) in einem Zeitschritt vorgenommen werden und als Vorteil zur 2D-Lösung können diese pels mit einem Speicherzugang des Bildspeichers SSD-RAM geladen werden. Zur Ansteuerung dieses SSD-RAM ist, wie in Fig. 1 dargestellt, eine Adreßschreibsteuerung ADR_WR und eine Adreßlesesteuerung ADR_RD vorgesehen. Die Trennung in horizontale und vertikale Filterfunktionen erfordert jedoch einen zeitlichen Pufferspeicher TRAM mit einer Transpositionsfunktion zur Vertauschung der Zeilen und Spalten eines gespeicherten Bildblockes. Die Eingangsdaten für das eigentliche Filtermodul FIL werden vom SSD-RAM über einen Barrel-Shifter BSH zugeführt. Dieser Barrel-Shifter dient zur Selektion der richtigen x-Position (hier: 8 aus 11 pels), die vom Bewegungsschätzer innerhalb des Suchgebietes eines Bildes ermittelt wurde. Sein Selektionseingang wird vom horizontalen Wert des Bewegungsschätzers (Fig. 3) abgeleitet. In ähnlicher Weise, wird die Adresse des SSD-RAM von den Bewegungsvektorkomponenten abgeleitet.

Ein 8×8-Bildblock wird zeilenweise in einer Blockrichtung innerhalb von 8 Zeitschritten gefiltert unter Benutzung des Filtermoduls FIL, welches im Detail in Fig. 2 dargestellt ist. Es besteht aus 6 Verknüpfungsstufen, die hier als Addierer AD1 . . . AD6 ausgebildet sind, wobei diese Verknüpfung mit folgender Bewertung vorgenommen wird:

a + 2 × b + c;

b bezeichnet jeweils einen mittleren Bildpunkt und a und c dessen Nachbarbildpunkte. Die Bewertung wird so vorgenommen, daß in Summe 1 erreicht wird. Insbesondere wird der mittlere Bildpunkt doppelt so stark bewertet wie die Nachbarbildpunkte. Mit obiger Beziehung ergibt sich demnach für die Bewertung:

1/4, 1/2 und 1/4.

Für die Randbereiche des Blocks wird nur eine Bewertung (Faktor 4) durchgeführt. Es sind prinzipiell auch andere Bewertungen möglich, die eine sinnvolle Filterfunktion ergeben, z. B. die Filterkoeffizienten eines Transversalfilters.

Die Dateneingänge des Filtermoduls FIL sind so mit den Addierern AD1 . . . AD6 beschaltet, daß jeder Addierer mindestens 3 Bildpunkte, die jeweils um einen Bildpunkt von Addierer zu Addierer versetzt sind verarbeitet.

Die Verknüpfungsergebnisse haben eine Wortbreite von 10 Bit und werden im transponierenden Speicher TRAM zwischengespeichert. Zur Durchführung der vertikalen Filterung wird der Bildblock spaltenweise aus dem TRAM ausgelesen und über den Multiplexer MUX zum Filtermodul FIL geleitet. Der Selektionseingang des Multiplexers MUX wird mit einem Selektionssignal H/V beaufschlagt, welches zur - Umschaltung der sequentiellen Zuführung von Bildblockdaten aus dem SSD-RAM bzw. dem TRAM dient. Über dieses Selektionssignal H/V erfolgt auch eine Aktivierung einer Rundungsstufe - Round - die das Ausgangssignal des Filtermoduls auf eine Auflösung von 8 Bit rundet. Der gefilterte Bildblock wird nun erneut im TRAM zwischengespeichert.

Für die weitere Verarbeitung wird der Bildblock aus dem TRAM ausgelesen, während die Transpositionsfunktion erneut ausgeführt wird, um die ursprüngliche Ordnung der Bildpunkte im Bildblock zu erhalten.

Es ist vorteilhaft den Pufferspeicher TRAM so auszubilden oder so zu steuern, daß er zwei Speicherbereiche aufweist, wobei in einen dieser Speicherbereiche Daten des Filtermoduls FIL einlesbar sind, während aus dem anderen Speicherbereich in den beiden Richtungen x und y gefilterte Daten auslesbar sind.

Fig. 3 zeigt das Blockschaltbild eines Bildcoders unter Verwendung des erfindungsgemäßen Filters. Am Eingang ist ein Speicher SRD für die Daten eines aktuellen Bildblockes und ein Speicher SSD für die Daten eines Prädiktionsbildblockes vorgesehen. Im Interframe-Mode berechnet ein Bewegungsschätzer ME die Bewegungsvektoren. Mit diesen Ergebnissen wird ein Prädiktionsblock vom SSD-RAM für den Luminanzanteil oder direkt vom Prädiktionsspeicher für den Chrominanzanteil in das Filtermodul FIL geladen. Nach Parallel-Serienwandlung P/S wird der gefilterte Prädiktionsblock vom aktuellen Block subtrahiert - SUB - und das Ergebnis einer nichtlinearen Bewertung - NL - unterzogen. Mittels einer Transformationseinheit - DCT-UNIT - werden die Bilddaten in den spektralen Bereich - DCT (discrete cosine transform) - überführt, quantisiert und codiert -QUA.

Im Interframe-Mode wird der aktuelle Bildblock direkt vom SRD-RAM zur Transformationseinheit - DCT-UNIT - weitergeleitet.

Nach dem ersten Bildblockviertel wird der gefundene 16*16 Block vorgefiltert und in den Zellen y1 . . . y4 abgelegt. Dies geschieht für die drei weiteren Teilblöcke analog. Währenddessen muß vom Block n-1 die Rekonstruktion erfolgen, wobei die Speicherteilblöcke y1′ . . . y4′ verwendet werden. Nun wird aus y1 . . . y4 gelesen und der Block fertiggefiltert; das Ergebnis wird in den Teilblöcken y1′ . . . y4′ abgelegt.

Jetzt kann ein Farbblock U geladen, vorgefiltert und in y1 abgelegt werden. Dasselbe mit Farbblock V, abgelegt in y2 (oder y3, y4). Beide Blöcke werden fertiggefiltert und in den Speicherblöcken U und V abgelegt. Parallel dazu wird der Intra-Block zur DCT übertragen. Dieser Vorgang ist jedoch erst nach Beendigung der Filterung fertig, so daß sofort anschließend die Inter-Übertragung erfolgen kann. Dazu wird neben dem Block k auch die Prädiktion (aus y1′ . . . Y4′) gelesen und die Differenz gebildet. Jetzt sind die Speicher y1 . . . y4 wieder frei, nicht aber y1′ . . . y4′, da hier noch Daten für die Rekonstruktion zum Prädiktionsbild stehen, die im Intra-Mode gebraucht werden. Die Rekonstruktion ist aber spätestens dann abgeschlossen, wenn die neuen y-Blöcke zur Fertigfilterung anstehen.

Falls kein transponierendes RAM zur Verfügung steht, kann mit einem 2-Port-RAM und nachgeschaltetem Multiplexer in Form eines Datenumordners (80 Multiplexer 8 → 1,) der transponierende Pufferspeicher TRAM nachgebildet werden. Fig. 4 zeigt die Organisation eines solchen 2 Port-RAM für diesen Zweck. Es werden insgesamt 8 Blöcke der Organisation 80 Bit * 10 Zeilen = 6400 Bit benötigt.

Claims (8)

1. Verfahren zur zweidimensionalen Filterung von Bildpunktinformation, insbesondere von Prädiktionsblöcken, mit folgenden Schritten:

• - für eine Gruppe von Bildpunkten in einer Ausdehnungsrichtung eines Bildblocks werden jeweils parallel mindestens zwei benachbarte Bildpunkte, insbesondere additiv, miteinander verknüpft,
• - diese Verknüpfung wird mit weiteren Gruppen von Bildpunkten in dieser Ausdehnungsrichtung (x) wiederholt,
• - die Verknüpfungsergebnisse werden zwischengespeichert,
• - die zwischengespeicherten Verknüpfungsergebnisse werden nun zu Gruppen in der anderen Ausdehnungsrichtung (y) des Bildblocks zusammengefaßt und jeweils parallel wie zuvor verknüpft,
• - letztere Verknüpfung wird mit weiteren Gruppen in dieser anderen Ausdehnungsrichtung (y) wiederholt,
• - anschließend werden alle Verknüpfungsergebnisse entsprechend der Lage der ursprünglichen Bildpunkte im Bildblock geordnet.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei der insbesonderen additiven Verknüpfung der jeweils mindestens zwei benachbarten Bildpunkte unterschiedliche Bewertungen vorgenommen werden, die in ihrer Summe 1 ergeben.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß jeweils der mittlere Bildpunkt mit dem Faktor 1/2 und die diesem benachbarten Bildpunkte gleichbewertet werden und zwar so, daß ihre Summe ebenfalls 1/2 ergibt.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß Bildpunkte im Randbereich eines Bildblocks nur zu jeweils einer der Verknüpfungen verwendet werden und die übrigen Bildpunkte zu mindestens zwei jeweils um einen Bildpunkt versetzten Verknüpfungen.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Verknüpfungsergebnisse insbesondere vor ihrer Zwischenspeicherung hinsichtlich ihrer Bitauflösung gerundet werden.

6. Anordnung zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 5, gekennzeichnet durch:

• - ein Filtermodul (FIL) bestehend aus einer Gruppe von parallelarbeitenden Addierern (AD1, AD2, . . . AD6), die mit den Dateneingängen des Filtermoduls so beschaltet sind, daß jeder Addierer mindestens zwei Bildpunkte, die jeweils um einen Bildpunkt von Addierer zu Addierer versetzt sind, verarbeitet,
• - einem Pufferspeicher (TRAM) mit Zeilen/Spalten - Matrix - Umstellung zur zeilenweisen Aufnahme der Additionsergebnisse des Filtermoduls (FIL) sowie zur spaltenweisen Ausgabe,
• - einem Eingangsmultiplexer (MUX) zur abwechselnden und sequentiellen Zuführung von Bildblockdaten und der spaltenweise vom Pufferspeicher (TRAM) ausgegebenen Additionsergebnisse,
• - einer Pufferspeichersteuerung (ADR) zum Auslesen gefilterter Bildblockdaten in jener Lage, wie die ursprünglichen Bildpunkte im Bildblock geordnet waren.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, daß als Pufferspeicher (TRAM) mit Zeilen/Spalten - Matrix - Umstellung eine Nachbildung bestehend aus einem 2-Port-RAM mit anschließendem Datenumordner vorgesehen ist.

8. Anordnung nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, daß der Pufferspeicher (TRAM) so ausgebildet oder so steuerbar ist, daß er zwei Speicherbereiche aufweist, wobei in einen dieser Speicherbereiche Daten des Filtermoduls (FIL) einlesbar sind während aus dem anderen Speicherbereich in beiden Ausbreitungsrichtungen gefilterte Daten auslesbar sind.