DE10140984C1

DE10140984C1 - Verfahren und Vorrichtung zur Filterung von Bilddatenströmen

Info

Publication number: DE10140984C1
Application number: DE10140984A
Authority: DE
Inventors: Richard Hoffer
Original assignee: Sci Worx GmbH
Current assignee: Sci Worx GmbH
Priority date: 2001-08-21
Filing date: 2001-08-21
Publication date: 2003-04-03
Anticipated expiration: 2021-08-22

Abstract

Ein Verfahren zur Filterung von Bilddatenströmen, wobei die Bilddaten eines Bildes (3) jeweils in Bildblöcke (2) und die Bildblöcke (2) in Bildblockzeilen aufgeteilt sind, und für jede Bildblockzeile jeweils eine erste Teilfilterung zur Filterung der horizontalen Grenzbereiche der Bildblöcke (2) und anschließend eine zweite Teilfilterung zur Filterung der vertikalen Grenzbereiche der Bildblöcke (2) durchgeführt wird, weist ein DOLLAR A a) Abspeichern der Endergebnisse der Filterung der Bilddaten von benachbarten Bildblockzeilen jeweils in voneinander getrennten Speicherbereichen (S¶1,2¶), DOLLAR A b) Abspeichern der Ergebnisse der ersten Teilfilterung der Bildblöcke (2) einer Bildblockzeile jeweils in einem Zwischenspeicherbereich (Z¶1,2¶), und DOLLAR A c) Ausladen der Ergebnisse der ersten Teilfilterung der Bildblöcke (2) einer vorhergehenden Bildblockzeile aus dem entsprechenden Zwischenspeicher (Z) zur zweiten Teilfilterung der Bildblöcke (2) der nachfolgenden Bildblockzeile DOLLAR A auf.

Description

Die Erfindung betrifft ein Verfahren zur Filterung von Bilddatenströmen, wobei die Bilddaten eines Bildes jeweils in Bildblöcke und die Bildblöcke in Bildblockzei len aufgeteilt sind und für jede Bildblockzeile jeweils eine erste Teilfilterung zur Filterung der horizontalen Grenzbereiche der Bildblöcke und anschließend eine zweite Teilfilterung zur Filterung der vertikalen Grenzbereiche der Bildblöcke durchgeführt wird.

Die Erfindung betrifft weiterhin eine Vorrichtung mit einer Recheneinheit, mit Speichermitteln und mit Programmcodemitteln zur Durchführung des Verfahrens.

In dem sogenannten MPEG-4-Standard zur Codierung digitaler Bilddaten zur Vi deokommunikation ist in Kapitel F.3 ein Verfahren zur Filterung der Bilddaten ströme zum Zwecke der Bildverbesserung definiert, bei dem drei Filteralgorith men sequenziell aufeinanderfolgend auf einem Bild angewendet werden. Es ist vorgesehen, dass eine erste Teilfilterung zur Filterung der horizontalen Grenzbe reiche der Bildblöcke, d. h. ein Entblocken der horizontalen Kanten ("deblocking horizontal edges"), und anschließend eine zweite Teilfilterung zur Filterung der vertikalen Grenzbereiche der Bildblöcke der Bildblockzeilen, d. h. ein Entblocken der vertikalen Kanten ("deblocking vertical edges"), durchgeführt wird. Optional kann eine Teilmengenfilterung von Teilmengen der Bildpunkte eines Bildes ("de ringing") erfolgen.

Als Eingangsbilder werden in der Regel die dekodierten Bilder aus einem MPEG4- Decoder gefiltert. Das Ergebnis des Filters wird an eine Bildausgabeeinheit gege ben, die üblicherweise eine Anpassung der Bildgröße an die Bildausgabeeinheit (Display) vornimmt.

Die drei Teilfilter, d. h. das erste Teilfilter für die horizontalen Grenzbereiche, das zweite Teilfilter für die vertikalen Grenzbereiche und das Teilmengenfilter, wer den sowohl auf die Luminanz-Bilddaten, als auch auf die Chrominanz-Bilddaten angewendet. Bei dem ersten Teilfilter erfolgt die Filterung entlang der horizonta len Blockgrenzen der Bildblöcke, wobei pro Bildblock 10 × 1 Pel Eingangsbilddaten in-place in 8 × 1 Pel Filterergebnis-Bilddaten überführt werden. Bei dem zweiten Teilfilter erfolgt die Filterung entlang der vertikalen Blockgrenzen, wobei 1 × 10 Pel Eingangsbilddaten in 1 × 8 Pel Filterergebnis-Bilddaten in-place überführt werden. Bei der Teilmengenfilterung wird eine ausgewählte Teilmenge der Bildpunkte ei nes Bildes gefiltert, wobei 3 × 3 Pel Eingangs-Bilddaten in 1 Pel Filterergebnis- Bilddaten nicht in-place überführt werden.

Üblicherweise wird die Sequenz von Filteroperationen für die drei Teilfilter in ei nem Filtermodul abgearbeitet, das über eine Signalverarbeitungseinheit und einen lokalen Speicher für Bilddaten verfügt. Es werden Bilder verschiedener Größen je nach verwendeter Norm (z. B. QCIF mit 176 × 144 Pel oder sub-QCIF mit 128 × 96 Pel) verarbeitet. Ein Bild nach der QCIF-Norm hat 9 Makroblockzeilen mit einer Höhe von 16 Pel. Ein Bild nach der sub-QCIF-Norm hat 6 Makroblockzeilen. Je des Bild ist in Bildblöcke der Größe von 8 × 8 Pel eingeteilt, Jeweils 4 benachbarte Luminanzblöcke und die zwei dazugehörigen Chrominanzblöcke werden zu einem Makroblock (MB) zusammengefasst.

Die Spezifikation des Filters ist ideal für rein softwarebasierte Implementierun gen, z. B. auf einem Personalcomputer mit einem hinreichend großen lokalen Speicher geeignet. Durch Anwendung der Teilfilter nacheinander, jeweils von links nach rechts und von oben nach unten auf das gesamte Bild wird das End ergebnis der Filterung berechnet und steht anschließend in dem Speicher zur Verfügung.

In der EP 0 961 229 A1 ist ein nicht linearer adaptiver Bildfilter zur Unter drückung von Artefakten bei blockcodierten digitalen Bildern beschrieben, wobei eine vertikale und horizontale Filterung mit einer nachfolgenden Interpolation durchgeführt wird.

In der EP 0 881 837 A1 ist ein Filterverfahren zur Reduzierung von Artefakten bei blockcodierten digitalen Bildern beschrieben, bei dem eine blockweise filte rung der Bildpixel eines jeweils untersuchten Bildblocks erfolgt.

In dem US-Patent 5,442,462 ist ein Verfahren und eine Vorrichtung zur Glättung von digitalten Bildern mit zwei hintereinander geschalteten zweidirektionalen Prozessoren beschrieben, in denen Rohdaten zeilenweise verarbeitet werden. Zwischen den zweidimensionalen Prozessoren ist ein Zeilenpuffer geschaltet.

Aus dem US-Patent 6,064,450 ist ein digitaler Videoprozessor Hit horizontalen und vertikalen Teilfiltern bekannt. Zwischen den Filtern ist ein Cache-Speicher vorgesehen. Über einen Datenbus können die vorgefilterten Bilddaten in einen externen Speicher oder in einen nachfolgenden Cache-Speicher geladen werden.

In der WO 99/22509 A2 ist ein digitaler Bilddecoder mit Filtern zur Reduzierung von Blockartefakten beschrieben, wobei die Filter als zweidimensionale Signal adap tive Filter mit definierten Richtungsfaktoren ausgeführt sind. Die Filterung kann durch einfache Shift- und Addieroperationen ausgeführt werden.

In dem US-Patent 6,148,115 ist ein Bilddecoder mit hintereinandergeschaltetem Horizontal- und Vertikalfilter sowie mit parallel geschaltetem Horizontal- und Ver tikalfilter beschrieben. Zusätzlich ist ein Kanten-Map-Speicher zum Zwischen speichern der Bilddaten an den Kanten von Bildblöcken vorgesehen, auf den die nachfolgenden Horizontal- und Vertikalfilter gleichzeitig zugreifen können. Die Bilddaten in dem Kanten-Map-Speicher werden zeilenweise geshiftet, so dass eine schritthaltende Signalverarbeitung möglich ist.

Zur Implementierung des Verfahrens zur Filterung von Bilddatenströmen auf ei nem Hardwaremodul, insbesondere einem intergrierten Schaltkreis, ist es jedoch erwünscht, die erforderliche Chipfläche durch Reduzierung des Speichers zu ver ringern. Zudem soll die Verarbeitung schritthaltend erfolgen, so dass fortlaufend Endergebnisse der Filterung von Makroblockzeilen verfügbar gemacht werden sollen, ohne dass das gesamte Eingangsbild schon verfügbar ist. Auf diese Wei se soll die Totzeit des Systems verringert werden. Dies ist für Anwendungen in der Videokommunikation von Bedeutung.

Aufgabe der Erfindung war es daher, ein verbessertes gattungsgemäßes Verfah ren zur Filterung von Bilddatenströmen zu schaffen, das einen geringeren Spei cherbedarf hat und bei dem Ergebnisse der Filterung bereits verfügbar sind, auch wenn das vollständige Bild noch nicht vorliegt.

Die Aufgabe wird mit dem Verfahren mit den Schritten:

a) Abspeichern der Endergebnisse der Filterung der Bilddaten von benachbar ten Bildblockzeilen jeweils in voneinander getrennten Speicherbereichen und
b) Abspeichern von Ergebnissen der ersten Teilfilterung der Bildblöcke einer Bildblockzeile jeweils in einen Zwischenspeicherbereich, und
c) Ausladen von Ergebnissen der ersten Teilfilterung der Bildblöcke einer vor hergehenden Bildblockzeile aus dem entsprechenden Zwischenspeicher zur zweiten Teilfilterung der Bildblöcke der nachfolgenden Bildblockzeile

gelöst, wobei erfindungsgemäß das Abspeichern der Ergebnisse der ersten Teil filterung der Bildblöcke benachbarter Bildblockzeilen vorzugsweise alternierend in einem ersten und zweiten Zwischenspeicherbereich erfolgt.

Durch das Abspeichern der Endergebnisse der Filterung benachbarter Bildblock zeilen in jeweils voneinander getrennte Speicherbereiche ist es möglich, dass eine nachfolgende Signalverarbeitungseinheit die Endergebnis-Bilddaten lesen kann, während die Filter-Endergebnisse der nächsten Bildblockzeile geschrieben werden.

Durch das Abspeichern der Ergebnisse der ersten Teilfilterung, die zur zweiten Teilfilterung verwendet werden, in einen eigenen Zwischenspeicherbereich wird die Anzahl der Datentransfers zwischen einem Bildspeicher für die Bilddaten des zu filternden Bildes und dem lokalen Speicherbereich des Filtermoduls minimiert, so dass die Endergebnisse der Filterung mit relativ geringer Totzeit bereitgestellt werden können. Die Bearbeitung einer nachfolgenden Makroblockzeile kann be reits dann erfolgen, wenn für die vorhergehende Bildblockzeile eine erste Teilfil terung vorgenommen wurde. Es ist daher nicht mehr erforderlich, dass das voll ständige Bild verfügbar sein muss. Vielmehr liegen die Endergebnisse der Filte rung bereits vor, nachdem die letzte Stufe der Filterung (zweite Teilfilterung bzw. Teilmengenfilterung) auf eine Bildblockzeile angewandt worden ist.

Weiterhin ist es vorteilhaft, wenn das Abspeichern der Endergebnisse der Filte rung der Bilddaten benachbarter Bildblockzeilen alternierend in einem ersten und zweiten Speicherbereich erfolgt.

Optional wird vorzugsweise zur Filterung anschließend an die zweite Teilfilterung eine Teilmengenfilterung von Teilmengen der Bilddaten durchgeführt und das Ergebnis der Teilmegenfilterung als Endergebnis abgespeichert. Dies führt über die Filterung der horizontalen und vertikalen Grenzbereiche hinaus zu einer weite ren Bildverbesserung.

Es ist weiter vorteilhaft, für jede Bildblockzeile sowohl eine Filterung von Chro minanz-Bilddaten, als auch eine Filterung von Luminanz-Bilddaten durchzuführen, wobei für eine Bildblockzeile zunächst eine Filterung der Chrominanz-Bilddaten und Filterung der Luminanz-Bilddaten und anschließend die Filterung der Chromi nanz- und Luminanz-Bilddaten der nächsten Bildblockzeile erfolgt.

Die Berechnung der Endergebnisse der Filterung erfolgt schritthaltend, wobei jeweils eine Makrobildblockzeile (16 Pel vertikal) für Luminanz-Bilddaten und je weils eine Bildblockzeile (8 Pel vertikal) für Chrominanz-Bilddaten berechnet werden.

Die Aufgabe wird ferner durch die Vorrichtung mit einer Recheneinheit, mit Speichermitteln und Programmcodemitteln dadurch gelöst, dass die Speichermit tel jeweils voneinander getrennte Speicherbereiche mit jeweils einem Endergeb nisspeicherbereich für das Endergebnis der Filterung einer Bildblockzeile und ei nem Zwischenspeicherbereich für das Zwischenergebnis der ersten Teilfilterung einer Bildblockzeile aufweisen und die Programmcodemittel zur Steuerung des Zugriffs auf die Speichermittel derart ausgebildet sind, dass das Abspeichern der Ergebnisse der ersten Teilfilterung der Bildblöcke benachbarter Bildblockzeilen alternierend in dem ersten und zweiten Zwischenspeicherbereich erfolgt.

Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher er läutert. Es zeigen:

Fig. 1 Schematische Darstellung des Verfahrens zur Filterung von Bild datenströmen mit Zwischenspeicherung der Ergebnisse einer ersten Teilfilterung;

Fig. 2 Skizze eines Bildblocks innerhalb eines Bildes mit zugehöriger Nota tion;

Fig. 3 Skizze der Anordnung der Ergebnisse der ersten Teilfilterung und der Endergebnisse der Filterung von Bildblockzeilen in einem ersten und zweiten Speicherbereich.

Die Fig. 1 lässt eine Skizze des Verfahrens zur Filterung von Bilddatenströmen anhand von Luminanz-Bilddaten erkennen, wobei die Luminanz-Bilddaten eines Bildes jeweils makrobildblockzeilenweise in einem Bilddatenspeicher 1 abgelegt sind.

Zunächst wird die erste Makrobildblockzeile (MB Zeile 0) des Bildes geladen und es wird eine erste Teilfilterung in bekannter Weise entlang der horizontalen Blockgrenzen durchgeführt. Die Ergebnisse der erste Teilfilterung werden als Zwischenergebnis in einem Zwischenspeicherbereich Z₁ zwischengespeichert. Es erfolgt dann eine zweite Teilfilterung entlang der vertikalen Blockgrenzen und optional eine Teilmengenfilterung von Bildpunkten der Makrobildblockzeile. Das Endergebnis der Filterung, das heißt, das Ergebnis der zweiten Teilfilterung oder gegebenenfalls das Ergebnis der Teilmengenfilterung wird in einem ersten Spei cherbereich S₁ abgespeichert und von nachfolgenden Signalverarbeitungseinhei ten, z. B. zur Anzeige ausgelesen.

Anschließend wird die benachbarte Makrobildblockzeile (MB Zeile 1) in entspre chender Weise gefiltert.

Wie aus der Fig. 1 erkennbar ist, wird bei einer nachfolgenden Makroblockbild zeile (MB Zeile i) auf das Zwischenergebnis der ersten Teilfilterung der vorherge henden Makrobildblockzeile i-1 zugegriffen, um die zweite Teilfilterung durchzu führen.

Das Ergebnis der ersten Teilfilterung wird als Zwischenergebnis alternierend in dem ersten Zwischenspeicher Z₁ bzw. dem zweiten Zwischenspeicher Z₂ abge legt. Wenn das Zwischenergebnis der ersten Makrobildblockzeile (MB Zeile 0) in dem Zwischenspeicher Z₁ abgespeichert wurde, wird folglich das Zwischener gebnis der ersten Teilfilterung der zweiten Makrobildblockzeile (MB Zeile 1) in dem zweiten Zwischenspeicher Z₂ und das Zwischenergebnis der dritten Makro bildblockzeile (MB Zeile 2) wieder in dem ersten Zwischenspeicher Z₁ abgelegt.

In entsprechender Weise werden die Endergebnisse der Filterung alternierend in einem ersten Speicherbereich S₁ und einem zweiten Speicherbereich S₂ abge speichert, so dass ein Zugriff auf die Endergebnisse der Filterung einer vorherge henden Makrobildblockzeile erfolgen kann, während in dem anderen Speicherbe reich das Endergebnis der Filterung der nachfolgenden Bildblockzeile abgelegt wird.

Die Fig. 2 lässt eine Skizze eines Bildblocks 2 innerhalb eines Bildes erkennen. Die Position des Bildblocks 2 ist durch die vertikalen Grenzen a1 und b1 und die horizontalen Grenzen a2 und b2 des Bildblocks 2 definiert. Hieraus ergibt sich für die Lokalisierung des Bildblocks 2 in dem Bilddatenspeicher 1 und den Speicher bereichen S_1,2 in einem lokalen Speicher folgende Notation der Blockparameter:
Blockparameter: (a, b) c × d
mit:
a = a1
b = a2
c = b1 - a1 + 1
d = b2 - a2 + 1

Die in Klammern gesetzten Werte der Blockparameter bezeichnen somit die An fangseckpunkte des Bildblocks 2, die Werte c und d dar Blockparameter hinge gen die Breite und Länge des Bildblocks 2.

Der Ursprung der Blockparameter wird im Bild oben links angenommen.

Für den Transfer von Luminanz-Bilddaten von Bildern im QCIF-Format aus einem Bildspeicher 1 in einen lokalen Speicher eines Filtermoduls vor Anwendung der ersten Teilfilterung ergeben sich folgende Blockparameter:

Zur Filterung wird die erste Makrobildblockzeile (MB-Zeile 0) mit 16 Pel Bildzeilen zusammen mit den ersten 5 Pel Bildzeilen der zweiten Makrobildblockzeile aus dem Bildspeicher 1 in den lokalen Speicher eines Filtermoduls überführt.

Anschließend erfolgt eine erste Teilfilterung des unteren horizontalen Grenzbe reichs der ersten Makrobildblockzeile 0.

Für die erste Teilfilterung der nachfolgenden Makrobildblockzeilen mit den Index i = 1. . .8 werden die entsprechenden Eingangs-Bilddaten aus dem Bildsspeicher 1 (16.i + 4,0), 17 × 176 und die Zwischenergebnisse (16,0), 5 × 176 (2) in den lo kalen Speicher geladen.

Die Blockparameter für den Transfer von dem lokalen Speicher zu dem Bildspei cher 1 nach der ersten Teilfilterung für Luminanz-Bilddaten von Bildern im QCIF- Format sind wie folgt:

Es wird deutlich, dass nach erfolgter erster Teilfilterung einer Makroblockzeile, bis auf die letzte Makroblockzeile 8, die Ergebnisse der ersten Teilfilterung in dem Bildspeicher 1 unter den Blockparametern (16,0), 5 × 176 (1) bzw. (2) al ternierend im ersten und zweiten Zwischenspeicherbereich Z₁ und Z₂ abgelegt werden. Diese Zwischenergebnisse werden, wie aus der vorhergehenden Tabelle ersichtlich, zur zweiten Teilfilterung ausgelesen.

Die Bildparameter der Endergebnisse nach Bearbeitung jeder Makroblockzeile ei nes Bildes 2 werden wie folgt abgespeichert:

Da die Berechnungen für die Teilmengenfilterung nicht in-place erfolgen kann, werden die Endergebnisse der Filterung an einer definierten Stelle mit dem Blockparameter (x, y), 16 × 176 in dem lokalen Speicher des Filtermoduls abge legt.

Die Fig. 3 lässt schematisch erkennen, dass die Endergebnisse der Filterung und der Zwischenergebnisse der ersten Teilfilterung jeweils einer Bildblockzeile bzw. Makrobildblockzeile abwechselnd in einem ersten Speicherbereich S₁ und einem zweiten Speicherbereich S₂ geschrieben werden. Jeder dieser Speicherbereiche S₁ und S₂ hat jeweils einen Endergebnisspeicherbereich E₁ bzw. E₂ für das Ender gebnis der Filterung einer Bildblockzeile und einen Zwischenspeicherbereich Z₁ bzw. Z₂ für das Zwischenergebnis der ersten Teilfilterung einer Bildblockzeile.

Durch die alternierende Speicherung der Zwischenergebnisse und Endergebnisse in den ersten und zweiten Speicherbereich S₁ und S₂ kann eine nachfolgende Si gnalverarbeitungseinheit die Bilddaten des Endergebnisses der Filterung lesen, während die Filterergebnisse der nächsten Makroblockzeile in den anderen Spei cherbereich S geschrieben werden. Auf diese Weise werden die Ergebnisdaten mit einer geringen Totzeit bereits zur Verfügung gestellt, bevor das gesamte Ein gangsbild im Bildspeicher 1 zur Verfügung steht. Die Totzeit des Systems wird hierdurch vorteilhaft verringert.

Claims

1. Verfahren zur Filterung von Bilddatenströmen, wobei die Bilddaten eines Bildes (3) jeweils in Bildblöcke (2) und die Bildblöcke (2) in Bildblockzeilen aufgeteilt sind und für jede Bildblockzeile jeweils eine erste Teilfilterung zur Filterung der horizontalen Grenzbereiche der Bildblöcke (2) und an schließend eine zweite Teilfilterung zur Filterung der vertikalen Grenzberei che der Bildblöcke durchgeführt wird mit den Schritten:

a) Abspeichern der Endergebnisse der Filterung der Bilddaten von be nachbarten Bildblockzeilen jeweils in voneinander getrennten Spei cherbereichen (S_1,2),
b) Abspeichern von Ergebnissen der ersten Teilfilterung der Bildblöcke (2) einer Bildblockzeile jeweils in einem Zwischenspeicherbereich (Z_1,2), und
c) Ausladen von Ergebnissen der ersten Teilfilterung der Bildblöcke (2) einer vorhergehenden Bildblockzeile aus dem entsprechenden Zwi schenspeicherbereich (Z_1,2) zur zweiten Teilfilterung der Bildblöcke (2) der nachfolgenden Bildblockzeile, dadurch gekennzeichnet, dass das Abspeichern der Ergebnisse der ersten Teilfilterung der Bild blöcke (2) benachbarter Bildblockzeilen alternierend in einem ersten und zweiten Zwischenspeicherbereich (Z_1,2) erfolgt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Abspei chern der Endergebnisse der Filterung der Bilddaten benachbarter Bild blockzeilen alternierend in einem ersten und zweiten Speicherbereich (S_1,2) erfolgt.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass zur Filterung anschließend an die zweite Teilfilterung eine Teilmengenfilterung von Teilmengen der Bilddaten durchgeführt wird und die Ergebnisse der Teilmengenfilterung als Endergebnisse abgespeichert werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass für jede Bildblockzeile sowohl eine Filterung von Chromi nanz-Bilddaten als auch eine Filterung von Luminanz-Bilddaten durchge führt wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass jeweils eine Makrobildblockzeile von Luminanz-Bilddaten gefiltert wird.

6. Vorrichtung mit einer Recheneinheit, mit Speichermitteln und mit Pro grammcodemitteln zur Durchführung des Verfahrens nach einem der vor hergehenden Ansprüche, dadurch gekennzeichnet, dass die Speichermit tel jeweils voneinander getrennte Speicherbereiche (S₁, S₂) mit jeweils einem Endergebnisspeicherbereich (E₁, E₂) für das Endergebnis der Filte rung einer Bildblockzeile und einem Zwischenspeicherbereich (Z₁, Z₂) für das Zwischenergebnis der ersten Teilfilterung einer Bildblockzeile aufwei sen und die Programmcodemittel zur Steuerung des Zugriffs auf die Spei chermittel derart ausgebildet sind, dass das Abspeichern der Ergebnisse der ersten Teilfilterung der Bildblöcke (2) benachbarter Bildblockzeilen al ternierend in dem ersten und zweiten Zwischenspeicherbereich (Z₁, Z₂) er folgt.