DE19734881A1

DE19734881A1 - Verfahren zum Reduzieren von Blockbildungsartefakten, die beim Kodieren von Filmaufnahmen erzeugt werden

Info

Publication number: DE19734881A1
Application number: DE1997134881
Authority: DE
Inventors: Hyun Mun Kim; Jong Beom Ra
Original assignee: LG Semicon Co Ltd
Current assignee: Anpa Inc Seoul Kr
Priority date: 1997-07-30
Filing date: 1997-08-12
Publication date: 1999-02-04
Anticipated expiration: 2017-08-13
Also published as: US6028967A; KR19990012727A; JP2920209B2; US7277593B2; US20070122052A1; KR100281099B1; DE19734881C2; JPH1169353A

Description

Die Erfindung bezieht sich auf einen Filmaufnahme- oder -aufzeichnungs prozeß. Insbesondere betrifft die Erfindung ein Blockbildungsartefakt- Reduzierungsverfahren zum Reduzieren von Blockbildungsartefakten, die auftreten, wenn die Blöcke einer Filmaufnahme individuell bearbeitet wer den, um ein Kompressionsverhältnis zu vergrößern und die Kodierungsef fektivität zu verbessern.

Um eine Videosequenz, die sich mit dem Lauf der Zeit verändert, effektiv zu komprimieren, ist es unerläßlich, die Redundanz sowohl im Zeitbereich als auch im zweidimensionalen Orts- oder Raumbereich zu reduzieren. MPEG (Moving Picture Expert Group Expertengruppe für Filmaufzeich nungen) benutzt eine diskrete Kosinustransformation (DCT), um die Re dundanz im zweidimensionalen Ortsbereich zu reduzieren, und ein Bewe gungskompensationsverfahren, um die Redundanz im Zeitbereich zu re duzieren.

Die DCT ist ein Verfahren zum Reduzieren der Wechselseitigkeit bzw. Kor relativität zwischen Daten durch eine zweidimensionale Ortstransforma tion. Jeder Block in einem Bild wird unter Benutzung der DCT ortstrans formiert, nachdem das Bild in Blöcke unterteilt ist. Orttransformierte Da ten neigen dazu, in eine gewisse Richtung getrieben oder mitgenommen zu werden. Nur die Gruppe der mitgenommenen Daten wird quantisiert und übertragen.

Zeitlich aufeinanderfolgende Bilder bilden Bewegungen eines Menschen oder eines Objektes im Zentrum des Rahmens. Diese Eigenschaft wird be nutzt, um die Redundanz im Zeitbereich durch das Bewegungskompensa tionsverfahren zu reduzieren. Die Menge zu übertragender Daten kann mi nimiert werden, indem der ähnliche Bereich aus dem folgenden Bild her ausgenommen wird und ein Bereich, der sich nicht (oder wenn überhaupt nur sehr wenig) geändert hat, mit dem annähernd gleichen Bereich im ge genwärtigen Bild gefüllt wird. Das Auffinden der am meisten ähnlichen Blöcke zwischen Bildern wird Bewegungsabschätzung oder -berechnung genannt. Die Verschiebung, die den Grad der Bewegung repräsentiert, wird Bewegungsvektor genannt. MPEG benutzt ein Bewegungskompensa tions-DCT-Verfahren, das diese beiden Verfahren kombiniert.

Bei einer mit einem DCT-Algorithmus kombinierten Kompressionstechnik wird üblicherweise die die DCT benutzende Transformation ausgeführt, nachdem Eingabedaten in einer Einheitsgröße von 8×8 abgetastet wur den, und die Transformationskoeffizienten werden mit den Quantisie rungswerten in einer Quantisierungstabelle quantisiert, die Bezug auf ei ne visuelle Eigenschaft haben, bevor die Daten durch eine Lauflängenko dierung (run length coding, RLC) komprimiert werden. Die mit der DCT verarbeiteten Daten werden aus einem Ortsbereich in einen Frequenzbe reich konvertiert und komprimiert durch die auf die visuellen Eigenschaf ten von Menschen bezogene Quantisierung, die visuell nicht zu erkennen ist. Da das menschliche Auge für hohe Frequenzen unempfindlich ist, wird ein Hochfrequenzkoeffizient in einem Großschrittformat quantisiert und eine geeignete Quantisierungstabelle wird aufgestellt entsprechend exter nen Parametern, wie Bildschirmeigenschaften, Beobachtungsabstand und Rauschen, um eine geeignete Quantisierung auszuführen.

Für die nach der Quantisierung erzeugten Daten werden die Daten, deren Frequenz relativ hoch ist, mit einem kurzen Codewort kodiert, während die Daten, deren Frequenz niedrig ist, mit einem langen Codewort kodiert wer den, so daß die Daten schließlich komprimiert werden.

Bei der oben dargestellten Verarbeitung von Filmaufnahmen werden Blöcke individuell verarbeitet, um das Kompressionsverhältnis und die Kodierungseffektivität zu maximieren. Eine derartige individuelle Verar beitung bewirkt jedoch Blockbildungsartefakte an Grenzen zwischen den Blöcken wegen zeitlicher Unterschiede, die das menschliche Auge stören.

Dementsprechend wurden verschiedene Verfahren zum Reduzieren von Blockbildungsartefakten in einem Kodierungssystem, das Blöcke grund sätzlich und individuell verarbeitet, vorgestellt. Zum Beispiel wurden Ver suche durchgeführt, die Blockbildungsartefakte durch Ändern der Kodie rungs- und Dekodierungsprozesse zu reduzieren. Dieses Verfahren der Änderung von Kodierungs- und Dekodierungsprozessen vergrößert jedoch die Menge der zu übertragenden Bits. Ein anderes Verfahren zum Reduzie ren der Blockbildungsartefakte basiert auf der Theorie der Projektion auf konvexe Sätze (projection onto convex sets, POCS), dieses Verfahren ist je doch nur auf Standbilder anwendbar, wegen einer iterativen Struktur und Konvergenzzeit.

Die Blockbildungsartefakte werden als ein sehr ernstes Problem bei einer Filmaufnahmenkompression mit niedriger Übertragungsrate angesehen. Da ein Echtzeitbetrieb beim Kodieren und Dekodieren von Filmaufnahmen erforderlich ist, ist es schwierig, die Blockbildungsartefakte mit einerklei nen Betriebskapazität wirkungsvoll zu reduzieren.

Infolgedessen weisen die herkömmlichen Verfahren die folgenden Proble me beim Reduzieren von Blockbildungsartefakten auf, die beim Kodieren einer Filmaufnahme erzeugt werden. Zunächst ist die Berechnung zur Ausführung eines Algorithmus kompliziert und das Ausmaß der Berech nung wird sehr hoch. Ferner werden die Blockbildungsartefakte weder in komplexen Bereichen noch in glatten, sich wenig ändernden Bereichen ei nes Bildes reduziert. Schließlich wird die Menge der zu übertragenden Bits vergrößert.

Dementsprechend ist die vorliegende Erfindung auf ein Verfahren zum Re duzieren von Blockbildungsartefakten gerichtet, die beim Kodieren von Filmaufnahmen auftreten, das im wesentlichen ein oder mehrere der Be grenzungen und Nachteile des Standes der Technik vermeidet.

Die Aufgabe der vorliegenden Erfindung ist es, ein MPEG-4-Videokodie rungsverfahren bereitzustellen, das für eine Reduzierung von Blockbil dungsartefakten bei einer Echtzeitfilmaufnahme geeignet ist, und Fre quenzeigenschaften um die Grenze zwischen Blöcken herum benutzt.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Verringe rung von Blockbildungsartefakten nach dem Anspruch 1 gelöst.

Die Erfindung wird im folgenden anhand eines Ausführungsbeispiels und mit Bezug auf die beiliegende Zeichnung näher erläutert. Es zeigen:

Fig. 1 horizontale und vertikale Blockgrenzen,

Fig. 2 das wesentliche eines 4-Punkt-DCT-Kerns (4-point DCT Kernel) entsprechend der vorliegenden Erfindung, und

Fig. 3 ein Flußdiagramm, das zeigt, wie Blockbildungsartefakte, die bei Kodierung einer Filmaufnahme auftreten, entsprechend der vorliegenden Erfindung reduziert werden.

Fig. 1 veranschaulicht die üblichen horizontalen und vertikalen Block grenzen zur Erläuterung der Erfindung. Wie in Fig. 1 gezeigt, werden in dem ersten ausgedehnten Bild, das mit den jeweils vier Punkten von S₀, S₁ und S₂ gebildet ist, die um die Blockgrenze herum liegen. S₁ und S₂ indivi duell mit einem Blockeinheits-Kompressionsverfahren bearbeitet, so daß sie nicht durch Blockbildungsartefakte beeinflußt sind. S₀ liegt jedoch quer über der Blockgrenze und wird somit direkt durch den Blockbil dungsartefakt beeinflußt. Der Blockbildungsartefakt erscheint an der Grenze zwischen festen Blockmustern in Form einer Unterbrechungs- oder Diskontinuitätslinie.

Die Erfindung benutzt eine Frequenzeigenschaft, um komplexe Bereiche an Blockgrenzen zu schützen. Die Frequenzeigenschaft um die Grenze he rum wird unter Benutzung eines 4-Punkt-DCT-Kerns mit kleinem Berech nungsaufwand erreicht. Der komplexe Bereich an einer Blockgrenze kann wirksam verarbeitet werden durch Erstrecken der Glätte oder Gleichmä ßigkeit eines Bildes vom Frequenzbereich auf den Ortsbereich.

Wie in Fig. 1 gezeigt, liegt S₀ quer über der Blockgrenze, so daß es direkt durch Blockbildungsartefakte beeinflußt wird. Um den Blockbildungsar tefakt von S₀ zu reduzieren, benutzt die Erfindung Frequenzinformatio nen in S₁ und S₂. Der Blockbildungsartefakt wird von S₀ entfernt durch Ersetzen der Frequenzkomponente in S₀, die durch den Blockbildungsar tefakt beeinflußt ist, durch die Frequenzkomponenten von S₁ und S₂, da S₀ eine Diskontinuität oder eine Unterbrechung enthält, S₁ und S₂, die vollständig innerhalb der entsprechenden Blöcke enthalten sind, aber nicht mit der Diskontinuität in Verbindung stehen. Da S₁ und S₂ nicht mit in die Diskontinuität an einer Blockgrenze einbezogen sind, repräsentie ren sie akkurat die Merkmale der benachbarten Blöcke.

Wenn sich Bilder langsam und gleichmäßig ändern, sind die charakteristi schen Bildmerkmale von S₀, S₁ und S₂ ähnlich. Das bedeutet, daß Fre quenzbereiche ähnliche Eigenschaften und Merkmale aufweisen. Die Er findung benutzt eine DCT, die häufig in einer Bildkompressionstechnik verwendet wird, zur Frequenzanalyse.

Fig. 2 veranschaulicht eine 4-Punkt-DCT-Basis entsprechend der Erfin dung.

Wie in Fig. 2 gezeigt, weist die 4-Punkt-DCT-Kernbasis symmetrische und antisymmetrische Eigenschaften um die Mitte von vier Punkten herum auf. Hierbei werden a_0,0, a_1,0, a_2,0 und a_3,0 als Vier-Punkt-DCT- Koeffizienten von S₀ definiert. Obwohl sowohl a_2,0 als auch a_3,0 hohe Fre quenzkomponenten sind, ist a_2,0 symmetrisch, während a_3,0 antisymme trisch zur Mitte ist. Das Zentrum oder der Mittelpunkt von S₀ liegt auf ei ner Blockgrenze, wie in Fig. 1 gezeigt. Somit ist ein die Blockunterbre chung oder Diskontinuität direkt beeinflussender Faktor nicht die sym metrische Komponente, sondern die antisymmetrische Komponente. Die Größe von a_3,0. Im Frequenzbereich ist basierend auf dieser Eigenschaft so eingestellt, daß der Hauptfaktor, der die Diskontinuität beeinflußt, die an tisymmetrische Komponente ist. Das bedeutet, daß die geeignete Einstel lung von a_3,0 im direkten Zusammenhang mit der Reduzierung der Block diskontinuität im Ortsbereich steht. Dies wird im folgenden näher be schrieben.

Die Größe von a_3,0 wird durch den Minimumwert der Größen von a_3,1 und a_3,2 ersetzt, die zu der Umgebung einer Blockgrenze gehören. Hierdurch wird ein großer Blockbildungsartefakt reduziert, der auftritt, wenn eine zu verarbeitende Seite der Blockgrenze glatt und gleichmäßig ist. Im Falle ei nes komplexen Bildes, wo sowohl S₁ als auch S₂ Bewegungsobjekte sind (oder die Werte von a_3,0, a_3,1 und a_3,2 alle groß sind) wird die Blockgrenze nur wenig beeinflußt.

Ein Algorithmus zum Reduzieren von Blockbildungsartefakten im Stan dardmodus (default mode) ist folgender:

v₃' = v₃ - d

v₄' = v₄ + d

d = CLIP (c₂(a_3,0' - a_3,0)//c₃, 0, (v₃-v₄)/2).δ(|a_3,0|<QP)

wobei a_3,0' = SIGN(a_3,0).MIN(|a_3,0|,a_3,1|,|a_3,2|),

und c_i die Komponente des DCT-Kerns ist. Die Bedingung |a_3,0| < QP wird benutzt, um den Einfluß des Quantisierungsparameters auf den Blockbil dungsartefakt zu zählen oder zu berechnen. Diese Bedingung verhindert auch ein Überglätten, wenn der Blockbildungsartefakt nicht sehr schlimm ist. Das Beschneiden (clipping operation) des kompensierten Wertes folgt, um die Richtung des Gradienten an der Grenze daran zu hindern, groß zu werden, oder in die entgegengesetzte Richtung zu wechseln. Die Grenzpi xelwerte v₃ und v₄ werden ersetzt durch v₃' und v₄'. QP ist der Quantisie rungsparameter des Makroblocks, zu dem v₄ gehört. Die Werte c₁, c₂ und c₃ sind Kern-Konstanten, die bei der 4-Punkt-DCT benutzt werden. Um den erfindungsgemäßen Algorithmus zu vereinfachen, werden die Werte von c₁ und c₂ durch ganze Zahlen approximiert und der Wert von c₃ wird durch ein Vielfaches approximiert. Die Werte a₁, a₂ und a₃ werden aus dem einfachen inneren Produkt des DCT-Kerns und der Pixel S₀, S₁ und S₂ berechnet.

a_3,0 = ([c₁-c₂ c₂-c₁].[v₂ v₃ v₄ v₅]^T)/c₃

a_3,0 = ([c₁-c₂ c₂-c₁].[v₀ v₁ v₂ v₃]^T)/c₃

a_3,0 = ([c₁-c₂ c₂-c₁].[v₄ v₅ v₆ v₇]^T)/c₃.

So werden die Prozesse sowohl für die horizontalen als auch die vertikalen Blockgrenzen ausgeführt, so daß die Blockbildungsartefakte im gesamten Rahmen reduziert sind.

Die obige Beschreibung gilt für den Algorithmus zum Reduzieren von Blockbildungsartefakten im Standardmodus. Im Standardmodus werden jedoch nur die Grenzpixelwerte v₃ und v₄ ersetzt, so daß dieser Modus nicht gut genug ist, um die Blockbildungsartefakte in einem sehr glatten und gleichmäßigen Bereich wie einem Bildhintergrund (setting in a pictu re) zu reduzieren. Um Blockbildungsartefakte in dem gleichförmigen Be reich zu reduzieren, wird der folgende Algorithmus im DC-Versatz-Modus (DC offset mode) ausgeführt.

v₃' = v₃ - d

v₄' = v₄ + d

v₂' = v₂ - d₂

v₅' = v₅ + d₂

v₁' = v₁-d₃

und v₆' = v₆ + d₃

wobei d₁ = (3 (v₃-v₄)//8).δ(|a_3,0|<QP),

d₂ = (3 (v₃-v₄)//16).δ(|a_3,0|<QP) und,

d₃ = (3 (v₃-v₄)//32).δ(|a_3,0|<QP).

Blockbildungsartefakte in dem Bereich, wo sehr wenig Bewegung ist, oder der eine sehr kleine Umgebung darstellt, werden durch den Algorithmus im DC Offset Modus reduziert. Die Bestimmung, welcher der beiden Modi, der DC Offset Modus oder der Standard Modus, der geeignete Modus ist, hängt vom folgenden bedingten Ausdruck ab.

If(v₀ == v₁&₁ == v₂&₂ == v₃&₄ == v₅&₅ == v₆&₆ == v₇)

DC Offset Modus e wird angewandt;

else

Standard Modus e wird angewandt.

Der DC Offset Modus oder der Standard Modus wird entsprechend der obi gen Bedingung ausgewählt und Blockbildungsartefakte werden in jedem geeigneten Modus reduziert. Nach dem Festlegen des geeigneten Modus, also des DC Offset Modus oder des Standard Modus wird die Blockunter brechung an der Grenze kompensiert, um eine zusammenhängende Linie zu bilden, wodurch Blockbildungsartefakte verringert werden. In diesem besonderen Fall sind der DC Offset Modus und der Standard Modus ausge legt, um S₀, S₁ und S₂ zu benutzen.

Das erfindungsgemäße Verfahren zum Reduzieren von Blockbildungsar tefakten, die bei der Kodierung von Filmaufnahmen auftreten, wird mit Be zug auf das in Fig. 3 gezeigte Flußdiagramm beschrieben.

Wie in Fig. 3 gezeigt, wird ein Standardmodus eingestellt (Schritt 102), nachdem zu einer Blockgrenze zentrierte Pixels S0, S1 und S2 festgelegt wurden (Schritt 101), und Frequenzinformation des Randgebiets der Blockgrenze wird für jedes Pixel unter Benutzung des 4-Punkt-DCT-Kerns erhalten (Schritt 103). Die Größe einer zur Blockgrenze gehörenden dis kontinuierlichen Komponente wird durch die kleinste Größe der zu dem Randgebiet der Blockgrenze gehörenden diskontinuierlichen Komponen ten im Frequenzbereich ersetzt (Schritt 104). Diese Operation wird auf den räumlichen Bereich bzw. Ortsbereich angewandt (Schritt 105). Somit ist der Standardmodus wirksam beim Reduzieren von Blockbildungsartefak ten in einem komplexen Bereich eines Bildes. Dieser Modus ist aber nicht sehr gut für glatte, gleichmäßige Bereiche wie einem Bildhintergrund. Da her ist es erforderlich, Blockbildungsartefakte im DC Offset Modus zu re duzieren. Nach Auswahl des DC Offset Modus (Schritt 106) werden Block bildungsartefakte in dem Bereich, wo wenig Bewegung ist, wie im Hinter grund, reduziert (Schritt 107), um sämtliche Blockbildungsartefakte zu reduzieren.

Wie oben beschrieben, weist das erfindungsgemäße Verfahren zum Redu zieren von Blockbildungsartefakten die folgenden Wirkungen auf.

Zunächst lassen sich Blockbildungsartefakte einfacher und effektiver durch die Benutzung der Merkmale und Eigenschaften des Frequenzbe reichs reduzieren. Außerdem liefert die Erfindung durch Reduzierung von Blockbildungsartefakten sowohl in komplexen als auch in glatten, gleich mäßigen Bereichen eine visuell feinere und bessere Bildqualität. Die Be rechnung der Algorithmen bzw. deren Ausführung schließlich ist einfach, so daß die Menge oder Anzahl der Bits nicht ansteigt.

Claims

1. Verfahren zum Reduzieren von Blockbildungsartefakten, die bei der Kodierung von Filmaufnahmen auftreten, mit folgenden Schritten:

- Festlegen von Pixeln (S₀, S₁ und S₂) die zentrisch um eine Block grenze herum liegen,
- Setzen eines Standardmodus,
- Erlangen von Frequenzinformationen aus der Umgebung der Block grenze für jedes Pixel unter Benutzung eines 4-Punkt-Kerns (4-point ker nel),
- Einstellen einer Größe einer diskontinuierlichen Komponente, die zu der Blockgrenze gehört, auf den Minimumwert einer Größe einer diskonti nuierlichen Komponente, die zu der Umgebung der Blockgrenze gehört, im Frequenzbereich und Anwenden der Einstelloperation auf den Ortsbe reich,
- Einsetzen eines DC Offset Modus, und
- Reduzieren von Blockbildungsartefakten in einem glatten, gleichmä ßigen Bereich, wo nur wenig Bewegung ist, wie in einem Hintergrund.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Grö ße einer diskontinuierlichen a_3,0-Komponente in S₀ auf den Minimum wert der Größe der a_3,1- und a_3,2-Komponenten in S₁ bzw. S₂ eingestellt wird, wenn das Pixel S₀ an der Blockgrenze liegt und S₁ und S₂ zu beiden Seiten der Blockgrenze liegen.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Standardmodus oder der DC Offset Modus als geeigneter Modus entspre chend der folgenden Bedingung
If(v₀ = v₁&₁ = v₂&₂ = v₃&₄ = v₅&₅ = v₆&₆ = v₇)
DC Offset Modus wird angewandt;
else
Standard Modus wird angewandt;
festgelegt wird.

4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß Koeffizienten der diskreten Kosinustransformation als einfaches inneres Produkt des Kerns der diskreten Kosinustransformation und der Pixel S₀, S₁ und S₂ berechnet werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß die Einstellung der Größe der diskontinuierlichen Komponente, die zur Blockgrenze gehört, auf den Minimumwert der Größe der diskontinuierlichen Komponente, die zu der Umgebung der Blockgren ze gehört, mit folgendem Algorithmus ausgeführt wird:
v₃' = v₃ - d
v₄' = v₄ + d
d = CLIP (c₂(a_3,0'-a_3,0)//c₃, 0,(v₃-v₄)/2).δ(|a_3,0|<QP)
wobei a_3,0' = SIGN(a_3,0).MIN(|a_3,0|,|a_3,1|,|a_3,2|).

6. Verfahren nach den Ansprüchen 1 bis 4, dadurch gekennzeichnet, daß Blockbildungsartefakte unter Benutzung des folgenden Algorithmus
v₃' = v₃ - d
v₄' = v₄ + d
v₂' = v₂ - d₂
v₅' = v₅ + d₂
v_r' = v₁ - d₃
und v₆' = v₆ + d₃
wobei d₁ = (3 (v₃-v₄)//8).δ(|a_3,0|<QP)
d₂ = (3 (v₃-v₄)//16).δ(|a_3,0|<QP)
und d₃ = (3 (v₃-v₄)//32).δ(|a_3,0|<QP)
im DC Offset Modus reduziert werden.

7. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Koeffizienten der diskreten Kosinustransformation unter Benutzung des folgenden Algorithmus erlangt werden:
a_3,0 = ([c₁-c₂ c₂-c₁].[v₂ v₃ v₄ v₅]^T)/c₃
a_3,0 = ([c₁-c₂ c₂-c₁].[v₀ v₁ v₂ v₃]^T)/c₃
a_3,0 = ([c₁-c₂ c₂-c₁].[v₄ v₅ v₆ v₇]^T)/c₃.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Be dingung |a_3,0|<QP benutzt wird, um den Einfluß des Quantisierungspa rameters auf Blockbildungsartefakte zu erfassen, und eine übermäßige Glättung oder Vergleichmäßigung verhindert, wenn Blockbildungsarte fakte nicht sehr schwerwiegend sind.