DE19815861A1

DE19815861A1 - Verfahren und Vorrichtung für eine auf Blöcken basierende Bildverarbeitung

Info

Publication number: DE19815861A1
Application number: DE1998115861
Authority: DE
Inventors: Joon-Ki Paik
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1997-04-10
Filing date: 1998-04-08
Publication date: 1998-11-12
Also published as: CN1198635A; GB2325583A; US6370279B1; KR100265722B1; CN1114316C; JPH10304367A; JP2002185968A; GB2325583B; KR19980076488A; GB9807690D0; JP3267926B2

Description

HINTERGRUND DER ERFINDUNG GEBIET DER ERFINDUNG

Die vorliegende Erfindung bezieht sich auf ein Bildverarbei tungssystem und insbesondere auf ein auf Blockeinheiten ba sierendes Verfahren zur Verarbeitung eines Bildes, und auf eine dafür geeignete Vorrichtung.

BESCHREIBUNG DES STANDES DER TECHNIK

In einem Bildverarbeitungssystem für das Komprimieren oder Filtern eines Bildes wird das gesamte Bild in eine Vielzahl von Unterbildern unterteilt, und die Bildverarbeitung wird mit diesem Unterbild durchgeführt. Eine solche Bildverarbei tung wird eine auf Blöcken basierende Bildverarbeitung ge nannt. Die auf Blöcken basierende Bildverarbeitung kann die Rechenmenge vermindern, die erforderlich ist, um ein Bild zu verarbeiten, und sie kann effektive Hardwarekonfigurationen ermöglichen, und wurde deshalb weit verbreitet genutzt.

Die auf Blöcken basierende Bildverarbeitung verursacht jedoch Blockartefakte durch eine Diskontinuität an den Grenzen der Blöcke, die getrennt verarbeitet wurden, wodurch die Bildqua lität verschlechtert wird.

Solche Blockartefakte werden beispielsweise beim Komprimieren eines Bildes mit einer auf Blöcken basierenden diskreten Kosinustransformation erzeugt, die für das Kodieren von Standbildern und bewegten Bildern beim hochauflösenden Fern sehen (HDTV), beim Verfahren der Joint Photographic Expert Group (JPEG) und beim Verfahren der Moving Picture Expert Group (MPEG) verwendet wird.

Um die obigen Blockartefakte zu entfernen, wurden die folgen den Verfahren vorgeschlagen.

Als erstes ist ein Verfahren für das Entfernen von Blockarte fakten durch eine Tiefpaßfilterung des Helligkeitswertes der Bildpunkte, die an den Grenzen der Blöcke vorhanden sind, in dem Artikel mit dem Titel "Nonlinear space-variant post processing of block coded images", IEEE Transactions on Acou st., Speech and Signal Processing, Vol. 34, Nr. 5, Seiten 1258-1267, Oktober 1986 von B. Ramamurthi und A. Gersho be schrieben. Durch dieses Verfahren werden jedoch die tatsäch lichen Helligkeitswerte der Bildpunkte neben den Grenzen der Blöcke als auch die der Bildpunkte, die zu den Grenzen gehö ren, tiefpaßgefiltert, was zu einem unscharfen Bild führt.

Als zweites gibt es ein Verfahren der iterativen Verminderung räumlich adaptiver Blockartefakte basierend auf der Regulier theorie, das in einem Artikel mit dem Titel "Regularized reconstruction to reduce blocking artefacts of block discrete cosine transform compressed images", IEEE Trans. on Circuits and Syst. for Video Technolo. Vol. 3, Nr. 6, Seiten 421-432, Dezember 1993, von Y. Y. Yang, N. P. Galatsanos und A. K. Katsaggelos beschrieben ist.

Als drittes wurde ein Verfahren zur Verminderung von Blockar tefakten durch das iterative Projizieren eines Bildes auf konvexe Sätze, die die Sachzwänge erfüllen, daß ein negativer Helligkeitswert des Bildpunktes nicht gestattet ist, und daß die Grenze kontinuierlich ist, im Artikel von R. Rosenholtz und A. Zakhor ("Iterative procedures for reduction of block ing effects in transform image coding", IEEE Trans. on Circuits and Syst. for Video Technol., Vol. 2, Nr. 1, Seiten 91-94, März 1992), S. J. Reeves und S. L. Eddins (Comments on "iterative procedures for reduction of blocking effects in transform image coding", IEEE Trans. on Circuits and Syst. for Video Technol., Vol. 3, Nr. 6, Seiten 439-440, Dezember 1993) und Y. Y. Yang, N. P. Galatsanos und A. K. Katsaggelos ("Projection-based spatially adaptive reconstruction of block-transform compressed images", IEEE Trans. on Image Processing, Vol. 4, Nr. 7, Seiten 896-908, Juli 1995) be schrieben.

Als viertes wurde ein Verfahren zum Entfernen von Blockeffek ten durch das Ändern von Koeffizienten der diskreten Kosinu stransformation (DCT) durch das Minimieren einer Kostenfunk tion, basierend auf vorbestimmten Regeln von S. Minami und A. Zakhor "An optimization approach for removing blocking ef fects in transform coding", IEEE Trans. on Circuits and Syst. for Video Technol., Vol. 5, Nr. 2, Seiten 74-82, April 1995) und J. Jeong und B. Jeon ("Use of a class of two-dimensional functions for blocking artifacts reduction in image coding", Proceedings. 1996 International Conference on Image Proces sing, Seiten 478-481, 1995) vorgeschlagen.

Wenn Blockartefakte jedoch durch ein Komprimierungs- und Wiederherstellungsprozeß verursacht werden, so stellt das inverse Verfahren zum Entfernen der Blockartefakte keine wirkliche Lösung dar, weswegen das iterative Bildwiederher stellungsverfahren wie bei den zweiten und dritten konventio nellen Verfahren, oder das eingeschränkte Optimierverfahren, wie das vierte konventionelle Verfahren verwendet wurden. Hier bedeutet die wirkliche Lösung im inversen Verfahren, daß das ursprüngliche Bild vor der auf Blöcken basierenden Bild verarbeitung durch das inverse Verfahren der auf Blöcken basierenden Bildverarbeitung erhalten wird. Es braucht jedoch viel Zeit, eine solche Lösung zu erhalten, die sich der wirk lichen Lösung unter Verwendung der zweiten und dritten itera tiven Verfahren annähert. Somit ist die Anwendung solcher Verfahren auf Verfahren, die nicht in Echtzeit ausgeführt werden, wie die JPEG-Kodierung beschränkt. Auch verarbeiten die zweiten, dritten und vierten Verfahren sogar Standbilder langsam, was zu einer Einschränkung ihrer Nutzung führt.

Ein Bewegtbildkomprimiersystem für das Komprimieren eines Bewegtbildes unter Verwendung des Bewegtbildkomprimierstan dards für Videokonferenzen, wie H.261, H.263, MPEG1, MPEG2 und MPEG4 hat relativ viel Anwendungsfelder im Vergleich mit einem Standbildkomprimiersystem. Somit ist ein Verfahren zur Verarbeitung der Blockeffekte eines Bewegtbildes in Echtzeit erforderlich. Das Bewegtbildkomprimiersystem verursacht die Blockeffekte, wenn eine Bitrate unter einem vorbestimmten Schwellwert liegt. Solche Blockeffekte treten bei schnellen Bilderwechseln auf, was somit zu einer weiteren Verschlechte rung des Bildes führt.

Zusätzlich gibt es als Verfahren zur Erweiterung des Kontra stes in einem Bild, ein Ausgleichsverfahren eines nicht über lappenden Histogramms, in welchem das gesamte Bild in gleich förmige Blöcke aufgeteilt wird, die einander nicht überlap pen, und dann die Histogrammentzerrung getrennt mit dem un terteilten Block durchgeführt wird. Da jedoch jeder Block getrennt verarbeitet wird, zeigen benachbarte Blöcke Diskon tinuitäten, was Blockartefakte verursacht.

ZUSAMMENFASSUNG DER ERFINDUNG

Eine Aufgabe der vorliegenden Erfindung besteht in einem auf Blöcken basierenden Bildverarbeitungsverfahren, das Blockar tefakte entfernen kann, die durch eine andere auf Blöcken basierende Bildverarbeitung verursacht werden, durch das Verwenden einer räumlich adaptiven Filterung auf der Basis einer Bildwiederherstelltheorie.

Eine andere Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung einer auf Blöcken basierenden Bildverarbei tung für das auf Blöcken basierende Bildverarbeitungsverfah ren bereit zu stellen.

Um die erste Aufgabe zu lösen, wird ein auf Blöcken basieren den Bildverarbeitungsverfahren für das Entfernen von Blockar tefakten, die bei der Verarbeitung eines Bildes in Blöcken einer vorbestimmten einheitlichen Größe entstehen, bereitge stellt, wobei das Verfahren folgende Schritte aufweist: (a) Unterteilen des verarbeiteten Bildsignals in Blöcke einer vorbestimmten einheitlichen Größe; (b) Erkennen einer Kanten richtung des Bildes für jeden unterteilten Block; (c) eine Bandpaßfilterung des verarbeiteten Bildsignals, um eine Viel zahl gefilterter Bildsignale zu erhalten, die die gleiche Zahl wie die möglichen Typen der Kantenrichtung aufweisen; (d) Auswählen eines der bandpaßgefilterten Bildsignale für jeden Block gemäß der erkannten Kantenrichtung; und (e) Synthetisieren des ausgewählten Bildsignals für alle Blöcke, um ein ursprüngliches Signal, aus dem das Blockartefakt ent fernt wurde, zu erhalten.

Um die zweite Aufgabe zu lösen, wird eine Vorrichtung für eine auf Blöcken basierende Bildverarbeitung für das Entfer nen von Blockartefakten, die durch das Verarbeiten eines Bildes in Blöcken einer vorbestimmten einheitlichen Größe entstehen, bereitgestellt, die folgendes umfaßt: einen Kan tenrichtungserkennungsteil für das Erkennen einer Kantenrich tung des verarbeiteten Bildsignals für jeden Block; erste S-Bandpaßfilter für das Filtern des verarbeiteten Bildsignals in S unterschiedlichen vorbestimmten Bändern und das Ausgeben der gefilterten Ergebnisse, wobei S gleich der Zahl der Kan tenrichtungen ist; einen Signalauswähler für das Auswählen mindestens eines der Ausgangssignale der ersten bis S-ten Bandpaßfilter in Erwiderung auf die erkannte Kantenrichtung; und einen Signalsynthesizer für das Synthetisieren der ausge wählten Bildsignale für alle Blöcke, die vom Signalselektor ausgegeben werden; und das Ausgeben des synthetisierten Si gnals als Ursprungsbildsignal, aus dem die Blockartefakte entfernt wurden.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Die obigen Aufgaben und Vorteile der vorliegenden Erfindung werden deutlicher durch eine detaillierte Beschreibung einer bevorzugten Ausführungsform unter Bezug auf die begleitenden Zeichnungen:

Fig. 1 ist ein Flußdiagramm, das eine Bildwiederherstellung durch ein auf Blöcken basierendes Bildverarbeitungsverfahren gemäß der vorliegenden Erfindung darstellt;

Fig. 2 ist ein Flußdiagramm, das im Detail Schritt 10 der Fig. 1 darstellt;

Fig. 3 ist eine schematische Ansicht von 16 Typen von Basis funktionen, die für eine diskrete 4×4 Kosinustransformation verwendet werden;

Fig. 4A bis 4E sind Diagramme, die Beispiele von Kanten richtungen eines Bildes in jedem Block darstellen;

Fig. 5 ist ein Blockdiagramm einer konventionellen Vorrich tung einer auf Blöcken basierenden Bildverarbeitung;

Fig. 6 zeigt ein eindimensionales Feld, das für die Verarbei tung eines N×N Bildes in B×B Blockeinheiten verwendet wird.

Fig. 7 ist ein Diagramm, das ein Beispiel der Quantisierta belle zeigt, die in der JPEG-Norm verwendet wird; und

Fig. 8 ist ein Blockdiagramm, das den Bildwiederherstellteil der Fig. 5 gemäß einer Ausführungsform der vorliegenden Er findung zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM

Wie in Fig. 1 gezeigt ist, wird in einem auf Blöcken basie renden Bildverarbeitungsverfahren gemäß der vorliegenden Erfindung zuerst das gesamte Bild, das zuvor einem auf Blöc ken basierenden Verfahren unterworfen wurde, in Blöcke einer vorbestimmten einheitlichen Größe aufgeteilt (Schritt 8). Das heißt, das gesamte Bild wird in Unterbilder aufgeteilt, die dieselbe Größe wie die Blöcke für die vorherige auf Blöcken basierende Bildverarbeitung aufweisen. Dann wird eine Kanten richtung des Bildes in jedem unterteilten Block erkannt (Schritt 10). Die Kantenrichtung des Bildes kann durch ver schiedene Verfahren erkannt werden. Gemäß einem repräsentati ven Verfahren wird die Kantenrichtung des Bildes unter Ver wendung von zwei oder mehr Koeffizienten der diskreten Kosi nustransformation (DCT) auf jedem Block erkannt. Hier ist die diskrete Kosinustransformation eine Art Transformationsver fahren für das Analysieren eines Signals unter Verwendung einer Kosinusfunktion verschiedener Frequenzen als Basisfunk tion. Wenn man annimmt, daß das Ursprungsbild aus N₁×N₂ Bild punkten gebildet wird, so werden die DCT-Koeffizienten durch die folgende Formel (1) ausgedrückt,

wobei C_x(k₁,k₂) einen DCT-Koeffizienten darstellen und (k₁, k₂) Spalten- und Zeilengrößen des DCT-Blocks darstellen. C_x(k₁, k₂) der Formel (1) erhält man, wenn 0 ≦ k₁ ≦ N₁-1 und 0 ≦ k₂ ≦ N₂-1. Wenn sich jedoch k₁ und k₂ außerhalb dieses Bereiches befinden, so ist der DCT-Koeffizient C_x(k₁, k₂) gleich 0. Hier werden die DCT-Koeffizienten, die durch das Ausführen der DCT für jeden Block erhalten werden, mit ersten und zweiten vor bestimmten Schwellwerten T₁ und T₂ erhalten, um somit die Kantenrichtung des Bildes innerhalb jedes Blockes zu erken nen. Hier können T₁ und T₂ beliebig durch einen Benutzer eingestellt werden. Durch das Einstellen der Größen von T₁ und T₂ kann die Richtung der Kante präzise erkannt werden. Der erste Schwellwert T₁ wird für die Bestimmung verwendet, ob die Richtung der Kante existiert oder nicht, und der zwei te Schwellwert T₂ wird für die Bestimmung verwendet, ob die Richtung der Kante 45° oder 135° beträgt.

Unter Berücksichtigung der empirischen Ergebnisse der Schwellwerte T₁ und T₂ ist es vorteilhaft, wenn die Schwell werte T₁ und T₂ gleich sind. Wenn ebenso der Schwellwert T₁ oder T₂ kleiner ist, so kann die Kantenrichtung präziser erkannt werden. In einem Bildverarbeitungssystem, das die JPEG, MPEG1, MPEG2 oder MPEG4 Norm verwendet, ist der Schwellwert T₁ oder T₂ vorzugsweise etwas kleiner als der entsprechende Quantisierkoeffizient in einer Quantisierta belle. In einem Bildverarbeitungssystem, das jedoch keine Quantisiertabelle verwendet, liegt, wenn die Zahl der mögli chen Helligkeitswerte jedes Bildpunktes 2⁸ beträgt, der Wert des Schwellwertes T₁ oder T₂ vorteilhafterweise zwischen 40 und 50. Wenn die Zahl der möglichen Helligkeitswerte jedes Bildpunktes 2⁹ beträgt, liegt der Wert des Schwellwertes vorteilhafterweise zwischen 80 und 100.

Fig. 2 ist ein Flußdiagramm, das im Detail Schritt 10 der Fig. 1 gemäß einer Ausführungsform der vorliegenden Erfindung erläutert, und Fig. 3 ist eine schematische Ansicht von 16 Basisfunktionen, die für eine 4×4 DCT verwendet werden.

Wenn man annimmt, daß die Größe eines DCT-Blockes 4×4 be trägt, so werden 16 Basisfunktionen erzeugt, wie das in Fig. 3 gezeigt ist, und es werden 16 DCT-Koeffizienten, die jeder Basisfunktion entsprechen, erzeugt. In der Ausführungsform der Fig. 2 wird die Kantenrichtung durch das Verwenden zweier DCT-Koeffizienten C_h und C_v, die durch die folgenden Formel (2) ausgedrückt werden, unter den 16 DCT-Koeffizienten be stimmt. Hier ist die Bezugszahl 72 ein DCT-Koeffizient C_h, der die Kante in horizontaler Richtung darstellt, und die Bezugszahl 74 ist ein DCT-Koeffizient C_v, der die Kante in vertikaler Richtung darstellt.

Die Fig. 4A bis 4E zeigen Beispiele der bestimmten Kanten richtungen. Im Detail zeigt Fig. 4A ein Beispiel ohne Kan tenrichtung, Fig. 4B zeigt ein Beispiel, bei dem die Kanten richtung 45° beträgt, Fig. 4C zeigt ein Beispiel,. bei dem die Kantenrichtung 135° beträgt, und Fig. 4D zeigt ein Beispiel, bei dem die Kantenrichtung 180°, das ist die horizontale Richtung, beträgt, und Fig. 4E zeigt ein Beispiel, bei dem die Kantenrichtung 90°, das ist die vertikale Richtung, be trägt.

Unter Bezug auf die Fig. 2 und 4A bis 4E wird der Schritt 10 der Fig. 1 im Detail beschrieben.

Als erstes wird, um die Kantenrichtung des Bildes für einen beliebigen Block zu erkennen, eine Bestimmung durchgeführt, ob |C_v| < T₁ und |C_h| < T₁ (Schritt 40). Wenn |C_v| < T₁ und |C_h| < T₁ wird bestimmt, daß das Bild des entsprechenden Blocks keine Kantenrichtung aufweist, wie das in Fig. 4A gezeigt ist (Schritt 42). Wenn jedoch |C_v| ≧ T₁ oder |C_h| ≧ T₁ erfolgt eine Bestimmung, ob C_v x C_h < 0 ist (Schritt 44). Wenn C_v x C_h < 0 ist, so wird provisorisch für die Kanten richtung des Bildes für den entsprechenden Block bestimmt, daß sie einen ersten vorbestimmten Winkel, beispielsweise 45°, aufweist, wie das in Fig. 4B gezeigt ist (Schritt 54). Wenn jedoch C_v x C_h ≦ 0 ist, so wird provisorisch bestimmt, daß die Kantenrichtung des Bildes für den entsprechenden Block einen zweiten vorbestimmten Winkel, beispielsweise 135° annimmt, wie das in Fig. 4C gezeigt ist (Schritt 46). Nach Schritt 46 oder Schritt 54 wird bestimmt, ob |C_h| - |C_v| < T₂ ist oder nicht (Schritt 48 oder Schritt 56). Wenn |C_h - |C_v| < T₂ ist, wird für die Kantenrichtung des Bildes für den entsprechenden Block provisorisch bestimmt, daß sie horizon tal ist, als ein dritter vorbestimmter Winkel, beispielsweise 180°, wie das in Fig. 4D gezeigt ist (Schritt 62). Wenn je doch |C_h| - |C_v| ≦ T₂ ist, so erfolgt eine Bestimmung, ob |C_v|- |C_h| < T₂ ist oder nicht (Schritt 50 oder 58). Wenn |C_v| - |C_h| < T₂ ist, so wird für die Kantenrichtung des Bildes für den entsprechenden Block provisorisch bestimmt, daß sie ver tikal ist, als vierter vorbestimmter Winkel, beispielsweise 90°, wie das in Fig. 4E gezeigt ist (Schritt 64). Wenn jedoch in Schritt 50 bestimmt wird, daß |C_v| - |C_h| ≦ T₂ ist, so wird schließlich bestimmt, daß die Kantenrichtung des Bildes für den entsprechenden Block den zweiten vorbestimmten Winkel hat, beispielsweise 135°, wie das in Fig. 4C gezeigt ist (Schritt 52). Es wird auch, wenn in Schritt 58 bestimmt wurde, daß |C_v| - |C_h| ≦ T₂ ist, für die Kantenrichtung des Bildes für den entsprechenden Block endgültig bestimmt, daß sie den ersten vorbestimmten Winkel, beispielsweise 45° an nimmt, wie das in Fig. 4B gezeigt ist (Schritt 60).

Nach dem Schritt 10 der Fig. 1 werden, wenn die Zahl der Typen der Kantenrichtungen gleich S ist, das auf Blockbasis verarbeitete Signal in S verschiedenen spezifischen Bändern bandpaßgefiltert (Schritt 12). Das heißt, die Zahl (S) der Kantenrichtungen ist die gleiche wie die Zahl (S) der ver schiedenen spezifischen Bänder für das Filtern.

Da der Schritt 12 viel mehr Zeit als der Schritt 10 braucht, können der Schritt 10 und der Schritt 12 gleichzeitig durch geführt werden, auch wenn das in Fig. 1 nicht gezeigt ist.

Nach Schritt 12 wird eines der S bandpaßgefilterten Bildsi gnale gemäß den Kantenrichtungen, die in Schritt 10 erkannt wurden, ausgewählt, und das ausgewählte Signal wird gemäß horizontalen und vertikalen Synchronsignalen, die weiter unten beschrieben werden, ausgegeben (Schritt 14). Nachdem die Schritte 10 bis 14 auf allen Blöcken ausgeführt wurden, werden die Bildsignale für alle Blöcke, die in Schritt 14 ausgewählt wurden, synthetisiert, um somit das Ursprungsbild, aus dem die Blockartefakte entfernt wurden, wieder herzustel len (Schritt 16).

Nachfolgend wird die Struktur und der Betrieb einer auf Blöc ken basierenden Bildverarbeitungsvorrichtung gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung unter Bezug auf die angefügten Zeichnungen beschrieben.

Fig. 5 ist ein Blockdiagramm einer konventionellen auf Blöc ken basierenden Bildverarbeitungsvorrichtung. Die konventio nelle auf Blöcken basierende Bildverarbeitungsvorrichtung umfaßt einen DCT-Teil 80, einen Quantisierteil 82, der eine Teilungseinheit 84 und eine Rundungseinheit 86 aufweist, einen Quantisierteil 88, einen inversen DCT (IDCT) Teil 90 und einen Bildwiederherstellungsteil 92.

In Fig. 5 empfängt ein Kodierteil, der den DCT-Teil 80, die Teilungseinheit 84 und die Rundungseinheit 86 umfaßt, ein N×N Bild X(m,n) über einen Eingangsanschluß IN1 und komprimiert das eingegebene Bild, basierend auf der B×B Blockeinheit. Ein Dekodierteil, der den inversen Quantisierteil 88 und den IDCT-Teil 90 einschließt, gibt die komprimierten Signale, die vom Kodierteil eingegeben wurden, wieder.

Das heißt, der DTC-Teil 80 des Kodierteils empfängt ein zwei dimensionales Bildsignal, das durch einen eindimensionalen Vektor ausgedrückt wird, der in Formel (3) gezeigt ist, über den Eingabeanschluß IN1 und führt die DCT auf dem Eingangssi gnal durch,

wobei X_k ein DCT-Block ist, der die Größe B²x1 hat, und einen eindimensionalen Vektor darstellt. X wird durch eine numeri sches Ordnen jedes Blockes (p, q) von Blöcken ausgedrückt, wie das in Fig. 6 gezeigt ist. Hier ist k = (p-1) (N/B)+q, wobei p eine Zeilennummer und q eine Spaltennummer darstellt. Zur leichteren Erläuterung wird angenommen, daß N ein Vielfa ches von B ist.

Hier wird eine Übertragungsfunktion (C) des DCT-Teils 80 als Matrix durch die Formel (4) ausgedrückt,

wobei [C] eine B²×B² Vorwärts-DCT-Matrix darstellt, die für das Verarbeiten des Bildes in jedem B×B Block der numerisch geordneten Blöcke verwendet wird.

Fig. 7 zeigt ein Beispiel einer Quantisiertabelle, die in der JPEG-Norm verwendet wird.

Auch die Teilungseinheit 84 des Quantisierteils 82 empfängt das Signal, das vom DCT-Teil 80 ausgegeben wird, und teilt das Eingangssignal in die entsprechenden Quantisierkoeffizi enten, beispielsweise 50, 60, 70, 80, 90, 96, 120, 130, 145, 200 oder 255 aus der Quantisiertabelle der Fig. 7. Die Run dungseinheit 86 rundet das Ergebnis der Division. Hier wird eine Übertragungsfunktion Q des Quantisierteils 82 durch die Formel (5) als eine Multiplikation der Übertragungsfunktionen D und R der Teilungseinheit 84 und der Rundungseinheit 86 ausgedrückt,

Q = R D (5)

wobei die Übertragungsfunktion D der Teilungseinheit 84 durch die Formel (6) ausgedrückt wird.

Die Matrix der Formel (6) ist eine diagonale Blockmatrix und die interne Struktur einer Untermatrix [d_k] des k-ten diago nalen Elements ist eine Diagonalmatrix. Hier wird jedes Dia gonalelement von d_k durch das folgende Verfahren bestimmt. Das heißt, wenn man annimmt, daß die Quantisierung beispiels weise auf der Basis der in Fig. 7 gezeigten JPEG-Quantisier tabelle durchgeführt wird, so wird das Diagonalelement der Untermatrix [d_k] durch die Formel (7) ausgedrückt,

wobei t(i,j) den Quantisierkoeffizientenwert in Spalte i und Zeile j in der in Fig. 7 gezeigten Quantisiertabelle bezeich net.

In der Formel (5) erfordert das Runden durch die Rundungsein heit 86, die eine Übertragungsfunktion hat, die durch eine Matrix R ausgedrückt wird, eine Viel-zu-Eins Operation, die nichtlinear ist, und eine Inverse hat, die in alle Teilen für die Komprimierung und die Wiedergabe, die in einem Bildkom primier/wiedergabeteil 94 in Fig. 5 enthalten ist, nicht definiert ist.

Somit kann diese Operation als Diagonalmatrix ausgedrückt werden, die eine Rundungsoperation auf dem Element, das einem Eingabevektor entspricht, durchführt.

Der inverse Quantisierteil 88, der als Übertragungsfunktion die inverse Matrix D^-1 der Übertragungsfunktion D der Tei lungseinheit 84 hat, führt eine inverse Quantisierung auf dem quantisierten Signal durch, das vom Quantisierteil 82 einge geben wird. Der IDCT-Teil 90 hat eine Übertragungsfunktion C^-1, die durch die Matrix der Formel (8) ausgedrückt wird, und empfängt das Ausgangssignal des inversen Quantisierteil 88 und führt die IDCT auf dem Ausgangssignal des inversen Quan tisierteils 88 durch,

wobei [C]^-1 eine inverse B²×B² DCT-Matrix darstellt, die für das Verarbeiten des Bildes in jedem B×B Block der numerisch geordneten Blöcke verwendet wird.

Insgesamt hat die Bildkomprimier/wiedergabeeinheit 94 der auf Blöcken basierenden Bildverarbeitungsvorrichtung der Fig. 5 eine Übertragungsfunktion Y/X, die durch Formel (9) ausge drückt wird,

wobei X eine Bildsignaleingabe über den Eingabeanschluß IN1 darstellt, wie das in Fig. 5 dargestellt ist, und Y ein Si gnal darstellt, das nach der auf Blöcken basierenden Bildver arbeitung zum Bildwiederherstellungsteil 92 ausgegeben wird. Hier beträgt die Größe jeder Matrix C^-1, D^-, Q oder C N²×N².

Um die Formel (9) zu vereinfachen wird, wenn man annimmt, daß C^-1D^-1QC H ist, H allgemein als nichtlinearer und räumlich adaptiver Verschlechterungsoperator (degradation operator) angesehen werden. Um die Blockartefakte durch den Verschlech terungsoperator H zu entfernen, entfernt die vorliegende Erfindung die Blockartefakte unter Verwendung des oben unter Bezug auf Fig. 1 beschriebenen Verfahrens, statt der Verwen dung des iterativen Bildwiederherstellverfahrens oder des eingeschränkten Optimierverfahrens. Der Bildwiederherstell teil 92 der Fig. 5, der das Verfahren der Fig. 1 durchführt, empfängt ein auf Blöcken basiertes verarbeitetes Bild Y, um die Blockeffekte wie folgt zu entfernen.

Fig. 8 ist ein Blockdiagramm des Bildwiederherstellteils 92, der in Fig. 5 gezeigt ist, gemäß einer Ausführungsform der vorliegenden Erfindung. Der Bildwiederherstellteil 92 umfaßt einen Kantenrichtungsdetektionsteil 100, der einen Bildteiler 102, einen DCT-Koeffizientenberechner 104 und einen Verglei cher 106 umfaßt; einen Filterteil 108, der ein erstes Band paßfilter 110, ein zweites Bandpaßfilter 112,. . . und ein S-tes Bandpaßfilter 114 umfaßt; einen Signalauswähler 116 und einen Signalsynthesizer 118.

Der Kantenrichtungsdetektionsteil 100 der Fig. 8 empfängt das Ausgangssignal Y des Bildkomprimier/wiederherstellungsteils 94 der Fig. 5 oder ein beliebiges Bildsignal, das auf Block basis verarbeitet wurde und die Blockeffekte aufweist, von einem beliebigen (nicht gezeigten) System über einen Ein gangsanschluß IN2 und teilt das Eingangsbildsignal in Blöcke einer vorbestimmten Einheitsgröße. Dann erhält das Detektion steil 100 zwei oder mehr DCT-Koeffizienten für jeden geteil ten Block und vergleicht die erhaltenen DCT-Koeffizienten mit vorbestimmten Schwellwerten T₁ und T₂, um somit die Kanten richtung des Bildes in jedem Block zu erkennen. Das heißt, der Kantenrichtungsdetektionsteil 100 führt den in Fig. 1 gezeigten Schritt 8 und Schritt 10 durch.

Dazu empfängt der Bildteiler 102 des Kantenrichtungsdetekti onsteils 100 das Bildsignal, das in Blöcken verarbeitet wurde, über den Eingabeanschluß IN2, um das Eingabebildsignal in Blöcke einer vorbestimmten Einheitsgröße zu unterteilen. Das heißt, der Bildteiler 102 gruppiert die Helligkeitswerte der Bildpunkte, die über den Eingangsanschluß IN2 eingegeben werden, in vorbestimmte Einheitsblöcke in Erwiderung auf ein horizontales oder vertikales Synchronsignal HS/VS. Der DCT-Koeffizientenberechner 104 berechnet zwei oder mehr DCT-Koef fizienten für jeden Block, der vom Bildteiler 102 ausgegeben wird, und gibt die berechneten Koeffizienten aus. Der Ver gleicher 106 vergleicht die zwei oder mehr DCT-Koeffizienten mit den vorbestimmten Schwellwerten T₁ und T₂. Dann wird die Kantenrichtung jedes Bildes jedes Blockes gemäß dem Ergebnis dieses Vergleiches erkannt. Das heißt, es wird der Schritt 10, der im Detail unter Bezug auf Fig. 2 beschrieben wurde, durch den Vergleicher 106 ausgeführt.

Der Kantenrichtungsdetektionsteil 100 der vorliegenden Erfin dung ist nicht auf die in Fig. 8 gezeigte Struktur be schränkt, und kann verschiedene Strukturen beinhalten, um die Kantenrichtung gemäß dem in Fig. 2 gezeigten Verfahren zu erkennen.

In Fig. 8 empfangen die ersten bis S-ten Bandpaßfilter 100 bis 114 (S ist gleich der Zahl der Kantenrichtungen), von denen jeder ein anderes Durchlaßband aufweist, das auf Blöc ken basierenden verarbeitete Bildsignal über den Eingangsan schluß IN2 und sie filtern die Komponenten in ihren jeweili gen Durchlaßbändern, um somit die gefilterten Komponenten des Bildsignals an den Signalauswähler 116 auszugeben. Hier ist jedes Bandpaßfilter ein Bildwiederherstellungsfilter der eingeschränkten kleinsten Quadrate (CLS), das ein Hochpaßfil ter aufnimmt, das eine Übertragungsfunktion A_E aufweist. Das CLS-Bildwiederherstellfilter ist in einem Buch mit dem Titel "Fundamentals of digital image processing" von A.K. Jain, Prentice Hall, Seite 297, 1989 beschrieben. Alternativ kann jedes Bandpaßfilter, das in Fig. 8 gezeigt ist, durch ein Filter mit beschränkter Impulsantwort (FIR) implementiert werden, das eine Übertragungsfunktion g_E(k, j) aufweist, die durch die folgende Formel (10) ausgedrückt wird.

Hier hat E Werte von 0 bis 4, wenn die Zahl (S) der Kanten richtungen gleich 5 ist und stellt die Typen der klassifi zierten Bildkanten dar, H_L(k, l) ist eine Übertragungsfunktion eines räumlich invarianten Tiefpaßfilters; H_L' (k, l) stellt die konjugiert Komplexe von H_L(k, l) und λ_E stellt eine Kon stante dar.

Hier kann die Übertragungsfunktion H_L eines Tiefpaßfilters beispielsweise durch die Formel (11) als umlaufende Blockma trix dargestellt werden.

Die Übertragungsfunktion H_L kann ein Annäherungswert der Übertragungsfunktion des Tiefpaßfilters sein, basierend auf der Tatsache, daß je höher die Frequenzkomponente des DCT-Koeffizienten ist, desto größer die Quantisierung ist. Das heißt, wenn die Quantisierung gröber ist, so erhöht sich die Wahrscheinlichkeit, daß der Koeffizientenwert auf 0 geht, so daß die Übertragungsfunktion H die Übertragungsfunktion H_L annähern kann.

Auch eine Übertragungsfunktion A_E eines Hochpaßfilters kann als einer der 5 Typen durch die Formel (12) ausgedrückt wer den, und glättet die Blockgrenzen, während sie die Richtungs kante beibehält.

Die fünf Übertragungsfunktionen (A_E), die durch die Formel (12) ausgedrückt werden, werden für Blöcke verwendet, die keine Kantenrichtung (monolithisch), eine vertikale, eine horizontale Kantenrichtung, eine Kantenrichtung von 45° be ziehungsweise von 135° aufweisen.

Der ersten, zweite, . . . oder S-te Bandpaßfilter 110, 112, . . . oder 114 kann in einer Frequenzebene oder einer räum lichen Ebene verwirklicht werden. Um die Blockartefakte mit einer höheren Rate in Echtzeit zu entfernen, wird die Impuls antwort der Übertragungsfunktion g_E die durch die Formel (10) ausgedrückt wird, berechnet unter Verwendung einer inversen Fourriertransformation, und das Gebiet der Unterstützung des Filters wird durch das Verwenden eines erhabenen Kosinusfen sters beschnitten, um somit ein Filter zu verwirklichen, daß die FIR-Struktur aufweist. Hier ist das "erhabene Kosinusfen ster" ein beliebiger Teil ("Fenster") einer Kosinusfunktion, die einen vertikalen Versatz ("erhaben") aufweist.

Der Signalauswähler 116 wählt eines der bandpaßgefilterten Signale aus, das der Kantenrichtung entspricht, die durch den Vergleicher 106 erkannt wurde, und gibt das Bildsignal des entsprechenden Blockes an den Signalsynthesizer 118 in Erwi derung auf das horizontale oder vertikale Synchronsignal HS/VS aus.

Der Signalsynthesizer 118 synthetisiert die ausgewählten Bildsignale aller Blöcke, die vom Signalauswähler 116 ausge geben werden, in Erwiderung auf ein Feldsynchronsignal (FDS) oder ein Rahmensynchronsignal (FMS), und gibt das syntheti sierte Ergebnis über einen Ausgangsanschluß OUT als Ur sprungsbild, aus dem die Blockartefakte entfernt wurden, aus. Somit können die Blockartefakte des Bildes durch den Ver schlechterungsoperator entfernt werden.

Somit empfängt der Bildwiederherstellteil 92 der Fig. 5 ein Bewegtbildsignal, das auf Blockbasis kompri miert/wiedergegeben wurde, gemäß der H.261, H.263, MPEG1, MPEG2 oder MPEG4 Norm, oder ein Standbildsignal, das auf Blockbasis komprimiert/wiedergegeben wurde, gemäß der JPEG Norm und entfernt die Blockartefakte. Während eines nicht überlappenden Histogrammausgleichsverfahrens für das Erwei tern des Kontrastes des Bildes kann das Quantisierrauschen der auf der MPEG Norm komprimierten und wiederhergestellten Daten durch das Erweitern des Kontrastes verstärkt werden, so daß der in Fig. 5 gezeigte Bildwiederherstellteil 92 statt eines Tiefpaßfilters, das für das Entfernen des verstärkten Rauschens verwendet wird, verwendet werden kann.

Wie oben beschrieben wurde, können das auf Blöcken basierende Bildverarbeitungsverfahren und die dafür geeignete Vorrich tung gemäß der vorliegenden Erfindung schnell in Echtzeit die Blockartefakte entfernen, die durch die auf Blöcken basie rende Bildverarbeitung eines Bewegtbildes als auch eines Standbildes verursacht werden.

Claims

1. Auf Blöcken basierendes Bildverarbeitungsverfahren für das Entfernen von Blockartefakten, die bei der Verarbeitung eines Bildes in Blöcken vorbestimmten Einheitsgröße verursacht werden, wobei das Verfahren folgende Schritte umfaßt:

(a) Teilen des verarbeiteten Bildsignals in Blöcke einer vorbestimmten Einheitsgröße;
(b) Erkennen einer Kantenrichtung des Bildes für jeden geteilten Block;
(c) Bandpaßfiltern des verarbeiteten Bildsignals, um eine Vielzahl von gefilterten Bildsignalen zu erhalten, die in ihrer Zahl den möglichen Typen der Kantenrichtung entspre chen;
(d) Auswahlen eines der bandpaßgefilterten Bildsignale für jeden Block entsprechend der erkannten Kantenrichtung; und
(e) Synthetisieren der ausgewählten Bildsignale für alle Blöcke, um ein Ursprungssignal zu erhalten, aus dem das Blockartefakt entfernt ist.

2. Verfahren nach Anspruch 1, wobei der Schritt (b) folgende Unterschritte umfaßt:

(b1) Berechnen von mindestens zwei Koeffizienten der diskreten Kosinustransformation (DCT) für jeden Block; und
(b2) Erkennen der Kantenrichtung des Bildes in jedem Block unter Verwendung der zwei oder mehr DCT-Koeffizienten.

3. Verfahren nach Anspruch 1, wobei der Schritt (b2) die folgenden Unterschritte umfaßt:

(b21) Bestimmen, ob der absolute Wert jedes Koeffizien ten eines ersten DCT-Koeffizienten C_v, der eine vertikale Kantenrichtung darstellt, und eines zweiten DCT-Koeffizienten C_h, der eine horizontale Kantenrichtung darstellt, kleiner als ein vorbestimmter erster Schwellwert ist;
(b22) Bestimmen, daß das Bild in jedem Block keine Kan tenrichtung hat, wenn der absolute Wert jedes Koeffizienten der ersten und zweiten DCT-Koeffizienten C_v und C_h kleiner als der erste vorbestimmte Schwellwert ist;
(b23) Bestimmen, ob das Produkt von C_v und C_h positiv ist oder nicht, wenn C_v oder C_h größer oder gleich dem ersten Schwellwert ist;
(b24) vorläufiges Bestimmen, daß die Kantenrichtung des Bildes in jedem Block einen ersten vorbestimmten Winkel auf weist, wenn das Produkt von C_v und C_h positiv ist;
(b25) vorläufiges Bestimmen, daß die Kantenrichtung des Bildes in jedem Block einen zweiten vorbestimmten Winkel aufweist, wenn das Produkt von C_v und C_h nicht positiv ist;
(b26) Bestimmen, ob das Ergebnis der Subtraktion des absoluten Wertes von C_v vom absoluten Wert von C_h größer als ein zweiter vorbestimmter Schwellwert ist oder nicht, nach Ausführung des Schrittes (b24);
(b27) Bestimmen, ob das Ergebnis der Subtraktion des absoluten Wertes von C_h vom absoluten Wert von C_v größer als der zweite vorbestimmte Schwellwert ist oder nicht, wenn das Ergebnis der Subtraktion in Schritt (b26) nicht größer als der zweite vorbestimmte Schwellwert ist;
(b28) endgültiges Bestimmen, daß die Kantenrichtung des Bildes in jedem Block den ersten vorbestimmten Winkel auf weist, wenn das Ergebnis der Subtraktion des absoluten Wertes von C_h vom absoluten Wert von C_v nicht größer als der zweite vorbestimmte Schwellwert ist;
(b29) Bestimmen, ob das Ergebnis der Subtraktion des absoluten Wertes von C_v vom absoluten Wert von C_h größer als der zweite vorbestimmte Schwellwert ist, nach Ausführung des Schrittes (b25);
(b30) Bestimmen, daß die Kantenrichtung des Bildes in jedem Block einen dritten vorbestimmten Winkel aufweist, wenn das Ergebnis der Subtraktion des absoluten Wertes von C_v vom absoluten Wert von C_h nicht größer als der zweite vorbe stimmte Schwellwert in Schritt (b26) oder (b29) ist;
(b31) Bestimmen, ob das Ergebnis der Subtraktion des absoluten Wertes von C_h vom absoluten Wert von C_v größer als der zweite vorbestimmte Schwellwert ist oder nicht, wenn das Ergebnis der Subtraktion in Schritt (b29) nicht größer als der zweite vorbestimmte Schwellwert ist;
(b32) Bestimmen, daß die Kantenrichtung des Bildes in jedem Block einen vierten vorbestimmten Winkel aufweist, wenn das Ergebnis der Subtraktion des absoluten Wertes von C_h vom absoluten Wert von C_v größer als der zweite vorbestimmte Schwellwert in Schritt (b31) oder (b27) ist;
(b33) endgültiges Bestimmen, daß die Kantenrichtung des Bildes in jedem Block den zweiten vorbestimmten Winkel auf weist, wenn das Ergebnis der Subtraktion des absoluten Wertes von C_h vom absoluten Wert von C_v nicht größer als der zweite vorbestimmte Schwellwert in Schritt (b31) ist.

4. Verfahren nach Anspruch 3, wobei die ersten und zweiten vorbestimmten Schwellwerte gleich sind.

5. Verfahren nach Anspruch 1, wobei das verarbeitete Bildsig nal ein Signal ist, das von einem Bewegtbildsignal wiederge geben wurde, das auf Blöcken basierend gemäß der MPEG1 Norm komprimiert wurde.

6. Verfahren nach Anspruch 1, wobei das verarbeitete Bildsig nal ein Signal ist, das von einem Bewegtbildsignal wiederge geben wurde, das auf Blöcken basierend gemäß der MPEG2 Norm komprimiert wurde.

7. Verfahren nach Anspruch 1, wobei das verarbeitete Bildsig nal ein Signal ist, das von einem Standbildsignal wiedergege ben wurde, das auf Blöcken basierend gemäß der JPEG Norm komprimiert wurde.

8. Verfahren nach Anspruch 1, wobei das verarbeitete Bildsig nal ein Luminanzsignal ist, das in ein Tiefpaßfilter eingege ben wurde, wobei das Tiefpaßfilter für das Entfernen von Quantisierrauschen verwendet wird, das durch die Kontraster weiterung der Daten verstärkt wurde, die gemäß der MPEG Norm komprimiert und wiederhergestellt wurden, wenn eine nicht überlappende Histogrammangleichung für das Erweitern des Kontrastes durchgeführt wurde.

9. Vorrichtung für eine auf Blöcken basierende Bildverarbei tung für das Entfernen von Blockartefakten, die durch das Verarbeiten eines Bildes in Blöcken einer vorbestimmten Ein heitsgröße verursacht werden, wobei die Vorrichtung folgendes umfaßt:
einen Kantenrichtungserkennungsteil für das Erkennen einer Kantenrichtung des verarbeiteten Bildsignals für jeden Block;
erste bis S-te Bandpaßfilter für das Filtern des verar beiteten Bildsignals in S unterschiedlichen vorbestimmten Bändern und das Ausgeben der gefilterten Ergebnisse, wobei S gleich der Zahl der Kantenrichtungen ist;
einen Signalauswähler für das Auswählen mindestens eines Ausgangssignals der ersten bis S-ten Bandpaßfilter in Erwide rung auf die erkannte Kantenrichtung; und
einen Signalsynthesizer für das Synthetisieren der aus gewählten Bildsignale für alle Blöcke, die vom Signalauswäh ler ausgegeben werden, und das Ausgeben des synthetisierten Signals als ein Ursprungsbildsignal, aus dem Blockartefakte entfernt wurden.

10. Vorrichtung nach Anspruch 9, wobei der Kantenrichtungser kennungsteil folgendes umfaßt:
einen Bildteiler für das Teilen des verarbeiteten Bild signals in Blöcke der vorbestimmten Einheitsgröße in Erwide rung auf ein horizontales oder vertikales Synchronsignal;
einen DCT-Koeffizientenberechner für das Berechnen von mindestens zwei DCT-Koeffizienten für jeden Block des aufge teilten Bildes; und
einen Vergleicher für das Vergleichen der zwei oder mehr DCT-Koeffizienten mit vorbestimmten Schwellwerten und das Erkennen der Kantenrichtung des Bildes für jeden Block gemäß den Ergebnissen der Vergleiche.

11. Vorrichtung nach Anspruch 9, wobei jeder der ersten bis S-ten Bandpaßfilter ein Filter mit begrenzter Impulsantwort (FIR-Filter) ist.