DE69922486T2

DE69922486T2 - Nachbearbeitung von dekomprimierten bildern

Info

Publication number: DE69922486T2
Application number: DE69922486T
Authority: DE
Inventors: E. Albert RACKETT
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Arris Global Ltd
Priority date: 1998-12-03
Filing date: 1999-11-18
Publication date: 2005-11-03
Anticipated expiration: 2019-11-19
Also published as: EP1053534B1; US6317522B1; EP1053534A1; DE69922486D1; WO2000033254A1; JP2002531972A

Description

HINTERGRUND DER ERFINDUNG
1. Bereich der Erfindung
Die vorliegende Erfindung bezieht sich auf ein System und eine Methode zur Nachbearbeitung dekomprimierter Bilder zum Minimieren wahrnehmbarer Artefakte, verursacht durch vorhergehende Bildkomprimierung, und insbesondere zum Minimieren sperrender Artefakte.
2. Beschreibung des Standes der Technik
Viele wichtige Bildkomprimierungsverfahren verarbeiten Bilder als unabhängige Pixelblöcke. So spezifizieren beispielsweise Familien von Kompressionsstandarden wie JPEG, MPEG, H.320 usw. einen Schritt, wobei es sich um diskrete Kosinustransformation ("DCT") von unabhängigen, nicht überlappenden 8 × 8 Pixelblöcken in dem ursprünglichen Bild handelt, mit nachfolgender Quantisierung der resultierenden Transformationskoeffizienten. Siehe beispielsweise Jack, 1996, "Video Demystifies, HighText Interactive Inc.", San Diego, CA. Die quantisierten Transformationskoeffizienten werden von einem Sender-Codierer zu einem Empfänger-Decoder übertragen. Eine derartige Transformation und Quantisierung erreichen zusammen eine Kompression durch Benutzung der wesentlichen Korrelationen, die typischerweise zwischen den Pixelwerten in 8 × 8 Blöcken auftreten, aber zu einem Verlust von Bildinformation führen ("Verlust"-Komprimierung), ge gröber die Quantisierung, umso größer der Verlust.
Dekomprimierung auf diese Weise komprimierter Bilder, was unbedingt Schritte der Dequantisierung und der inversen DCT der empfangenen quantisierten Koeffizienten erfordert, damit ein empfangenes dekomprimiertes Bild hergeleitet wird, kann auf die nachfolgende Art und Weise zu "sperrenden Artefakten" führen. In bestimmten Gebieten eines empfangenen Bildes können die quantisierten eingeführten Fehler besonder deutlich und sogar störend werden. Insbesondere in Gebieten, in denen das Bild relativ glatt ist, mit wenig hohen räumlichen Frequenzanteilen, können Fehler in den niedrigen räumlichen Frequenzanteilen die einzelnen, unabhängigen 8 × 8 Blöcke deutlich wahrnehmbar werden. Dies ist insbesondere der Fall, wenn NF-Anteile, welche die Block-zu-Block-Grenzen in dem ursprünglichen Bild glätten, auf Null gesetzt werden.
In dem heutigen Stand der Technik sind viele Verfahren zum Reduzieren derartiger Blockartefakte verfügbar. Einfache Tiefpassfilterung, angewandt auf das dekomprimierte Bild kann Blockartefakte trüben und ihr Hervortreten gewissermaßen reduzieren, aber dies führt unbedingt auch zu eine insgesamt verringerten Schärfe in dem Bild. Blöcke können in dem ursprünglichen Bild überlappen, damit Block-zu-Block-Grenzen redundant codiert werden, aber auf Kosten einer verringerten Komprimierung und einer größeren erforderlichen Kommunikationsbandbreite.
Weiterhin beschreibt Pennebaker u. a., 1993, "JPEG Still Image Compression", Van Nostrand Reinhard, Abschnitt 16, JPEG-Blockglättung durch Anpassung quadratischer Oberflächen an die Mittelwerte von Pixeln (entsprechend dem "DC" oder dem Transformationskoeffizienten niedrigster Ordnung) in Nachbarblöcken, ein rechnerisch komplexer Prozess. Lakhani, 1996. "Improved Image Reproduction from DC Components", Opt. Eng. 35: 3449–2452, beschreibt Gleichungen zum Vorhersagen NF-Transformationskoeffizienten von DC-Koeffizienten, die verbessert sind aus denen in dem JPEG-Standard. Zum Schluss beschreibt, Jeon u. a., 1995, "Blocking Artifacts Reducing in Image Coding Based on Minimum Block Boundary Discontinuity", Proc SPIE 2501: 189–209, ein Komplexes und rechnerisch aufwendiges iteratives Verfahren zum Nullen von Blockbegrenzungsunregelmäßigkeiten.
Auf bedeutende Weise versuchen diese Methoden nach dem Stand der Technik eine Reduktion von Blockartefakten zu erreichen, indem auf irgend eine Art und Weise Versionen einer räumlichen Tiefpassfilterung durchgeführt werden. Diese Methoden nach dem Stand der Technik haben auch alle ein oder mehrere Probleme, wie das Erzeugen einer allgemeinen Bilddegradierung, eine Begrenzung der Bildkomprimierung, eine Unterlassung einer expliziten Adressierung der wahrnehmbaren Aspekte von Blockartefakten, was außergewöhnliche rechnerische Mittel erfordert, usw.
In B. Jeon u. a.: "Blocking Artefacts Reduction in Image Compression with Block Boundary Discontinuity Criterion", "IEEE Transactions on Circuits and Systems for Video Technology", New York, 1. Juni 1998, Seiten 345–357 wird ein Verfahren beschrieben zum Hinzufügen von Korrekturmatrizen zu allen Bildblöcken in einem dekomprimierten Bild um Blockartefakte zu reduzieren. Die Korrekturmatrizen werden von dem Inhalt benachbarter Bildblöcke hergeleitet.
Was nun erforderlich ist, ist ein Verfahren und ein System zur Nachbearbeitung dekomprimierter Bilder, was rechnerisch effizient ist, räumliche Tiefpassfilterung vermeidet, keine Bilddegradation verursacht, keinen Effekt auf die Kompression hat und, was am wichtigsten ist, die Wahrnehmungsaspekte von Blockartefakten minimiert.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein System und eine Methode zu schaffen zum Nachbearbeiten dekomprimierter Bilder, damit Blockartefakte minimiert werden und wobei die oben genannten Probleme in dem Stand der Technik gelöst werden. Dazu schafft die vorliegende Erfindung ein Verfahren und ein System, wie in den Hauptansprüchen definiert. Die Unteransprüche definieren vorteilhafte Ausführungsformen.
Im Grunde werden diese Aufgaben erfüllt durch Verfahren, die eine Blockartefaktreduktion dadurch erreichen, dass die durch die Pixelwerte in einem Pixelblock definierte Oberfläche mit "biegenden", "kippenden" oder "verdrehenden" Verformungen korrigiert wird, damit Pixelwertflächen benachbarter Pixelblöcke besser passen. Da Tiefpassfilterung durch derartige Oberflächenverformungen vermieden werden, passen die Korrekturen besser zu den aktuellen Fehlern und eingeführten Artefakten durch den Bildblockprozess.
In Einzelheiten wird diese Aufgabe dadurch erfüllt, dass für jeden verarbeiteten 8 × 8 Pixelblock in einem Bild eine 8 × 8 Matrix von Korrekturwerten bestimmt wird. Die KorrekturMatrixs werden danach den Pixelblöcken zugefügt, damit nachbearbeitete Pixelblöcke mit minimierten Blockartefakten hergeleitet werden. Die resultierenden Pixelwerte der korrigierten Pixelblöcke vermischen sich mit Pixelwerten benachbarter Blöcke, auch typischerweise korrigiert, auf eine wahrnehmbar geschmeidige Weise mit minimalen Block-zu-Block-Artefakten. Die KorrekturMatrixs werden von Differenzen zwischen Pixelwerten an den Rändern eines nachzubearbeitenden Blocks und Pixelwerten an den Rändern der vier orthogonal benachbarten Pixelblöcke. Auf alternative Weise wird die Korrekturmatrix von der Nullfrequenz ("DC") Transformationskoeffizienten eines nachzubearbeitenden Pixelblocks und den vier benachbarten Pixelblöcke hergeleitet.
Die 8 × 8 Matrix mit Korrekturwerten wird entweder unmittelbar hergeleitet, und zwar entsprechend einer bevorzugten vollständigen räumlich-Domäne-Interpolation, oder mittelbar durch eine alternative Berechnung aus einer kleineren 4 × 4 räumlich-Domäne Zwischenfehlerkorrekturmatrix. Direkte und inverse Transformationen der Zwischenkorrekturmatrix zu und von einer Frequenzdomäne bewerkstelligt eine glatte Interpolation der kleineren Zwischenmatrix zu einer 8 × 8 Matrix von Korrekturwerten. Vorzugsweise werden decodierte Blöcke selektiert zur Nachbearbeitung, im Grunde in relativ flachen oder merkmallosen Bildgebieten. Derartige Bildgebiete werden höchstwahrscheinlich wahrnehmbar deutliche Blockartefakte haben.
KURZE BESCHREIBUNG DER FIGUR
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
1A–B Ausführungsbeispiele von Systemen nach der vorliegenden Erfindung,
2A–B Ausführungsbeispiele von Pixelblöcken,
3 Ausführungsbeispiele von Methoden nach der vorliegenden Erfindung,
4A–C Beispiele räumlicher Gewichtungskonfigurationen;
5 ein Testbild;
6 das Testbild nach 5 mit einem Maximum an Blockartefakten, und
7 das Ergebnis der Nachbearbeitung des Bildes nach 6 nach der vorliegenden Erfindung.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend werden zunächst Ausführungsbeispiele von Systemen nach der vorliegenden Erfindung beschrieben, und danach folgt eine detaillierte Beschreibung von Ausführungsbeispielen der Methoden nach der vorliegenden Erfindung. Zum Schluss ein Beispiel einer Anwendung einer Ausführungsform nach der vorliegenden Erfindung auf ein Testbild mit einem Maximum an Blockartefakten.
Bevorzugte Systemausführungsformen
1A illustriert im Allgemeinen eine Ausführungsform eines Systems nach der vorliegenden Erfindung, dargestellt in der Box 4, im Zusammenhang mit einem herkömmlichen Bilddecodersystem, mit dem Eingang 1, dem Decoder 2 und dem Bildpuffer 3.
Die vorliegende Erfindung ist anwendbar auf decodierte Bilder, die durch einen Prozess codiert wurden, der ein ursprüngliches Bild in einander nicht überlappende, rechteckige Pixelblöcke aufteilt und unabhängig jeden derartigen rechteckigen Block codiert. Nachstehend beschreibt die vorliegende Erfindung in Bezug auf derartige herkömmliche Familien von Komprimierungsstandarden wie JPEG, MPEG und H.320, nach denen ein ursprüngliches Bild in nicht überlappende und unabhängige 8 × 8 Pixelblöcke aufteilt, die als quantisierte DCT-Koeffizienten codiert werden.
Die vorliegende Erfindung ist am effektivsten, wenn die Bilder stark komprimiert werden und auf entsprechende Weise, wenn die Quantisierung der DCT-Koeffizienten aggressiv und grob ist. Ein Beispiel derartiger Kompressionspegel ist die Kompression auf 0,25 oder weniger Bits mit Leuchtdichteinformation je Pixel.
Codierte Bilder werden bei 1 in das dargestellte herkömmliche Decodersystem eingegeben. Der Decoder 2 führt danach eine herkömmliche Decodierung der eingegebenen Bilder durch, und zwar entsprechend der Codierungsmethode und speichert die decodierten Bilder vorübergehend in dem Bilderpuffer 3. Beim Fehlen der vorliegenden Erfindung werden die Bilder unmittelbar aus dem Bilderpuffer ausgeliefert. Die vorliegende Erfindung fügt die Verarbeitungselemente und die in der Box 4 dargestellten Schritte zu einem derartigen herkömmlichen Decoder hinzu.
Die von der vorliegenden Erfindung durchgeführten allgemeinen Verarbeitungsvorgänge werden nachstehend im Allgemeinen beschrieben, wonach Einzelheiten folgen. In dem ersten Verarbeitungsvorgang 5 (Bestimmung Blockdifferenzen) werden Mengen, die repräsentativ sind für Blockartefakte in einem decodierten oder dekomprimierten Bild, für alle Blöcke aus mehreren Aspekten Block-tu-Block-Pixelwertdifferenzen ermittelt. Vorzugsweise werden vier derartige repräsentative Mengen für jeden Pixelblock bestimmt. In einem zweiten Verarbeitungsvorgang (selektieren von Blöcken zum Verarbeiten) 6 werden die einzelnen mit Hilfe der vorliegenden Erfindung nachzubearbeitenden Blöcke heuristisch selektiert, und zwar im Hinblick auf die bestimmten Block-zu-Block-Differenzen. In einer Ausführungsform wird, wenn eine dieser Differenzen einen Schwellenwert übersteigt, der Block nicht verarbeitet: auf alternative Weise werden, wenn die Differenzen die Schwelle übersteigen, deren Werte auf diese Schwelle gesetzt. Dieser Schritt reflektiert die Entdeckung des Erfinders, dass große Block-zu-Block-Differenzen wahrscheinlich durch die wirklich in dem ursprünglichen Bild vorhandene Struktur verursacht werden, während kleine Block-zu-Block-Differenzen typischerweise Blockartefakte reflektieren, die in relativ merkmallosen Gebieten in dem ursprünglichen Bild vorhanden sind. Diese sollen korrigiert werden. Zum Schluss wird in einem dritten Verarbeitungsvorgang ((Bestimmung von 8 × 8 Korrekturmatrix) 7 für jeden nach verarbeiteten 8 × 8 Block eine 8 × 8 Matrix mit Korrekturwerten bestimmt entsprechend den nachher noch zu beschreibenden alternativen Ausführungsformen. Die Korrekturwerte werden bestimmt zum geschmeidigen Koppeln des nach bearbeiteten Blocks an die orthogonal benachbarten Blöcke. Verarbeitung der Blöcke in dem Bilderpuffer kann sequentiell oder parallel erfolgen, und zwar entsprechend der verfügbaren Hardware.
Zum Schluss werden die Korrekturmatrix und der ursprüngliche decodierte Block durch den Addierer 8 addiert und in dem Bilderpuffer 3 zurück gespeichert. Wenn alle Blöcke in dem Bilderpuffer verarbeitet worden sind, wird bei 10 ein korrigiertes Bild mit minimalen Blockartefakten ausgeliefert.
Gegebenenfalls können die DC-Koeffizienten (d. h. Nullfrequenzkoeffizienten), die in den codierten Bildern übertragen worden sind, in dem Verarbeitungsschritt 5 benutzt werden zum Bestimmen der Block-zu-Block-Differenzen. In dem Fall ist es für den Decoder 2 vorteilhaft, dass diese Koeffizienten zur Verfügung gestellt werden um Blockdifferenzeneinheit 5 über Verbindung 9 zu bestimmen, die nötigenfalls einen Koeffizientenpuffer enthalten kann.
Dieses System kann in verschiedenen Hardware-Konfigurationen implementiert werden, was einem Fachmann einleuchten dürfte. So können beispielsweise die in 1A dargestellten einzelnen Bildverarbeitungsvorgänge mit einzeln zugeordneten Hardware-Komponenten implementiert werden. Es ist aber zur Zeit zu bevorzugen, dass die Verarbeitungsvorgänge des Systems durch eine oder mehrere Software-Routinen, die auf Allzweck-Hardware laufen, implementiert werden, vielleicht optimiert zur Bilddecodierung, wie die, welche in 1B dargestellt ist. 1B illustriert einen oder mehrere Prozessoren 11 zum Decodieren von Bildern und zum Durchführen der Vorgänge nach der vorliegenden Erfindung, ein oder mehrere RAM-Module 12 zur Speicherung von Bilddaten und/oder Programminstruktionen, ggf. ein oder mehrere ROM-Module 13 zur Speicherung von Programminstruktionen, eine oder mehrere I/O-Schnittstellenanordnungen 14 zur Kommunika tion mit anderen Systemen, und einen oder mehrere Busse 15 zur Verbindung dieser einzelnen Komponenten. Auf vorteilhafte Weise umfassen die Prozessoren einen oder mehrere digitale Signalprozessoren ("DSP"), wie den TM-1000 DSP (Philips North America Corp.) oder den TMS-3000 DSP (Texas Instruments. Inc.).
Bei der bevorzugten Ausführungsform, wo die Verarbeitungsvorgänge des Systems in Software implementiert sind, umfasst die vorliegende Erfindung weiterhin mit dem Computer auslesbare Medien, auf denen Programminstruktionen aufgezeichnet oder codiert sind um dafür zu sorgen, dass Prozessoren den Verarbeitungsvorgang des Systems durchführen. Derartige Medien umfassen magnetische Medien, wie Floppies, Festplatten, Bänder usw., optische Medien, wie CD-ROMs und andere Mediatechnologien, die in diesem Bereich benutzt werden können.
Bevorzugte Ausführungsformen der Methode
Bevorzugte und alternative Ausführungsformen von Verarbeitungsvorgängen 5–7 (1A) werden nachstehend detailliert beschrieben. Zunächst wird die Bestimmung von Block-zu-Block-Differenzen, Verarbeitungsvorgang 5 (3), die nach der vorliegenden Erfindung als für Blockartefakte repräsentativ betrachtet werden, anhand der Kandidat-Pixelblöcke aus den 2A–B beschrieben. Obschon diese Figuren und die nachfolgende Beschreibung den allgemeinen Fall von 8 × 8 Pixelblöcken behandelt, wird ein mittlerer Fachmann sofort erkennen, wie die zu beschreibenden Methoden geändert werden müssen falls rechteckige Pixelblöcke mit einer Größe anders als 8 × 8 bei einer bestimmten Kompressionsmethode verwendet werden.
Für den Kandidaten, zentralen Pixelblock C in 2A werden Block-zu-Block-Differenzen gegenüber den vier orthogonal-benachbarten Pixelblöcken bestimmt, die Ränder mit dem Kandidat-Zentralblock C gemeinsam haben. Diese Blöcke sind als W bezeichnet (westlich von C), als N (nördlich von C), als E (örtlich von C) und als S (südlich von C) in 2A. Diagonal angrenzende Pixelblöcke werden nicht unmittelbar in Betracht genommen. 2B illustriert Pixelblöcke C, N, E, W und S detailliert in dem Fall, wo die relevanten Bildkompressionsverfahren 8 × 8 Pixelblöcke benutzen. Randpixel für all diese Blöcke sind in Standard-Matrixnotierung angegeben. Auch angegeben sind die DC-Koeffizienten (Nullfrequenz-Koeffizienten) für diese Blöcke C_DC, N_DC, E_DC, W_DC, S_DC). Es ist durchaus bekannt, dass die DC-Koeffizienten einfache Mittelwerte der Werte aller Pixel in einem Block sind, und können unmittelbar aus dem Decoder 2 erhalten werden oder können als Teil des Schrittes 5 berechnet werden.
Anhand der 2B berechnet ein erstes Verfahren zum Bestimmen von Block-zu-Block-Differenzen die Mittelwerte zwischen Pixeln an jedem Rand des Blocks C und Pixeln an angrenzenden Blockrändern N, E, W und S. Vier Mengen werden zurückgeführt, die je die Block-zu-Block-Differenzen an einem Rand des zentralen Blocks C reflektieren. Dieses bevorzugte Verfahren führt unmittelbar und mit einer minimalen Berechnung Werte zurück, die für Pixelwertunregelmäßigkeiten an den Grenzen eines Pixelblocks repräsentativ sind. Die nachfolgenden Gleichungen sind repräsentativ für dieses Verfahren, wobei die vier Mengen N, E, W und S mittlere Rand-angrenzende Pixeldifferenzen an dem Nord-, Ost-, West- bzw. Südrand des zentralen Blocks C sind. N = 0.125·FA·{(N70 + N71 + N72 + N73 + N74 + N75 + N76 + N77) – (C00 + C01 + C02 + C03 + C04 + C05 + C06 + C07)} E = 0.125·FA·{(E00 + E10 + E20 + E30 + E40 + E50 + E60 + E70) – (C07 + C17 + C27 + C37 + C47 + C57 + C67 + C77)} W = 0.125·FA·{(W07 + W17 + W27 + W37 + W47 + W57 + W67 + W77) – (C00 + C10 + C20 + C30 + C40 + C50 + C60 + c70)} S = 0.125·FA·{(S00 + S01 + S02 + S03 + S04 + S05 + S06 + S07) – (C70 + C71 + C72 + C73 + C74 + C75 + C76 + C77)}
Der Faktor FA ist ein vielfacher Gewichtungsfaktor zum Skalieren dieser Randdifferenzen. Nachstehend wird er detailliert im Zusammenhang mit dem zweiten Gewichtungsfaktor FB beschrieben.
Ein zweites alternatives Verfahren zum bestimmen von Block-zu-Block-Pixeldifferenzen benutzt DC-Koeffizienten, insofern verfügbar. Dieses Verfahren führt vier Mengen zurück, die für die Differenzen in der mittleren Intensität zwischen dem zentralen Block C und den vier orthogonal-angrenzenden umgebenden Blöcken, N, E, W und S repräsentativ sind. Die nachfolgenden Gleichungen sind für dieses Verfahren repräsentativ.
N = FA·{N_DC – C_DC}; E = FA·{E_DC – C_DC}
W = FA·{W_DC – C_DC}; S = FA·{S_DC – C_DC}
Zum Schluss fängt ein drittes alternatives Verfahren ein größeres Detail der Block-zu-Block-Differenzen an den Blockrändern ein, und zwar durch Berechnung von Subranddifferenzen. Die oben stehenden Verfahren, die nur vier Mengen bestimmen, eine für jeden Rand eines zentralen Blocks, stellen unbedingt nur mittlere Differenzen an einem ganzen Rand dar. Aber wahrnehmbare Blockartefakte können auch Variationen in den Blco-zu-Block-Differenzen an jedem Rand reflektieren, sowie auf einfach Weise mittlere Block-zu-Block-Differenzen. Das dritte alternative Verfahren fängt derartige Variationen in der Intensität dadurch ein, dass mehr als nur eine Menge für jeden Rand berechnet wird, wobei jede Menge die Differenzen in einem oder mehreren Paaren von Rand-angrenzenden Pixeln des zentralen Blocks C, statt hauptsächlich den Mittelwert aller Pixel an dem Rand darstellt. In einem Fall, in dem Mittelwerte der Differenzen zweier angrenzender Paare von Pixeln berechnet werden, sind die nachfolgenden Gleichungen repräsentativ für die dritte Alternative. A = 0.250·FA·{(W17 – C10) + (W07 – C10) + (N70 – C00) + (N71 – C01)} B = 0.500·FA·{(N72 – C02) + (N73 – C03)} C = 0.500·FA·{(N74 – C04) + (N75 – C05)} D = 0.250·FA·{(N76 – C06) + (N77 – C07) + (E00 – C07) + (E01 – C17)} E = 0.500·FA·{(E20 – C27) + (E30 – C37)} F = 0.500·FA·{(E40 – C47) + (E50 – C57)} G = 0.250·FA·{(E60 – C67) + (E70 – C77) + (S07 – C77) + (S06 – C76)} H = 0.500·FA·{(S05 – C75) + (S04 – C74)} I = 0.500·FA·{(S03 – C73) + (S02 – C72)} J = 0.250·FA·{(S01 – C71) + (S00 – C70) + (W77 – C70) + (W67 – C60)} K = 0.500·FA·{(W57 – C50) + (W47 – C40)} L = 0.500·FA·{(W37 – C30) + (W27 – C20)}
Für illustrative Zwecke stellen die Mengen J, I, H und G Differenzen zwischen Paaren von Pixeln in den umrissenen Subblöcken 16, 17, 18 bzw. 19 dar. Selbstverständlich könnte eine feinere Darstellung benutzt werden, beispielsweise eine, bei der eine Menge aus der Differenz jedes Paares Rand-angrenzender Pixel berechnet wird. Auf alternative Weise könnte eine gröbere Darstellung benutzt werden, und zwar durch eine Kombination bestimmter Mengen der oben stehenden Mengen. So können beispielsweise die nachfolgenden kombinierten und gröberen Mengen benutzt werden.
B' = C' = 0.500·(B + C); E' = F' = 0.500·(E + F)
I' = H' = 0.500·(I + H); L' = K' = 0.5·(L + K)
Andere ähnliche Alternativen einer kleineren oder größeren Grobheit dürften dem Fachmann einleuchten.
In dem nächsten Verarbeitungsvorgang, Vorgang 6 nach 3, werden Blöcke selektiert zur Nachbearbeitung im Hinblick auf heuristische Blockselektionskriterien, die abhängig sind von den oben bestimmten Block-zu-Block-Pixeldifferenzen. Gas Ziel und der Zweck des Systems und des Verfahrens nach der vorliegenden Erfindung ist, wahrnehmbar bessere Bilder zu empfangen und nicht nur Bilder nachzubearbeiten um bestimmte mathematische Effekte oder eine Konsistenz ohne Rücksicht auf wahrnehmbare Änderungen zu erzielen. Auf entsprechende Weise umfassen die Verfahren nach der vorliegenden Erfindung heuristische Blockselektionskriterien, einstellbare Gewichtungsfaktoren für Block-zu-Block-Pixeldifferenzen und rechnerische Alternativen, die in bestimmten Fällen eingestellt oder selektiert werden können zum Erhalten maximal wahrnehmbarer Verbesserungen, im Allgemeinen oder in Bezug auf interessante Bildklassen, innerhalb der verfügbaren Verarbeitungsmittel.
In Einzelheiten, es werden Blockselektionskriterien von der Entdeckung des Erfinders hergeleitet, dass in vielen Fällen Block-zu-Block-Pixeldifferenzen Bildstrukturen in einem Ausgangsbild darstellen, deren Korrektur zu wahrnehmbar zurückweisbaren Änderungen führen können. Derartige Differenzen sollen wahrscheinlich reelle Bildstrukturen darstellen, wobei Differenzen an einem oder mehreren Rändern besonders "groß" sind. In dem entgegengesetzten Fall, wobei die Block-zu-Block-Differenzen "klein" sind, soll das wirkliche Bild wahrscheinlich relativ flach oder nichts sagend sein, d. h. ohne bestimmte deutliche Struktur. In derartigen Gebieten sind kleine Blockartefakte am deutlichsten wahrnehmbar und sollen deswegen nach der vorliegenden Erfindung korrigiert werden. Außerdem sind "kleine" Block-zu-Block-Differenzen auch ein wahrscheinlicher Indikator von Differenzen, nur verursacht durch Blockartefakte.
"Klein" wird vorzugsweise gemessen im Hinblick auf einen bestimmten Bildkompressionsalgorithmus als derjenige Grad an Block-zu-Block-Pixeldifferenzen, die eine Größe haben, wahrscheinlich durch Quantisierungsfehler in den NF-Transformationskoeffizienten, insbesondere als derjenige Grad von Block-zu-Block-Differenzen, resultierend aus der Nullung von NF-Transformationskoeffizienten als Ergebnis grober Quantisierung und nachfolgender Dequantisierung. Eine "kleine" Differenz soll die Größe dieses Quiantisierungsfehlers haben, oder mit anderen Worten vorzugsweise etwa dem 2-4fachen Quantisierungsfehler entsprechen. Eine "große" Block-zu-Block-Pixeldifferenz ist vorzugsweise das Fünf- oder Mehrfache eines derartigen Quantisierungsfehlers. Deswegen werden Blöcke mit "kleinen" Block-zu-Block-Pixeldifferenzen nachbearbeitet, während Blöcke mit großen Differenzen nicht nachbearbeitet werden.
Insbesondere für JPEG oder MPEG, wobei DCT-Transformation von 8 × 8 Blöcken angewandt wird, angewandt auf Pixel dargestellt durch 8 Bits (Werte zwischen 0 und 255), ist "klein" vorzugsweise eine Block-zu-Block-Differenz von weniger als 5 und vorzugsweise weniger als 2. Eine "große" Differenz ist vorzugsweise 6, oder noch mehr bevorzugt 8 oder mehr. Genaue Werte werden auf vorteilhafte Weise derart selektiert, dass die maximal wahrnehmbare Verbesserung erreicht wird.
In einem bevorzugten Blockselektionskriterium wird jeder Pixelblock mit Block-zu-Block-Differenzen mit einem benachbarten Block, der großer ist als die selektierte Schwelle, nicht bearbeitet. Auf alternative Weise können alle Blöcke bearbeitet werden, aber eine Block-zu-Block-Differenz, die den selektierten Schwellenwert übersteigt, wird auf den Schwellenwert zurückgesetzt und darauf begrenzt. Diese letztere Alternative ist vorteilhaft zum Korrigieren von Blöcken, die an nur einer Seite an wirkliche Bildstrukturen grenzen und auf der anderen Seite an flache oder nichts sagende Bildgebiete grenzen.
In einer weiteren Alternativen, wobei alle Transformationskoeffizienten von einem Decoder verfügbar gestellt werden, werden Blöcke mit wenig AC (Nicht-Null-Frequenz) Energie (bestimmt beispielsweise als die Summe der Quadrate der Transformationskoeffizienten) zum Verarbeiten gewählt. So werden beispielsweise Blöcke mit weniger als 5% oder mehr, vorzugsweise nicht mehr als 3%, deren Energie in den AC-Termen zur Verarbeitung selektiert.
Für die in dem Verarbeitungsvorgang 6 selektierten Blöcke, wobei die Block-zu-Block-Differenzen, die in dem Verarbeitungsvorgang 5 bestimmt worden sind, verwendet werden, bestimmt der Verarbeitungsvorgang 7 (1A) danach Matrixs von Fehlerkorrekturwerten, die durch den Addierer 8 zu den verarbeiteten Blöcken hinzu addiert werden um letztendlich bei korrigierten Blöcken anzulangen. Die Fehlerkorrektur-Matrixs sind von der gleichen Größe wie die Pixelblöcke. Korrigierte Bilder rühren von der Verarbeitung aller Pixelblöcke in den Bildern her. 3 illustriert den Verarbeitungsvorgang 7 detailliert mit zwei grundsätzlichen Alternativen, dem bevorzugten Vorgang 7' und dem alternativen Vorgang 7''. Im Allgemeinen werden nach dem bevorzugten Vorgang 7' die Block-zu-Block-Pixeldifferenzen unmittelbar in eine 8 × 8 (oder ein anderes Format) Fehlerkorrekturmatrix umgewandelt. Entsprechend dem alternativen Vorgang 7'' werden die Differenzen zunächst in eine 4 × 4 Zwischenfehlermatrix umgewandelt (20), die danach durch eine Transformation (21) in eine 4 × 4 Frequenzdomänematrix, durch eine Einbettung (22) in eine 8 × 8 Matrix und eine inverse Transformation (23) in eine 8 × 8 räumliche Matrix allmählich in eine schlussendliche 8 × 8 Fehlerkorrekturmatrix expandiert wird.
In Einzelheiten, der bevorzugte Vorgang 7' interpoliert die Fehlerkorrekturmatrixelemente aus den Block-zu-Block-Pixeldifferenzen, die an jedem Rand bestimmt worden sind. Diese Interpolation wird auf eine größenunabhängige Weise durchgeführt, wobei jedes Matrixelement einen unabhängigen, gewichteten Beitrag von jeder bestimmten Block-zu-Block-Pixeldifferenz hat und jede bestimmte Block-zu-Block-Pixeldifferenz trägt unabhängig nur zu Matrixelementen in dieser Reihe oder Spalte dieser bestimmten Pixeldifferenz bei. Beispielsweise im Falle eines Wertes, der die mittlere Differenz der Randangrenzenden Pixel an einem ganzen Rand darstellt, wird der Wert über alle Reihen oder Spalten senkrecht zu diesem Rand interpoliert.
Die Gewichtungen der Pixeldifferenzen haben eine gewählte räumliche Konfiguration und ein selektiertes gesamtes multiplikatives Gewicht, FA·FB. Die räumliche Konfiguration ist gewählt worden, begrenzt durch Beschränkungen, um zu einer maximal wahrnehmbaren Verbesserung zu gelangen. Eine Beschränkung ist, dass das maximale räumliche Gewicht neben dem Blockrand dieser Block-zu-Block-Differenz auftritt um interpoliert zu werden. Eine andere Beschränkung ist, dass die Summe der Gewichte Null ist, damit die mittlere Helligkeit des Pixelblocks sich nicht ändert. Eine schlussendliche heuristische Beschränkung ist, dass eine Differenz an einem Rand eines Pixelblocks, der mit einer anderen Differenz der gleichen Größe aber mit einem anderen Vorzeichen an dem gegenüber liegenden Rand (längs eine Reihe oder Spalte) zu einem einheitlichen Gradienten zwischen den zwei Rändern interpolieren soll.
4C illustriert die räumlichen Konfigurationsgewichte zum Erzeugen der 8 × 8 Fehlerkorrekturmatrix der bevorzugten Alternative. Das maximale Gewicht tritt nach der interpolierten Block-zu-Block-Pixeldifferenz auf. Die Summe der Gewichte ist deutlich Null. Zum Schluss wird eine einheitliche positive Pixeldifferenz an dem linken Rand zusammen mit einer einheitlichen negativen Pixeldifferenz an dem rechten Rand durch eine räumliche Konfiguration nach 4C zu dem bevorzugten linearen Gradienten nach 4D interpoliert. Ein Fachmann dürfte verstehen, wie diese bevorzugte räumliche Konfiguration für andere Pixelgliederungsgrößen expandiert oder komprimiert werden soll.
Der gesamte multiplikative Faktor, FA·FB, wird ebenfalls selektiert, begrenzt durch Beschränkungen, damit eine maximal wahrnehmbare Verbesserung geschaffen wird. Der gesamte Faktor wird zwischen einem Gewichtungsfaktor für die Block-zu-Block-Pixeldifferenz, FA, und einem Gewichtungsfaktor für die Fehlerkorrekturmatrix, FB, aufgeteilt. Nach einer Beschränkung ist der Gesamtfaktor FA·FB kleiner als oder gleich 0,500, so dass Ränder zwischen benachbarten korrigierten Pixelblöcken nicht überkorrigiert werden, d. h., so dass korrigierte Pixelblöcke ihre Block-zu-Block-Randdifferenzen reduziert haben, ohne Änderung der Richtung dieser Randdifferenz. Nach einer anderen Überlappungsbeschränkung ist der Gesamtfaktor kleiner als 0,500 weil im Beisein von Pixelwertgradienten eine bestimmte Block-zu-Block-Randdifferenz ein wirkliches Bildelement sein kann und nicht eliminiert zu werden braucht. Es gibt ebenfalls einen Gewichtungsfaktor zum Normalisieren des Maximums der räumlichen Konfigurationsgewichte zu 1,00.
Bei bevorzugten Ausführungsformen wird FA als 1,0 gewählt, so dass die Block-zu-Blockdifferenzen nicht skalierte Pixelwerte darstellen. Zweitens wird FB vorzugsweise als 0,375 gewählt, da dieser Faktor gut wahrnehmbare Ergebnisse liefert und schnell ist zum Berechnen mit Verschiebungen und Addierungen ohne Multiplikationen.
Auf entsprechende Weise wird bei einer bevorzugten Ausführungsform des Verarbeitungsvorgangs 7' die Fehlerkorrekturmatrix aus vier Block-zu-Block-Pixeldifferenzen interpoliert, eine für jeden Rand des Pixelblocks, der nachbearbeitet werden soll, entsprechend den nachstehenden Gleichungen, wobei FA = 1,0 in der Bestimmung der N-, E-, W- und S-Differenzen und FB = 0,375·(1,0/4.0). (1,0/4,0 ist der räumliche Konfigurationsgewichtungsnormalsierungsfaktor). Die N-, E-, W- und S-Eingangsdifferenzwerte werden vorzugsweise als die mittleren Differenzen von oben beschriebenen Randangrenzenden Pixeln bestimmt oder auf alternative Weise als die Differenz in den DC-Koeffizienten, ebenfalls oben beschrieben. Die nachfolgenden Gleichungen, welche diese Matrix definieren, sind Beispiele. Matrix 0][0] = FB·{4·N + 4·W} Matrix[0][1] = FB·{4·N – E + 2·W} Matrix[0][2] = FB·{4·N – 2·E} Matrix[0][3] = FB·{4·N – 2·E – W} Matrix[0][4] = FB·{4·N – E – 2·W} Matrix[0][5] = FB·{4·N – 2·W} Matrix[0][6] = FB·{4·N + 2·E – W} Matrix[0][7] = FB·{4·N + 4·E} Matrix[1][0] = FB·{2·N + 4·W – S} Matrix[1][1] = FB·{2·N – E + 2·W – S} Matrix[1][2] = FB·{2·N – 2·E – S} Matrix[1][3] = FB·{2·N – 2·E – W – S} Matrix[1][4] = FB·{2·N – E – 2·W – S} Matrix[1][5] = FB·{2·N – 2·W – S} Matrix[1][6] = FB·{2·N + 2·E – W – S} Matrix[1][7] = FB·{2·N + 4·E – S} Matrix[2][0] = FB·{+4·W – 2·S} Matrix[2][1] = FB·{–E + 2·W – 2·S} Matrix[2][2] = FB·{–2·E – 2·S} Matrix[2][3] = FB·{–2·E – W – 2·S} Matrix[2][4] = FB·{–E – 2·W – 2·S} Matrix[2][5] = FB·{–2·W – 2·S} Matrix[2][6] = FB·{+2·E – W – 2·S} Matrix[2][7] = FB·{+4·E – 2·S} Matrix[3][0] = FB·{–N + 4·W – 2·S} Matrix[3][1] = FB·{–N – E + 2·W – 2·S} Matrix[3][2] = FB·{–N – 2·E – 2·S} Matrix[3][3] = FB·{–N – 2·E – W – 2·S} Matrix[3][4] = FB·{–N – E – 2·W – 2·S} Matrix[3][5] = FB·{–N – 2·W – 2·S} Matrix[3][6] = FB·{–N + 2·E – W – 2·S} Matrix[3][7] = FB·{–N + 4·E – 2·S} Matrix[4][0] = FB·{–2·N + 4·W – S} Matrix[4][1] = FB·{–2·N – E + 2·W – S} Matrix[4][2] = FB·{–2·N – 2·E – S} Matrix[4][3] = FB·{–2·N – 2·E – W – S} Matrix[4][4] = FB·{–2·N – E – 2·W – S} Matrix[4][5] = FB·{–2·N – 2·W – S} Matrix[4][6] = FB·{–2·N + 2·E – W – S} Matrix[4][7] = FB·{–2·N + 4·E – S} Matrix[5][0] = FB·{–2·N + 4·W} Matrix[5][1] = FB·{–2·N – E + 2·W} Matrix[5][2] = FB·{–2·N – 2·E} Matrix[5][3] = FB·{–2·N – 2·E – W} Matrix[5][4] = FB·{–2·N – E – 2·W} Matrix[5][5] = FB·{–2·N – 2·W} Matrix[5][6] = FB·{–2·N + 2·E – W} Matrix[5][7] = FB·{–2·N + 4·E} Matrix[6][0] = FB·{–N + 4·W + 2·S} Matrix[6][1] = FB·{–N – E + 2·W + 2·S} Matrix[6][2] = FB·{–N – 2·E + 2·S} Matrix[6][3] = FB·{–N – 2·E – W + 2·S} Matrix[6][4] = FB·{–N – E – 2·W + 2·S} Matrix[6][5] = FB·{–N – 2·W + 2·S} Matrix[6][6] = FB·{–N + 2·E – W + 2·S} Matrix[6][7] = FB·{–N + 4·E + 2·S} Matrix[7][0] = FB·{+4·W + 4·S} Matrix[7][1] = FB·{–E + 2·W + 4·S} Matrix[7][2] = FB·{–2·E + 4·S} Matrix[7][3] = FB·{–2·E – W + 4·S} Matrix[7][4] = FB·{–E – 2·W + 4·S} Matrix[7][5] = FB·{–2·W + 4·S} Matrix[7][6] = FB·{+2·E – W + 4·S} Matrix[7][7] = FB·{+4·E + 4·S} Der Ausgang ist die 8 × 8 Fehlerkorrekturmatrix.
Es dürfte einleuchten, wie diese Gleichungen geändert werden müssen, wenn ein Pixelblockrand mit mehr als nur einem einzigen Block-zu-Block-Pixeldifferenzparameter assoziiert ist.
In der alternativen Ausführungsform bestimmt im Allgemeinen diese Ausführungsform eine Fehlerkorrekturmatrix, die eine Größe hat, die kleiner ist als die Größe eines Pixelblocks und dann diese kleinere Fehlerkorrekturmatrix zu der Größe des Pixelblocks expandiert. Die kleinere Fehlerkorrekturmatrix hat vorzugsweise eine Größe, die ein ganzzahliger Bruchteil der Größe des Pixelblocks ist, beispielsweise eine 4 × 4 Größe, wenn die Pixelblockgröße 8 × 8 ist. Die kleinere Fehlerkorrekturmatrix wird vorzugsweise auf eine geschmeidige Art und Weise expandiert. So kann beispielsweise diese Expansion durch Transformation zu einer Transformationsdomäne mit einer nachfolgenden inversen Transformation erfolgen, wobei höhere Frequenzkoeffizienten auf Null gesetzt werden, aus dieser Transformationsdomäne zu einer Matrix mit der Größe eines Pixelblocks.
In Einzelheiten, diese alternative Ausführungsform, Verarbeitungsvorgang 7'' nach 3, ist dargestellt als, anfangend mit dem Vorgang 20, Bestimmung eines 4 × 4 Fehlermatrix. Bei einer bevorzugten Ausführungsform dieses alternativen Verfahrens wird diese 4 × 4 Matrix auf gleiche Weise wie die oben beschriebene 8 × 8 Matrix bestimmt, d. h., es werden Maxtrixelemente aus den Block-zu-Block-Pixeldifferenzen, die bei jedem Rand bestimmt wurden auf eine Größen-unabhängige Weise interpoliert, so dass jedes Matrixelement einen unabhängigen, gewichteten Beitrag von jeder senkrecht-relatierten Block-zu-Block-Pixeldifferenz hat. Diese Pixeldifferenzgewichte haben ebenfalls eine gewählte räumliche Konfiguration und ein selektierten gesamtes multiplikatives Gewicht, FA·FB. Die räumliche Konfiguration wird vorzugsweise entsprechend den oben beschriebenen Grundlagen gewählt. 4A illustriert eine bevorzugte räumliche Gewichtungskonfiguration mit Elementen, die zu Null summieren und die zu einem linearen Gradienten zwischen gleichen aber entgegengesetzten Differenzen an jedem Rand der 4 × 4 Matrix führen, wie in 4B dargestellt. Die multiplikativen Gewichte werden vorzugsweise selektiert, wie oben beschrieben. Dazu ist es wieder bevorzugt, dass FA = 1,0 und FB = 0,375. Auch hier werden die N-, E-, W- und S-Eingangs-Block-zu-Block-Pixeldifferenzen vorzugsweise als die oben beschriebenen mittleren Differenzen von Rand-angrenzenden Pixeln bestimmt, oder auf alternative Weise als die Differenzen in den DC-Koeffizienten, ebenfalls oben beschrieben.
Die nachfolgenden Gleichungen sind Beispiele dieser bevorzugten Ausführungsform zum Bestimmen des 4 × 4-Matrix. FB entspricht 0,375 multipliziert mit 1,0/3,0, dem räumlichen Konfigurationsnormalisierungsfaktor. Matrix[0][0] = FB·{3·N + 3·W} Matrix[0][1] = FB·{3·N – W – 2·E} Matrix[0][2] = FB·{3·N – 2·W – E} Matrix[0][3] = FB·{3·N + 3·E} Matrix[1][0] = FB·{–N – 2·S + 3·W} Matrix[1][1] = FB·{–N – 2·S – W – 2·E} Matrix[1][2] = FB·{–N – 2·S – 2·W – E} Matrix[1][3] = FB·{–N – 2·S + 3·E} Matrix[2][0] = FB·{–2·N – S + 3·W} Matrix[2][1] = FB·{–2·N – S – W – 2·E} Matrix[2][2] = FB·{–2·N – S – 2·W – E} Matrix[2][3] = FB·{–2·N – S + 3·E} Matrix[3][0] = FB·{+3·S + 3·W} Matrix[3][1] = FB·{+3·S – W – 2·E} Matrix[3][2] = FB·{+3·S – 2·W – E} Matrix[3][3] = FB·{+3·S + 3·E}
In einer anderen Ausführungsform kann diese 4 × 4-Matrix aus Pixel-Subranddifferenzen bestimmt werden, die eine feinere Struktur der Block-zu-Block-Differenzen längs eines Randes reflektieren. Beispiele derartiger Subranddifferenzen sind die oben beschriebenen Mengen A–L. In einer Alternativen kann diese Subranddifferenz um die Ränder der 4 × 4-Matrix gesetzt werden, wobei eine Subranddifferenz in der 4 × 4 Matrix an eine Stelle entsprechend der Stelle der ursprünglichen Pixel in der ursprünglichen 8 × 8 Matrix gesetzt wird. Die zentralen vier Matrixelemente können auf Null gesetzt werden. Die nachfolgenden Gleichungen sind für diese alternative Ausführungsform repräsentativ, wobei FB vorzugsweise 0,375 ist.
Matrix[0][0] = FB·A; Matrix[0][1] = FB·B; Matrix[0][2] = FB·C
Matrix[0][3] = FB·D; Matrix[1][3] = FB·E; Matrix[2][3] = FB·F
Matrix[3][3] = FB·G; Matrix[3][2] = FB·H; Matrix[3][1] = FB·I
Matrix[3][0] = FB·J; Matrix[2][0] = FB·K; Matrix[1][0] = FB·L
Matrix[1][1] = Matrix[1][2] = Matrix[2][1] = Matrix[2][2] = 0.0
Auf alternative Weise können die inneren vier Matrixelemente aus den Randelementen auf eine Größen-unabhängige Weise unter Verwendung der räumlichen Konfigurationsgewichte nach 4A interpoliert werden.
Die nächsten Verarbeitungsvorgänge der Alternativen 7'' expandieren die 4 × 4 Matrix zu einer 8 × 8 Matrix auf eine glatte Weise, d. h. das Einführen nur eines Minimums an höher räumlichen Frequenzanteilen in die schlussendliche 8 × 8 Matrix. In dem Schritt 21 wird die 4 × 4 Matrix in eine 4 × 4 Matrix in einer geeigneten Frequenzdomäne transformiert. Es wird eine DCT-Transformation bevorzugt, aber die vorliegende Erfindung kann auf andere Transformationen angewandt werden, wie auf die rechnerisch nicht aufwendige Hadamard-Transformation. In dem Schritt 22 wird die 4 × 4 Frequenzdomäne-Matrix in eine 8 × 8 Frequenzdomäne-Matrix eingebettet, wobei alle restlichen Elemente auf Null gesetzt werden. Auf alternative Weise können bestimmte Elemente in der 4 × 4 Matrix, wie die unterste Reihe und die meist rechte Spalte, auch auf Null gesetzt werden. Dadurch sind die höheren Frequenzanteile, dargestellt durch diese Matrixelemente, Null. Zum Schluss wird in dem Schritt 23 die 8 × 8 Frequenzdomänematrix umgekehrt in eine 8 × 8 räumliche Domänenfehlerkorrekturmatrix transformiert, die in den nachfolgenden Schritten dieser Erfindung genau so wie die 8 × 8 Matrix der bevorzugten Alternativen benutzt werden. Vorzugsweise ist die inverse Transformation dieselbe wie die Vorwärtstransformation, d. h. es wird in dem Schritt 23 eine inverse DCT angewandt, wenn in den Schritt 21 eine DCT verwendet wird.
Die 8 × 8 Fehlerkorrekturmatrix, herrührend aus entweder der bevorzugten Ausführungsform oder der alternativen Ausführungsform, wird danach dem ursprünglichen Pixelblock hinzugefügt, damit ein Pixelblock entsteht, der auf Blockartefakte korrigiert worden ist. Dieser Prozess wird für alle Pixelblöcke in dem Bild wiederholt, damit ein einwandfreies Bild hergeleitet wird.
Es dürfte einleuchten, dass für mehrere Bildklassen und bestimmte Kompressionsmethoden die Parameter dieses Verfahrens, insbesondere die Blockselektionsschwellen und die gesamten Gewichtungsfaktorwerte optimiert werden können um eine maximal wahrnehmbare Verbesserung zu geben.
Weiterhin sind die oben gegebenen Gleichungen Beispiele einer Ausführungsform der beschriebenen Verfahren. Einem Fachmann wird es sofort einleuchten, wie ihre Form verbessert werden könnte für eine rechnerische Effizienz in Mikroprozessoren und digitalen Signalprozessoren unterschiedlicher Architektur. So kann beispielsweise die gesamte Anzahl Rechenvorgänge durch Zerlegung in Faktoren reduziert werden, und zwar im Hinblick auf die Größenunabhängigkeit von 8 × 8- und 4 × 4-Matrixs. Weiterhin können multiplikative Vorgänge, einschließlich des gesamten multiplikativen Gewichtungsfaktors, durch weniger kostspielige Verschiebungen und Addierungen statt kostspieligerer Multiplikationen implementiert werden.
Außerdem kann die bestimmte Kombination von Alternativen, gewählt aus denen, die oben beschrieben worden sind, durch ein Kompromiss der in einem System verfügbaren Verarbeitungsleistung mit dem angestrebten Grad der wahrnehmbaren Verbesserung. Die vorliegende Erfindung kann auf viele Grade wahrnehmbarer Verbesserungen angepasst werden, wenn mehr Verarbeitungsleistung verfügbar ist.
Beispiel
Ein Beispiel des Funktionierens einer Ausführungsform der vorliegenden Erfindung wird nachstehend beschrieben. 5 ist ein 640 × 480 Testbild, dadurch geschaffen, dass jedes Pixel eines 320 × 240 monochromen Quellenbildes zu vier identischen Nachbarpixeln expandiert worden ist. Das Quellenbild hat eine Leuchtdichte, die zwischen 64 und 192 in einem gesamten Bereich von 0 bis 255 entsprechend den nachfolgenden Gleichungen variiert. Leuchtdichte = 128 + (64 – 4R)·cos(4R) R = (Radius in Pixelbreiten/40)1,5
6 ist eine DCT-Transformation dieses Bildes, wobei alle DCVT-Koeffizienten auf Null gesetzt sind, ausgenommen die DC-Koeffizienten. Die Figur stellt eine maximal komprimierte Version der 5 dar mit einem Maximum an Blockartefakten. Jeder 8 × 8 Pixelblock ist deutlich anwesend.
7 ist eine Version der 5, nachbearbeitet entsprechend der nachfolgenden früheren Ausführungsform der vorliegenden Erfindung. Wie oben beschrieben, wurden Subrandpixeldifferenzen A–L bestimmt, was zu vier Bloc-zu-Block-Pixeldifferenzen für jeden Rand jedes 8 × 8 Pixelblocks führt. Diese Koeffizienten wurden auf geeignete Weise um den Rand einer 4 × 4 Matrix gesetzt, wie für eine alternative Ausführungsform des Bearbeitungsvorgangs 7'' beschrieben, und wurden danach Hadamard-transformiert. Der gesamte Gewichtungsfaktor war 0,125, ein sehr konservativer Wert im Vergleich zu dem bevorzugten Wert von 0,375. Die 3 × 3 Submatrix links oben (von der gesamten 4 × 4 Matrix) der Hadamard-Koeffizienten, zusammen mit dem ursprünglichen DC-Koeffizienten, wurden invers DCT-transformiert zum Herleiten der 7.
7 ist tatsächlich wahrnehmbar viel verbessert, wobei die extremen Blockartefakte stark reduziert sind und in den zentralen Gebieten des Bildes sogar eliminiert worden sind.
Dieses Beispiel illustriert die Leistung des Systems und des Verfahrens nach der vorliegenden Erfindung um eine wesentliche Reduktion von Blockartefakten von Bildkompressionsalgorithmen zu erreichen durch Anwendung nur einfacher und rechnerisch unaufwendiger Verarbeitungsvorgänge.
Es sei bemerkt, dass die oben beschriebenen Ausführungsbeispiele die vorliegende Erfindung illustrieren statt begrenzen, und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche viele alternative Ausführungsformen zu entwerfen. In den Ansprüchen sind die eingeklammerten Bezugszeichen nicht als den Anspruch begrenzend gemeint. Das Wort "umfasst" schließt das Vorhandensein von Elmenten oder von Verfahrensschritten, anders als diejenigen, die in einem Anspruch aufgelistet wurden, nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus. Die vorliegende Erfindung kann mit Hilfe von Hardware mit mehreren unterschiedlichen Elementen und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In dem Vorrichtungsanspruch, wobei mehrere Mittel bezeichnet worden sind, können viele dieser Mittel durch ein und dasselbe Hardware-Item verkörpert werden.

Claims

Verfahren zum Nachbearbeiten eines dekomprimierten Bildes, wobei das Bild durch einen Prozess komprimiert worden ist, wobei dieser Prozess das Komprimieren rechteckiger Pixelblöcke umfasst, die das ursprüngliche Bild bedecken, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Bestimmen blockierender Artefaktmengen für jeden Pixelblock (5) in dem dekomprimierten Bild, die für blockierende Artefakte repräsentativ sind, wobei die blockierenden Artefaktmengen für einen Pixelblock aus blockweisen Differenzen zwischen diesem Pixelblock und Pixelblöcken, grenzend an diesen Pixelblock, – das Selektieren von Pixelblöcken (6) zur Nachbearbeitung, für welche die blockierenden Artefaktmengen kleiner sind als ein Schwellenwert, – das Bestimmen (7', 7'') einer Fehlerkorrekturmatrix für jeden selektierten Pixelblock aus den blockierenden Artefaktmengen für diesen selektierten Pixelblock, und – das Addieren der Fehlerkorrekturmatrizen zu den selektierten Pixelblöcken zum Erzielen nachbearbeiteter Pixelblöcke und des nachbearbeiteten Bildes.
Verfahren nach Anspruch 1, wobei die blockierenden Artefaktmengen für einen Pixelblock vier Mengen sind, bestimmt aus den vier Differenzen zwischen Mittelwerten von Pixelwerten an jedem Rand dieses Pixelblocks und Mittelwerten von Pixelwerten an benachbarten Rändern der benachbarten Pixelblöcke.
Verfahren nach Anspruch 1, wobei die blockierenden Artefaktmengen für einen Pixelblock aus den Mittelwerten von Differenzen zwischen des Pixelwerten von jedem von zwei oder mehreren benachbarten Pixelpaaren bestimmt werden, und wobei für jedes Pixelpaar ein Pixel dieses Paares an einem Rand dieses Pixelblocks ist und das andere Pixel dieses Paares an einen angrenzenden Rand des angrenzenden Pixelblocks grenzt.
Verfahren nach Anspruch 1, wobei die blockierenden Artefaktmengen für einen Pixelblock vier Mengen sind, bestimmt aus den vier Differenzen zwischen einem Null-Frequenz-Transformationskoeffizienten dieses Pixelblocks und Null-Frequenz-Transformationskoeffizienten der vier orthogonal angrenzenden Pixelblöcke.
Verfahren nach Anspruch 1, wobei der in dem Selektionsschritt benutzte Schwellenwert der ein- bis vierfachen Größe von Fehlern in Pixelwerten entspricht, die durch die kombinierten Schritte der Transformation, der Quantisierung, der Dequantisierung und der Umkehrtransformation, durchgeführt an Pixelblöcken, entspricht.
Verfahren nach Anspruch 1, wobei die genannte Selektion Pixelblöcke selektiert, für die alle vier oder mehr Mengen kleiner sind als der Schwellenwert.
Verfahren zur Nachbearbeitung eines dekomprimierten Bildes, wobei das Bild durch einen Prozess komprimiert worden ist, wobei dieser Prozess das Komprimieren rechteckiger Pixelblöcke umfasst, die das ursprüngliche Bild bedecken, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Bestimmen blockierender Artefaktmengen für jeden Pixelblock (5) in dem dekomprimierten Bild, die für blockierende Artefakte repräsentativ sind, wobei die blockierenden Artefaktmengen für einen Pixelblock aus blockweisen Differenzen zwischen diesem Pixelblock und Pixelblöcken grenzend an diesen Pixelblock bestimmt werden, – das Selektieren aller Pixelblöcke (6) zur Nachbearbeitung, – das Einstellen auf einen Schwellenwert jeder der blockierenden Artefaktmengen für jeden Pixelblock, die größer sind als der Schwellenwert, – das Ermitteln (7', 7'') einer Fehlerkorrekturmatrix für jeden selektierten Pixelblock von den blockierenden Artefaktmengen für diesen selektierten Pixelblock, und – das Addieren der Fehlerkorrekturmatrizen zu den selektierten Pixelblöcken zum Herleiten nachbearbeiteter Pixelblöcke und des nachbearbeiteten Bildes.
Verfahren nach Anspruch 1 oder 7, wobei jede Fehlerkorrekturmatrix durch einen Prozess bestimmt wird, der eine lineare Interpolation der Blockierenden Artefaktmengen (7', 20) entsprechend selektierten räumlichen Konfigurationsgewichtungen umfasst zum Bestimmen von Elementen der Fehlerkorrekturmatrizen.
Verfahren nach Anspruch 8, wobei die genannte lineare Interpolation auf eine dimensional unabhängige Art und Weise durchgeführt wird, indem jedes Matrixelement unabhängige, gewichtete Beiträge von jeder bestimmten blockweisen Pixeldifferenz hat, und jede bestimmte blockweise Pixeldifferenz nur unabhängig zu Matrixelementen in dieser Reihe oder Spalte dieser bestimmten Pixeldifferenz beiträgt.
Verfahren nach Anspruch 1, wobei die räumlichen Konfigurationsgewichtungen derart selektiert werden, dass (i) das größte Gewicht demjenigen Rand zugeordnet wird, der mit der zu interpolierenden Menge assoziiert ist, (ii) die Summe der räumlichen Konfigurationsgewichtungen Null ist, und (iii) die Interpolation gleicher Mengen mit einem entgegengesetzten Vorzeichen an zwei einander gegenüber liegenden Rändern zu einem linearen Gradienten von Fehlerkorrektur Matrixelementen zwischen den zwei einander gegenüber liegenden Rändern führt.
Verfahren nach Anspruch 10, wobei die Pixelblöcke eine Größe von 8 × 8 Pixeln haben, und wobei die räumlichen Konfigurationsgewichtungen Werte +4, +2, 0, –1, –2, –2, –1 und 0 haben, wobei das maximale Gewicht neben der interpolierten blockweisen Pixeldifferenz auftritt.
Verfahren nach Anspruch 1 oder 7, wobei die genannte Bestimmung einer Fehlerkorrekturmatrix die nachfolgenden Schritte umfasst: – das Bestimmen einer Zwischen-Fehlerkorrekturmatrix (20) mit einer Größe, die kleiner ist als die Größe der Pixelblöcke durch lineare Interpolation von vier oder mehr blockierenden Artefaktmengen auf eine dimensional unabhängige Art und Weise, indem jedes Matrixelement unabhängige, gewichtete Beiträge von jeder bestimmten blockweisen Pixeldifferenz hat, und jede bestimmte blockweise Pixeldifferenz auf unabhängige Weise nur zu Matrixelementen in dieser Reihe oder Spalte dieser bestimmten Pixeldifferenz beiträgt, – das Transformieren der zwischen liegenden Fehlerkorrekturmatrix (21) zu einer Transformationsdomäne, und – das umgekehrte Transformieren der transformierten zwischen liegenden Fehlerkorrekturmatrix (23) zu der Fehlerkorrekturmatrix, wobei für die genannte Umkehrtransformation selektierte höhere Frequenztransformationskoeffizienten auf Null gesetzt werden (22).
Verfahren nach Anspruch 1 oder 7, wobei die Fehlerkorrekturmatrix derart bestimmt wird, dass blockweise Pixeldifferenz zwischen zwei benachbarten nachbearbeiteten Pixelblöcken kleiner sind aber mit demselben Vorzeichen wie die blockweisen Pixeldifferenzen zwischen diesen zwei benachbarten Pixelblöcken vor der Nachbearbeitung.
System zur Nachbearbeitung eines dekomprimierten Bildes, wobei das Bild durch einen Prozess komprimiert worden ist, der die Kompression rechteckiger Pixelblöcke umfasst, die das ursprüngliche Bild bedecken, wobei das System die nachfolgenden Elemente umfasst: – Mittel zum Bestimmen blockierender Artefaktmengen (5) für jeden Pixelblock in dem dekomprimierten Bild, die für die blockierenden Artefakte repräsentativ sind, wobei die blockierenden Artefaktmengen für einen Pixelblock aus blockweisen Differenzen zwischen diesem Pixelblock und Pixelblöcken, grenzend an diesen Pixelblock bestimmt werden, – Mittel zum Selektieren von Pixelblöcken zur Nachbearbeitung (6) entsprechend den blockierenden Artefaktmengen für jeden Pixelblock und einen Schwellenwert, – Mittel zum Bestimmen einer Fehlerkorrekturmatrix (7) für jeden selektierten Pixelblock aus den blockierenden Artefaktmengen für diesen selektierten Pixelblock, und – Mittel zum Addieren (8) der Fehlerkorrekturmatrizen zu den selektierten Pixelblöcken zum Herleiten nachbearbeiteter Pixelblöcke und des nachbearbeiteten Bildes.
System zum Nachbearbeiten eines dekomprimierten Bildes, wobei das Bild durch einen Prozess komprimiert worden ist, der die Kompression rechteckiger Pixelblöcke umfasst, die das ursprüngliche Bild bedecken, wobei das genannte System die nachfolgenden Elemente umfasst: – Mittel zum Bestimmen blockierender Artefaktmengen für jeden Pixelblock (5) in dem dekomprimierten Bild, die für blockierende Artefakte repräsentativ sind, wobei die blockierenden Artefaktmengen für einen Pixelblock aus blockweisen Differenzen zwischen diesem Pixelblock und Pixelblöcken, grenzend an diesen Pixelblock bestimmt werden, – Mittel zum Selektieren aller Pixelblöcke (6) zur Nachbearbeitung, – Mittel zum Einstellen jeder der blockierenden Artefaktmengen für jeden Pixelblock auf einen Schwellenwert, die größer sind als der Schwellenwert, – Mittel zum Bestimmen (7', 7'') einer Fehlerkorrekturmatrix für jeden selektierten Pixelblock aus den blockierenden Artefaktmengen für diesen selektierten Pixelblock, und – Mittel zum Addieren der Fehlerkorrekturmatrizen zu den selektierten Pixelblöcken zum Herleiten nachbearbeiteter Pixelblöcke und des nachbearbeiteten Bildes.
Mit dem Computer auslesbare Medien, codiert mit Programminstruktionen um dafür zu sorgen, dass ein Prozessor oder einige Prozessoren das Verfahren nach Anspruch 1 oder 7 durchführt bzw. durchführen.