DE19640999A1 - Verfahren zur Verdeckung von Fehlern - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Verdeckung von Fehlern in blockweise codierten Bildern.

Zur Reduzierung der für die Übertragung von Bildern erforderlichen Datenrate sind verschiedene Verfahren bekanntgeworden. Eine vorteilhaft anwendbare Maßnahme ist die blockweise Codierung. Dabei werden die zu codierenden Bilder in Blöcke von beispielsweise 8×8 Bildelementen (Pixel) aufgeteilt. Auf diese Blöcke werden dann jeweils getrennt datenreduzierende Verfahren, wie beispielsweise Interframe-Codierung und/oder diskrete Cosinus-Transformation, angewendet. Verfahren dieser Art werden beispielsweise bei den Standards MPEG1, MPEG2 und ITU-T H.263 benutzt.

Eine noch stärkere Datenreduzierung ermöglicht die sogenannte fraktale Codierung, bei welcher zu jedem Block ein möglichst ähnlicher Block des gleichen Bildes angegeben wird, der nach geeigneter Transformation den vorgegebenen Block gut approximiert. Bei geeigneter Wahl beschreibt die Gesamtheit der "selbsttransformierten" Blöcke eindeutig ein Bild, das dem zu codierenden Bild sehr ähnlich ist.

Bei den bekannten Verfahren können sich von Block zu Block unterschiedliche Fehler einstellen, insbesondere Quantisierungsfehler. Dieses führt dazu, daß in den decodierten und wiedergegebenen Bildern die Blockstruktur sichtbar werden kann.

Aufgabe der vorliegenden Erfindung ist es, Fehler, die in blockweise codierten Bildern in von Block zu Block unterschiedlichem Ausmaß entstehen, weitgehend zu verdecken.

Diese Aufgabe wird bei dem erfindungsgemäßen Verfahren dadurch gelöst, daß Werte von unmittelbar an Kanten der Blöcke liegenden Bildelementen mit Werten der jeweils unmittelbar angrenzenden Bildelemente in benachbarten Blöcken verglichen werden, daß für jeweils mindestens eine Kante aus dem Verlauf der durch den Vergleich ermittelten Differenzen entlang der Kante eine geglättete Funktion gebildet wird und daß mindestens die Werte der Bildelemente des jeweils einen Blocks mit Hilfe der geglätteten Funktion verändert werden.

Dabei ist es nicht erheblich, ob zur Bildung der geglätteten Funktion zwischen jeweils zwei einzelnen beiderseits der Kante liegenden Bildelementen die Differenz gebildet wird. Es können auch jeweils mehrere Bildelemente jeweils auf einer Seite der Kante zusammengefaßt werden und danach die Differenz zwischen den zusammengefaßten Bildelementen auf beiden Seiten der Kante gebildet werden.

Die Werte der Bildelemente können je nach zu codierenden Signalen verschiedene in der Videotechnik vorkommende Größen repräsentieren - beispielsweise Luminanzsignale, Farbkomponentensignale, Farbdifferenzsignale, Farbart oder Farbsättigungssignale.

Es ist zwar zur Verdeckung der oben beschriebenen Artefakte bereits eine Anpassung von Werten der an den Blockgrenzen liegenden Bildelemente bekannt, beispielsweise aus Y. Fisher (ed.), Fractal Image Compression - Theory and Application, Springer-Verlag, New York, 1994 und T. Bedford et al., "Fractal coding of monochrome images", Signal Processing: Image Communication, no. 6, pp 405-419, 1994. Hierbei erfolgt jedoch die Korrektur jeweils zweier aneinander angrenzender Bildelemente nur aufgrund der Differenz zwischen diesen oder wenigen weiteren unmittelbar benachbarten. Dabei kann erhebliche Nutzinformation verlorengehen. Die Erfindung beruht jedoch auf der Erkenntnis, daß die mit Hilfe des erfindungsgemäßen Verfahrens zu verdeckenden Fehler dann besonders sichtbar und störend sind, wenn sie einen erheblichen Bestandteil enthalten, der sich entlang der Kante von Bildelement zu Bildelement nur relativ wenig verändert. Dieser Bestandteil wird durch die oben erwähnte geglättete Funktion gut approximiert.

Eine Ausführungsform des erfindungsgemäßen Verfahrens besteht darin, daß jeweils Werte von Bildelementen des jeweils einen Blocks verändert werden, während die Werte der angrenzenden Bildelemente unverändert bleiben. Diese Ausführungsform ergibt zwar eine bezüglich der Kanten unsymmetrische Veränderung des Bildes, es ist jedoch nur eine Bearbeitung der Bildelemente eines Blocks zur Zeit erforderlich, während die zuvor bearbeiteten Blöcke unverändert bleiben können.

Eine andere Ausführungsform des erfindungsgemäßen Verfahrens sieht vor, daß die Werte von Bildelementen beider an die jeweilige Kante angrenzenden Blöcke verändert werden. Bei mehreren gleichzeitig behandelten Kanten werden in entsprechender Weise alle Blöcke verändert, die an die Kanten angrenzen.

Grundsätzlich kann bei dem erfindungsgemäßen Verfahren die Veränderung der Werte auf die unmittelbar an der Kante liegenden Bildelemente beschränkt werden. Bei entsprechend großen Fehlern ergeben sich dann jedoch ähnlich geartete Fehler zwischen diesen Bildelementen und den sich von der Kante weiter entfernt befindlichen Bildelementen. Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens ist daher vorgesehen, daß die Werte weiterer Bildelemente mit größerer Entfernung von der jeweiligen Kante ebenfalls verändert werden, wobei vorzugsweise mit zunehmender Entfernung von der Kante die Veränderungen in geringerem Maße vorgenommen werden.

Bei dem erfindungsgemäßen Verfahren kann vorgesehen sein, daß die Bildung der geglätteten Funktion und die Veränderung der Werte der Bildelemente für zwei aneinander angrenzende Kanten jeweils eines Blocks unabhängig voneinander erfolgen, wobei sich die Veränderungen der Werte von Bildelementen, die beiden Kanten zuzuordnen sind, überlagern. Es ist jedoch auch möglich, die geglättete Funktion über zwei oder mehr aneinander angrenzende Kanten jeweils eines Blocks zu bilden und die Werte beider Kanten entsprechend der gebildeten geglätteten Funktion zu verändern.

Eine vorteilhafte Möglichkeit zur Erzeugung der geglätteten Funktion besteht bei einer anderen Weiterbildung des erfindungsgemäßen Verfahrens dadurch, daß die geglättete Funktion aus den Differenzen durch eine Synthese aus mehreren vorgegebenen Funktionen gebildet wird.

Bei einer ersten Ausgestaltung dieser Weiterbildung ist vorgesehen, daß die vorgegebenen Funktionen eine Konstante und eine Gerade sind. Im Bedarfsfall sind weitere vorgegebene Funktionen Polynome höherer Ordnung.

Eine zweite Ausgestaltung dieser Weiterbildung besteht darin, daß die vorgegebenen Funktionen eine Konstante und eine Cosinus-Funktion sind, wobei weitere vorgegebene Funktionen Cosinus-Funktionen anderer Periodenlänge und/oder Phasenlage sein können.

Bei dieser Weiterbildung kann eine gute Annäherung der geglätteten Funktion an die angenommenen Fehler dadurch erreicht werden, daß zur Bildung der Anteile der vorgegebenen Funktionen an der geglätteten Funktion die Summe der Quadrate der Differenzen minimiert wird.

Anstelle einer Synthese aus mehreren vorgegebenen Funktionen kann bei dem erfindungsgemäßen Verfahren auch vorgesehen sein, daß die geglättete Funktion aus dem Verlauf der Differenzen entlang der Kante durch Tiefpaßfilterung gebildet wird.

Im allgemeinen kann zum Zeitpunkt der Fehlerverdeckung nicht mehr entschieden werden, ob die Differenzen an den Kanten durch Codierfehler hervorgerufen werden oder ganz oder zum Teil dem Nutzsignal zuzuordnen sind. Es ist jedoch möglich, aus der Kenntnis des jeweils angewandten Codierverfahrens Kriterien abzuleiten, mit denen Fehlkorrekturen mit großer Wahrscheinlichkeit vermieden werden können. So können Quantisierungsfehler grundsätzlich eine durch die Quantisierungsgenauigkeit gegebene Größe nicht übersteigen. Treten zwischen den Werten der an den Kanten der Blöcke gegenüberliegenden Bildelemente größere Differenzen auf, kann daraus auf das Vorliegen eines entsprechenden Bildinhalts geschlossen werden. Bei einer anderen Weiterbildung des erfindungsgemäßen Verfahrens ist daher vorgesehen, daß die Verdeckung der Fehler bei Differenzen, die einen vorgegebenen Wert übersteigen, nicht oder in geringerem Maße vorgenommen wird.

Eine solche nachträgliche Anpassung des Korrektursignals, bei dem Quantisierungsfehler vom Bildinhalt unterschieden werden, ist beispielsweise in DE 40 17 375 A1 beschrieben.

Eine Fehlerverdeckung nach dem erfindungsgemäßen Verfahren ist gegebenenfalls bei kleinen Blöcken nicht sinnvoll, bei größeren Blöcken dagegen auf weiter von der Kante entfernte Bildelemente auszudehnen. Bei einer anderen Weiterbildung des erfindungsgemäßen Verfahrens kann daher vorgesehen sein, daß bei Blöcken unterhalb einer vorgegebenen Größe keine Verdeckung durchgeführt wird und/oder daß die Anzahl der veränderten Bildelemente senkrecht zur Kante von der Blockgröße abhängt.

Das erfindungsgemäße Verfahren kann mit Einrichtungen - beispielsweise mit digitalen Singalprozessoren - durchgeführt werden, die an sich für Zwecke der Bildcodierung bekannt und für das erfindungsgemäße Verfahren durch geeignete Programmierung eingerichtet sind.

Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 verschiedene Ausführungsformen der Erfindung anhand der Darstellung eines Blocks und Teilen von benachbarten Blöcken,

Fig. 2 eine Darstellung eines Blocks zur Erläuterung der im Zusammenhang mit den Fig. 1, 3 und 4 angewandten Indizierung,

Fig. 3 den Verlauf der Werte von Bildelementen beiderseits einer Kante zwischen zwei Blöcken und Beispiele für die geglättete Funktion und

Fig. 4 den Verlauf von Werten senkrecht zur Kante.

Die Fig. 1a bis 1d zeigen jeweils einen Block B_m,n, einen links davon liegenden bei der Codierung und Decodierung üblicherweise zuvor verarbeiteten Block B_m,n-1, einen darüberliegenden Block B_m-1,n und einen wiederum davon links liegenden Block B_m-1,n-1. Ein 512×512 Bildelemente umfassendes Bild wird beispielsweise mit Hilfe von in 64 Zeilen und in 64 Spalten angeordneten Blöcken mit jeweils 8×8 Bildelementen codiert. Obwohl das erfindungsgemäße Verfahren grundsätzlich keine (vollständige) Anpassung der Werte der Bildelemente an den Blockkanten zum Ziel hat, wird der Anschaulichkeit halber die Veränderung als Anpassung bezeichnet.

Die Bildelemente innerhalb eines Blocks werden im folgenden gemäß Fig. 2 indiziert, das heißt, beim Bildelement P_i,j bedeutet i die Zeile und j die Spalte des Blocks, in welchen sich das jeweilige Bildelement P befindet. Ferner werden im Index eines Bildelementes die Indizes des jeweiligen Blocks genannt.

In Fig. 1b sind diejenigen Bildelemente stärker umrandet, die in einem ersten Schritt des erfindungsgemäßen Verfahrens zur Bildung der geglätteten Funktion herangezogen werden. Bei Bedarf kann auch das Bildelement P_I,J,m-1,n-1 berücksichtigt werden. Bei einer Ausführungsform wird sowohl aus den Bildelementen im Grenzbereich zwischen den Blöcken B_m,n und B_m,n-1 als auch zwischen den Blöcken B_m,n und B_m-1,n jeweils eine geglättete Funktion abgeleitet. Dieses wird im folgenden anhand von Fig. 3 näher erläutert.

Die Kurven 1 und 2 enthalten Werte von Bildelementen P_I,1,m-1,n bis P_I,J,m-1,n und Werte von Bildelementen P_1,1,m,n bis P_1,J,m,n.

Die Werte können dabei, wie bereits erwähnt, verschiedene Größen darstellen, wie beispielsweise Abtastwerte des Luminanzsignals und anderer bei der Bildübertragung und -speicherung gebräuchlicher Signale. Die Bildelemente, deren Werte in Fig. 3 als Kurven 1 und 2 dargestellt sind, sind in Fig. 1b durch gleichartige Linien hervorgehoben und mit den gleichen Bezugszeichen wie die Kurven gekennzeichnet.

Die als dünne durchgezogene Linie dargestellte Kurve 3 entsteht durch Differenzbildung zwischen den Punkten der Kurven 1 und 2. Von der Kurve 3 ausgehend wird die geglättete Funktion ermittelt, für die in Fig. 3 zwei Beispiele angegeben sind. Diese sind einerseits eine Gerade 4 und andererseits eine Cosinusfunktion 5. Da der Unterschied zwischen beiden äußerst gering ist, unterscheidet sich die Darstellung zwischen den Bildelementen mit den Indizes 2 bis 7 praktisch nicht. Lediglich die Werte für die Bildelemente mit den Indizes j=1 und j=8 unterscheiden sich sichtbar.

Eine vorteilhafte Ableitung der Kurven 4 bzw. 5 aus der Kurve 3 ist mit folgender Gleichung möglich:

Dabei bezeichnet A(j) den Wert der geglätteten Funktion an der Stelle j, während die R Synthesefunktionen durch B_r(j) mit 1rR bezeichnet werden. α(1), . . . , α(R) sind reelle Gewichtungsfaktoren. In Fig. 3 wurden zwei verschiedene Sätze von jeweils R=2 Synthesefunktionen benutzt. Für die Gerade 4 sind etwa B₁(j) = 1 und B₂(j) = 2j-J-1 (1jJ) geeignet, wohingegen für die Cosinus-Funktion 5 B₁ (j) = 1 und B₂(j) = cos[π(2j-1)/2J] (1jJ) gewählt wurden.

Die Ermittlung der Koeffizienten a(r) kann durch Minimierung der Summe der Quadrate der Abweichungen von A(j) von den Differenzen D(j) wie folgt durchgeführt werden:

Fig. 4 zeigt als Kurve 6 den Werteverlauf von jeweils vier Bildelementen zu beiden Seiten der durch einen Pfeil 7 gekennzeichneten Grenzlinie zweier benachbarter Blöcke senkrecht zur Grenzlinie. Die Richtung der Ordinate in Fig. 4 ist in Fig. 1b durch einen Doppelpfeil 8 angedeutet. Fig. 4 betrifft Bildelemente mit dem Index j=2. Es ist davon auszugehen, daß die Werte der Kurve 6 sowohl Bildinformation als auch Artefakte, insbesondere Quantisierungsfehler, darstellen, wobei der relativ große Unterschied zwischen den Punkten i=I und i=1 durch Fehler bedingt ist.

Der gesamte Betrag der Differenz D(2) beträgt bei dem in den Fig. 3 und 4 dargestellten Zahlenbeispiel etwa 43 Einheiten. Gemäß Fig. 3 liegt dann der entsprechende Punkt der geglätteten Kurve 4 bzw. 5 bei A(2)=-40. Dieser Wert bestimmt die durchgeführten Veränderungen auf der Senkrechten zur Grenzlinie an dieser Stelle (j=2).

Dazu wird im Falle der in Fig. 1c dargestellten einseitigen Veränderung der Werte der Bildelemente der in Fig. 4 dargestellte Verlauf 9 erzeugt. Danach bleiben die Werte der Bildelemente mit den Indizes I-3 bis I unverändert. Der Sprung bei i=I entspricht dem Betrag des Wertes A(j) für j=2 in Fig. 3. Von i=I bis i=4 fällt der Verlauf 9 linear ab, woraus die Veränderungen der Bildelemente mit den Indizes i=1 bis i=4 berechnet werden. Die veränderten Werte liegen auf der Kurve 10. Aus Fig. 4 ist ersichtlich, daß im Randbereich des Blocks B_m,n die Werte der Bildelemente zwar tendenziell an diejenigen des benachbarten Blocks angepaßt sind, ihre Relation zueinander und damit die Wiedergabe des Bildinhalts aber in gewissem Maß erhalten geblieben ist.

Soll die Anpassung der Werte der Bildelemente in beiden benachbarten Blöcken vorgenommen werden, wird die Funktion 11 gebildet, wobei der Sprung der Funktion an der Grenze 7 zwischen den Blöcken liegt und den Betrag von |A(2)/L=40 Einheiten aufweist. Gemäß der Funktion 11 werden dann die Werte zu beiden Seiten der Grenze 7 verändert. Dieses ist in Fig. 1d schematisch für die linke und obere Kante des Blocks B_m,n und für die angrenzenden Kanten der Blöcke B_{m, n-1} und B_m-1,n dargestellt.

Im Falle der Fig. 4 sind von der Anpassung jeweils drei Reihen von Bildelementen betroffen, während in den Fig. 1c und 1d der Übersichtlichkeit halber lediglich zwei Reihen dargestellt sind. Wieviele Reihen einer Anpassung unterzogen werden, das heißt, wieweit eine Korrektur in die Fläche der Blöcke hinein fortgesetzt wird, hängt vom Einzelfall ab, insbesondere von der Anzahl der Bildelemente je Block, und bleibt dem Fachmann überlassen. Der Grad der Veränderung ist übrigens in den Fig. 1c und 1d durch verschieden dichte Schraffur angedeutet.

Claims (17)

1. Verfahren zur Verdeckung von Fehlern in blockweise codierten Bildern, dadurch gekennzeichnet, daß Werte von unmittelbar an Kanten der Blöcke liegenden Bildelementen mit Werten der jeweils unmittelbar angrenzenden Bildelemente in benachbarten Blöcken verglichen werden, daß für jeweils mindestens eine Kante aus dem Verlauf der durch den Vergleich ermittelten Differenzen entlang der Kante eine geglättete Funktion gebildet wird und daß mindestens die Werte der Bildelemente des jeweils einen Blocks mit Hilfe der geglätteten Funktion verändert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß jeweils Werte von Bildelementen des jeweils einen Blocks verändert werden, während die Werte der angrenzenden Bildelemente unverändert bleiben.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Werte von Bildelementen beider angrenzenden Blöcke verändert werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Werte weiterer Bildelemente mit größerer Entfernung von der jeweiligen Kante ebenfalls verändert werden.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß mit zunehmender Entfernung von der Kante die Veränderungen in geringerem Maße vorgenommen werden.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bildung der geglätteten Funktion und die Veränderung der Werte der Bildelemente für zwei aneinander angrenzende Kanten jeweils eines Blocks unabhängig voneinander erfolgen, wobei sich die Veränderungen der Werte von Bildelementen, die beiden Kanten zuzuordnen sind, überlagern.

7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die geglättete Funktion über zwei oder mehr aneinander angrenzende Kanten jeweils eines Blocks gebildet wird und die Werte beider Kanten entsprechend der gebildeten geglätteten Funktion verändert werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die geglättete Funktion aus den Differenzen durch eine Synthese aus mehreren vorgegebenen Funktionen gebildet wird.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die vorgegebenen Funktionen eine Konstante und eine Gerade sind.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß weitere vorgegebene Funktionen Polynome höherer Ordnung sind.

11. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die vorgegebenen Funktionen eine Konstante und eine Cosinus-Funktion sind.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß weitere vorgegebene Funktionen Cosinus-Funktionen anderer Periodenlänge und/oder Phasenlage sind.

13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, daß zur Bildung der Anteile der vorgegebenen Funktionen an der geglätteten Funktion die Summe der Quadrate der Abweichungen der geglätteten Funktion von den Differenzen minimiert wird.

14. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die geglättete Funktion aus dem Verlauf der Differenzen entlang der Kante durch Tiefpaßfilterung gebildet wird.

15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Verdeckung der Fehler bei Differenzen, die einen vorgegebenen Wert übersteigen, nicht oder in geringerem Maße vorgenommen wird.

16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei Blöcken unterhalb einer vorgegebenen Größe keine Verdeckung durchgeführt wird.

17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anzahl der veränderten Bildelemente senkrecht zur Kante von der Blockgröße abhängt.