DE3608917A1

DE3608917A1 - Verfahren zur korrektur

Info

Publication number: DE3608917A1
Application number: DE19863608917
Authority: DE
Inventors: Werner Dr Ing Keesen; Wolfgang Dipl Ing Hartnack; Dietrich Dr Ing Westerkamp
Original assignee: Deutsche Thomson Brandt GmbH
Current assignee: Deutsche Thomson Brandt GmbH
Priority date: 1986-03-18
Filing date: 1986-03-18
Publication date: 1987-09-24

Description

Die Erfindung betrifft ein Verfahren zur Korrektur gemäß dem Oberbegriff des Patentanspruchs 1.

Der Artikel "Channel Error Recovery for Transform Image Coding" in IEEE Transactions on Communications, Vol. COM-29, No. 12, December 1981, stellt eine Methode zur Fehlerreduktion bei zweidimensionaler Transformationscodierung vor. Willkürlich und/oder systematisch gewählte Fernseh-Bildausschnitte werden als Blöcke bezeichnet. Die Blöcke werden vor einer Übertragung in Spektralblöcke transformiert und codiert. Nach der Übertragung werden Spektralblöcke decodiert und rücktransformiert. Durch Ausnutzung natürlicher Redundanz in einem Fernsehbild werden fehlerhafte Blöcke detektiert und mit einer Korrekturinformation nachgebessert. Natürliche Redundanz besteht darin, daß ein Block zu allen benachbarten Blöcken an seinen Grenzen in der Regel keine größeren Helligkeits- und/oder Farbsprünge aufweist. Liegen im decodierten Signal, das als Maß für die Helligkeits und/oder Farbe eines Bildinhaltes dient, an allen Grenzen eines Blockes größere Helligkeits- und Farbsprünge vor, so deutet dies auf einen Übertragungsfehler hin und aus den Differenzen an den Blockgrenzen kann eine Korrekturinformation berechnet werden, die zur Nachbesserung des Blockes benutzt wird.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, das Blöcke und/oder Spektralblöcke, die als gestört erkannt worden sind, durch einfache und effektive Maßnahmen korrigiert.

Diese Aufgabe wird durch die im Patentanspruch 1 angegebenen Maßnahmen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen genannt.

Zum besseren Verständnis der Erfindung wird nachstehend ein Ausführungsbeispiel anhand von Figuren näher erläutert.

Es zeigen:

Fig. 1 ein Nachrichtenübertragungssystem,

Fig. 2 ein Fernsehbild, das in Blöcke unterteilt ist,

Fig. 3 einen Block mit zu berechnenden Bildpunkten,

Fig. 4 einen weiteren Block mit zu berechnenden Bildpunkten,

Fig. 5 einen Block und dessen Transformation in einen Spektralblock,

Fig. 6 einen Spektralblock und

Fig. 7 einen Empfänger mit einer Blockkorrektur und

Fig. 8 die Kennlinie für einen Bewegungsdetektor.

Fig. 1 zeigt eine Nachrichtenquelle 1, die elektrische Signale in einen Analog-Digital-Umsetzer 2, im folgenden ADU genannt, abgibt. Digitalisierte Signale gelangen vom ADU 2 zum Quellenkoder 3, der die Signale kodiert. Die kodierten Signale werden vom Kanalkoder 4, der die Signale mit Redundanz versieht, über einen Übertragungskanal 5 zu einem Kanaldekoder 7 übertragen. Der Übertragungskanal 5 wird von einer Störung 6 beeinflußt. Vom Kanaldekoder 7 werden die gestörten Signale an einen Quellendekoder 8 weitergegeben und dort dekodiert. Die dekodierten Signale werden in einem Digital-Analog-Umsetzer 9 analogisiert. Die Analogsignale werden der Sinke 10 zugeführt. Ein solches System ist beispielsweise in der Dissertation "Adaptive Transformationscodierung von digitalisierten Bildsignalen" von W. Mauersberger an der TH Aachen beschrieben. Dieses System trifft auch auf einen Videorekorder zu, der Daten blockweise auf einem Magnetband speichert und diese zur Bild- und/oder Tonwiedergabe kanal- und quellendecodiert. Im Kanalcoder 4 werden die zu übertragenden digitalen Signale mit Paritybits versehen, die im Kanaldecoder 7 eine erste Fehlerkorrektur zulassen. Der Kanaldecoder 7 erkennt anhand der Paritybits einfache Fehler und korrigiert diese. Schwierige Fehler verursachen allerdings fehlerhafte Blöcke, werden nicht erkannt oder können nicht mehr korrigiert werden.

Fig. 2 zeigt ein Fernsehbild mit Fernsehzeilen 11 und Blöcken 13-16, in deren Mitte ein gestörter Block 12 mit 4 × 4 Bildpunkten 17 angeordnet ist.

Eine erste Möglichkeit, einen fehlerhaften Block zu ersetzen, besteht darin, für jeden Bildpunkt 17 des Blockes 12 den arithmetischen Mittelwert der direkt an dem Block 12 angrenzenden Bildpunkte der Nachbarblöcke 13-16 einzusetzen.

Fig. 3 zeigt eine zweite Möglichkeit, die Bildpunkte 17 eines Blockes 12 zu berechnen. Dazu wird für jeden Bildpunkt 17 der Grauwert bzw. Farbwert aus den orthogonal-angrenzenden Bildpunkten 17 der Nachbarblöcke 13-16 errechnet. Die Formel für den Grauwert (x) eines Bildpunktes 17 lautet (bilineare Interpolation):

Eine dritte Möglichkeit ist das Ersetzen des fehlerhaften Blockes 12 durch den geometrisch identischen Block des zeitlich vorhergegangenen Fernsehvollbildes.

Fig. 4 zeigt einen Eckbildpunkt 17, dessen Grauwert bzw. Farbwert durch den Grauwert bzw. Farbwert der angrenzenden fünf äußeren Bildpunkte 18-22 der Blöcke 13, 14, 23 bestimmt bzw. errechnet wird. Die Grau- bzw. Farbwerte aller anderen Bildpunkte, ausgenommen Eckbildpunkte, werden durch die Grau- bzw. Farbwerte von drei angrenzenden Bildpunkten errechnet bzw. bestimmt. Die drei angrenzenden Bildpunkte liegen immer auf einen äußeren Ring 18. Die Berechnung erfolgt ringförmig bzw. rekursiv, wobei die Ringe 18 immer kleiner werden.

Fig. 5 zeigt einen Block mit 8 × 8 Bildpunkten, deren Grenzwertsignale mit einer Diskreten-Cosinus Transformation, DCT auf einen Spektralblock abgebildet werden. Der Spektralblock weist an seinen Eckpunkten 24-27 Spektralkoeffizienten auf, die ein Maß 24 für den Gleichanteil, ein Maß 25 für den höchsten Vertikalfrequenzanteil, ein Maß 26 für den höchsten Diagonalfrequenzanteil und ein Maß 27 für den höchsten Horizontalfrequenzanteil aufweisen.

Fig. 6 zeigt einen Spektralblock 24 mit geschätzten Spektralkoeffizienten S (1,1), S (1,2), S (2,1), S (2,2), S (3,1), . . . S (8,2), S (1,3), S (2,3), S (1,4) . . . S (2,8). Der Spektralblock 24 gehört zu einem gestörten Block 12. Aus angrenzenden Bildpunkten von Nachbarblöcken 13-16 werden eindimensionale Transformationen mit Spektralkoeffizienten S 1 (1) . . . S 1 (8), S 2(1) . . . S 2 (8), S 3 (1) . . . S 3 (8), S 4 (1) . . . S 4 (8) berechnet. Aus diesen Spektralkoeffizienten lassen sich die Spektralkoeffizienten des fehlerbehafteten Blockes schätzen:

S (1, j) = (S 1 (j) + S 3 (j)) * 2 exp 1/2, j = 2 . . . 8
S (2, j) = (S 1 (j) - S 3 (j)) * 2 exp 1/2, j = 3 . . . 8
S (i, 1) = (S 2 (i) + S 3 (i)) * 2 exp 1/2, i = 2 . . . 8
S (i, 2) = (S 2 (i) - S 3 (i)) * 2 exp 1/2, i = 3 . . . 8
S (1,1) = (S 1 (1) + S 3 (1) + S 2(1) + S 4 (1)) * 1/2 exp 1/2
S (2,2) = (S 1 (1) - S 3 (1) + S 2(1) - S 4 (1)) * 1/2exp 1/2

Die Matrix- oder Blocklänge beträgt 8 Bildpunkte. Die eindimensionale Transformation ergibt eine Matrixgröße von 1 × 8. Die Transformationen zur eindimensionalen Matrix und die Rücktransformation des Spektralblockes zu einem Block sind von gleichen Typ, z. B. DCT und inverse DCT. Sind mehrere angrenzende Blöcke gestört, so wird an den Nahtstellen der Blöcke ein mittlerer Grau- bzw. Farbwert eingesetzt.

Die Schätzung der Spektralwerte für den Block 24 (Fig. 6) läßt sich dadurch verbessern, daß aus den Nachbarblöcken nicht eine 1 × 8-Transformation zugrunde gelegt wird, sondern z. B. eine 2 × 8-Transformation. Aus den 2 × 8-Spektralwerten läßt sich bei gerichteten Bildinhalten, z. B. Linien, erkennen, ob diese annähernd im Winkel von 90° die Blockgrenze schneiden und damit im Block eine logische Fortsetzung zum gegenüberliegenden Blockrand haben oder nicht. Im Falle eines 90°-Winkels sind nämlich im 2 × 8-Spektralbereich alle Werte der zweiten Zeile gleich 0.

Die Schätzung der Spektralwerte im Block 24 (Fig. 6) läßt sich auch auf alle 8 × 8 = 64 Werte erweitern, sofern von allen 4 Blockrändern her die jeweilige Schätzung sinnvoll ist.

Der geschätzte Spektralwert (i, j) ergibt sich zu

Siehe Fig. 3 und Fig. 6.
c: konstanter Faktor
i oder j: ≦λτ 1

Wenn i gerade: S 1(1, j) - S 3(1, j)
wenn i ungerade: S 1(1, j) + S 3(1, j)
wenn j gerade: S 2(1, i) - S 4(1, i)
wenn j ungerade: S 2(1, i) + S 2(1, i)
wenn S 1 ± S 3 ≦λτ 0 und S 2 ± S 4 ≦λτ 0 : +C
wenn S 2 ± S 3 ≦ωτ 0 und S 2 ± S 4 ≦ωτ 0 : -C

Ist ein angrenzender Block (13, 14, 15 oder 16 in Fig. 2) ebenfalls gestört, so ist es im allgemeinen besser, statt einen mittleren Grau- bzw. Farbwert am entsprechenden Rand einzusetzen, den entsprechenden Rand aus Block 12 (Fig. 2) aus dem vorhergehenden Bild zu nehmen.

Wenn zwischen dem betrachteten Block im aktuellen Bild und dem entsprechenden Block im vorhergehenden Bild keine Bewegung des Bildinhalts stattfindet, so ist es sinnvoller, dort den Block aus dem vorhergehenden Block einzusetzen. Diese Entscheidung wird mit Hilfe des Ausgangssignals eines Bewegungsdetektors nach der in Fig. 8 dargestellten Kennlinie getroffen.

Im Bereich zwischen geringer (≈ 1 Pixel/Halbbild) und deutlicher (≈ 2 Pixel/Halbbild) Bewegung werden die rücktransformierten Spektralwerte und die Bildwerte aus dem vorhergehenden Bild anteilsmäßig gemischt.

Dem Bewegungsdetektor können z. B. folgende Signale zur Auswertung zugeführt werden:

- Summe der Beträge der Pixeldifferenzen zwischen äußerem Rand des Blocks im aktuellen Bild und vorhergehenden Bild.
- Summe der Beträge der 1 × 8-Spektralwertdifferenzen der Ränder, wo sich das Vorzeichen zwischen aktuellem und vorhergehendem Bild ändert und eine vorgegebene Schwelle überschritten wird.
- Summe der Beträge der 1 × 8-Mittelwertdifferenzen der Ränder zwischen aktuellem und vorhergehendem Bild.

Fig. 7 zeigt eine Antenne 25, einen Kanal- 7 und einen Quellendecoder 8, eine Fehlererkennungsschaltung 26, einen Speicher 27 für mindestens drei Blockreihen, einen DAU 9 und einen Monitor 28. Die Fehlererkennungsschaltung 26 erkennt Fehler und setzt eine Fehlerverdeckungsschaltung in Gang. Zusätzlich wird die Fehlererkennungsschaltung 26 noch über eine Leitung 29 über irreparable Spektralblöcke vom Kanaldecoder 7 informiert. Die Fehlererkennungsschaltung 26 kann auch im Quellendecoder 8 integriert sein. Die Fehlerverdeckungsschaltung, Fehlerverdeckung wird auch als Concealment bezeichnet, besteht aus dem Speicher 27, vier Zwischenspeichern 30, die die Grau- bzw. Farbwerte von angrenzenden Bildpunkten abspeichern, vier DCT- Schaltungen 31, die eine eindimensionale Transformation durchführen, vier Zwischenspeicher 32, die die Spektralkoeffizienten S 1 (1), . . . , S 1 (8), . . . , S 2 (1), . . . , S 2 (8), S 3 (1), . . . , S 3 (8), S 4 (1), . . . , S 4 (8) zwischenspeichern, einem Rechenwerk 33 zur Berechnung der Spektralkoeffizienten S (1,1), . . . , S (2,8), . . . S (8,2) des zu ersetzenden Blockes, einen Koeffizientenzwischenspeicher 34 und eine Schaltung 35 zur inversen DCT- Transformation. Die Schaltung 35 erzeugt einen Block, der anstelle eines defekten Blockes 12 im Speicher 27 abgespeichert wird. Da die DCT-Schaltungen recht aufwendig sind, empfiehlt sich anstelle eines Parallelbetriebes eine serielle Verarbeitung im Multiplexbetrieb mit einer DCT-Schaltung 31.

Claims

1. Verfahren zur Korrektur von blockweise übertragenen Signalen mit einer Erkennungsschaltung für fehlerhafte Blöcke, die eine Fehlerverdeckungsschaltung zur Verringerung der Auswirkung von Fehlern, insbesondere Übertragungsfehlern, aktiviert, dadurch gekennzeichnet, daß für einen als fehlerhaft erkannten Block Ersatzinformationen aus einer Umgebung und/oder aus einem zeitlich vorhergehenden Signal berechnet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Ersatzinformation für einen oder mehrere fehlerhafte Blöcke das arithmetrische Mittel oder gewichtetes Mittel aus Grau- und/oder Farbwerten der angrenzenden richtig decodierten Bildpunkte berechnet und eingesetzt wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für jeden Bildpunkt getrennt (17) der Grau- und/oder Farbwert aus den angrenzenden Bildpunkten der Nachbarblöcke berechnet wird (Fig. 3).

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Ersatzinformation für einen fehlerhaften Block der geometrisch identische Block des zeitlich vorhergegangenen Fernsehvollbildes eingesetzt wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Ersatzinformation von Blockgrenzen zum Blockinneren rekursiv berechnet wird. (Fig. 4).

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für den zu ersetzenden Block Spektralkoeffizienten geschätzt werden, deren Rücktransformation eingesetzt wird.

7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß anstelle der Grau- bzw. Farbwerte der Bildpunkte der angrenzenden Zeilen über bzw. unter dem gestörten Block das arithmetische Mittel aus den Grau- bzw. Farbwerten der Bildpunkte der angrenzenden Zeile und der nächsten benachbarten Zeile eingesetzt ist, um Bewegung im Halbbild zu mitteln.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Bildpunkte der angrenzenden Zeilen und Spalten eindimensional in einen Spektralbereich transformiert werden und die zweidimensionalen Spektralkoeffizienten des fehlerhaften Blockes auf der Basis der berechneten eindimensionalen Spektralkoeffizienten geschätzt werden.

9. Verfahren nach Anspruch 1, 2, 3, 5, 6, 7 und/oder 8, dadurch gekennzeichnet, daß ein Speicher (27) für mindestens 3 Reihen von Blöcken angeordnet ist.

10. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß mindestens ein Vollbildspeicher angeordnet ist.

11. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein Rechenwerk angeordnet ist.

12. Verfahren nach Anspruch 2 und 11, dadurch gekennzeichnet, daß das Rechenwerk den arithmetischen Mittelwert berechnet.

13. Verfahren nach Anspruch 6, 7 und 11, dadurch gekennzeichnet, daß eine Fehlerverdeckungsschaltung eindimensionale Spektralkoeffizienten errechnet und daraus zweidimensionale Spektralkoeffizienten ableitet (Fig. 7).

14. Verfahren nach Anspruch 6 und/oder 7, dadurch gekennzeichnt, daß die Bildung der eindimensionalen und die Schätzung der zweidimensionalen Spektralwerte für zwei Halbbilder getrennt erfolgt.

15. Verfahren nach einem oder mehreren der Ansprüche 1, 2, 3, 4, 5, 6, 8, dadurch gekennzeichnet, daß bei einer bewegungslosen oder kleinen Verschiebung in der Größenordnung von 1 Pixel pro Halbbild als Ersatzinformation der geometrische identische Block des zeitlich vorhergegangenen Fernsehvollbildes eingesetzt wird und bei einer deutlichen Bewegung oder Verschiebung von mehr als 2 Pixel pro Halbbild für den zu ersetzenden Block Spektralkoeffizienten geschätzt werden, deren Rücktransformation eingesetzt wird.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß zwischen den Lösungen für die bewegungslose und die deutliche Bewegung ein gleitender Übergang besteht, indem nach beiden Verfahren berechnet und entsprechend den Anteilen der beiden Bewegungen gemischt wird.

17. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die Schätzung der Ersatzinformation nicht nur aus einer eindimensionalen 1 × 8-Matrix, sondern aus einer zweidimensionalen 2 × 8- oder n × 8-Matrix erfolgt.

18. Verfahren nach einem oder mehreren der Ansprüche 1, 2, 3, 5, 7, 8, dadurch gekennzeichnet, daß dann, wenn sich der Rand in einem gestörten Block befindet, der Rand an dem geometrisch identischen Block des vorhergegangenen Bildes berechnet wird, und dann, wenn sich der Rand in einem ungestörten Block befindet, der Rand aus dem geometrisch benachbarten Block des aktuellen Bildes errechnet wird.