DE19752885C2 - Vorrichtung und Verfahren zum Erkennen und Maskieren von Video-Datenfehlern - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum Erkennen und Maskieren von Fehlern in Video-Daten gemäß der Oberbegriffe der Ansprüche 1 und 6.

Insbesondere ist die vorliegende Erfindung auf eine Vorrichtung und ein Verfahren für die Erkennung von Gleichstromfehlern einer Blockeinheit während der Decodierung von Video-Daten gerichtet, sowie auf die Maskierung der erkannten Fehler.

Allgemein wird eine große Menge von Video-Daten für die digi­ tale Verarbeitung benötigt, um digitale Bilder zu erzeugen und multidimensionale Charakteristiken zu zeigen. Deshalb ist für die Verarbeitung dieser Daten und für die anschließende effi­ ziente Übertragung oder Speicherung der digitalen Bilder eine Komprimierung der Daten erforderlich, weil die Speichermedien und die Übertragungsgeschwindigkeit der Kommunikationsleitungen eine begrenzte Kapazität haben.

Es wurde eine Standardisierung bezüglich der Komprimierung von Bewegungsbilderdaten durch die Moving Picture Expert Group (MPEG) vorgeschlagen, in Weiterführung zur JTC1/SC-29 unter der International Organization for Standardization - International Electrotechnical Commission (ISO-IEC). Die ISO-IEC ist eine internationale Organisation für die Standardisierung von Forma­ ten. Die International Telecommunications Union - Telecommunica­ tions standardization sector (ITU-T) hat Forschungen durchge­ führt, die sich auf die Vorbereitung einer Video-Standardisie­ rung auf der Basis eines ATM-Protokolls beziehen, um die Bilder für das zukünftige B-ISDN zu übertragen, und hat kürzlich verschiedene H.26x-Vorschläge für Standards empfohlen. Unter den H.26x-Vorschlägen für Standards betrifft der H.263-Vorschlag die Video-Codierung für Kommunikation mit niedriger Bit-Rate, die für Vorrichtungen wie etwa drahtlose Bildtelephone, u. s. w. geeignet ist.

Es ist unvermeidlich, daß über ein Netzwerk (drahtgebunden oder drahtlos) übertragene Video-Daten Netzwerkfehler haben. In einem drahtlosen Netzwerk ist die Bitfehlerrate (BER, bit-error­ rate) zur Definition der Fehlererzeugungswahrscheinlichkeit hoch, und ein Bündelfehler wird häufig erzeugt. Um die vom Über­ tragungskanal verursachten Fehler zu reduzieren, wurden Kanal- Codec wie etwa Bose-Chaudhuri-Hocquenghem (BCH) und RCPC ent­ wickelt, um mit dem H.263-Vorschlag kombiniert zu werden. Da jedoch die Datenmenge in solch einem Kanal-Codec schnell anwach­ sen kann (z. B. vergrößert sich die Datenmenge um 1500%, wenn die Rate von RCPC 1/16 ist), sollte ein geeigneter Kompromiß hin­ sichtlich der Datenrate eingegangen werden. Für dieses Format kann eine Fehlermaskierung in einem Video-Decoder leicht durch­ geführt werden, unabhängig vom Kanal-Codec.

Fig. 1 zeigt eine Weise, mit der Fehler in einem Video- Decoder maskiert werden können, in Weiterführung des H.263- Standards. Die Bezugszeichen 110 und 120 bezeichnen eine Gruppe von Blöcken (GOB) bzw. Makroblöcken (MB) in einem Video-Rahmen. Wenn Fehler während der Decodierung eines von einem gegenwärti­ gen Rahmen N empfangenen Bitstroms erzeugt werden, stoppt der Video-Decoder die Decodierung der gegenwärtigen GOB und kopiert eine GOB eines vorangegangenen Rahmens N-1, der in derselben Position wie der des gegenwärtigen GOB liegt, in den Speicher für den gegenwärtigen Rahmen N.

Jedoch treten bei dem obigen Verfahren die folgenden Probleme auf. Zuerst wird die Struktur des GOB in Fig. 2 gezeigt. In dem QCIF-Format (176 × 144), welches ein Videoformat für die Verwirk­ lichung des H.263-Standards ist, gibt es neun GOB in einem Rahmen und elf MB in einem GOB. Da ein MB (16 × 16) aus vier 8 × 8-Blöcken konstruiert ist, wird für die Luminanz ein Gleich­ stromwert (DC) an jeden 8 × 8-Block mit einer festen Länge von 8 Bit übertragen. In einem tatsächlichen H.263-Bitstrom werden viele Teile mit variabler Länge codiert, und es gibt viele Fälle, in denen Fehler wegen der Charakteristik eines Huffman- Decoders nicht erkannt werden. Z. B. wird angenommen, daß die Gleichstromwerte der jeweiligen 8 × 8-Blöcke des in Fig. 2 gezeigten Makroblocks (MB) K wie in Fig. 3A gezeigt sind, und daß sie verstümmelt sind, wie in Fig. 3B gezeigt. Die Werte sind nämlich von 1000 0001 (129) verstümmelt auf 0000 001x (2 oder 3), von 1000 0010 (130) auf 0000 010x (4 oder 5), von 0111 1110 (126) auf 1111 111x (254 oder 255) und von 1000 0100 (132) auf 0000 100x (8 oder 9). Wenn z. B. die Werte unmittelbar vor der Ausführung der Decodierung wegen einer Linksverschiebung oder aus irgendeinem anderen Grund um ein Bit verstümmelt sind, kön­ nen wesentlich andere Gleichstromwerte erzeugt werden (wie in Fig. 3B gezeigt). Dies bereitet ein Problem.

Zusätzlich wird in einem Video-Decoder ein Block mit Primär­ farben, wie etwa Rot, Grün oder Blau erzeugt, wie in Fig. 4A gezeigt. Die sich ergebenden Fehler pflanzen sich mit der Zeit fort, abhängig vom Wert eines Bewegungsvektors, wie in Fig. 4B gezeigt. Dies verschlechtert erheblich die Bildqualität, selbst wenn sie erzeugt werden, wie in Fig. 3B gezeigt, und weil der Gleichstromwert eine feste Länge hat.

Die JP 7-312 755 A beschreibt eine Vorrichtung zur Markierung von Videodatenfehlern gemäß dem Oberbegriff des Anspruchs 1. Dabei ist zunächst eine Bestimmung notwendig, ob sich der als fehlerhaft angesehene Makroblock in einem aktiven (dynamischen) oder statischen Bereich befindet. Weiterhin muß in einem Speicher 17 für jeden Makroblock des Rahmens ein Bewegungsvektor gespeichert werden. Schließlich wird im Falle, daß sich der Makroblock in einem aktiven Bereich befindet, ein Makroblock für ein interpoliertes Bild errechnet und zum Ersatz des fehlerhaften Makroblockes verwendet.

Die US 4724488 beschreibt eine Signalverarbeitungsvorrichtung zum Umformen eines abgetasteten Videosignals in ein binäres Bildsignal, wobei die Nullpunktdurchgänge der zweiten Ableitung des digitalen Videosignals bestimmt werden, um Kontrastübergänge in dem abgetasteten ursprünglichen Bild zu bestimmen. Dabei werden ungewünschte Störkomponenten des Vidoesignals durch Maskierung des Signals der zweiten Ableitung eliminiert. Genauer, für jeden Bildpunkt wird der gewichtete Wert einer vorbestimmten Anzahl von umgebenden Bildpunkten der gleichen Bildzeile als auch einer vorbestimmten Anzahl der folgenden und vorangehenden Bildzeilen summiert und mit einem einstellbaren Schwellwert verglichen. Das so erzeugte binäre Signal repräsentiert somit die Kontrastübergänge in dem ursprünglichen Bild und kann als Anzeige für die Bildkonturen verwendet werden.

Die EP 123 893 B1 beschäftigt sich allgemein mit Bildfehlerkorrekturen bei der digitalen Übertragung von Bildsignalen. Dazu wird empfangsseitig ein Vergleich der empfangenen Bildsignalwerte mit aus benachbarten Bildsignalwerten errechneten Bildsignalschätzwerten durchgeführt und bei Überschreitung eines vorgegebenen Schwellwerts statt des empfangenen Bildsignalwertes der entsprechende Bildsignalschätzwert verwendet.

Es ist die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Erkennen und Maskieren von Videodatenfehlern anzugeben, die schnell und mit geringem Hardwareaufwand eine zuverlässige Erkennung und Maskierung der Fehler ermöglichen.

Diese Aufgabe wird von einer Vorrichtung mit den Merkmalen des Anspruchs 1 sowie einem Verfahren mit den Schritten des Anspruchs 6 gelöst.

Die Vorteile der vorliegenden Erfindung werden aus der folgenden, genauen Beschreibung einer bevorzugten Ausführungsform der vorliegenden Erfindung offensichtlicher, mit Bezug auf die begleitenden Zeichnungen, in denen:

Fig. 1 ein Verfahren zur Maskierung von Fehlern in einem Video-Decoder in Übereinstimmung mit dem H.263-Standard zeigt;

Fig. 2 eine Struktur eines GOB im Fall von QCIF des H.263- Standards zeigt;

Fig. 3A und 3B das Original und die verstümmelten Gleich­ stromwerte der Luminanz in einem Makroblock K von Fig. 2 zeigen;

Fig. 4A und 4B einen Fall zeigen, bei dem Fehler in dem Gleichstromwert von Fig. 3A und 3B in einem gegenwärtigen Rahmen erzeugt werden, bzw. ein Phänomen, bei dem eine Fehlerfortpflan­ zung mit Ablauf der Zeit auftritt;

Fig. 5 ein Blockdiagramm ist, das die Struktur eines Fehler­ maskierungsapparats nach der vorliegenden Erfindung zeigt;

Fig. 6 die Gleichstromwerte eines optionalen Makroblocks MB eines Video-Datenstandards nach dem H.263-Standard zeigt;

Fig. 7 ein detailliertes Blockdiagramm des Gleichstromfehler­ erkennungsabschnitts von Fig. 5 ist; und

Fig. 8 ein Flußdiagramm zur Beschreibung eines Fehlermaskie­ rungsverfahrens nach der vorliegenden Erfindung ist.

Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird nun mit Bezug auf die angefügten Zeichnungen detailliert beschrieben.

Fig. 5 ist ein Blockdiagramm, das die Struktur eines Fehler­ maskierungsapparats nach der vorliegenden Erfindung zeigt. Der Apparat enthält einen ersten Rahmenspeicher 510 zum Speichern der Video-Daten eines vorhergehenden Blocks N-1, einen zweiten Rahmenspeicher 520 zum Speichern der Video-Daten eines gegen­ wärtigen Blocks N, eine Gleichstrom-(DC-)fehlererkennung 530 zur Erkennung eines Gleichstromfehlers in einem decodierten Bitstrom variabler Länge, und eine Steuerung 540 zum Kopieren und Schrei­ ben hinsichtlich des ersten Rahmenspeichers 510 und des zweiten Rahmenspeichers 520 entsprechend dem Gleichstromfehlersignal, das in dem Gleichstromfehlererkennungsabschnitt 530 erzeugt wurde, und zum Bestimmen der Position der zu steuernden Daten.

Fig. 6 zeigt die Gleichstromwerte eines optionalen Makro­ blocks MB eines Video-Datenstandards nach dem H.263-Standard. Ein 16 × 16-Makroblock ist aus vier 8 × 8-Blöcken konstruiert. Die Gleichstromwerte einschließlich DC0, DC1, DC2 und DC3 treten in den jeweiligen vier Blöcken auf.

Wie in Fig. 5 gezeigt, speichert der Speicher 510 des Rahmens N-1 die Video-Daten des vorhergehenden Rahmens und der Speicher 520 des Rahmens N die Video-Daten des gegenwärtigen Rahmens. Wenn angenommen wird, daß die Gleichstromwerte DC0, DC1, DC2 und DC3 eines optionalen Makroblocks in dem eingegebenen Bitstrom auftreten, die mit variabler Länge decodiert werden, wie in Fig. 7 gezeigt, mißt die Gleichstromfehlererkennung 530 die Differen­ zen zwischen den jeweiligen Gleichstromwerten. Die Gleichstrom­ fehlererkennung 530 vergleicht die gemessenen Differenzwerte mit einem Bezugsschwellwert und erkennt das Gleichstromfehlersignal, wenn die gemessenen Differenzen größer als ein Schwellwert sind, da festgestellt wird, daß die Gleichstromwerte eines bestimmten Makroblocks oder eines 8 × 8-Blocks fehlerhaft sind. Wenn das Fehlersignal von der Gleichstromfehlererkennung 530 erkannt wird, kopiert die Steuerung 540 spezifische Video-Daten in die Position des Speichers 520 des gegenwärtigen Rahmens N, in dem die Fehler erzeugt wurden, durch Bezeichnen der spezifischen Video-Daten in derselben Position wie der des Speichers 510 des vorhergehenden Rahmens N-1. Die Steuerung 540 schreibt die deco­ dierten Daten in den Speicher 520 des gegenwärtigen Rahmens N, wenn die Gleichstromwerte zwischen den jeweiligen Blöcken klei­ ner als der Schwellwert sind; d. h., wenn die Gleichstromwerte des spezifischen Makroblocks oder des 8 × 8-Blocks fehlerfrei sind.

Fig. 7 ist ein detailliertes Blockdiagramm der Gleichstrom­ fehlererkennung 530 von Fig. 5. Die Erkennung 530 enthält erste und zweite Gleichstromwertspeicherabschnitte 710 und 720, zum Speichern der Gleichstromwerte des ersten und des zweiten Blocks in dem Makroblock des decodierten Bitstroms, der mit variabler Länge decodiert wurde, einen Subtrahierer 730 zur Ausgabe der Differenz der Gleichstromwerte, die von den ersten und zweiten Gleichstromwertspeicherabschnitten 710 und 720 ausgegeben werden, und einen Vergleicherabschnitt 740 zum Vergleichen des von dem Subtrahierer 730 ausgegebenen Wertes mit einem Bezugs­ schwellwert und zum Erzeugen eines Merkersignals.

Wie in Fig. 7 gezeigt, speichern die ersten und zweiten Gleichstromwertspeicherabschnitte 710 und 720 die Gleichstrom­ werte DC0, DC1, DC2 und DC3 eines optionalen Makroblocks in dem Bitströmen variabler Länge. Der erste Gleichstromwertspeicher­ abschnitt 710 speichert den Gleichstromwert DC0 von Fig. 7, und der zweite Gleichstromwertspeicher 720 speichert den Gleich­ stromwert DC1, den Gleichstromwert DC2 oder den Gleichstromwert DC3; d. h., einen Wert außer dem Gleichstromwert DC0 von Fig. 7. Der Subtrahierer 730 berechnet die Differenz zwischen den von dem ersten und dem zweiten Gleichstromwertspeicherabschnitten 710 und 720 ausgegebenen Gleichstromwerten und gibt die Gleich­ stromwertdifferenz aus. Der Vergleicherabschnitt 740 vergleicht die von dem Subtrahiererabschnitt ausgegebene Gleichstromwert­ differenz mit einem vorbestimmten Bezugsschwellwert und erzeugt ein Zustandssignal zur Bestimmung, ob ein Gleichstromfehler erkannt wird. Wenn z. B. der Differenzwert zwischen dem decodier­ ten Gleichstromwert DC1 von Fig. 7 und dem Gleichstromwert DC0 wegen einer Veränderung des Gleichstromwertes DC1 größer als der vorbestimmte Differenzschwellwert ist, wird das Merkersignal zu "1", was bedeutet, daß ein Fehler erzeugt wurde. Wenn die Gleichstromwertdifferenz kleiner als der vorbestimmte Bezugs­ schwellwert ist, wird das Merkersignal zu "0", was bedeutet, daß kein Fehler erzeugt wurde. Hier wird beispielsweise ein Wert größer als 40 als der vorbestimmte Bezugsschwellwert durch eine Computersimulation benutzt.

Fig. 8 ist ein Flußdiagramm zur Beschreibung des Fehlermas­ kierungsverfahrens nach der vorliegenden Erfindung. Das Verfah­ ren enthält die Schritte: Empfangen eines Bitstroms, der mit variabler Länge decodiert wurde (Schritt 810), Ausgabe eines Differenzwertes zwischen den Gleichstromwerten eines Makroblocks (Schritt 820), Bestimmen, ob der Differenzwert der Gleichstrom­ werte größer als ein Bezugsschwellwert ist (Schritt 830), Kopie­ ren der Daten eines vorhergehenden Rahmens in die Position eines gegenwärtigen Rahmens, wenn der Differenzwert der Gleichstrom­ werte größer als der Bezugsschwellwert ist (Schritt 840), und Schreiben der decodierten Daten in den gegenwärtigen Rahmen, wenn der Differenzwert der Gleichstromwerte kleiner als der Bezugsschwellwert ist (Schritt 850).

Wie in Fig. 7 gezeigt, empfängt die Gleichstromfehlererken­ nung 530 den mit variabler Länge decodierten Bitstrom (Schritt 810), berechnet die Gleichstromwertdifferenz zwischen den jewei­ ligen Blöcken in dem Makroblock in den decodierten Video-Daten (Schritt 820), und bestimmt, ob ein Fehler bei dem berechneten Wert vorliegt, durch Bestimmen, ob der berechnete Wert größer als der Bezugsschwellwert ist. Die Gleichstromfehlererkennung 530 ermöglicht der Steuerung 540, die Daten des vorhergehenden Rahmens in die Position zu kopieren, in der der Fehler des gegenwärtigen Rahmens auftritt (Schritt 840), wenn die Gleich­ stromwertdifferenz zwischen den jeweiligen Blöcken größer als der Bezugsschwellwert ist, und ermöglicht der Steuerung 540, die decodierten Daten im gegenwärtigen Rahmen zu schreiben (Schritt 850), wenn die Gleichstromwertdifferenz zwischen den jeweiligen Blöcken kleiner als der Bezugsschwellwert ist.

Wie oben beschrieben, ist es nach der vorliegenden Erfindung möglich, die Fehler zu maskieren, durch Bestimmung, ob Gleich­ stromfehler erzeugt wurden, was eine wichtige Information ist, wenn ein Kanal durchwandert wird von Video-Daten, die mit einer Codierung niedriger Rate in Hinsicht auf eine Video-Sequenz unter Benutzung des H.263-Standards codiert wurden, um dadurch eine Fehlerfortpflanzung zu verhindern.

Claims (6)

1. Vorrichtung zum Erkennen und Maskieren von Videodatenfehlern eines ein­ gehenden Videodatenstromes, wobei ein Datenrahmen von Videodaten eine Vielzahl von Makroblöcken enthält, die aus mehreren Blöcken gebildet sind, und die Vorrichtung enthält:
eine Fehlererkennungseinrichtung (530) zum makroblockweisen Empfangen eines Datenrahmens des eingehenden Videodatenstromes und zum Erken­ nen von Fehlern in den empfangenen Makroblöcken des Datenrahmens, be­ vor diese in eine Rahmenspeichereinrichtung (520) eingeschrieben werden, und
eine Steuereinrichtung (540) zum Ersetzen eines empfangenen, fehlerhaften Makroblockes durch einen Ersatz-Makroblock und Einschreiben des Ersatz- Makroblockes in die Rahmenspeichereinrichtung (520), wenn ein Fehler in dem empfangenen Makroblock von der Fehlererkennungseinrichtung (530) erkannt worden ist, und zum Einschreiben des empfangenen Makroblocks in die Rahmenspeichereinrichtung (520), wenn kein Fehler in dem empfangenen Makroblock erkannt worden ist;
dadurch gekennzeichnet, daß
jeder Block innerhalb des Makroblocks einen Gleichstromwert besitzt, welcher die Helligkeitsinformation des Blockes repräsentiert; und daß
die Fehlererkennungseinrichtung (530) als eine Gleichstromfehlererken­ nungseinrichtung ausgebildet ist, die eine Gleichstromwertdifferenz zwischen den Gleichstromwerten zweier verschiedener Blöcke eines Makroblockes be­ rechnet und den empfangenen Makroblock als fehlerhaft erkennt, wenn die Gleichstromwertdifferenz einen vorbestimmten Schwellwert überschreitet.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß der Ersatz- Makroblock eine Kopie des entsprechenden Makroblocks eines vorangegan­ genen Datenrahmens ist, welcher in einer weiteren Rahmenspeichereinrich­ tung (510) gespeichert und in dem eingehenden Videodatenstrom enthalten ist, wobei die Position des Makroblocks innerhalb des vorangehenden Daten­ rahmens der Position des Ersatz-Makroblocks in dem empfangenen Daten­ rahmen entspricht.

3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Fehlererkennungseinrichtung (530) umfaßt:
eine erste (710) und eine zweite (720) Gleichstromspeichereinrichtung zum Speichern der Gleichstromwerte (DC0...DC3) eines ersten und zweiten Blocks der Makroblöcke von dekodierten Videodaten;
eine Subtraktionseinrichtung (730) zum Berechnen der Gleichstromwertdiffe­ renz zwischen den Gleichstromwerten (DC0...DC3), welche von der ersten (710) und zweiten (720) Gleichstromspeichereinrichtung ausgegeben werden; und
eine Vergleichseinrichtung (740) zum Vergleichen der Gleichstromwertdiffe­ renz, welche von der Subtraktionseinrichtung (730) ausgegeben wird mit dem vorbestimmten Schwellwert und zum Erzeugen eines Fehlersignals.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Makroblocks eine Größe von 16 × 16 Pixel aufweisen und jeder Ma­ kroblock aus vier Blocks gebildet ist, die eine Größe von 8 × 8 Pixel besitzen.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Steuereinrichtung (540) mit den beiden Rahmenspeichereinrichtun­ gen (510, 520) und der Gleichstromerkennungseinrichtung (530) verbunden ist zum Steuern des Betriebs der Vorrichtung.

6. Verfahren zum Erkennen und Maskieren von Vidoedatenfehlern in einem ein­ gehenden Videodatenstrom, wobei ein Datenrahmen von Videodaten eine Vielzahl von Makroblöcken enthält, die aus mehreren Blöcken gebildet sind, wobei das Verfahren folgende Schritte aufweist:
makroblockweises Empfangen von Datenrahmen eines eingehenden Video­ datenstromes und Erkennen von Fehlern in den empfangenen Makroblöcken, bevor diese gespeichert werden; und
Speichern eines Ersatz-Makroblockes anstelle eines empfangenen Makro­ blockes, wenn ein Fehler in dem empfangenen Makroblock erkannt wurde;
dadurch gekennzeichnet, daß
jeder Block innerhalb eines Makroblockes einen Gleichstromwert besitzt, wel­ cher die Helligkeitsinformation des Blockes repräsentiert; und
daß der Fehlererkennungsschritt die Schritte des Berechnens einer Gleich­ stromwertdifferenz zwischen den Gleichstromwerten zweier verschiedener Blöcke eines Makroblocks und die Erkennung eines empfangenen Makro­ blocks als fehlerhaft umfaßt, wenn die Gleichstromwertdifferenz einen vor­ bestimmten Schwellwert überschreitet.