DE69513841T2

DE69513841T2 - Paketiertes yuv9 format zur verschachtelten speicherung und effizienten bearbeitung von digitalen videodaten

Info

Publication number: DE69513841T2
Application number: DE69513841T
Authority: DE
Inventors: Rohan Coelho; Brandon Lee
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1994-09-14
Filing date: 1995-09-08
Publication date: 2000-07-27
Anticipated expiration: 2015-09-09
Also published as: CA2199946A1; EP0781493B1; ATE187591T1; JPH10505975A; EP0781493A1; JP4221475B2; DE69513841D1; US5666137A; CA2199946C; WO1996008930A1

Description

HINTERGRUND DER ERFINDUNG

In Systemen zur digitalen Farbbildgebung wird ein Vollbild von Bilddaten typischerweise in eine Matrix quadratischer "Pixel" aufgeteilt. Ein typisches Vollbild kann 160 Pixel breit und 120 Pixel tief sein, und die entsprechende Auflösung des Bildes ist eine inverse Funktion der Größe der verwendeten Bildwiedergabeeinrichtung. Jedes Pixel kommt aus der Videoquelle als eine "datenvollständige" Kombination von Intensitäts- und Farbinformation. Eine typische digitale "YUV"-Codedarstellung für ein Farbpixel enthält drei gesonderte 8-Bit-Digitalwörter, welche die Intensität (Y) und den Farbinhalt (U) und (V) darstellen. Somit erfordert eine datenvollständige Charakterisierung eines Farbpixels 24 Bits an digitaler Information. Somit sind für das oben beschriebene Vollbild insgesamt 24 · 160 · 120 = 460.800 Bits erforderlich. Diese große Anzahl ist untragbar hoch wegen der Kosten für die zur Pufferung und Verarbeitung so vieler Daten notwendige Übertragungs-Hardware und wegen der benötigten relativ langen Verarbeitungszeit.
Ein bekannter Weg zur Bewältigung dieses Problems besteht darin, davon Abstand zu nehmen, die gesamte Farbinformation zu senden. Da das menschliche Auge für Farbänderungen weniger empfindlich als für Intensitätsänderungen ist, kann das Weglassen von etwas Farbinformation toleriert werden, ohne daß das Bild für einen menschlichen Betrachter merklich schlechter erscheint. Beispielsweise ist es bekannt, das Vollbild in einzelne 4-mal-4-Blöcke zu unterteilen, wie in Fig. 1 gezeigt, wo B&sub1;&sub1; den ersten Block in der oberen linken Ecke darstellt. Der gezeigte Bildschirm besteht somit aus 30 Bändern, die jeweils 40 Blöcke breit sind. Bei diesem Format bestehen die ursprünglichen vollständigen Daten aus den Y-Werten V&sub1;&sub1; -- Y&sub1;&sub2;&sub0; &sub1;&sub6;&sub0;, den U-Werten U&sub1;&sub1; - U&sub1;&sub2;&sub0; &sub1;&sub6;&sub0; und den V- Werten V&sub1;&sub1; - U&sub1;&sub2;&sub0; &sub1;&sub6;&sub0;, jedoch werden die U- und V-Werte nicht alle gesendet. Stattdessen werden alle U-Werte für B&sub1;&sub1; auf den Originalwert von U&sub1;&sub1; gesetzt, alle U-Werte für B12 werden auf den Originalwert von U&sub1;&sub5; gesetzt, alle U-Werte für B&sub2;&sub1;. werden auf den Originalwert von U&sub5;&sub1; gesetzt, und so weiter, wie in Fig. 2 gezeigt. Das gleiche Schema wird für die V-Werte angewandt, hingegen werden alle originalen Y-Werte beibehalten. Bei diesem Arrangement geben 8 Bits für U und 8 Bits für V die Farbinformation für alle 16 Pixel in einem Block, was einen Durchschnitt von 1 Bit pro Pixel für die Farbinformation für jeden Block erbringt. Jedes Pixel hat die vollen 8 Bits an Intensitätsinformation, so daß bei Anwendung dieses Arrangements die benötigte Anzahl von Bits pro Pixel im Gesamtdurchschnitt gleich 9 ist -- daher die Nomenklatur "YUV9".
Die Methode nach dem Stand der Technik zur Handhabung dieser Daten besteht darin, alle Y-Werte (19200 an der Zahl!) für ein Vollbild zu speichern und dann alle blockspezifischen U-Werte (1200 an der Zahl) und schließlich alle blockspezifischen V-Werte (1200 an der Zahl) zu speichern. Dies ist das standardgemäße "Planar"-Format für YUV9. Dieses Format hat zwei ernsthafte Nachteile: (1) alle oder die meisten der Daten für ein ganzes Vollbild müssen in einem Pufferspeicher gespeichert werden, bevor irgendwelche Manipulationen an den Daten von einem Prozessor vorgenommen werden, und (2) das resultierende Bild kann (was nicht überrascht!) einen "blockigen" Eindruck auf einen menschlichen Betrachter machen.
Die US-A-4 982 270 offenbart ein Datenübertragungssystem zum Digitalisieren von Farbvideodaten, in welchem eine Bildebene in eine Vielzahl von Blöcken unterteilt wird, für dessen jeden die Leuchtdichte- und Farbartinformation codiert wird. Ein Farbartblock ist hinsichtlich der Fläche des Bildes n/m mal so groß wie ein Leuchtdichteblock, wobei m< n. Außerdem wird die Gesamtheit der Leuchtdichtedaten von n Leuchtdichteblöcken zur Gesamtheit der Farbartdaten von m Blöcken übertragen.
Die Aufgabe der vorliegenden Erfindung besteht darin, zum Formatieren von unterabgetasteten YUV-Daten eine verbesserte Technik zu schaffen, die verminderte Anforderungen hinsichtlich der Pufferspeicherung und höhere Effizienz der Verarbeitung bringt.
Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 bzw. des Patentanspruchs 11. Vorteilhafte Ausführungsformen der Erfindung sind in den abhängigen Patentansprüchen gekennzeichnet.
Gemäß einem Aspekt der Erfindung des Anmelders werden die YUV9- Daten wie folgt formatiert: V&sub1;&sub1;, U&sub1;&sub1;, Y&sub1;&sub1;, Y&sub1;&sub2;, Y&sub1;&sub3;, Y&sub1;&sub4;, Y&sub2;&sub1;, Y&sub2;&sub2;, Y&sub2;&sub3;, Y&sub2;&sub4;, Y&sub3;&sub1;, Y&sub3;&sub2;, Y&sub3;&sub3;, Y&sub3;&sub4;, Y&sub4;&sub1;, Y&sub4;&sub2;, Y&sub4;&sub3;, Y&sub4;&sub4; für den Block B&sub1;&sub1;, gefolgt von den U- und V-Blockdaten und den Y-Daten für die Blöcke (B&sub1;&sub2; - B&sub1;&sub4;&sub0;) (B&sub2;&sub1; -- B&sub2;&sub4;&sub0;), und so weiter, von links nach rechts und von oben nach unten über jedes Vollbild. Sobald die Daten im ersten Block empfangen und gespeichert sind, kann die Verarbeitung unmittelbar an den Daten dieses Blockes beginnen; Interpolation oder Dithering der U&sub1;&sub1;- und V&sub1;&sub1;-Farbwerte für ein dem menschlichen Auge "freundliches" Aussehen des resultierenden Bildes; im Gegensatz hierzu erfordert die bekannte "Planarformat"-Methode nach dem Stand der Technik, daß alle oder die meisten Y-, U- und V-Daten eines ganzen Vollbildes empfangen und gespeichert werden, bevor irgendeine solche Verarbeitung beginnen kann. (Der Grund ist, daß die Umwandlung von YUV-Daten in RGB- Daten alle YUV-Daten für das gesamte Vollbild erfordert.) Die Datenspeicherungserfordernisse vor dem Verarbeiten für das neue Format des Anmelders sind um einen Faktor reduziert, der ungefähr gleich dem Kehrwert der Anzahl von Blöcken pro Vollbild ist, was für das in Fig. 1 gezeigte Vollbild einen Faktor von 1/1200 bedeutet.

KURZBESCHREIBUNG DER ZEICHNUNG

Fig. 1 zeigt ein typisches Vollbild aus digitalen YUV-Videodaten.
Fig. 2 zeigt in einer vergrößerten Darstellung den ersten Block des Vollbildes nach Fig. 1 gemeinsam mit dessen Nachbarpixeln.
Fig. 3 ist ein Blockschaltbild eines Systems, das sich zur Implementierung des Verfahrens nach der Erfindung eignet.

AUSFÜHRLICHE BESCHREIBUNG

Eine bevorzugte Ausführungsform der vorliegenden Erfindung läßt sich begreifen durch Bezugnahme auf die Fig. 1 und 2 in Verbindung mit der nachstehenden Beschreibung.
Ein digitales Videovollbild, enthaltend 160 · 120 = 19 200 einzelne Pixel, die in einem rechteckigen Gitter mit Adressen P&sub1;&sub1; bis 160 angeordnet sind, ist unterteilt in 1200 als "Blöcke" bezeichnete 4-mal-4-Gruppen und in 30 als "Bänder" bezeichnete horizontale Streifen (aus jeweils 40 Blöcken). Es sei bemerkt, daß die Blöcke auch rechteckige Gestalt haben können.
Die ursprünglichen Pixeldaten werden mittels wohlbekannter YUV9- Unterabtasttechnik komprimiert, jedoch werden die resultierenden unterabgetasteten Daten in einem neuartigen und höchst vorteilhaften "paketierten" (d. h. verschachtelten) Format für die Übertragung arrangiert, wie folgt.
Die Werte von V&sub1;&sub1; und U&sub1;&sub1; (für das Pixel P&sub1;&sub1; im Block B&sub1;&sub1;) beginnen den Datenstrom und werden direkt gefolgt von den 16 Y-Werten für den Block B&sub1;&sub1;, fortschreitend von links nach rechts und von oben nach unten innerhalb des Blocks B&sub1;&sub1;. Mit anderen Worten, die übertragenen Farb- und Intensitätsdaten für den Block B&sub1;&sub1; erscheinen nacheinander wie folgt: (V&sub1;&sub1;, U&sub1;&sub1;, Y&sub1;&sub1;, Y&sub1;&sub2;, Y&sub1;&sub3;, Y&sub1;&sub4;, Y&sub2;&sub1;, Y&sub2;&sub2;, Y&sub2;&sub3;, Y&sub2;&sub4;, Y&sub3;&sub1;, Y&sub3;&sub2;, Y&sub3;&sub3;, Y&sub3;&sub4;, Y&sub4;&sub1;, Y&sub4;&sub2;, Y&sub4;&sub3;, Y&sub4;&sub4;). Nachdem diese Daten für den Block B&sub1;&sub1; übertragen worden sind, werden die Daten für den Block B&sub1;&sub2; unmittelbar danach in einem entsprechenden Format übertragen: (V&sub1;&sub5;, U&sub1;&sub5;, Y&sub1;&sub5;, Y&sub1;&sub6;, Y&sub1;&sub7;, Y&sub1;&sub8;, Y&sub2;&sub5;, Y&sub2;&sub6;, Y&sub2;&sub7;, Y&sub2;&sub8;, Y&sub3;&sub5;, Y&sub3;&sub6;, Y&sub3;&sub7;, Y&sub3;&sub8;, Y&sub4;&sub5;, Y&sub4;&sub6;, Y&sub4;&sub7;, Y&sub4;&sub8;). Dieses Muster der Datenübertragung wird von links nach rechts im Band 1 verfolgt und dann von links nach rechts im Band 2 fortgesetzt, und so weiter, bis das ganze Vollbild von YUV-Daten übertragen ist.
Durch Anwendung dieses paketierten Formates ist es möglich, die Verarbeitung der empfangenen digitalen Farbinformation zur Rekonstruktion und Bildwiedergabe zu beginnen, sobald die Übertragung der Daten für den ganzen ersten Block fertig ist (eine Ausnahme hiervon gibt es, wenn Interpolation angewandt wird, in welchem Fall vor dem Beginn der rekonstruierenden Verarbeitung auch die Daten für den zweiten Block (B&sub1;&sub2;) benötigt werden, wie weiter unten beschrieben). Dies ist ein großer Vorteil gegenüber dem YUV9-Formatverfahren nach dem Stand der Technik, bei welchem es erforderlich ist, alle oder die meisten YUV9-Daten eines ganzen Vollbildes zu empfangen und zu speichern, bevor irgendeine Verarbeitung und Rekonstruktion dieser Daten beginnt. Da es die vorliegende Erfindung erlaubt, die gewünschte Verarbeitung nach Übertragung nur eines oder zweier Blöcke von Daten zu beginnen, spart man durch die Anwendung dieses Formates deutlicherweise nicht nur Empfänger-Speicherplatz, sondern auch ein beträchtliches Maß an Empfangs- und Rekonstruktionszeit.
Während der Rekonstruktion (d. h. dem "Überabtasten") können die übertragenen V- und U-Werte für jeden einzelnen Block direkt für jedes Pixel des betreffenden Blocks angewandt werden. In diesem Fall haben alle sechzehn Pixel in einem gegebenen Block dieselben V-Werte und dieselben U-Werte, wenn auch der Y-Wert jedes Pixels irgendwo im erlaubten Bereich von Y-Werten liegen kann; wie vom Ursprungsbild festgelegt. Dies kann zu einem vom Menschen erkennbaren Artefakt im rekonstruierten Bild führen, der gewöhnlich als "Blockigkeit" bezeichnet wird. Dies kann sehr störend sein und wird daher für höchst unerwünscht gehalten.
Um die "Blockigkeit" im empfangenen und rekonstruierten Bild zu bezwingen, ist es nützlich, eine von zwei bekannten Methoden zusammen mit dem neuen paketierten YUV9-Format des Anmelders anzuwenden. Die erste ist Interpolation, und die zweite ist Dithering.
Eine brauchbare typische Interpolationsmethode besteht in einem bruchteilmäßigen Rekonstruktionsprozeß für die V- und U-Werte von Block zu Block in einer Folge von links nach rechts. Beispielsweise werden die rekonstruierten Werte V&sub1;&sub2;, V&sub2;&sub2;, V&sub3;&sub2; und V&sub4;&sub2; im Block B&sub1;&sub1; definiert als V(1-4)2 = (3/4 V&sub1;&sub1; + 1/4 V&sub1;&sub5;). In ähnlicher Weise ist V(1-4)3 = (1/2 V&sub1;&sub1; + 1/2 V&sub1;&sub5;) und V(1-4)4 = (1/4 V&sub1;&sub1; + 3/4 V&sub1;&sub5;), während den Größen V&sub2;&sub1;, V&sub3;&sub1; und V&sub4;&sub1; derselbe Wert gegeben wird wie der Größe V&sub1;&sub1;. Diese Vorgehensweise wird Block um Block implementiert, von links nach rechts und von oben nach unten, für die Rekonstruktion des gesamten digitalen Videovollbildes aus interpolierten V- und U-Werten, jeweils verwendet in Verbindung mit den jeweiligen übertragenen Y-Werten, um ein rekonstruiertes Bild zu schaffen, das kein blockiges Aussehen mehr hat.
Eine brauchbare typische Dithering-Technik bedient sich einer (algebraischen) Addition von Rauschen zu den empfangenen V- und U-Werten jeweils für jeden Block. Den V- und U-Werten für jedes Pixel in jedem Block (sofern sie nicht die empfangenen V- und U- Werte für das Pixel oben links in jedem Block sind) werden jeweils Werte gegeben, die etwas anders sind als die jeweiligen empfangenen V- und U-Werte und sich allgemein voneinander unterscheiden. Das hinzuaddierte Rauschen kann hinauslaufen auf eine Erhöhung oder eine Verminderung gegenüber den empfangenen V- und U-Werten. Der Betrag und das Vorzeichen des hinzuaddierten Rauschens kann entweder durch den Prozessor auf Zufallsbasis festgelegt werden (innerhalb spezieller positiver und negativer Grenzen) oder kann durch eine Rauschmatrix vorgeschrieben werden, die a priori vom Systemdesigner gewählt wird. In jedem Fall erhält man das Ergebnis, daß die übrigen fünfzehn V-Werte und fünfzehn U-Werte deutlich über die Fläche des Blockes variieren. Dies reduziert in hohem Maße die Wahrscheinlichkeit blockiger Artefakte im rekonstruierten Bild.
Neben allen oben beschriebenen Methoden hat der Anmelder auch herausgefunden, daß es bei den meisten verfügbaren Verarbeitungseinrichtungen wünschenswert ist, die Zahl der Datenwerte in Vielfachen von 4 auszurichten. So kann es für manche praktischen Implementierungen des paketierten YUV-Formats des Anmelders nützlich sein, nach dem Übertragen der V- und U-Werte zwei "Leerwerte" einzufügen, bevor die entsprechenden sechzehn Y-Werte gesendet werden. Bei dieser Weise ist die Gesamtanzahl übertragener (und empfangener) Werte für jeden Block gleich 20 (d. h. ein Vielfaches von 4) anstelle der ursprünglich beschriebenen Menge von 18.
Für Fachleute versteht sich, daß die oben beschriebene paketierte YUV-Methode auch mit Vorteil für das YUV12-Format (d. h. 2 · 2 Blöcke) und andere YUV-Formate angewandt werden kann.
Die Fig. 3 zeigt ein Blockschaltbild eines Systems, das sich zur Implementierung des Verfahrens nach der vorliegenden Erfindung eignet. In diesem System überträgt eine digitale Videoquelle 300 ein digitales YUV9-Videosignal an einen Speicherpuffer 301. Die digitalen Daten werden im Speicherpuffer 301 im standardgemäßen Planarformat gespeichert. Auf Befehl empfängt ein Videoprozessor 302 (der zur Umwandlung der Planardaten in paketierte YUV-Daten programmiert ist) die Daten in Planarform und überträgt sie entlang einem Videoübertragungsmedium 303 an einen digitalen Graphikbildschirmcontroller 304. Der Bildschirmcontroller sendet dann ein entsprechendes analoges RGB-Signal an den Videobildmonitor 305.
Die Erfindung des Anmelders ist in ihrem Umfang nicht auf die oben beschriebenen Ausführungsformen beschränkt sondern vielmehr durch die beigefügten Patentansprüche und deren deutliche Äquivalente definiert.

Claims

1. Verfahren zum Unterabtasten und Formatieren eines Vollbildes originaler digitaler YUV-Videodaten für die Übertragung, enthaltend die Schritte:

(A) das Vollbild wird in eine Vielzahl von Blöcken (B&sub1;&sub1;, B&sub1;&sub2;, ... B&sub2;&sub1;; B&sub2;&sub2;, ...; ...) von.) von Pixeln unterteilt;

(B) jedem Block der Vielzahl von Blöcken von Pixeln wird ein repräsentativer V-Wert (V&sub1;&sub1;) zugewiesen, der gleich einem der originalen V-Werte im entsprechenden Block des Vollbildes der originalen digitalen YUV-Videodaten ist;

(C) jedem Block der Vielzahl von Blöcken von Pixeln wird ein repräsentativer U-Wert (U&sub1;&sub1;) zugewiesen, der gleich einem der originalen U-Werte im entsprechenden Block des Vollbildes der originalen digitalen YUV-Videodaten ist,

gekennzeichnet durch die weiteren Schritte:

(D) die genannten repräsentativen V- und U-Werte, die in den Schritten (B) und (C) zugewiesen worden sind, werden für jeden betreffenden Block in Folge mit allen den Y-Werten (Y&sub1;&sub1;, Y&sub1;&sub2;, ...; Y&sub2;&sub1;, Y&sub2;&sub2;...; ...), die jedem betreffenden Block entsprechen, in einer Weise Block für Block formatiert, und

(E) es wird ein sequentieller paketierter Strom von digitalen Videodaten gebildet, enthaltend die Daten für jeden der Blöcke aus dem Schritt (D) in einer Folge, enthaltend die V-, U-, Y- Daten.

2. Verfahren nach Anspruch 1, wobei das Unterteilen entsprechend dem gewünschten Unterabtastverhältnis festgelegt wird.

3. Verfahren nach Anspruch 1, wobei die Blöcke von Pixeln rechteckige Gestalt haben.

4. Verfahren nach Anspruch 1, wobei die Blöcke von Pixeln quadratische Gestalt haben.

5. Verfahren nach Anspruch 4, wobei die Blöcke von Pixeln jeweils sechzehn Pixel enthalten.

6. Verfahren nach Anspruch 5, wobei die Anzahl von Datenstücken, die jedem Block zugeordnet sind, sechzehrf Y-Werte, einen repräsentativen V-Wert und einen repräsentativen U-Wert enthalten.

7. Verfahren nach Anspruch 6, wobei die jedem Block in den Schritten (B) und (c) zugewiesenen V- und U-Werte diejenigen V- und U-Werte der originalen digitalen Videodaten sind, die den Pixeln in der oberen linken Ecke des jeweiligen Blocks entsprechen. ·

8. Verfahren nach Anspruch 6, wobei der sequentielle paketierte digitale Videodatenstrom für das Vollbild Block um Block vom linken und rechten Rand und vom oberen zum unteren Rand des Vollbildes gebildet wird.

9. Verfahren nach Anspruch 6, wobei unmittelbar nach den V- und U-Werten für jeden Block und vor den sechzehn Y-Werten für jeden Block zwei Leerwerte eingefügt werden, so daß die Gesamtanzahl von Werten pro Block gleich zwanzig ist.

10. System zum Unterabtasten und Formatieren eines Vollbildes originaler digitaler YUV-Videodaten für die Übertragung, enthaltend:

(A) Mittel (301) zum Unterteilen des Vollbildes in eine Vielzahl von Blöcken (B&sub1;&sub1;, B&sub1;&sub2;, ... B&sub2;&sub1;; B&sub2;&sub2;, ...; ...) von Pixeln aufgeteilt;

(B) Mittel (301), um jedem Block der Vielzahl von Blöcken von Pixeln einen repräsentativen V-Wert (V&sub1;&sub1;) zuzuweisen, der gleich einem der originalen V-Werte im entsprechenden Block des Vollbildes der originalen digitalen YUV-Videodaten ist;

(C) Mittel (301), um jedem Block der Vielzahl von Blöcken von Pixeln einen repräsentativer U-Wert (U&sub1;&sub1;) zuzuweisen, der gleich einem der originalen U-Werte im entsprechenden Block des Vollbildes der originalen digitalen YUV-Videodaten ist, gekennzeichnet durch:

(D) Mittel (302) zum Formatieren der genannten repräsentativen V- und U-Werte, die in den Schritten (B) und (C) zugewiesen worden sind, für jeden betreffenden Block in Folge mit allen den Y-Werten (Y&sub1;&sub1;, Y&sub1;&sub2;, ...; Y&sub2;&sub1;, Y&sub2;&sub2; ...; ...), die jedem betreffenden Block entsprechen, in einer Weise Block für Block, und

(E) Mittel (302) zum Bilden eines sequentiellen paketierten Stroms von digitalen Videodaten, enthaltend die Daten für jeden der Blöcke aus dem Schritt (D) in einer Folge, enthaltend die V-, U-, Y-Daten.

11. System nach Anspruch 10, wobei das vom Unterteilungsmittel vorgenommene Unterteilen entsprechend dem gewünschten Unterabtastverhältnis festgelegt wird.

12. System nach Anspruch 10, wobei die Blöcke von Pixeln rechteckige Gestalt haben.

13. System nach Anspruch 10, wobei die Blöcke von Pixeln quadratische Gestalt haben.

14. System nach Anspruch 13, wobei die Blöcke von Pixeln jeweils sechzehn Pixel enthalten.

15. System nach Ansprüch 14, wobei die Anzahl von Datenstücken, die jedem Block zugeordnet sind, sechzehn Y-Werte, einen repräsentativen V-Wert und einen repräsentativen U-Wert enthalten.

16. System nach Anspruch 15, wobei die jedem Block zugewiesenen V- und U-Werte diejenigen V- und U-Werte der originalen digitalen Videodaten sind, die den Pixeln in der oberen linken Ecke des jeweiligen Blocks entsprechen.

17. System nach Anspruch 15, wobei der sequentielle paketierte digitale Videodatenstrom für das Vollbild Block um Block vom linken und rechten Rand und vom oberen zum unteren Rand des Vollbildes gebildet wird.

18. System nach Anspruch 15, wobei unmittelbar nach den V- und U-Werten für jeden Block und vor den sechzehn Y-Werten für jeden Block zwei Leerwerte eingefügt werden, so daß die Gesamtanzahl von Werten pro Block gleich zwanzig ist.