DE19743221A1

DE19743221A1 - Laufbildkompressionsschaltung und Laufbildkompressionsverfahren unter Verwendung von Bewegungsvektoren

Info

Publication number: DE19743221A1
Application number: DE19743221A
Authority: DE
Inventors: Kang-Young Lee; Hee-Jong Lee
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1996-03-11
Filing date: 1997-09-30
Publication date: 1999-06-10
Anticipated expiration: 2017-10-01
Also published as: GB9720488D0; GB2329781A; GB2329781B; DE19743221C2

Description

Technisches Gebiet der Erfindung

Die vorliegende Erfindung betrifft eine Schaltung und ein Verfahren zum Komprimieren von Laufbildinformation in einem Videosignalverarbeitungssystem, und insbesondere eine Laufbildkompressionsschaltung und ein Laufbildkompressionsverfahren, die Bewe gungsvektoren verwenden.

Um Film- oder TV-Laufbilder darzustellen, sind 30-50 Frames/sec an Informationen er forderlich. Somit gibt es eine kleine Zeitvariation zwischen aufeinanderfolgenden Fra mes in einem Film oder einem Videoband. Bei der digitalen Bildverarbeitung wird eine Datenkompression durchgeführt, um die Redundanz zwischen aufeinanderfolgenden Frames zu verringern.

Das allgemeinste Verfahren zum Komprimieren von Videodaten ist eine Ortsinformati onskompression, in der ein Frame in 8×8 Pixel eines Blocks partitioniert wird, und für sie eine diskrete Fourier-Transformation (DCT) ausgeführt wird. Vorliegend wird die DCT für Helligkeits- bzw. Luminanz- und Farbwert- bzw. Chrominanzsignale durchgeführt. Ein anderes Verfahren ist eine Zeitinformationskompression, in der eine Bewegung, die zwi schen den Frames auftritt, vorhergesagt und kompensiert wird. Die Bewegungsvorher sage wird im allgemeinen für das Helligkeits- bzw. Luminanzsignal in den 16×16 Pixeln eines Blocks durchgeführt. Diese Informationskompressionsverfahren werden unab hängig voneinander ausgeführt, oder miteinander kombiniert, um höhere Kompressi onseffekte zu erzielen. Die Informationskompression wird durch Vorhersage der Bewe gungen zwischen 2-4 aufeinanderfolgenden Frames durchgeführt, so daß eine Differenz in der Menge an Information entsprechend der Charakteristika des Frames besteht. Al lerdings wird die Information für den gesamten Frame für die Datenkompression benö tigt.

Um einen Abspiel-, Schnellvorlauf- oder Rücklaufbetrieb für die komprimierten Videoin formation durchzuführen, kann ein wahlfreier Zugriff pro Bildgruppe (GOP durchgeführt werden, was durch das MPEG vorgeschlagen wird. Die GOP gruppiert mit ungefähr 0,5 Sekunden (ungefähr fünfzehn Bilder). Als Beispiel wird die Videoinformationskompressi on entsprechend dem MPEG-I untenstehend erklärt. Fig. 1 zeigt ein Beispiel einer An ordnung von Frames in der GOP. Bezugnehmend auf Fig. 1 bilden fünfzehn Frames (Bilder) eine GOP. Die GOP hat einen I-Frame (intracodiertes Bild), das notwendiger weise für den Zweck der Unabhängigkeit des GOP umfaßt ist, einen P-Frame (prädiktivcodiertes Bild), das ein in Vorwärtsrichtung prädikitivcodiertes Bild zwischen Frames ist, und einen B-Frame (bidirektional prädiktivcodiertes Bild).

Die Fig. 2A und 2B zeigen Frametypen und eine Codierungsreihenfolge. Der I-Frame wird intracodiert, und der I-Frame und P-Frame werden in einer Reihenfolge codiert, die der des Originalbilds entspricht. Der B-Frame wird auf eine Art und Weise codiert, so daß die I- und P-Frames zuerst verarbeitet werden und dann der B-Frame zwischen sie eingesetzt wird. Anders ausgedrückt werden der I- und P-Frame in der Reihenfolge von a1 → a2 → a3 → a4, wie in Fig. 2A gezeigt, codiert, und der B-Frame wird in der Rei henfolge b1 → b4 → b2 → b3, wie in Fig. 2B gezeigt codiert. Wie oben beschrieben kann die Videoinformationskompression nicht ohne die Information über den gesamten Frame, der die Videoinformation aufbaut, durchgeführt werden. Dies ist beispielsweise bei einem monotonen Bild ineffizient, indem der Hintergrund kaum geändert wird, son dern nur ein Abschnitt variiert.

Eine Aufgabe der vorliegenden Erfindung ist es, eine hocheffiziente Kompressionsschal tung und ein Kompressionsverfahren für Laufbildinformation mit großer Redundanz zu schaffen, welche/welches das Originallaufbild mit mehreren Frames sogar reproduziert, wenn die Information nicht für alle Frames, die das Bild aufbauen, gegeben bzw. vor handen ist.

Kurze Beschreibung der Erfindung

Zur Lösung der Aufgabe, die der vorliegenden Erfindung zugrundeliegt, wird eine Lauf bildkompressionsschaltung geschaffen, die Laufbildinformation pro Frame empfängt und eine Kompression/Codierung dieser durchführt, wobei die Laufbildkompressionsschal tung aufweist: eine erste Framespeichereinrichtung zum Speichern des Startframes der Laufbildinformation, die ein Bild aufbaut; zweite und dritte Framespeichereinrichtungen zum Speichern zwei aufeinanderfolgenden Frames der Laufbildinformation; eine Bild grenzendetektionseinrichtung zum Detektieren einer Bildgrenze aus der Laufbildinfor mation der zwei aufeinanderfolgenden, von der zweiten und dritten Framespeicherein richtung geliefert Frames; eine Bewegungsvektordetektionseinrichtung zum Bestimmen eines Bewegungsvektors aus der Laufbildinformation des Startframes und des Endfra mes; eine Controllereinrichtung zum Erzeugen von zur Bildung eines Bilds erforderli chen Daten entsprechend der detektierten Bildgrenze und des Bewegungsvektors; und eine Bildreproduktionseinrichtung zum Reproduzieren eines übergangenen Frames unter Verwendung der durch den Controller erzeugten Daten, und Einsetzen desselben zwischen den Startframe und dem Endframe.

Weiterhin wird zur Lösung der Aufgabe, die der Erfindung zugrundeliegt, ein Verfahren zum Codieren komprimierter Laufbildinformation geschaffen. Ein Verfahren zum Codie ren komprimierter Laufbildinformation, umfassend die Schritte: Teilen der Laufbildinfor mation, pro verwendetem Frame, in Startframe, Endframe, und einen Frame, der be nachbart zu dem Endframe vorliegt, und Speichern derselben; Detektieren einer Bild grenze aus der Laufbildinformation der zwei benachbarten Frames; Vorhersagen eines Bewegungsvektors aus der Laufbildinformation des Startframes und des Endframes; und Erzeugen von Daten, die zum Aufbauen eines jeden Bilds entsprechend der detek tierten Bildgrenze, dem ermittelten Bewegungsvektor, und der Framezahl bzw. Zahl der Frames, die zwischen den Startframe und dem Endframe eingesetzt werden sollen, er forderlich sind, Reproduzieren eines übergangenen Frames unter Verwendung der er zeugten Daten, und Einsetzen des reproduzierten Frames zwischen den Startframe und dem Endframe.

Die oben beschriebene vorliegende Erfindung kann in weitem Umfang beim Komprimie ren von Laufbildinformation in einem Videosignalverarbeitungssystem eingesetzt wer den.

Kurze Beschreibung der Zeichnungen

Fig. 1 zeigt ein Beispiel einer Anordnung von Frames in einer GOP;

Fig. 2A und 2B zeigen Frametypen und eine Codierungsreihenfolge;

Fig. 3A und 3B sind imaginäre Diagramme von Bildern, die zeigen, daß sich ein Fluggerät von der untere linken Ecke in die oberen rechte Ecke bewegt;

Fig. 4 ist ein Blockdiagramm einer Laufbildkompressionscodiervorrichtung ge mäß der vorliegenden Erfindung; und

Fig. 5 zeigt die Form eines Bewegungsvektors entsprechend der Bewegung der Bewegungsblöcke.

Detaillierte Beschreibung der bevorzugten Ausführungsform

Unter Bezugnahme auf die beigefügten Zeichnungen wird eine bevorzugte Ausfüh rungsform der vorliegenden Erfindung untenstehend im Detail beschrieben. Es ist zu bemerken, daß die Komponenten-Bezugszeichen in allen Zeichnungen konsistent sind. Obwohl viele spezifizierte Details, wie Komponenten der Schaltung, in der folgenden Beschreibung erscheinen, sind diese Details nur zum allgemeinen Verständnis der vor liegenden Erfindung gedacht. Es ist für einen Fachmann dieser Technologie offensicht lich, daß die vorliegende Erfindung ohne diese speziellen Details ausgeführt werden kann. Bei der Beschreibung der vorliegenden Erfindung wird von einer detaillierten Be schreibung abgesehen, falls eine detaillierte Beschreibung der hauptsächlichen Funkti on oder des Aufbaus zur Zweideutigkeit des wesentlichen Punkts der vorliegenden Er findung führt.

Die Fig. 3A und 3B sind frei erfundene Diagramme von Bildern, die zeigen, daß sich ein Fluggerät von der unteren linken Ecke in die obere rechte Ecke bewegt. Fig. 3A zeigt das Startbild, in dem das Fluggerät zu einem Zeitpunkt t1 an einer Position A lokalisiert ist, und die Fig. 3B zeigt das Endbild, in dem das Fluggerät zu einem Zeitpunkt t2 an ei nem Endpunkt B lokalisiert ist. Dazwischen wird die Reproduktion eines Laufbilds derart durchgeführt, daß eine kontinuierliche Bewegung in viele Standbilder geteilt wird, und die Standbilder schnell projiziert werden. Hierdurch werden die Standbilder dem Beob achter gemäß dem Residueeffekt zu gezeigt wie fließend nacheinander ablaufende Bil der. Wie in den Fig. 3A und 3B gezeigt, kann, wenn die Bildübertragung durchgeführt wird, wobei Zwischenbilder ausgelassen werden, ihr Empfänger bestimmen, wie sich das Fluggerät entsprechend einer Ausführungsform der vorliegenden Erfindung von der Position A zur Position B bewegt.

Fig. 4 ist ein Blockdiagramm einer Kompressionslaufbildinformationscodiervorrichtung unter Verwendung von Bewegungsvektoren, und Fig. 5 zeigt die Form eines Bewe gungsvektors entsprechend der Bewegung von Bewegungsblöcken. Die Kompression der Laufbildinformation und das Codierverfahren der Kompressionslaufbildinformation unter Verwendung von Bewegungsvektoren wird untenstehend im Detail unter Bezug nahme auf die Fig. 4 und 5 gezeigt.

Ein Eingangsvideosignal VI wird in einem Framespeicher 10 mit einer Kapazität, die zur Speicherung von Videoinformation eines Frames geeignet ist, gespeichert. Der An fangsframe der Frames, die ein Laufbild aufbauen, der Startframe fⁿ, wird an einem se paraten Ort, nämlich dem f^s-Framespeicher 20 abgespeichert. Eine Bildgrenzendetekti onseinrichtung 30 vergleicht die Luminanzsignale zweier kontinuierlicher Frames pro Pi xel und liefert den Durchschnitt der Quadrate der Luminanzsignale. Dann vergleicht die Bildgrenzendetektionseinrichtung 30 den erhaltenen Durchschnitt mit einem Schwell wert, der zuvor experimentell bestimmt worden ist. Aus dem Ergebnis des Vergleichs wird, wenn der Durchschnitt größer als der Schwellwert ist, geschlossen, daß es Bild grenze zwischen den beiden Frames vorliegt.

Zusätzlich gibt, wenn Y^m(x, y) als Luminanzkomponentenwert (Y) an der Position (x, y) des m-ten Frames bezeichnet wird, die Bildgrenzendetektionseinrichtung 30 ein Ergeb nis, wie es in der folgenden Formel (1) beschrieben ist, aus:

Σ_nΔ Y^n-1 = Σ_n[Yⁿ(x, y) - Y^n-1(x, y)] (1).

Wenn das Ergebnis den Schwellwert übersteigt, wird der entsprechende Frame als Bildgrenze angesehen, und die Framezahl n wird an einen Controller 50 weitergegeben, wo sie verwendet wird, wenn eine Bildreproduktionseinrichtung 60 eine Codierung durchführt, was später untenstehend beschrieben wird.

Ein Bewegungsvektor 40 empfängt die Laufbildinformation des Startframes und des Endframes, wie in Fig. 3A und 3B gezeigt, von den Frames, die das Bild aufbauen, und sagt die Spur eines sich bewegenden Objekts zwischen zwei Frames vorher. In dieser Ausführungsform werden die Daten der zwei Frames pro 16×16 Pixels eines Blocks ein gegeben, und die Luminanzkomponenten zwischen entsprechenden Blöcken werden verglichen. Hierbei hat eine Abschnitt, in dem keine Bewegung vorliegt, einen sehr klei nen Luminanzkomponentenwert, wohingegen ein Abschnitt, in dem eine Bewegung vor liegt, einen großen Wert hat. Somit können die Blöcke, die das sich bewegende Objekt enthalten, erfaßt werden. Diese Information wird außerdem an den Controller 50 über tragen.

Das heißt, die Laufbildinformation wird aus dem Startframe fⁿ und dem Endframe f^E ei nes jeden Bilds erhalten. Diese zwei Frames werden in zwei Framespeichern 10 und 20 gespeichert. Der Bewegungsvektordetektor 40 erhält die Differenz zwischen den zwei Eingaben, die von den zwei Framespeichern 10 und 20 geliefert werden, wobei jeder in der Einheit von 16×16 Pixeln eines Blocks aufgebaut ist, und vergleicht den Unterschied mit dem Schwellwert, um einen Block auszuwählen, der den Schwellwert übersteigt. Dieser Block wird als Bewegungsblock bezeichnet. Ein Bewegungsvektor MV, wie in Fig. 5 gezeigt, wird dadurch erhalten, daß der Ort des Bewegungsblocks für den Startframe und den Endframe verwendet werden.

Eine Bildreproduktionseinrichtung 60 reproduziert das Originalbild unter Verwendung der von dem Controller 50 gelieferten Framezahl, die zwischen dem Startframe und dem Endframe, eingesetzt werden sollen, und dem Bewegungsvektor, der den Übergang der Bewegung anzeigt. Die Framezahl, die eingesetzt werden soll, wird aus dem Startframe fⁿ und dem Endframe f^E, wie durch folgende Formeln (2) beschrieben, erhalten.

Framezahl = fⁿ - f^E - 1 (2).

Dann wird die Bewegungsentfernung pro Pixel aus dem Bewegungsvektor, wie durch folgende Formeln (3) und (4) beschrieben, erhalten.

x-Komponente des Bewegungsabstands = X^E - X^S (3)

y-Komponente des Bewegungsabstands = y^E - y^S (4).

Deshalb ist der Ort des Bewegungsblocks für den n-ten Frame, der eingesetzt werden soll, gleich den folgenden Formeln (5) und (6).

X_m.X' + [(X^E-X^S) / (f^E-f^S-1)].n (5)

y_m.y' + [(y^E-y^S) / (f^E-f^S-1)].n (6).

Während es andere Verfahren zur Verarbeitung des Startframes fⁿ und des Endframes f^E gibt, ist die Kompression unter Verwendung der DCT das allgemeinste Verfahren.

Wie oben beschrieben, kann für Laufbildinformation mit relativ einfachen Hintergrund und großer Redundanz die vorliegende Erfindung das Originalbild reproduzieren, wobei Information über den Startframe und den Endframe eines Bilds, die Framezahl, die zwi schen dem Start und dem Endframe eingesetzt werden soll, und den Bewegungsvektor verwendet werden, im Gegensatz zu dem herkömmlichen Verfahren, in dem die Kom pression für alle Frames, die das Laufbild aufbauen, durchgeführt wird. Dementspre chend kann die Kompressionseffizienz für Information maximiert werden.

Deshalb ist es offensichtlich, daß die vorliegende Erfindung nicht auf die spezielle Aus führungsform, die hier als beste Form zur Durchführung der vorliegenden Erfindung an zusehen ist, oder auf die speziellen hier beschriebenen Ausführungsformen beschränkt ist.

Claims

1. Eine Laufbildkompressionsschaltung, die Laufbildinformation pro Frame emp fängt und eine Kompression/Codierung dieser durchführt, wobei die Laufbild kompressionsschaltung aufweist:
eine erste Framespeichereinrichtung zum Speichern des Startframes der Laufbildinformation, die ein Bild aufbaut;
zweite und dritte Framespeichereinrichtungen zum Speichern zwei aufeinander folgenden Frames der Laufbildinformation;
eine Bildgrenzendetektionseinrichtung zum Detektieren einer Bildgrenze aus der Laufbildinformation der zwei aufeinanderfolgenden, von der zweiten und dritten Framespeichereinrichtung geliefert Frames;
eine Bewegungsvektordetektionseinrichtung zum Bestimmen eines Bewe gungsvektors aus der Laufbildinformation des Startframes und des Endframes;
eine Controllereinrichtung zum Erzeugen von zur Bildung eines Bilds erforderli chen Daten entsprechend der detektierten Bildgrenze und des Bewegungsvek tors; und
eine Bildreproduktionseinrichtung zum Reproduzieren eines übergangenen Frames unter Verwendung der durch den Controller erzeugten Daten, und Ein setzen desselben zwischen den Startframe und dem Endframe.

2. Die Laufkompressionsschaltung nach Anspruch 1, in welcher die Bildgrenzen detektionseinrichtung aufweist:
eine Einrichtung zum Ermitteln des Durchschnitts der Quadrate der Luminanz komponenten der entsprechenden Frames pro Pixel; und
eine Einrichtung zum Vergleichen des Durchschnitts mit einem vorbestimmten Schwellwert, und zum Bestimmen des entsprechenden Frames als Bildgrenze, wenn der Durchschnitt den Schwellwert übersteigt.

3. Die Laufbildkompressionsschaltung nach Anspruch 1, in welcher die Bewe gungsvektordetektionseinrichtung aufweist:
eine Einrichtung zum Empfangen von Pixelblöcken in der vorbestimmten Ein heit, und zum Erhalten der Differenz zwischen diesen, wobei die Pixelblöcke den Startframe und dem Endframe eines Bilds aufbauen;
eine Einrichtung zum Vergleichen der Differenz mit einem vorbestimmten Schwellwert, und zum Erfassen eines Pixelblocks über dem Schwellwert als Bewegungsblock; und
eine Einrichtung zum Detektieren eines Bewegungsvektors entsprechend dem Ort des Bewegungsblocks.

4. Die Laufbildkompressionsschaltung nach Anspruch 1, in welcher die Bildrepro duktionseinrichtung aufweist:
eine Einrichtung zum Ermitteln der Framezahl, die zwischen den Startframe und den Endframe eingesetzt werden sollen;
eine Einrichtung zum Ermitteln des Bewegungsabstands aus dem Bewegungs vektor pro Pixel; und
eine Einrichtung zum Ermitteln des Orts des Bewegungsblocks entsprechend des Bewegungsabstands, der Framezahl, die eingesetzt werden sollen, und der entsprechenden Framezahl.

5. Ein Verfahren zum Codieren komprimierter Laufbildinformation, umfassend die Schritte:
Teilen der Laufbildinformation, pro verwendetem Frame, in Startframe, Endfra me, und einen Frame, der benachbart zu dem Endframe vorliegt, und Spei chern derselben;
Detektieren einer Bildgrenze aus der Laufbildinformation der zwei benachbarten Frames;
Vorhersagen eines Bewegungsvektors aus der Laufbildinformation des Start frames und des Endframes; und
Erzeugen von Daten, die zum Aufbauen eines jeden Bilds entsprechend der detektierten Bildgrenze, dem ermittelten Bewegungsvektor, und der Framezahl bzw. Zahl der Frames, die zwischen den Startframe und dem Endframe einge setzt werden sollen, erforderlich sind, Reproduzieren eines übergangenen Fra mes unter Verwendung der erzeugten Daten, und Einsetzen des reproduzierten Frames zwischen den Startframe und dem Endframe.