DE102006043707A1

DE102006043707A1 - Verfahren zur Datenkompression in einer Videosequenz

Info

Publication number: DE102006043707A1
Application number: DE102006043707A
Authority: DE
Inventors: Ulrich-Lorenz Benzler; Steffen Kamp
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2006-09-18
Filing date: 2006-09-18
Publication date: 2008-03-27
Also published as: JP2010504010A; KR20090074162A; EP2067359A2; WO2008034715A2; CN101518084A; CN101518084B; US20100284465A1; WO2008034715A3; KR101383612B1

Abstract

Es werden ein Verfahren zur Datenkompression in einer Videosequenz, eine Anordnung zur Durchführung des Verfahrens, ein Computerprogramm und ein Computerprogrammprodukt vorgestellt. Bei dem beschriebenen Verfahren werden zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorhergehenden zeitlichen Dekompositionsstufe verwendet.

Description

Die Erfindung betrifft ein Verfahren zur Datenkompression in einer Videosequenz, eine Einrichtung zur Durchführung des Verfahrens sowie ein Computerprogramm und ein Computerprogrammprodukt.
Stand der Technik
Bei der Übertragung und Bearbeitung von Videodaten werden sogenannte Datenkompressionsverfahren eingesetzt, mit denen bspw. durch Zusammenfassen redundanter Daten der Datenumfang reduziert wird, so dass diese schneller übertragen werden können.
Bei gegenwärtigen Videocodierungsschemata stellt die Bewegungskompensation einen maßgeblichen Faktor bei der Kompressionsleistungsfähigkeit dar. Dabei ist jedoch zu berücksichtigen, dass eine bei der Bewegungskompensation durchgeführte Bewegungsabschätzung, d.h. das Bestimmen der Bewegungsparameter einer Videosequenz, sehr rechenintensiv ist und während der Codierung die meiste Zeit in Anspruch nimmt.
Viele Videocodierungsstandards, wie beispielsweise MPEG-1/2/4 und H.264/AVC, verwenden sogenannte blockbasierte Bewegungskompensationen, bei denen einzelne Bilder in rechteckig partitionierte Bildpunktbereiche unterteilt werden und ein versetzter Block aus einem Referenzbild als Vorhersage bzw. Prädiktion für jede Partition verwendet wird. Dabei codiert der Codierer nur die Versetzung, nämlich einen Fahrt- bzw. Bewegungsvektor, für jeden Bereich und eine Strukturabweichung, die den Unterschied zwischen dem tatsächlich codierten Bereich und der Vorhersage darstellt.
Bei der skalierbaren Videocodierung (SVC: scalable video coding) basierend auf einem bewegungskompensierten Zeitfilter oder hierarchischen, bidirektional prädizierten Bildern (B-slices), kann eine Korrelation von Bewegungsparametern in verschiedenen zeitlichen und räumlichen Dekompositionsstufen erwartet werden.
Algorithmen für eine schnelle Bewegungsabschätzung können die Anzahl der Rechenschritte erheblich reduzieren, obgleich die Kompressionseffizienz nur minimal verringert wird. Im Vergleich zu einer Bewegtbildvektorsuche verringern solche Algorithmen den Satz an zu testenden Bewegungsvektoren, um Suchmuster einzusparen. Dabei kann ein um den besten Vektorkandidaten zentriertes Suchmuster angewendet werden.
Bei typischen Videosequenzen überdecken sich bewegende Objekte oftmals Bildbereiche, die größer als die maximale Blockgröße der Bewegungskompensation oder die Makroblockgröße sind. Daher weisen räumlich benachbarte Bewegungsvektoren oft eine große Abhängigkeit auf, wobei diese Tatsache bei Videocodierungssystemen häufig ausgenutzt wird, indem nur der Unterschied zwischen einem gegenwärtigen Bewegungvektor und einem zugeordneten Bewegungsvektorprädiktor (MVP: motion vector predictor) codiert wird, der wiederum von kausalen, räumlich benachbarten Vektoren abgeleitet wird.
Darüber hinaus kann eine Korrelation zwischen zeitlich benachbarten Vektoren ebenfalls aufgrund eines sich nur langsam ändernden Gehalts innerhalb einzelner Szenen abgeschätzt werden. Dabei verwenden viele Verfahren zur Bwegungsabschätzung einen Bewegungsvektorprädiktor als anfänglichen Vektor, um den der Suchalgorithmus zentriert wird. Eine andere Vorgehensweise sieht vor, dass ausschließlich ein Satz von Kandidaten verwendet wird, der aus Bewegungsvektorprädiktoren und davon abgeleiteten Vektoren besteht.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Datenkompression in einer Videosequenz, bei dem zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorhergehenden zeitlichen Dekompositionsstufe verwendet werden. Die Ergebnisse werden verwendet, um Vektorkandidaten für die nächste Dekompositionsstufe vorherzusagen, da der Rechenaufwand von Algorithmen zur Bewegungsabschätzung, insbesondere wenn der zeitlich Abstand zwischen Bildern groß ist, sehr hoch ist, was bspw. beim skalierbaren Videocodieren der Fall ist. Es ist somit vorgesehen, einen prädiktiven Bewegungsabschätzungsalgorithmus einzusetzen, der eine Bewegungskorrelation nutzt, die insbesondere bei einem skalierbaren Videocodieren vorliegt, basierend auf bewegungskompensiertem zeitlichen Filtern oder der Verwendung von sogenannten offenen hierarchischen bidirektional prädizierten Bildern.
Der vorgeschlagene Algorithmus verringert erheblich den Rechenumfang der Bewegungsabschätzungsstufe. Dabei entspricht die objektive und visuelle Qualität weitgehend derjenigen von bekannten, umfangreichen vollständigen Suchalgorithmen.
In Ausgestaltung umfasst der Algorithmus einen Kandidatensatz von (exakten) Vollpixelbewegungsvektoren für eine vorwärts und rückwärts gerichtete Vorhersage bzw. Prädiktion von jeder (Unter-)Partition eines Makroblocks. Eine Berechnung der Bewegungsvektorkandidaten erfordert einen Zugriff auf Vektoren von entweder dem gegenwärtigen Bild oder zuvor geschätzten Bildvektorfeldern. Die einzelnen Kandidaten des Vollpixelkandidatensatzes S werden wie folgt ausgewählt:
Null-Vektorkandidaten
Viele Szenen enthalten keine oder nur geringe Kamera- oder Hintergrundbewegungen. Daher wird ein rückwärts gerichteter Null-Vektor (0, 0) zu dem Kandidatensatz hinzugefügt.
Räumliche Vektorkandidaten
Bis zu drei Kandidaten pro Vorhersagerichtung werden von räumlich benachbarten Partitionen bzw. Abschnitten innerhalb des gegenwärtigen Bilds abgeleitet. Zunächst wird der Bewegungsvektorprädiktor betrachtet, der ebenfalls für ein differentielles Codieren des gegenwärtigen Bewegungsvektors eingesetzt und auf bekannte Weise abgeleitet ist, wie dies bspw. in der Veröffentlichung "Joint final draft international standard (FDIS) of joint video specification (ITU-T rec. H.264/ISO/IEC 14496-10 AVC)" in JVT, 7th Meeting, Dokument JVT-G050, Pattaya, Thailand, März 2003, ITU-T, ISO/IEC von Thomas Wiegand und Garry Sullivan beschrieben ist.
Die Bewegungsvektoren der Partitionen des linken Nachbarn und des Nachbarn zur rechten oben, die von den Bewegungsvektoren erhalten werden, die beim Berechnen des Bewegungsvektorprädiktors verwendet werden, sind, soweit diese verfügbar sind, ebenfalls umfasst. Falls der Nachbar rechts oben nicht vorliegt, wird anstelle dessen der Nachbar links oben verwendet.
Zeitliche Vektorkandidaten
Die zeitlichen Vektorkandidaten für eine vorwärts gerichtete und rückwärts gerichtete Abschätzung werden aufgrund der Verfügbarkeit von zuvor bestimmten Bewegungsvektoren auf verschiedene Weise abgeleitet. Rückwärts gerichtete Bewegungsvektorkandidaten werden von invertierten vorwärts gerichteten Bewegungvektoren des gegenwärtigen Bilds abgeleitet. Daher werden lediglich Bewegungsvektoren von oberhalb oder links des gegenwärtigen Makroblocks aufgrund von Kausalitätsbeschränkungen verwendet. Zwei zuvor gespeichterte Bewegungsvektoren der Makroblöcke links und rechts oben bezogen auf den gegenwärtigen Makroblock werden als zeitliche Vektorkandidaten ausgewählt. Bei vorwärts gerichteten Bewegungsvektoren ist die Situation eine andere, da jeder der vorwärts gerichteten Bewegungsvektoren von dem bereits abgeschätzten Bewegungsvektorfeld des vorherigen Bilds als Kandidat verwendet werden kann. Die ausgewählten, vorwärts gerichteten Kandidaten sind die invertierten Bewegungsvektoren des gespeicherten Bewegungsfelds und werden von den Nachbarn rechts und links unterhalb des gemeinsam angeordneten Makroblocks erhalten.
Zeitliche Zwischenschicht-Vektorkandidaten
Die zeitlichen Zwischenschicht-Vektorkandidaten (ILC: interlayer candidate) sind dafür vorgesehen, eine Vektorvorhersage zu verbessern. Dies ist insbesondere in Zusammenhang mit einem bewegungskompensierten zeitlichen Filtern oder bei offenen hierarchischen bidirektional prädizierten Bildern der Fall. Bei jeder zeitlichen Dekompositionsstufe verdoppelt sich der zeitliche Abstand zwischen bewegungskompensierten Bildern. Dies würde eigentlich einen erhöhten Bewegungsvektorsuchbereich für die Bewegungsabschätzung erforderlich machen. Es ist jedoch möglich, Bewegungsvektoren von früheren Stufen zu kombinieren, um die Bewegung in späteren Stufen vorherzusagen. Ein Kandidat für die zeitliche Schicht 1 wird anhand eines Paars mit einem vorwärts gerichteten und einem rückwärts gerichteten Bewegungsvektor von der vorherigen zeitlichen Dekompositionsstufe 1-1 berechnet.
Da alle Kandidaten, außer der Kandidat für den Bewegungsvektorprädiktor, direkt von vorhergehenden Bildabschätzungsergebnissen abgeleitet werden, ist ein Verfahren zum Anpassen an die sich ändernde Bewegung in der Sequenz vorteilhaft. Daher ist ein Vektorsatz S durch Hinzufügen jedes Vektors von dem Satz S zu einem zufällig ausgewählten Vektor r_i vorgesehen, was zu einem abschließenden Vektorsatz S_final führt:
S_final = {v₁, ...v_n, v₁ + r₁, ... v_n + r_n}.
In In Ausgestaltung wird der beste Kandidat für den Bewegungsvektor durch Minimieren einer Kostenfunktion für alle eindeutigen Vektoren des abschließenden Vektorsatzes bestimmt. Eine nachfolgende Vollpixelverfeinerung einer Mustersuche um die besten Bewegungsvektorkandidaten kann ebenfalls durchgeführt werden.
Es kann vorgesehen sein, dass zunächst durch Evaluieren der acht umgebenden Halbpixelpositionen und anschließend durch Testen der acht Viertelpixelpositionen um den besten Halbpixelkandidaten abschließend eine Subpixelverfeinerung durchgeführt wird.
Zur Auswahl des Codiermodus können die Kosten des Datenraten-Bildverzerrungs-Verhältnisses aus den beiden unidirektionalen Modi und dem bidirektionalen Modus verglichen werden, wobei die beiden besten unidirektionalen Bewegungsvektoren ohne weitere bidirektionale Verfeinerung verwendet werden.
Weiterhin wird eine Anordnung vorgeschlagen, die zur Durchführung des vorstehend beschriebenen Verfahrens ausgebildet ist. Diese umfasst regelmäßig eine Recheneinheit.
Die Erfindung betrifft weiterhin ein Computerprogramm mit Programmcodemitteln, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
Die Erfindung betrifft außerdem ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
1 zeigt zwei verschiedene Kandidatenzuordnungsschemata zur Verdeutlichung des erfindungsgemäßen Verfahrens.
2 zeigt die Erzeugung eines Bewegungsvektorsatzes anhand verschiedener Informationsquellen für eine Bewegungsabschätzung.
3 zeigt eine Ausführungsform der erfindungsgemäßen Anordnung in schematischer Darstellung.
Ausführungsform der Erfindung
In 1 sind verschiedene Zuordnungsschemata für Kandidaten für die zeitliche Zwischenschicht dargestellt. Im oberen Bereich ist ein erster Rahmen 10 für den Vektorsatz s^1-1 _2t-2, ein zweiter Rahmen 12 für den Vektorsatz s^1-1 _2t-1 und ein dritter Rahmen 14 für den Vektorsatz s^1-1 _2t dargestellt. Im unteren Bereich der Darstellung sind ein vierter Rahmen 16 für den Vektorsatz s¹ _t-1 und ein fünfter Rahmen 18 für den Vektorsatz s¹ _t dargestellt.
Gemäß dem oberen Teil der Figur wird ein Kandidat für ein Vektor für einen Block 20 mit Vektor 21 v_fwd aus dem Rahmen 10 und mit Vektor 22 v_bwd aus dem Rahmen 14 ermittelt. Ein Kandidat für die zeitliche Schicht 1 wird somit anhand eines gespeicherten Paars eines vorwärts gerichteten und rückwärts gerichteten Bewegungsvektors aus der vorherigen zeitlichen Dekompositionsstufe 1-1 ermittelt.
Wie der untere Teil der Darstellung vermittelt, können grundsätzlich zwei Kandidatenzuordnungsschemata verwendet werden. So kann dies mit Vektor 23 v_fwd, durch Zuordnen der Kandidaten zu dem jeweils gemeinsam angeordneten (co-located) Block und durch Zuordnen der Kandidaten zu dem Block, der der Bewegungstrajektorie folgt, mit Vektor 24 v_fwd,trj erfolgen. Der Block in s^1-1 _2t überlappt maximal den referenzierten Bereich des bestimmten v_bwd und sein gemeinsam angeordneter Block in s¹ _t ist v_fwd,trj als Kandidat zugeordnet.
2 zeigt die Erzeugung eines Bewegungsvektorkandidatensatzes 30 anhand verschiedener Informationsquellen für eine schnelle und effiziente Bewegungsabschätzung. Die verschiedenen Informationsquellen sind dabei ein gegenwärtiger Rahmen 32 mit einer geringeren Auflösung, ein zuvor codierter Rahmen 34, der möglicherweise einer unterschiedlichen zeitlichen Schicht entnommen ist und ein gegenwärtiger Rahmen 36 mit einer höheren räumlichen Auflösung. Eine erste gestrichelte Linie 38 verdeutlicht die Aufnahme eines Vektors 40 skaliert zu einer höheren räumlichen Auflösung in die Liste 30. Ein im gegenwärtigen Rahmen 36 vorgesehener Block 42 zeigt den gegenwärtigen Makroblock 42.
In 3 ist eine Ausführungsform der erfindungsgemäßen Anordnung insgesamt mit der Bezugsziffer 50 bezeichnet dargestellt. Diese Anordnung 50 umfasst eine Recheneinheit 52, eine Speichereinrichtung 54 und eine Eingabe-/Ausgabeeinheit 56, die über Datenleitungen 58 miteinander verbunden sind.
In der Recheneinheit 52 wird das Verfahren zur Datenkompression durchgeführt, wobei zu komprimierende Daten bzw. Videosequenzen über die Eingabe-/Ausgabeeinheit 56 empfangen und nach der Kompression auch wieder weitergegeben werden können. Die Recheneinheit 52 kann auch dafür vorgesehen sein, komprimierte Daten zu dekomprimieren.

Claims

Verfahren zur Datenkompression in einer Videosequenz, bei dem zur Bewegungskompensation auch Ergebnisse einer Bewegungsabschätzung einer vorhergehenden zeitlichen Dekompositionsstufe verwendet werden.
Verfahren zur Datenkompression in einer Videosequenz, bei dem ein prädiktiver Algorithmus zur Bewegungsabschätzung eingesetzt wir.
Verfahren nach Anspruch 2, bei dem der Algorithmus einen Kandidatensatz (30) von Vollpixelbewegungsvektoren umfasst.
Verfahren nach Anspruch 3, bei dem eine Methode zum Anpassen an eine sich ändernde Bewegung in der Sequenz eingesetzt wird.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem durch Minimieren einer Kostenfunktion ein Kandidat für den Bewegungsvektor bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 5, bei dem zunächst durch Evaluieren der acht umgebenden Halbpixelpositionen und anschließend durch Testen der acht Viertelpixelpositionen um den besten Halbpixelkandidaten abschließend eine Subpixelverfeinerung durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 6, bei dem zur Auswahl eines Codiermodus das Datenraten-Bildverzerrungs-Verhältnis herangezogen wird.
Anordnung zur Datenkompression einer Videosequenz, die zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 ausgebildet ist.
Anordnung nach Anspruch 8, die eine Recheneinheit (52) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 aufweist,
Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit (52), insbesondere in einer Anordnung (50) nach Anspruch 8 oder 9, ausgeführt wird.
Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit (52), insbesondere in einer Anordnung (50) nach Anspruch 8 oder 9, ausgeführt wird.