DE102010046508B4

DE102010046508B4 - Verfahren und Vorrichtung, um einen Suchbereich für die Bewegungsabschätzung adaptiv auszuwählen

Info

Publication number: DE102010046508B4
Application number: DE102010046508.9A
Authority: DE
Inventors: Lidong Xu; Yi Jen Chiu
Original assignee: Intel Corp
Current assignee: Tahoe Research Ltd
Priority date: 2009-10-20
Filing date: 2010-09-24
Publication date: 2021-11-25
Anticipated expiration: 2030-09-25
Also published as: CN102045563A; US8462852B2; KR101713354B1; DE102010046508A1; JP4928627B2; KR20110043490A; CN102045563B; US9445103B2; KR20120100853A; KR101239567B1; GB2474745B; US20130336402A1; US20110090964A1; GB201015985D0; TWI495328B; GB2474745A; TW201121334A; JP2011091794A

Abstract

Verfahren zur Bewegungsabschätzung für einen ersten Block eines ersten Frames, umfassend:
Bestimmen einer Reihe von Bewegungsvektoren, die jeweils einem Block entsprechen, wobei jeder Block mit dem ersten Block als zeitlicher oder räumlicher unmittelbarer oder mittelbarer Nachbar verbunden ist;
Berechnen eines Durchschnittswerts (mean value, mv) der Reihe von Bewegungsvektoren; und
Berechnen eines Suchbereich-Vektors gemäß der Formel

(α * mv) + β,

wobei α = 1,1 und β = (4, 4) ist; und
der Suchbereich-Vektor eine Bewegungssuche zur Ermittlung der Bewegungsabschätzung für den ersten Block begrenzt.

Description

HINTERGRUND
Bewegungsabschätzung (motion estimation, ME) bei der Videocodierung kann verwendet werden, um die Videokomprimierungsleistung zu verbessern, indem temporäre Redundanz zwischen Videoframes entfernt oder verringert wird. Um einen Eingabeblock zu codieren, kann herkömmliche Bewegungsabschätzung bei einem Encoder innerhalb eines spezifizierten Suchfensters in Referenzframes durchgeführt werden. Dadurch kann ein Bewegungsvektor bestimmt werden, um die Gesamtabweichungen (sum of absolute differences, SAD) zwischen dem Eingabeblock und einem Referenzblock in einem Referenzframe zu minimieren. Die Information des Bewegungsvektors (motion vector, MV) kann dann an einen Decoder zur Bewegungskompensation übertragen werden. Der Bewegungsvektor kann für nicht ganzzahlige Pixeleinheiten bestimmt werden, und Interpolationsfilter können verwendet werden, um nicht ganzzahlige Pixelwerte zu berechnen.
Wo die ursprünglichen Eingabeframes bei dem Decoder nicht verfügbar sind, kann ME bei dem Decoder mittels der rekonstruierten Referenzframes durchgeführt werden. Bei der Codierung eines vorhergesagten Frames (P-Frame) kann es mehrere Referenzframes in einem Vorwärts-Referenzpuffer geben. Bei der Codierung eines Doppelvorhersage-Frames (B-Frame) kann es mehre Referenzframes im Vorwärtsreferenzpuffer und mindestens einen Referenzframe in einem Rückwärtsreferenzpuffer geben. Zur Codierung eines B-Frames kann Spiegel-ME oder projektive ME durchgeführt werden, um den MV zu erhalten. Zur Codierung eines P-Frames kann projektive ME durchgeführt werden, um den MV zu erhalten.
Bei anderen Zusammenhängen kann ein blockbasierter Bewegungsvektor beim Videodecoder durch Ausführen der Bewegungsabschätzung an verfügbaren zuvor decodierten Pixeln in Bezug auf Blocks in einem oder mehreren Frames erzeugt werden. Die verfügbaren Pixel könnten zum Beispiel räumlich angrenzende Blocks in der sequenziellen Scancodierungsreihenfolge des derzeitigen Frames, Blocks in einem zuvor decodierten Frame oder Blocks in einem Downsampling-Frame in einer unteren Schicht sein, wenn Schichtcodierung verwendet wurde. Die verfügbaren Pixel können alternativ eine Kombination der oben erwähnten Blocks sein.
In „CHEN, Z.; SONG, Y; IKENAGA T.; GOTO S.: A Macroblock Level Adaptive Search Range Algorithm For Variable Block Size Motion Estimation In H.264/AVC. In: Proceedings of 2007 International Symposium on Intelligent Signal Processing and Communication Systems, Xiamen, China, Nov. 28-Dec. 1, 2007, p. 598-601" ist ein adaptiver Algorithmus zum Ermitteln eines Suchbereichs (search range) offenbart. Die Größe des Suchbereichs wird durch einen skalaren Wert definiert. Ferner ist die Verwendung von Bewegungsvektoren offenbart.
In „HISA, C.-H.; CHIANG, J.-S.; CHOU S.-G-: High Efficiency and Low Complexity Motion Estimation Algorithm for MPEG-4 AVC/H.264 Coding. In: Tamkang Journal of Science and Engineering, vol. 10, 2007, no. 3, p. 221-234“ sind verschiedene Suchmuster (search pattern) offenbart, die zur Suche nach Bewegungsvektoren dienen sollen.
In „NISAR, H.; CHOI, T.S.: Fast Motion Estimation Algorithm based on Spatio-Temporal Correlation and Direction of Motion Vectors. In: Electronic Letters, Vol. 42, Nov. 23, 2006, No. 24“ ist eine Konstruktion statischer Suchmuster offenbart.
In „WERDA, I.: CHAOUCH, H.; SAMET, A.; AYED, M.; MASMOUDI, N.: Optimal DSP-Based Motion Estimation Tools Implementation for H.264/AVC Baseline Encoder. In: International Journal of Computer Science and Network Security, Vol. 7, May 2007, No. 5, S. 141-150" sind ebenfalls bestimmte statische Suchmuster offenbart.
In US 2007/0064803 A1 ist ein adaptives Verfahren zur Bestimmung eines Suchbereichs zur Bewegungsabschätzung offenbart. Das Suchbereichsfenster wird verkleinert, wenn in der Umgebung des Fensterzentrums nur geringe Bewegung vorausgesagt wird. Werte für den Suchbereich werden aus zuvor betrachteten Bewegungsvektoren der benachbarten Blöcke eines betreffenden Blocks ermittelt. Hierzu wird ein Mittelwert dieser Bewegungsvektoren berechnet.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine möglichst präzise Bewegungsabschätzung für einen Block zu ermöglichen.
Figurenliste

1 veranschaulicht Spiegelbewegungsabschätzung bei einem Decoder gemäß einer Ausführungsform.
2 veranschaulicht projektive Bewegungsabschätzung bei einem Decoder gemäß einer Ausführungsform.
3 zeigt MV-Ableitung unter Verwendung bereits decodierter Blocks von einem derzeitigen Frame, wo die Bewegungssuche gemäß einer Ausführungsform auf Blocks in zwei unterschiedlichen Referenzframes basiert.
4 zeigt MV-Ableitung unter Verwendung zuvor decodierter Blocks von bereits decodierten vorherigen und nachfolgenden Frames gemäß einer Ausführungsform.
5 zeigt MV-Ableitung unter Verwendung eines zuvor decodierten Blocks von einem niedrigeren Niveau in einem Schichtcodierungszusammenhang gemäß einer Ausführungsform.
6 ist ein Ablaufdiagramm, das die Bestimmung eines Suchbereichvektors auf Blockniveau gemäß einer Ausführungsform zeigt.
7 ist ein Ablaufdiagramm, das die Bestimmung eines Suchbereichvektors auf Bildniveau gemäß einer Ausführungsform zeigt.
8 zeigt einen Berechnungszusammenhang einer exemplarischen Softwareausführungsform.
9 ist ein Blockdiagramm, das ein MV-Selbstableitungsmodul im Zusammenhang mit einem H.264-Encoder gemäß einer Ausführungsform zeigt.
10 ist ein Blockdiagramm, das ein MV-Selbstableitungsmodul im Zusammenhang mit einem H.264-Decoder gemäß einer Ausführungsform zeigt.

AUSFÜHRLICHE BESCHREIBUNG
Im Folgenden werden Systeme, Verfahren und Computerprogramm-Produkte beschrieben, die verwendet werden können, um einen Suchbereich-Vektor (search range, SR) beim Durchführen der Bewegungsabschätzung bei zum Beispiel einem Videoencoder oder -decoder zu bestimmen. Das Bestimmen eines Bewegungsvektors für einen derzeitigen Block während der Bewegungsabschätzung kann die Suche innerhalb eines Suchfensters einschließen, das sich in einem Referenzframe oder in einem zuvor decodierten Block befinden kann, der räumlich oder zeitlich an den derzeitigen Block grenzt. Solch eine Suche sucht einen Bewegungsvektor, der eine Metrik wie z. B. ein SAD zwischen entsprechenden Blocks von Referenzframes minimiert. Ein Bewegungsvektor, der solch eine Metrik minimiert, kann ein guter Kandidat für die Verwendung in der Bewegungsabschätzung sein. Die Suche kann leistungsfähiger werden, wenn ein Suchbereich so bestimmt wird, dass das Ausmaß der Suche begrenzt ist.
Eine Suche kann auf Blockniveau oder auf Bildniveau durchgeführt werden. Beim Bestimmen eines Suchbereich-Vektors auf Blockniveau kann der Suchbereich-Vektor für unterschiedliche Blocks im gesamten Frame unterschiedlich sein. Beim Bestimmen eines Suchbereich-Vektors auf Bildniveau kann derselbe Suchbereich-Vektor für jeden Block im Frame verwendet werden.
Bei einer Ausführungsform kann ein Suchbereich-Vektor aus einer Suchbereich-Komponente in jedem der horizontalen und vertikalen Richtungen bestehen.
Es ist zu beachten, dass die Begriffe „Frame“ und „Bild“ hier auf austauschbare Weise gebraucht werden, wie es ein Fachmann verstehen würde.
Spiegel-ME
Spiegel-ME kann sowohl Vorwärts- als auch Rückwärts-Referenzframes verwenden und wird demzufolge im Allgemeinen zur Codierung von B-Frames angewendet. 1 zeigt, wie Spiegel-ME gemäß einer Ausführungsform 100 durchgeführt werden kann. Bei der Ausführungsform von 1 kann es zwei B-Frames, 110 und 115, zwischen einem Vorwärts-Referenzframe 120 und einem Rückwärts-Referenzframe 130 geben. Frame 110 kann der derzeitige Codierungsframe sein. Bei der Codierung des derzeitigen Blocks 140 kann Spiegel-ME durchgeführt werden, um Bewegungsvektoren zu erhalten, indem Suchläufe in den Suchfenstern 160 und 170 der Referenzframes 120 bzw. 130 durchgeführt werden. Wie vorstehend erwähnt, kann Spiegel-ME mit den zwei Referenzframes durchgeführt werden, wo der derzeitige Eingabeblock bei dem Decoder möglicherweise nicht verfügbar ist.
Eine exemplarische Bewegungssuche in diesem Zusammenhang kann wie folgt ablaufen. Ein Suchfenster kann im Vorwärts-Referenzframe angegeben werden. Dieses Suchfenster kann sowohl bei dem Encoder als auch dem Decoder das gleiche sein. Ein Suchpfad kann im Vorwärtssuchfenster angegeben sein. Gesamtsuche oder jedes schnelle Suchschema kann hier verwendet werden, solange der Encoder und Decoder dem gleichen Suchpfad folgen. Für einen Vektor MV0 im Suchpfad kann dessen Spiegel-Bewegungsvektor MV1 im Rückwärtssuchfenster erhalten werden. Hier kann davon ausgegangen werden, dass die Bewegungskurve während der zugehörigen Zeitdauer eine gerade Linie ist, die relativ kurz sein kann. MV1 kann als die folgende Funktion von MV0 erhalten werden, wobei d0 und d1 die Abstände zwischen dem derzeitigen Frame und jedem der entsprechenden Referenzframes sein können. $M V 1 = \frac{d_{1}}{d_{0}} M V 0$
Eine Metrik, wie z. B. eine SAD, kann zwischen (i) dem Referenzblock, auf den durch MV0 im Vorwärts-Referenzframe gezeigt wird, und (ii) dem Referenzblock, auf den durch MV1 im Rückwärts-Referenzframe gezeigt wird, berechnet werden. Diese Referenzblocks sind als 150 und 180 gezeigt in 1. Es kann bestimmt werden, ob in dem Suchpfad irgendwelche zusätzlichen Bewegungsvektoren MV0 vorhanden sind. Wenn dem so ist, kann mehr als ein MV0 erhalten werden, wo jeder MV0 einen verbundenen MV1 aufweist. Außerdem kann für jedes eines solchen zugehörigen Paares eine Metrik, z. B. eine SAD, erhalten werden. Der MV0, der den optimalen Wert für die Metrik generiert, z. B. die minimale SAD, wird ausgewählt.
Angesichts des Paars von Bewegungsvektoren MV0 und MV1, das für den derzeitigen Block erhalten wird, können seine Vorwärts-Vorhersagen P0(MV0) mit MV0 erhalten werden, seine Rückwärts-Vorhersagen P1(MV1) können mit MV1 erhalten werden und seine Bidirektional-Vorhersagen können mit sowohl MV0 als auch MV1 erhalten werden. Die Bidirektional-Vorhersagen können beispielsweise der Mittelwert von P0(MV0) und P1(MV1) oder der gewichtete Mittelwert (P0(MV0) * d1 + P1(MV1) * d0) / (d0 + d1) sein. Eine alternative Funktion kann verwendet werden, um eine Bidirektional-Vorhersage zu erhalten. Bei einer Ausführungsform können der Encoder und Decoder das gleiche Vorhersageverfahren verwenden.
Spiegel-ME nimmt an, dass Bewegungen zwischen jeden zwei angrenzenden Bildern linear sind, wie gezeigt in 1. Bei der Codierung eines derzeitigen Blocks in Bild 110 können die zwei Referenzbilder, FWRef 120 und BWRef 130 in einem Referenzpuffer verfügbar sein. Angenommen der verfügbare Block-MV zwischen BWRef 130 und FWRef 120 sei Ref_MVi für Block i (hier ist der Bewegungsvektor gemäß der Entfernung des Bildes angepasst), dann kann der Suchbereich-Vektor unter Verwendung aller Ref_MVi bestimmt werden, indem man eine lineare oder nichtlineare Verarbeitungsfunktion f() verwendet, $SR = SR_Pic = f (Ref_MVi) .$
Die Verarbeitungsfunktion f() kann bei einer Ausführungsform wie folgt sein. Zuerst kann der Durchschnittswert von absolutem Ref_MVi über Blocks i erhalten werden. Der Durchschnittswert kann mit mv_ref bezeichnet sein. Dann kann für das Bild 110 der adaptive Suchbereich wie folgt berechnet werden. α und β können zwei vorherbestimmte Konstanten sein (ein Skalar und ein Vektor). Diese können bei einer Ausführungsform auf 1,1 und (4, 4) gesetzt sein. Hier ist der berechnete adaptive SR als SR_Pic gezeigt. Dies kann als der adaptive Bildniveau-Suchbereich-Vektor verwendet werden. $SR = SR_Pic = α * mv_ref + β$
Für jeden Block im Frame 110 kann der Blockniveau-Suchbereich basierend auf den Bewegungsvektoren von zeitlichen und/oder räumlichen angrenzenden Blocks bestimmt werden. Nehmen wir zum Beispiel an, dass die Bewegungsvektoren von angrenzenden Blocks i Nbr_MVi sind (hier ist der Bewegungsvektor gemäß der Entfernung des Bildes skaliert). Dann kann der Suchbereich-Vektor unter Verwendung aller Nbr_MVi bestimmt werden, indem man eine lineare oder nichtlineare Verarbeitungsfunktion g() verwendet, $SR = SR_Blk = g (Nbr_MVi) .$
Bei einer Ausführungsform kann die Verarbeitungsfunktion g() wie folgt sein. Zuerst kann der Durchschnittswert von absolutem Nbr_MVi erhalten werden, bezeichnet mit mv_nbr. Dann kann der adaptive Blockniveau-Suchbereich-Vektor SR_Blk wie folgt berechnet werden. Wo α und β zwei Konstanten sind, die bei einer Ausführungsform auf 1,1 und (4, 4) gesetzt sein können, $SR = SR_Blk = α * mv_nbr + β$
Bei einigen Ausführungsformen kann es sein, dass die horizontalen und vertikalen Komponenten in einem Suchbereich-Vektor identisch sein müssen. Hier kann der Wert der größeren von den zwei Komponenten sowohl für die horizontalen als auch die vertikalen Komponenten verwendet sein.
Projektive Bewegungsabschätzung
Projektive ME kann durchgeführt werden, um einen MV zur Codierung des derzeitigen Blocks abzuleiten. 2 zeigt ein exemplarisches projektives ME-Szenarium, das zwei Vorwärtsreferenz-Frames, FWRef0 (gezeigt als Referenzframe 220) und FWRef1 (gezeigt als Referenzframe 230) verwenden kann. Diese Referenzframes können verwendet werden, um einen Bewegungsvektor für einen Zielblock 240 in einem derzeitigen Frame 210 abzuleiten. Ein Suchfenster 270 kann in Referenzframe 220 spezifiziert sein, und ein Suchpfad kann in Suchfenster 270 spezifiziert sein. Für jeden Bewegungsvektor MV0 in dem Suchpfad kann sein projektiver Bewegungsvektor MV1 in Suchfenster 260 von Referenzframe 230 bestimmt werden. Für jedes Paar von Bewegungsvektoren, MV0 und sein zugehöriger Bewegungsvektor MV1, kann eine Metrik, wie z. B. ein SAD zwischen (1) dem Referenzblock 280, auf den durch MV0 in Referenzframe 220 gezeigt wird, und (2) dem Referenzblock 250, auf den durch MV1 in Referenzframe 230 gezeigt wird, berechnet werden. Der Bewegungsvektor MV0, der den Optimalwert für die Metrik ergibt, z. B. die minimale SAD, kann anschließend als der Bewegungsvektor für Zielblock 240 ausgewählt werden.
Der Prozess für den projektiven ME kann wie folgt ablaufen. Es kann ein Suchfenster in einem ersten Vorwärts-Referenzframe spezifiziert sein. Dieses Fenster kann sowohl bei dem Encoder als auch dem Decoder das gleiche sein. Ein Suchpfad kann in diesem Suchfenster spezifiziert sein. Gesamtsuche oder schnelle Suchschemata können hier verwendet werden, sodass beispielsweise der Encoder und Decoder dem gleichen Suchpfad folgen können. Für einen Bewegungsvektor MV0 im Suchpfad kann dessen projektiver Bewegungsvektor MV1 in einem zweiten Suchfenster in einem zweiten Vorwärts-Referenzframe erhalten werden. Hier kann davon ausgegangen werden, dass die Bewegungskurve über diese kurze Zeitdauer eine gerade Linie ist. MV1 kann als die folgende Funktion von MV0 erhalten werden, wobei d0 und d1 die Abstände zwischen dem derzeitigen Frame und jedem der entsprechenden Referenzframes sein können. $M V 1 = \frac{d_{1}}{d_{0}} M V 0$
Eine Metrik, wie z. B. eine SAD, zwischen (i) dem Referenzblock, auf den durch MV0 in dem ersten Referenzframe gezeigt wird, und (ii) dem Referenzblock, auf den durch MV1 in dem zweiten Referenzframe gezeigt wird, kann berechnet werden. Diese Referenzblocks sind als 150 und 180 gezeigt in 1. Es kann bestimmt werden, ob es irgendwelche zusätzlichen Bewegungsvektoren MV0 gibt, die in dem Suchpfad verbleiben und die noch nicht berücksichtigt worden sind. Auf diese Weise können Paare, MV0 und MV1, bestimmt und eine Metrik, wie z. B. eine SAD, für jedes Paar berechnet werden. Auf diese Art und Weise kann ein Satz von Paaren, MV0 und MV1, bestimmt und eine Metrik, z. B. eine SAD, für jeden Satz berechnet werden. Einer der MV0s kann ausgewählt werden, wobei der ausgewählte MV0 den Optimalwert für die Metrik ergibt, wie z. B. die minimale SAD. Dieser MV0 kann dann verwendet werden, um Bewegung für den derzeitigen Block vorherzusagen.
Die Vorhersagen für den derzeitigen Block können auf verschiedene Arten erhalten werden. Die Vorhersagen können beispielsweise P0(MV0), P1(MV1), (P0(MV0) + P1(MV1)) / 2 oder (P0(MV0) * d1 + P1(MV1) * d0) / (d0 + d1) sein. Bei weiteren Ausführungsformen können andere Funktionen verwendet werden. Die Vorhersagen können sowohl bei dem Encoder als auch dem Decoder auf die gleiche Art und Weise erhalten werden.
Der projektive ME kann annehmen, dass Bewegung zwischen zwei angrenzenden Bildern linear ist, wie gezeigt in 2 verkörpern. Indem man dasselbe Verfahren, wie für Spiegel-ME oben beschrieben verwendet, kann der Bildniveau-Suchbereich unter Verwendung der Block-Bewegungsvektoren zwischen FWRef0 erhalten werden (Frame 220 von 2) und FWRef1 (Frame 430). Der Blockniveau-Suchbereich kann unter Verwendung der Bewegungsvektor-Information von Blocks erhalten werden, die an den derzeitigen Block zeitlich und räumlich, wie oben beschrieben in Bezug auf Spiegel-ME, angrenzen.
Auf räumlich angrenzenden Blocks basierende Bewegungsabschätzung
3 zeigt eine Ausführungsform 300, die eine oder mehrere angrenzende Blocks 340 (hier gezeigt als Blocks darüber und links vom Zielblock 330) in einem derzeitigen Frame 310 verwenden kann. Das kann die Generierung eines Bewegungsvektors basierend auf einem oder mehreren entsprechenden Blocks 350 und 355 in einem vorherigen Referenzframe 320 und einem nachfolgenden Referenzframe 360 ermöglichen, wo sich die Begriffe „vorherig“ und „nachfolgend“ auf eine zeitliche Reihenfolge beziehen. Der Bewegungsvektor kann dann auf Zielblock 330 angewandt werden. Bei einer Ausführungsform kann man eine Rasterscan-Codierungsreihenfolge verwenden, um räumliche Nachbarblocks darüber, links, darüber und links und darüber und rechts vom Zielblock zu bestimmen. Dieser Ansatz kann für B-Frames verwendet werden, die sowohl vorhergehende als auch folgende Frames für die Decodierung einsetzen.
Der veranschaulichte Ansatz durch 3 kann auf verfügbare Pixel von räumlich angrenzenden Blocks in einem derzeitigen Frame angewandt werden, solange die angrenzenden Blocks vor dem Zielblock in der sequenziellen Scancodierungsreihenfolge decodiert wurden. Des Weiteren kann dieser Ansatz Bewegungssuche in Bezug auf Referenzframes in Referenzframe-Listen für einen derzeitigen Frame anwenden.
Die Verarbeitung der Ausführungsform von 3 kann wie folgt stattfinden. Zuerst können ein oder mehrere Blocks von Pixeln im derzeitigen Frame identifiziert werden, wo die identifizierten Blocks an den Zielblock des derzeitigen Frames angrenzen. Die Bewegungssuche für die identifizierten Blocks kann dann basierend auf entsprechenden Blocks in einem zeitlich nachfolgenden Referenzframe und auf entsprechenden Blocks in einem vorherigen Referenzframe durchgeführt werden. Die Bewegungssuche kann in Bewegungsvektoren für die identifizierten Blocks resultieren. Alternativ können die Bewegungsvektoren der angrenzenden Blocks vor der Identifizierung dieser Blocks bestimmt werden. Die Bewegungsvektoren können dann verwendet werden, um den Bewegungsvektor für den Zielblock abzuleiten, der dann für die Bewegungskompensation für den Zielblock verwendet werden kann. Diese Ableitung kann unter Verwendung jedes geeigneten Prozesses durchgeführt werden, der dem Fachmann bekannt ist. Solch ein Prozess kann zum Beispiel und ohne Einschränkung Durchschnittswichtung oder Medianfilterung sein.
Wenn das derzeitige Bild sowohl Rückwärts- als auch Vorwärtsreferenzbilder im Referenzpuffer aufweist, kann man dasselbe Verfahren verwenden, wie das für Spiegel-ME verwendete, um die adaptiven Bildniveau- und Blockniveau-Suchbereich-Vektoren zu erhalten. Wenn nur Vorwärtsreferenzbilder verfügbar sind, kann man das für projektive ME oben beschriebene Verfahren verwenden, um den adaptiven Bildniveau- und Blockniveau-Suchbereich zu erhalten.
Auf zeitlich angrenzenden Blocks basierende Bewegungsabschätzung
Bei einer alternativen Ausführungsform können die entsprechenden Blocks von vorherigen und nachfolgenden rekonstruierten Frames in der zeitlichen Reihenfolge verwendet werden, um einen Bewegungsvektor abzuleiten. Dieser Ansatz ist in 4 als Ausführungsform 400 gezeigt. Um einen Zielblock 430 in einem derzeitigen Frame 410 zu codieren, kann man bereits decodierte Pixel verwenden, wobei diese Pixel in einem entsprechenden Block 440 eines vorherigen Frames 415 und in einem entsprechenden Block 465 eines nachfolgenden Frames 455 gefunden werden können. Ein erster Bewegungsvektor kann für den entsprechenden Block 440 anhand der Durchführung einer Bewegungssuche durch einen oder mehrere Blocks 450 des Referenzframes 420 abgeleitet werden. Block(s) 450 können an einen Block im Referenzframe 420 grenzen, der dem Block 440 des vorherigen Frames 415 entspricht. Ein zweiter Bewegungsvektor kann für den entsprechenden Block 465 des nachfolgenden Frames 455 anhand der Durchführung einer Bewegungssuche durch einen oder mehrere Blocks 470 des Referenzframes 460 abgeleitet werden. Block(s) 470 kann an einen Block im Referenzframe 460 grenzen, der dem Block 465 des nachfolgenden Frames 455 entspricht. Basierend auf den ersten und zweiten Bewegungsvektoren, können die Vorwärts- und/oder Rückwärtsbewegungsvektoren für den Zielblock 430 bestimmt werden. Diese letzteren Bewegungsvektoren können dann für die Bewegungskompensation für den Zielblock verwendet werden.
Die ME-Vearbeitung für solch eine Situation ist wie folgt. Ein Block kann zuerst in einem vorherigen Frame identifiziert werden, wo dieser identifizierte Block dem Zielblock des derzeitigen Frames entsprechen kann. Ein erster Bewegungsvektor kann für diesen identifizierten Block des vorherigen Frames bestimmt werden, wo der erste Bewegungsvektor relativ zu einem entsprechenden Block eines ersten Referenzframes definiert werden kann. Ein Block kann in einem nachfolgenden Frame identifiziert werden, wo dieser Block dem Zielblock des derzeitigen Frames entsprechen kann. Ein zweiter Bewegungsvektor kann für diesen identifizierten Block des nachfolgenden Frames bestimmt werden, wo der zweite Bewegungsvektor relativ zu dem entsprechenden Block eines zweiten Referenzframes definiert werden kann. Ein oder zwei Bewegungsvektoren können für den Zielblock unter Verwendung der jeweiligen ersten und zweiten Bewegungsvektoren oben bestimmt werden.
Beim Codieren/Decodieren des derzeitigen Bildes sind die Block-Bewegungsvektoren zwischen dem vorherigen Frame 415 und dem Referenzframe 420 verfügbar. Indem man diese Bewegungsvektoren verwendet, kann der adaptive Bildniveau-Suchbereich in der für den projektiven ME oben beschriebenen Weise bestimmt werden. Die Bewegungsvektoren des entsprechenden Blocks und der Blocks, die räumlich an den entsprechenden Block angrenzen, können verwendet werden, um den adaptiven Blockniveau-Suchbereich wie im Fall vom Spiegel-ME abzuleiten.
Bewegungsabschätzung basierend auf Blocks in einer unteren Downsampling-Schicht
Bei einer Ausführungsform können Pixel, die verwendet werden können, um einen MV für einen Zielblock zu bestimmen, aus entsprechenden Blocks in einer unteren Schicht kommen, deren Video von einem Originaleingang in einem skalierbaren Videocodierungsszenarium downgesampelt wurde. 5 zeigt ein Beispiel 500, das einen Block der unteren Schicht 540 entsprechend dem Zielblock 530 des derzeitigen Bildes 510 verwendet. Der Block 540 kann in einem Bild 515 auftreten, der dem derzeitigen Bild 510 entspricht. Der entsprechende Block 540 kann verwendet werden, um die Bewegungssuche, bei gegebenen ein oder mehreren Blocks 550 und 570 in den jeweiligen Referenzbildern 520 und 560 in der unteren Schicht, durchzuführen. Die Referenzbilder in der unteren Schicht können die Vorwärts- oder Rückwärts- (vorherigen oder nachfolgenden) -Bilder in der zeitlichen Reihenfolge sein. Da der Bewegungsvektor in der Downsampling-Schicht abgeleitet werden kann, kann der Bewegungsvektor vergrößert werden, bevor er auf den Zielblock 530 in der Zielschicht angewandt wird.
Dieser Ansatz kann ebenfalls auf bereits decodierte Blocks angewandt werden, die räumliche Nachbarn zum Block 540 in der unteren Schicht entsprechend dem Zielframe 530 im derzeitigen Bild 510 sind.
Die Verarbeitung für diese Ausführungsform ist wie folgt. In Anbetracht eines Zielblocks in einem derzeitigen Frame kann ein entsprechender Block in einem entsprechenden Frame in einer unteren Schicht identifiziert werden. Ein Bewegungsvektor kann für den entsprechenden Block in der unteren Schicht relativ zu einem oder mehreren Referenzframes in der unteren Schicht bestimmt werden. Der bestimmte Bewegungsvektor kann dann für die Bewegungsabschätzung für den Zielblock im derzeitigen Frame verwendet werden. Bei einer alternativen Ausführungsform wird der Bewegungsvektor an der unteren Schicht vor der Identifizierung des Blocks in der unteren Schicht für ME-Zwecke für die Zielschicht bestimmt.
Beim Decodieren des derzeitigen Bildes in der Zielschicht wurde das Bild der unteren Schicht bereits decodiert und die Block-Bewegungsvektoren zwischen dem derzeitigen Bild der unteren Schicht und den Referenzbildern der unteren Schicht sind verfügbar. Diese Block-Bewegungsvektoren kann man verwenden, um den adaptiven Bildniveau-Suchbereich, wie oben beschrieben in Bezug auf Spiegel-ME, zu bestimmen. Außerdem können die Bewegungsvektoren des ortsgleich angeordneten Blocks der unteren Schicht und der Blocks, die räumlich an den ortsgleich angeordneten Block der unteren Schicht angrenzen, verwendet werden, um den adaptiven Blockniveau-Suchbereich, wie oben beschrieben für Spiegel-ME, zu bestimmen.
Verarbeitung für die adaptive Bestimmung von SR
Ein Prozess 600, um einen Suchbereich-Vektor auf Blockniveau adaptiv zu bestimmen, ist in 6 gemäß einer Ausführungsform veranschaulicht. Bei 610 können eine Reihe von Blocks berücksichtigt werden, wo die Blocks an den derzeitigen Block in einem derzeitigen Frame angrenzen können. Für jeden angrenzenden Block i im derzeitigen Frame kann der jeweilige Bewegungsvektor, Nbr_MVi erhalten werden. Hier können angrenzende Blocks räumliche Nachbarn sein. Räumliche Nachbarn können unmittelbar an den derzeitigen Block angrenzen, oder auch nicht. Alternativ können angrenzende Blocks, wie oben beschrieben, zeitliche Nachbarn sein.
Bei 620 kann der Durchschnittswert der Vektoren Nbr_MVi berechnet werden. Das resultiert in einem Vektor mv_nbr. Bei 630 wird der Suchbereich-Vektor auf Blockniveau bestimmt, $SR_Blk = (α * mv_nbr) + β$
Hier sind α und β im Voraus festgelegte Konstanten, die experimentell bestimmt werden können, wobei α ein Skalarwert und β ein zweidimensionaler Vektor sein kann. Bei einer Ausführungsform ist α = 1,1 and β = (4, 4). Der Prozess 600 endet bei 640.
Ein Prozess 700, um einen Suchbereich-Vektor auf Bildniveau adaptiv zu bestimmen, ist in 7 gemäß einer Ausführungsform veranschaulicht. Bei 710 kann für jeden Block i in einem nachfolgenden oder vorhergehenden Frame der jeweilige Bewegungsvektor, Ref_MVi erhalten werden. Solch ein Frame kann zum Beispiel ein Referenzframe sein. Bei 720 kann der Durchschnittswert der Vektoren Ref_MVi berechnet werden. Das resultiert in einem Vektor mv_ref. Bei 730 wird der Suchbereich-Vektor auf Bildniveau bestimmt, $SR_Pic = (α * mv_ref) + β$
Wie zuvor sind α und β im Voraus festgelegte Konstanten, die experimentell bestimmt werden können, wobei α ein Skalarwert und β ein zweidimensionaler Vektor sein kann. Bei einer Ausführungsform ist α = 1,1 and β = (4, 4). Der Prozess 700 endet bei 740.
Implementierung
Die vorstehend beschriebene Verarbeitung kann in Hardware, Firmware oder Software oder einer Kombination davon implementiert sein. Zusätzlich können ein oder mehr hierin offenbarte Merkmale in Hardware, Software, Firmware oder Kombinationen davon implementiert sein, einschließlich separater und integrierter Schaltkreislogik, anwendungsspezifischer integrierter Schaltkreis-(application specific integrated circuit, ASIC)-Logik und Mikrocontrollern, und können als Teil eines Domain-spezifischen integrierten Schaltkreisgehäuses oder einer Kombination von integrierten Schaltkreisgehäusen implementiert sein. Der Begriff Software, wie hierin verwendet, kann sich auf ein Computerprogramm-Produkt beziehen, einschließlich eines computerlesbaren Mediums, in dem Computerprogrammlogik gespeichert ist, um ein Computersystem zu veranlassen, ein oder mehr Merkmal(e) und/oder Kombinationen von Merkmalen, die hierin offenbart sind, auszuführen.
Eine Software- oder Firmwareausführungsform der vorstehend beschriebenen Verarbeitung ist in 8 dargestellt. System 800 kann einen Prozessor 820 und einen Speicherkörper 810 beinhalten, der ein oder mehr computerlesbare Medien beinhalten kann, die eine Computerprogrammlogik 840 speichern können. Speicher 810 kann als eine Festplatte und ein Laufwerk, ein Wechselmedium, wie z. B. Compact Disk und Compact Drive, oder ein Read-Only-Memory-(ROM)-Gerät implementiert sein. Prozessor 820 und Speicher 810 können mittels einer von vielen Technologien, die einem Fachmann bekannt sind, wie z. B. einem Bus, in Kommunikation stehen. In Speicher 810 enthaltene Logik kann von Prozessor 820 gelesen und ausgeführt werden. Ein oder mehr I/O-(Eingabe-/Ausgabe)-Ports und/oder I/O-(Eingabe-/Ausgabe)-Geräte, insgesamt als I/O 830 gezeigt, kann/können ebenfalls mit Prozessor 820 und Speicher 810 verbunden sein.
Computerprogrammlogik 840 kann Bewegungsabschätzungslogik 860 beinhalten. Bewegungsabschätzungslogik 860 kann, wenn sie ausgeführt wird, die vorstehend beschriebene Bewegungsabschätzungsverarbeitung durchführen. Die Bewegungsabschätzungslogik 860 kann zum Beispiel projektive Bewegungsabschätzungslogik umfassen, welche die oben beschriebenen Operationen durchführen kann, wenn sie ausgeführt wird. Logik 860 kann ebenfalls, oder alternativ, zum Beispiel Spiegel-Bewegungsabschätzungslogik, Logik, um ME basierend auf zeitlichen oder räumlichen Nachbarn eines derzeitigen Blocks auszuführen, oder Logik, um ME basierend auf einem Block der unteren Schicht, der dem derzeitigen Block entspricht, auszuführen, umfassen.
Bevor die Bewegungsabschätzungslogik 860 seine Verarbeitung durchführt, kann ein Suchbereich-Vektor generiert werden. Dies kann wie oben beschrieben von der Suchbereich-Berechnungslogik 850 durchgeführt werden. Dieses Modul kann deshalb die Operationen, die in 6 und 7 gezeigt sind, ausführen. Sobald der Suchbereich-Vektor generiert ist, kann man diesen Vektor verwenden, um die Suche, die von Bewegungsabschätzungslogik 860 ausgeführt wird, zu begrenzen.
Eine Logik, um Suchbereich-Vektorbestimmung durchzuführen, kann in einem MV-Selbstableitungsmodul enthalten sein, das in einer größeren Codec-Architektur verwendet wird. 9 zeigt eine exemplarische H.264-Videoencoder-Architektur 900, die ein MV-Selbstableitungsmodul 940 umfassen kann, wobei H.264 ein Videocodec-Standard ist. Information über das derzeitige Video kann von einem derzeitigen Videoblock 910 in Form von einer Vielzahl an Frames bereitgestellt werden. Das derzeitige Video kann an eine Differenzierungseinheit 911 weitergegeben werden. Die Differenzierungseinheit 911 kann Teil der Differenzialpulsecodemodulation- (DPCM) (auch als Kernvideocodierung bezeichnet) -Schleife sein, die eine Bewegungskompensationsphase 922 und eine Bewegungsabschätzungsphase 918 umfassen kann. Die Schleife kann ebenfalls eine interne Vorhersagephase 920 und interne Interpolationsphase 924 umfassen. In einigen Fällen kann auch ein schleifeninterner Deblocking-Filter 926 in der Schleife verwendet sein.
Das derzeitige Video 910 kann der Differenzierungseinheit 911 und der Bewegungsabschätzungsphase 918 bereitgestellt werden. Die Bewegungskompensationsphase 922 oder die interne Interpolationphase 924 kann einen Ausgang durch einen Switch 923 erzeugen, der dann vom derzeitigen Video 910 abgezogen werden kann, um einen Restwert zu erzeugen. Der Restwert kann dann in Transformier/Quantisier-Phase 912 transformiert und quantisiert und der Entropie-Codierung im Block 914 unterzogen werden. Eine Kanalausgabe erfolgt bei Block 916.
Der Ausgang der Bewegungskompensationphase 922 oder Zwischeninterpolationsphase 924 kann einem Summator 933 bereitgestellt werden, der ebenfalls einen Eingang von der Rückquantisierungseinheit 930 und der Rücktransformationseinheit 932 empfangen kann. Diese letzten zwei Einheiten können die Transformation und Quantisierung der Transformier/Quantisier-Phase 912 annullieren. Die Rücktransformationseinheit 932 kann der Schleife entquantisierte und enttransformierte Information wieder bereitstellen.
Das MV-Selbstableitungsmodul 940 kann die für die Ableitung eines Bewegungsvektors hier beschriebene Verarbeitung implementieren. Das MV-Selbstableitungsmodul 940 kann den Ausgang des schleifeninternen Deblocking-Filters 926 empfangen und einen Ausgang an die Bewegungskompensationsphase 922 bereitstellen.
10 zeigt einen H.264-Videodecoder 1000 mit einem MV-Selbstableitungsmodul 1010. Hier kann ein Decoder 1000 für den Encoder 900 der 9 einen Kanaleingang 1038 umfassen, der mit einer Entropie-Decodiereinheit 1040 gekoppelt ist. Der Ausgang von Decodiereinheit 1040 kann einer Rückquantisierungseinheit 1042, Rücktransformiereinheit 1044 und dem MV-Selbstableitungsmodul 1010 bereitgestellt werden. Das MV-Selbstableitungsmodul 1010 kann mit einer Bewegungskompensationseinheit 1048 gekoppelt sein. Der Ausgang der Entropie-Decodiereinheit 1040 kann ebenfalls einer internen Interpolationseinheit 1054 bereitgestellt werden, die einen Auswahl-Switch 1023 bedienen kann. Die Information von Rücktransformationseinheit 1044 und entweder der Bewegungskompensationseinheit 1048 oder der internen Interpolationseinheit 1054, wie ausgewählt durch Switch 1023, kann dann summiert und einer schleifeninternen Deblocking-Einheit 1046 bereitgestellt und der internen Interpolationseinheit 1054 wieder zugeführt werden. Der Ausgang der schleifeninternen Deblocking-Einheit 1046 kann dann dem MV-Selbstableitungsmodul 1010 zugeführt werden.
Das MV-Selbstableitungsmodul kann sich am Videoencoder befinden und mit der Videodecoderseite synchronisieren. Das MV-Selbstableitungsmodul könnte alternativ auf eine generische Videcodec-Architektur angewandt werden und ist nicht auf die H.264-Codierungsarchitektur beschränkt.
Schlussfolgerung
Verfahren und Systeme werden hierin mithilfe funktionaler Bausteine offenbart, wie z. B. denjenigen, die vorstehend aufgeführt sind, die deren Funktionen, Merkmale und Beziehungen beschreiben. Zumindest einige der Grenzen dieser funktionalen Bausteine wurden zum besseren Verständnis der Beschreibung hierin willkürlich definiert. Alternative Grenzen können definiert werden, solange deren spezifizierte Funktionen und Beziehungen angemessen durchgeführt werden. Außerdem können der vorstehend beschriebene Encoder und Decoder in entsprechenden Systemen eingebaut sein, die ein Videosignal unter Verwendung der vorstehend angeführten Prozesse codieren bzw. das so erhaltene codierte Signal decodieren.
Obwohl hierin verschiedene Ausführungsformen offenbart sind, sollte es selbstverständlich sein, dass diese lediglich beispielhaft und nicht einschränkend dargelegt wurden. Es ist für Fachleute offensichtlich, dass verschiedene Änderungen hinsichtlich Form und Detail daran vorgenommen werden können, ohne von dem Geist und Umfang der hierin offenbarten Verfahren und Systeme abzuweichen. Somit sollten die Bandbreite und der Umfang der Ansprüche nicht durch eine der beispielhaften Ausführungsformen, die hierin offenbart sind, eingeschränkt werden.

Claims

Verfahren zur Bewegungsabschätzung für einen ersten Block eines ersten Frames, umfassend: Bestimmen einer Reihe von Bewegungsvektoren, die jeweils einem Block entsprechen, wobei jeder Block mit dem ersten Block als zeitlicher oder räumlicher unmittelbarer oder mittelbarer Nachbar verbunden ist; Berechnen eines Durchschnittswerts (mean value, mv) der Reihe von Bewegungsvektoren; und Berechnen eines Suchbereich-Vektors gemäß der Formel $(α * mv) + β,$
wobei α = 1,1 und β = (4, 4) ist; und der Suchbereich-Vektor eine Bewegungssuche zur Ermittlung der Bewegungsabschätzung für den ersten Block begrenzt.
Verfahren nach Anspruch 1, wobei die Reihe von Bewegungsvektoren mit den jeweiligen Blocks eines Referenzframes verbunden ist, und wobei der Suchbereich-Vektor verwendet wird, um die Bewegungsabschätzung für den ersten Block des ersten Frames und für einen zweiten Block des ersten Frames durchzuführen.
Verfahren nach Anspruch 1, wobei die Reihe von Bewegungsvektoren mit Blocks verbunden ist, die an den ersten Block angrenzen.
Verfahren nach Anspruch 3, wobei die angrenzenden Blocks im ersten Frame an den ersten Block räumlich angrenzen.
Verfahren nach Anspruch 3, wobei die angrenzenden Blocks in zeitlich angrenzenden Frames relativ zum ersten Frame auftreten und dem ersten Block entsprechen.
Vorrichtung, umfassend: einen Prozessor; und einen mit dem Prozessor in Kommunikation stehenden Speicher, um eine Vielzahl an Verarbeitungsbefehlen zu speichern, um den Prozessor anzuweisen, eine Reihe von Bewegungsvektoren, die jeweils einem Block entsprechen, wobei jeder Block mit einem ersten Block als zeitlicher oder räumlicher unmittelbarer oder mittelbarer Nachbar verbunden ist, zu bestimmen; einen Durchschnittswert (mean value, mv) der Reihe von Bewegungsvektoren zu berechnen; und einen Suchbereich-Vektor gemäß der Formel $(α * mv) + β,$
zu berechnen, wobei α = 1,1 und β = (4, 4) ist, und wobei der Suchbereich-Vektor verwendet wird, um eine Ermittlung der Bewegungsabschätzung für den ersten Block zu begrenzen.
Vorrichtung nach Anspruch 6 wobei der Prozessor und Speicher in einem Videoencoder enthalten sind.
Vorrichtung nach Anspruch 6, wobei der Prozessor und Speicher in einem Videodecoder enthalten sind.
Vorrichtung nach Anspruch 6, wobei die Reihe von Bewegungsvektoren mit den jeweiligen Blocks eines Referenzframes verbunden ist, und wobei der Suchbereich-Vektor verwendet wird, um die Bewegungsabschätzung für den ersten Block eines ersten Frames und für einen zweiten Block des ersten Frames durchzuführen.
Vorrichtung nach Anspruch 6, wobei die Reihe von Bewegungsvektoren mit Blocks verbunden ist, die an den ersten Block angrenzen.
Vorrichtung nach Anspruch 10, wobei die angrenzenden Blocks im ersten Frame an den ersten Block räumlich grenzen.
Vorrichtung nach Anspruch 10, wobei die angrenzenden Blocks in zeitlich angrenzenden Frames relativ zum ersten Frame auftreten und dem ersten Block entsprechen.
Ein Computerprogramm-Produkt einschließlich eines computerlesbaren Mediums, in dem Computerprogrammlogik gespeichert ist, wobei die Computerprogrammlogik beinhaltet: Logik, um einen Prozessor zu veranlassen, eine Reihe von Bewegungsvektoren zu bestimmen, die jeweils einem Block entsprechen, wobei jeder Block mit einem ersten Block als zeitlicher oder räumlicher unmittelbarer oder mittelbarer Nachbar verbunden ist; Logik, um weiter den Prozessor zu veranlassen, einen Durchschnittswert (mean value, mv) der Reihe von Bewegungsvektoren zu berechnen; und Logik, um weiter den Prozessor zu veranlassen, einen Suchbereich-Vektor zu berechnen gemäß der Formel $(α * mv) + β,$
wobei α = 1,1 und β = (4, 4) ist, und der Suchbereich-Vektor eine Bewegungssuche zur Ermittlung einer Bewegungsabschätzung für den ersten Block begrenzt.
Computerprogramm-Produkt nach Anspruch 13, wobei die Reihe von Bewegungsvektoren mit jeweiligen Blocks eines Referenzframes verbunden ist, und wobei der Suchbereich-Vektor verwendet wird, um die Bewegungsabschätzung für den ersten Block eines ersten Frames und für einen zweiten Block im ersten Frame durchzuführen.
Computerprogramm-Produkt nach Anspruch 13, wobei die Reihe von Bewegungsvektoren mit Blocks verbunden ist, die an den ersten Block angrenzen.
Computerprogramm-Produkt nach Anspruch 15, wobei die angrenzenden Blocks im ersten Frame an den ersten Block räumlich angrenzen.
Computerprogramm-Produkt nach Anspruch 15, wobei die angrenzenden Blocks in zeitlich angrenzenden Frames relativ zum ersten Frame auftreten und dem ersten Block entsprechen.