JP2010504010A - ビデオシーケンスにおけるデータ圧縮方法 - Google Patents

Abstract

本発明は、ビデオシーケンスにおけるデータ圧縮方法、この方法を実施するための装置、コンピュータプログラムおよびコンピュータプログラム製品に関する。本発明による方法によれば動き補償のため、先行する時間的分解段階における動き予測の結果も使用される。

Description

本発明は、ビデオシーケンスにおけるデータ圧縮方法、この方法を実施するための装置、コンピュータプログラムおよびコンピュータプログラム製品に関する。

従来技術
ビデオデータの伝送および処理にあたりいわゆるデータ圧縮方法が使用され、これによればたとえば冗長的なデータをまとめるなどしてデータ量が低減され、それによってデータを高速に伝送できるようになる。

現在のビデオ符号化方式の場合、動き補償が圧縮パフォーマンスにおける重要なファクタを成している。ただしその際に考慮しなければならないのは、動き補償にあたり実施される動き予測すなわちビデオシーケンスの動きパラメータを決定するのに多大な計算が必要であり、符号化においてそのために時間の大半を要することである。

たとえばMPEG-1/2/4およびH.264/AVCといった多くのビデオ符号化標準はいわゆるブロックベースの動き補償を利用しており、これによれば個々の画像が矩形のパーティションとして区切られた複数の画素領域に分割され、参照画像からずれたないしはシフトされたブロックが各パーティションの予想ないしは予測として用いられる。この場合、符号化器は、各領域についてのずれすなわち移動ベクトルないしは動きベクトルと、実際に符号化される領域と予測との差を成す構造偏差のみを符号化する。動き補償型時間フィルタまたは階層的な双方向予測画像（Ｂスライス）をベースとするスケーラブルなビデオ符号化（SVC: scalable video coding）の場合、それぞれ異なる時間的および空間的な分解段階ないしは分解ステップ(decomposition stage)において各動きパラメータ間の相関を見込むことができる。

高速な動き予測のためのアルゴリズムによって、補償効率が最小限にしか低減されないにもかかわらず、計算ステップ数を著しく少なくすることができる。動き画像ベクトルサーチと比較してこの種のアルゴリズムによれば、テストすべき動きベクトルのセットが低減され、これによってサーチパターンを削減することができる。その際、最良のベクトル候補を中心とするサーチパターンを適用することができる。

典型的なビデオシーケンスの場合には動いている物体が、動き補償の最大ブロックサイズまたはマクロブロックサイズよりも大きい画像領域を覆うことがしばしばある。したがって空間的に隣り合う動きベクトルは強い依存性をもつことが多く、このことがビデオ符号化システムにおいてしばしば利用され、その際、現在の動きベクトルと対応する動きベクトルプレディクタ（MVP: motion vector predictor）との差だけが符号化され、この動きベクトルプレディクタ自体は因果関係のある空間的に隣り合うベクトルから導出される。

さらに時間的に隣り合うベクトル間の相関も、個々のシーン内において緩慢にしか変化しない内容に基づき推定することができる。その際、多くの動き予測方法は動きベクトルプレディクタを初期ベクトルとして利用し、サーチベクトルはこの初期ベクトルを中心に合わせられる。別のやり方によれば、動きベクトルプレディクタおよびそれらから導出されたベクトルから成る候補のセットがもっぱら利用される。

発明の概要
本発明は、ビデオシーケンスにおけるデータ圧縮方法に関する。この場合、動き補償のために、先行する時間的な分解段階ないしはデコンポジションステージ（decomposition stage）の動き予測結果も利用される。動き予測結果は、次の分解段階のためのベクトル候補を予測する目的で使用される。なぜならば画像間のタイムインターバルが大きい場合には殊に、動き予測アルゴリズムの計算が著しく煩雑になるからである。このことが該当するのは、たとえばスケーラブルビデオ符号化の場合である。したがって、たとえばスケーラブルビデオ符号化の場合に殊に行われる動き相関を利用する動き予測アルゴリズムが用いられるように構成されており、これは動き補償型時間フィルタをベースとするか、またはいわゆるオープンな階層的双方向予測画像の利用をベースとしている。

本発明によるアルゴリズムによって、動き予測段階における計算量が著しく低減される。その際、主観的視覚的品質は公知の大規模な完全なサーチアルゴリズムの品質に十分に対応するものである。

１つの実施形態によれば本発明によるアルゴリズムには、１つのマクロブロックにおける各（サブ）パーティションに関して前方向および後方向での予測のための（正確な）フルピクセル動きベクトルから成る候補セットが含まれている。動きベクトル候補を計算するためには、現在の画像あるいは以前に予測された画像ベクトルフィールドのベクトルに対するアクセスが必要である。フルピクセル候補セットＳの個々の候補は以下のように選択される：
ゼロベクトル候補
多くのシーンにはカメラの動きまたは背景の動きが含まれておらず、あるいはそれらがごく僅かにしか含まれていない。したがって後方向のゼロベクトル（０，０）が候補セットに加えられる。

空間的ベクトル候補
予測方向ごとに３つの候補まで、現在の画像内において空間的に隣り合うパーティションもしくはセクションから導出される。最初に動きベクトルプレディクタが考察され、これは現在の動きベクトルの差分符号化のためにも使用され、公知のやり方で導出される。これについてはたとえばThomas WiegandおよびGarry Sullivanによる刊行物"Joint final draft international Standard (FDIS) of Joint video specification (ITU-T rec. H.264 / ISO/IEC 14496- 10 AVC)" in JVT, 7th Meeting, Dokument JVT-G050, Pattaya, Thailand, March 2003, ITUT, ISO/IECに記載されている。

この場合、利用可能であるならば、動きベクトルプレディクタの計算において使用される動きベクトルから得られる左側の隣接ポジションと右上方へ向かう方向の隣接ポジションにおけるパーティションの動きベクトルも含まれる。右上方の隣接ポジションが利用できなければ、その代わりに左上方の隣接ポジションが利用される。

時間的ベクトル候補
前方向と後方向の予測のための時間的ベクトル候補は、事前に求められた動きベクトルの可用性に基づき、様々なやり方で導出される。後方向の動きベクトル候補は、現在の画像の反転された前方向の動きベクトルから導出される。したがって現在のマクロブロックの上方または左側の動きベクトルだけが、候補制約に基づき利用される。事前に記憶されており現在のマクロブロックに対して左側および右側の上方におけるマクロブロックの２つの動きベクトルが、時間的ベクトル候補として選択される。前方向の動きベクトルの場合には状況は異なる。なぜならば、先行の画像のすでに予測された動きベクトルフィールドにおける前方向の動きベクトル各々を、候補として利用することができるからである。選択された前方向の候補は記憶されている動きフィールドの反転された動きベクトルであり、それらは共通に配置されているマクロブロック下方で右側および左側の隣接ポジションから得られる。

時間的な中間レイヤベクトル候補
時間的な中間レイヤベクトル候補（ILC: interlayer candidate）は、ベクトル予測を向上させるために設けられている。このことは殊に、動き補償型時間フィルタとの関連において、あるいはオープンな階層的双方向予測画像の場合に該当する。各時間的分解段階において、動き補償される画像間のタイムインターバルが２倍になる。このためには本来、動き予測のために動きベクトルサーチレンジを大きくする必要が生じてしまう。しかしながら、先行の段階における動きベクトルを組み合わせて後の段階における動きを予想することができる。時間レイヤ１のための候補は、先行の時間的な分解段階（decomposition stage）ｌ−１における前方向および後方向の動きベクトルをもつペアに基づき計算される。

動きベクトルプレディクタのための候補以外すべての候補は先行の画像予測結果から導出されるので、シーケンス内で変化する動きに整合させる方法が有利である。したがってセットＳの各ベクトルをランダムに選択されたベクトルｒ_iに追加することによりベクトルセットＳが設けられており、これによって最終的なベクトルセットＳ_finalが導出される：
S_final = {v1, ...v_n, v₁ + r₁, ...v_n + r_n}
１つの実施形態によれば動きベクトルの最良な候補は、最終的なベクトルセットのすべての一義的なベクトルに対する費用関数の最小化により求められる。最良の動きベクトル候補を中心とするパターンサーチの後続のフルピクセル精密化も実行することができる。

周囲を取り囲む８つのハーフピクセルポジションを最初に評価し、次に最良のハーフピクセル候補データ周囲の８つの４分の１ピクセルポジションをテストすることにより、最終的にサブピクセル精密化が実行されるように構成することができる。

符号化モードを選択するためデータレートと画像歪みの比のコストを、２つの単方向モードと双方向モードから比較することができ、その際、両方の最良の単方向動きベクトルがさらに双方向で精密化を行うことなく用いられる。

さらに本発明は、既述の方法を実施するために構成されている装置ないしは符号化器に関する。この装置には通例のように計算ユニットが含まれている。本発明はさらに、プログラムコード手段を備えたコンピュータプログラムに関する。これによれば、このコンピュータプログラムがコンピュータまたはそれ相応の計算ユニットにおいて実行されると、本発明による方法のすべてのステップを実行することができる。

本発明はさらに、プログラムコード手段を備えたコンピュータプログラム製品に関する。このプログラム製品はコンピュータ読み取り可能なデータ媒体に格納されており、これによれば、コンピュータプログラムがコンピュータまたはそれ相応の計算ユニットにおいて実行されると、本発明による方法のすべてのステップを実行することができる。

以下の説明ならびに添付の図面には、本発明のその他の利点ならびに実施形態が示されている。

なお、これまで述べてきた特徴ならびに以下でさらに説明する特徴は、それぞれ記載されている組み合わせだけでなく、別の組み合わせでもあるいは単独でも、本発明の範囲を逸脱することなく利用できるのは自明である。

図面には実施例に基づき本発明が概略的に描かれており、以下ではそれらの図面を参照しながら本発明について詳細に説明する。

本発明による方法を説明するためにそれぞれ異なる２つの候補割り当てパターンを示す図 動き予測のために様々な情報源に基づき動きベクトルセットを生成する様子を示す図 本発明による装置に関する１つの実施形態を示す概略図

発明を実施するための形態
図１には、時間的中間層に関する候補のためのそれぞれ異なる割り当てパターンが示されている。上方領域には、ベクトルセットｓ^ｌ-１ _2t-2の第１のフレーム１０と、ベクトルセットｓ^ｌ-１ _2t-1の第２のフレーム１２と、ベクトルセットｓ^ｌ-１ _2tの第３のフレーム１４が描かれている。図１の下方領域には、ベクトルセットｓ¹ _t-1の第４のフレーム１６と、ベクトルセットｓ¹ _tの第５のフレーム１８が示されている。

図１の上方領域によればブロック２０のためのベクトルに対する候補は、フレーム１０からのベクトル２１Ｖ_fwdと、フレーム１４からのベクトルＶ_bwdによって求められる。したがって時間的レイヤ１のための候補は、記憶されている前方向および後方向の動きベクトルペアに基づき、先行の時間的な分解段階（decomposition stage）ｌ−１から求められる。

図１の下方部分に示されているように、基本的に２つの候補割り当てパターンを適用することができる。つまりこの場合、ベクトル２３Ｖ_fwd,colを用いてそれぞれ共通に配置された（co-located）ブロックへ候補を割り当てること、およびベクトルＶ_fwd,trjを用いて動き軌跡を追従するブロックへ候補を割り当てることにより行うことができる。ｓ^l-1 _2tにおけるブロックは定められたＶ_bwdの参照される領域と最大でオーバラップし、ｓ^l _tにおける共通に配置されたそのブロックは、候補としてＶ_fwd,trjに割り当てられる。

図２には、高速かつ効率的な動き予測のために様々な情報源に基づき動きベクトル候補セット３０を生成する様子が示されている。ここで種々の情報源は、比較的低い分解能をもつ現在のフレーム３２と、場合によっては異なる時間的レイヤから得られた事前に符号化されたフレーム３４と、比較的高い空間的分解能をもつ現在のフレーム３６である。第１の破線３８は、比較的高い分解能にスケーリングされたベクトル４０がリスト３０へ取り込まれることを示している。現在のフレーム３６内に設けられているブロック４２は、現在のマクロブロック４２を表している。図３には、本発明による装置の１つの実施形態が参照符号５０で表されている。この装置５０には計算ユニット５２と記憶装置５４と入／出力ユニット５６が含まれており、これらはデータライン５８を介して互いに接続されている。

計算ユニット５２においてデータ圧縮方法が実行される。その際、圧縮すべきデータないしはビデオシーケンスを入／出力ユニット５６を介して受け取ることができ、圧縮後に再び再生することもできる。計算ユニット５２を、圧縮されたデータを伸長するように構成することもできる。

Claims (11)

1. ビデオシーケンスにおけるデータ圧縮方法において、
   動き補償のために、先行する時間的な分解段階の動き予測結果も使用されることを特徴とする方法。
2. ビデオシーケンスにおけるデータ圧縮方法において、
   動き予測のための予測アルゴリズムが用いられることを特徴とする方法。
3. 前記アルゴリズムにはフルピクセル動きベクトルの候補セット（３０）が含まれる、請求項２記載の方法。
4. シーケンス内で変化する動きに整合させる方法が用いられる、請求項３記載の方法。
5. 費用関数の最小化により動きベクトルのための候補が求められる、請求項１から４のいずれか１項記載の方法。
6. 周囲を取り囲む８つのハーフピクセルポジションが最初に評価され、次に最良のハーフピクセル候補データ周囲の８つの４分の１ピクセルポジションのテストにより最終的にサブピクセル精密化が実行される、請求項１から５のいずれか１項記載の方法。
7. 符号化モードを選択するためにデータレートと画像歪みの比が使用される、請求項１から６のいずれか１項記載の方法。
8. ビデオシーケンスのデータを圧縮する装置において、
   請求項1から７のいずれか１項記載の方法を実施するために構成されていることを特徴とする装置。
9. 請求項１から７のいずれか１項記載の方法を実施するための計算ユニット（５２）を有する、請求項８記載の装置。
10. プログラムコード手段を備えたコンピュータプログラムにおいて、
    該コンピュータプログラムが、たとえば請求項８または９記載の装置（５０）内のコンピュータまたは相応の計算ユニット（５２）において実行されると、請求項１から７のいずれか１項記載の方法におけるすべてのステップが実施されることを特徴とする、
    コンピュータプログラム。
11. コンピュータ読み取り可能なデータ担体に格納されているプログラムコード手段を備えたコンピュータプログラム製品において、
    コンピュータプログラムが、たとえば請求項８または９記載の装置（５０）内のコンピュータまたは相応の計算ユニット（５２）において実行されると、請求項１から７のいずれか１項記載の方法におけるすべてのステップが実施されることを特徴とする、
    コンピュータプログラム製品。

Images