JP2006508581A - ビデオ符号化方法 - Google Patents

Abstract

本発明は、動き予測及び補償ステップと共に連続するグループ・オブ・フレームに適用される三次元サブバンド分解によりフレーム系列を符号化する方法に関する。これらのステップが結果的に得られる画質に大きく影響を及ぼす幾つかの接続されていない画素をもたらすので、本発明によれば、動きベクトルが現在のフレームＢから前の基準フレームＡにおけるサブピクセル位置に示すとき、該位置の近隣に位置される該前のフレームの整数画素を示すために該動きベクトルのトランケーションを実行し、それに依存することで、接続されていない画素数を低減することが提案される。

Description

本発明は、データ圧縮の分野全般に関し、より詳細には画素（ピクセル）から構成されるフレーム系列を符号化する方法に関し、該系列は、前のフレームＡと現在のフレームＢを含む連続するペア・オブ・フレーム（ＰＯＦ）にそれ自身が小分割される連続するグループ・オブ・フレーム（ＧＯＦ）に小分割され、該方法は、３次元ボリュームとして考えられる該系列において、それぞれのＧＯＦに対応する空間−時間データに適用されるフィルタリングステップを含む３次元（３Ｄ）サブバンド分解を実行し、該分解は、該ＰＯＦのＡ及びＢのそれぞれのＧＯＦ、及びそれぞれの時間分解レベルで得られる低周波時間サブバンド（ＰＯＳ）の対応するペアのそれぞれのＧＯＦで実行される動き予測及び動き補償ステップと共に該ＧＯＦに適用され、この動き補償時間フィルタリングの処理は、一方で、それぞれの前のフレームＡにおいて、該動き予測ステップにより定義される動きベクトルに対応する動きの軌道に沿ってフィルタリングされる接続された画素につながり、他方で、全くフィルタリングされていない、いわゆる残りの数の接続されていない画素となる。

また、本発明は、該プログラムがプロセッサにより実現されたとき、コンピュータシステムにかかる符号化方法を実行させるためのコンピュータ使用可能な媒体で実施されるコンピュータ読取り可能なプログラマブルコードに関する。

近年、ビデオ圧縮について三次元（３Ｄ）サブバンド解析が益々研究されてきている。３次元又は（２Ｄ＋ｔ）である、３Ｄボリュームとして考慮されるフレーム系列のウェーブレット分解は、自然の空間解像度及びフレームレートスケーラビリティを確かに提供する。ウェーブレット変換により生成される係数は、階層的ピラミッドを構築し、このピラミッドでは、空間−時間関係は、係数間の親と子孫の依存性を立証する３次元オリエンテーションツリーにより定義され、階層的なツリーで発生された係数の徹底的なスキャニング及びプログレッシブなビットプレーンの符号化技術は、所望の品質のスケーラビリティにつながる。このアプローチのための実際のステージは、８つのフレームからなるグループ・オブ・フレーム（ＧＯＦ）について図１に例示されるように、シンプルな２つのタップのウェーブレットフィルタを使用して、動き補償された時間サブバンドを発生することにある。

例示された実現では、入力ビデオ系列は、グループ・オブ・フレーム（ＧＯＦ）に分割され、（いわゆる動き補償時間フィルタリング又はＭＣＴＦモジュールと同じ入力である）連続する一組のフレームにそれ自身が小分割されるそれぞれのＧＯＦは、はじめに時間補償され、次いで時間フィルタリング（ＴＦ）される。第一の時間分解レベルの結果的に得られる低周波（Ｌ）時間サブバンドが更にフィルタリング（ＴＦ）され、２つのみの時間的な低周波サブバンドが残されているとき（ルート時間サブバンド）、処理が停止し、それぞれ１つは、第一及び第二の半分のＧＯＦの時間的な近似を表している。図１の例では、例示されるグループのフレームは図１〜図８で参照され、破線の矢印は、高域通過の時間フィルタリングに対応し、他の１つは低域通過の時間フィルタリングに対応する。２つの分解ステージが示されている（Ｌ及びＨ＝第一ステージ；ＬＬ及びＬＨ＝第二ステージ）。例示される８フレームからなるグループのそれぞれの時間分解レベルで、動きベクトルフィールドからなるグループが生成される（この例では、第一レベルでのＭＶ４、第二レベルでのＭＶ３）。

時間分解についてＨａａｒのマルチ解像度の解析が使用されるとき、それぞれ時間的な分解レベルで、考慮されるグループ・オブ・フレームにおけるそれぞれ２つのフレーム間で１つの動きベクトルが生成される。動きベクトルフィールド数が時間サブバンドにおけるフレーム数の半分に等しく、すなわち第一の動きベクトルフィールドのレベルで４であり、第二の動きベクトルフィールドのレベルで２である。動き予測（ＭＥ）及び動き補償（ＭＣ）は、入力系列のそれぞれ２つのフレームでのみ、一般に順方向で実行される。これら非常にシンプルなフィルタを使用して、それぞれ低周波時間サブバンド（Ｌ）は、入力である一組のフレームの時間平均を表し、高周波時間サブバンド（Ｈ）は、ＭＣＴＦステップ後の残りの誤差を含んでいる。

残念ながら、シーン、並びに被検体のカバーリング／アンカバーリングにおける動きの特性のため、動き補償時間フィルタリングは、全くフィルタリングされていない接続されていない画素（すなわちピクセル）の問題（又は２度フィルタリングされた、二重に接続された画素の問題をも）が生じる場合がある。その問題を解決するのを試みるための従来のソリューションは、１列当たり１つの画素のみをもつ理論的なフレームで実行される整数画素の動き補償のケースでは、接続されていない（及び二重に接続された）画素を示している図２を参照して記載される（接続されていない画素は、黒の点により表されており、二重に接続された画素は、円により表されており、接続された画素である他の画素は、円に囲まれた黒の点により表されている）。

それぞれ連続したフレームのペアについて（対応する前のフレームＡに関連する現在のフレームＢ）、時間的な低サブバンドＬ及び時間的な高サブバンドＨを有するサブバンドのペアは、フィルタリング及びデジメーションにより発生される。ブロックの境界ＢＢが表現されている図２に例示されるように、ａ₀〜ａ₆は前のフレームＡの画素であり、ｂ₀〜ｂ₆は現在のフレームＢの画素であり、ｌ₀〜ｌ₆は時間サブバンドＬにおける低域通過係数の値であり、及びｈ₀〜ｈ₆は時間サブバンドＨにおける高域通過係数の値である。接続された画素（たとえばａ₂）は、ブロックマッチング方法により定義された動きの軌道に沿ってフィルタリングされる。

かかる従来のソリューションによれば、（図２におけるａ₃又はａ₄のような）前のフレームＡにおける接続されていない画素について、オリジナルの値は、時間的な低いサブバンドに挿入される。（図２におけるａ₀のような）前のフレームＡにおける二重に接続された画素について、デコーダが同じ選択を適用した場合、現在のフレームＢで選択された画素について任意の選択が行われ、図２において、ｌ₀を計算するためにｈ₁の代わりにｈ₂が選択される（たとえば、文献“Motion-Compensated 3D subband coding of video”, S.J. Choi and J.W.Woods, IEEE Transactions on Image Processing, vol. 8, No2, February 1999, pp.155-167において、上から下に、左から右に現在のフレームを走査し、低域通過係数の計算について、それを示している現在のフレームに置ける最初の画素を考慮することが提案されている）。

半画素の動き補償の場合、整数ベクトルの管理は同じである。半画素ベクトルについて、前のフレームＡにおける半画素の位置を示している動きベクトルは、図３に示されるように、該前のフレームにおける整数画素へのポイントに切り捨てられ、この場合、半画素の位置は、クロスにより表現され、切捨てメカニズムは、このケースではベクトルが画像の上に向かって切り捨てられることを示す湾曲した矢印により、画素ｂ₂について例示されている（切捨てメカニズムは、完全再構成を保証するため、デコーダにおいて正確に同じである必要がある）。

全てのケースでは、接続されていない画素の数は、（時間補正が良好でない）特に高い動き系列又は最終的な時間分解レベルについて、結果的に得られる画質に大きく影響を及ぼすので、３Ｄサブバンドコーディング／デコーディングアプローチの弱点を表している。

本発明の目的は、かかる問題点を回避し、接続されていない画素数の低減により改善された符号化効率によるビデオ符号化方法を提供することにある。

上記目的を達成するため、本発明は、本明細書の導入部で定義されたような符号化方法に関するものであって、動き予測ステップは、可能性のある半画素の動き補償の観点で、動きベクトルが現在のフレームＢから対応する前のフレームＡにおけるサブピクセルの位置を示すとき、該動きベクトルが該前のフレームの整数画素を示すために切り捨てられることに従うメカニズムを有しており、かかるベクトルのトランケーションメカニズムは、該サブピクセルの位置を近接させること（neighboring）に依存している。

本発明は、添付図面を参照して例示により記載される。
本発明の目的は、接続されていない画素数を低減することであって、したがって、３Ｄサブバンドアプローチの符号化効率を改善することにある。このため、本発明の原理は、図３に例示されるような「システマチックな」ベクトルのトランケーションメカニズムを変更し、考慮中の画素を近接させることに依存して、半画素の位置を整数画素の位置と関連付けすることである。たとえば、図３では、ａ₀とａ₁との間に位置される半画素の位置は、現在のフレームＢにおける画素ｂ₂のための基準位置であり、フレームのトップへのベクトルのトランケーション（図３における曲がった矢印を参照）により整数位置ａ₁と関連付けされており、画素ａ₀はなお接続されていない。

その特別なケースでは、本発明によれば、半画素の位置をａ₁の代わりにａ₀と関連付けし、これにより、接続されていない画素数を１だけ低減することが提案される。この技術的なソリューションは、図４に例示されており、この場合、画素ａ₁が既に接続されており、画素ａ₀がなお接続されていないため、湾曲した矢印は、半画素の位置が位置ａ₀と関連付けされていることを示している。

完全再構成を保証するため、半画素の動きベクトルについて提案されるベクトル関連付けメカニズムは、デコーダ側で同じでなければならない。完全に送信される情報であるため、符号化及び復号化の両方で対照的なやり方で使用することができる一般的な情報は動きベクトル場であるので、符号化側で提案されるソリューションは、復号化側でミラーリングすることができるベクトル関連プロトコルと関連付けされる。

図５に例示されるように、前のフレームＡにおいて、整数画素ではないそれぞれ示された位置は、垂直方向Ｖ（図３に例示されるケースでは、従来の状況において、又図４では、本発明に係る状況において）、水平方向Ｈ、又は両方（ＨＶ）における半画素の位置とすることができる。なお、Ｖ及びＨのケースでは、より近い整数の位置との関連付けのため、二重の円で示される２つの自然の位置が存在し、ＨＶケースにおける４つの可能性のある隣りが存在する。全てのこれら半画素の位置について、ベクトルの関連性は、たとえば以下のような、参照される整数位置と既に自然に関連付けされる整数ベクトルを考慮して、接続されていない画素の数を最小にすることを試みなければならない。このベクトル関連付けメカニズムに関する可能性のある実現の例は、以下のアルゴリズムの命令で与えられる。なお、表１〜表３は、連続した処理を示している。

このアルゴリズムにより、「状態（ｉ，ｊ）」により、及び現在のフレームが処理されるとすぐ（厳密には現在のフレームのそれぞれの画素）、基準フレームの画素の状態をテーブルに記憶することが可能である。該テーブル「状態（ｉ，ｊ）」は、処理の開始で「接続されていない“unconnected”」に初期化され、現在のフレームのそれぞれの画素は、走査順序と同じ順序で処理される。基準フレームの接続されていない画素が「接続された“connected”」状態になるとすぐ、「状態（ｉ，ｊ）」もまた変更され、「接続された」状態となる。任意の瞬間で、状態はこのテーブルにより知ることができる。

先に与えられた開示は例示するものであって、本発明は上述された実現に限定されないことを述べておくことは重要である。本発明は半画素の動き補償の環境で主に開示されているが、半画素精度とは異なるサブピクセル精度で動き補償に上手く適用することができる。４分の１画素の一の幾つかのケースについて可能性のある関連付けは、たとえば、図６に例示されている（単なる円は整数位置に対応し、クロスは４分の１画素に対応し、二重の円は自然の関連される整数位置に対応する）。関連付けは、図７に例示される（この場合、より長い距離をもつこれら整数位置は、四角形により囲まれた円により示される）、より近い整数画素への距離よりも長い距離をもつ整数画素に拡張することもでき、第二の選択では、より近い整数画素が既に接続されている場合、ベクトル関連付けメカニズムは、これら代替的な整数の位置を選択する。

動き補償により２ステージのマルチ解像度の時間的な解析を示している。 整数画素の動き補償について、接続されていない（及び二重に接続された）画素の問題を例示している。 半画素の動きベクトルについて、ベクトルトランケーションの原理を示している。 半画素の位置が、前のフレームの画素に対応する位置と好ましくは関連されることに従い、該前のフレームの画素は該関連の前煮接続されていない、本発明の原理を示している。 半画素の位置について、３つの異なるタイプの可能性のある関連付けを例示する図である。 ４分の１画素の位置について、５つの例の可能性のある関連付けを例示する図である。 図６に関して、最も近い整数画素への距離よりも長い距離の場合、４分の１画素の位置について、可能性のある関連付けの拡張の例を示す図である。

Claims (7)

1. 画素から構成されるフレームの系列を符号化する方法であって、該系列は、前のフレームＡ及び現在のフレームＢを含む連続するペア・オブ・フレーム（ＰＯＦ）にそれ自身が細分される連続するグループ・オブ・フレーム（ＧＯＦ）に細分され、該方法は、三次元ボリュームとして考慮される該系列において、それぞれのＧＯＦに対応する空間−時間データに適用されるフィルタリングステップを含む三次元サブバンド分解を実行し、該分解は、該ＰＯＦのフレームＡ及びＢでのＧＯＦ、並びにそれぞれの時間的な分解レベルで得られる低周波の時間サブバンド（ＰＯＳ）の対応するペアでのＧＯＦで実行される動き予測及び補償ステップと共に該ＧＯＦに適用され、この動き補償時間フィルタリングのプロセスは、一方で、それぞれの前のフレームＡにおいて、該動き予測ステップにより定義される動きベクトルに対応する動きの軌跡に沿ってフィルタリングされる接続された画素を導き、他方で、全くフィルタリングされていない、残りの数のいわゆる接続されていない画素を導き、該動き予測ステップは、可能性のある半画素の動き補償の観点で、動きベクトルが現在のフレームＢから対応する前のフレームＡにおけるサブピクセル位置を示すとき、該動きベクトルが該前のフレームの整数画素を示すために切り捨てられるトランケーションメカニズムを有し、該ベクトルのトランケーションメカニズムは、該サブピクセルの位置を近接させることに依存する、
   ことを特徴とする符号化方法。
2. 該ベクトルのトランケーションメカニズムは、考慮されるサブピクセルの位置を関連付けの前に接続されていない整数画素に関連付けするため、より近い整数画素が接続されているか又は接続されていないという事実に従い、それぞれ前のフレームＡの上又は該フレームの下のいずれかに実行されるベクトルのトランケーション動作により実行される、
   請求項１記載の符号化方法。
3. 該ベクトルのトランケーションメカニズムは、フレーム又はサブバンドのペア内で示され、垂直方向、水平方向又はそれらの両者における半画素の位置である全ての位置について実現され、該ベクトルのトランケーション動作は、該関連付けの前に接続されていないより近い整数画素への自然の関連付けにより行われる、
   請求項２記載の符号化方法。
4. 該ベクトルのトランケーションメカニズムは、フレーム又はサブバンドのペア内で示され、垂直方向、水平方向又はいずれか横断方向で４分の１画素の位置である全ての位置について実現され、該ベクトルのトランケーション動作は、関連付けの前に接続されていない、より近い整数画素への自然の関連付けにより行われる、
   請求項２記載の符号化方法。
5. 該ベクトルのトランケーションメカニズムは、フレーム又はサブバンドのペア内で示され、垂直方向、水平方向又はいずれか横断方向で４分の１画素の位置である全ての位置について実現され、該ベクトルのトランケーション動作は、より近い整数画素が既に接続された場合、最も近い整数画素への距離よりも長い距離をもつ接続されていない整数画素への関連付けにより行われる、
   請求項２記載の符号化方法。
6. プログラムがプロセッサにより実現されるとき、コンピュータシステムに、請求項１乃至５のいずれか記載の符号化方法を実行させるためのコンピュータ使用可能な媒体で実施されるコンピュータ読取り可能なプログラムコード。
7. 請求項６記載のコンピュータ読取り可能なプログラムコードを含むプロセッサを有する符号化装置。

Images