JP2009509411A

JP2009509411A - ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法

Info

Publication number: JP2009509411A
Application number: JP2008531281A
Authority: JP
Inventors: マルコパニコーニ; ジェイムズジェイキャリッグ; ズーロンミアオ
Original assignee: ソニーエレクトロニクスインク
Priority date: 2005-09-16
Filing date: 2006-09-13
Publication date: 2009-03-05
Anticipated expiration: 2026-09-13
Also published as: WO2007035362A2; KR20080054399A; WO2007035362A3; CN101268477B; EP1932098A4; KR101328795B1; JP5237814B2; US7894527B2; CN101268477A; EP1932098A2; US20070064806A1

Abstract

画像をフィルタリングする方法は、ターゲット画像データを受け取るステップと、ターゲット画像データに多段階フィルタを適用するステップとを含む。フィルタ処理の各段階は、動きベクトルのサンプリングパターンを生成するステップと、ターゲット画像データと動きベクトルのサンプリングパターンとを利用してターゲット画像データの時間予測を生成するステップと、ターゲット画像データの時間予測を用いてターゲット画像データの時空間変換を生成するステップとを含む。
【選択図】図１

Description

本発明はビデオ圧縮の技術分野に関する。

ビデオ符号化において、圧縮処理には通常、空間フィルタリング用の残留フィルタと、時間予測フィルタとを必要とする。残留フィルタは、離散コサイン変換（ＤＣＴ）、ウェーブレット、又はリフティング変換を用いることができる。時間予測フィルタは、（通常１又は２の）参照画像の集合からターゲット画像を予測することを可能にする。時間予測フィルタは、ターゲット画像内で参照画像に対して位置が変化した（すなわち移動した）物体を表す動きベクトルの集合と、動きベクトルデータに対して機能するフィルタとを利用する。時間予測に対する標準的な手法は、動きベクトルの規則的な又は均一なパターンを利用して、この動きベクトルにより表される各ブロックに対して単純な動き補償を実施する。

ターゲット画像においては、動きベクトルの不規則なパターンを用いる傾向がある。動きベクトルの不規則なパターンは、時間予測の改善を図る目的でターゲット画像内の動きベクトルの位置を適応させる（例えば、動いている物体の境界近くの動きベクトルをより多くし、背景領域の動きベクトルを少なくする）ことにより生じる。しかしながら、動きベクトルの不規則なパターンを生成することは、高度に複雑な処理手順である場合が多く、通常、時空間フィルタリングの作用とは無関係にターゲット画像上で実施される。時空間フィルタリングの作用と不規則な動きベクトルのサンプリングとの間でかなり重複する場合があるので、上記処理は望ましいものではない。

例えば、画像のある領域が複雑な動きを有する場合でも、空間相関性が非常に高いので、この領域を極めて容易にフィルタ処理することができる。従って、これらの領域は、動きベクトルの不規則な分布を必要としない。この理由は、動きベクトルの単純で均一なパターンを用いて、動きベクトルの不規則なパターンの生成に関する複雑さのコストを排除することができるためである。従来の手法では、動きベクトルの不規則なパターンの生成を時空間フィルタリングの結果とリンクさせることは不可能である。

画像をフィルタリングする方法は、ターゲット画像データを受け取るステップと、ターゲット画像データに多段階フィルタを適用するステップとを含む。各段階は、動きベクトルのサンプリングパターンを生成するステップと、ターゲット画像データと動きベクトルのサンプリングパターンとを利用してターゲット画像データの時間予測を生成するステップと、ターゲット画像データの時間予測を用いてターゲット画像データの時空間変換を生成するステップとを含む。

本発明は例証として説明され、添付図面と共に以下の説明を参照することにより十分に理解することができる。

以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定の実施形態を例証として示している添付図面を参照する。他の実施形態を利用することも可能であり、本発明の範囲から逸脱することなく構造的変更を加えることができる点を理解されたい。例えば、様々な実施形態を説明するのに用いるフィールド、フレーム、又は画像といった用語は、一般的にビデオデータに関して用いられるときには同義であることは当業者には理解されるであろう。同様に、用語「動きベクトルの規則的な分布」と「動きベクトルの均一な分布」、及び用語「動きベクトルの不規則なパターン」と「動きベクトルの適応的なパターン」は、一般的にビデオデータに関して用いられるときには同義であることは当業者には理解されるであろう。

動きベクトルのパターン生成を時空間予測とリンクさせる方法では、多段階にわたるターゲット画像への時空間変換を適用する。この変換により、ターゲット画像から得られる空間データと、予測画像から得られる時間データとが処理される。本方法の最初の数段階では、ターゲット画像の空間データが高く相関付けられる。換言すれば、画像の一部からの空間データは通常、この画像の近接部分における空間データの正確な予測を提供する。従って、本方法の初期段階は、時間予測ではなく空間予測に依存する。例えば、初期段階では、生成された動きベクトルのパターンは、規則的なパターン又はほぼ規則的なパターンで分布する。動きベクトルがターゲット画像全体にわたって均一な間隔で均等に分布する場合、動きベクトルのパターンは規則的なものとなる。

本方法の後半の段階では、低域通過フィルタリングの作用により空間相関が低くなる。従って、後半の段階で生成される動きベクトルのパターンは、不規則になり、空間予測でなく時間予測に依存するようになる。空間データ及び動きベクトルの規則的なパターンを利用して最初にターゲット画像を予測することにより、ターゲット画像の圧縮形態が、動きベクトルの不規則なパターン及び時間データを利用した更なる圧縮に利用することができる。結果として、完全なターゲット画像に対して不規則なパターンを生成することよりも、部分的に圧縮された小さなサイズのターゲット画像に対する動きベクトルの不規則なパターンを生成することの方があまり複雑ではない。

多段階リンク法の１つの実施例を図１に示す。１１０で、エンコーダは、入力ターゲット画像と参照画像の１又はそれ以上の集合とを受け取る。各参照画像は、事前に復号化されたデータを含み、エンコーダ及びデコーダの両方がこれらの参照画像を利用できる。１２０で、エンコーダは、動きベクトルの第１のサンプリングパターンを生成し、これをターゲット画像に適用する。本実施例では、元のターゲット画像における空間相関性が強いので、サンプリングパターンは規則的なものである。１３０で、適応的時間予測フィルタは、ターゲット画像と、動きベクトルの規則的なパターンと、参照画像の集合とを利用して、ターゲット画像の第１の予測値を生成する。適応的時間予測フィルタの１つの実施例として、適応影響エリア（ａｄａｐｔｉｖｅａｒｅａｏｆｉｎｆｌｕｅｎｃｅ：ＡＡＯＩ）フィルタがあり、以下で説明する。１４０で、時空間変換の第１段階が、ターゲット画像及び第１の予測値に適用され、ターゲット画像の第１の変換値が生成される。幾つかの実施形態では、第１の変換値は、ターゲット画像の第１の低域通過データと第１の高域通過データとを含む。

１５０で、エンコーダは、動きベクトルの第２のパターンを生成してターゲット画像の第１の低域通過データに適用する。本実施例では、第１段階の変換の平均化処理の結果として第１の低域通過データにおいて一部の空間相関が失われるので、第２のサンプリングパターンは、第１のサンプリングパターンに比べると規則性が少ない。１６０で、適応的時間予測フィルタは、動きベクトルの不規則なサンプリングパターン、ターゲット画像の第１の低域通過データ、参照フィールドの集合、及び第１の予測値を利用して、ターゲット画像の第２の予測値を生成する。１７０で、時空間変換の第２段階がターゲット画像の第１の低域通過データ及び第２の予測値に適用され、ターゲット画像の第２の変換値を生成する。幾つかの実施形態では、第２の変換値は、ターゲット画像の第２の低域通過データと第２の高域通過データとを含む。

１８０で、第２段階の変換により生成されたターゲット画像の第２の低域通過データが与えられると、エンコーダは、動きベクトルの第３のパターンを生成する。本実施例では、第３のパターンは、第２段階の変換の平均化処理の結果としてより多くの空間相関性が失われるので、第２のパターンよりも更に不規則なものとなる。１９０で、適応的時間予測フィルタは、動きベクトルの第３の不規則なパターン、ターゲット画像の第２の低域通過データ、参照画像の集合、及び第２の予測値を利用して、第３の予測値を生成する。１９５で、時空間変換の第３段階が第３の予測値と第２の低域通過データとに適用されて、第３の低域通過データを含むターゲット画像の第３の変換値を生成する。１９７で、本実施例では最後の残りのデータである第３の低域通過データがエントロピー符号化され、符号化された係数がデコーダに送信される。図１は、３つの段階を有する多段階リンク法の実施例を示す図である。一般に、多段階リンク法は、あらゆる数の段階に適用することが可能であり、圧縮を最大にするために、各ターゲット画像に対して段階数を固定又は変更することが可能である。

図１の方法により生じた中間結果の実施例が３つの段階で図２に示されている。ブロック２１０は、エンコーダが受け取ったターゲット画像を示す。ターゲット画像は、フィルタ処理される前は高い空間相関性を有する。従って、ブロック２２０に示すように、動きベクトルの規則的なパターンがターゲット画像に適用され、適応的時間予測フィルタに入力して第１の予測値を生成する。時空間変換の第１段階は、第１の予測値及びターゲット画像を利用して、ブロック２４０に示すように第１の低域通過データＬ１及び第１の高域通過データＨ１を含む、第１の変換値を生成する。低域通過データの実施例は、平均化され又は圧縮されたデータであり、高域通過データの実施例は、元のターゲット画像からターゲット画像の予測を差し引いたものから取得される残留データである。

ブロック２５０に示すように、動きベクトルの不規則なパターンが生成され、ターゲット画像の第１の低域通過データＬ１に適用される。次いで、適応的時間予測フィルタは、第１の低域通過データ、第１の予測値、及び動きベクトルの不規則なパターンを利用して第２の予測値を生成する。ブロック２６０に示すように、時空間変換の第２段階は、第２の予測値及び第１の低域通過データを利用して、第２の低域通過データＬ２及び第２の高域通過データＨ２を含む、第２の変換を提供する。

第２の低域通過データの量は、ブロック２１０に示す元のターゲット画像データの量と比べるとより小さなものとなる。この結果、第２の低域通過データに対して動きベクトルの不規則なパターンを生成するステップは、元のターゲット画像に対して不規則なパターンを生成するステップよりも複雑でなくなる。また、第２の低域通過データの空間相関は、ターゲット画像２１０の空間相関よりも遙かに低いものとなる。従って、空間データよりも時間データに依存する場合、第２の低域通過データの予測がより正確なものとなる。従って、ブロック２８０に示すように、動きベクトルの不規則なパターンが生成され、第２の低域通過データに適用される。

適応的時間予測フィルタは、第２の低域通過データ、第２の予測値、及び動きベクトルの非均一なパターンを利用して、第３の予測値を生成する。ブロック２９５に示すように、時空間変換は、第３の予測値及び第２の低域通過データを利用して、第３の低域通過データＬ３を含む第３の変換値を生成する。図２に示す方法は、動きベクトルのパターンの生成を時空間フィルタリングとインタリーブさせる方法を示している。各段階において、動きベクトルのサンプリングパターンが、当該段階のターゲット画像データの空間相関に適応される。適応的サンプリングパターンは、移動物体領域においてより高密度の動きベクトルを提供し、背景領域には低密度の動きベクトルを提供する。空間相関は、一般に、初期段階では強く、後の段階では弱くなる。従って、図２の実施例は、（空間予測により依存する可能性がある）段階１における動きベクトルの規則的なパターンと、（時間予測により依存する可能性がある）より高次の段階におけるより複雑な動きベクトルパターンを示している。

図１の１４０をより詳細に参照し、時空間変換の１つの実施例が図３に示される。動きベクトルのパターン３１５がターゲット画像３１０に分布している。適応的時間予測フィルタは、動きベクトル及び参照画像３２０を利用して、時間予測値３３０を生成する。時間予測値及びターゲット画像に時空間変換が適用される。例えば、ターゲット画像からの画素３４０の行が低域通過フィルタによりフィルタ処理されて、低域通過データ３５０が生成される。この低域通過データと、時間予測値からの画素３６０とが高域通過予測フィルタにより利用されて、高域通過データ３７０が生成される。

図１の１３０、１６０及び１９０を更に詳細に参照し、適応的時間予測フィルタを実施する処理の実施例が図４に示される。適応的時間予測フィルタは、動きベクトルの規則的又は不規則的とすることができるパターンに適用されて、ターゲット画像の予測値を生成する。１つの実施形態では、不規則なパターンに対する適応的時間フィルタのタップ構造に関連して、動きベクトルの各推定値が求められる。推定は２段階で行われる。第１段階では、フィルタのタップ構造とは無関係の動きベクトルの最初の推定値が求められる。第２段階では、各動きベクトルの値の再推定中にタップ構造が利用される。特定の動きベクトルに適用されるタップ構造は、近接動きベクトルの局所的パターンから生成され、特定の動きベクトルの推定値内にそのタップ構造の作用を含めるようにする。ある実施形態では、適応的画素の影響エリアと適応的検索ウィンドウとを利用して、再推定処理の実施の複雑さを低減するようにする。適応的時間フィルタに関連して動きベクトルの値を推定する方法の実施例は、本出願と同時出願のＭａｒｃｏＰａｎｉｃｏｎｉ他による、代理人整理番号５０Ｕ７０５７「ＡＤＡＰＴＩＶＥＭＯＴＩＯＮＥＳＴＩＭＡＴＩＯＮＦＯＲＴＥＭＰＯＲＡＬＰＲＥＤＩＣＴＩＯＮＦＩＬＴＥＲＯＶＥＲＩＲＲＥＧＵＬＡＲＭＯＴＩＯＮＶＥＣＴＯＲＳＡＭＰＬＥＳ（不規則な動きベクトルのサンプルに関する時間予測フィルタに対する適応的動き推定）」と題する同時継続中の米国特許出願第ＸＸ／ＸＸＸ，ＸＸＸ号に記載されており、該出願は引用により本明細書に組み込まれる。

適応的時間フィルタリング手順の実施例を図４に示す。４１０で、画像に対する動きベクトルのサンプリングパターンが生成される。このようなパターン形成は、当業者には周知の方法を用いて様々な方法で行うことができる。

４１０で生成された動きベクトルのサンプリングパターンの実施例は、図５のブロック５１０に示される不規則なパターンである。画像５１０の白いドットは動きベクトルを表している。不規則又は適応的サンプリングパターンでは、動きベクトルは、参照画像からの予測が困難な領域（すなわち、移動境界に近い領域などのより複雑な動きを伴う画像領域）により多く集中している。画像の背景領域などの単純な動き領域には、より少数の動きベクトルが配置される。

図４に戻ると、４２０で画像は、影響エリアセル（ＡＯＩセル）と呼ばれる複数のセルに分割され、ここで各ＡＯＩセルは、そのノードとして１つの動きベクトルを有する。例えば、図５の画像５１０は、ブロック５２０に図示するようにＡＯＩセルに分割される。各ＡＯＩセルは、画像内のいずれの他の動きベクトルよりもセル内部の動きベクトルにより大きく影響を受ける領域を表す。ＡＯＩセルは各動きベクトルに対して生成されるので、ＡＯＩセルのサイズは、境界領域などの画像内の物体の特徴に関連付けることができる。例えば、物体間の境界領域に近いＡＯＩセルは、画像の背景領域のＡＯＩセルよりも小さい可能性がある。また、ＡＯＩセルの形状を局所的に変更して、物体の境界の形状に適応させることができる。ＡＯＩセルの生成方法の１つの実施例は、最も距離が近い動きベクトルの分割方法である。ブロック法又は三角法などの他の分割方法を利用してもよい。

図４に戻ると、４３０で、各動きベクトルの初期値が決定される。４３５で、動きベクトルの不規則なパターン及び影響エリアセルを利用してターゲット画像内の画素を予測するために、適応的時間予測フィルタが生成される。予測フィルタは、動き補償信号に対して時間領域で動作する。詳細には、フィルタは、異なる動き補償信号の加重和を利用することによりターゲット画素を予測し、ここで各動き補償信号は、異なる動きベクトルを適用してターゲット画素を予測することにより取得される。フィルタ係数及びタップ構造は、動きベクトルの変動パターンに応じて各画素に対して変化する。また、フィルタのサポートは局所的である。このことは、ターゲット画素の補償に用いられる動きベクトルが、当該画素の局所的近傍から取得されることを意味する。

フィルタは以下の構造を有する。｛ｖ_j｝はＮ個の動きベクトルの集合を示し、Ｉ（ｘ）は、参照画像（事前に復号化された画像）を示すものとする。Ｓ（ｘ）は、画素ｘのロケーションを囲む動きベクトルの幾つかの集合を示すものとする。ターゲット画素ｘの予測値は、一般に次式で表すことができる。

ここで、｛ｆ_i｝はフィルタ係数の集合であり、ｘ＋ｖ_iは、動きベクトルｖ_iが画素ｘに適用されたときの動き補償画素である。フィルタのサポート又はタップは、集合Ｓ（ｘ）で定義される。タップのサポートＳ（ｘ）及びフィルタ係数｛ｆ_i｝は、一般に、画素位置ｘ及び近接動きベクトルの関数である。すなわち、フィルタ係数は、動きベクトルの分布が画像全体で変動するので、各画素に対して変化することができる。従って、フィルタは、動きベクトルの変動パターンに局所的に適応する。

４４０で、予測フィルタがターゲット画像に適用されて、ターゲット画像に対する時間予測が実施される。このフィルタは、時間領域に適用され、動きベクトル値の集合及びサンプリングパターンをもたらすターゲット画像に対する予測結果を生成する。フィルタは、フィルタ・タップと、オーバラップする領域のエリアにより定義されるフィルタ係数とを用いて、予測されることになる画素に近接する動きベクトルの関連性を取得する。このクラスの予測フィルタの実施例は、本出願と同時出願されたＭａｒｃｏＰａｎｉｃｏｎｉ他による、代理人整理番号５０Ｕ６０４５の「ＡＤＡＰＴＩＶＥＡＲＥＡＯＦＩＮＦＬＵＥＮＣＥＦＩＬＴＥＲ（適応的影響エリアフィルタ）」と題された同時継続中の米国特許出願第ＸＸ／ＸＸＸ，ＸＸＸ号に開示された影響エリアフィルタであり、該出願は引用により本明細書に組み込まれる。

時間予測値を生成するためのフィルタ適用の実施例を図６に示す。参照画像６０２内の画素は、ターゲット画像６０４内の画素を予測するのに利用される。参照画素は参照画像６０２において実線で表され、予測されるターゲット画素は、ターゲット画像６０４において破線で表される。フィルタは、局所的な動きベクトルｖ１からｖ５までのタップ構造を利用することにより、ターゲット画像６０４における画素ｘに対する予測値を形成する。それぞれのＡＯＩセルの各々が画素ｘのＡＯＩセルの少なくとも一部と重なるので、動きベクトルは、画素ｘに対し局所的である。タップ構造における各動きベクトル｛ｖ_i｝は、参照画像６０２の画像データ｛Ｉ_i｝にマッピングされる。適応的時間予測フィルタは、フィルタ重み｛ｆ_i｝により参照データ｛Ｉ_i｝を調整して、画素ｘを予測する。

１つの実施形態では、予測フィルタは、タップ構造及びフィルタ重みを利用して、次式に従って予測値を生成する。
予測値＝Ｉ₁＊ｆ₁＋Ｉ₂＊ｆ₂＋Ｉ₃＊ｆ₃＋Ｉ₄＊ｆ₄＋Ｉ₅＊ｆ₅
ここで、４３０でフィルタが生成されると、局所的な動きベクトルにより定義されるフィルタ・タップと、フィルタ係数｛ｆ_i｝とが求められる。

図４に戻ると、４５０で、フィルタにより生成された予測結果を利用して動きベクトルの値を再推定し、適応的フィルタの精度を改善する。４６０で、予測誤差を低減する必要がある場合には、本方法は４４０に戻る。そうでなければ、本方法は４７０で終了する。この結果、動きベクトルの全影響エリアにおける全ての画素に対する予測誤差が減少する。動きベクトルの全影響エリアを利用した動きベクトルの値を再推定する方法の実施例は、本出願と同時出願のＭａｒｃｏＰａｎｉｃｏｎｉ他による、代理人整理番号５０Ｕ７０５７の「ＡＤＡＰＴＩＶＥＭＯＩＴＩＯＮＥＳＴＩＭＡＴＩＯＮＦＯＲＴＥＭＰＯＲＡＬＰＲＥＤＩＣＴＩＯＮＦＩＬＴＥＲＯＶＥＲＩＲＲＥＧＵＬＡＲＭＯＴＩＯＮＶＥＣＴＯＲＳＡＭＰＬＥＳ（不規則な動きベクトルのサンプルに対する時間予測フィルタ用の適応的動き推定）」と題された同時継続中の米国特許出願第ＸＸ／ＸＸＸ，ＸＸＸ号に記載されており、該出願は引用により本明細書に組み込まれる。

図１の１３０及び１６０を更に詳細に参照し、適応的時間予測フィルタにより生成された中間結果の実施例を図７に示す。適応的時間予測フィルタが参照画像７２０とターゲット画像７１０内の動きベクトルの集合７１５とを利用して、予測画像７３０が生成される。適応的時間予測フィルタは、複数の動きベクトル｛ｍ_i｝にフィルタ係数｛ｆ_i｝を適用して、ターゲット画像内の画素ｘを予測する。予測フィルタは次式の形を有する。

ここで、ｘは予測されることになる画素、ｉは特定の動きベクトルを示し、ｍ_iは動きベクトルｉに対する値、ｆ_iは動きベクトルｉのフィルタ係数、集合Ｓ（ｘ）はフィルタ・タップ、Ｐ₁は第１の予測値である。

第１の予測値と、ターゲット画像の第１の低域通過データと、参照画像とを利用して第２の予測値を生成する。１つの実施形態では、第１の予測値及び参照画像を時空間変換の低域通過フィルタによりフィルタ処理して、第１の予測値７６０の低域通過データと参照画像７５０の低域通過データとを生成する。この動作により、予測フィルタに入力されたデータを共通形式とすることができる。動きベクトルの不規則なパターン７４５はターゲット画像の低域通過データ７４０に適用され、第２の予測値７７０が生成される。適応的時間予測フィルタは、７５０から得られる参照データと７６０から得られる第１の予測データとを利用して、ターゲット画像の第１の低域通過データ７４０における画素ｘを予測する。

第２の予測に利用される各動きベクトルは、値（ｍｉ）とモードマップ（ｐｉ）とを有する。このモードマップは、０から１までの値であり、ｐ_i∈［０，１］となり、ある実施形態では、ｐ_iは０、１、又は１／２のいずれかである。このモードマップは、前回の予測の現在の予測に対する寄与度を示す。例えば、モードマップが０であれば、動きベクトルの値は、参照画像のデータだけによって決まる。モードマップが１であれば、動きベクトルの値は、前回の予測データだけによって決まる。モードマップが１／２であれば、動きベクトルの値は、前回の予測データと参照画像データとの平均値によって決まる。

適応的時間予測フィルタは、第１の予測値を利用して第２の予測値を生成するので、フィルタは以下の形を有する。

この場合、ｐ₁は動きベクトルｉのモードマップ値であり、_L1 ^refは参照画像の低域通過データであり、Ｌ₁ ^Pは第１の予測の低域通過データであり、Ｐ₂は第２の予測値である。

図１の１２０、１５０及び１８０を更に詳細に参照し、動きベクトルのパターン選択の実施例を図８に示す。一般に、動きベクトルに割り当てられる総ビットバジェットと時空間変換の段階数は予め設定されている。幾つかの実施形態では、各段階で利用される動きベクトルの数もまた予め設定されている。各ブロックは１つの動きベクトルを有するので、利用することができる動きベクトルの様々なサンプリングパターンは、ブロックの個数及び種類により特徴付けられる。例えば、動きベクトルの規則的なパターンＭＶ１は、１６画素×１６画素などの１つのブロック形状を用いて生成される。不規則なパターンＭＶ₂は、実施形態によっては、８×１６、１６×１６、及び１６×３２の画素などの３つのブロック形状を用いて生成される。更に不規則なパターンＭＶ３は、実施形態によっては８×８、８×１６、１６×１６、１６×３２、３２×３２、及び３２×６４の画素などの６つのブロック形状を有する。極めて不規則なパターンＭＶ４は、例えば１０個などの更に多くのブロック形状を有する。

動きベクトルのこれらのサンプリングパターンＭＶ_i（ｉは特定のパターンを表わす）が与えられ、各段階において利用可能な動きベクトルの数が与えられると、エンコーダは、以下の動作を実施して、特定の段階ｎにおけるサンプリングパターンを決定する。８１０で、空間フィルタを利用して高域通過データが計算される。幾つかの実施形態では、この動作は、ターゲット画像を空間フィルタリングして、高域通過データの空間予測値を生成することにより実施される。８１５で、空間予測誤差が測定される。段階ｎにおけるこの高域通過データの空間予測誤差は、ｅ_n ^spatialと表示される。８２０で、動きベクトルの候補サンプリングパターンＭＶ_iを有する時空間フィルタを利用して、高域通過データが計算される。幾つかの実施形態では、この動作は、時空間フィルタと動きベクトルのパターンとをターゲット画像に適用して、時空間予測値を生成することにより実施される。８２５で、時空間予測誤差が測定される。段階ｎにおける高域通過データの空間予測誤差は、ｅ_n ^{spatial_temporal}と表示される。第１の反復の間、ｉは１となり、よって規則的なサンプリングパターンＭＶ₁が用いられる。８３０で、空間予測誤差と時空間予測誤差との差が閾値の範囲内にあるかどうかが判定される。１つの実施形態では、この判定は次式を用いて行われる。
Ｃ_i-1＜｜ｅ_n ^spatial−ｅ_n ^{spatial_temporal}｜＜Ｃ_i
ここで、Ｃ_i-1とＣ_iは、動きベクトルのサンプリングパターンにおける複雑さの程度を制御するのに用いられる予め設定された限界値である。例えば、ｉ＝１、Ｃ₀＝０、及び、
｜ｅ_n ^spatial−ｅ_n ^{spatial_temporal}｜＜Ｃ_i
である場合、予測誤差は時間成分の追加に伴って実質的に低減されることはない。従って、規則的なパターンＭＶ₁の代わりに、動きベクトルの不規則なパターンを使用する必要はない。８３０で条件が満たされると、８４０で、候補パターンが使用され、本処理は８４５で終了する。条件が満たされない場合には、８５０でｉが１だけ増分されて、候補パターンとして動きベクトルの次のパターンが選択され、この処理は８２０に戻る。

図９は、多段階リンク法を用いたシステムの実施例を示している。デジタルビデオカメラ９１０は電子的形式で画像を取り込み、圧縮及び符号化処理中にリンク法を用いる圧縮デバイス９２０を利用して画像を処理する。符号化された画像は、電子伝送媒体９３０を介してデジタル再生デバイス９４０に送られる。この画像は、復号化処理中に本方法を用いる復号化デバイス９５０により復号化される。カメラ９１０は、本発明の実施形態を含む種々の画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像プロセッサ、個人用及び商用のコンピューティングプラットフォーム、その他）を例証するものである。同様に、復号化デバイス９５０は、画像データを復号化する様々なデバイスを例示するものである。

本発明を特定のシステム環境における例示的な実施形態に関して説明したが、本発明は、添付の請求項の精神及び範囲内で他の異なるハードウェア及びソフトウェア環境において様々な方式で実施することができる点は当業者であれば理解されるであろう。

リンク法の一実施例を示す図である。図１の方法により生成される中間結果の一実施例を示す図である。図１の方法で用いられる時空間変換の一実施例を示す図である。図１の方法で用いられる適応的時間フィルタリング手順の一実施例を示す図である。図４の方法で用いられる動きベクトルのパターンの一実施例を示す図である。図４の方法を用いて時間予測値を生成するステップの一実施例を示す図である。図１の方法を用いて時間予測値を生成することにより提供される中間結果の一実施例を示す図である。図１の方法により使用される動きベクトルのパターンを生成するステップの一実施例である。図１のリンク法を用いるシステムの一実施例を示す図である。

符号の説明

１１０ターゲット画像と参照画像の集合とを受け取る
１２０動きベクトルの第１のパターンを生成する
１３０ターゲット画像の第１の時間予測値を生成する
１４０ターゲット画像の時空間変換の第１段階を適用する
１５０動きベクトルの第２のパターンを生成する
１６０ターゲット画像の第２の時間予測値を生成する
１７０ターゲット画像の時空間変換の第２段階を適用する
１８０動きベクトルの第３のパターンを生成する
１９０第３の時間予測値を生成する
１９５ターゲット画像の時空間変換の第３段階を適用する
１９７残留データを符号化し、これをデコーダに送る

Claims

電子データプロセッサにより実行される方法であって、
ターゲット画像データを受け取るステップと、
各々がフィルタ処理を含む多段階フィルタリングを前記ターゲット画像データに適用するステップと、
を含み、前記フィルタ処理が、
動きベクトルのサンプリングパターンを生成するステップと、
前記ターゲット画像データと前記動きベクトルのサンプリングパターンとを利用して、前記ターゲット画像データの時間予測値を生成するステップと、
前記ターゲット画像データの時間予測値を用いて、前記ターゲット画像データの時空間変換値を生成するステップと、
を含む方法。
前記ターゲット画像データに前記多段階フィルタリングを適用するステップが、
第１段階で、前記ターゲット画像に前記フィルタ処理を適用するステップと、
次の段階で、前記ターゲット画像のフィルタ処理された低域通過データに前記フィルタ処理を適用するステップと、
を含むことを特徴とする請求項１に記載の方法。
前記動きベクトルのサンプリングパターンを生成するステップが、
第１段階で、動きベクトルの規則的なサンプリングパターンを生成するステップと、
次の段階で、動きベクトルの不規則なサンプリングパターンを生成するステップと、
を含むことを特徴とする請求項１に記載の方法。
各段階における前記動きベクトルのサンプリングパターンが、当該段階で前記ターゲット画像データの空間相関に適応される、
ことを特徴とする請求項１に記載の方法。
各段階において前記動きベクトルのサンプリングパターンを生成するステップが、
前記ターゲット画像を空間フィルタ処理して、前記ターゲット画像の第１の予測値を生成するステップと、
前記第１の予測値を用いて第１の予測誤差を求めるステップと、
前記ターゲット画像に動きベクトルの候補パターンと時空間フィルタとを適用して、前記ターゲット画像の第２の予測値を生成するステップと、
前記第２の予測値を用いて、第２の予測誤差を求めるステップと、
前記第１の予測誤差と第２の予測誤差との間の差が予め設定された限界値の範囲内である場合、前記動きベクトルの候補パターンを前記動きベクトルのサンプリングパターンとして用いるステップと、
を含むことを特徴とする請求項４に記載の方法。
前記動きベクトルのサンプリングパターンを用いて、前記多段階フィルタの第１段階で前記ターゲット画像の時間予測値を生成するステップが、
次式を含む予測フィルタを適用するステップであることを特徴とする請求項１に記載の方法

ここで、Ｐ₁（ｘ）は画素ｘの前記第１段階における時間予測値、Ｓ（ｘ）は前記画素ｘをフィルタリングする動きベクトルの集合、ｆ_iは集合Ｓ（ｘ）における動きベクトルｉのフィルタ係数重み、ｍ_iは動きベクトルｉの値、Ｉ^refは参照画像である。
前記多段階フィルタ処理の第１段階の後の段階で、前記動きベクトルのサンプリングパターンを用いて前記ターゲット画像の時間予測値を生成するステップが、
前記前の段階からの前記動きベクトルのサンプリングパターン、参照画像、及び前記時間予測を用いて予測フィルタを適用するステップを含む、
ことを特徴とする請求項１に記載の方法。
前記予測フィルタが次式を含むことを特徴とする請求項７に記載の方法。

ここで、Ｐ_n（ｘ）は段階ｎ及び画素ｘの時間予測、Ｓ（ｘ）は画素ｘをフィルタリングする動きベクトルの集合、ｆ_iは集合Ｓ（ｘ）における動きベクトルｉの前記フィルタ係数重み、ｍ_iは動きベクトルｉの値、Ｌ_n-1 ^refは前記参照画像の低域通過フィルタ処理されたデータ、Ｌ_n-1 ^Pは前記前の段階からの前記時間予測の低域通過フィルタ処理されたデータ、ｐ_iは、前記参照画像からの前記低域通過フィルタ処理されたデータと、前記前の段階からの前記時間予測値の低域通過フィルタ処理されたデータとによる寄与度を求めるためのモードマップ値である。
処理システムにより実行されたときに、前記システムに対して、
ターゲット画像データを受け取るステップと、
各々がフィルタ処理を含む多段階フィルタリングを前記ターゲット画像データに適用するステップと、
を含み、前記フィルタ処理が、
動きベクトルのサンプリングパターンを生成するステップと、
前記ターゲット画像データと前記動きベクトルのサンプリングパターンとを利用して、前記ターゲット画像データの時間予測値を生成するステップと、
前記ターゲット画像データの時間予測値を用いて、前記ターゲット画像データの時空間変換値を生成するステップと、
を含む方法を実施させる命令のコンピュータプログラムを格納するコンピュータ可読媒体。
前記ターゲット画像データに前記多段階フィルタリングを適用するステップが、
第１段階で、前記ターゲット画像に前記フィルタ処理を適用するステップと、
次の段階で、前記ターゲット画像のフィルタ処理された低域通過データに前記フィルタ処理を適用するステップと、
を含むことを特徴とする請求項９に記載のコンピュータ可読媒体。
前記動きベクトルのサンプリングパターンを生成するステップが、
第１段階で、動きベクトルの規則的なサンプリングパターンを生成するステップと、
次の段階で、動きベクトルの不規則なサンプリングパターンを生成するステップと、
を含むことを特徴とする請求項９に記載のコンピュータ可読媒体。
各段階における前記動きベクトルのサンプリングパターンが、当該段階で前記ターゲット画像データの空間相関に適応される、
ことを特徴とする請求項９に記載のコンピュータ可読媒体。
各段階において前記動きベクトルのサンプリングパターンを生成するステップが、
前記ターゲット画像を空間フィルタ処理して、前記ターゲット画像の第１の予測値を生成するステップと、
前記第１の予測値を用いて第１の予測誤差を求めるステップと、
前記ターゲット画像に動きベクトルの候補パターンと時空間フィルタとを適用して、前記ターゲット画像の第２の予測値を生成するステップと、
前記第２の予測値を用いて、第２の予測誤差を求めるステップと、
前記第１の予測誤差と第２の予測誤差との間の差が予め設定された限界値の範囲内である場合、前記動きベクトルの候補パターンを前記動きベクトルのサンプリングパターンとして用いるステップと、
を含むことを特徴とする請求項１２に記載のコンピュータ可読媒体。
ターゲット画像データを受信し、前記ターゲット画像データに多段階フィルタリングを適用するマイクロプロセッサを備えた装置であって、
前記各段階が、
動きベクトルのサンプリングパターンを生成するステップと、
前記ターゲット画像データと前記動きベクトルのサンプリングパターンとを利用して、前記ターゲット画像データの時間予測値を生成するステップと、
前記ターゲット画像データの時間予測値を用いて、前記ターゲット画像データの時空間変換値を生成するステップと、
を有するフィルタ処理を含む、
ことを特徴とする装置。
前記マイクロプロセッサが、
第１段階で、前記ターゲット画像に前記フィルタ処理を適用するステップと、
次の段階で、前記ターゲット画像のフィルタ処理された低域通過データに前記フィルタ処理を適用するステップと、
によって前記ターゲット画像データに前記多段階フィルタリングを適用する、
ことを特徴とする請求項１４に記載の装置。
前記マイクロプロセッサが、
第１段階で、動きベクトルの規則的なサンプリングパターンを生成するステップと、
次の段階で、動きベクトルの不規則なサンプリングパターンを生成するステップと、
によって前記動きベクトルのサンプリングパターンを生成する、
ことを特徴とする請求項１４に記載の装置。
各段階における前記動きベクトルのサンプリングパターンが、当該段階で前記ターゲット画像データの空間相関に適応される、
ことを特徴とする請求項１４に記載の装置。
前記マイクロプロセッサが、
前記ターゲット画像を空間フィルタ処理して、前記ターゲット画像の第１の予測値を生成するステップと、
前記第１の予測値を用いて第１の予測誤差を求めるステップと、
前記ターゲット画像に動きベクトルの候補パターンと時空間フィルタとを適用して、前記ターゲット画像の第２の予測値を生成するステップと、
前記第２の予測値を用いて、第２の予測誤差を求めるステップと、
前記第１の予測誤差と第２の予測誤差との間の差が予め設定された限界値の範囲内である場合、前記動きベクトルの候補パターンを前記動きベクトルのサンプリングパターンとして用いるステップと、
によって各段階において前記動きベクトルのサンプリングパターンを生成する、
ことを特徴とする請求項１７に記載の装置。