JP2009509415A

JP2009509415A - 適応的影響エリアフィルタ

Info

Publication number: JP2009509415A
Application number: JP2008531350A
Authority: JP
Inventors: マルコパニコーニ; ジェイムズジェイキャリッグ; ズーロンミアオ
Original assignee: ソニーエレクトロニクスインク
Priority date: 2005-09-16
Filing date: 2006-09-12
Publication date: 2009-03-05
Also published as: WO2007035465A3; US8059719B2; KR20080048070A; US20070064807A1; WO2007035465A2; EP1932247A4; KR101276450B1; EP1932247A2; CN101263662A

Abstract

適応的時間フィルタを生成する方法は、ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップと、ターゲット画像内のピクセルを選択するステップと、選択されたピクセルの周りにピクセルエリアセルを構成するステップと、動きベクトルエリアセルとピクセルエリアセルとの間のオーバーラップエリアを決定するステップと、オーバーラップエリアからフィルタ重みを生成するステップと、記フィルタ重みを用いて、前記選択されたピクセルをフィルタリングするステップとによって実施される。
【選択図】図２

Description

本発明はビデオ圧縮の分野に関する。

前に復号化された参照画像の集合からターゲット画像を予測するビデオ圧縮処理において、時間予測フィルタが利用される。時間予測処理は、かなりの量の時間的冗長性を除去する際に有効であり、一般により高い符号化効率がもたらされる。予測処理は、動きベクトルの集合と動きベクトル上で機能するフィルタとを用いてターゲット画像を予測する。

例えば、この予測法は、図１に示すように参照画像１１０を複数の固定サイズのブロック１２０に分割する。各ブロックは、ターゲット画像に対してブロックの動きを記述する関連した動きベクトルを有する。動きベクトルは、画像１１０の白ドットで示されている。時間予測フィルタは、関連する動きベクトルを用いて、参照画像における各ブロックに対して単純な動き補償技術を実施し、ターゲット画像におけるブロックのロケーションを予測する。従って、ターゲット画像における各ブロックは、単一の動きベクトルを用いて参照画像内のブロックから推定される。しかしながら、この手法は、各動きベクトルを別個に処理するものであり、画像特徴に対して適応的ではない。

単一の動きベクトルを利用して関連するブロックのロケーションを予測し、又は動きベクトルの規則的なパターン向けに定義されたフィルタに依存する従来方式の時間フィルタは、時間予測を実施するために動きベクトルの規則的な分布を必要とする。従って、従来の時間フィルタは、予測処理を動きベクトルの不規則なパターンに適応させることはできない。そのため、フィルタのタップ及びフィルタ係数を動きベクトルの不規則なパターンの変動に局所的に適応させることが可能なフィルタに対する要望がある。物体境界及び空間テクスチャに適応する柔軟性を有する時間フィルタに対する要望もある。

適応的時間フィルタを生成する方法は、ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップと、ターゲット画像内のピクセルを選択するステップと、上記選択されたピクセルの周りにピクセルエリアセルを構成するステップと、動きベクトルエリアセルとピクセルエリアセルとの間のオーバーラップエリアを決定するステップと、該オーバーラップエリアからフィルタ重みを生成するステップと、フィルタ重みを用いて、選択されたピクセルをフィルタリングするステップとによって実施される。

本発明は例証として説明され、添付図面と共に以下の説明を参照することにより十分に理解することができる。

以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定の実施形態を例証として示している添付図面を参照する。他の実施形態を利用することも可能であり、本発明の範囲から逸脱することなく構造的変更を加えることができる点を理解されたい。例えば、様々な実施形態を説明するのに用いるフィールド、フレーム、又は画像といった用語は、一般的にビデオデータに関して用いられるときには同義であることは当業者には理解されるであろう。

適応的影響エリア（ＡＡＯＩ）時間フィルタは、ターゲット画像を予測する時に、動きベクトルの不規則なパターン、物体の特徴、空間テクスチャに自動的に適応する。ＡＡＯＩフィルタは、動き補償信号に対して時間領域で機能し、動きベクトルを直接フィルタリングしようと試みる他の方法（例えば、動きベクトル領域における三角フィルタリング）とは異なるものである。例えば、ＡＡＯＩフィルタリング法は、時間領域で機能するので、物体及び空間テクスチャに対する適応が行いやすい。１つの実施形態では、ＡＡＯＩフィルタは、ピクセルの予測中に２段階処理を行って、隣接する動きベクトルを結合する。第１段階では、動きベクトルの不規則なサンプリング・パターン、物体の形状、及び境界にフィルタを適応させる。第２段階では、フィルタを画像の空間テクスチャに適応させる。

適応的時間フィルタリング手順の一実施例を図２に示す。２１０で、画像に対して動きベクトルの不規則なサンプリング・パターンが生成される。このような不規則なパターン形成は、当業者には公知の方法を用いて様々な様態で行うことができる。動きベクトルの不規則なパターンの一実施例が、図３のブロック３１０に示されている。画像３１０の白ドットは動きベクトルを表す。この適応的サンプリング・パターンでは、動きベクトルは、参照画像からの予測が困難な領域（すなわち、動きのある境界近くの領域のようなより複雑な動きを伴う画像領域）により多く集中している。例えば、画像の背景領域のような単純な動きの領域には、より少数の動きベクトルが配置される。

図２に戻ると、２２０で画像は、影響エリアセル（ＡＯＩセル）と呼ばれる複数のセルに分割され、各ＡＯＩセルは、そのノードとして１つの動きベクトルを有する。ＡＯＩセルに分割された画像の一実施例を図３のブロック３２０に示す。各ＡＯＩセルは、画像内のいずれかの他の動きベクトルよりもセル内部の動きベクトルにより大きく影響を受ける領域を表す。ＡＯＩセルは各動きベクトルに対して生成されるので、ＡＯＩセルのサイズは、境界領域などの画像内の物体の特徴に関連付けることができる。例えば、物体間の境界領域に近いＡＯＩセルは、画像の背景領域のＡＯＩセルよりも小さい可能性がある。また、ＡＯＩセルの形状を局所的に変更して、物体の境界の形状に適応させることができる。ＡＯＩセルの生成方法の１つの実施例は、（ボロノイ・セルなどの）最も距離が近い動きベクトルの分割方法である。ブロック法又は三角法などの他の分割方法を利用してもよい。また、ＡＯＩセルを局所的に修正して、物体境界に適応させることもできる。

図２に戻ると、２３０で、初期の動き推定が実行され、各ＡＯＩセルにおける動きベクトルの初期値を決定する。初期の動き推定は、動きベクトルに関連するＡＯＩセルを参照画像内の対応するセルにマップし、２つのセル間の変位を測定する。この変位により、各動きベクトルの初期値が与えられる。その結果、この初期値は、このセル対セルのマッピングと変位測定とによって決まるので、周囲の動きベクトルからのどのような影響も反映していない。従って、特定の動きベクトルについての初期値は、他の動きベクトルとは無関係である。

２４０で、適応的影響エリア（ＡＡＯＩ）フィルタが影響エリアセルに適用されて、ターゲット画像に対する時間予測を実施する。このフィルタは、時間領域で適用され、動きベクトルの値の集合及びサンプリング・パターンが与えられるターゲット画像に対して予測結果を生成する。このＡＡＯＩフィルタは、オーバーラップ領域のエリアにより定義されるフィルタ・タップ及びフィルタ係数を用いて、予測されることになるピクセルに隣接する動きベクトルの関連性を取得する。２５０で、フィルタにより生成された予測結果を用いて、動きベクトルの値を再推定し、適応的フィルタの精度を改善するようにする。実施形態によっては、２６０で、処理は２４０に戻り、適応的影響エリアフィルタにより生成された予測誤差を低減することができる。そうでなければ、プロセスは２７０で終了する。

図２に示された２４０を更に詳細に参照すると、適応的影響エリアフィルタが影響エリアセルに適用されて、参照画像及び動きベクトルの集合からターゲット画像の時間予測値が生成される。上記フィルタは以下の構造を有する。｛ｖ_j｝はＮ個の動きベクトルの集合を示し、Ｉ（ｘ）は参照画像（事前に復号化された画像）を示すものとする。Ｓ（ｘ）はピクセルｘのロケーションを囲む動きベクトルの幾つかの集合を示すものとする。当該ターゲットピクセルｘの予測値は、一般に次式で表すことができる。

ここで、｛ｆ_i｝はフィルタ係数の集合であり、ｘ＋ｖ_iは、動きベクトルｖ_iが画素ｘに適用されたときの動き補償画素である。フィルタのサポート又はタップは、集合Ｓ（ｘ）で定義される。タップのサポートＳ（ｘ）及びフィルタ係数｛ｆ_i｝は、一般に、画素位置ｘ及び近接動きベクトルの関数である。すなわち、フィルタ係数は、動きベクトルの分布が画像全体で変動するので、各画素に対して変化することができる。従って、フィルタは、動きベクトルの変動パターンに局所的に適応する。

１つの実施形態では、フィルタ係数｛ｆ_i｝は図４Ａにより示される方法を用いて計算される。第１段階では、自然なタップ構造とフィルタ重みとが定義され、第２段階では、フィルタが画像の空間テクスチャに適応される。第１段階では、物体の形状及び境界並びに不規則なサンプリング・パターンなどの特徴に適応することができるＡＡＯＩフィルタが生成される。第２段階では、ビデオ圧縮のための動きベクトルベースの時間予測処理中にＡＡＯＩフィルタが画像の空間テクスチャに適応することが可能となる。

第１段階は４１０から始まり、予測されることになるターゲットピクセルの近傍の動きベクトルを含む局所的な動きベクトルのサンプリング・パターンを受け取る。４２０で、各局所的な動きベクトルの周りに影響エリアセルが構成される。この結果、ターゲットピクセルの局所的エリアがＡＯＩセルの集合に分割される。４３０で、ピクセルを補間するために、ピクセルは新たなノードと見なされ、ピクセルの周りにピクセル影響エリアセルが構成される。次いで、４４０で、ピクセルの影響エリアセルにオーバーラップする各隣接するＡＯＩセルのエリアが決定される。このオーバーラップエリアは、自然なタップ構造とフィルタ重みとを定義する。換言すれば、タップ構造は、ＡＯＩセルがピクセルエリアセルとの非ゼロ値のオーバーラップエリアを有する各動きベクトルｉにより定義される。タップ構造における各動きベクトルのフィルタ重みは、比率Ａ_i／Ａにより定義される。すなわち、幾つかのピクセルロケーションｘでは、次式となる。

ここで、Ｓ（ｘ）はピクセルｘの近傍の局所的な動きベクトルの集合であり、Ａ_iは集合Ｓ（ｘ）及びピクセル影響セルにおける動きベクトルｉのＡＯＩセルのオーバーラップエリアであり、Ａは、ＡＯＩセル及びピクセル影響セルの全オーバーラップエリアであり、ｆ_iはフィルタ重みである。

４５０で、フィルタは、例えば、移動している物体の物体境界などの画像特徴に適応される。幾つかの実施形態における影響エリアセルの形状は、移動している物体の境界に適応するように変化する。このエリアセルは、動きベクトルエリアセル及びピクセルエリアセルを同じ物体に属するピクセルだけを含むように制約することによって、画像内の物体境界に適応される。これにより、予測されることになるピクセルの周りに修正ＡＯＩセルが生成される。従って、１つの実施形態では、フィルタ・サポート及び係数は以下のように表される。

ここで、

は物体境界に起因する動きベクトルｉの修正ＡＯＩセルである。各修正ＡＯＩセルは、予測されるピクセルと同じ動きレイヤにおけるピクセルを含み、他の動きレイヤ内のピクセルを含まない。この第１段階の最後に、フィルタは、動きベクトルの不規則なパターンと、移動している物体の境界の両方に適応されている。

画像内の各ピクセルに対して予測値を生成した後、フィルタリング処理の第２段階が実施される。第２段階では、４６０で、フィルタが空間テクスチャに適応される。ＡＡＯＩフィルタの第１段階から出力された予測値は規則的なパターンのサンプリング・データの形であるので、第２段階の幾つかの実施形態では、最小２乗（ＬＳ）トレーニングフィルタを利用して、フィルタを空間テクスチャに適応させる。別の実施形態では、空間適応処理により段階１のＡＯＩセルを直接変更して、同様の空間テクスチャを有するピクセルのみを含むようにすることができる。

図４Ａに示す適応的フィルタリング処理では、時間領域において定義されるエリアベースフィルタが生成され、該フィルタは、時間予測処理中に隣接する動きベクトルを結合する。フィルタは、動画像の動きベクトル、物体形状及び境界、並びに空間テクスチャの非均一又は不規則なサンプリング・パターンに必然的に適応する。

図４Ａの処理の第１段階の間に生成された中間結果の一実施例が図４Ｂに示されている。４１７で、局所的なノードパターンを受け取る。この局所的なノードパターンは、ピクセルｘの近傍に存在する、予測を必要とする動きベクトルの集合（円で表されている）を含む。動きベクトルには（１）から（６）までの番号が付けられている。４２７で、動きベクトルの周りに影響エリアセルが構成される。各破線は、ＡＯＩセル間の境界を表す。４３７で、実線で表される影響エリアセルが予測対象ピクセルｘの周りに構成される。

４４７で、各動きベクトルのＡＯＩセルとピクセルのＡＯＩセルとの間のオーバーラップエリアが決定される。例えば、動きベクトル（１）のＡＯＩセルは、オーバーラップエリアＡ₁においてピクセルのＡＯＩセルにオーバーラップしている。このオーバーラップエリアによりフィルタのタップ及びフィルタ重みが決まる。タップ構造は、ＡＯＩセルがピクセルエリアセルとの非ゼロ値のオーバーラップエリアＡ_iを有する各動きベクトルｉにより定義される。この実施例では、動きベクトル（４）のＡＯＩセルは、ピクセルのＡＯＩセルとはオーバーラップしていない。従って、ピクセルｘのフィルタのタップ構造は、動きベクトル（１）、（２）、（３）、（５）及び（６）である。タップ構造における各動きベクトルのフィルタ重みは、比率Ａ_i／Ａにより定義される。例えば、このケースでは、ｆ₁＝Ａ_i／Ａとなる。

４５７で、フィルタは、例えば、動いている物体の物体境界４５１などの画像特徴に適応される。動いている物体の物体境界４５１によって動きレイヤ４５３と４５５とに分離される。ピクセルｘを補間するために、タップ構造は、ピクセルｘと同じ動きレイヤにある動きベクトルを含むように修正される。ピクセルｘは動きレイヤ４５５に存在するので、４４７から得られたタップ構造は、動きベクトル（３）及び（５）を除去し、動きベクトル（１）、（２）及び（６）をタップ構造として残すように修正される。

更に、４５７で、フィルタ重みが物体境界４５１の形状に適応される。この実施例では、物体境界４５１に沿った影響エリアセルの形状が、動いている物体の境界に適応するように変化する。物体境界４５１は動きベクトル（２）のＡＯＩセルを分析する。動きレイヤ４５５に存在するピクセルｘを補間するために、動きベクトル（２）のＡＯＩセルは、動きレイヤ４５５がある元のセルのピクセルのみを含むように再定義される。これにより、動きベクトル（２）の周りに修正されたＡＯＩセルが生成される。動きベクトル（６）のＡＯＩセルの形状もまた、物体境界４５１に適応される。動きベクトル（６）のＡＯＩセルと物体境界４５１との間のエリアは、動きレイヤ４５５に存在する。しかしながら、このエリアは、最初は動きベクトル（５）のＡＯＩセルに含まれていたものである。動きベクトル（５）は、もはやフィルタのタップ構造の一部ではないので、現在ではこのエリアにおけるピクセルは、動きベクトル（６）のＡＯＩセルの一部になっている。修正されたオーバーラップエリア

及び

並びにオーバーラップエリア

を利用してフィルタ重みが生成される。

図４Ａ及び図４Ｂに示す方法により生成されたフィルタを利用して、ターゲット画像内のピクセルを予測する。例えば、図２の２４０を再度更に詳細に参照し、図５に示すようにフィルタを利用してターゲット画像のピクセルｘを予測する。参照画像５１０のピクセルを利用して、ターゲット画像５２０のピクセルを予測する。参照ピクセルは参照画像５１０における実線の円で表され、予測対象ターゲットピクセルは、ターゲット画像５２０において点線の円で表される。

フィルタは、局所的な動きベクトルｖ₁からｖ₅までのタップ構造を利用して、ターゲット画像５２０のピクセルｘに対する予測値を形成する。動きベクトルのそれぞれのＡＯＩセルの各々は、ピクセルｘのＡＯＩセルの少なくとも一部とオーバーラップするので、動きベクトルは、ピクセルｘに対して局所的なものである。タップ構造における各動きベクトル｛ｖ₁｝は、参照画像５１０内の画像データ｛Ｉ_i｝にマッピングする。適応的時間予測フィルタは、フィルタ重み｛ｆ_i｝により参照データ｛Ｉ_i｝を調整しピクセルｘを予測する。１つの実施形態では、予測フィルタは、タップ構造とフィルタ重みとを利用して、次式に従って予測値を生成する。
予測値＝Ｉ₁＊ｆ₁＋Ｉ₂＊ｆ₂＋Ｉ₃＊ｆ₃＋Ｉ₄＊ｆ₄＋Ｉ₅＊ｆ₅
ここで、局所的な動きベクトルにより定義されるフィルタ・タップと、フィルタ係数｛ｆ_i｝とが図４Ａ及び図４Ｂに示される方法により決定される。

初期予測後、本処理は、図２のブロック２５０に示すように動きベクトルの値を再推定しフィルタの精度を改善する。１つの実施形態では、この再推定は図６に示す方法を用いて行われる。６１０で、ＡＡＯＩフィルタに対する最大予測誤差に寄与する動きベクトルが特定される。次いで、６２０で、ＡＡＯＩフィルタの予測誤差が低減又は最小化されるまで、特定された動きベクトルの値を変化させる。次に、６３０で、動きベクトルの値が変化した値に更新される。６４０で、誤差の低減が飽和した場合、処理は終了する。飽和していない場合、処理は予測誤差の低減が飽和するまで６１０に戻る。その結果、実施形態によっては、画像内の全ての動きベクトルに対して図２の処理が繰り返される。

１つの実施形態では、ＡＡＯＩフィルタは、図７に示すようにビデオデータの画像（又はフレームもしくはフィールド）を符号化するビデオ符号化システムが利用する。７１０で、エンコーダが入力ターゲット画像を受け取る（ターゲット画像に関連する復号画像データを含む参照画像の集合が、符号化処理中にエンコーダに利用可能であり、また、復号化処理中にはデコーダに利用可能である）。７２０で、エンコーダは、ターゲット画像に関連する動きベクトルのサンプリング又は分布を生成する。すなわち、動きベクトルの個数Ｎが与えられると、これらＮ個の動きベクトルはターゲット画像内に配置される。動きベクトルの位置は、一般に画像内容の動きのエリアに適応され、例えば、図３に示すような動きベクトルの不規則なパターンをもたらす。７３０で、サンプリング・パターン情報（例えば、パターンを表すためのビット）がデコーダに伝達される。多くの手法を利用して、適応的サンプリング・パターンを生成することができる。

７４０で、時間予測フィルタリング処理が、不規則な動きのサンプリング・パターンに適用される。この適応的フィルタリング処理は、動きベクトル、不規則なサンプリング・パターン、及び参照画像を利用して、ターゲット画像の予測値を生成する。７５０で、動きベクトルの値は符号化され、デコーダに送られる。７６０で、適応的フィルタリング処理から得られる予測誤差をターゲット画像から差し引いた実際のターゲット・データである残留データが生成される。７７０で、この残留データは符号化され、７８０でデコーダに送られる。

別の実施形態では、図８に示すようにビデオデータの画像（又はフレームもしくは画像）を復号化する際にＡＡＯＩフィルタが利用される。８１０で、符号化された残留データが受け取られる。８２０で、デコーダは受け取った符号化残留データを復号化する。８３０で、デコーダは、サンプル・パターン情報、参照画像、及び動きベクトル値を受け取る。次いで、８４０で、デコーダは、適応的時間フィルタ処理手順を適用して、時間予測値を生成する。８５０で、復号化残留データを時間予測値に加えることにより、復号化ターゲット画像が生成される。

図９は、適応的影響エリアフィルタを用いたシステムの実施例を示している。デジタルビデオカメラ９１０は電子形式で画像を取り込み、圧縮デバイス９２０を利用して画像を処理する。このデジタルビデオカメラ９１０は、圧縮処理及び符号化処理中に適応的影響エリアフィルタを利用する。符号化された画像は、電子伝送媒体９３０を介してデジタル再生デバイス９４０に送られる。この画像は、復号化処理中にフィルタを利用する復号化デバイス９５０により復号化される。カメラ９１０は、本発明の実施形態を含む種々の画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像プロセッサ、個人用及び商用のコンピューティングプラットフォーム、その他）を例証するものである。同様に、復号化デバイス９５０は、画像データを復号化する様々なデバイスを例示するものである。

本発明を特定のシステム環境における例示的な実施形態に関して説明したが、本発明は、添付の請求項の精神及び範囲内で他の異なるハードウェア及びソフトウェア環境において様々な方式で実施することができる点は当業者であれば理解されるであろう。

従来のブロックベースの時間フィルタの一実施例を示す図である。適応的時間フィルタリング処理手順の一実施例を示す図である。適応的時間フィルタリング処理手順で利用される動きベクトルの不規則なパターン及び影響エリアセルの実施例を示す図である。適応的時間フィルタリング処理手順で利用される適応的時間フィルタを生成する方法の実施例を示す図である。適応的時間フィルタリング処理手順で利用される適応的時間フィルタを生成する方法の実施例を示す図である。適応的時間フィルタを用いて行われる予測の一実施例を示す図である。適応的時間フィルタリング処理手順において利用することができる誤差低減の一実施例を示す図である。適応的時間フィルタを利用するビデオ圧縮符号化処理の一実施例を示す図である。適応的時間フィルタを利用する復号化処理の一実施例を示す図である。適応的影響エリアフィルタを利用するシステムの一実施例を示す図である。

符号の説明

２１０動きベクトルの不規則なサンプリング・パターンを生成する
２２０画像を影響エリアセルに分割する
２３０各ＡＯＩセルにおける動きベクトルの初期値を推定する
２４０適応的影響エリアフィルタをＡＯＩセルに適用する
２５０動きベクトルの値を再推定する
２６０予測誤差を減少させるか？
２７０終了

Claims

電子データプロセッサにおいて実施される方法であって、
ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップと、
前記ターゲット画像内のピクセルを選択するステップと、
前記選択されたピクセルの周りにピクセルエリアセルを構成するステップと、
前記動きベクトルエリアセルと前記ピクセルエリアセルとの間のオーバーラップエリアを決定するステップと、
前記オーバーラップエリアからフィルタ重みを生成するステップと、
前記フィルタ重みを用いて、前記選択されたピクセルをフィルタリングするステップと、
を含む方法。
前記動きベクトルの値を修正することによりフィルタの予測誤差を低減するステップを更に含む、
ことを特徴とする請求項１に記載の方法。
前記修正ステップが、
フィルタの最大予測誤差に寄与する動きベクトルを特定するステップと、
前記フィルタの予測誤差が低減されるまで前記特定された動きベクトルの値を変化させるステップと、
を更に含む請求項２に記載の方法。
前記オーバーラップエリアを決定するステップが、
前記選択されたピクセルと同じ物体に属するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記画像における物体境界に適応させるステップを更に含む、
ことを特徴とする請求項１に記載の方法。
前記フィルタ重みを生成するステップが、
前記ピクセルエリアセルとオーバーラップする各動きベクトルエリアセルについて次式を決定するステップを含むことを特徴とする請求項１に記載の方法。

ここで、ｉは、前記ピクセルｘの周りの局所的動きベクトルの集合Ｓ（ｘ）における前記動きベクトル、Ａ_iは、前記ピクセルエリアセルとの動きベクトルｉにおけるセルのオーバーラップエリア、Ａは、前記ピクセルエリアセルとの前記動きベクトルセルの全オーバーラップエリア、ｆ_iはフィルタ重みである。
前記フィルタリングするステップが、
動きベクトルの不規則なパターンに対して、次式であるように前記ターゲットピクセルを予測するステップを含むことを特徴とする請求項１に記載の方法。

ここで、ｘは予測されるピクセル、Ｉ^pred（ｘ）はピクセルｘの予測値、Ｓ（ｘ）はピクセルｘを囲む動きベクトルの集合、ｖ_iは動きベクトル、ｆ_iは集合Ｓ（ｘ）における動きベクトルに対するフィルタ重み、Ｉ^ref（ｘ）は参照画像における値、ｘ＋ｖ_iは動きベクトルｖｉがピクセルｘに適用されたときの動き補償ピクセルである。
前記フィルタ処理されたピクセルを前記画像の空間テクスチャに適応させるステップを更に含むことを特徴とする請求項１に記載の方法。
前記オーバーラップエリアを決定するステップが、
前記選択されたピクセルの空間テクスチャを有するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記空間テクスチャに適応させるステップを更に含む、
ことを特徴とする請求項１に記載の方法。
ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップが、最も近い隣接距離のションを適用するステップを含む、
ことを特徴とする請求項１に記載の方法。
ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成する動きベクトルエリアセル構成器と、
前記ターゲット画像においてフィルタリングするためのピクセルを選択する選択器と、
前記選択されたピクセルの周りにピクセルエリアセルを構成するピクセルエリアセル構成器と、
前記動きベクトルエリアセルと前記ピクセルエリアセルとの間のオーバーラップエリアを決定するオーバーラップエリア決定器と、
前記オーバーラップエリアからフィルタ重みを生成するフィルタ重み生成器と、
前記フィルタ重みを用いて前記選択されたピクセルをフィルタリングするフィルタと、
を備える装置。
前記動きベクトルの値を修正してフィルタ予測誤差を低減する修正器を更に備えることを特徴とする請求項１０に記載の装置。
前記修正器が、フィルタの最大予測誤差に寄与する動きベクトルを特定して、前記フィルタの予測誤差が低減されるまで前記動きベクトルの値を変化させることを特徴とする請求項１１に記載の方法。
前記オーバーラップエリア決定器が、前記選択されたピクセルと同じ物体に属するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記画像の物体境界に適応させることを特徴とする請求項１０に記載の装置。
前記フィルタ重み生成器が、
前記ピクセルエリアセルとオーバーラップする各動きベクトルエリアセルについて次式を決定することを特徴とする請求項１０に記載の装置。

ここで、ｉは、前記ピクセルｘの周りの局所的動きベクトルの集合Ｓ（ｘ）における前記動きベクトル、Ａ_iは、前記ピクセルエリアセルとの動きベクトルｉにおけるセルのオーバーラップエリア、Ａは、前記ピクセルエリアセルとの前記動きベクトルセルの全オーバーラップエリア、ｆ_iはフィルタ重みである。
前記フィルタが、
動きベクトルの不規則なパターンに対して、次式であるように前記ターゲットピクセルを予測することを特徴とする請求項１０に記載の装置。

ここで、ｘは予測されるピクセル、Ｉ^pred（ｘ）はピクセルｘの予測値、Ｓ（ｘ）はピクセルｘを囲む動きベクトルの集合、ｖ_iは動きベクトル、ｆ_iは集合Ｓ（ｘ）における動きベクトルに対するフィルタ重み、Ｉ^ref（ｘ）は参照画像における値、ｘ＋ｖ_iは動きベクトルｖｉがピクセルｘに適用されたときの動き補償ピクセルである。
前記フィルタが、前記ターゲットピクセルを前記画像の空間テクスチャに適応させる、
ことを特徴とする請求項１０に記載の装置。
前記オーバーラップエリアの決定器が、前記選択されたピクセルの空間テクスチャを有するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記空間テクスチャに適応させる、
ことを特徴とする請求項１０に記載の装置。
前記動きベクトルエリアセル構成器が最も近い隣接距離のパーティションを適用する、
ことを特徴とする請求項１０に記載の装置。
処理システムによって実行されたときに、前記システムに対して、
ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップと、
前記ターゲット画像内のフィルタリングするピクセルを選択するステップと、
前記選択されたピクセルの周りにピクセルエリアセルを構成するステップと、
前記動きベクトルエリアセルと前記ピクセルエリアセルとの間のオーバーラップエリアを決定するステップと、
前記オーバーラップエリアからフィルタ重みを生成するステップと、
前記フィルタ重みを用いて、前記選択されたピクセルをフィルタリングするステップと、
を含む方法を実施させる命令プログラムを格納するコンピュータ可読媒体。
前記動きベクトルの値を修正することによりフィルタ予測誤差を低減させるステップを更に含む、
ことを特徴とする請求項１９に記載のコンピュータ可読媒体。
前記修正ステップが、
フィルタの最大予測誤差に寄与する動きベクトルを特定するステップと、
前記フィルタの予測誤差が低減されるまで前記特定された動きベクトルの値を変化させるステップと、
を更に含む、
ことを特徴とする請求項２０に記載のコンピュータ可読媒体。
前記オーバーラップエリアを決定するステップが、
前記選択されたピクセルと同じ物体に属するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記画像における物体境界に適応させるステップを更に含む、
ことを特徴とする請求項１９に記載のコンピュータ可読媒体。
前記フィルタ重みを生成するステップが、
前記ピクセルエリアセルとオーバーラップする各動きベクトルエリアセルについて次式を決定するステップを含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。

ここで、ｉは、前記ピクセルｘの周りの局所的動きベクトルの集合Ｓ（ｘ）における前記動きベクトル、Ａ_iは、前記ピクセルエリアセルとの動きベクトルｉにおけるセルのオーバーラップエリア、Ａは、前記ピクセルエリアセルとの前記動きベクトルセルの全オーバーラップエリア、ｆ_iはフィルタ重みである。
前記フィルタリングするステップが、
動きベクトルの不規則なパターンに対して、次式であるように前記ターゲットピクセルを予測するステップを含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。

ここで、ｘは予測されるピクセル、Ｉ^pred（ｘ）はピクセルｘの予測値、Ｓ（ｘ）はピクセルｘを囲む動きベクトルの集合、ｖ_iは動きベクトル、ｆ_iは集合Ｓ（ｘ）における動きベクトルに対するフィルタ重み、Ｉ^ref（ｘ）は参照画像における値、ｘ＋ｖ_iは動きベクトルｖｉがピクセルｘに適用されたときの動き補償ピクセルである。
前記フィルタ処理されたピクセルを前記画像の空間テクスチャに適応させるステップを更に含む、
ことを特徴とする請求項１９に記載のコンピュータ可読媒体。
前記オーバーラップエリアを決定するステップが、
前記選択されたピクセルの空間テクスチャを有するピクセルを含み且つ他のピクセルを除去するように前記動きベクトルエリアセル及びピクセルエリアセルを制約することにより、前記動きベクトルエリアセルを前記空間テクスチャに適応させるステップを更に含む、
ことを特徴とする請求項１９に記載のコンピュータ可読媒体。
ターゲット画像における複数の動きベクトルの各々の周りに動きベクトルエリアセルを構成するステップが、最も近い隣接距離のパーティションを適用するステップを含む、
ことを特徴とする請求項１９に記載のコンピュータ可読媒体。