JP2009509413A

JP2009509413A - 不規則な動きベクトルのサンプルに対する時間予測フィルタのための適応動き推定

Info

Publication number: JP2009509413A
Application number: JP2008531303A
Authority: JP
Inventors: マルコパニコーニ; ジェイムズジェイキャリッグ; ズーロンミアオ
Original assignee: ソニーエレクトロニクスインク
Priority date: 2005-09-16
Filing date: 2006-09-12
Publication date: 2009-03-05
Also published as: WO2007035387A3; US20070064804A1; US8005308B2; EP1925166A2; WO2007035387A2; CN101268701A; EP1925166A4; KR20080048069A; CN101268701B

Abstract

【課題】ビデオ圧縮の技術を提供する。
【解決手段】目標画像に関する不規則パターンの動きベクトルを受信する段階、動きベクトルの各々に対して初期値を推定する段階、動きベクトルを用いて適応時間予測フィルタのためのタップ構造を発生させる段階、及びタップ構造を用いて各動きベクトルの値を再推定する段階を含む、動きベクトルの値を判断する方法。
【選択図】図２

Description

本発明は、ビデオ圧縮の分野に関する。

時間予測フィルタは、１組の予め復号された参照画像から目標画像を予測するためにビデオ圧縮処理において用いられる。時間予測処理は、有意な量の時間的冗長性を除去するのに有効であり、それによって一般的に高い符号化効率が得られる。予測処理は、１組の動きベクトルと動きベクトルに作用するフィルタとを用いて目標画像を予測する。

例えば、予測方法は、図１に示すように参照画像１１０を複数の固定サイズのブロック１２０に分割する。各ブロックは、目標画像に対するブロックの動きを表す関連の動きベクトルを有する。動きベクトルは、画像１１０内の白色の点で示している。時間予測フィルタは、関連の動きベクトルを用いて参照画像内の各ブロックに対して単純な動き補正技術を実施し、目標画像内のそのブロックの位置を予測する。すなわち、目標画像内の各ブロックは、単一の動きベクトルを用いて参照画像内のブロックから推定される。しかし、この手法は、各動きベクトルを独立に取り扱い、画像特徴に適応しない。

関連ブロックの位置を予測するのに単一の動きベクトルを用いるか、又は規則的な動きベクトルパターンに対して形成されたフィルタに依存する従来の時間フィルタは、時間予測を実施するのに動きベクトルの規則的な分布を必要とする。従って、それらは、動きベクトルの不規則パターンに対する予測処理に適応することができない。動きベクトルの不規則パターンの変動にタップ及びフィルタ係数を局所的に適応させることができ、かつ物体境界及び空間テクスチャに適応する柔軟性も有するフィルタへの必要性が存在する。また、近傍の動きベクトルの影響を考慮に入れることにより、時間フィルタを用いて各動きベクトル値を推定することができる効率的かつ有効な動き推定手順への必要性も存在する。

方法は、目標画像に関する不規則パターンの動きベクトルを受信する段階、動きベクトルの各々に対して初期値を推定する段階、動きベクトルを用いて適応時間予測フィルタのためのタップ構造を発生させる段階、及びタップ構造を用いて各動きベクトルの値を再推定する段階を含む。

本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。

以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく構造的変更を加えることができることを理解すべきである。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的に、ビデオデータへの参照に用いられるものと互換的であることを当業者は理解するであろう。

適応時間予測フィルタは、不規則パターンの動きベクトルに適用されて目標画像の予測を生成する。一実施形態では、動きベクトルの各推定は、不規則パターンのための適応時間フィルタのタップ構造に対して判断される。推定は、２つの段階で行われる。第１段階では、フィルタのタップ構造とは独立した動きベクトルの初期推定を判断する。第２段階では、各動きベクトル値の再推定中にタップ構造を用いる。特定の動きベクトルに適用されるタップ構造は、近傍動きベクトルの局所パターンから発生させ、この特定の動きベクトルの推定にこれらの近傍動きベクトルの影響を含める。一部の実施形態では、適応ピクセル影響エリア及び適応検索窓を用いて、再推定処理を実施する複雑さを低減する。動きベクトル値の再推定は、非適応又は適応再推定手順を用いて実施することができる。非適応低速再推定は、固定範囲を有する検索窓内での特定の動きベクトル値の全検索を含む。予測誤差において最大の低減を生じる動きベクトルに関する値が、新しい値として選択される。

適応時間フィルタリング手順の例を図２に示している。２１０では、不規則なサンプリングパターンの動きベクトルを画像に対して発生させる。そのような不規則パターン化は、当業者に公知の方法を用いて様々な方式で行うことができる。不規則パターンの動きベクトルの例を、図３のブロック３１０に示している。画像３１０内の白色の点は、動きベクトルを表している。この適応サンプリングパターンによって、動きベクトルを参照画像から予測し難い領域（すなわち、移動境界の近くの領域のようなより複雑な動きを有する画像領域）内により集中させる。例えば、画像背景領域のような単純な動きの領域には、より少数の動きベクトルしか配置しない。

不規則パターンの動きベクトルの別の例を図４に示している。陰付きの円は、動きベクトルを表し、各×は、予測されるピクセルを表している。ピクセル４２０は、密に集中して不規則に分布する動きベクトルの局所近傍にあり、ピクセル４１０は、準規則的な分布を有する動きベクトルの局所近傍にあり、ピクセル４３０は、疎らな動きベクトルの局所近傍にある。

図２に戻ると、２２０において、画像は、各セルが１つの動きベクトルをノードとして有する影響エリアセル（ＡＯＩセル）と呼ぶ複数のセルに分割される。例えば、図３の画像３１０は、ブロック３２０に示すＡＯＩセルに分割される。各ＡＯＩセルは、画像内のあらゆる他の動きベクトルよりもセルの内側の動きベクトルによって強く影響を受ける領域を表している。ＡＯＩセルは、各動きベクトルに対して発生させるので、ＡＯＩセルのサイズは、境界領域のような画像内の物体の特徴に関連付けることができる。例えば、物体間の境界領域の近くのＡＯＩセルは、画像背景領域内のＡＯＩセルよりも小さくすることができる。同様に、ＡＯＩセルの形状は、物体の境界の形状に適応するように局所的に修正することができる。ＡＯＩセルを発生させる方法の一実施形態は、距離最短動きベクトル分割法である。例えば、ブロック法又は三角法のような他の分割法を用いることができる。

図２に示すように、２３０において初期動き推定を実施し、各ＡＯＩセル内の動きベクトルに関する初期値を判断する。初期動き推定は、動きベクトルに関連付けられたＡＯＩセルを参照画像内の対応するセルにマップし、２つのセルの間の変位を測定する。この変位は、各動きベクトルに対して初期値を与える。その結果、この初期値は、それがこのセル間のマッピング及び変位測定によって判断されるので、周囲の動きベクトルからのいかなる影響も反映しない。従って、特定の動きベクトルに関する初期値は、他の動きベクトルから独立している。

図２の２３５では、目標画像内のピクセルを予測するために、不規則パターンの動きベクトル及び影響エリアセルを用いて適応時間予測フィルタを発生させる。このフィルタは、以下の構造を有する。｛ｖ_i｝は、Ｎ個の動きベクトルの集合を表し、Ｉ（ｘ）は、参照画像（予め復号された画像）を表すとする。Ｓ（ｘ）は、ピクセルｘの位置を取り囲む動きベクトルの何らかの集合を表すとする。この目標ピクセルｘの予測は、一般的に次式で表現することができる。

ここで、｛ｆ_i｝は、フィルタ係数の集合であり、ｘ＋ｖ_iは、動きベクトルｖ_iをピクセルｘに適用する時の動き補正ピクセルである。フィルタのサポート又はタップを集合Ｓ（ｘ）によって定める。タップサポートＳ（ｘ）及びフィルタ係数｛ｆ_i｝は、一般的に、ピクセル位置ｘ及びその近傍動きベクトルの関数である。すなわち、動きベクトルの分布が画像にわたって変化するので、フィルタ係数は、各ピクセルにおいて変えることができる。従って、フィルタは、変化する動きベクトルのパターンに局所的に適応する。

２４０では、適応時間予測フィルタを目標画像に適用して、目標画像に関する時間予測を実施する。このフィルタは、時間ドメインにおいて適用され、動きベクトル値の集合及びサンプリングパターンが与えられると、目標画像に対する予測結果を発生させる。このフィルタは、重なり領域の面積によって定められるフィルタタップ及びフィルタ係数を用いて予測されるピクセルの近傍動きベクトルの関連性を捕捉する。この種類の予測フィルタの例は、本出願と同時に出願され、引用によって本明細書に組み込まれている、ＭａｒｃｏＰａｎｉｃｏｎｉ他による「適応影響エリアフィルタ」という名称の現在特許出願中の米国特許出願第ＸＸ／ＸＸＸ、ＸＸＸ号、代理人整理番号５０Ｕ６０４５に開示されている影響エリアフィルタであり、別の例は、動き補正された信号に対する三角分割フィルタである。

このフィルタを適用して時間予測を発生させる例を図５Ａに示している。参照画像５０２内のピクセルを用いて、目標画像５０４内のピクセルを予測する。参照ピクセルは、参照画像５０２内の実線の円で表しており、予測される目標ピクセルは、目標画像５０４内の破線の円で表している。このフィルタは、局所動きベクトルｖ₁からｖ₅のタップ構造を用いて、目標画像５０４内のピクセルｘに関する予測を形成する。動きベクトルのそれぞれのＡＯＩセルの各々は、ピクセルｘに対するＡＯＩセルの少なくとも一部分と重なるので、これらの動きベクトルは、ピクセルｘに対して局所的である。タップ構造内の各動きベクトル｛ｖ_i｝は、参照画像５０２内の画像データ｛Ｉ_i｝にマップされる。適応時間予測フィルタは、フィルタ重み｛ｆ_i｝によって参照データ｛Ｉ_i｝を調節し、ピクセルｘを予測する。

一実施形態では、この予測フィルタは、タップ構造及びフィルタ重みを用いて次式に従う予測を発生させる。

ここで、局所動きベクトル及びフィルタ係数｛ｆ_i｝によって定められるフィルタタップは、フィルタを発生させる時に判断される。

図２に戻ると、２５０では、フィルタによって生じる予測結果を用いて動きベクトルの値を再推定し、適応フィルタの精度を改善する。２６０において、予測誤差を低減する必要がある場合には、方法は、２４０に戻る。そうでなければ、処理は、２７０で終了する。特定の動きベクトル値の再推定を実施し、この特定の動きベクトルに対する他の動きベクトルの影響を算入する。特定のＡＯＩセルは、画像内のあらゆる他の動きベクトルよりもセルの内側の動きベクトルによって強く影響を受けるピクセル領域を表している。

しかし、近傍ＡＯＩセルの動きベクトルの影響は、この特定のＡＯＩセルの部分内にも及んでいる。例えば、図５Ｂに示すように、目標画像５１０は、黒色の円によって示す不規則パターンの動きベクトル、及び白色の円で示す予測されるピクセルを有する。目標画像５１０をＡＯＩセルに分割し、その境界をブロック５２０内の破線によって示している。ブロック５３０は、目標画像内のピクセルに対する動きベクトル５３２の全影響を示している。一般的に、特定の動きベクトルの全影響エリアは、この特定の動きベクトルのＡＯＩセルを超えて、かつ近傍ＡＯＩセル内のピクセルに影響を与える。例えば、点線の円によって示す動きベクトル５３２の全影響エリアは、近傍動きベクトル５３１、５３３、５３４、５３５、５３６、５３７、及び５３８のＡＯＩセル内のピクセルの一部に及んでいる。

動きベクトル５３２の初期値は、近傍動きベクトルの影響を考慮しないで判断されている。従って、関連のＡＯＩセル内のピクセル値を予測するために、動きベクトル５３２の値を再推定し、この関連ＡＯＩセル内の近傍動きベクトルの影響を算入する。動きベクトルの再推定値は、目標画像内のピクセル値を予測するのに、適応時間予測フィルタによって用いられる。再推定の結果、動きベクトル５３２の影響エリアセル内の全てのピクセルに関する予測誤差が低減する。

例えば、図５Ｂのブロック５４０は、予測される目標ピクセル５４２を示している。動きベクトル５３２に対するＡＯＩセルの内側に存在する目標ピクセル５４２は、動きベクトル５３２によって最も影響を受ける。この目標ピクセルは、近傍の動きベクトル５３４、５３６、及び５３８によっても部分的に影響を受ける。これらの４つの動きベクトルは、動きベクトルの周りの矩形によって表す適応時間予測フィルタのためのタップ構造を形成する。目標ピクセル５４２に対する近傍の動きベクトルの重なる影響を計算し、タップ構造内の動きベクトルに対するフィルタ係数を生成する。各フィルタ係数は、目標ピクセルに対する特定の動きベクトルの相対的な影響を表している。時間予測フィルタは、タップ構造及びフィルタ係数を用いて目標ピクセル５４２の予測を発生させる。

特定の動きベクトルを再推定するために、例えば、図５Ｂのブロック５３０に示すように、動きベクトルの全影響エリアを判断することにより、近傍のＡＯＩセル内のピクセルに対する動きベクトルの重なる影響を考慮する。動きベクトルに関する影響エリアは、以下のように集合Ａ_i ^Tとして定められる。

すなわち、特定の動きベクトルｉに対して、影響エリアは、閾値Ｔよりも大きなフィルタ係数を有する各ピクセル｛ｘ_j｝である。動きベクトルｉに関する全ピクセル影響エリアは、Ａ_i ^T=0として定められる。動きベクトルに関する支配的な影響エリアは、Ａ_i ^T≒0.5のようなより大きな閾値を用いて定められる。

重なる影響エリアの別の例は、フィルタ係数及び予測誤差を用いるものである。この例では、重なる影響エリアは、次式になる。

ここで、目標ピクセルｘに関する予測誤差信号のマグニチュードは、次式になる。

すなわち、特定の動きベクトルｉに対して、その影響エリアは、フィルタ係数と閾値Ｔよりも大きい予測誤差マグニチュードとの積を有する各ピクセル｛Ｘ_j｝である。動きベクトルｉに関する全ピクセル影響エリアは、Ａ_i ^T=0として定められる。動きベクトルの支配的な影響エリアは、Ａ_i ^T≒0.5のように、より大きな閾値を用いて定められる。

動きベクトルｉの存在に起因する平均予測誤差は、この動きベクトルの影響エリア内の全てのピクセルの誤差を合算することによって判断され、これは、次式になる。

ここで、Ｔは、上述のように、動きベクトルの影響エリアのサイズを制御する。

再推定手順の例を図６に示している。６１０では、動きベクトルの予測誤差に従って動きベクトルを仕分ける。リストの最上位にある動きベクトルは、予測される画像内で最も大きな誤差を生じ、６１２において再推定すべく選択する。６１５では、選択した動きベクトルに関する全影響エリアを計算して、Ａ_i ^T=0を生成し、ここで、ｉは、選択した動きベクトルを表している。６２０では、集合Ａ_i ^T=0内の全てのピクセルに関する予測誤差を計算して、ｅ_i ^T=0を生成する。

６３０では、｛ＳＷ₁、ＳＷ₂｝で表す検索窓の範囲を判断し、ここで、ＳＷ₁は、動きベクトルのｘ成分における検索窓であり、ＳＷ₂は、動きベクトルのｙ成分における検索窓である。一実施形態では、検索窓は、システムによって入力パラメータとして設定される固定範囲を有する。例えば、検索窓の範囲は、影響エリアと等しくすることができる。

６４０では、動きベクトルのｘ成分（ｖ_i ^x）及びｙ成分（ｖ_i ^y）は、以下のように検索窓の固定範囲内で変更される。

６５０では、集合Ａ_i ^T=0内のピクセルに対してｅ_i ^T=0を最小にする選択した動きベクトルに対する値を判断する。６６０では、動きベクトル値を６５０で判断した値で更新する。６７０において、別の動きベクトルを再推定する必要がある場合には、処理は６１０に戻る。そうでなければ、処理は６８０で終了する。

一部の実施形態では、図６の方法を、適応再推定を実施するように修正することができる。再推定処理における複雑さの大部分は、大きな影響エリアを有する動きベクトルに対して最適値を識別することから生じる。しかし、通常、動きベクトルに関する大きな影響エリアは、影響エリア内のかなり密着した動きに起因する。低密度の動きベクトルを有する画像領域（すなわち、大きなＡＯＩセル）では、再推定処理は、（ａ）より小さな検索窓を用いる、（ｂ）予測誤差を計算するのに用いる影響エリアを縮小する、（ｃ）階層検索を用いる、又は（ｄ）、（ａ）、（ｂ）、及び（ｃ）のいずれかの組合せを実施することにより、動きベクトルを再推定する複雑さを低減することができる。

高密度の動きベクトルを有する画像領域では、特定の動きベクトルにおける影響エリアは、一般的に小さく、通常は動きにまとまりがない。これらの領域では、各動きベクトル値は、再推定処理を実施する計算の複雑さの有意な増大なしに、関連影響エリアの全てではないにしても大部分を含む検索窓を用いて再推定することができる。

図６の再推定処理には、以下のように適応的な態様を含めることができる。６１５において、処理は、フィルタ係数及び予測誤差のマグニチュードを用いて適応影響エリアを計算し、影響エリアのサイズを縮小する。それによって処理の実行速度を高めることができる。例えば、動きベクトルに関する全影響面積Ａ^T=0は、大量のピクセルを含む可能性があり、その一部は、動きベクトル値が変化する時に予測誤差に対してさほど影響を与えない。複雑さを低減するために、閾値Ｔ≠０を用いて動きベクトルの影響エリアを縮小する。この閾値は、不規則な分布の動きベクトルにも適応する。例えば、大きな影響面積Ａ^T=0＞Ｃ₁を有する動きベクトルに対して、デフォルトの閾値Ｔ₁≒０．１を設定することができ、この閾値は、Ｔ₂≒０．２５のような高い値へと増加させることができる。

別の実施形態では、６１５において、処理は、空間活動度を用いて適応影響エリアを計算する。空間活動度は、動きベクトルの初期値を用いて参照画像内で識別される補正されたピクセルの周囲で定義される。一般的に、参照画像内の低空間活動度領域にマップされるピクセルは、動きベクトル値に対して小さい影響を有する。高空間活動度領域は、動きベクトルに関する値の選択を左右する。この実施形態では、影響エリアＡ_i ^T内の各ピクセルに対して、局所的な空間活動度の値を計算する。各動きベクトルの影響エリア及び従って再推定を実施する複雑さは、閾値Ｃ_saを超える局所的な空間活動度の値を有するピクセルを用いて低減することができる。

適応処理は、６３０において、影響エリア全体を検索窓として用いる代わりに、初期予測誤差に従って検索窓範囲を適応させることができる。例えば、小さな予測誤差を有する動きベクトルは、通常は、密着した動き及び疎らな動きベクトル密度を有する画像領域内に存在する。この種類の動きベクトルでは、動きベクトルに関する初期値は、既に最適値に近いので、広範囲にわたる検索窓は必要ではない。従って、検索窓のサイズは、係数αだけ縮小することができる。

代替的に、６３０において、処理は、初期の動きベクトルのマグニチュードに従って検索窓を適応させることができる。初期値が非常に小さい（例えば、

）動きベクトルでは、動きベクトルの再推定値も小さいことが予想され（すなわち、Ｍよりも小さい）、ここで、Ｍは、閾値マグニチュードである。従って、検索窓は、予測性能において僅かな低下もなく係数βだけ縮小することができる。

一部の実施形態では、適応処理は、大きな影響エリアを有する動きベクトルの再推定値の粗−細検索を実施することができる。例えば、大きな影響エリアを有する動きベクトルは、通常は、大量の密着した動きを有する画像領域に対応する。この種類の動きベクトルでは、６４０で２段階検索手順を実施することができる。最初に、動きベクトルに関する値は、大きな値のＴを用いて検索窓内で大まかに変更される。続いて、より小さいＴを用いて、動きベクトル値を細かく変更する。この粗−細検索は、影響エリアのサイズが閾値Ｃ₂よりも大きい時に適用することができる。

一部の実施形態では、再推定手順は、複数の参照画像と共に用いることができる。複数の参照画像では、動きベクトルは、動きベクトル値に加えて、図７に示すようにモードマップを有する。例えば、２つの参照画像を用いる場合には、モードマップｐは、０、１、又は１／２である。ｐ_i＝０の時、動きベクトルｍは、目標画像７３０を予測するのに参照画像７２０を用いる。ｐ_i＝１の時、動きベクトルｍは、目標画像７３０を予測するのに参照画像７１０を用いる。ｐ_i＝１／２の時、動きベクトルｍは、各参照画像からの予測の平均を取る。参照画像７１０及び７２０に対する２組の動きベクトルは、それぞれ

で表される。

この例では、図２の２４０を参照すると、式（１）の時間予測フィルタは、以下のように、２つの参照画像を含むように拡張される。

同様に、ｐ_i＝｛０、１｝に対して、式（３）及び（４）それぞれから得られる各動きベクトルに関する２組の予測誤差｛ｅ_i、0、ｅ_i、1｝が存在する。図７に示す目標ピクセルを予測するためのフィルタは、次式になる。

複数の参照画像を用いる時には、動きベクトル値を再推定する段階は、時間予測フィルタに対してモードマップを推定する段階、及び２つの動きベクトルの値を変更する段階を含む。一方の動きベクトルの最適値及びモードマップが判断される間は、他方の動きベクトル値を固定したままに保つ。以前に固定した値を変更し、以前に変更した値を固定してこの処理を繰り返す。いずれの値を最初に変更するかの選択は、動きベクトルの予測誤差を用いて判断される。大きな予測誤差を有する動きベクトルを最初に変更する。別の実施形態では、２組の動きベクトル及びモードマップを同時に最適化する。代替的に、複数の段階（２つだけではなく）で再推定処理を進めることができ、処理は、２組の動きベクトルの間で交互に行われ、これに応じて縮小される検索窓が同じ複雑さを維持する。

２つの参照画像を用いて動きベクトル値を再推定する方法の例を図８に示している。特定の動きベクトルに対して、８１０では、影響エリア内のピクセルに関する２組の予測誤差を計算し、誤差ｅ_i、0、ｅ_i、1が得られる。８１５では、いずれの誤差が大きいかを判断する。この例では、ｅ_i、0＜ｅ_i、1と仮定する（ｅ_i、1＜ｅ_i、0の場合は、｛０、１｝を逆にして同じ手順を辿る）。８２０では、大きい方の誤差を有する動きベクトル：

のモードマップ及び値は、その動きベクトルの影響エリアにおける検索窓内で変更される。８２５では、

に対する最適値及びその対応する最適モードマップｐｉを選択する。最適値は、式（５）を用いて予測する画像の予測誤差を最小にする。８３０では、他方の動きベクトル：

のモードマップ及び値を変更する。８３５では、

に対する最適値及びその対応する最適モードマップｐｉを選択する。８４０において別の動きベクトルを再推定する必要がある場合には、処理は８１０に戻り、そうでなければ、処理は８５０で終了する。一部の実施形態では、検索窓及び影響エリアは、上述のように、計算の複雑さを低減するように適応させることができる。

一実施形態では、適応時間予測フィルタは、図９に示すように、ビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化システムによって用いられる。９１０では、符号器は、入力目標画像を受信する。（目標画像に関連する復号された画像データを収容する参照画像の集合が、符号化処理中に符号器に対して利用可能であり、また、復号処理中には復号器に対しても利用可能である。）９２０では、符号器は、目標画像に関連の動きベクトルのサンプリング又は分布を発生させる。すなわち、数量Ｎ個の動きベクトルが与えられると、これらＮ個の動きベクトルを目標画像内に配置する。一般的に、動きベクトルの位置は、画像コンテンツ内の動きのエリアに適応させて、例えば、図３に示すような不規則パターンの動きベクトルが生じる。９３０では、サンプリングパターン情報（例えば、パターンを表すビット）を復号器に伝送する。適応サンプリングパターンを発生させるのに多くの手法を用いることができる。

９４０では、時間予測フィルタ処理を不規則な動きサンプリングパターンに適用する。この適応フィルタ処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。９５０では、動きベクトル値を符号化し、復号器に送信する。９６０では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。９７０では、残差を符号化し、９８０において復号器に送信する。

別の実施形態では、適応時間予測フィルタは、図１０に示すようにビデオデータの画像（又はフレーム、又は画像）を復号するのに用いられる。１０１０では、符号化済み残差を受信する。１０２０では、復号器は、受信した符号化済み残差を復号する。１０３０では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて１０４０において、復号器は、適応時間フィルタ手法を適用して時間予測を発生させる。１０５０では、復号済み残差を時間予測に加えることによって復号された目標画像を発生させる。

図１１は、適応時間予測フィルタを用いるシステムの例を示している。デジタルビデオカメラ１１１０は、電子形式で画像を取り込み、圧縮及び符号化処理中に適応影響エリアフィルタを用いる圧縮デバイス１１２０を用いて画像を処理する。符号化された画像は、電子伝送媒体１１３０を通じてデジタル再生デバイス１１４０に送信される。画像は、復号処理中にフィルタを用いる復号デバイス１１５０によって復号される。カメラ１１１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等）を示している。同様に、復号デバイス１１５０は、画像データを復号する様々なデバイスを示している。

本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。

従来のブロックベースの時間フィルタの例を示す図である。適応時間フィルタリング手順の例を示す図である。適応時間フィルタリング手順で用いられる不規則パターンの動きベクトル及び影響エリアセルの例を示す図である。適応時間フィルタリング手順で用いられる不規則パターンの動きベクトル及び影響エリアセルの例を示す図である。適応時間フィルタを用いて実施される予測の例を示す図である。適応時間フィルタリング手順で用いられる動きベクトルの全影響エリアの例を示す図である。適応時間フィルタリング手順で用いることができる誤差低減法の例を示す図である。適応時間フィルタにおいて実施される複数の参照画像からの目標画像予測の例を示す図である。適応時間フィルタリング手順で用いることができる誤差低減法の別の例を示す図である。適応時間フィルタを用いる符号化システムの例である。適応影響エリアフィルタを用いる復号システムの例を示す図である。適応影響エリアフィルタを用いるデジタルカメラシステムの例を示す図である。

符号の説明

２１０不規則なサンプリングパターンの動きベクトルを発生させる段階
２２０画像を複数のセルに分割する段階
２３０動きベクトルに関する初期値を判断する段階

Claims

電子データプロセッサによって実施される方法であって、
目標画像に対する不規則パターンの動きベクトルを受信する段階と、
前記動きベクトルの各々に対して初期値を推定する段階と、
前記動きベクトルを用いて適応時間予測フィルタのためのタップ構造を発生させる段階と、
前記タップ構造を用いて各動きベクトルの前記値を再推定する段階と、
を含むことを特徴とする方法。
前記動きベクトルの前記再推定された値を用いて、前記目標画像の予測を発生させる段階、
を更に含むことを特徴とする請求項１に記載の方法。
前記動きベクトルの前記値を再推定する段階は、
前記予測フィルタに対して前記動きベクトルの影響のエリアを判断する段階と、
前記影響エリア内のピクセルの予測誤差を判断する段階と、
前記動きベクトルに対して検索窓を判断する段階と、
前記検索窓内で前記動きベクトルの前記値を変更し、前記予測誤差を低減する段階と、
を更に含む、
ことを特徴とする請求項１に記載の方法。
前記予測フィルタに対して前記動きベクトルの前記影響のエリアを判断する段階は、
前記動きベクトルに対してゼロよりも大きいフィルタ係数を有する各ピクセルを選択することによって全影響エリアを判断する段階、
を含む、
ことを特徴とする請求項３に記載の方法。
前記動きベクトルの前記影響エリアを判断する段階は、
前記動きベクトルの全影響エリアを判断する段階と、
前記全影響エリア内の各ピクセルに対するフィルタ係数マグニチュード及び予測誤差マグニチュードを閾値と比較する段階と、
前記フィルタ係数と予測誤差マグニチュードの積が前記閾値よりも大きい場合に前記影響エリアを縮小する段階と、
を含む、
ことを特徴とする請求項３に記載の方法。
前記検索窓を判断する段階は、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する段階と、
前記予測誤差を閾値と比較する段階と、
前記予測誤差が前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する段階と、
を含む、
ことを特徴とする請求項３に記載の方法。
前記検索窓を判断する段階は、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する段階と、
前記動きベクトルの前記初期値のマグニチュードを閾値と比較する段階と、
前記マグニチュードが前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する段階と、
を含む、
ことを特徴とする請求項３に記載の方法。
前記値を変更する段階は、
前記影響エリアのサイズを閾値と比較する段階と、
前記影響エリアの前記サイズが前記閾値よりも大きい場合に、前記検索窓内で前記動きベクトルの前記値を大まかに変更し、該値の第１の再推定値を生成する段階と、
前記動きベクトルの前記値の前記第１の再推定値を細かく変更し、第２の再推定値を生成する段階と、
を含む、
ことを特徴とする請求項３に記載の方法。
再推定する段階が、
複数の参照画像を用いる段階、
を含む、
ことを特徴とする請求項１に記載の方法。
各参照画像に対して、該参照画像に関連付けられた動きベクトルの値を変更し、かつモードマップを変更する段階、
を更に含むことを特徴とする請求項９に記載の方法。
目標画像に対する不規則パターンの動きベクトルを受信する動きベクトル受信器と、
前記動きベクトルの各々に対して初期値を推定する推定器と、
前記動きベクトルを用いて適応時間予測フィルタのためのタップ構造を発生させるタップ構造発生器と、
前記タップ構造を用いて各動きベクトルの前記値を再推定する再推定器と、
を含むことを特徴とする装置。
前記動きベクトルの前記再推定された値を用いて前記目標画像の予測を発生させる予測器、
を更に含むことを特徴とする請求項１１に記載の装置。
前記再推定器は、
前記動きベクトルの影響エリアを判断する影響エリアデバイスと、
前記影響エリア内のピクセルの予測誤差を判断する誤差デバイスと、
前記動きベクトルに対して検索窓を判断する検索窓デバイス段階と、
前記検索窓内で前記動きベクトルの前記値を変更して前記予測誤差を低減する誤差低減デバイスと、
を更に含む、
ことを特徴とする請求項１１に記載の装置。
前記影響エリアデバイスは、
前記動きベクトルに対してゼロよりも大きいフィルタ係数を有する各ピクセルを選択することによって該動きベクトルの全影響エリアを判断する判断論理回路、
を含む、
ことを特徴とする請求項１３に記載の装置。
前記影響エリアデバイスは、
前記動きベクトルの全影響エリアを判断する判断論理回路と、
前記全影響エリア内の各ピクセルに対するフィルタ係数マグニチュード及び予測誤差マグニチュードを閾値と比較する比較器と、
前記フィルタ係数と予測誤差マグニチュードの積が前記閾値よりも大きい場合に前記影響エリアを縮小する縮小論理回路と、
を含む、
ことを特徴とする請求項１３に記載の装置。
前記検索窓デバイスは、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する論理回路と、
前記予測誤差を閾値と比較する論理回路と、
前記予測誤差が前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する論理回路と、
を含む、
ことを特徴とする請求項１３に記載の装置。
前記検索窓デバイスは、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する論理回路と、
前記動きベクトルの前記初期値のマグニチュードを閾値と比較する論理回路と、
前記マグニチュードが前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する論理回路と、
を含む、
ことを特徴とする請求項１３に記載の装置。
前記誤差低減デバイスは、
前記影響エリアのサイズを閾値と比較する論理回路と、
前記サイズが前記閾値よりも大きい場合に、前記検索窓内で前記動きベクトルの前記値を大まかに変更して該値の第１の再推定値を生成し、かつ該動きベクトルの該値の該第１の再推定値を細かく変更して第２の再推定値を生成する論理回路と、
を含む、
ことを特徴とする請求項１３に記載の装置。
前記再推定器は、
複数の参照画像を用いる論理回路、
を含む、
ことを特徴とする請求項１１に記載の装置。
前記複数の参照画像の各々に対して前記参照画像に関連付けられた動きベクトルの値を変更し、かつモードマップを変更する論理回路、
を更に含むことを特徴とする請求項１９に記載の装置。
処理システムによって実行された時に該システムに、
目標画像に対する不規則パターンの動きベクトルを受信する段階と、
前記動きベクトルの各々に対して初期値を推定する段階と、
前記動きベクトルを用いて適応時間予測フィルタのためのタップ構造を発生させる段階と、
前記タップ構造を用いて各動きベクトルの前記値を再推定する段階と、
を含む方法を実施させる命令のプログラムを記憶するコンピュータ可読媒体。
前記動きベクトルの前記再推定された値を用いて、前記目標画像の予測を発生させる段階、
を更に含むことを特徴とする請求項２１に記載のコンピュータ可読媒体。
前記動きベクトルの前記値を再推定する段階は、
前記動きベクトルの影響エリアを判断する段階と、
前記影響エリア内のピクセルの予測誤差を判断する段階と、
前記動きベクトルに対して検索窓を判断する段階と、
前記検索窓内で前記動きベクトルの前記値を変更し、前記予測誤差を低減する段階と、
を更に含む、
ことを特徴とする請求項２１に記載のコンピュータ可読媒体。
前記予測フィルタに対して前記動きベクトルの前記影響のエリアを判断する段階は、
前記動きベクトルに対してゼロよりも大きいフィルタ係数を有する各ピクセルを選択することによって全影響エリアを判断する段階、
を含む、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
前記動きベクトルの前記影響エリアを判断する段階は、
前記動きベクトルの全影響エリアを判断する段階と、
前記全影響エリア内の各ピクセルに対するフィルタ係数マグニチュード及び予測誤差マグニチュードを閾値と比較する段階と、
前記フィルタ係数と予測誤差マグニチュードの積が前記閾値よりも大きい場合に前記影響エリアを縮小する段階と、
を含む、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
前記検索窓を判断する段階は、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する段階と、
前記予測誤差を閾値と比較する段階と、
前記予測誤差が前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する段階と、
を含む、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
前記検索窓を判断する段階は、
前記検索窓の初期範囲を前記影響エリアの範囲に設定する段階と、
前記動きベクトルの前記初期値のマグニチュードを閾値と比較する段階と、
前記マグニチュードが前記閾値よりも小さい場合に前記検索窓の前記範囲を縮小する段階と、
を含む、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
前記値を変更する段階は、
前記影響エリアのサイズを閾値と比較する段階と、
前記影響エリアの前記サイズが前記閾値よりも大きい場合に、前記検索窓内で前記動きベクトルの前記値を大まかに変更し、該値の第１の再推定値を生成する段階と、
前記動きベクトルの前記値の前記第１の再推定値を細かく変更し、第２の再推定値を生成する段階と、
を含む、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
再推定する段階が、
複数の参照画像を用いる段階、
を含む、
ことを特徴とする請求項２１に記載のコンピュータ可読媒体。
各参照画像に対して、該参照画像に関連付けられた動きベクトルの値を変更し、かつモードマップを変更する段階、
を更に含むことを特徴とする請求項２９に記載のコンピュータ可読媒体。