JP2009509418A - 時間予測のための分類フィルタリング - Google Patents

Abstract

【課題】ビデオ圧縮の技術を提供する。
【解決手段】不規則なフィルタタップを使用して目標画像の予測を生成する段階、及び規則的フィルタタップを予測に適用して高められた予測を生成する段階を含む、時間予測を実施する方法。
【選択図】図２

Description

本発明は、ビデオ圧縮の分野に関する。

時間予測フィルタは、予め復号された参照の集合から目標画像を予測するためにビデオ圧縮処理において使用される。時間予測処理は、有意な量の時間的冗長性を除去する際に有効であり、これは、一般的により高い符号化効率をもたらす。予測処理は、動きベクトルの集合と動きベクトル上で作動するフィルタとを使用して目標画像を予測する。

例えば、予測方法は、図１に示すように参照画像１１０を複数の固定サイズのブロック１２０に分割する。各ブロックは、目標画像に対するブロックの動きを説明する関連の動きベクトルを有する。動きベクトルは、画像１１０内の白いドットで示されている。時間予測フィルタは、関連の動きベクトルを使用して参照画像内の各ブロック上で単純な動き補正技術を実行し、目標画像内のブロックの位置を予測する。従って、目標画像内の各ブロックは、単一の動きベクトルを使用して参照画面内のブロックから推定される。しかし、この手法は、各動きベクトルを独立に取り扱っており、画像の特徴に適応できない。

関連するブロックの位置を予測するために単一の動きベクトルを使用するか又は規則的な動きベクトルパターンに対して定義されたフィルタに依存する従来の時間フィルタは、時間予測を実行するために動きベクトルの規則的分布が必要である。従って、それらは、予測処理を動きベクトルの不規則パターンに適応させることができない。動きベクトルの不規則パターンの変動にタップ係数及びフィルタ係数を局所的に適応させることができるフィルタに対する必要性が存在する。物体境界及び空間的テクスチャに適応する柔軟性を有する時間フィルタに対する必要性も存在する。

時間予測を実施する方法は、不規則フィルタタップを使用して目標画像の予測を生成する段階、及び規則的フィルタタップを予測に適用して高い予測を生成する段階を含む。

本発明は、例示的に示されており、添付図面と共に以下の説明を参照することによってより良く理解することができる。

以下の説明においては、説明の一部を形成し、かつ本発明を実施することができる特定的な実施形態を例示的に示す添付図面を参照する。本発明の範囲を逸脱することなく他の実施形態を利用することができ、構造的変更を行うことができることは理解されるものとする。例えば、当業者は、様々な実施形態を説明するために使用される用語であるフィールド、又はフレーム、又は画像は、ビデオデータに関連して使用される時に一般的に互換的であることを理解するであろう。

最小２乗分類時間フィルタは、目標画像を予測する際に動きベクトルの不規則パターン、物体特徴、及び空間的テクスチャに自動的に適応する。最小２乗分類フィルタは、動き補正信号に対して時間ドメイン内で作用し、これは、動きベクトルを直接フィルタリングしようとする他の方法と異なる（例えば、動きベクトルドメイン内での三角フィルタリング）。例えば、最小２乗分類フィルタリング法は、時間ドメイン内で作用するので、それは、物体及び空間的テクスチャに対して適応しやすい。一実施形態では、最小２乗分類時間フィルタは、２段処理を実施する。第１段では、動きベクトルの不規則なサンプリングパターン、物体形状、及び物体境界に対してフィルタを適応させる。第２段では、画像の空間的テクスチャに対してフィルタを適応させる。

最小２乗分類時間フィルタリング手順の例を図２に示している。２１０において、動きベクトルの不規則サンプリングパターンを画像に対して発生させる。このような不規則パターン化は、当業者によって公知の方法を使用して様々な方法で行うことができる。動きベクトルの不規則パターンの例を図３のブロック３１０内に示している。画像３１０内の白いドットは、動きベクトルを表している。この適応サンプリングパターンを用いると、動きベクトルは、参照画像から予測することが困難な領域（すなわち、移動する境界に近い領域のようなより複雑な動きを有する画像領域）により集中する。例えば画像の背景領域のような単純な動きの領域には、少数の動きベクトルが置かれる。

動きベクトルの不規則パターンの別の例を図４に示している。陰影付けされた円は、動きベクトルを表し、各ｘは、予測されるピクセルを表している。ピクセル４２０は、密集して不規則に分布した動きベクトルの局所近傍にあり、ピクセル４１０は、準規則的に分布した動きベクトルの局所近傍にあり、ピクセル４３０は、まばらに存在する動きベクトルの局所近傍にある。予測されるピクセルが、動きベクトルの異なる局所近傍を有し、すなわち、各局所近傍は、動きベクトルの異なる分布を有するので、ピクセルを予測するために、変化する分布に適応するフィルタ構造が使用される。

図２に戻ると、２２０において、画像は、影響エリアセル（ＡＯＩセル）と呼ばれる複数のセルに分割され、各ＡＯＩセルは、その印しとして１つの動きベクトルを有する。例えば、図３の画像３１０は、ブロック３２０に示すようにＡＯＩセルに分割される。各ＡＯＩセルは、画像内の全ての他の動きベクトルよりもセル内部の動きベクトルにより多く影響される領域を表している。ＡＯＩセルは、各動きベクトルに対して発生されるので、ＡＯＩセルの大きさは、境界領域のような画像内の物体の特徴に関連すると考えられる。例えば、物体間の境界領域に近いＡＯＩセルは、画像の背景領域のＡＯＩセルよりも小さいであろう。ＡＯＩセルの形状も、物体の境界の形状に適応するように局所的に変更することができる。ＡＯＩセルを発生させる方法の一実施形態は、最短距離動きベクトル分割法である。例えばブロック法又は三角法のような他の分割方法を使用することもできる。以下に説明するように、第２段の最小２乗フィルタ処理において、ＡＯＩセルは、自然画像セグメントとして使用され、それにわたって分類マップが定義される（すなわち、各ＡＯＩセルが、異なるフィルタを使用することができる）。

図２に戻ると、２３０において、第１段の適応時間予測フィルタは、動きベクトルの不規則パターン及び影響エリアセルを使用して、目標画像内のピクセルを予測するために発生される。フィルタ段予測フィルタは、動き補正信号に対して時間ドメイン内で作用する。特に、フィルタは、異なる動き補正信号の加重和を使用することによって目標ピクセルを予測し、ここで各動き補正信号は、目標ピクセルを予測する異なる動きベクトルを適用することによって得られる。フィルタ係数及びタップ構造は、動きベクトルの変化するパターンに従って各ピクセルに対して変化する。また、フィルタのサポートも局所的である。これは、目標ピクセルを補正するために使用される動きベクトルが、そのピクセルの局所近傍から得られることを意味する。

第１段フィルタは、以下の構造を有する。｛ｖｊ｝をＮ個の動きベクトルの集合とし、Ｉ（ｘ）を参照画像（予め復号された画像）とする。Ｓ（ｘ）をピクセルｘの位置の周りの動きベクトルの何らかの集合とする。この目標ピクセルｘの予測は、次式で表すように発生させることができる。

ここで、｛ｆｉ｝は、フィルタ係数の集合であり、ｘ＋ｖｉは、動きベクトルｖｉがピクセルｘに適用された場合の動き補正されたピクセルである。フィルタのサポート又はタップは、集合Ｓ（ｘ）で定義される。タップサポートＳ（ｘ）及びフィルタ係数｛ｆｉ｝は、一般的に、ピクセル位置ｘ及びその近傍動きベクトルの関数である。すなわち、動きベクトルの分布が画像の至るところで変化するので、フィルタ係数は、各ピクセルに対して変化する可能性がある。従って、フィルタは、変化する動きベクトルパターンに局所的に適応する。

２４０において、第１段の予測フィルタが、目標画像に適用され、目標画像に対する時間予測を実施する。フィルタは、時間ドメイン内で適用されて、動きベクトル値の集合及びサンプリングパターンが与えられると、目標画像に対する予測結果を発生させる。フィルタは、重なり合う領域の面積によって定められるフィルタタップ及びフィルタ係数を使用して、予測されるピクセルの近傍の動きベクトルの関連性を捕捉する。このクラスの予測フィルタの例は、本出願と同時に出願され、かつ引用により本明細書に組み込まれている、Ｍａｒｃｏ Ｐａｎｉｃｏｎｉ他による「適応影響エリアフィルタ」という名称の現在特許出願中の米国特許出願第ＸＸ／ＸＸＸ、ＸＸＸ号、代理人整理番号５０Ｕ６０４５に開示された影響エリアフィルタであり、別の例は、動き補正信号のための三角形分割フィルタである。

時間予測を発生させるための第１段フィルタ適用の例を図５に示している。参照画像５１０内のピクセルは、目標画像５２０内のピクセルを予測するために使用される。参照ピクセルは、参照画像５１０内の実線円によって表現され、また予測される目標ピクセルは、目標画像５２０内の破線円によって表現されている。フィルタは、局所動きベクトルｖ１〜ｖ５のタップ構造を使用して、目標画像５２０内のピクセルｘに対する予測を形成する。動きベクトルのそれぞれのＡＯＩセルのいずれも、ピクセルｘに対するＡＯＩセルの少なくとも一部分と重なり合うので、動きベクトルは、ピクセルｘに対して局所的である。タップ構造内の各動きベクトル｛ｖ_i｝は、参照画像５１０内の画像データ｛Ｉ_i｝にマップされる。適応時間予測フィルタは、ピクセルｘを予測するためにフィルタ重み｛ｆ_i｝により参照データ｛Ｉ_i｝を調節する。

一実施形態では、予測フィルタは、タップ構造及びフィルタ重みを使用して、次式により予測値を発生させる。

ここで、局所動きベクトルによって定められるフィルタタップとフィルタ係数｛ｆｉ｝とは、フィルタが２３０において発生された時に判断される。

図２に戻ると、２５０において、第２段フィルタが発生され、第１段フィルタからの予測値に適用される。第１段フィルタからの出力である予測は、サンプリングされたデータの規則的パターンの形であるから、最小２乗（ＬＳ）学習フィルタがこの予測に適用されて、目標画像の予測の空間的テクスチャを強化する。２６０において、予測誤差を低減する必要がある場合、方法は２４０に戻る。そうでなければ、２７０において方法は終了する。

２５０をより詳細に参照すると、図６は、第２段フィルタを発生させる方法の例を示している。第１段フィルタは、動きベクトルの不規則パターンを処理して、全てのピクセルにおいて定められた予測画像Ｐ°を形成する。各動きベクトルは、影響エリアセル｛Ａ_i、ｉ＝１．．．Ｓ｝に関連付けられている。ここで、Ｓは、影響エリアセルの合計数である。６０５において、第１段フィルタによって発生された予測は、第２段フィルタに入力される。

６１０において、最小２乗フィルタ係数の集合｛ｆ_j°、ｊ＝１．．．Ｎ｝は、目標画像上で最小２乗学習を実施することにより初期化され、ここで、Ｎは、第２段に使用されるフィルタクラスの数である。例えば、最小２乗学習は、図３に示されている目標画像上で実施することができる。

６２０において、分類マップ｛Ｃ°（ｉ）、ｉ＝１．．．Ｓ｝が発生されて、各影響エリアセルを最小２乗フィルタ指標にマップする。最初に、分類は、全てのセルを各フィルタ指標にマップする。次に、最小２乗フィルタ係数の集合｛ｆ_j ^t｝が与えられると、分類マップが、以下のように発生される。各ノードセルＡ_iに対して、セルＡ_i内の予測誤差を最小にするフィルタを選択する。それによって新しい分類マップＣ^t+1（ｉ）が得られる。

各影響エリアセルを適切なフィルタにマップするために発生される分類マップの例を図７に示している。目標画像７１０は、動きベクトルの不規則な分布を有する。この例では、各動きベクトルは、７２０に示すように関連する矩形の影響エリアセルを有する。この例に対するフィルタは、４つのクラスを有しており、各影響エリアセルは、４つのクラスのうちの１つにマップされる。各フィルタクラスは、７２０で影響エリアセルの分類マップ内の特定の陰影により示されている。

図６に戻ると、６３０において、最小２乗フィルタ係数の新しい集合が発生される。これは、目標画像からのそのそれぞれの影響エリアセルを用いて最小２乗フィルタを再学習させるために、分類マップを使用することにより実施される。すなわち、最小２乗学習を使用して、各セルｋ＝Ｃ^t+1（ｉ）、ｉ＝１．．．Ｓに対して新フィルタ係数ｆ_k ⁱ⁺¹を発生させる。この結果は、最小２乗フィルタ係数ｆ_k ⁱ⁺¹、ｋ＝１．．．Ｎの新しい集合である。

６４０において、最小２乗フィルタ係数及び分類マップが、第１段Ｐ°により発生された予測画像に適用され、目標画像Ｐⁱ⁺¹の高められた予測を形成する。

６５０において、目標画像と高められた予測画像Ｐⁱ⁺¹の間の予測誤差が計算される。６６０において、方法は、最小２乗予測誤差が最大限に満たされたか否かを判断する。最大限に満たされていない場合、方法は、計数ｔ＝ｔ＋１に設定し、６２０に戻り、そこで分類マップが変更されて、フィルタ係数が再学習させられる。

最小２乗予測誤差が最大限に満たされた場合、方法は、６７０に継続し、全体的予測誤差が最大限に満たされたか否かを判断する。最大限に満たされていない場合は、高められた予測画像がフィードバックとして使用され、類似の空間的テクスチャを有するこれらのピクセルのみを含むようにＡＯＩを変更する。次に、方法は６０５に戻る。そうでない場合、方法は、６８５において終了する。

図８は、目標画像を予測するための第１段及び第２段フィルタの例を示している。第１段フィルタ８２０は、各目標ピクセルｘを予測する場合に、動きベクトルの不規則パターン及び参照画像８１０を使用して目標画像８３０の予測を発生させる。第１段フィルタ８２０は、不規則なフィルタタップ構造（８２０において四角で示される）を使用して予測を発生させる。第２段フィルタ８４０は、目標ピクセル上に集中した規則的フィルタタップ構造を使用して、予測される画像を高める。例えば、第２段フィルタ８４０は、最小２乗フィルタ８４２を使用して目標画像８５０内の目標ピクセルを予測し、かつ最小２乗フィルタ８４４を使用して目標画像８５０内の目標ピクセルｚを予測し、補正画像８６０を形成する。

一実施形態では、最小２乗分類フィルタは、図９に示すように、ビデオデータの画像（又はフレーム、又はフィールド）を符号化するための時間予測フィルタリング処理で使用される。９１０において、符号化器は、入力の目標画像を受信する。（目標画像に対する復号された画像データを含む参照画像の集合が、符号化処理中に符号化器によって利用可能であり、復号処理中に復号器によっても利用可能である。）９２０において、符号化器は、目標画像に関連した動きベクトルのサンプリング又は分布を発生させる。すなわち、動きベクトルの数Ｎが与えられると、これらのＮ個の動きベクトルは、目標画像中に配置される。動きベクトルの位置は、一般的に画像内容における動きのエリアに適応され、図３に示すような動きベクトルの不規則パターンを生じる。９３０において、サンプリングパターン情報（例えば、パターンを表現するビット）が復号器に送信される。適応サンプリングパターンを発生させるために、多くの手法を使用することができる。

９４０において、時間予測フィルタリング処理は、不規則な動きサンプリングパターンに適用される。最小２乗分類学習を有するこの２段適応フィルタリング処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を使用して目標画像の予測を発生させる。９５０において、動きベクトル値は、符号化されて復号器に送られる。９６０において、目標画像の実際の目標データと適応フィルタリング処理からの予測誤差の差である残差が発生される。９７０において、残差が符号化され、９８０において復号器に送られる。

別の実施形態では、最小２乗分類フィルタは、図１０に示すように、ビデオデータの画像（又はフレーム、又は画像）を復号するために使用される。１０１０において、符号化された残差が受信される。１０２０において、復号器は、受信した残差を復号する。１０３０において、復号器は、サンプルパターン情報、参照画像、及び動きベクトル値を受信する。次に、１０４０において、復号器は、２段適応時間予測フィルタ手順を適用して時間予測を発生させる。１０５０において、時間予測に対する復号された残差を加算することにより、復号された目標画像が発生される。

図１１は、適応時間予測フィルタを使用するシステムの例を示している。デジタルビデオカメラ１１１０は、電子形式で画像を捕捉し、圧縮及び符号化処理中に適応時間予測フィルタリング処理を使用する圧縮デバイス１１２０を使用して画像を処理する。符号化された画像は、電子伝送媒体１１３０を通じてデジタル再生デバイス１１４０に送られる。画像は、復号処理中にフィルタを使用する復号デバイス１１５０により復号される。カメラ１１１０は、本発明の実施形態を含む様々な画像処理装置（他の画像捕捉デバイス、画像編集器、画像プロセッサ、個人用及び商用のコンピュータプラットフォームなど）を例示している。同様に、復号デバイス１１５０は、画像データを復号する様々なデバイスの例示である。

本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。

従来のブロックベースの時間フィルタの例を示す図である。 ２段適応時間フィルタリング手順の例を示す図である。 動きベクトルの不規則パターンの例及び適応時間フィルタリング手順に使用される影響エリアセルの例を示す図である。 異なる目標ピクセルに対して異なる局所近傍を形成し、かつ適応時間フィルタリング手順によって処理される不規則な動きベクトルパターンの例を示す図である。 適応時間フィルタにより実施される予測の例を示す図である。 最小２乗分類フィルタを発生させる方法の例を示す図である。 最小２乗分類フィルタリング処理によって生成された分類マップの例を示す図である。 目標画像を予測するための第１段フィルタ及び第２段フィルタの例を示す図である。 適応時間フィルタを使用するビデオ圧縮符号化処理の例を示す図である。 適応時間フィルタを使用する復号処理の例を示す図である。 適応時間フィルタを使用するシステムの例を示す図である。

符号の説明

２１０ 動きベクトルの不規則サンプリングパターンを発生させる段階
２２０ 画像を影響エリアセルと呼ばれる複数のセルに分割する段階
２３０ 第１段の適応時間予測フィルタを発生させる段階

Claims (21)

1. 電子データプロセッサにおいて実施される方法であって、
   不規則フィルタタップを使用して目標画像の予測を生成する段階と、
   規則的フィルタタップを前記予測に適用して高められた予測を生成する段階と、
   を含むことを特徴とする方法。
2. 動きベクトルの不規則パターン及び影響エリアセルから前記不規則フィルタタップを発生させる段階、
   を更に含むことを特徴とする請求項１に記載の方法。
3. 最小２乗手順を使用して前記規則的フィルタタップを発生させる段階、
   を更に含むことを特徴とする請求項１に記載の方法。
4. 前記最小２乗手順は、
   前記目標画像の前記予測に対して最小２乗学習を実施し、最小２乗フィルタ係数の集合を生成する段階と、
   各影響エリアセルを最小２乗フィルタ指標に関連付ける分類マップを発生させる段階と、
   前記分類マップを使用して前記最小２乗フィルタ係数を再学習させる段階と、
   前記再学習させたフィルタ係数を使用して前記目標画像の前記予測を高める段階と、
   を含む、
   ことを特徴とする請求項３に記載の方法。
5. 各影響エリアセルに対して最小予測誤差を有するフィルタを選択することにより前記分類マップを発生させる段階、
   を更に含むことを特徴とする請求項４に記載の方法。
6. 最小２乗予測誤差が最大限に満たされるまで前記分類マップを再発生させ、かつ前記最小２乗フィルタ係数を再学習させる段階、
   を更に含むことを特徴とする請求項５に記載の方法。
7. 前記高められた予測を使用して、類似の空間的テクスチャを有するピクセルを含むように前記影響エリアセルを修正する段階、
   を更に含むことを特徴とする請求項４に記載の方法。
8. 目標画像の予測を生成する不規則フィルタタップと、
   高められた予測を生成するために前記予測に適用される規則的フィルタタップと、
   を含むことを特徴とする装置。
9. 動きベクトルの不規則パターン及び影響エリアセルから前記不規則フィルタタップを発生させる不規則タップ発生器、
   を更に含むことを特徴とする請求項８に記載の装置。
10. 最小２乗手順を使用して前記規則的フィルタタップを発生させる規則的タップ発生器、
    を更に含むことを特徴とする請求項８に記載の装置。
11. 前記規則的タップ発生器は、
    前記目標画像の前記予測に対して最小２乗学習を実施し、最小２乗フィルタ係数の集合を生成する最小２乗学習器と、
    各影響エリアセルを最小２乗フィルタ指標に関連付ける分類マップを発生させるマップ発生器と、
    前記分類マップを使用して前記最小２乗フィルタ係数を再学習させる再学習器と、
    前記再学習させたフィルタ係数を使用して前記目標画像の前記予測を高める予測強化器と、
    を含む、
    ことを特徴とする請求項１０に記載の装置。
12. 前記再学習器は、
    最小２乗予測誤差が最大限に満たされるまで前記最小２乗フィルタ係数を再学習させる最小２乗誤差低減器、
    を更に含む、
    ことを特徴とする請求項１１に記載の装置。
13. 前記高められた予測を使用して、類似の空間的テクスチャを有するピクセルを含むように前記影響エリアセルを修正するセル修正器、
    を更に含むことを特徴とする請求項１１に記載の装置。
14. 前記修正された影響エリアセル及び前記不規則フィルタタップを使用して前記目標画像の前記予測の予測誤差を低減する予測誤差低減器、
    を更に含むことを特徴とする請求項１３に記載の装置。
15. 処理システムによって実行された時に該システムに、
    不規則フィルタタップを使用して目標画像の予測を生成する段階と、
    規則的フィルタタップを前記予測に適用して高められた予測を生成する段階と、
    を含む方法を実行させる命令のプログラムを記憶するコンピュータ可読媒体。
16. 動きベクトルの不規則パターン及び影響エリアセルから前記不規則フィルタタップを発生させる段階、
    を更に含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
17. 最小２乗手順を使用して前記規則的フィルタタップを発生させる段階、
    を更に含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
18. 前記最小２乗手順は、
    前記目標画像の前記予測に対して最小２乗学習を実施し、最小２乗フィルタ係数の集合を生成する段階と、
    各影響エリアセルを最小２乗フィルタ指標に関連付ける分類マップを発生させる段階と、
    前記分類マップを使用して前記最小２乗フィルタ係数を再学習させる段階と、
    前記再学習させたフィルタ係数を使用して前記目標画像の前記予測を高める段階と、
    を含む、
    ことを特徴とする請求項１７に記載のコンピュータ可読媒体。
19. 最小２乗予測誤差が最大限に満たされるまで前記最小２乗フィルタ係数を再学習させる段階、
    を更に含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
20. 前記高められた予測を使用して、類似の空間的テクスチャを有するピクセルを含むように前記影響エリアセルを修正する段階、
    を更に含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
21. 前記修正された影響エリアセル及び前記不規則フィルタタップを使用して前記目標画像の前記予測の予測誤差を低減する段階、
    を更に含むことを特徴とする請求項２０に記載のコンピュータ可読媒体。

Images