JP2011524708A - フレームの１つ以上の画素を補間するためのフィルタを決定する方法 - Google Patents

Abstract

本発明は、フレームに含まれる１つ以上の画素を補間するためのフィルタを決定する方法に関する。提案する方法は、フレームの残りの部分内の他の画素に基づいてフィルタを決定するステップを有し、前記画素に関する動きベクトルは、前記他の画素に関する別の動きベクトルと共通する少なくとも１つの動きパラメータを有し、決定されたフィルタの助けを借りて決定される前記他の画素の補間の品質が、フィルタ候補の組に含まれる複数の異なるフィルタ候補のうちの１つの助けを借りて決定可能な前記他の画素の如何なるその他の補間の品質にも達する、あるいは上回るように、フィルタが決定される。同一フレームの異なる他の画素上のみでフィルタを決定することにて、当該補間のためのフィルタを決定する方法は、単一パスの符号化方式の実現を可能にする。

Description

本発明は、フレームに含まれる１つ以上の画素を補間するためのフィルタを決定する方法に関する。本発明は更に、フレームを符号化あるいは復号化する方法であって、符号化又は復号化が上記フィルタの決定方法を使用する方法に関する。本発明は更に、フレームを符号化あるいは復号化する装置であって、上記符号化方法又は復号化方法を使用する装置に関する。

インターピクチャーのコーディングに関し、一部のビデオ符号化方式は、水平フェーズ及び／又は垂直フェーズにより指し示される小さい画素解像度での動きベクトルと、該水平フェーズ及び／又は垂直フェーズに関連付けられた対応する補間フィルタとに基づく動き補償の助けを借りた時間予測を使用している。

エイリアシング・アーチファクトを抑制するために、補間フィルタは適応できるものにされ得る。このアプローチは以下のステップからなる。

第１の符号化段階（パス）において、初期設定のデフォルト補間フィルタを用いてフレームが符号化される。

計算された動きベクトルに基づいて、最適なポリフェーズ補間フィルタが計算される。すなわち、現在の信号（現信号）と該現信号の動き補償補間との間の予測誤差エネルギーを最小化する補間フィルタが決定される。

第２の符号化パスにおいて、計算された補間フィルタが使用される。計算された補間フィルタのフィルタ係数が、そのフレームとともに符号化される。

特許文献１に、探索空間に位置付けられる複数の別個の補間フィルタが記載されている。選択された現在のミニマムフィルタに基づいて、複数の候補フィルタを有する探索領域が特定される。最小の予測誤差をもたらす候補フィルタが新しいミニマムフィルタとして特定され、予測誤差が最小化されるまで探索が繰り返される。

補間を改善すること、並びに符号化時間のレイテンシ及び伝送帯域幅を低減することに向けて、継続的な努力が為されている。

米国特許出願公開第２００４／００７６３３３号明細書

本発明はこの努力に携わるものである。フレームに含まれる１つ以上の画素を補間するためのフィルタを決定する方法が提案される。

当該方法は請求項１の特徴を有する。すなわち、当該方法は、前記フレームの残りの部分内の他の画素を決定するステップであり、該他の画素に関する動きベクトルが、前記画素に関する別の動きベクトルと同一の基準フレームと同一の水平フェーズ及び／又は垂直フェーズとを参照する、他の画素を決定するステップと、前記フレームの前記残りの部分内の他の画素に基づいて前記フィルタを決定するステップとを有し、決定されたフィルタを用いて決定される前記他の画素の補間の品質が、フィルタ候補の組に含まれる複数の異なるフィルタ候補のうちの１つを用いて決定可能な前記他の画素の如何なるその他の補間の品質にも達する、あるいは上回るように、前記フィルタが決定される。

補間フィルタの決定を、同一フレームに含まれ且つフィルタリングすべき画素と共通の少なくとも１つの動きベクトルパラメータを有する異なる他の画素のみにリレーすることにて、当該補間のためのフィルタを決定する方法は、単一パスの符号化方式の実現を可能にする。

一実施形態において、複数の異なるフィルタ候補は、フィルタ種類、フィルタリングパラメータの数、及び／又はフィルタリングパラメータに割り当てられた値において異なる。

フィルタ種類は、中央値補間、線形補間、双線形補間、双三次補間、及び勾配に基づく補間のうちの１つとし得る。

複数の異なるフィルタ候補が、基準フレーム、水平フェーズ及び／又は垂直フェーズに関連付けられる他の一実施形態が存在する。

更なる他の一実施形態において、フィルタ候補は、水平フェーズ及び／又は垂直フェーズに関するオフセットを有する。

その場合、フィルタは明るさの変化に従って決定され得る。

フィルタ候補が１次元である場合、決定されたフィルタは１次元フィルタとしてもよく、当該方法は更に、決定された１次元フィルタを別の１次元フィルタと組み合わせることによって、２次元フィルタを決定することを有していてもよい。

２次元フィルタの決定を、１次元フィルタの決定と、別の１次元フィルタとの組み合わせとに分離することは、高速な計算を可能にする。

特に、決定された１次元フィルタ及び別の１次元フィルタのうち、一方は垂直フィルタであり、他方は水平フィルタである。

決定される２次元フィルタは、別の１次元フィルタが、画素を補間するためのフィルタを決定する方法の実施形態のうちの１つの助けを借りて決定される場合に、画素を補間することに一層良好に適応される。

更なる他の一実施形態において、他の画素の補間の品質は、他の画素の補間と他の画素の完全再構成との間の平均自乗差又は平均絶対値差として決定され、フィルタを決定するステップは、他の画素の複数の異なる補間に対して決定された複数の品質の中で最適なものを決定することを有する。

平均自乗差は、品質を決定するための良い指標である。代わりに、自乗差の和又は絶対値差の和が用いられてもよい。

本発明はまた、空間的且つ／或いは信号対雑音比的にスケーラブルなビデオコーディング方式において、動きベクトルに関連付けられたエンハンスメントレイヤブロックの補間のためのフィルタを決定する方法に関する。当該方法は、同一位置の低次レイヤブロックが、同一のそれぞれ対応する精度の対応する動きベクトルに関連付けられているかを決定するステップであり、該対応する動きベクトルは、前記動きベクトルと共通する少なくとも１つの動きパラメータを有する、ステップと、そうである場合に、同一位置の低次レイヤブロックの補間に使用された低次レイヤフィルタとしてフィルタを決定するステップとを有する。少なくとも、前記対応する動きベクトルが前記動きベクトルと共通する如何なる動きパラメータも有しない場合には、エンハンスメントレイヤ内で使用されるフィルタは、補間のためのフィルタを決定する方法の実施形態のうちの１つを用いて決定される。

これは、スケーラブルビデオコーディング方式において、レイヤ毎及びブロック毎の最適化を必要とすることなく、本発明に係る方法を使用することを可能にする。

本発明は更に、フレームを符号化あるいは復号化する方法に関する。当該方法は、フレームの現ブロックの画素群に動きベクトルを関連付けるステップと、現ブロックの画素群の補間を、前記動きベクトルと、補間のためのフィルタを決定する方法の実施形態のうちの１つを用いて決定されたフィルタとを用いて決定するステップとを有する。

本発明に係る方法を符号化に用いることは、ブロックの一層良好な補間、ひいては、より良好に圧縮可能な残差を可能にする。本発明に係る方法を復号化に用いることは、復号化を、フィルタパラメータ及び／又はフィルタ種類の正確な伝送に依存しないものにする。

このフレームを符号化あるいは復号化する方法の一実施形態において、補間のためのフィルタを決定する方法の実施形態のうちの１つを実行する際に決定される前記他の画素は、前記フレームの１つ以上の他のブロックに含まれ、該他のブロックは、前記別の動きベクトルを用いて既に符号化あるいは復号化されている。

これは、適応型補間フィルタを用いて単一パスでフレームを符号化あるいは復号化することを可能にする。

フレームを符号化あるいは復号化する方法のこの実施形態において、前記他のブロックは、現ブロックに隣接する、あるいは現ブロックを囲むウィンドウ内に含まれ得る。

そのとき、フィルタは局所的なピクチャーコンテンツに対して適応される。

フレームを符号化あるいは復号化する方法の更なる一実施形態において、当該方法は更に、現ブロックの残差を決定するステップと、該残差を符号化する、あるいは該残差を用いて現ブロックを復号化するステップとを有する。

本発明は更に、フレームを符号化あるいは復号化する装置に関する。当該装置は、上述のフレームを符号化あるいは復号化する方法の実施形態のうちの１つに従ってフレームを符号化あるいは復号化する手段を有する。

本発明の典型的な実施形態を、図面に示し、以下の説明において更に詳細に説明する。
第１のブロックと、周囲ウィンドウと、第２及び第３のブロックとを有する現画像を例示する図である。 ウィンドウをより詳細に示すとともに、該ウィンドウ内の選択画素の組を示す図である。 水平フィルタ構成の更新方法を例示するフローチャートである。 垂直フィルタ構成の更新方法を例示するフローチャートである。 ピクチャーデータを送信あるいはブロードキャストするシステムを例示する図である。

本発明は、フレーム間符号化（インターコーディング）に使用される補間フィルタをオンザフライで適応化することを提案する。この適応化は、フィルタパラメータの数、フィルタパラメータの値、及び／又はフィルタ種類の適応化を含み得る。

オンザフライでの適応化は、ほぼ最適な補間フィルタを用いた一回での符号化（ワンパスエンコーディング）を可能にする。

インターコーディングに使用される補間フィルタは、基準ピクチャーに関連付けられ、あるいは基準画像を参照する。さらに、補間フィルタは、水平フェーズ及び／又は垂直フェーズに関連付けられ、あるいは水平フェーズ及び／又は垂直フェーズを参照する。

現フレームのブロックを符号化あるいは復号化する際、該ブロックが、該特定の水平フェーズ及び垂直フェーズに対応する低画素解像度の動きベクトルを有し、且つ特定の基準画像内での相対位置を参照する場合、その特定の基準画像とその特定の水平フェーズ及び垂直フェーズとに関連付けられた補間フィルタが使用される。

そのような補間フィルタを用いることで、動きベクトルの相対位置情報によって位置が決定され且つ補間フィルタの次元によって垂直及び／又は水平の拡がりが決定される基準ピクチャー内の参照領域から、補間された基準ブロックが生成される。すなわち、上記補間フィルタにより動きベクトルを用いて生成された動き補償された画素をフィルタリングすることによって、補間が決定される。

以下では、ブロックの動きベクトルを用いて該ブロックの位置の方向に位置をずらされた補間基準ブロック（補間された基準ブロック）のことを、動き補償ブロック（動き補償されたブロック）と称する。

図１は、例示の第１のブロックＦＢ、ウィンドウＷＩＮによって囲まれた例示の第２のブロックＳＢ、及び例示の第３のブロックＴＢを有する例示的な現画像ＩＣＵＲを示している。

所与の基準ピクチャーが最初に第１のブロックＦＢの第１の動きベクトルによって参照される場合、第１の動き補償ブロックを決定するためにデフォルトフィルタが使用される。

例示的な符号化方式において、第１のブロックＦＢと第１の動き補償ブロックとの間の第１の残差が決定される。この第１の残差は、例えば、離散コサイン変換、高速フーリエ変換又はウェーブレット変換によって変換される。変換された残差は、量子化され、第１の動きベクトルとともに符号化される。さらに、量子化された残差が、逆量子化され、逆変換され、且つ第１の動き補償ブロックと結合されて、第１の完全再構成ブロックが形成される。この例示的な符号化方式においては、この第１の完全再構成ブロックがフィルタの適応化に使用される。

例示的な復号化方式において、上記第１の残差が受信ストリームから復号化される。そして、上記符号化方式においてのように、第１の完全再構成ブロックが形成される。

第１の典型的な一実施形態において、第１のブロックＦＢの符号化又は復号化の後、デフォルトフィルタが更新される。すなわち、異なる複数の補間フィルタ候補を用いて、幾つかの異なる補間基準ブロックが生成される。これら異なる補間フィルタ候補は、フィルタ種類及び／又はフィルタパラメータにおいて異なるが、全てがデフォルトフィルタの水平フェーズ及び／又は垂直フェーズに対応する。

相異なる補間基準ブロックの各々が、第１の完全再構成ブロックと比較される。更新後のデフォルトフィルタは、第１の完全再構成ブロックの最も良い或いは最も近い近似を生じさせた補間フィルタとして決定される。近似度の評価の好適な一指標は、例えば、平均自乗差又は平均絶対値差として決定される偏差である。

デフォルトフィルタの更新がフィルタの有意な変化を生じさせる場合、第１のブロックＦＢは、更新後のフィルタを用いて、二度目の符号化を行われてもよい。第１のブロックＦＢの二回の符号化（ツーパスエンコーディング）は、単純なデフォルトフィルタを可能にするという利点を伴う。不利な点としては、二度目のコーディングパスが必要とされることである。

そして、更新されたデフォルトフィルタと同一の基準フレーム及び同一の水平及び／又は垂直フェーズを参照する第２のブロックＳＢが、更新されたデフォルトフィルタを用いて符号化される。第２のブロックＳＢを符号化あるいは復号化した後、更新されたフィルタの更なる更新が、今回は第２のブロックＳＢの第２の完全再構成ブロックに基づいて決定される。

第２の典型的な一実施形態において、デフォルトフィルタは、第２のブロックＳＢが符号化されるべき、あるいは復号化されるべきとき直ちに更新される。

この第２の典型的な実施形態において、補間された基準画素の組が、フィルタ種類及び／又はそのフィルタパラメータにおいて異なるが全てがデフォルトフィルタの水平及び／又は垂直フェーズに対応するような異なる複数の補間フィルタ候補を用いて生成される。

補間された基準画素の組を形成することについて、以下にて図２の助けを借りて説明する。

第２のブロックＳＢを囲む、あるいはそれに隣接するウィンドウＷＩＮ内で、完全再構成画素の組ＰＳが決定される。完全再構成画素の組ＰＳは、同一の水平及び／又は垂直フェーズを有する動きベクトルを用いて既に符号化あるいは復号化された画素を完全に再構成したものを有し、且つ第２のブロックＳＢの動きベクトルと同一の基準ピクチャーを参照するものである。この組ＰＳは更に、同一の基準ピクチャー内の同一の相対位置を更に参照する動きベクトルを用いて既に符号化あるいは復号化された画素に制限されることができる。

ウィンドウＷＩＮは、既に符号化あるいは復号化された全ての画素を有含んでいてもよいし、又は既に符号化あるいは復号化された画素の一部のみを含んでいてもよい。

決定された完全再構成画素の組ＰＳに対し、相異なる補間フィルタ候補を用いて、幾つかの異なる補間基準画素の組が生成される。相異なる補間フィルタ候補は、上述の第１の典型的な実施形態においてのように、フィルタ種類及び／又はフィルタパラメータにおいて異なるが、全てがデフォルトフィルタの水平フェーズ及び／又は垂直フェーズに対応する。

異なる補間基準画素の組の各々が、完全再構成画素の組ＰＳと比較される。更新後のデフォルトフィルタは、フィルタ候補の組に関して最適化された最適品質を生じさせる補間フィルタとして決定される。達成される品質すなわち近似度の指標は、例えば、完全再構成画素の組ＰＳと比較したときの偏差に基づき得る。この近似度は、例えば、平均自乗差又は平均絶対値差として決定され得る。

決定された完全再構成画素の組ＰＳは、既に符号化あるいは復号化された画素の何れもが、第２のブロックＳＢの動きベクトルと同一の水平フェーズ及び垂直フェーズを用い且つ同一の基準ピクチャーを参照して符号化あるいは復号化されたものではないという事実のためにエンプティであってもよい。あるいは、１つの画素も未だに符号化あるいは復号化されていないこともあり得る。

その場合、フィルタは変更されないままである。

更新後のデフォルトフィルタと同一の基準フレーム並びに同一の水平フェーズ及び／又は垂直フェーズを参照する動きベクトルを有する第３のブロックＴＢが符号化されるべき、あるいは復号化されるべきとき直ちに、上記の更新後のフィルタが再び更新される。

このように、フィルタは、適応されたフィルタが適用されるべきブロックの近傍に位置するピクチャーコンテンツの補間要求に従って繰り返し適応される。

エンコーダ側とデコーダ側とで、基準ピクチャーを用いて処理される現ピクチャーの少なくとも一部の再構成信号を双方が用いて、同一のフィルタ適応化が実行される。異なる組の適応型補間フィルタを各基準ピクチャーに関連付けることができる。結果として、これらのフィルタは符号化される必要がなく、それにより帯域幅が節減される。加えて、補間フィルタを、局所的なピクチャーコンテンツに、より良好に適応させることができる。

フィルタ更新
最適化された補間フィルタは、概して、考慮されるサポート（選択された典型的な実施形態に応じて、単に１つの符号化されたブロック、又は完全再構成画素の組ＰＳ）上で完全再構成ピクチャーと動き補償されたピクチャーとの間の差を見積もる偏差指標を最小化するフィルタとして選定される。

例えば中央値補間、線形補間若しくは双線形（バイリニア）補間、双三次（バイキュービック）補間、又は勾配に基づく補間など、複数の異なる補間方法のうちの１つ以上が用いられ得る。

パラメータ化可能な補間方法候補の各種類に関し、その補間方法候補種類の複数の可能なパラメータ化の中で偏差を最小にする最適なパラメータ化が決定される。パラメータ化可能でない補間方法候補の各々に関しても、偏差指標が決定される。

決定された偏差の間で最小値が決定される。そして、決定された偏差の間での最小値に対応する補間方法候補（該当する場合にはパラメータ化を有する）が選択される。

他の典型的な一実施形態において、フィルタ更新は、限られた一組の補間方法候補の中で選択することにある。例えば、補間方法候補は複数の線形補間フィルタに限定されてもよく、更新は、最適化された係数、すなわち、偏差指標を最小化する係数の決定に限定されてもよい。

線形補間フィルタ
基準ピクチャーＩＲＥＦを参照する線形補間フィルタの組は、一組のＭ×Ｍポリフェーズ線形フィルタＨ_{ＩＲＥＦ，ｐｘ，ｐｙ}からなる。ただし、ｐｘ＝０，・・・，Ｍ−１であり且つｐｙ＝０，・・・，Ｍ−１である。Ｍ×Ｍポリフェーズ線形フィルタＨ_{ＩＲＥＦ，ｐｘ，ｐｙ}の各々は、線形フィルタリング係数を含む２Ｄ行列ＰｘＱである。

Ｈ_{ＩＲＥＦ，ｐｘ，ｐｙ}が分離可能である場合、それを

と記述することができる。ただし、Ｆ_{ＩＲＥＦ，ｐｘ}及びＧ_{ＩＲＥＦ，ｐｙ}は、それぞれ、Ｐ個及びＱ個の調整可能なパラメータを有する１Ｄ行列である。

このとき、フィルタ更新処理を、Ｆ_{ＩＲＥＦ，ｐｘ}を更新することと、Ｇ_{ＩＲＥＦ，ｐｙ}を更新することとに分離することが可能である。

Ｆ_{ＩＲＥＦ，ｐｘ}を更新する処理は、図３に示す３つのステップ：
１．隣接するフィッティング画素の特定ＩＤＨＰＬ；
２．垂直信号補間ＶＩＮＰＬ；
３．フィルタ決定ＨＵＰＤＴ
で行われる。

これらの３ステップについて更に詳細に説明する。

１．ステップＩＤＨＰＬ
水平フェーズｐｘを有する符号化されるべき、あるいは復号化されるべきブロックに隣接する、あるいは該ブロックを囲むウィンドウＷＩＮ内で、基準ピクチャーＩ_ＲＥＦを用いてインターコーディングされ且つ水平フェーズｐｘを有する動きベクトルを持つブロックに属する画素の組ＰＳが決定される。基準ピクチャーＩ_ＲＥＦ内には、画素の組ＰＳに対応する基準画素の組が存在する。完全な再構成が未だ行われていない場合、この基準画素の組を用いて、画素の組ＰＳの画素群がブランクピクチャー内で完全に再構成され、いわゆる完全再構成ピクチャーＩ_ＲＥＣが得られる。完全再構成ピクチャーは、全画素が再構成されたピクチャーを必ずしも意味するのではなく、再構成された画素が完全に再構成されたものであるピクチャーを意味する。

２．ステップＶＩＮＰＬ
基準画素の組が、補間されるべき画素の垂直フェーズに対応する垂直フィルタＧ_{ＩＲＥＦ，ｐｚ}を用いて垂直方向に補間される。そして、垂直補間された画素群が、ブランクピクチャー又はエンプティピクチャー内で、各画素を対応する完全再構成画素の位置にして配置される。それにより、いわゆる垂直動き補償ピクチャーＩ_ＶＥＲＴが得られる。

３．ステップＨＵＰＤＴ
垂直動き補償ピクチャーＩ_ＶＥＲＴが更に：

を用いて水平方向に補間される。ただし、Ｄｘは、画素（ｘ、ｙ）における水平動きベクトル成分の整数部であり、［ ］はその引数の整数部を戻す。

含められたオフセットＯ_{ＩＲＥＦ，ｐｘ}は明るさの変化を考慮に入れるものである。これはゼロであってもよく、その場合：

を得る。

平均自乗分解は、エネルギー関数：

を最小にするＦ_{ＩＲＥＦ，ｐｘ}を計算することにあり、それにより、Ｐ個の未知数を有するＰ個の方程式からなる線形連立方程式の旧知の分解がもたらされる。これらの方程式のうちの１つ以上は正規化制約を反映し得る。

対応して、Ｇ_{ＩＲＥＦ，ｐｙ}を更新する処理は、図４に示すようにして行われる。

１．ステップＩＤＨＰＬ
垂直フェーズｐｙを有する符号化されるべき、あるいは復号化されるべきブロックに隣接する、あるいは該ブロックを囲むウィンドウＷＩＮ内で、基準ピクチャーＩ_ＲＥＦを用いてインターコーディングされ且つ垂直フェーズｐｙを有する動きベクトルを持つブロックに属する別の画素の組が決定される。基準ピクチャーＩ_ＲＥＦ内には、この別の画素の組に対応する別の基準画素の組が存在する。この別の基準画素の組を用いて、上記別の画素の組の画素群がブランクピクチャー内で完全に再構成され、いわゆる別の完全再構成ピクチャーが得られる。この別の完全再構成ピクチャーも、全体が再構成されたピクチャーを必ずしも意味するのではなく、再構成された画素が完全に再構成されたものであるピクチャーを意味する。

２．ステップＨＩＮＰＬ
上記別の基準画素の組が、補間されるべき画素の水平フェーズに対応する水平フィルタＦ_{ＩＲＥＦ，ｐｚ}（場合により、更新されている）を用いて水平方向に補間される。そして、水平補間された画素群が、ブランクピクチャー又はエンプティピクチャー内で、各画素を対応する完全再構成画素の位置にして配置される。それにより、いわゆる水平動き補償ピクチャーＩ_ＨＯＲＺが得られる。

３．ステップＶＵＰＤＴ
水平動き補償ピクチャーＩ_ＨＯＲＺが更に：

を用いて垂直方向に補間される。ただし、Ｄｙは、画素（ｘ、ｙ）における垂直動きベクトル成分の整数部であり、含められたオフセットＯ_{ＩＲＥＦ，ｐｙ}はゼロであってもよい。

平均自乗分解は、エネルギー関数：

を最小にするＧ_{ＩＲＥＦ，ｐｙ}を計算することにあり、それにより、Ｑ個の未知数を有するＱ個の方程式からなる線形連立方程式の旧知の分解がもたらされる。これらの方程式のうちの１つ以上は正規化制約を反映し得る。

水平方向の更新は、垂直フェーズｐｙ＝０を有する動きベクトルによって符号化あるいは復号化されるブロックに制限されてもよい。そして、垂直方向の更新は、水平フェーズｐｘ＝０を有する動きベクトルによって符号化あるいは復号化されるブロックに制限されてもよい。

信号対雑音比（ＳＮＲ）的及び空間的なスケーラブルビデオ符号化（Scalable Video Coding；ＳＶＣ）は、空間−時間及び品質のスケーラビリティをもたらす階層化されたビデオ符号化方式である。ＳＶＣ方式において、高次のレイヤ又はエンハンスメントレイヤの現ブロックの動き補償は、低次のレイヤ又はベースレイヤ内の同一位置のブロックから得られる、あるいはそれに対して決定されたサブピクセルフィルタを使用し得る。

ＳＮＲスケーラビリティの場合には、同一位置の低次レイヤブロックが、現ブロックと同じサブペル（サブピクセル）ベクトルを含む場合、低次レイヤブロックに対して定められたサブペルフィルタをエンハンスメントレイヤブロックに使用することができる。

空間スケーラビリティの場合には、現サブペルベクトルが同一位置ブロックに含まれるもののうちの１つに一致する場合、例えば：
１／４ペルフィルタ −＞ １／２サブペルフィルタ、
１／８ペルフィルタ −＞ １／４ペルフィルタ、・・・
のように、２サブペル分解能（２進法（dyadic）空間ｓｖｃでのみ）にそれぞれ同一のサブペルフィルタを使用することができる。

図５に示す典型的な一実施形態において、オンザフライでの補間フィルタの適応化は、ブロードキャスト端又は送信端ＢＥのエンコーダＥＮＣ内に含まれるフィルタ適応化装置ＦＡＤと、受信端ＲＥのデコーダＤＥＣ内に含まれる同一の種類及びパラメータ設定の対応するフィルタ適応化装置ＦＡＤとにおいて同じように行われる。そのとき、ケーブル接続又は無線接続とし得る接続ＣＯＮを介したフィルタリングパラメータのブロードキャスト又は送信は、もはや使われないものとなる。

本発明は以下の利点を有する。

補間フィルタのインライン決定又は更新により、それらのフィルタのローカルでの適応化が達成される。

フィルタ係数の伝送を回避することにより、対応するサイド情報ビットのための帯域幅が節減され、潜在的に符号化効率の増大がもたらされ得る。

また、ツーパスエンコーディング処理を回避することにより、エンコーダの複雑さの低減が達成される。

本発明は、映像圧縮に関する如何なる仕組みにも適用可能である。本発明は、例えば移動体用ＨＤといった高解像度映像を用いる低ビットレート用途や、ＨＤ及びそれより高いもののような超解像度映像用途に特に適しているが、それらに限定されるものではない。

Claims (15)

1. フレームの１つ以上の画素を補間するためのフィルタを決定する方法であって、
   前記フレームの残りの部分内の他の画素を決定するステップであり、該他の画素に関する動きベクトルが、前記画素に関する別の動きベクトルと同一の基準フレームと同一の水平フェーズ及び／又は垂直フェーズとを参照する、他の画素を決定するステップと、
   前記他の画素に基づいて前記フィルタを決定するステップと
   を有し、
   決定されたフィルタを用いて決定される前記他の画素の補間の品質が、フィルタ候補の組に含まれる複数の異なるフィルタ候補のうちの１つを用いて決定可能な前記他の画素の如何なるその他の補間の品質にも達する、あるいは上回るように、前記フィルタが決定される、
   方法。
2. 前記複数の異なるフィルタ候補は、フィルタ種類、フィルタリングパラメータの数、及び／又はフィルタリングパラメータに割り当てられた値において異なる、請求項１に記載の方法。
3. 前記フィルタ種類は、中央値補間、線形補間、双線形補間、双三次補間、及び勾配に基づく補間のうちの１つである、請求項２に記載の方法。
4. 前記複数の異なるフィルタ候補は、前記基準フレーム、前記水平フェーズ及び／又は前記垂直フェーズに関連付けられる、請求項１乃至３のうちの一項に記載の方法。
5. 前記フィルタ候補は、前記水平フェーズ及び／又は前記垂直フェーズに関するオフセットを有する、請求項４に記載の方法。
6. 前記フィルタ候補は１次元であり、
   前記決定されたフィルタは１次元フィルタであり、
   当該方法は更に、前記決定された１次元フィルタを別の１次元フィルタと組み合わせることによって、２次元フィルタを決定することを有する、
   請求項４又は５に記載の方法。
7. 前記決定された１次元フィルタ及び前記別の１次元フィルタのうち、一方は垂直フィルタであり、他方は水平フィルタである、請求項６に記載の方法。
8. 前記別の１次元フィルタは、請求項６又は７に記載の方法を用いて決定される、請求項６又は７に記載の方法。
9. 前記他の画素の前記補間の品質は、前記他の画素の前記補間と前記他の画素の完全再構成との間の平均自乗差又は平均絶対値差として決定され、
   前記フィルタを決定するステップは、前記他の画素の複数の異なる補間に対して決定された複数の品質の中で最適なものを決定することを有する、
   請求項１乃至８のうちの一項に記載の方法。
10. 空間的且つ／或いは信号対雑音比的にスケーラブルなビデオコーディング方式において、動きベクトルに関連付けられたエンハンスメントレイヤブロックの補間のためのフィルタを決定する方法であって、
    同一位置の低次レイヤブロックが、同一のそれぞれ対応する精度の対応する動きベクトルに関連付けられているかを決定するステップであり、該対応する動きベクトルは、前記動きベクトルと共通する少なくとも１つの動きパラメータを有する、ステップと、
    そうである場合に、前記同一位置の低次レイヤブロックの補間に使用された低次レイヤフィルタとして前記フィルタを決定するステップと、
    そうでない場合に、前記エンハンスメントレイヤ内で請求項１乃至９のうちの一項に記載の方法を用いて前記フィルタを決定するステップと
    を有する方法。
11. フレームを符号化あるいは復号化する方法であって、
    前記フレームの現ブロックの画素群に動きベクトルを関連付けるステップと、
    前記現ブロックの前記画素群の補間を、前記別の動きベクトルと請求項１乃至１０のうちの一項に記載の方法に従って決定されたフィルタとを用いて決定するステップと
    を有する方法。
12. 請求項１乃至１０のうちの一項に記載の方法に従った前記フィルタの決定のために決定される前記他の画素は、前記フレームの１つ以上の他のブロックに含まれ、前記他のブロックは、前記動きベクトルを用いて既に符号化あるいは復号化されている、請求項１１に記載の方法。
13. 前記他のブロックは、前記現ブロックに隣接するウィンドウ内に含まれる、請求項１２に記載の方法。
14. 前記現ブロックの残差を決定するステップと、
    前記残差を符号化する、あるいは前記残差を用いて前記現ブロックを復号化するステップと
    を更に有する請求項１１乃至１３のうちの一項に記載の方法。
15. フレームを符号化あるいは復号化する装置であって、
    請求項１１乃至１４のうちの一項に記載の方法を実行することによって前記フレームを符号化あるいは復号化する手段
    を有する装置。

Images