JP2010516082A - 適応フィルタ表現 - Google Patents

Abstract

本発明は、画素ブロック（１２）のイントラ予測又はインター予測において使用されるフィルタ処理を教示する。第１のフィルタ、オプションとして第１の補間フィルタは、第１のフィルタ処理において適用され、フィルタリングされ且つオプションとして補間された画素値（１１、２１、２３、２５、２７）を得る。差分フィルタ及び適応利得は、予測性能を向上するために第２の処理において利用される。利得の適応はブロック毎に行なわれ、画素予測の微同調、並びに／あるいは画素の回転及び倍率変更の微同調を可能にする。あるいは、補間フィルタ、差分フィルタ及び適応利得を使用する組み合わされた１ステップフィルタ処理が画素値に適用される。
【選択図】図１

Description

本発明は、一般に画像処理に関し、特に、ビデオに適用可能なインター予測及びイントラ予測、並びにビデオ符号化において有用なフィルタ表現に関する。

時間的冗長及び空間的冗長は、予測を使用して利用され、ビデオ信号のコンパクト表現を可能にする。画素予測は、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４及びＨ．２６４非特許文献１等のビデオ符号化規格の重要な一部である。Ｈ．２６４において、３つの画素予測方法、すなわち、イントラ予測、インター予測及び双方向予測が使用される。イントラ予測は、現在のフレームの先に復号化された画素からの現在のブロックの空間予測を提供する。インター予測は、基準ブロック等の先に復号化されたフレームの対応する変位ブロックを使用して現在のブロックの時間的予測を与える。双方向予測は、２つのインター予測の加重平均を与える。

Ｈ．２６４のインター予測方法は、動き推定において非正数画素解像度を達成できる。フィルタタップ[1 -5 20 20 -5 1]/32を有する固定の１／２画素フィルタは、初期１／２画素解像度を取得するためにまず適用可能である。双線形フィルタは、全画素サンプル及び１／２画素サンプルに適用され、１／４画素解像度を達成する。Ｈ．２６４において使用されるこれらの非正数画素補間フィルタは固定であり、これは符号化される特定のブロックに関係なく同一のフィルタタップが使用されることを示す。

例えば適応補間フィルタを採用することによりインター予測を改善するために、数年にわたり多くの技術が提案されてきた。そのような方法は、まず符号化される画像ブロック毎に固定のＨ．２６４補間フィルタを使用して変位ベクトルを判定することにより提案された。その後、取得した変位ベクトルを使用して、分離可能な６タップ適応フィルタの適応フィルタ係数の計算が行なわれる。その結果、３つの水平適応補間フィルタ及び１２個の垂直適応補間フィルタが予測誤差の最小化により計算される。

ITU-T Rec. H.264/ISO/IEC MPEG 14496-10, 2003 ITU-T SG16, Multimedia terminals, systems and applications, Study Period 2005-2008, Study group 16, Contribution 210「Separable adaptive interpolation filter」 Y.Vatis及びJ.Ostermanによる「H.264/AVCのための局所適応非分離補間フィルタ(Locally adaptive non-separable interpolation filter for H.264/AVC)」ICIP 2006 T.Wediによる「動き及びエイリアシング補償フィルタリングのための適応補間フィルタ(Adaptive interpolation filter for motion and aliasing compensated filtering)」VCIP 2002 ITU-Telecommunications Standardization Sector, VCEG-AG05「Adaptive Multidirectional intra prediction」

適応補間フィルタの導入により非正数画素解像度のインター予測が改善されたが、依然として画像／ビデオ符号化及び復号化における性能を更に改善する必要がある。

本発明の全体的な目的は、画像／ビデオ符号化において使用するためのフィルタの適応表現を提供することである。

本発明の特定の目的は、差分フィルタ及び適応フィルタ利得を利用して補間フィルタの適応を提供することである。

本発明の更に別の特定の目的は、差分フィルタ及び適応フィルタ利得を利用して整形フィルタ適応を提供することである。

これらの目的及び他の目的は、添付の請求の範囲により規定される本発明により達成される。

簡単に説明すると、本発明は、補間フィルタ等の従来の画素フィルタに加えて差分フィルタ及び適応フィルタ利得を利用することにより適応フィルタ表現を提供することを含む。この差分フィルタ及び適応利得は、ブロック符号化及び復号化において、特に符号化及び復号化で実行されるブロックのイントラ予測及びインター予測において画素をフィルタリングするために第２のフィルタリング処理において利用される。更に差分フィルタ及び適応フィルタ利得は、単一のフィルタ処理において複合適応フィルタを形成するために画素フィルタと共に使用される。

変位ベクトル又はイントラ予測方向等のパラメータ表現は、符号化されるブロック中の少なくとも一部の画素値に基づいて推定される。変位表現により、現在のフレーム又は別の基準フレームの基準ブロック又は画素のグループの識別が可能になる。この基準ブロックの画素値は、第１のフィルタリング処理において、補間フィルタであるのが好ましい少なくとも１つのフィルタによりフィルタリングされてもよい。この第１のフィルタ処理のフィルタは、一般に固定フィルタ又はフレーム別フィルタであり、これは、１つの同一のフィルタ又は同一のフィルタセットが所定の変位ベクトルを有する現在のフレームの全てのブロックを符号化するために利用されることを示す。

合計でゼロ又は少なくともほぼゼロになるフィルタ係数を有する差分フィルタが現在のブロックに提供される。スライス別又はマクロブロック別の差分フィルタのような更に高精度な適応も可能であるが、このフィルタも固定であるか又はフレーム別である。特定の一実施形態において、差分フィルタの少なくとも中央部分は、第１のフィルタ処理からのフィルタの非対称差分微分フィルタである。

第２のフィルタ処理の高精度な適応は、適応フィルタ利得を利用することにより得られる。利得は、ブロック別であるのが好ましいが、画素別であってもよい。第２のフィルタは、差分フィルタ及び適応フィルタ利得に基づいて計算される。フィルタは、第１の処理の基準画素値又は補間画素値に適用され、現在のブロックの最終予測を取得する。

別の例は、第１のフィルタ、差分フィルタから単一の複合フィルタを生成し、その単一のフィルタを適用して予測を取得することである。単一のフィルタは、第１のフィルタ及び差分フィルタを合計することにより又はフィルタの畳み込みを行ない且つその結果を第１のフィルタに加算することにより構成される。

残留誤差は、ブロック及びブロック予測の画素値の差分に基づいて計算される。ブロックの符号化表現は、変位表現と共にその残留誤差を含む。

ブロック復号化において、変位表現は、フィルタリングされた画素値を得るために画素値がフィルタ処理において処理される基準ブロックを識別するために使用される。復号化ブロック表現は、フィルタリングされた画素値及び残留誤差に基づいて取得される。

本発明は、更に符号器及び復号器に関する。

本発明は、添付の図面と共に以下の説明を参照することにより、本発明の更なる目的及び利点と共に最もよく理解されるだろう。

本発明に係るブロック符号化方法を示すフローチャートである。 フレームのビデオシーケンスを示す概略図である。 画像要素及び補間された副画素画像要素のブロックを示す図である。 ビデオシーケンスの１つのフレームを示す概略図である。 副画素解像度にイントラ符号化された画像要素のブロックを示す図である。 図１のフィルタ提供ステップ、差分フィルタ提供ステップ及びフィルタ利得判定ステップの一実施形態を更に詳細に示すフローチャートである。 図１の差分フィルタ提供ステップの一実施形態を更に詳細に示すフローチャートである。 本発明の一実施形態に係る微同調副画素補間を示す図である。 本発明に係るブロック復号化方法を示すフローチャートである。 本発明の一実施形態に係るブロック復号化方法のフィルタリングステップを示すフローチャートである。 本発明の別の実施形態に係るブロック復号化方法のフィルタリングステップを示すフローチャートである。 本発明のブロック符号器の一実施形態を示す概略ブロック図である。 本発明のブロック符号器の別の実施形態を示す概略ブロック図である。 図１３の差分フィルタ提供器を更に詳細に示す概略ブロック図である。 本発明のブロック復号器の一実施形態を示す概略ブロック図である。

図中、同一の図中符号は対応する要素又は類似する要素に対して使用される。

本発明は、一般に画像処理に関し、特に、画像又はビデオシーケンスのフレームの画素ブロックの符号化及び復号化に関連して有用な適応フィルタリング処理に関する。本発明の適応フィルタリング処理は、インター予測又はイントラ予測を改善し、インループ又はポストフィルタリングによる最終的な再構成を改善し且つ／又はレート歪み性能を改善するために、適応利得パラメータ及び差分フィルタを利用する。本発明の適応フィルタリングは、改善された１ステップ又は２ステップフィルタリング処理を形成するために、イントラ予測及びインター予測、あるいはインループ又はポストフィルタリングにおいて利用される従来の補間フィルタリング及び画素フィルタリングと関連して適用可能である。

更に本発明は、従来の適応補間フィルタの表現を基準補間フィルタ及び適応フィルタ利得を有する１つ以上の基本差分フィルタで示す。差分フィルタのいくつかの例は、基準補間フィルタを変位させることを主な目的とする差分フィルタ、補間フィルタを対称的に整形することを主な目的とする差分フィルタ及び補間フィルタを非対称的に整形することを主な目的とする差分フィルタである。補間フィルタの基本変更部分への分離は、補間フィルタの局所表現及び大域表現の双方に適する。

本発明において、ビデオシーケンスは、複数、すなわち少なくとも２つのフレーム又はピクチャを含む。そのようなフレームは、一連の１つ以上のスライスから構成されると考えられる。ここで、スライスは画像要素又は画素の１つ以上のマクロブロックから構成される。本発明において、表現「画像要素」は、ビデオシーケンスのフレーム又はピクチャの最小要素を示すために使用される。そのような画像要素は、色（赤色、緑色、青色、すなわちＲＧＢ空間）又は輝度（Ｙ）及び色差（Ｃｒ、Ｃｂ又はＵ、Ｖで示される場合もある）等の関連する画像要素プロパティを有する。画像要素の一般的な例は、フレーム又はピクチャの画素である。

画像要素は、画像要素のグループに編成される。表現「画像要素のグループ」は、復号化及び符号化中に共に処理される画像要素の集合へのフレーム及びフライスの任意の従来の周知の区分を示す。一般に、そのようなグループは、画像要素の矩形（Ｍ×Ｎ）グループ又は正方形（Ｍ×Ｍ）グループである。そのようなグループ化の一例は、ビデオ圧縮規格のマクロブロックである。一般にマクロブロックは、１６×１６の画像要素のサイズを有する。マクロブロックは、１６×８、８×１６、８×８、８×４、４×８及び４×４の画像要素等の複数のいわゆるサブマクロブロック区分から構成される。８×８のサブマクロブロック区分はサブマクロブロック又はサブブロックと示されることが多く、４×４の区分はブロックと示されることが多い。

図１は、本発明に係る画像又はビデオシーケンスのフレームの画像要素のグループを符号化する方法を示すフローチャートである。第１のステップＳ１は、画像要素の基準グループと関連付けられるか又は画像要素の基準グループを指し示すパラメータ表現又は変位表現を推定する。この画像要素の基準グループ又はより正確には基準プロパティ値は、現在のブロックの画像要素のプロパティ値の符号化において使用される。

パラメータ表現は、グループのインター符号化を実行する目的でビデオシーケンスの別のフレーム又は基準フレームの基準グループを参照できる。そのような変位表現は、例えばビデオシーケンスの直前のフレームi-1を現在のフレームiのグループに対する基準フレームとして使用して事前定義されていない限り、基準フレームの識別子を含む。更に表現は、画像要素の現在のグループがフレームにおいて占有する対応グループ位置に対する基準フレームの基準グループの位置を判定するいわゆる変位ベクトル又は動きベクトルを含む。一般に推定は、非特許文献１から４において説明されるような従来技術に従って行なわれるパラメータ推定を実行することを含む。簡単に説明すると、候補基準フレームの複数の候補基準グループは、候補基準グループのうち、符号化される現在のグループの画像要素プロパティ値とある意味で最も一致する画像要素プロパティ値を有する基準グループを判定するために調査される。このグループ探索において使用される誤差基準は、候補グループ及び現在のグループのプロパティ値の絶対値誤差和（ＳＡＤ）又は平方誤差和（ＳＳＤ）であってもよい。

あるいは、パラメータ表現は、イントラ符号化の場合に現在のグループと同一フレームの画像要素の基準グループを参照できる。イントラ符号化は、種々の予測方向と関連付けられる種々の予測モードに従って実行される。そのような場合、変位表現は、利用可能な予測モード又は方向の１つを規定する。推定は、非特許文献１及び５において開示されるような周知の技術に従って実行される。簡単に説明すると、レート歪み最適化技術は、画像要素の現在のグループのプロパティ値に基づいて、ある意味で最適なレート歪み性能を与えるイントラ予測を判定するために使用される。

次のステップＳ２は、識別された基準グループの画像要素の少なくとも一部分の適切な値に適用可能なフィルタ又はフィルタのセットを提供する。本発明の好適な一実施形態において、提供されたフィルタ又は提供されたセットのフィルタは、いわゆる補間フィルタである。そのような補間フィルタは、副画素プロパティ値又は非正数画素プロパティ値を取得するために画像要素に適用可能である。例えば１つ以上の補間フィルタは、１／２画素解像度、１／４画素解像度又は１／８画素解像度を取得するために基準グループのプロパティ値のセットに適用される。画素補間を利用することにより、イントラ予測又はインター予測において全画素値に制限される場合と比較して更に正確な基準プロパティ値が利用できる。従来技術において周知のように、第１の補間フィルタは、１／２画素解像度等の第１のレベルの副画素解像度を取得するために提供される。双線形フィルタ等の第２の補間フィルタは、１／４画素解像度等の第２のレベルの副画素解像度を取得するために、１／２画素の画素値及びその隣接する全画素値に適用される。

ステップＳ２で提供される補間フィルタは、Ｈ．２６４で利用される補間フィルタ等の固定フィルタであってもよい。Ｈ．２６４において、フィルタ係数[1 -5 20 20 -5 1]/32を有するフィルタは、まず１／２画素値を取得するために適用され、その後[1 -5 52 20 -5 1]/64又は[1 -5 20 52 -5 1]/64等の１／４画素解像度に対する双線形フィルタが適用される。あるいは、非特許文献２から４に開示されるように、適応補間フィルタが利用されてもよい。そのような場合、適応フィルタはフレーム毎又はスライス毎に判定される。提供ステップＳ２は、現在のブロックが属するフレームに対して先に判定された適応フィルタを再利用することを含む。あるいは、提供ステップＳ２は、適応フィルタのフィルタ係数を計算することを含む。これについては、本明細書において更に説明する。

適応フィルタの場合、フィルタ係数は、候補フィルタによりフィルタリングされたプロパティ値とフレーム又はスライスの元のプロパティ値との間の予測誤差を最小にすることを含むパラメータ化手順において判定される。ステップＳ２において、ＳＡＤ又はＳＳＤ等の最小誤差を結果として与える候補フィルタが選択されて使用される。

ステップＳ２で提供されるフィルタは、必ずしも補間フィルタである必要はなく、周波数応答の整形等、副画素解像度の取得以外の目的で利用可能である。

ステップＳ２で提供されるフィルタが分離不可能な（２次元）フィルタであること、すなわち垂直方向及び水平方向双方にフィルタリングすることが、本発明により考慮される。あるいは、ステップＳ２において分離可能な垂直フィルタ及び水平フィルタが提供される。これについては以下に更に説明する。

次のステップＳ３は、少なくとも１つの差分フィルタを提供する。従来技術において周知のように、差分フィルタのフィルタ係数の合計は、ゼロであるか又は少なくともほぼゼロである。差分フィルタは、インター／イントラ予測を更に改善するために又はより適切なレート歪み性能を取得するために、第２のフィルタ処理又は複合フィルタ処理において使用されてもよい。

第１の好適な実施形態において、提供された差分フィルタは非対称差分フィルタである。そのような非対称フィルタは、ステップＳ２で提供された補間フィルタのフィルタ係数の微調整を実行するために利用される。図８は、この概念を概略的に示す。図中、元のフィルタタップを実線４０で示す。非対称差分フィルタに基づく第２のフィルタ処理は、タップ位置を陰影線５０で示す位置に僅かに移動すると考えられる。そのような補間の微同調は、現在のブロックのプロパティ値の表現として使用される完全に一致する基準プロパティ値を取得する際に大きな影響を及ぼす。

第１のフィルタがフィルタタップ[1 -5 20 52 -5 1]/64を有する場合、Ｈ．２６４における１／４画素補間に使用されるフィルタに対応して、非対称差分フィルタのフィルタタップは[-1 5 -20 12 5 -1]/16となる。利得を変更することにより、例えば対応する単一フィルタのフィルタタップは、利得が０．２５である場合、すなわちフィルタリングが全く行なわれない場合の[0 0 0 1 0 0]と利得が−０．２５の場合のＨ．２６４の１／２画素フィルタとの間で変動する。

別の好適な実施形態において、提供される差分フィルタは対称差分フィルタである。そのような対称差分フィルタは、補間フィルタの周波数応答を整形するために整形フィルタ又は整形フィルタの構成要素として使用される。この補間の周波数応答の微同調は、現在のブロックのプロパティ値の表現として使用される完全に一致する基準プロパティ値を取得する際に大きな影響を及ぼす。この差分フィルタのフィルタタップは、整形フィルタがより平坦になるように又はより変動するように選択される。第１のフィルタがフィルタタップ[1 -5 20 20 -5 1]/32を有する場合、すなわちＨ．２６４の１／２画素補間フィルタである場合、対称差分フィルタのフィルタタップは[0 1 -1 -1 1 0]である。利得を変更することにより、対応する単一フィルタのフィルタタップは、例えば利得が０．２５の場合の[1 3 12 12 3 1]/32と利得が−０．２５の場合の[1 -13 28 28 -13 1]/32との間で変動する。

更なる一実施形態において、提供された差分フィルタは非対称差分フィルタである。そのような非対称差分フィルタは、補間フィルタの周波数応答を整形するために整形フィルタ又は整形フィルタの構成要素としても使用される。この補間の周波数応答の微同調は、現在のブロックのプロパティ値の表現として使用される完全に一致する基準プロパティ値を取得する際に大きな影響を及ぼす。差分フィルタのフィルタタップは、整形フィルタの一方側がより平坦になり且つ他方側がより変動するように又はその逆となるように選択される。第１のフィルタがフィルタタップ[1 -5 20 20 -5 1]/32を有する場合、すなわちＨ．２６４の１／２画素補間フィルタである場合、非対称差分フィルタのフィルタタップは[-1 1 0 0 -1 1]である。利得を変更することにより、対応する単一フィルタのフィルタタップは、例えば利得が−１／３２の場合の[2 -6 20 20 -4 0]/32と利得が１／３２の場合の[0 -4 20 20 -6 2]/32との間で変動する。この例において分かるように、フィルタの長さは６タップから５タップに変更可能である。

ステップS２で提供された（補間）フィルタは、一般に固定フィルタ（固定フィルタセット）であるか、あるいはフレーム毎又はスライス毎に適応される。更に差分フィルタは固定されるか、あるいはフレーム毎又はスライス毎に計算される。しかし、本発明は、差分フィルタがマクロブロックレベル又はブロックレベル等のより低いレベルで判定されることを更に考慮する。また、種々の差分フィルタは画像要素のグループの異なるフィルタリング位置に基づいて判定され、予測されるブロック内の画素部分に対応して適応性を取得する。しかし、好適な一実施形態において、第２のフィルタリング処理の適応性は、単独で使用されるか又は少なくとも多くの場合適応フィルタ利得と共に使用される。

次のステップＳ４は、ステップＳ３で提供された差分フィルタに適用可能なフィルタ利得又はステップＳ３からの差分フィルタに基づいて取得可能なフィルタを判定する。フィルタ利得は、差分フィルタ、符号化されるグループのプロパティ値、ステップＳ２で提供されたフィルタ及び基準プロパティ値に基づいて判定される。フィルタ利得gは、以下のように定義される予測誤差Eを最小にすることに基づいて判定又は推定される適応利得gであるのが好ましい：

式中、S_nは現在のフレームの画素グループnのプロパティ値を表し、P_n-iは基準フレームの基準グループn-iの画素の基準プロパティ値である。IFはステップＳ２で提供された（補間）フィルタであり、DFは差分フィルタであり、gはフィルタ利得である。尚、フィルタ利得gの判定後、適応フィルタのフィルタタップは算出され、フィルタリングは単一のフィルタリング処理により記述される。

利得は、以下の式に基づいて誤差を最小にすることにより取得される：

この結果、未知の利得数に対応する数の一次方程式が得られ、以下のように書くことができる：
Ax = b

式中、xは未知の利得に対応し、Aは対応する差分フィルタにより「事前にフィルタリングされた」基準画像要素値の自己相関行列に対応し、bは基準画像要素値と元の画像要素値（基準補間フィルタからの寄与の除去後）との間の相互相関ベクトルである。xを判定する標準的な解決策が使用される。

フィルタ利得は、補間されるフレームの特定のサブセットに対して判定されるのが好ましい。また、マクロブロック毎又はブロック毎にフィルタ利得を判定でき、画像要素位置又は局所画像値に基づいて種々の利得を有することができる。例えば、基本利得は画像要素のグループに対して判定される。位置別のオフセットは、グループの行又は列に沿って移動する際の利得に適用される。そのような場合、利得は以下のように定義される：
g(x) = xk_x + g_x
g(y) = yk_y + g_y
あるいは
g(x, y) = xk_x + yk_y + g

式中、k_x、k_yは定数であり、x、yはグループの画像要素位置を参照し、g_x、g_y、gはグループに対する基本利得値である。 簡単に上述したように、画像要素のグループにおいて水平方向及び垂直方向等の異なるフィルタ方向が存在する可能性がある。そのような場合、線Ｌ１により概略的に示されるように、少なくとも１つのフィルタ、少なくとも１つの差分フィルタ及び少なくとも１つのフィルタ利得が方向毎に提供及び判定される。

尚、本発明を使用して基準補間フィルタを以下のように表せる：
g₁ × [0 1 1 1 1 0] + g₂ × [1 0 0 0 0 1] + g₃ × [0 0 1 -1 0 0] + g₄ × [0 1 -1 -1 1 0]
g₁ = 7.5、g₂ = 1、g₃ = 0、g₄ = -12.5の場合、Ｈ．２６４の１／２画素補間フィルタ[1 -5 20 20 -5 1]が達成される。このように、複数の利得及び複数の差分フィルタが画像要素の現在のブロックに対して判定及び使用される。

次のステップＳ５は、現在のブロックのプロパティ値、基準プロパティ値、パラメータ表現、ステップＳ２で提供されたフィルタ、ステップＳ４で判定された利得及びステップＳ３からの差分フィルタ又はその差分フィルタから取得可能なフィルタに基づいて残留誤差を計算する。計算は、以下に定義されるように行なわれる：

式中、e_x,yは現在のグループの画像要素位置x,yにおける残留誤差であり、S_x,yは位置x,yにおける画像要素のプロパティ値であり、

は現在のブロックの予測の位置x,yにおける画像要素のプロパティ値である。この予測は、基準グループの画像要素プロパティ値のフィルタリングを介して取得される。

現在のグループは、変位表現の表現及び残留誤差の表現としてステップＳ６において符号化される。

再構成フレームが生成された後、最適なインループフィルタ又はポストフィルタは、オプションとして判定され且つ再構成フレームに適用される。この場合、最小二乗最適化は元のフレームと本発明によりフィルタリングされる再構成との間で実行される。判定されたパラメータは復号器に送信される。

更に、ステップＳ２からのフィルタの表現、ステップＳ３からの差分フィルタの表現及び／又はステップＳ４からのフィルタ利得の表現を提供できる。しかし、最も一般的な面において、それらの表現は現在の符号化ブロックを復号化する復号器により必要とされない場合がある。例えば、ステップＳ２からのフィルタが固定フィルタであるため、復号器はフィルタのフィルタ係数により事前に符号化される。あるいは、フィルタ係数は、同一フレーム又はスライスの複数のグループ間で再利用されるため、フレーム毎又はスライス毎に提供される。更に、復号器は先に復号化された画素値に基づいてフィルタ、差分フィルタ及びフィルタ利得の少なくともいずれかを計算できるため、専用情報の送信は必要ない。

例えば、第２のフィルタ処理の利得は差分フィルタの出力により制御可能である。これにより、第２のフィルタ処理は、利得の適応性を介して局所コントラストに対して適応可能になり、強い画像エッジに対する弱いフィルタリング及び弱いエッジに対する強いフィルタリングを可能にする。その後、方法は終了する。

図２は、複数の画像フレーム１０、２０を含むビデオシーケンス１を示す概略図である。各フレームは、１６×１６画素１６のマクロブロック１２等のマクロブロック１２を含む。マクロブロック１２は、４×４画素ブロック１４等のより小さな要素に分割される。図２は、インター符号化の場合の変位ベクトルの概念を更に示す。符号化される画素１６の現在のブロック１４は、動き補償予測手順において推定される割当て変位ベクトル３０を有する。ベクトル３０は、ビデオシーケンスの基準フレーム２０の画素の基準ブロック２４を指し示す。

図３は、基準フレームの基準ブロック２４の画素値及び基準フレームの隣接ブロックのいくつかの値を示す。図３は、全画素の画素値に基づいて１／２画素値及び１／４画素値の補間の概念を示す。図中、全画素値は大文字で示され、副画素値は小文字で示される。

示される図において、６タップ補間フィルタを仮定する。第１の実施形態において、そのようなフィルタはまず行毎に適用され、値b1、b2、b、b4〜b6を計算する。同一フィルタ又は別の補間フィルタが列毎に適用され、値d1、d2、h及びkを取得する。このフィルタは、b1、b2、b、b4〜b6により形成される列において使用され、jを計算する。それらの全ての値は、１／２画素値である。双線形フィルタは、既に計算された１／２画素位置及び既存の全画素位置において適用され、１／４画素値a、c、d、e、g、l、m、o、a4及びc4を得る。

あるいは、１／２画素２１及び１／４画素２３の値a、b及びcを計算するために、３つの別個の６タップ水平フィルタが使用され且つC1からC6に適用される。同一の水平フィルタは更に行に適用され、値a_i、b_i及びc_iを取得するのが好ましい。ここで、i = 1, 2, 4, 5, 6である。１２個の垂直補間フィルタは、列A3〜F3、a1〜a6、b1〜b6、c1〜c6において適用され（列毎に３つのフィルタ）、残りの１／２画素２５及び１／４画素２７の値を計算できる。画素値C3、a〜oにより形成されるブロックは、現在のブロックの補間予測を形成する。この補間予測は、本発明に従って差分フィルタ及び適応利得を利用して第２のフィルタ処理において更に処理される。

第１のフィルタ処理（補間）に後続する現在のブロックの予測は、いくつかの全画素値及び可能性として種々の分数レベルのいくつかの副画素値を含んでもよいことが図３から明らかである。

図４は、複数の画素ブロック１４、１８を有する画像フレーム１０の一部分を示す概略図である。イントラ予測において、基準グループは、同一フレーム１０の１つ以上の隣接ブロック１８の画素から構成される。画素値が取り出される隣接ブロック１８は、現在のブロック１４に割り当てられた変位表現に依存する。図５は、イントラ補間と共にその概念を示す。この場合、ブロック１４の画素１６の画素値の予測は、現在のブロックの斜め上に位置するブロックの補間値１１である。ベクトル４０は、イントラ予測において使用される予測方向を示す。そのような場合、以下の表Ｉに従って、利用可能なイントラ予測及び変位表現の種々のセットが存在してもよい。

表Ｉに一覧表示される数字は、水平軸に対するイントラ予測ベクトル４０の角度４５を示す。セット１〜４のイントラ予測方向の場合、画素補間が必要とされることがある。本発明の教示は、特にそれらのセットに適用可能であるが、本発明に従って更に処理又は整形される前にまずフィルタリングされる非補間画素値と関連して使用できる。

図６は、図１の提供及び判定ステップＳ２〜Ｓ４の一実施形態を示すフローチャートである。方法はステップＳ１０で開始し、ステップＳ１０において、少なくとも１つの水平適応補間フィルタ（ＡＩＦ）が現在のグループ及び基準グループの画像要素プロパティに基づいて判定される。水平ＡＩＦの係数h_i、0 ≦ i ＜ N-1は、以下のように定義される予測誤差Eの最小化により補間される副画素位置毎に解析的に計算されるのが好ましい：

式中、S_x,yは現在のフレームにおける位置x,yの画像要素のプロパティ値であり、

は基準フレームにおける位置

の画像要素の基準プロパティ値である。ここで、

であり、MV_xは変位ベクトルの水平成分である。FOは、２で除算された水平フィルタの長さNに等しい。上記式は、未知のフィルタ係数に対して微分され、予測誤差の最小値を見つける。その結果、フィルタ係数の数に等しい式のセットが解決される。この処理は、水平方向の副画素位置毎に別個に行なわれる。図３を参照すると、６つのタップ等のＮタップを含む３つの水平フィルタが取得されるのが好ましい。それらのフィルタは、水平副画素a、b及びcを計算するために使用される。これらの水平ＡＩＦは、現在のグループと同一の変位ベクトルを有する現在のフレームの画像要素の他のグループに対して再利用されるのが好ましい。あるいは、水平フィルタは各副画素位置に対して固定される。

次のステップＳ１１は、少なくとも１つの水平差分フィルタを提供する。好ましくは、ステップＳ１０で判定されたＡＩＦ毎にそのような水平フィルタが１つ提供される。好適な一実施形態において、差分フィルタは、ステップＳ１０で計算されたＡＩＦに基づいて判定される非対称差分フィルタである。非対称差分フィルタは、それぞれ水平ＡＩＦの一次微分フィルタであるのが好ましい。従って、ステップＳ１１において、合計がゼロである非対称フィルタ係数を有する微分フィルタが水平ＡＩＦ毎に判定される。ＡＩＦがフレーム毎に判定される場合、好ましくは変位ベクトル毎に適応される場合、非対称差分微分フィルタもフレーム毎に判定される。

次のステップＳ１２は、差分フィルタに適用可能な水平利得を判定する。第１の実施形態において、全ての水平差分フィルタに適用可能な単一の利得が判定される。あるいは、ＡＩＦ差分フィルタの対毎に別個の利得が判定される。利得は、水平フィルタが適用されるマクロブロックの画素に対する（マクログロック別の利得に対する）予測された画素値と元の画素値との間の予測誤差の最小化に基づいて判定されるのが好ましい。

しかし、更に利得は、固定基準補間フィルタ及び対応する利得を有する１つ以上の差分フィルタを使用して水平ＡＩＦフィルタ係数と水平ＡＩＦの符号化表現との差分を最小にするように判定される。これを行なう１つの方法は、ＡＩＦからの自己相関行列及び相互相関ベクトルの適切な部分を使用して本発明に従ってパラメータ化を行なうために自己相関行列A及び相互相関ベクトルbを構成することである。本発明のパラメータが求められた後、コーデックにおいて切り替え可能な本発明に係るＡＩＦ（ＡＩＦＭ）及び標準的なＡＩＦの双方を有することは明らかである。この意思決定の助けとして、レート歪み（ＲＤ）計測値が使用される。ＲＤ計測値は、特定の副画素位置の補間に対して展開された各フィルタを使用して元のフレームと予測フレームとの差分を考慮すべきである。複雑さの低いレート歪み判定は、Ax_j-bとバイアスＳＡＤ因数とx_jの表現に必要とされるビット数×λとの間の整合のＳＡＤに基づく。A及びbはＡＩＦの相関行列及びベクトルに設定され、x_jはＡＩＦ又はＡＩＦＭのフィルタタップに設定される。ＡＩＦのフィルタタップがA及びbを与えられた最適なタップであるため、バイアスＳＡＤ因数は、ＡＩＦＭが選択されるのを更に容易にするために使用される。しかし、フィルタタップが量子化されるため、その結果はＳＡＤに多少の影響を与える。最小のＲＤを与えるフィルタタップx_jに対する対応する符号化パラメータが選択される。フィルタパラメータを符号化するすためにビット数を考慮する時、ＡＩＦＭがＡＩＦのＳＡＤに十分に近い場合、ＡＩＦＭは選択されるべきである。バイナリフラグは、ＡＩＦ又はＡＩＦＭに係る符号化パラメータが使用されるかを示すために使用される。このように、量子化された各フィルタを使用して新しい予測を明示的に行なわずに適応フィルタの表現と符号化コストとの最適な妥協点を有する表現を選択できる。

上述のように、利得が判定された後、利得は量子化され、ビデオ又は画像ビットストリームのビットに符号化される。量子化ステップサイズは、展開される残留量子化パラメータ（ＱＰ）又はビットレートに依存し、潜在的により低いビットレートに対してステップサイズがより大きくなる。量子化利得を符号化する場合、同一の差分フィルタを使用して他の副画素位置の量子化利得からの予測を使用するのが有益である。このように、予測誤差のみが符号化される必要がある。この表現は、予測が１／４画素又は１／２画素等の同一種類の量子化フィルタタップ間で同一方向で使用されるように制限される従来技術と比較して予測に関してより融通性がある。更に、量子化利得の予測は、隣接領域の量子化利得から符号化される各領域に対して局所的に実行され、局所適応フィルタを展開する。殆ど使用されない利得の符号化を省略することは、本発明において提案される量子化利得の符号化において有益である。これは、利得を符号化するのに多くのコストがかかる場合に更に重要になる。この場合、利得はゼロにされ、符号化はバイナリフラグにより省略可能である。

この意思決定の助けとして、レート歪み（ＲＤ）計測値が使用される。ＲＤ計測値は、特定の副画素位置の補間に対して展開された各フィルタを使用して元のフレームと予測フレームとの差分を考慮すべきである。本発明は、特定の副画素位置に対するフィルタパラメータを符号化するＲＤコスト×λ＋元のフレームと予測フレームとの間の対応するＳＡＤ又はＳＳＤが標準的な予測に対するＳＡＤ又はＳＳＤより小さい場合、特定の各副画素フィルタに対するパラメータが使用されることを選択するように提案する。本発明において提案される複雑さの低いＲＤＰ（レート歪み確率）計測は、SAD(A_ix_i - b_i)、ＳＡＤ確率及びx_i×λを符号化するのに必要なビット数を使用することである。ここで、A_i及びb_iは副画素位置iに対する自己相関行列及び相互相関ベクトルであり、x_iは副画素位置iに対する符号化パラメータである。ＳＡＤ確率は、フィルタを使用するフレームの画素の割合に関係するべきである。このように、各副画素位置に対するフィルタパラメータは順序付けされ、最大のＲＤを有する副画素位置は除去される。

水平フィルタ及び（量子化）利得が判定されると、ステップＳ１３〜Ｓ１５において対応する垂直フィルタ及び利得が判定される。図３を参照すると、１２個の異なる垂直ＡＩＦのセットが判定されるのが好ましい。そのような場合、それらのフィルタは図中の副画素値d〜oを判定するために使用される。垂直補間フィルタのフィルタ係数h_j, 0 ≦ j ＜ M-1は、以下のように定義される予測誤差eを最小にすることにより推定される：

式中、

はフィルタ利得と乗算される差分微分フィルタ及び水平補間フィルタによるフィルタリングに後続する基準フィルタにおける位置

の画像要素のプロパティ値である。ここで、

であり、

であり、MV_yは変位ベクトルの垂直成分である。FOは、２で除算される前記水平フィルタの長さMと等しい。あるいは、垂直フィルタは各副画素位置に対して固定される。

次のステップＳ１４は、対応する垂直非対称差分微分フィルタ、好ましくは垂直ＡＩＦ毎にそのようなフィルタを１つ判定する。このステップは、ステップＳ１１と同様に実行される。最後にステップＳ１５において、垂直微分フィルタに適用可能な１つ以上の垂直フィルタ利得が判定される。

簡単に上述したように、追加のステップＳ１０〜Ｓ１５において、特定の副画素位置に対する固定水平／垂直フィルタがＡＩＦの代わりに使用される。この場合、図３の各副画素位置に対する適応補間フィルタは、対応するＨ．２６４補間フィルタ及び好ましくは２つ以上の差分フィルタにより表現される。適切な表現の潜在性を有する複雑さの低い展開は、周波数応答整形を範囲に含むために変位及び対称差分フィルタ[1 -1 -1 1]を範囲に含むように非対称差分フィルタ[1 -1]を使用することである。フィルタの非対称なすそ引きを可能にするために、後続する非対称差分フィルタ[1 -1 0 0 1 -1]が使用可能である。理解されるように、上記差分フィルタは、フィルタ利得を効率的に符号化できるように直交している。

従って、本発明は、この場合は補間方向毎に２ステップフィルタリング処理を提供する。水平方向及び垂直方向の第１のフィルタリングステップは、１／２又は１／４画素の画素解像度を取得するために水平及び垂直ＡＩＦ又はＩＦを使用する。各々の第２の処理において、利得を関連する微分フィルタのフィルタ係数に乗算することにより取得されるフィルタが適用され、予測を更に改善するために更に高精度な補間同調を達成する。図８にこの処理を簡単に示す。ＡＩＦ又はＩＦのフィルタ係数は、図中の実線４０で示される。それらのタップの周囲の局所的変動が示される。この局所的変動は、関連する非対称差分微分フィルタにより表現される。利得を調整することにより、正の利得値の場合には右側又は負の利得値の場合は左側に新しいフィルタリング位置及びフィルタ係数５０を取得する。利得の大きさは、フィルタリング位置が元の位置及び係数４０に対して移動された量を規定する。

従って、一方向のフィルタリング処理は、以下のように概略的に表される：
AIF + gAIF_x
式中、AIFは適応補間フィルタであり、gは利得であり、AIF_xは非対称差分微分フィルタである。尚、AIF_xのフィルタ長さは必ずしもAIFの長さと同一である必要はない。

微分フィルタは、フィルタ係数の位置決めに対処するだけでなく周波数応答を変更することを主な目的として非対称である。

固定フィルタタップを有する補間フィルタ（ＩＦ）は、上述の適応補間フィルタと同様の方法で適応される。

図７は、図１の差分フィルタ提供ステップの別の実施形態を示すフローチャートである。この場合、各々が１つ以上の差分フィルタ、好ましくは非対称差分フィルタを含む複数の利用可能なフィルタセットが存在する。これらのフィルタは、ブロック符号化中に選択される事前計算済みのフィルタバンクを形成する。特定の一実施形態において、各フィルタセットは特定の非正数画素補間に対して適応される。例えば、第１のフィルタセットが１／２画素解像度に補間された画素値に対して利用される一方、第２のフィルタセットは１／４画素解像度に対して適応される。従って、ステップＳ２０は、数Ｑに基づいてフィルタセットを選択することを含む。Ｑは、１より大きい正の整数であり、１／Ｑ画素解像度の形式で副画素解像度を表す。換言すると、１／２画素解像度の場合はＱ＝２であり、１／４画素解像度の場合はＱ＝４である。

次のステップＳ２１は、現在のブロック又はブロックの現在の画素に対して使用する特定の差分フィルタをフィルタセットから選択する。このステップＳ２１は、全ての利用可能なフィルタ及び差分フィルタに適用可能な全ての利用可能なフィルタ利得をテストすることにより全数探索を介して実行される。そのような方法は、フィルタ／利得数が適度な数に維持される場合に達成可能である。適度な数に維持されない場合、より高度な探索アルゴリズムが使用される。高度な探索アルゴリズムの一例は、上記の提案のようにＲＤ計測値を使用してフィルタ及びフィルタ利得を判定することである。

方法は、図１のステップＳ４に継続する。しかし、全数探索を実行する場合、差分フィルタ及び利得は単一の処理において提供され、ステップＳ４は省略可能である。

本実施形態は、フィルタセット毎の候補差分フィルタ及び利得の数が制限される場合に計算上の複雑さが軽減されるという潜在性を有する。

本発明の差分フィルタ及び適応利得の別の利用方法は、整形フィルタを形成することである。そのような場合、差分フィルタは、周波数応答に影響を及ぼすことを主な目的とする対称差分フィルタであるのが好ましい。整形フィルタは、追加の利得を有する非対称差分フィルタと並行して又は（補間）フィルタと差分フィルタとの畳み込みにより計算される。フィルタ利得は、結果として得られた整形フィルタに適用可能である。

ｇＦ × ＤＦ
式中、gは利得であり、Fは図１のステップＳ２で提供された（補間）フィルタであり、DFは対称差分フィルタであり、×は畳み込みを表す。上述したように、補間フィルタを整形するための対象差分フィルタに加えて、非対称差分フィルタが補間フィルタの両端でフィルタタップの非対称整形を行なうために使用される。

本発明の差分フィルタ及び適応フィルタ利得の別の目的は、フィルタの長さを変更し、復号器における適応補間フィルタリングの複雑さの調整を可能にすることである。

本発明の重要な概念は、差分フィルタ又は上述のように畳み込み等により差分フィルタに基づいて取得可能なフィルタに直接適用可能な適応利得と共に、対称又は非対称差分フィルタ、あるいは実際には対称及び非対称差分フィルタ又は複数のそのような差分フィルタの組合せを追加することである。例えばインター又はイントラ予測誤差、再構成誤差、あるいはレート歪みコストを最小にするために、利得を変更することにより種々の補間フィルタが生成される。本発明の更なる利点は、第１のフィルタ処理の変位、回転及び倍率変更の微同調を達成するために使用されることである。この同調は、非対称差分フィルタを利用して行なわれるのが好ましい。

利得の適応性は、フレームレベル、スライスレベル、マクロブロックレベル、ブロックレベル又は画素レベルの任意のサブセットで設定され、より適切なフィルタリング性能を達成する。これは、基本的に複雑さ対性能の問題である。

図９は、符号化ビデオシーケンスのフレームの画像要素のグループの復号化を示すフローチャートである。方法は、オプションのステップＳ３０で開始し、ステップＳ３０において、現在のグループと関連付けられる基準フレームが識別される。グループがイントラ符号化される場合、基準フレームはビデオシーケンスの現在のフレームである。しかし、インター符号化されたグループの場合、例えばフレームは既に復号化された先行フレームであってもよい。そのような場合、この基準フレームは、直前のフレーム等、現在のフレームに対するビデオシーケンスにおける事前定義済み時間的位置を有することができる。あるいは、フレーム識別子は、所望の基準フレームを識別するために現在のフレーム、現在のスライス又は現在の画素グループと関連付けられる。

次のステップＳ３１は、現在のグループの未処理の予測として利用される基準フレームの画像要素の基準グループを識別する。このグループ又はブロックの識別は、画像要素のグループと関連付けられ且つ符号化フレームに存在するパラメータ表現に基づいて実行される。表現は、基準フレームの画像要素の基準グループを指し示す変位又は動きベクトルであってもよい。あるいは、パラメータ表現は、現在のブロックの未処理の予測として使用するフレームの隣接画像要素を識別するために特定の復号化方向と関連付けられる特定のイントラモードを指定できる。

次のステップＳ３２は、副画素プロパティ値を取得するために補間フィルタであるのが好ましい少なくとも１つのフィルタを提供する。あるいは、フィルタは基準グループの画素の（粗）回転又は倍率変更を表すために利用される。

少なくとも１つの水平フィルタ及び少なくとも１つの垂直フィルタ等の少なくとも１つのフィルタは、例えばＨ．２６４補間フィルタを利用して事前定義される。あるいは、復号器はフレームの画像要素の先に復号化されたグループのフィルタを再利用するように構成される。これは、２つのグループ間のＤＣレベルの差分、グループの残留誤差の差分等の種々の基準に基づいて隣接する復号化グループに対して使用されるフィルタのフィルタ係数を変更することにより更に拡張可能である。また、グループが現在のグループに対して使用されるフィルタを取得するために隣接グループのフィルタに適用されるフィルタ変更表現と関連付けられる可能性がある。当然、この概念は、フィルタ係数の表現をステップＳ３２において使用される少なくとも１つのフィルタに実際に含むことにより更に拡張可能である。

このステップＳ３２は、少なくとも１つの差分フィルタと差分フィルタ又は差分フィルタから取得可能なフィルタに適用可能な少なくとも１つのフィルタ利得とを更に提供する。フィルタ及び復号器のフィルタへのアクセス方法に関する上述の説明は、差分フィルタ及び利得に準用される。従って、差分フィルタ及び利得は、復号器により計算され、隣接グループから再利用され、変更されて再利用されるか又は符号化グループ表現から完全に検索される。特に、差分フィルタは提供されたフィルタから計算される。

ステップＳ３１で識別された基準グループの基準プロパティ値は、ステップＳ３３において１ステップ又は２ステップフィルタ処理でフィルタリングされ、フィルタプロパティ値を取得する。後者の場合、基準プロパティ値はまずステップＳ３２からの（補間）フィルタを使用してフィルタリングされ、フィルタ利得及び差分フィルタに基づいて取得可能なフィルタにより第２のフィルタ処理においてフィルタリングされ、画像要素の復号化グループを取得する。第１の実施形態において、この第２のフィルタ処理は、差分フィルタのフィルタ係数に乗算されるフィルタ利得により規定されるフィルタによりプロパティ値をフィルタリングすることを含む。差分フィルタは、非対称的であるのが好ましく、ステップＳ３２からのフィルタの微分フィルタであるのが好ましい。あるいは、第２のフィルタ処理は、ステップＳ３２からのフィルタ及び差分フィルタの畳み込みにより形成されるフィルタに乗算されるフィルタ利得により規定される整形フィルタによりプロパティ値をフィルタリングすることを含むことができる。この後者の実施形態において、差分フィルタは対称的であるのが好ましい。あるいは、第２のフィルタ処理は、変位及び整形フィルタの双方によりプロパティ値をフィルタリングすることを含む。

単一のフィルタ処理の場合、複合フィルタはステップＳ３２で提供されたフィルタ及び利得に基づいて計算され、基準グループの基準プロパティ値に適用される複合フィルタを形成する。

フィルタリングステップＳ３３は、必ずしもステップＳ３２からのフィルタリングされた画素のみを含む必要はなく、部分的に復号化されたフレームの隣接画素の一部を実際に含むことができることが本発明により予想される。このように、ブロック境界にわたる共同フィルタリングが達成される。

ステップＳ３１〜Ｓ３３により規定されるループは、所定のブロック／グループに対して複数回実行されるのが好ましい。これは線Ｌ２により概略的に示される。例えば、まず水平フィルタリングがステップＳ３２において基準ブロックに対して実行され、いくつかの補間された画素値等のフィルタリングされた画素値を取得する。それらのフィルタリングされた値は、ステップＳ３３において少なくとも１つの水平差分フィルタ及び利得を使用して第２のフィルタリングセットにおいて処理され、完全にフィルタリングされた画素値を形成する。その後、垂直フィルタリング処理は、好ましくは異なるフィルタ及び利得を使用してステップＳ３２〜Ｓ３３を再度実行することにより、ブロックの完全にフィルタリングされた残りの画素値を取得するために実行される。

更に、基準ブロックとして使用される画素のブロックは、特にイントラ復号化のために復号化されるブロックの種々の画素とは異なる。従って、第１の隣接ブロックは、一部の画素に対する２ステップフィルタリング処理において基準ブロックとして利用され、他の画素値は、１つ以上の基準隣接ブロックを要する別個の２ステップ処理において取得される。

現在のブロックの予測が２ステップフィルタリングから取得されると、残留誤差は、フィルタリングされた画素値に加算され、復号化ブロックの最終的な表現を取得する。その後、方法は終了する。

図１０は、図９のフィルタリングステップＳ３３の一実施形態を示すフローチャートである。次のステップＳ４０は、図９のステップＳ３２において提供された補間フィルタにより基準プロパティ値をフィルタリングすることにより非正数画素プロパティ値を補間する。次のステップＳ４１は、図９のステップＳ３２からのフィルタ利得と乗算される差分フィルタにより非正数画素プロパティ値をフィルタリングし、補間値の微同調を得る。その後、方法は終了する。

図１１は、図９のフィルタリングステップＳ３３の別の実施形態を示すフローチャートである。ステップＳ５０において、複合フィルタは、図９のステップＳ３２からの（補間）フィルタ、差分フィルタ及び利得に基づいて計算される。この複合フィルタは、差分フィルタ及び（補間）フィルタの畳み込みにより取得されるのが好ましく、その後、結果として得られたフィルタに適応利得を乗算する。基準プロパティ値は、ステップＳ５１においてこの複合整形フィルタによりフィルタリングされ、差分フィルタ及びフィルタ利得を使用することによる周波数応答整形を有する復号化画像要素を取得する。

特定の一実施形態において、単一のフィルタは別のフィルタと共に本発明の利得、差分フィルタを使用して計算される。そのような場合、単一のフィルタは、整数値、対応するシフト値及び丸め因数を有することができる。例えば、最適化されたフィルタは、[1 -5 20 20 -5 1]/32（Ｈ．２６４に係る補間フィルタ）＋g₁×[1 -1]（副画素変位に対する差分フィルタ）＋g₂×[1 -1 -1 1]（周波数応答整形に対する差分フィルタ）から構成される。ここで、g₁及びg₂は２つのフィルタ利得である。これらのフィルタ利得は、副画素位置毎に量子化され且つ復号器に送信される。

例えばg₁ = 0.25且つg₂ = -0.25の場合、最適化フィルタは[1 -13 36 20 -13 1]/32である。複合フィルタは分数値を有するが、対応する整数フィルタとして以下のように書くことができる：
([1 -13 36 20 -13 1] + 丸め因数) ＞＞ シフト因数
式中、丸め因数は１６であり、シフト因数は６であり、例えば１／２⁶である。

図１２は、ビデオシーケンスのフレームの画像要素のグループを符号化するブロック符号器を示す概略ブロック図である。現在のグループsは、同一フレーム又は先行フレームの既に提供されたグループs’から推定器１１０により変位表現推定を実行することにより予測される。推定の結果は、インター予測の場合、基準グループs’と関連付けられる変位ベクトルdである。変位ベクトルdは、グループのインター予測

を出力する本発明に係る動き補償予測器１２０により利用される。

あるいは、イントラ予測器１６０のモード選択器はイントラ予測方向を方向表現として選択する。予測器１６０は、グループのイントラ予測

を更に算出する。

インター予測又はイントラ予測

は、誤差計算器１３０に転送され、誤差計算器１３０は、グループsとその予測

との間の画像要素値の差分として残留誤差eを計算する。誤差eは、離散コサイン変換１３２等により変換され、また量子化１３４が行なわれ、その後エントロピー符号化等の符号化１４０Ａが行なわれる。インター符号化において、推定された変位ベクトルdは現在のグループsの符号化表現を生成するために符号器１４０Ｂに渡される。

イントラ符号化の場合、イントラ予測器１６０は現在のグループsの予測

を誤差計算器１３０に出力する。

達成される再構成は、オプションとして、適応インループ又はポストフィルタにより更に改善される。この場合、再構成されたフレームの本発明に係る元のフレームとフィルタリングされたフレームとの差分は、最小二乗の点で最小化される。最適なパラメータは、フレーム毎に符号化され且つ復号器に送信される。上述と同様のＲＤ計測値は、フィルタパラメータの選択に使用される。更なるフィルタリングが使用されるかを選択するために、標準的なＲＤ決定が量子化フィルタによる再構成のフィルタリングを含んで行なわれる。この場合、元の再構成とフィルタリングされた再構成との間のＳＡＤ又はＳＳＤは、λと乗算されたフィルタを規定するのに必要とされるビット数との間の妥協点が見つけられる。フラグは、ＲＤ決定に基づいてこのフィルタリングをＯＮ／ＯＦＦするために使用される。

符号器１４０Ｂは、イントラ予測器１６０又は補償予測器１２０により利用される差分フィルタ及び利得パラメータの表現を更に受信してもよい。そのような場合、それらの表現は符号化され、符号化残留誤差及び符号化変位表現と共に符号化グループの一部を形成する。

現在のグループsに対する変換及び量子化された残留誤差eは、逆量子化器１３６及び逆変換器１３８に更に提供され、元の残留誤差を取り出す。この誤差は、変位補償予測器１２０又はイントラ予測器１６０から出力されたグループ予測

に加算され、画像要素の次のグループの予測及び符号化において使用される基準グループs’’を作成する。この新しい基準グループs’’は、イントラ予測器１６０、パラメータ推定器１１０及び変位補償予測器１２０が利用可能になる前にまずオプションとして非ブロック化フィルタ１５０により処理される。

図１３は、ブロック符号器１００の別の実施形態を示す概略ブロック図である。符号器１００は、符号化されるグループのプロパティ値に基づいて、ビデオシーケンスの基準フレームの現在のフレームの画像要素の基準グループと関連付けられ且つその識別を可能にするパラメータ表現を推定するように構成されるパラメータ推定器１１０を含むのが好ましい。パラメータ表現は、基準フレームのオプションの識別子及び基準フレームの基準グループを指し示す変位ベクトルを含むのが好ましい。

このパラメータ推定機能は、イントラ符号化の目的で、イントラ予測器１６０に提供されるイントラモード選択器１６５により実現可能である。選択器１６５は、最小の予測誤差を与えるモードを見つけるために種々の利用可能なイントラモードを調査することにより変位方向探索を実行する。選択器１６５は、予測の基本として使用する特定の予測方向及び画像要素の特定の基準グループを指定することによりパラメータ表現として機能するモード識別子を提供する。

フィルタ提供器１２２、１６２は、イントラ符号化の目的で変位補償予測器１２０に提供されるか又はイントラ予測器１６０に提供される。いずれの場合も、フィルタ提供器１２２、１６２は、推定器１１０又はモード選択器１６５からの変位表現に基づいて第１のフィルタ処理において画像要素の基準グループのプロパティ値に適用可能な少なくとも１つのフィルタを提供する。その結果はフィルタリングされ、好ましくは補間プロパティ値が得られる。フィルタ提供器１２２、１６２は、固定フィルタを利用できるか又は事前定義済みフィルタのセットから選択できるか、あるいは適応（補間）フィルタを計算できる。前者の場合、フィルタ係数は、連想フィルタメモリ１５０から取り出される。後の２つの場合、選択又は計算は、符号化される元のプロパティ値とフィルタリングされたプロパティ値との間の予測誤差を最小にする目的で行なわれる。（補間）フィルタは、フレーム及び変位毎に判定されるフレーム別フィルタであるのが好ましく、現在のフレームの種々のグループ間で再利用される。

差分フィルタ提供器１２４、１６４は、補償予測器１２０及びイントラ予測器１６０にそれぞれ提供される。このフィルタ提供器１２４、１６４は、現在のブロックに対する対称及び／又は非対称差分フィルタ等の少なくとも１つの差分フィルタを提供する。フィルタの提供は、固定フィルタを利用するか、又は事前定義済みフィルタから選択するか、あるいは適応差分フィルタを計算することにより実現される。

利得判定器１２６、１６６は、差分フィルタ、グループのプロパティ値、（補間）フィルタ及び基準グループのプロパティ値に基づいて、差分フィルタに適用可能な適応利得を判定するために２つの予測器１２０、１６０にそれぞれ提供される。判定は、上述したように誤差最小化処理において行われるのが好ましい。

上記説明において、（補間）フィルタ、差分フィルタ及び利得は、別個の最適化手順において判定又は選択される。しかし、実際には単一の処理においてフィルタ及び利得の組合せ最適化が実行可能である。

誤差計算器１３０は、現在のグループのプロパティ値、基準グループの基準プロパティ値、並びに判定された（補間）フィルタ、差分フィルタ及び利得に基づいて残留誤差を計算するように構成される。この残留は、本発明の２ステップフィルタ処理において基準グループを処理することにより取得されるプロパティ値を有する現在のグループを表現する際の誤差を表す。

符号器１４０は、推定器１１０又はモード選択器１６５により判定される変位の符号化表現及び計算器１３０からの残留誤差を生成するためにブロック符号器１００に設けられる。符号器１４０は、フィルタ提供器１２２、１６２及び／又は差分フィルタ提供器１２４、１６４からのフィルタの符号化表現、並びに／あるいは利得判定器１２６、１６６からの利得を更に生成してもよい。

オプションの各フィルタ計算器１２８、１６８は、差分フィルタ提供器１２４、１６４からの差分フィルタ及びオプションとしてフィルタ提供器１２２、１２６からのフィルタに基づいてフィルタを計算するために含まれてもよい。

図中、ブロック符号器１００は、イントラ符号化及びインター符号化の双方を実行できるように示されている。別の実施形態において、イントラ符号化に必要なユニット（イントラ予測器１６０、誤差計算器１３０及び符号器１４０）又はインター符号化に必要なユニット（パラメータ推定器１１０、変位補償予測器１２０、誤差計算器１３０及び符号器１４０）のみがブロック符号器１００に実現されてもよい。

上述したように、本発明のフィルタリング処理は、まず水平方向等の第１の方向に実行され、次に垂直方向等の別の方向に実行される。そのような場合、フィルタ提供器１２２、１２４、１６２、１６４及び利得判定器１２６、１６６は、水平フィルタ及び利得、並びに垂直フィルタ及び利得をそれぞれ判定するのが好ましい。

ブロック符号器１００のユニットは、ハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェアの組合せとして提供されてもよい。

図１４は、図１３の差分フィルタ提供器１２４の特定の実現例を示すブロック図である。本実施形態において、フィルタ提供器１２４は、例えば図１３のフィルタメモリにおいて、各々が少なくとも１つの差分フィルタを含む複数のフィルタセットにアクセスできる。セット選択器１２５は、好ましくはフィルタ処理の第１のステップで実行される補間フィルタリングにより取得可能な非正数画素解像度レベルに基づいて選択する。フィルタ選択器１２７は、フィルタが２つ以上ある場合に、選択されたセットから差分フィルタを選択して現在のグループに対する差分フィルタとして使用する。選択は、予測誤差を最小にすることにより実行されるのが好ましい。

対応する差分フィルタ提供の一実施形態は、図１１のイントラ予測器１６０のフィルタ提供器１６４に対して更に使用される。

フィルタ提供器１２４のユニットは、ハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェアの組合せで提供されてもよい。

図１５は、ビデオシーケンスのフレームの画像要素のグループを復号化する本発明に係る復号器２００を示す概略ブロック図である。復号器２００は、現在のグループの復号化の基本として使用される基準グループを含む基準フレームを識別するフレーム識別器２１０をオプションとして含む。グループ又はブロック識別器２２０は、グループの符号化表現の一部を構成するパラメータ表現に基づいて基準フレームの基準グループを識別するように構成される。フィルタ適用器２３０は、第１のフィルタ処理において少なくとも１つのフィルタを利用して識別されたグループの基準プロパティ値をフィルタリングし、フィルタリングされたプロパティ値を形成するために提供されるのが好ましい。使用するフィルタは、固定されるか又はフレーム／スライス別であってもよく、従って接続メモリ２５０から取り出される。あるいは、フィルタ適用器２３０は、符号化されたグループ表現及び／又はプロパティ値の情報、あるいは先に復号化された隣接グループに関連する情報に基づいてフィルタ係数を計算できる。

フィルタ提供器２４０は、フィルタ処理の第２のステップにおいて使用される少なくとも１つの差分フィルタ及び少なくとも１つのフィルタ利得を提供するように構成される。差分フィルタは、固定されるか又はフレーム／スライス／マクロブロック別であってもよく、従って、メモリ２５０から又は符号化フレームシーケンスの関連情報ヘッダレベルから取り出される。あるいは、フィルタ提供器２４０は、符号化グループの符号化情報を使用してフィルタパラメータ及び／又は利得を判定する。隣接グループのフィルタパラメータ及び利得値等の追加の情報がこの判定において必要とされる可能性がある。差分フィルタは、第１のフィルタ適用器２３０により使用される（補間）フィルタのパラメータに基づいて計算されてもよい。

フィルタ適用器２３０は、少なくとも既にフィルタリングされたプロパティ値の一部に対して使用され且つオプションとしてフレームの隣接グループの復号化プロパティ値に対して部分的に使用される少なくとも１つのフィルタを規定するために、利得及び差分フィルタ、並びに可能性として第１のフィルタ処理からのフィルタを使用する。残留誤差の追加後の結果は、画像要素グループの復号化表現である。

別の方法において、まずフィルタ提供器２４０は、（補間）フィルタ、差分フィルタ及びフィルタ利得に基づいて複合フィルタを計算する。この複合フィルタは、フィルタ適用器２３０により基準プロパティ値に適用され、残留誤差の追加後に復号化グループ表現を取得する。

復号器２００のユニットは、ハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェアの組合せとして提供されてもよい。

添付の請求の範囲により規定される本発明の範囲から逸脱せずに、本発明に対して種々の変形及び変更が行なわれてもよいことが当業者には理解されるだろう。

Claims (37)

1. 画像又はビデオシーケンスのフレームの画像要素のグループを符号化する方法であって、
   ａ）前記画像要素のグループのプロパティ値に基づいて、フレームの画像要素の基準グループと関連付けられるパラメータ表現を推定するステップと、
   ｂ）前記画像要素の基準グループの基準プロパティ値に適用可能なフィルタを提供するステップと、
   ｃ）差分フィルタを提供するステップと、
   ｄ）前記差分フィルタ、前記フィルタ、前記プロパティ値及び前記基準プロパティ値に基づいて、前記差分フィルタに基づいて取得可能なフィルタに適用可能なフィルタ利得を判定するステップと、
   ｅ）前記プロパティ値、前記パラメータ表現、前記フィルタ、前記差分フィルタに基づいて取得可能な前記フィルタ及び前記利得に基づいて残留誤差を計算するステップと、
   ｆ）前記パラメータ表現の表現及び前記残留誤差の表現を前記画像要素のグループの符号化表現として提供するステップとを備えることを特徴とする方法。
2. 前記提供ステップｂ）は、補間された非正数画素プロパティ値を取得するために、前記パラメータ表現に基づいて前記画像要素の基準グループの基準プロパティ値に適用可能な補間フィルタを提供するステップを含むことを特徴とする請求項１記載の方法。
3. 前記提供ステップｂ）は、Ｑが１より大きい正の整数である場合に補間された１／Ｑ画素プロパティ値を取得するために、前記パラメータ表現に基づいて前記画像要素の基準グループの基準プロパティ値に適用可能な前記補間フィルタを提供するステップを含み、
   前記提供ステップｃ）は、
   −前記数Ｑに基づいて複数のフィルタセットから１つのフィルタセットを選択するステップと、
   −前記選択したフィルタセットから前記差分フィルタを提供するステップと
   を含むことを特徴とする請求項２記載の方法。
4. 前記提供ステップｆ）は、前記パラメータ表現の前記表現、前記残留誤差の前記表現、前記フィルタの表現、前記差分フィルタの表現及び前記フィルタ利得の表現を前記画像要素のグループの前記符号化表現として提供するステップを含むことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記画像要素の基準グループは、前記画像要素のグループの前記フレームとは異なる前記ビデオシーケンスの基準フレームにおいて提供されることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 前記提供ステップｂ）は、前記パラメータ表現に基づいて前記フレームの画像要素の複数のグループに適用可能なフレーム別適応フィルタを提供するステップを含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記提供ステップｃ）は、非対称差分フィルタを提供するステップを含むことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 前記提供ステップｃ）は、前記フィルタに基づいて前記差分フィルタを提供するステップを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 前記提供ステップｃ）は、前記フィルタに基づいて非対称微分フィルタを提供するステップを含む請求項８記載の方法。
10. 前記判定ステップｄ）は、S_nが前記フレームのグループnの画像要素のプロパティ値を表し、
    P_n-iが前記フレームの基準グループn-iの画像要素の基準プロパティ値であり、IFが前記フィルタであり、DFが前記差分フィルタであり、gが前記フィルタ利得である場合に、
    

    

    として定義される予測誤差Eの最小化により前記利得gを判定するステップを含むことを特徴とする請求項１乃至９のいずれか１項に記載の方法。
11. 前記フィルタと前記差分フィルタとの畳み込みにより整形フィルタを計算するステップを更に備え、
    前記判定ステップｄ）は、前記整形フィルタ、前記画像要素のグループの前記プロパティ値及び前記基準プロパティ値に基づいて前記整形フィルタに適用可能なフィルタ利得を判定するステップを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
12. 前記提供ステップｃ）は、対称差分フィルタを提供するステップを含むことを特徴とする請求項１１記載の方法。
13. −前記フィルタ、前記差分フィルタ及び前記フィルタ利得に基づいて複合フィルタを判定するステップと、
    −フィルタリングされた基準プロパティ値を取得するために前記複合フィルタにより前記基準プロパティ値をフィルタリングするステップと
    を更に備え、
    前記計算ステップｅ）は、前記プロパティ値及び前記フィルタリングされた基準値に基づいて前記残留誤差を計算するステップを含む
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
14. 符号化画像又はビデオシーケンスのフレームの画像要素のグループを復号化する方法であって、
    −前記画像要素のグループと関連付けられるパラメータ表現に基づいてフレームの画像要素の基準グループを識別するステップと、
    −前記画像要素のグループと関連付けられるフィルタを提供するステップと、
    −前記画像要素のグループと関連付けられるフィルタ利得及び差分フィルタを提供するステップと、
    −画像要素の復号化グループを取得するために、前記フィルタと前記フィルタ利得及び前記差分フィルタに基づいて取得可能なフィルタとにより前記画像要素の基準グループの基準プロパティ値をフィルタリングするステップとを備えることを特徴とする方法。
15. 前記画像要素のグループと関連付けられる補間フィルタにより前記基準プロパティ値をフィルタリングすることにより非正数画素プロパティ値を補間するステップを更に備え、
    前記フィルタリングステップは、前記フィルタ利得及び前記差分フィルタに基づいて取得可能な前記フィルタにより前記非正数画素プロパティ値をフィルタリングするステップを含む請求項１４記載の方法。
16. 前記差分フィルタは非対称差分フィルタであり、前記フィルタリングステップは、前記フィルタ利得により乗算される前記非対称差分フィルタにより前記非正数画素プロパティ値をフィルタリングすることにより非正数画素補間のパラメータを微同調するステップを含むことを特徴とする請求項１５記載の方法。
17. 前記差分フィルタは対称差分フィルタであり、
    前記フィルタリングステップは、
    −前記対称差分フィルタと前記フィルタとの畳み込みにより整形フィルタを計算するステップと、
    −前記フィルタ利得により乗算される前記整形フィルタにより前記基準プロパティ値をフィルタリングするステップと
    を含むことを特徴とする請求項１４記載の方法。
18. 前記フィルタリングステップは、前記フィルタ利得により乗算される前記整形フィルタにより、前記フレームの画像要素の隣接グループのプロパティ値と前記基準プロパティ値とを共同フィルタリングするステップを含むことを特徴とする請求項１７記載の方法。
19. 前記フィルタリングステップは、
    −前記フィルタ、前記差分フィルタ及び前記フィルタ利得に基づいて複合フィルタを判定するステップと、
    −前記画像要素の復号化グループを取得するために前記複合フィルタにより前記基準プロパティ値をフィルタリングするステップと
    を含むことを特徴とする請求項１４乃至１８のいずれか１項に記載の方法。
20. 画像又はビデオシーケンスのフレームの画像要素のグループを符号化する符号器であって、
    −前記画像要素のグループのプロパティ値に基づいて、フレームの画像要素の基準グループと関連付けられるパラメータ表現を推定するパラメータ表現推定器と、
    −前記画像要素の基準グループの基準プロパティ値に適用可能なフィルタを提供するフィルタ提供器と、
    −差分フィルタを提供する差分フィルタ提供器と、
    −前記差分フィルタ、前記フィルタ、前記画像要素のグループの前記プロパティ値及び前記基準プロパティ値に基づいて、前記差分フィルタに基づいて取得可能なフィルタに適用可能なフィルタ利得を判定する利得判定器と、
    −前記プロパティ値、前記パラメータ表現、前記フィルタ、前記差分フィルタに基づいて取得可能な前記フィルタ及び前記利得に基づいて残留誤差を計算する誤差計算器と、
    −前記パラメータ表現の表現及び前記残留誤差の表現を前記画像要素のグループの符号化表現として提供するグループ符号器と
    を備えることを特徴とする符号器。
21. 前記フィルタ提供器は、補間された非正数画素プロパティ値を取得するために、前記パラメータ表現に基づいて前記画像要素の基準グループの基準プロパティ値に適用可能な補間フィルタを提供するように構成されていることを特徴とする請求項２０記載の符号器。
22. 前記フィルタ提供器は、Ｑが１より大きい正の整数である場合に補間された１／Ｑ画素プロパティ値を取得するために、前記パラメータ表現に基づいて前記画像要素の基準グループの基準プロパティ値に適用可能な前記補間フィルタを提供するように構成され、
    前記差分フィルタ提供器は、
    −前記数Ｑに基づいて複数のフィルタセットから１つのフィルタセットを選択するセット選択器と、
    −前記選択したフィルタセットから前記差分フィルタを提供するフィルタ選択器とを含むことを特徴とする請求項２１記載の符号器。
23. 前記グループ符号器は、前記パラメータ表現の前記表現、前記残留誤差の前記表現、前記フィルタの表現、前記差分フィルタの表現及び前記フィルタ利得の表現を前記画像要素のグループの符号化表現として提供するように構成されていることを特徴とする請求項２０乃至２２のいずれか１項に記載の符号器。
24. 前記差分フィルタ提供器は、非対称差分フィルタを提供するように構成されていることを特徴とする請求項２０乃至２３のいずれか１項に記載の符号器。
25. 前記差分フィルタ提供器は、前記フィルタに基づいて前記差分フィルタを提供するように構成されていることを特徴とする請求項２０乃至２４のいずれか１項に記載の符号器。
26. 前記差分フィルタ提供器は、前記フィルタに基づいて非対称微分フィルタを提供するように構成されていることを特徴とする請求項２５記載の符号器。
27. 前記フィルタと前記差分フィルタとの畳み込みにより整形フィルタを計算するフィルタ計算器を更に備え、
    前記利得判定器は、前記整形フィルタ、前記画像要素のグループの前記プロパティ値及び前記基準プロパティ値に基づいて前記整形フィルタに適用可能なフィルタ利得を判定するように構成されていることを特徴とする請求項２０乃至２６のいずれか１項に記載の符号器。
28. 前記差分フィルタ提供器は、対称差分フィルタを提供するように構成されている請求項２７記載の符号器。
29. 前記フィルタ、前記差分フィルタ及び前記フィルタ利得に基づいて複合フィルタを計算するフィルタ計算器を更に備え、
    前記誤差計算器は、前記複合フィルタにより前記基準プロパティ値をフィルタリングすることにより取得されるフィルタリングされた基準値及び前記プロパティ値に基づいて前記残留誤差を計算するように構成されていることを特徴とする請求項２０乃至２８のいずれか１項に記載の符号器。
30. 符号化画像又はビデオシーケンスのフレームの画像要素のグループを復号化する復号器であって、
    −前記画像要素のグループと関連付けられるパラメータ表現に基づいてフレームの画像要素の基準グループを識別するグループ識別器と、
    −前記画像要素のグループと関連付けられるフィルタ、フィルタ利得及び差分フィルタを提供するフィルタ提供器と、
    −画像要素の復号化グループを取得するために、前記フィルタと前記フィルタ利得及び前記差分フィルタに基づいて取得可能なフィルタとにより前記画像要素の基準グループの基準プロパティ値をフィルタリングするフィルタ適用器と
    を備えることを特徴とする復号器。
31. 前記フィルタ適用器は、前記画像要素のグループと関連付けられる補間フィルタにより前記画像要素の基準グループの基準プロパティ値をフィルタリングすることにより非正数画素プロパティ値を補間するように構成されていることを特徴とする請求項３０記載の復号器。
32. 前記差分フィルタは非対称差分フィルタであり、
    前記フィルタ適用器は、前記フィルタ利得により乗算される前記非対称差分フィルタにより前記非正数画素プロパティ値をフィルタリングすることにより前記非正数画素補間の変位を微同調するように構成されていることを特徴とする請求項３１記載の復号器。
33. 前記差分フィルタは対称差分フィルタであり、
    前記フィルタ提供器は、前記対称差分フィルタと前記フィルタとの畳み込みにより整形フィルタを計算するように構成され、
    前記フィルタ適用器は、前記フィルタ利得により乗算される前記整形フィルタを使用して前記基準プロパティ値をフィルタリングすることにより周波数応答を整形するように構成されていることを特徴とする請求項３０乃至３２のいずれか１項に記載の復号器。
34. 前記フィルタ適用器は、前記フィルタ利得により乗算される前記整形フィルタにより前記フレームの画像要素の隣接グループのプロパティ値と前記基準プロパティ値とを共同フィルタリングするように構成されていることを特徴とする請求項３３記載の復号器。
35. 前記フィルタ提供器は、前記フィルタ、前記差分フィルタ及び前記フィルタ利得に基づいて複合フィルタを判定するように構成され、
    前記フィルタ適用器は、前記画像要素の復号化グループを取得するために前記複合フィルタにより前記基準プロパティ値をフィルタリングするように構成されていることを特徴とする請求項３０乃至３４のいずれか１項に記載の復号器。
36. −補間された非正数画素プロパティ値を取得するための画像要素の基準グループの基準プロパティ値に適用可能なフィルタ係数を有する補間フィルタと、
    −第１の調整可能なフィルタ利得と、
    −前記第１の調整可能なフィルタ利得が適用され且つ前記補間された非正数画素プロパティ値の少なくとも一部分に適用可能であるフィルタ係数を有する差分非対称フィルタとを備えることを特徴とする非正数画素フィルタシステム。
37. −第２の調整可能なフィルタ利得と、
    −前記第２の調整可能なフィルタ利得が適用され且つ前記補間された非正数画素プロパティ値の少なくとも一部分に適用可能であるフィルタ係数を有する差分対称フィルタと
    を更に備えることを特徴とする請求項３６記載のシステム。

Images