JP2013516908A - バッファリングされた適応フィルタ - Google Patents

Abstract

本発明に係る方法は、少なくとも１つのフィルタのバッファを、ビデオエンコーダ又はビデオデコーダのうちの１以上において設けるステップ、少なくとも１つのフィルタのバッファにおいて１以上のフィルタを記憶するステップ、及び、少なくとも１つのフィルタのバッファにおける１以上のフィルタを使用して、入力ビデオ信号を符号化するステップを含む。

Description

本発明は、ビデオフィルタリングに関するものであり、より詳細には、本発明は、バッファリングされた適応フィルタに関する。
本出願は、2010年1月14日に提出された米国特許仮出願第61/295,034号に対する優先権を主張するものであり、引用によりその完全な形で本明細書に盛り込まれる。

ビデオ符号化システムは、デジタルビデオ信号の記憶容量及び／又は伝送帯域幅を低減するため、デジタルビデオ信号を圧縮する。例えばブロックに基づいたシステム、ウェーブレットに基づいたシステム及び領域に基づいたシステムを含めて、様々なビデオ符号化システムが使用される。他のシステムの幾つかよりも一般的に、ブロックに基づいたシステムが現在使用され、配置されている。ブロックに基づいたビデオ符号化システムの例は、国際ビデオ符号化規格MPEG1/2/4，VC-1及びMPEG-4 AVC/H.264を含む。

ブロックに基づくビデオ符号化システムの普及している配置、使用及び精通度の観点で、本明細書における例となる実施の形態の記載は、簡易さ、統一性、精通度及び明確さのため、他のシステムよりもブロックに基づくビデオ符号化を頻繁に言及する。係る言及は、任意の手段による限定により考慮されるべきではなく、例示、説明及び図示のために考慮されるべきである。

ビデオ符号化に関連する当業者は、本明細書で記載される実施の形態及び技術は何れかのタイプのビデオ符号化に適用することができ、ブロックに基づく符号化システムに明示的に限定されないことを容易に理解するべきである。当業者は、記載される技術は、様々なビデオ信号において固有である冗長度を低減及び／又は除去するため、動き補償及び動き予測を使用する目的のような様々な目的のために適応フィルタに適応する何れかのビデオ符号化システムに容易に適用可能であることに従う、この記載から理解するべきである。

この節で記載されるアプローチは、追跡されるアプローチであるが、必ずしも以前に着想又は追跡されたアプローチではない。従って、特に断りがない限り、この節で記載されるアプローチの何れかはこの節におけるそれらの包含のために単に従来技術として見なすことが想定されるべきでない。同様に、１以上のアプローチに関して識別される問題は、特に断りがない限り、この節に基づいて従来技術において認識されていることを想定しない。

本明細書ではバッファリングされた適応フィルタが記載される。以下の記載では、説明のため、本発明の完全な理解を提供するため、様々な特定の詳細が述べられる。しかし、本発明はこれらの特定の詳細なしに実施される場合があることは明らかである。他の例では、公知の構造及び装置は、本発明を不必要に閉塞すること、不明瞭にすること又は曖昧にすることを回避するため、包括的に詳細に記載されない。

［概説］
本明細書で記載される例示的な実施の形態は、バッファリングされた適応フィルタに関する。バッファは、１以上のビデオエンコーダ又はビデオデコーダにおいて確立される。１以上の適応フィルタは、バッファにおいてバッファリングされる。フィルタバッファは、例えばバッファのサイズ及びキャパシティ、バッファ内のフィルタの配置、及びバッファリングされたデフォルトフィルタに関して管理される場合がある。適応フィルタは、複数の参照画像について信号伝達され、バッファリングされる。従って、本発明の実施の形態は、バッファリングされた適応フィルタに関する。

本発明は、添付図面において、限定するものではない例を解して説明され、図面において、同一の参照符号は類似のエレメントを示す。
本発明の実施の形態に係る、例となるビデオ符号化システムを示す。 本発明の実施の形態に係る、例となるビデオデコーダを示す。 本発明の実施の形態に係る、動き補償に基づく時間予測の例を示す図である。 本発明の実施の形態に係る、断片的画素（fractional-pixel）に基づく動き補間の例を示す。 本発明の実施の形態に係る、サブピクセルの対称性の例を示す図である。 本発明の実施の形態に係る、サブピクセルの対称性の例を示す図である。 本発明の実施の形態に係る例示的な適応フィルタバッファを示す図である。 本発明の実施の形態に係る、バッファリングされた適応補間フィルタ（BAIF：Buffered Adaptive Interpolation Filter）スキームの適応フィルタの信号伝達の第一の例を示す図である。 本発明の実施の形態に係る、BAIFスキームの適応フィルタの信号伝達の第二の例を示す図である。 本発明の実施の形態に係る、それぞれの参照画像の適応フィルタを個別に信号伝達する例を示す図である。 本発明の実施の形態に係る、階層的なB予測の簡単な例を示す図である。 本発明の実施の形態に係る、フィルタバッファを複数のスライスの復号化に適用する例を示す図である。

［例示的なビデオエンコーダ及びデコーダ］
本発明の実施の形態は、バッファリングされた適応補間フィルタに関する。図１Ａは、本発明の実施の形態に係る、例示的なビデオ符号化システム１００を示す。例示的なビデオ符号化システム（例えばエンコーダ）１００は、ブロックに基づくエンコーダを表す。しかし、図示されるブロックに基づくエンコーダ１００は、幾つかのビデオシステムにおいて固有である冗長度を低減又は除去するために動き予測及び補償を使用する何れかのビデオ符号化システムの例として理解される。係る冗長度を低減又は除去することは、ビデオ信号を記憶及び／又は伝送することに関する記憶及び／又は帯域幅の要求を低減するために有効である。

例示的なエンコーダ１００は、ブロック毎に入力ビデオ信号１０２を処理する。典型的に使用されるビデオブロックユニットは、マクロブロックと一般的に呼ばれる16×16画素から構成される。それぞれの入力ビデオブロックについて、空間予測（１６０）及び／又は時間予測（１６２）が実行される。空間予測１６０は、イントラ予測とも一般に呼ばれ、現在のビデオブロックを予測するため、同じビデオピクチャ／スライスにおける既に符号化された隣接ブロックを使用する。

時間予測１６２は、現在のビデオブロックを予測するため、隣接したビデオフレームからビデオブロックを使用する。本明細書で使用されるように、用語「フレーム」及び「ピクチャ」は、本質的に同義語として使用される。用語「時間予測」は、「インター予測“inter prediction”」とも一般に呼ばれ、両方の用語は、用語「動き予測」と本質的に同義語として本明細書において使用される。時間予測は、様々なサイズのビデオブロックで実行される。例えば、輝度成分について、MPEG-4 H.264/AVCビデオ符号化規格は、16×16，16×8，8×16，8×8，8×4，4×8及び4×4のようなインター予測ブロックサイズを許容する。図１Ｂは、本発明の実施の形態に係る、例示的なビデオデコーダ１０を示す。例示的なビデオデコーダ１０は、（例えばビデオ１００から）入力ビデオストリームを受信する。例示的なビデオデコーダ１０は、フィルタバッファ１１を含み、このフィルタバッファにより、デコーディングプロセッサ１２は、表示、記憶又は後処理のために出力（例えば復号化された）ビデオ信号を生成するために該バッファに記憶される適応補間フィルタを含む適応フィルタを使用する。デコーディングプロセッサ１２は、エントロピー復号化ユニット、空間予測ユニット、動き補償ユニット、逆量子化ユニット、逆変換ユニット、ループフィルタユニット等のような様々な復号化機能を含む。

図２は、本発明の実施の形態に係る、動き補償に基づく時間予測の例を示す。ブロックに基づく動き予測には、動きベクトル（mvx，mvy）が提供される。図２では、予測信号が１つの参照画像から取得されるケースが示される。多重仮説（multi-hypothesis）時間予測が提供される場合があり、予測信号は、例えば１を超える参照画像から多数の予測信号を結合することで形成される。双予測（Bi-prediction）は、MPEG2，MPEG4，MPEG-4 II.264/AVC及びVC1のような多数の広く使用又は採用されているビデオ符号化規格を通して一般に使用及びサポートされる多重仮説時間予測の例である。

双予測は、例えば

を使用して、それぞれ参照画像からの２つの予測信号を本質的に結合して予測を形成する。ここでＰ₀（ｘ，ｙ）及びＰ₁（ｘ，ｙ）は、それぞれの参照画像からの位置（ｘ，ｙ）についての予測信号であり、Ｐ（ｘ，ｙ）は、最終的な双予測信号である。さらに、Ｐ₀（ｘ，ｙ）及びＰ₁（ｘ，ｙ）には、以下の関係が満たされるように重みが与えられる。

ここでＷ及びＳは重み付け要素及び固定小数点演算のビットシフトをそれぞれ表し、Ｗ＝１<<Ｓである。このプロセスは、重み付け予測と一般に呼ばれる。複数の時間予測信号を結合することに加えて、多重仮説予測信号は、空間予測信号と時間予測信号とを結合することで形成される。

空間予測及び／又は時間予測が実行された後、予測ブロックは、加算器１１６でオリジナルのビデオブロックから減算される。残差ブロックは、変換ユニット１０４で変換され、量子化ユニット１０６で量子化される。次いで、量子化された残差変換係数は、ビットレートを更に低減するためにエントロピー符号化されるためにエントロピー符号化ユニット１０８に送出される。次いで、エントロピー符号化された残差係数は、出力ビデオビットストリーム１２０の一部を形成するためにパケット化される。

量子化された変換係数は、逆量子化ユニット１１０で逆量子化され、逆変換ユニット１１２で逆変換され、再構成された残差ブロックが取得される。再構成されたビデオブロックは、再構成された残差ブロックを予測ビデオブロックに加算器１２６で加算することで形成され、参照画像ストア１６４に加えられる。また、再構成されたビデオブロックは、参照画像ストア１６４に配置される前に、（例えばH.264/AVC MPEG-4におけるループ内デブロッキングフィルタといった）ループフィルタユニット１６６で更なる処理を受ける場合がある。参照画像ストア１６４は、同じビデオフレーム及び／又は将来のビデオフレームにおける将来のビデオブロックの符号化のために使用される。

ユニット１６２での動き予測又は動き補償は、断片的画素の精度で実行される。例えば、H.264/AVC MPEG-4規格は、輝度成分及び色度成分について1/2画素精度及び1/4画素精度を動きベクトルが有するのを可能にする。さらに、規格は、入力ビデオが4:2:0カラーフォーマットを有する場合、色度成分について1/8画素の動きの精度を可能にする。動きベクトルが断片的画素の位置を示すとき、参照画像における整数画素の値から補間することで断片的画素の値を得るために使用される。本明細書で使用されたとき、用語「動き補間」は、フレーム間の画素の関連する空間情報の補間に関連して、用語「動き予測／補償補間」及び「動き予測補間」と同義語として本質的に使用される。（何れかの他の精度が使用される場合もあるが）フル画素、1/2画素及び1/4画素の動きの精度が許容され、（２次元の分離不可能なフィルタを含めて何れかの他のフィルタタップの長さが使用される場合もあるが）例として６タップ補間フィルタを仮定する。図３は、本発明の実施の形態によれば、断片的画素に基づいた動き補間の例を示す。

図３において、整数画素の位置（影付き）と断片的画素（1/2及び1/4）（白）との間の補間の関係が示される。水平方向の位置Ｘ（Ｘ∈｛Ａ，Ｂ，Ｃ｝）は、以下のフィルタを使用して補間される。

垂直方向の位置Ｘ（Ｘ∈｛Ｄ，Ｈ，Ｌ｝）は、以下のフィルタを使用して補間される。

残りの２次元の断片的画素の位置Ｘ（Ｘ∈Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ）は、以下のフィルタを使用して補間される。

ここでｈ_mn ^X又はｈ_n ^Xは、位置Ｘ（Ｘ∈｛Ａ，Ｂ・・・Ｏ｝）についてのフィルタ係数を示し、Ｒ_mnは、補間されるべき位置を囲んでいる参照画像における整数画素の位置を示す。補間フィルタの式で使用される画素値がピクチャの境界の外にあるとき、パディング（padding）が一般に使用される。

水平方向及び垂直方向の位置Ｘ（Ｘ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，Ｌ｝）を補間するために使用される式（１）及び（２）における１Ｄ（１次元）フィルタは、例として与えられ、これらの位置は、例えば式（３）に類似のやり方で、２Ｄ（２次元）分離不可能なフィルタを使用して補間される。丸め及びシフトを含む固定小数点演算（例えば１６ポイント算術）は、動き補間の間に（代替的に）使用される。

動き予測向けの適応補間フィルタは、動き予測の精度及び従って符号化性能を大幅に改善する。例えば、固定された補間フィルタを使用するのとは対照的に、適応補間フィルタは、オリジナル入力ビデオに関連する統計量に基づいて、フィルタ係数ｈ_n ^X及びｈ_mn ^Xを導出する。次いで、これらフィルタの係数が予測され、量子化され及びビデオビットストリームで送出される（例えばビデオビットストリームの一部として送出される）。

［例示的な適応補間フィルタリング］
式（１）〜（３）における適応フィルタ係数ｈ_n ^X及びｈ_mn ^Xは、予め定義された歪みの測度を最小にすることに基づいて導出される。例えば平方誤差の総和（又は等価的に、予測誤差エネルギー）が歪みの測度として使用される場合、フィルタ係数は、以下を最小にすることで導出される。

ここでＯ（ｘ，ｙ）及びＰ（ｘ，ｙ）は、位置（ｘ，ｙ）での入力されたビデオ信号及び予測されたビデオ信号を表す。それぞれのサブピクセルの位置Ｘ（Ｘ∈｛Ａ，Ｂ・・・Ｏ｝）について、予測された信号Ｐ^X（ｘ,ｙ）は、以下のように更に計算される。

Ｒ（ｘ,ｙ）は、位置（ｘ,ｙ）での参照における整数画素の値を表し、ｈ_mn ^Xは、サブピクセル位置Ｘに対応するフィルタ係数を表し、（mvx_int，mvy_int）は、動きベクトル（mvx，mvy）の整数部分を表し、ＦＯ_x＝（M/2）−１及びＦＯ_y＝（N/2）−１は、水平方向及び垂直方向におけるフィルタのオフセットをそれぞれ表す（６タップフィルタが使用される場合、ＦＯ_x＝ＦＯ_y＝２）。また、サブピクセル画素Ｘは、動きベクトル（mvx，mvy）から導出される。例えば、mvx＝0.5及びmvy＝0.5である場合（両方が1/2画素精度を有する）、Ｘ＝Ｊであり、この場合、Ｊは図３においてマークされる。

エンコーダ１００は、ｈ_mn ^X,OPTを導出するため、予測誤差SSE（又は何れか他の歪み測度）を最小にするため、線形最適化プロセスを使用する。最終的に、最適なフィルタ係数は、以下を計算することで発見される場合がある。

このようにＲ^T・Ｒは、補間プロセスに関わるＲ_0,0 ^pix0，．．．，Ｒ_M-1,N-1 ^pixL-1により示される参照画像における全ての画素の自己相関行列を表し、Ｐ^T・Ｏは、補間プロセスに関わる参照画像における全ての画素と、Ｏ^pix0・・・Ｏ^pixL-1により示される現在のビデオピクチャ／スライスにおける全ての画素との間の相互相関を表す。ひとたび導出されると、適応フィルタ係数ｈ_mn ^X,optは、量子化され、符号化されて、ビデオビットストリームで送出される（例えばビデオビットストリームにおいて送出される）。また、適応フィルタ係数は、量子化の前に予測される場合がある。

しかし、予測及び量子化でさえ、適応フィルタ係数を送出するコストは高い場合がある。例えば６タップフィルタが水平方向及び垂直方向のサブピクセルの位置Ｘ（Ｘ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，Ｌ｝）について使用され、6×6の２次元フィルタが２次元サブピクセルの位置Ｘ（Ｘ∈｛Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ｝）について使用される場合である。この状況において、エンコーダは、図３に示される１５のサブピクセルの位置について全体で（6×6＋9×36）＝360の係数を送出し、これは、係数のシグナリングについて大幅なビットコストを招く。フィルタ係数を送出することに関連するコストを低減するため、所定の対称性の仮定がAIFにおいて使用され、送信される必要がある固有のフィルタ係数の数を低減する。典型的に使用される対称性は、画素の対称性及び係数の対称性を含む。結合される画素の対称性及び係数の対称性は、送信される必要がある固有の係数の数を大幅に低減することができ、従ってAIFにより被るビットのオーバヘッドを大幅に低減することができる。

画素の対称性により、サブピクセルの位置のグループは、同じフィルタを共有する。従って、そのグループにおける１つのサブピクセルの位置のフィルタは、同じグループにおける別のサブピクセルの位置についてフィルタを反転又は転置することで得られる。図４Ａ及び図４Ｂは、本発明の実施の形態に係る、サブピクセルの対称性の例を示す。画素の対称性により、サブピクセルの位置のグループは、同じフィルタを共有する。従って、同じグループにおける別のサブピクセルの位置についてフィルタを反転又は転置することで、グループにおける１つのサブピクセルの位置Ｘについてのフィルタが得られる。図４Ａ及び図４Ｂは、画素の対称性の２つの例を示し、同じフィルタを共有するサブピクセルの位置は、同じ影付けされたパターンを使用して示される。例えば、（図３における）位置Ａについてのフィルタ及び位置Ｃについてのフィルタは、以下の関係を有する。

本明細書で使用されたとき、用語「画素の対称性のグループ」及び／又はシンプルに「対称性のグループ」は、本質的に同義語として使用され、同じフィルタを共有するサブピクセルの位置のグループに関連する。対称性のグループにおけるそれぞれのサブピクセルの位置についてフィルタを取得する更なる詳細は、以下を含む参考文献において発見される。
Y.Vatis and J.OSterman, “Comparison of complexity between two-dimensional non-separatable adaptive interpolation filter and standard wiener filter” ITU-T SGI 6/Q.6 Doc.VCEG-AA11, Nice, France, October 2005;
S.Wittman, T.Wedi, “Separatable Adaptive Interpolation Filter”, ITU-T SG16/Q.6 Doc. T05-SG16-C-0219, Geneva, Switzerland, June 2007;
D.Rusanovsky, K.Ugur, J.Lainema, “Adaptive Intepolation with Directional Filter”, ITU-T SGI 6/Q.6 Doc. VCEG-AG21, Shenzhen, China, October 2007;
Y.Ye及びM.Karczewicz, “Enhanced Adaptive Interpolation Filter”, ITU-T/SG16/Q.6 document C.464, Geneva, Switzerland, April 2008; and
G.Matta, Y.Ye and M.Karczewicz, “Improved Filter Selection for B-Slices in E-AIF”, VCEG-AI38, Berlin, Germany, July 2008.
上記参考文献のそれぞれは、本明細書で完全に説明されたかのように、引用により本明細書に完全な形で盛り込まれる（及び添付としてここに提出される）。図４Ａにおいて５つの固有のサブピクセルの位置が示され、図４Ｂにおいて８つの固有のサブピクセルの位置が示される。

係数の対称性により、所与のフィルタについて、その係数のサブセットのみが固有であり、係数の相補的なサブセットは、典型的に反転又は転置により、第一のサブセットから導出される。例えば、図３におけるサブピクセル位置Ｂ及びＨについてのフィルタは、以下の関係を有する。

幾つかの場合、異なる特性を持つフィルタは、水平方向及び垂直方向の位置のそれぞれについて適用される。例えば、異なるタップ長及び／又は対称性をそれぞれ有するフィルタが使用され、及び／又は、１次元フィルタ及び２次元フィルタがそれぞれ使用される場合がある。さらに、輝度成分及び色度成分のフィルタは、例えばタップ長、対称性、１次元対２次元フィルタにおいて異なる場合がある。

適応補間フィルタ（AIF：Adaptive Interpolation Filter）スキームの例は、JMKTA（Joint Model Key Technology Areas）ソフトウェアVCEG/KTAリファレンスソフトウェアJM11.0KTA2.3（http://iphome.hhi.de/surhring/tml/download/KTA/）, April, 2009でその本質を具現している。Y.Vatis and J.Ostermanm, “Comparison of complexity between two dimensional non-separable adaptive interpolation and standard wiener filter”, ITU-T SGI6/Q.6 Doc. VCEG-AA11, Nice, France, October 2005は、２次元（２Ｄ）分離不可能なAIF（2D-NS AIF）を記載している。2D-NS AIFは、１次元サブピクセルの位置Ｘ（Ｘ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，Ｌ｝）について６タップフィルタを使用し、２次元のサブピクセルの位置Ｘ（Ｘ∈｛Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ｝）について6×6の分離不可能なフィルタを使用する。2D-NS AIFは、図４Ａに示される画素の対称性を使用する。

S.Wittmann, T.Wedi，“Separable Adaptive Interpolation Filter”, ITU-T SG16/Q.6 Doc. T05-SG16-C-0219, Geneva, Switzerland, June 2007は、分離可能なAIF（S-AIF）を記載する。S-AIFは、２次元のサブピクセルの位置Ｘ（Ｘ∈｛Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ｝）について分離可能な適応フィルタを使用する。補間は、はじめに１次元で適用され（例えば水平方向）、次いで他の次元で適用される（例えば垂直方向）。

方向性のAIF（D-AIF）は、D.Rusanovsky, K．Ugur， J．Lainema， "Adaptive Interpolation with Directional Filters”, ITU-T SGI 6/Q.6 Doc. VCEG-AG21, Shenzhen, China, October 2007で記載されており、D-AIFは、２次元のサブピクセル位置Ｘ（Ｘ∈｛Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ｝）について方向性フィルタを使用する。サブピクセルの位置Ｘ（Ｘ∈｛Ｅ，Ｇ，Ｍ，Ｏ｝）について、６タップフィルタが使用される。サブピクセルの位置Ｘ（Ｘ∈｛Ｆ，Ｉ，Ｊ，Ｋ，Ｎ｝）について、１２タップフィルタが使用される。

エンハンスされたAIF（E-AIF）は、Y.Ye andM.Karczewicz, “Enhanced Adaptive Interpolation Filter”, ITU-T/SG16/Q.6 document C.464, Geneva, Switzerland, April 2008 and G.Motta, Y.Ye and M.Karczewicz, “Improved Filter Selection for B-slices in E-AIF”, VCEG-AI38, Berlin, Germany, July 2008で記載される。E-AIFは、２次元サブピクセルの位置Ｘ（Ｘ∈｛Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋ，Ｍ，Ｎ，Ｏ｝）について１２タップの放射状のフィルタサポートを使用する。E-AIFは、図４Ｂに示される画素の対称性を達成する。E-AIFは、整数画素の位置のフィルタリング及びフィルタオフセットを導入する。E-AIFにおいて、式（１−３）におけるサブピクセルの位置（図３において白として示される位置）の補間フィルタは、以下の式（１１−１３）の形式を取るために僅かに修正される。さらに、整数画素の位置（例えば図３において影付きとして示される位置）のフィルタは、以下の式（１４）における形式をとる。

（E-AIFスキームのような）幾つかのAIFスキームは、整数画素の位置にも同様に適応フィルタを適用する。このように、用語「適応補間フィルタ」及び「適応フィルタ」は、本明細書では交換可能であって、本質的に同義語として使用される。さらに、用語「サブピクセルの位置」及び「画素の位置」は、整数画素の位置及び断片的画素の位置に集合的に関連する。

様々な代替のコストを処理することに応じて、エンコーダは、画素の位置の何れかについて適応フィルタを送出しないことを決定し、代わりに、MPEG-4 H.264/AVC規格のコーデックで指定される補間フィルタのような予め定義された固定されたフィルタを使用する。係る決定は、フィルタ係数を送出するコストを更に制御すること、及び／又は適応フィルタに関連する更なる補間の複雑度を回避することに基づいて行われる。例えば、ビットレートコストを制御するため、エンコーダは、以下の式１５及び／又は１６におけるような、レート歪みに基づくラグランジュコストを最小にすることに基づいて適応フィルタを使用するかを判定する。

式１５及び１６では、Ｄ^adapt及びＤ^fitは、平方誤差の総和（SSE）、絶対差の総和（SAD）、又は適応フィルタ及び固定フィルタを使用した予測信号と原信号との間の主観的品質の測度のような歪みを表す。式１５及び１６において、ｒ^adaptは、フィルタ係数を符号化するために必要とされるレート又はビット数を表し、λは、ラグランジュコストの予測子又は「ラムダファクタ」を表す。エンコーダは、Ｊ^fix≦Ｊ^adaptの場合に固定されたフィルタを使用し、Ｊ^adapt＜Ｊ^fixの場合に適応フィルタを使用することを決定する。それぞれの画素の位置についての決定は、ビットストリームで信号伝達される。例えば、１の決定が適応フィルタの使用を指示する場合、適応フィルタの係数は、決定によりビットストリームに含まれる。

幾つかの画素の対称性は、固有のフィルタの数を低減するため、従ってフィルタ係数を送出することに関連するビットオーバヘッドを低減するために使用される。このように画素の対称性が使用される場合、適応フィルタを使用すべきかに関する決定は、（例えば図４Ａ及び図４Ｂにおける同じ影付けされたパターンを有する位置といった）同じ対称性のグループに属する全ての画素の位置について集合的に行われる。従って、式（１５）及び（１６）に関連する計算は、以下の式（１７）及び（１８）にそれぞれ修正される。エンコーダは、その決定をレートコスト又は別の符号化基準を最小にすることに基づく。例えばＪ^adapt＜Ｊ^fixの場合にエンコーダが適応フィルタを使用することを決定した場合、フィルタ係数は、送出され、対称性のグループに属する全ての画素の位置に適用される。

従来のAIFスキームでは、適応フィルタは、ピクチャ／スライスレベルで指示され、同じピクチャ／スライス内のビデオブロックに適用され、現在のピクチャ／スライスを符号化する終わりで廃棄される。しかし、本発明の実施の形態では、バッファリングされた適応フィルタ（BAF）及び／又はバッファリングされたAIF（BAIF）スキームが使用される。実施の形態では、使用され、ピクチャ／スライスを符号化する終わりに廃棄される代わりに、前のビデオフレーム／スライスからの適応フィルタは、バッファに記憶され、将来のピクチャ／スライスにおけるビデオブロックを符号化するために使用される。BAF/BAIFフレームは、フィルタのシグナルングに関連する比較的低ビットのオーバヘッドをもつ動き予測の精度を改善する非常に柔軟な基礎を提供する。本発明のBAF/BAIFに関連する結合は、１以上の適応フィルタの決定、フィルタバッファの管理又は適応フィルタのシグナリングに関連する。

［例示的なバッファリングされた適応フィルタ］
本発明の実施の形態は、バッファリングされた適応フィルタに関連する。本発明の実施の形態は、バッファリングされた適応補間フィルタ（BAIF）に関する。例となる実施の形態は、BAIFスキームに関して記載される。BAIFスキームに関する例となる実施の形態の記載は、例示するものであって、BAIFスキームに限定することが明示的に意図されない。対照的に、本発明の実施の形態は、BAIFに加えて、BAF及び他のバッファリングされたフィルタスキームと共に機能するように良好に適している。BAIFスキームへの本明細書への参照は、記載の簡素さ、簡潔さ及び統一性のためのものであり、本発明の実施の形態を限定するものとして解釈されるべきではない。図５は、本発明の実施の形態に係る、例示的な適応フィルタバッファ５００を示す。画素及び係数の対称性の使用及びフィルタの決定の適用でさえ、適用フィルタは、ビットストリームで送出するためにコストがかかる。しかし、（時間的な近さを共有するピクチャといった）同じビデオ系列における異なるビデオピクチャは、有意な共通の信号特性を共有する。予め定義された固定されたフィルタを使用することに比較して、入力ピクチャ／スライスの符号化において、本発明の実施の形態は、ビットストリームで前に送出され、バッファリングされた適応フィルタを使用する。実施の形態は、ビットコストを節約する。これは、どのバッファリングされたフィルタが使用されるべきかを識別するため、フィルタのインデックスのみが送出するためである。図５は、画素の位置Ｘ（Ｘ∈｛ＩＮＴ，Ａ，Ｂ，Ｃ．．．，Ｎ，Ｏ｝）についてのフィルタバッファの例を示す。類似のフィルタバッファは、（1/4画素の精度の動き予測が使用されると仮定して）１６画素の位置のそれぞれについて維持されるか、又は１６画素の位置のサブセットについて維持される場合がある。

図５に示されるように、フィルタバッファは、中間の丸め及びクリッピングとは独立に（例えば中間の丸め及びクリッピングなしに）高い精度をもつ、位置ＸについてH.264/AVC MPEG-4 Part10フィルタ、位置ＸについてH.264/AVC MPEG-4 Part10フィルタのような、１以上の画素の位置について動き予測／補償の補間を実行するのに使用される１以上のフィルタのような、１以上の共通の使用される固定されたフィルタを含む。実施の形態では、バイリニア及び／又はバイキュービックフィルタが使用される。実施の形態では、１以上のLanczosフィルタ（Lanczos-L2及び／又はLanczos-L3フィルタ）が使用される場合がある。さらに、フィルタバッファは、符号化及び復号化が進行するときに動的に更新される場合がある。例えば、エンコーダが位置Ｘについて多くの適応フィルタを送出するとき（例えば図５における適応フィルタＡ，Ｂ，Ｃ，Ｄ）、これらのフィルタは、将来のピクチャ／スライスの符号化のために使用されるように、フィルタバッファに加えられる。同様に、デコーダが位置Ｘについてビットストリームにおいて多くの適応フィルタ（例えば図５における適応フィルタＡ，Ｂ，Ｃ，Ｄ）を受けるとき、将来のピクチャ／スライスの復号化のために使用されるように、これらのフィルタをフィルタバッファに加える。エンコーダ及びデコーダは、例えばこのようなやり方での協調により同期する。

幾つかの画素の対称性が使用されるとき、エンコーダは、対称性のグループにおける全ての画素の位置について集合的に（例えば適応フィルタ又は予め定義された固定されたフィルタを使用するかに関して）判定を行う。BAIFスキームに関する実施の形態において、以下の１以上の基準に従って判定が行われる。
１．それぞれの対称性のグループについて、新たな適応フィルタがそのグループについて送出されるかを示すために、フラグnew_filter_flagが送出される。

２．対称性のグループにおけるそれぞれの画素の位置について、ａ）フラグnew_filter_flagが０である場合（新たなフィルタがシグナル伝達されない）、フィルタバッファにおけるフィルタインデックスfilter_indexが信号伝達される。ｂ）さもなければ、フラグnew_filter_flagが１である場合（新たなフィルタが信号伝達される）、フラグuse_new_filter_flagがはじめに信号伝達される。

３．フラグuse_new_filter_flagが１である場合、他に信号伝達される必要はない。又は、
４．フラグuse_new_filter_flagが０である場合、フィルタバッファにおけるフィルタインデックスfilter_indexが信号伝達される。

BAIFスキームの適応フィルタに関連する信号伝達の２つの例は、図６及び図７で示される。図６は、本発明の実施の形態に係る、バッファリングされた適応補間フィルタ（BAIF）スキームの適応フィルタの信号伝達の第一の例を示す。図７は、本発明の実施の形態に係る、BAIFスキームの適応フィルタの信号伝達の第二の例を示す。図６において、対称性のグループ０は、５つの画素の位置を含む。この対称性のグループについて、はじめにnew_filter_flag=0が送出され、次いで対称性のグループにおけるそれぞれの画素の位置Ｐiについて、filter_index(Pi)は、Ｐiに関連するフィルタバッファにおける既存のフィルタを識別するために送出される。図７において、対称性のグループ１は、２つの画素の位置を含む。この対称性のグループについて、はじめにnew_filter_flag=1が送出され、続いて適応フィルタ係数が送出される。画素の位置Ｐ0について、use_new_filter_flag=1であり、従って信号伝達される必要は他にない。画素の位置Ｐ1について、use_new_filter_flag=0が送出され、続いてＰ1に関連するフィルタバッファにおける既存のフィルタを識別するfilter_index(P1)が送出される。

実施の形態に係るBAIFスキームは、適応フィルタを使用することに関連する帯域幅のコストを大幅に低減する（例えばfilter_idxのみが既存のフィルタを使用するために信号伝達される）。さらに、実施の形態に係るBAIFスキームは、同じ対称性のグループにおける画素の位置が、全て同じフィルタに結びつける代わりに、異なるフィルタを使用するのを可能にする。従って、実施の形態は、その対応する信号特性に整合又は適合するフィルタを選択することにおいて、それぞれの画素の位置の大幅な柔軟性を可能にする。さらに、実施の形態は、入力ビデオ信号と予測されたビデオ信号との間で、例えば式（４）におけるSSEといった、予め定義された歪みの測度を更に低減する。

BAIFスキームに関連する実施の形態では、適応フィルタを送出するか又はフィルタバッファでバッファリングされている既存のフィルタを使用するかに関するエンコーダの判定は、以下のプロセスステップを使用して行われる。
１．例えば式（６）及び対称性のグループにおける全ての画素の位置について適応フィルタを使用するか又は予め定義された固定されたフィルタを集合的に使用するかに関する判定をなすことに関して記載されるプロセスにより、全体の対称性のグループについて適応フィルタを導出する。
２．フィルタ係数を量子化する。
３．対称性のグループにおけるそれぞれの画素の位置について、エンコーダは、（ラグランジュのビットレート対歪みのコストのような）所定の符号化基準に基づいてフィルタを選択する。エンコーダが考慮する可能性のある選択は、新たな適応フィルタ、又は所与の画素の位置に関連するフィルタバッファにおける何れかのフィルタを含む。実施の形態では、レート歪みに基づくラグランジュコストが使用される。本実施の形態では、ラグランジュのレート歪みコストを最小にするフィルタが選択される。付加的に又は代替的に、実施の形態は、別の予め定義された符号化基準を使用する。
４．対称性のグループにおける全ての画素がそれぞれのフィルタバッファにおける既存のフィルタを選択する場合、新たな適応フィルタが対称性のグループについて送出されない（例えばnew_filter_flag=0）。
５．さもなければ（対称的なグループにおける幾つかの画素の位置は新たな適応フィルタを選択する）、実施の形態は、はじめに、それぞれのフィルタバッファにおいて既存のフィルタを選択する画素の位置を排除し、次いで、対称的なグループにおける残りの画素の統計値のみを使用して適応フィルタを計算し直す。
６．対称的なグループにおけるそれぞれ残りの画素について（例えばステップ２における既存のフィルタを選択していない画素）、（例えばレート歪みコストといった）予め定義された符号化基準に基づいて、新たな適応フィルタ又は既存のフィルタの何れかとしてフィルタを選択する。

また、エンコーダは、フィルタの決定が対称的なグループにおける画素の全体のセット又は対称的なグループにおける画素のサブセットについてこれ以上変化しなくなるまで、ステップ４及び５の反復的なプロセスを使用する。代替的に又は付加的に、エンコーダは、例えば幾つかの反復の回数Ｎが実行された後、及び／又は、例えばある数Ｍ％以上変化しないといった予め定義された符号化基準の値が収束された後、反復プロセスを早期に終了する。さらに、エンコーダは、（例えば適応フィルタを計算し直さないといった）スキップ４及び５をスキップする場合があり、これはエンコーダの複雑度を低減する場合がある。

実施の形態のBAIFスキームを使用して、それぞれの画素の位置のフィルタバッファは、互いに独立に成長及び変化する。フィルタバッファのサイズが変化したとき、filter_idxを送出するために使用されるビット数も変化する。実施の形態は、filter_idxを符号化する様々な方法を使用する場合があり、例えばFLC（Fixed Length Coding）、VLC（Variable Length Coding）及び算術符号化の何れかが使用される場合がある。

実施の形態は、BAIFにおけるフィルタの信号伝達と関連されるビットコストを更に低減するためにデフォルトフィルタを使用する場合がある。はじめに、所与のフィルタのセットは、（それぞれの画素の位置について１つのデフォルトフィルタといった）デフォルトフィルタとして設計される。次いで、所定の画素の位置がデフォルトフィルタを使用するかを示すため、フラグuse_default_filter_flagが信号伝達される。use_default_filter_flagが全ての画素の位置について集合的に送出される場合、このフラグの更なるコストは１ビットのみである。さらに、それぞれの画素の位置についてのデフォルトフィルタが知的に選択される場合、このスキームは、ごく僅かなコストで予測誤差のエネルギーの効果的な低減を達成する。このスキームは、例えば比較的に安定した統計量をもつ系列といった、所定のビデオ系列において特に有効である。フラグuse_default_filter_flagは、全ての対称的なグループにおける全ての画素の位置について集合的に信号伝達されるか、又はそれぞれ対称的なグループについて個別に信号伝達される。

実施の形態は、以下に列挙されるデフォルトフィルタを示すために１以上の方法を使用する。
１．エンコーダ及びデコーダは、前もってデフォルトフィルタを取り決めており、従って、デフォルトフィルタを信号伝達する必要はない。例えば、H.264/AVCフィルタは、デフォルトフィルタとして使用することができる。
２．デフォルトフィルタは、（例えばH.264/AVCにおいて設定されたシーケンスパラメータといった）シーケンスレベルのシンタックスの一部として明示的に信号伝達することでシーケンスレベルで指定される。
３．また、デフォルトフィルタは、（H.264/AVCにおいて設定されたピクチャパラメータ）ピクチャレベルのシンタックスの一部として明示的に信号伝達することで、ピクチャレベルで指定される。
４．また、デフォルトフィルタは、スライスヘッダの一部として、スライスレベルで指定される。これは、現在のスライスについて使用されるシーケンス及び／又はピクチャレベルで既に信号伝達されるデフォルトフィルタのサブセットを選択することで行われる。
例えば、ｈ₀ ^X,ｈ₁ ^X．．．ｈ₄ ^Xである全体で５つのフィルタが位置Ｘについてシーケンスレベル及び／又はピクチャレベルで信号伝達される場合、現在のスライスを符号化するためにデフォルトフィルタとしてｈ₀ ^X及びｈ₄ ^Xのみが使用されることをスライスヘッダの一部として信号伝達される。これは、現在のスライスにおけるフィルタインデックスを符号化するために使用されるオーバヘッドを低減することに役立つ。

実施の形態では、「現状のままで」バッファに記憶されている適応フィルタをダイレクトに使用する代わりに、バッファにおけるフィルタがリファインされる場合がある。実施の形態は、シンタックスfilter_idxを送出した後に、更なるフラグrefine_filter_flagを送出することで、バッファリングされたフィルタを改善する（図６及び図７）。このフラグがrefine_filter_flag=1である場合、フィルタバッファにおける特定のフィルタへのリファインメントも送出される。フィルタのリファインメントを送出すべきかに関する決定は、ピクチャレベル又はスライスレベルの何れかで、ラグランジュのレート歪みコストのような予め決定された符号化基準に基づく。

実施の形態では、ビデオエンコーダは、領域分析を実行し、入力画像を幾つかの領域に分割する。この場合、適応フィルタは、それぞれの個々の領域について導出される。また、エンコーダは、それぞれの個々の領域についてフィルタ選択の決定を同様に行う。それぞれの領域についてのフィルタが送出された後、フィルタは、以下に記載されるように管理され、フィルタバッファに加えられ、同じピクチャ又は将来のピクチャからその後の領域を符号化するために使用される。

本明細書で使用されたとき、用語「ビットストリーム」は、ビデオコーデックのNAL（Network Abstraction Layer）のようなフィルタを信号伝達するためのシンタックス構造に関連する。例えば、MPEG-4 AVC/H.264規格のコーデックで指定されたNALユニットは、本発明の実施の形態が実現される適切なシンタックス構造として機能する。BAF及び／又はBAIFスキームに関連する実施の形態では、エンコーダは、個別のNALユニットのような個別のビットストリームユニットで、符号化の開始で又は符号化の途中で適応フィルタの設置を送出する。新たなビットストリーム又は新たなNALユニットは、AIFユニットと呼ばれる。AIFユニットは、マルチパスコーディング及び／又は符号化前のビデオ前分析を実行するエンコーダと共に有効である。係る機能により、エンコーダは、ビデオフレームのグループを分析し、ビデオフレームの現在のグループの統計量に基づいて補間フィルタを導出し、これらのフィルタをAIFユニットで送出し、これらのフィルタは、次いで符号化の間に使用される。従って、フレームの現在のグループにおいて開始フレームを符号化したとき、エンコーダは、到来するビデオ信号について微調整された適応フィルタへの低コストのアクセスを既に有する。従って、エンコーダは、符号化が実行されている間、適応フィルタバッファを徐々に構築する必要を回避する。また、エンコーダは、符号化の間に新たな適応フィルタと共に更なるAIFユニットを送出する。新たなフィルタを利用可能な場合、フィルタバッファにおける既存のフィルタは、バッファのオーバフローを防止するために置き換えられる場合がある。実施の形態は、適応フィルタのバッファを管理するために様々な方法を使用する。

本発明の実施の形態は、以下に列挙される１以上の例示的な実施の形態に関連する。
１．ビデオエンコーダ又はビデオデコーダのうちの１以上において少なくとも１つのフィルタバッファを設けるステップと、
少なくとも１つのフィルタバッファにおいて１以上のフィルタをバッファリングするステップと、
少なくとも１つのフィルタバッファにおいて１以上のフィルタを使用して入力ビデオ信号を符号化するステップと、
を含むことを特徴とする方法。
２．１以上のバッファリングされたフィルタは、１以上の適応フィルタを含む、
例示的な実施の形態１記載の方法。
３．１以上の適応フィルタは、
適応補間フィルタ、
適応インループフィルタ、又は
適応ポストループフィルタのうちの１以上を含む、
例示的な実施の形態２記載の方法。
４．デコーダで１以上の適応フィルタを受信するステップと、１以上の適応フィルタは、デコーダで受信されたビデオビットストリームの一部を含み、
エンコーダで１以上の適応フィルタの少なくとも１つを導出するステップと、
のうちの１以上を更に含む例示的な実施の形態１記載の方法。
５．バッファは、ビデオエンコーダで確立され、当該方法は、ピクチャ又はスライスの１以上を符号化するステップを更に含む、
例示的な実施の形態１記載の方法。
６．符号化ステップは、
１以上のフィルタを使用してピクチャ又はスライスの１以上のコンポーネントをフィルタリングするステップと、
少なくとも１つのフィルタバッファに１以上のフィルタをバッファリングするステップと、
を含む例示的な実施の形態５記載の方法。
７．バッファリングされたフィルタをインデックス付けするステップを更に含む、
例示的な実施の形態１記載の方法。
８．バッファは、ビデオエンコーダにおいて確立され、当該方法は、エンコーダにより符号化又は送信されるビデオビットストリーム内でバッファリングされたフィルタのインデックスを信号で伝達するステップを更に含む、
例示的な実施の形態７記載の方法。
９．フィルタのインデックスは、固定長符号化、可変長符号化、算術符号化のうちの１以上で符号化される、
例示的な実施の形態７記載の方法。
１０．少なくとも１つのフィルタバッファは、１以上の固定されたフィルタを含む、
例示的な実施の形態１１記載の方法。
１１．フィルタバッファは、エンコーダで設けられ、
当該方法は、エンコーダで符号化されたピクチャ又はスライスに対応する特性又は統計量のうちの１以上に基づいてフィルタバッファを動的に更新するステップを更に含む、
例示的な実施の形態１記載の方法。
１２．フィルタバッファはデコーダで設けられ、
当該方法は、デコーダによりビデオビットストリームで受信されたピクチャ又はスライスに対応する特性又は統計量の１以上に基づいてフィルタバッファを動的に更新するステップを更に含む、
例示的な実施の形態１記載の方法。
１３．動的に更新するステップに関してエンコーダとデコーダとを同期させるステップを更に含む、
例示的な実施の形態１１記載の方法。
１４．少なくとも１つのフィルタバッファにおける１以上のフィルタは、動き補間、動き推定、動き補償、動き推定補間、動き補償補間、動き予測補間又は動き予測のうちの１以上を実行するために使用される、
例示的な実施の形態１記載の方法。
１５．１以上の画素の位置は、動き補間、動き推定、動き補償、動き推定補間、動き補償補間、動き予測補間及び動き予測プロセスについて定義される、
例示的な実施の形態１４記載の方法。
１６．１以上のフィルタバッファは、１以上の画素の位置と関連するように確立される、
例示的な実施の形態１５記載の方法。
１７．少なくとも１つのフィルタバッファにおける１以上の固定されたフィルタは、
バイリニアフィルタ、
バイキュービックフィルタ、
１以上のLanczosフィルタ、
１以上の画素の位置について動き補間を実行するのと共に使用される１以上のフィルタ、
１以上の画素の位置についての動き補間を実行するため、H.264/AVC MPEG-4 part 10ビデオ規格で指定される１以上のフィルタ、
H.264 AVCで規定される１以上のフィルタ、
中間の丸め処理及び／又はクリップ処理とは独立な高い精度を有する、１以上の画素の位置について動き補間を実行する、H.264/AVC MPEG-4 part 10ビデオ規格で指定される１以上のフィルタ、
のうちの１以上を有する例示的な実施の形態１６記載の方法。
１８．１以上の画素の位置に関連する画素の対称性を評価するステップと、
画素の対称性を評価するステップの少なくとも１部に基づいて、少なくとも１つの新たな適応フィルタを導出するステップと、
画素の対称性を評価するステップの少なくとも１部に基づいて、画素の対称性を共有する画素のグループの少なくとも１つの画素について、少なくとも１つの新たな適応フィルタ又は１以上のバッファリングされたフィルタの少なくとも１つを適用するかを決定するステップと、
を更に含む例示的な実施の形態１５及び例示的な実施の形態１６記載の方法。
１９．エンコーダで、決定するステップは、
画素の対称性のグループについて新たな適応フィルタが使用されない決定に応じて、
画素の対称性のグループについてビデオビットストリームで新たな適応フィルタが送出されないことを信号で伝達するステップと、
画素の対称性のグループにおけるそれぞれの画素の位置について、ビデオビットストリームでバッファリングされたフィルタのインデックスを信号で伝達するステップと、
デコーダにバッファリングされたフィルタを使用するように指示するステップと、
画素の対称性のグループについて少なくとも１つの新たな適応フィルタが使用されるべきであることの決定に応じて、
画素の対称性のグループについて少なくとも１つの新たな適応フィルタがビデオビットストリームで送出されることを信号で伝達するステップと、
少なくとも１つの新たな適応フィルタの係数をビデオビットストリームで信号で伝達するステップと、
フィルタバッファを動的に更新するステップと、
その受信に応じてデコーダに少なくとも１つの新たな適応フィルタを使用するように指示するステップと、
のうちの１以上を含む例示的な実施の形態１８記載の方法。
２０．エンコーダで、画素の対称性のグループについて少なくとも１つの新たな適応フィルタがビットストリームで送出されることの信号伝達に応じて、
当該方法は、
画素の対称性のグループにおけるそれぞれの画素の位置について、少なくとも１つの新たな適応フィルタが使用されたかを信号で伝達するステップと、
少なくとも適応フィルタが使用されない画素の対称性のグループにおけるそれぞれの画素の位置について、バッファリングされたフィルタのインデックスをビデオビットストリームにおいて信号で伝達するステップと、
を更に含む例示的な実施の形態１９記載の方法。
２１．エンコーダで、少なくとも１つの適応フィルタを送出すべきか、又はデコーダにバッファリングされたフィルタの１以上を使用するように信号で伝達すべきかを決定するステップは、
画素の対称性のグループの少なくとも１つの新たな適応フィルタの１以上の係数を量子化するステップと、
画素の対称性のグループにおけるそれぞれの画素について、符号化基準に基づいて、少なくとも１つの新たな適応フィルタ又は１以上のバッファリングされたフィルタのうちの少なくとも１つを選択するステップと、
を含む例示的な実施の形態１９及び実施の形態２０記載の方法。
２２．選択するステップは、画素の対称性のグループにおけるそれぞれの画素の位置について、
少なくとも１つの新たな適応フィルタに関連するパフォーマンスの期待値を、１以上のバッファリングされたフィルタに関連するパフォーマンスの期待値と比較するステップと、
符号化基準に少なくとも部分的に基づいて、関係のあるパフォーマンスの期待値のそれぞれを評価するステップと、
評価ステップに少なくとも部分的に基づいて、少なくとも１つの新たな適応フィルタ又は１以上のバッファリングされたフィルタを選択するステップと、
を含む例示的な実施の形態２１記載の方法。
２３．第一の画素の位置と関連するフィルタバッファは、第二の画素の位置と関連する第二のフィルタバッファと動的な変化とは独立に動的に変化する、
例示的な実施の形態１６記載の方法。
２４．第一の画素の位置と第二の画素の位置とは、同じ画素の対称性のグループに属する、
例示的な実施の形態２３記載の方法。
２５．少なくとも１つのフィルタバッファのそれぞれについて少なくとも１つのデフォルトフィルタを指定するステップを更に含む、
例示的な実施の形態１４記載の方法。
２６．当該方法は、指定されたデフォルトフィルタ又は少なくとも第二のフィルタを使用することに関連する符号化基準に少なくとも部分的に基づいて、指定されたデフォルトフィルタを使用すべきかを決定するステップを更に含む、
例示的な実施の形態１８又は実施の形態２５の１以上に記載の方法。
２７．それぞれの画素の位置について指定されたデフォルトフィルタを使用すべきかに関する決定は、
全ての画素の位置について集合的に、決定がビデオビットストリームでデコーダに全ての画素の位置について集合的に信号で伝達されること、
同じ画素の対称性のグループにおける全ての画素の位置について集合的に及びそれぞれの画素の対称性のグループについて個別に、同じ画素の対称性のグループにおける画素の位置のすべてについて集合的に及び画素の対称性のグループについて個別に、ビデオビットストリームにおいてデコーダに決定が信号で伝達されること、
それぞれの画素の位置について個別に、それぞれの画素の位置について個別にビットストリームでデコーダに信号で伝達されること、
のうちの少なくとも１つに基づいて行われる例示的な実施の形態２６記載の方法。
２８．決定するステップは、画素の対称性のグループにおけるそれぞれの位置について、
新たな適応フィルタ及びバッファリングされたフィルタの１以上に関連するパフォーマンスの期待値を、１以上のバッファリングされたフィルタの少なくとも１つのフィルタの少なくとも１つの特性に対するリファインメントに関連するパフォーマンスの期待値とを比較するステップと、
符号化基準に少なくとも部分的に基づいて、関係のあるパフォーマンスの期待値のそれぞれを評価するステップと、
評価するステップに少なくとも部分的に基づいて、１以上のバッファリングされたフィルタの少なくとも１つの特性をリファインするステップと、
リファインされた特性で１以上のバッファリングされたフィルタをアップグレードするステップと、
を含む例示的な実施の形態１８記載の方法。
２９．符号化基準は、ラグランジュのビットレート対画像の歪みのコスト見積もりを含む、
例示的な実施の形態２１，２２，２６又は２８のうちの１以上に記載の方法。
３０．エンコーダで、当該方法は、
ビデオピクチャのそれぞれの領域を分析するステップと、
分析ステップに少なくとも部分的に基づいてビデオピクチャを１以上の画像領域に分割するステップと、
を更に含む例示的な実施の形態１記載の方法。
３１．１以上の分割された画像領域のそれぞれについて、少なくとも１つの適応フィルタを導出するステップと、
１以上の分割された画像領域のそれぞれについて少なくとも１つのフィルタを選択するステップと、
のうちの１以上を更に含む例示的な実施の形態３０記載の方法。
３２．１以上の分割された画像領域のそれぞれについて選択された少なくとも１つのフィルタをビデオビットストリームで送出するステップと、
少なくとも１つのフィルタバッファにおける１以上の分割された画像領域のそれぞれについて、少なくとも１つのフィルタをバッファリングするステップと、
を更に含む例示的な実施の形態３１記載の方法。
３３．エンコーダで、
ビデオ系列のピクチャについて少なくとも１つの適応フィルタを導出するステップと、
少なくとも１つの適応フィルタをバッファリングするステップと、
第二のビットストリームユニットの送出の前又は送出の間に、第一のビットストリームで少なくとも１つの適応フィルタを送出するステップと、少なくとも１つの適応フィルタは、ピクチャのグループを符号化するために使用され、また、
デコーダで、
デコーダで第一のビットストリームユニットにおける１以上の適応フィルタを受信するステップと、
少なくとも１つの適応フィルタをバッファリングするステップと、
第二のビットストリームユニットを受信するステップと、ピクチャのグループを復号化するため、少なくとも１つの適応フィルタが使用される、
のうちの１以上を更に含む例示的な実施の形態１記載の方法。
３４．第一のビットストリームユニットはピクチャのグループについて導出された少なくとも１つの適応フィルタを含み、第二のビットストリームユニットは、第一のビットストリームユニットで送出される少なくとも１つの適応フィルタに対応する少なくとも１つのフィルタインデックスを含む、ピクチャのグループの符号化情報を含む、
例示的な実施の形態３３記載の方法。
３５．エンコーダは、
第一のビットストリームユニットがビデオ符号化機能の間に導出されるマルチプルパスビデオ符号化機能、
第一のビットストリームユニットにおける少なくとも１つの適応フィルタがビデオ前分析機能の間に導出される、ビデオ符号化機能を実行するためにエンコーダが実行するビデオ前分析機能、
のうちの１以上に関連する機能を実行する例示的な実施の形態３３記載の方法。

［例示的なフィルタバッファ管理］
BAIFに関連する実施の形態は、フィルタのバッファを効果的且つ効率的に管理する。様々なフィルタバッファ管理の態様は、システムの符号化効率にダイレクトに影響を及ぼす。フィルタバッファ管理は、フィルタバッファのサイズ、フィルタバッファにおけるフィルタの配置、及び／又はデフォルトのフィルタバッファの使用を含む。

［例示的なフィルタバッファサイズの管理］
所与の画素の位置Ｘについて（例えば図１３）、そのフィルタバッファが大きくなると、予測誤差のエネルギーを潜在的に低減するフィルタの選択が多くなる。しかし、filter_idxを符号化するために長いコードワードが典型的に必要とされるとき、より大きいフィルタバッファがシグナリングのオーバヘッドを増加する。実施の形態は、適切なフィルタバッファのサイズを維持し、これは歪みの低減とシグナリングのオーバヘッドとの間の許容可能なトレードオフを達成する助けとなる。実施の形態では、所与の画素の位置Ｘについて、そのフィルタバッファを管理する幾つかのオプションは、以下を含む。
１．Ｘが属する対応する対称的なグループについて新たな適応フィルタが送出される場合（例えばnew_filter_flag=1）、新たな適応フィルタは、Ｘのフィルタバッファに追加される。
２．Ｘが属する対応する対称的なグループについて新たな適応フィルタが送出される場合（例えばnew_filter_flag=1）、及び位置Ｘが新たなフィルタを使用する場合（use_new_filter_flag=1）、新たな適応フィルタはＸのフィルタバッファに追加される。
３．Ｘが属する対応する対称性のグループについて新たな適応フィルタが送出された場合（例えばnew_filter_flag=1）、エンコーダは、新たなフィルタがＸのフィルタバッファに追加されるべきであることを示すため、更なるフラグadd_new_filter_flagをビットストリームで送出する。実施の形態では、フラグadd_new_filter_flagは、全体の対称的なグループについて送出されるか、対称的なグループにおけるそれぞれの画素の位置について送出されるか、又は、use_new_filter_flag=1をもつ対称的なグループにおけるそれぞれの画素の位置について送出される場合がある。
４．エンコーダは、新たな適応フィルタをフィルタバッファに追加すべきかを決定する所定の基準を使用する。係る決定は、所定のフィルタ特性（例えばフィルタの周波数応答）を分析すること、新たなフィルタがバッファにおける既存のフィルタとは十分に異なるかを決定することに基づいて行われる。例えば、新たなフィルタが「十分に異なる」と考えられる場合、フィルタバッファに追加され、さもなければ追加されない。エンコーダ及びデコーダは、これらが同期した状態に留まることを保証するために同じ基準を使用する。又は、
５．実施の形態は、先のオプションの１以上の組み合わせを使用する。例えば、予め定義された基準は、新たなフィルタが「十分に異なる」かを決定するために、例えば先の「４」におけるように使用される。基準が予め定義された閾値を超える場合、例えば先の「３」におけるように更なるフラグadd_new_filter_flagが信号で伝達され、さもなければ更なるフラグが信号で伝達されない。

実施の形態では、画素の位置Ｘについてのフィルタバッファが満たされている場合（又はサイズキャパシティに近づいている場合）、幾つかの既存のフィルタと新たなフィルタとを置き換えるべきかが判定され、幾つかの既存のフィルタと新たなフィルタとを置き換えるべきであると判定された場合、その既存のフィルタが置き換えられる。実施の形態では、幾つかの既存のフィルタを新たなフィルタと置き換えるべきかを判定するオプションが行われ、幾つかの既存のフィルタを新たなフィルタと置き換えるべきであると判定された場合、その既存のフィルタが置き換えられることは、以下を含む。
１．ファーストイン・ファーストアウトのスライディングウィンドウのストラテジが使用され、フィルタバッファにおける最も古いフィルタが除かれ、新たな適応フィルタが追加される。又は、
２．使用に基づいた置換えストラテジが使用され、フィルタバッファにおいて最も少なく使用されたフィルタが除かれ、新たなフィルタにより置き換えられる。フィルタバッファにおけるフィルタの順序が並べ替えられる。又は、
３．更なるシンタックスは、フィルタバッファにおけるどの既存のフィルタが除かれ、新たなフィルタにより置き換えられるかを明示的に指定するため、ビットストリームで送出される。又は、
４．先のオプションのなかで適応的なスイッチングが使用される場合がある。例えば、最初にスライディングウィンドウのストラテジが使用されることを示すためにシンタックスが送出され、後に、使用に基づくストラテジがスライディングウィンドウのストラテジを置き換えることを示すために更なるシンタックスが送出される。

実施の形態では、フィルタバッファの最大のサイズ（例えばキャパシティ）は重要である。フィルタバッファの最大のサイズキャパシティは、（１）例えばフィルタストレージについて要求されるメモリであるシステムの複雑度、（２）バッファが満たされているときに何時そしてどのように既存のフィルタを置き換えるか、又は（３）歪みの低減とシグナリングのオーバヘッドとの間のトレードオフ、のうちの１以上に関連する。幾つかのビデオ系列について、幾つかの画素の位置は、残りの画素の位置よりも頻繁に使用される。例えば、パニングのシーンは、画素の位置のうちのまさに幾つかに対応するその動きの大部分を有する場合がある。係るケースでは、より頻繁に使用される画素の位置は、より大きいフィルタバッファからの利益を得る。従って、ある画素の対称性のグループ内で、実施の形態は、それぞれの画素の位置のフィルタバッファが、画素の対称性のグループにおける別の画素の位置に対応するものとは異なる最大のサイズを有するのを可能にする。実施の形態では、所与の画素の位置Ｘについて、最大のフィルタバッファのサイズをどのように指定するかについてのオプションは、明示的なシグナリング又は暗黙の導出のうちの１以上を含む。

明示的なシグナリングは、最大のフィルタバッファのサイズを変えるべきかを示すため、更なるシンタックスをビットストリームで送出するエンコーダを備える。このシンタックスが、最大のフィルタバッファのサイズが変化することを示す場合、エンコーダは、例えばバッファのサイズにおける差（例えば
［外１］

）及び変化が生じている方向（例えばバッファサイズの増加及びバッファサイズの減少）を送出することで、新たな最大のフィルタバッファのサイズを指示する。例えば、エンコーダは、信号の統計量における変化を予想するために多数の新たな適応フィルタを含む新たなAIFスライスを送出するか、既存のフィルタを除くことなしに、これらの適応フィルタがバッファに追加されるように、フィルタバッファのサイズが増加する。また、エンコーダは、後にフィルタバッファのサイズを減少するため、シンタックスを送出する。

暗黙の導出は、最大のバッファサイズを導出するため、同じルール又はルールのセットを使用するエンコーダ及びデコーダを有する。例えば、位置Ｘに対応する動きの量が高い（例えば予め設定された閾値を超える）場合に、画素の位置Ｘについて最大のバッファサイズが上方に調節される。

［例示的なフィルタバッファにおけるフィルタの配置］
実施の形態では、それぞれの画素の位置Ｘについてフィルタバッファにおけるフィルタの順序は、BAIFスキームの使用に影響を及ぼす。例えばfilter_idxを符号化するためにVLCが使用されるとき、小さなfilter_idxの値を符号化するため、短いコードワードが割り当てられる。従って、フィルタバッファにおいてフィルタを適切に配置することは、重要な検討事項となる。実施の形態では、フィルタバッファにおいてフィルタを配置するオプションは、以下の１以上を含む。
１．実施の形態では、エンコーダ及びデコーダは、共に、例えば所与のフィルタバッファにおけるそれぞれのフィルタの使用カウントといった、処置の基準の経過を追う。次いで、エンコーダ及びデコーダは、共に、この基準に従ってバッファにおけるフィルタを周期的に順序づける。例えば、使用カウントが使用される場合、より頻繁に使用されるフィルタは、それらに関連するfilter_idxが小さな値を有するように、フィルタバッファの開始に配置される。係る順序付け動作は、ピクチャ／スライス毎に実行されるか、又はＮピクチャ／スライス毎（Ｎは正の整数）に実行される。実施の形態では、時間で重み付けされた要素は、それぞれのフィルタが使用された最後の時間からの時間的な距離を反映するため、それぞれのフィルタの使用カウントに追加される。時間の重み付けは、エンコーダ及びデコーダが遠隔のフィルタの使用の統計量をより迅速に「段階的に減らす」のを可能にする。実施の形態では、遠隔のフィルタの使用の統計量の段階的な減少は、フィルタバッファ及びフィルタの使用の統計量を更新する前に、重み付けにより実行され、現在の使用量は、所定のファクタη（η＜１）だけカウントダウンされる。実施の形態は、それぞれのフィルタが最後に使用された時間を明示的に追跡し、それらの間隔に従って重みを適用することによる時間的な重みを実行する。
２．実施の形態では、エンコーダは、更なるシンタックスをビットストリームで送出し、デコーダに所与のバッファにおけるフィルタを並べ替えるように指示する。１つの方法は、デコーダがそれらの統計量に従ってフィルタバッファを並べ替えるように、更なるシンタックスとしてフィルタの使用の統計量を符号化することである。例えば、エンコーダがシーン変化を検出した場合、エンコーダは特定の使用の統計量をデコーダに送出する。これより、デコーダは、これらの使用の統計量を解釈した後、古いシーンについてより適切なフィルタを後ろに移動するか又は除く一方で、新たなシーンについてより適切なフィルタをバッファの前にまで移動する。
３．実施の形態では、先に記載されたオプション「１」及び「２」が組み合わされ、互いに使用される。例えば、エンコーダ及びデコーダは、フィルタを周期的に並べ替える。更に（又は代替的に）、望まれるとき、エンコーダは、たとえ周期的な並べ替えを実行する時間でない場合でさえ、更なる並べ替えを実行するようにデコーダに指示するシンタックスを送出する。

［例示的なデフォルトのフィルタバッファ］
実施の形態では、それぞれの画素の位置Ｘについて、デフォルトのフィルタは、H.264/AVCフィルタのような一般に使用される固定されたフィルタを有する。（画素の対称性のグループにおける）１以上の画素の位置は、１を超えるデフォルトフィルタを有することから利益を受ける。従って、実施の形態は、デフォルトのフィルタバッファ及び適応フィルタバッファといった、所与の画素の位置Ｘについて２つのバッファを維持する。第一のフィルタバッファは、一般に使用されるデフォルトフィルタを記憶し、これらのフィルタは、（例えばH.264/AVC規格で指定されるように、長期間の参照ピクチャバッファの概念に類似して）適応フィルタに関して比較的まれに変化する。第二のフィルタバッファは、適応フィルタのバッファを記憶し、この適応フィルタは、（H.264/AVC規格における短期間の参照ピクチャバッファの概念に類似して）デフォルトフィルタよりも幾分動的に変化する傾向がある。実施の形態では、デフォルトのピクチャバッファ又は適応フィルタバッファの何れかにインデックスを付けるオプションは、以下の１以上を含む。
１．２つのバッファは個別にインデックスが付けられる。従って、filter_idxに加えて、使用されているフィルタバッファを識別するために、別のフラグが送出される。
２．２つのバッファは協働してインデックスが付けられる。例えば、デフォルトフィルタのバッファが２つのフィルタを含み、適応フィルタのバッファが３つのフィルタを含む場合、filter_0,1は、デフォルトのフィルタのバッファにインデックスを付け、filter=2,3,4は、適応フィルタにインデックスを付ける。代替的に（又は付加的に）、filter_idx=0,1,2は、適応フィルタバッファにインデックスを付け、filter_idx=3,4は、デフォルトのフィルタバッファにインデックスを付ける。

本発明の実施の形態は、以下に列挙される、１以上の例示的な実施の形態に関連する。
３６．少なくとも１つのフィルタバッファを管理するステップを更に含む、
例示的な実施の形態１記載の方法。
３７．管理するステップは、
エンコーダ及びデコーダが新たな適応フィルタを受信したのに応じて、新たな適応フィルタを、新たな適応フィルタが関連されるフィルタバッファに加えるステップと、
新たな適応フィルタを送出し、新たな適応フィルタを受信し、且つエンコーダ及びデコーダが１以上の条件が合致したことを同期して判定したことに応じて、新たな適応フィルタを、新たな適応フィルタが関連されるフィルタバッファに加えるステップと、
新たな適応フィルタを送出し、新たな適応フィルタを受信したことに応じて、エンコーダが更なるシンタックスをビットストリームで送出し、デコーダが更なるシンタックスをビットストリームで受信するステップと、シンタックスは、新たな適応フィルタが、新たな適応フィルタが関連されるフィルタバッファに加えられるべきかを示し、
少なくとも２つの値のうちの第一の値を有する更なるシンタックスに応じて、新たな適応フィルタを、新たな適応フィルタが更なるシンタックスの第一の値に少なくとも部分的に基づいて関連されるフィルタバッファに追加するステップと、
少なくとも１つの値のうちの第二の値を有する更なるシンタックスに応じて、更なるシンタックスの第二の値に少なくとも部分的に基づいて新たな適応フィルタを含まないフィルタバッファの状態を維持するステップと、
のうちの１以上を含む例示的な実施の形態３６記載の方法。
３８．新たな適応フィルタを追加するべきかに関連する更なるシンタックス信号は、
全体として画素の対称性のグループ、
画素の対称性のグループにおけるそれぞれの画素の位置、
のうちの少なくとも１つについて送出される例示的な実施の形態３７記載の方法。
３９．新たな適応フィルタを、新たな適応フィルタが関連されるフィルタバッファに加えるべきかを判定するステップを更に含む、
例示的な実施の形態３７記載の方法。
４０．新たな適応フィルタを、新たな適応フィルタが関連されるフィルタバッファに加えるべきかを判定するステップは、新たな適応フィルタが現在のピクチャ又はスライスを符号化するために使用されるかを判定するステップを含む、
例示的な実施の形態３９記載の方法。
４１．新たな適応フィルタを、新たな適応フィルタが関連されるフィルタバッファに加えるべきかを判定するステップは、
新たな適応フィルタの少なくとも１つの特性を分析するステップと、
新たな適応フィルタの少なくとも１つの特性をバッファリングされたフィルタの少なくとも１つの特性を比較するステップと、
１以上のフィルタを区別する基準に従って指定される程度とは異なる、新たな適応フィルタとバッファリングされたフィルタの比較された特性に応じて、新たな適応フィルタをフィルタバッファに加えるステップと、
１以上のフィルタを区別する基準に従って指定される程度とは異なる、新たな適応フィルタとバッファリングされたフィルタの比較された特性に応じて、新たな適応フィルタをフィルタバッファに加えるのを控えるステップと、
を含む例示的な実施の形態３９記載の方法。
４２．エンコーダのフィルタを区別する基準及びデコーダのフィルタを区別する基準は実質的に同じである、
例示的な実施の形態４１記載の方法。
４３．フィルタを区別する基準は、
フィルタの周波数応答、
フィルタのインパルス応答、
少なくとも２つのフィルタ間の独自性に関連する予め定義された閾値、
のうちの１以上を含む例示的な実施の形態４１記載の方法。
４４．維持するステップは、
フィルタバッファのキャパシティ状態を決定するステップと、
フィルタバッファが殆どフルキャパシティであることの判定に応じて、１以上のバッファリングされたフィルタを１以上の新たなフィルタで置き換えるべきかを判定するステップと、
１以上のバッファリングされたフィルタを１以上の新たなフィルタで置き換える判定に応じて、バッファリングされたフィルタのうちのどのフィルタが１以上の新たなフィルタと置き換えられるべきかを更に判定するステップと、
を含む例示的な実施の形態３８記載の方法。
４５．バッファリングされたフィルタのうちのどのフィルタが１以上の新たなフィルタと置き換えられるべきかを判定するステップは、
ａ）バッファにおいて他のフィルタよりも長くバッファリングされているバッファリングされたフィルタを新たなフィルタと置き換えるステップと、
ｂ）バッファにおいて他のフィルタよりも使用されていないバッファリングされたフィルタを新たなフィルタと置き換えるステップと、
ｃ）ビデオビットストリームにおける信号又はシンタックスにより置き換えられるように指定されるバッファリングされたフィルタを置き換えるステップと、
ｄ）ステップａ）〜ｃ）の間で適応的に切り替えるステップと、
のうちの１以上を含む例示的な実施の形態４４記載の方法。
４６．それぞれのバッファのキャパシティのサイズを指定するステップを更に含む、
例示的な実施の形態３６記載の方法。
４７．フィルタバッファのうちの第一のバッファのキャパシティのサイズは、フィルタバッファの第二のバッファのキャパシティのサイズとは独立である、
例示的な実施の形態４６記載の方法。
４８．エンコーダで、フィルタバッファのキャパシティのサイズにおける変化を明示的に信号で伝達するステップと、
エンコーダ又はデコーダの１以上で、少なくとも１つの本質的に同じルールに従って、フィルタバッファのキャパシティサイズを暗黙的に導出するステップと、
を更に含む例示的な実施の形態４６記載の方法。
４９．管理するステップは、少なくとも１つのフィルタバッファにフィルタが記憶される順序を並べるステップを含む、
例示的な実施の形態３６記載の方法。
５０．並べるステップは、
エンコーダで少なくとも１つのフィルタの配置の基準を追跡するステップと、
デコーダで少なくとも１つのフィルタの配置の基準を追跡するステップと、
少なくとも１つのフィルタの配置の基準に従って、エンコーダのフィルタバッファとデコーダのフィルタバッファにおけるフィルタを並べ直すステップと、
を含む例示的な実施の形態４９記載の方法。
５１．並べるステップは、
エンコーダで、デコーダにフィルタバッファの１以上におけるフィルタを並べ替えるように指示するため、ビデオビットストリームにおいてシンタックスを信号で伝達するステップと、
信号で伝達されたシンタックスに少なくとも部分的に基づいて、デコーダのフィルタバッファにおけるフィルタを並べ替えるステップと、
を含む例示的な実施の形態４９記載の方法。
５２．並べるステップは、
バッファリングされたフィルタに関連する１以上の使用の統計量を計算するステップと、
計算されたフィルタの使用の統計量に少なくとも部分的に基づいて、フィルタバッファの１以上におけるフィルタを並べ替えるステップと、
を含む例示的な実施の形態４９記載の方法。
５３．計算するステップは、
時間の重み付け要素を追跡するステップと、
時間の重み付け要素に少なくとも部分的に基づいて、使用の統計量を重み付けするステップと、
を含む例示的な実施の形態５２記載の方法。
５４．並べるステップは、実施の形態５０，５１，５２又は５３で引用される２以上のステップの組み合わせを含む、
例示的な実施の形態５０，５１，５２又は５３記載の方法。
５５．少なくとも１つのデフォルトフィルタを指定するステップを更に含む、
例示的な実施の形態３６記載の方法。
５６．少なくとも１つのデフォルトフィルタを指定するステップは、
エンコーダ及びデコーダが、符号化ステップの前に、少なくとも１つのデフォルトフィルタに同意するステップと、
少なくとも１つのデフォルトフィルタをシーケンスレベルで指定するステップと、少なくとも１つのデフォルトフィルタは、シーケンスレベルのシンタックスの一部として信号伝達され、
少なくとも１つのデフォルトフィルタをピクチャレベルで指定するステップと、少なくとも１つのデフォルトフィルタは、ピクチャレベルのシンタックスの一部として信号で伝達され、
少なくとも１つのデフォルトフィルタをスライスレベルで指定するステップと、少なくとも１つのデフォルトフィルタは、スライスヘッダの一部として信号で伝達される、
のうちの１以上を含む例示的な実施の形態５５記載の方法。
５７．少なくとも１つのデフォルトフィルタ及び少なくとも１つの他のフィルタにインデックスを付けるステップを更に含み、少なくとも１つのデフォルトフィルタ及び少なくとも１つの他のフィルタは、一緒に又は個別にインデックスが付けられる、
例示的な実施の形態５５記載の方法。

［複数の参照ピクチャのための適応フィルタの例示的なシグナリング］
他の理由のうち、AIFスキームは、現在のフレームと現在のフレームが符号化される参照ピクチャとの間の、固有の、例えば「注文仕立ての」動き予測の関係を指定することができるため、有意な符号化のゲインを提供する場合がある。例えば、それぞれの所与の適応フィルタは、例えば符号化されている現在のピクチャ／スライスと、現在のピクチャが予測される参照ピクチャである２つのピクチャ又はスライス間の関係を信号で伝達する。従来のAIFスキームはそれぞれの画素の位置（又はそれぞれの対称性のグループ）について適応フィルタを指示するが、全ての参照ピクチャのうちで適応フィルタを共有する一方、本発明の実施の形態は、現在のピクチャ／スライスを符号化するために複数の参照ピクチャが使用されるときに、それぞれの参照ピクチャについて適応フィルタを個別に指示する。

従って、本発明の実施の形態に係るBAF及び／又はBAIFスキームは、適応フィルタがそれぞれの参照ピクチャについて指定されるのを可能にする。それぞれの参照ピクチャについて適応フィルタを個別に指定することは、現在のピクチャ／スライスと、その参照ピクチャのそれぞれとの間の更に正確な動き予測の関係を可能にする。本明細書で使用されたとき、用語「精度を高める“accurize”、“accurized”及び“accurizing”」は、例えば動き予測に関連される精度を増加することに関連する。本明細書で使用されたとき、用語「オフセット“offset”、“offsetting”」は、例えばビットコスト、計算、処理又はメモリコスト又は帯域幅のコスト等を補償する（“compensate”、“compensated”及び“compensated for”）に関連する。実施の形態では、複数の参照ピクチャで現在のピクチャ及び／又はスライスを符号化することは、現在のピクチャ／スライスと複数の参照ピクチャのそれぞれとの間の動き予測の関係の精度を高めることを含む。従って、実施の形態は、複数の参照ピクチャの少なくとも次の（例えば第二の）ピクチャについて適応フィルタを個別に指示することに関連するビットコストを、精度が高められた予測の関係に関連する誤差エネルギーにおける低減によりオフセットする。従って、それぞれの参照ピクチャについて適応フィルタを個別に信号で伝達することは更なるビットのオーバヘッドを被るが、実施の形態のシグナリングスキームは、更なるビットコストを実質的に低く維持するのに役立つ。さらに、本質的に小さい更なるビットコストは、予測誤差のエネルギーにおける有意に大きい低減により上回る場合がある。

図８は、本発明の実施の形態に係る、それぞれの参照ピクチャについて個別に適応フィルタを信号で伝達する例を示す。（最も一般に使用される参照を典型的に含む）参照ピクチャ０について、より正確な適応フィルタを指定するために、より多くのビットが使用される。しかし参照ピクチャ１について、実質的に全てのその画素の位置がフィルタバッファでバッファリングされる既存のフィルタを使用するため、実施の形態ではより少ないビットが使用される。ビデオ系列における最後の参照ピクチャについて、例えば全ての画素の位置がデフォルトのフィルタを使用することを指示するため、僅か１ビットが送出される。

異なる参照ピクチャと符号化されている現在のピクチャとの間の相関を利用し、これにより符号化のパフォーマンスが改善される。実施の形態では、その現状のままでバッファにおけるフィルタを使用する代わりに、代替（又は付加）は、フィルタをリファインすることである。フィルタのリファインメントは、（１）フィルタバッファにおける既存のフィルタを予測として使用し、（２）１以上の差のフィルタ係数を送出することを含む。複数の参照ピクチャが使用されるとき、実施の形態は、複数の参照ピクチャの間でと同様に、複数の参照ピクチャと現在のピクチャとの間に存在する類似性を決定する（例えば確定する、理解する等）所定の画像分析技術を実行する。例えば、画像の分析は、参照ピクチャＡと参照ピクチャＢは１以上のやり方で互いに類似していることを明らかにする。従って、参照ピクチャＡの補間フィルタが導出及び信号伝達された後、実施の形態は、参照ピクチャＡについて対応するフィルタのリファインにより、参照ピクチャＢの補間フィルタを導出及び信号で伝達する。

［双予測及び参照ピクチャの並べ替えのために例示的な適応フィルタバッファ］
多数のビデオ符号化システムは、双予測の使用を可能にし、予測信号は、２つの参照ピクチャから２つの予測信号を結合することで形成され、予測は、２以上の予測信号を互いに結合することで形成される。BAIFに関連する実施の形態では、２つの参照ピクチャは、異なる補間フィルタに関連する。さらに、幾つかのシステム（例えばH.264/AVC映像符号化標準）は、同じ参照ピクチャが両方の予測リストに現れるのを可能にする。このケースでは、参照ピクチャは、一方の予測リスト（List0）に現れるときに、あるフィルタのセットに関連し、予測リスト（List1）に現れるときに、別のフィルタのセットに関連する。実施の形態は、このフィルタの関連の多重性を多重仮説のケースに拡張する。

幾つかの映像符号化システム（例えばH.264/AVC）は、参照ピクチャの並べ替えを可能にし、１つの参照ピクチャは、１度を超えて同じ予測リストに現れ、異なる参照ピクチャのインデックスが割り当てられる。BAIFに関連する実施の形態は、１度を超えて予測リストに現れ、異なる参照インデックスが割り当てられるとき、適応フィルタの異なるセットが同じ参照ピクチャに関連されるのを可能にし、これは柔軟性、及び従って符号化性能を促進する。例えば、所与の参照ピクチャが予測リストList0に２度現れ、値ref_idx_A及びref_idx_Bで参照インデックスが割り当てられた場合、BAIFに関連する実施の形態は、適応フィルタのセットＡがref_idx_Aに関連され、フィルタセットＢがref_idx_Bに関連されるのを可能にし、フィルタセットＡ及びフィルタセットＢは、同じである幾つかのフィルタと、異なる幾つかのフィルタとを含む。このアプローチは、ref_idx_Aでラベル付けされた参照ピクチャが重み付け予測なしで使用され、ref_idx_Bでラベル付けされた参照ピクチャが重み付け予測と共に使用される場合に有効である。係るシナリオでは、BAIFに関連する実施の形態は、適応フィルタのセットＡがref_idx_Aと関連付けされ、フィルタのセットＢがref_idx_Bと関連付けされ、フィルタセットＡ及びフィルタセットＢは、同じである幾つかのフィルタを含むが、異なる他のフィルタを含む場合がある。

実施の形態では、フィルタバッファのセットは、それぞれの予測リストにおいてそれぞれの参照ピクチャについて確立及び維持される。符号化が進行するとき、参照ピクチャは現在のピクチャを符号化するために使用されるとき、それぞれの参照ピクチャに関連するフィルタバッファは更新され、補間フィルタのセットは、導出され、ビットストリームで送出される。上述されたように、参照ピクチャの並べ替えを通して１を超える参照ピクチャのインデックスが参照ピクチャに割り当てられた場合、参照ピクチャのインデックスの割り当てのそれぞれの瞬間で、フィルタバッファの異なるセットが維持される。所与の予測リストにおける所与の参照ピクチャに関連するフィルタバッファの係るセットは、「ローカル」バッファと考えられる。これらローカルバッファは、所与の参照ピクチャが現在のピクチャを予測するために使用されたときにのみ「アクチベート」される場合がある。ローカルバッファがアクチベートされたときにのみ、動き予測及び動き補間の間にバッファにおけるフィルタが使用される。さらに、ローカルバッファがアクチベートされたときにのみ、これらのローカルバッファは、上述されたフィルタ管理の原理に従って更新される。対照的に、所与の参照ピクチャに関連しないフィルタバッファのセットは、「グローバル」バッファと考えられる。グローバルバッファは、常にアクティブである。ローカルのフィルタバッファは、グローバルバッファの代わりに、又はグローバルバッファと組み合わせて使用される場合がある。実施の形態では、上述されたような（例えばパラグラフ［００６８］及び［００６９］）デフォルトのフィルタバッファが個別に維持される場合、デフォルトのフィルタバッファは、グローバルのフィルタバッファと同様に、ローカルのフィルタバッファに存在する。これらのデフォルトのフィルタバッファのそれぞれは（１つのローカルのフィルタバッファ及び１つのグローバルのフィルタバッファ）、上述されたフィルタバッファの管理の原理に従って更新される。

幾つかのビデオ符号化システムは、階層的なＢ予測構造の使用を可能にし、双予測されたピクチャ（Ｂピクチャ）は、将来のピクチャを符号化するために参照として使用される。図９は、本発明の実施の形態に係る、階層的なＢ予測のシンプルな例を示す。最下位のピクチャは、唯一の予測リストを使用するＰピクチャである。中位レベルのピクチャは、参照ピクチャとして更に使用される双予測されるＢピクチャである。上位レベルのピクチャは、参照として下位レベルのＰピクチャと中位レベルのＢピクチャとを使用する双予測されたＢピクチャである。なお、図９は、シンプルな例を示す。符号化のパフォーマンスを最大にするため、異なる階層レベルからの複数の参照ピクチャを使用すること、又は異なる階層レベルにおいて同じ参照ピクチャを配置することのような多数の他の参照ピクチャの配置も一般に使用される。実施の形態において、フィルタバッファの確立及び維持は、所与の参照インデックスをもつ所与の参照ピクチャと関連されるだけでなく、参照ピクチャがある階層レベルとも関連される。所与の参照インデックスをもつ所与の参照ピクチャに１を超えるセットのフィルタバッファを割り当てる実施の形態において、係る柔軟なフィルタバッファの関連付けスキームが達成される。

［複数のスライスのために例示的な適応フィルタバッファ］
幾つかの映像符号化システムは、ピクチャが複数のスライスを使用して符号化されるのを可能にする。異なるスライスは互いに独立に復号化されるため、複数のスライスの使用は、改善された誤り耐性を提供するだけでなく、同時に平行に同じピクチャの様々なスライスを復号化する能力をも提供し、これにより有意な復号化速度の利点を提供する。適応フィルタバッファが使用されるとき、スライスの復号化を並行処理する能力を維持するため、スライスの並列復号化の間に、個々にそれぞれのスライスについてテンポラリフィルタバッファが使用される。次いで、現在のピクチャの全てのスライスが復号化された後、将来のピクチャ及びスライスを復号化する使用のため、最終的なフィルタバッファを形成するためにテンポラリフィルタバッファが統合される。

図１０は、本発明の実施の形態に係る、フィルタバッファを複数のスライスの復号化に適用する例を示す。図１０に示される例では、現在のスライス０及びスライス１の復号化の前、フィルタバッファは、フィルタ０，１及び２を含む。次いで、新たなフィルタ３は、スライス０において受信され、スライス０についてテンポラリフィルタバッファに配置され、スライス０を復号化するために使用される。同時に、新たな適応フィルタ４は、スライス１において受信され、スライス１についてのテンポラリフィルタバッファに配置され、スライス１を復号化するために使用される。両方のスライスの復号化が終了した後、最終的なフィルタバッファは、（図１０に示されるように）フィルタ３及びフィルタ４の両者で、フィルタ３又はフィルタ４の何れかで、或いは、フィルタ３及びフィルタ４の何れにもよらずに更新される。様々なテンポラリフィルタバッファの最終的な統合は、ビットストリームにおける明示的な信号伝達されたシンタックスに従って実行されるか、又はエンコーダ及びデコーダで同じやり方で追従される暗黙のルールのセットに従って実行される。例えば、エンコーダは、多数の将来のピクチャに領域の分析を行い、将来のピクチャを符号化するために有効な新たなフィルタのサブセットのみを含むことを決定する場合がある。テンポラリフィルタバッファに記憶される残りの新たなフィルタは、最終的なフィルタバッファで含まれない場合がある。係る決定は、エンコーダにより明示的に信号伝達される。上述された他のフィルタバッファの管理の原理は、フィルタバッファにおけるフィルタを並べ替える時間的な重み付けのメカニズムを含めて、最終的なフィルタバッファの統合の間に適用される場合がある。

適応フィルタは、フィルタ係数が入力ビデオ信号に関連される統計量に基づいて導出され、ビデオビットストリームの一部として送出されるものであり、ブロックに基づく且つ四分木に基づく適応ループフィルタのスキーム、及びポストループフィルタスキームにおいて使用される。実施の形態は、本明細書で完全に説明されたかのように、引用により本明細書に盛り込まれ、添付して提出される、以下の参考文献の１以上に記載される適応フィルタスキームに関連する。
（１）A.M.Tourapis, J.Boyce, “Dynamic reference generation for advanced video coding”, VCEG-W05, Redmond, Washington, July, 2004;
（２）T.Chujoh, G.Yasuda, N.wada, T.Watanabe, T.Yamakage, “Improvement of Block-based Adaptive Loop Filter”, VCEG-AJ13, SAN DIEGO, California, October, 2008;
（３）T.Chujoh, T.yamakage, G.Yasuda, “Improvement of Quadtree-based Adaptive Loop Filter”, ITU-T/SG16/Q.6 document C.324, Geneva, Switzerland, October 2009;
（４）M.Karczewicz, G.Motta, Y.Ye, and P.Chen, “Post filter with reduced delay rewuirement”, ITU-T/SG16/Q.6 document C.128, Geneva, Switzerland, January 2009.
本発明の実施の形態は、（複数の参照ピクチャの使用を含む）適応補間フィルタを記憶し使用するフィルタバッファを確立及び管理することに関連するものであり、適応ループフィルタ及びポストフィルタスキームに（例えば規定通りに、最小の変更及び簡単な拡張により）ダイレクトに適用される。さらに、BAF及びBAIFに関連する実施の形態は、他の適応フィルタの使用とともに適用される。

本発明の実施の形態は、以下に列挙される、１以上の例示的な実施の形態に関連する。
５８．少なくとも２つの参照ピクチャにより１以上の現在のピクチャ又はスライスを符号化するステップと、
少なくとも２つの参照ピクチャにより１以上の現在のピクチャを復号化するステップとのうちの１以上を更に含み、
少なくとも２つの参照ピクチャのうちの第一の参照ピクチャについての１以上の適応フィルタは、少なくとも２つの参照ピクチャのうちの第二の参照ピクチャについての少なくとも１つの適応フィルタとは独立に信号伝達される、
例示的な実施の形態１４記載の方法。
５９．少なくとも２つの参照ピクチャにより１以上の現在のピクチャ又はスライスを符号化するステップは、
少なくとも２つの参照ピクチャのうちの第一の参照ピクチャについて１以上の適応フィルタを信号で伝達するステップと、
少なくとも２つの参照ピクチャのうちの第二の参照ピクチャについて少なくとも１つの適応フィルタを個別に信号で伝達するステップと、
を含む例示的な実施の形態５８記載の方法。
６０．少なくとも２つの参照ピクチャにより１以上の現在のピクチャ又はスライスを符号化するステップは、
現在のピクチャ又はスライスと少なくとも２つの参照ピクチャのそれぞれとの間の動き予測の関係の精度を高めるステップと、
少なくとも２つの参照ピクチャのうちの少なくとも第二の参照ピクチャについて少なくとも１つの適応フィルタを個別に信号で伝達するステップに関連するビットコストを、精度が高められた動き予測の関係に関連する誤差エネルギーにおける低減により埋め合わせするステップと、
を含む例示的な実施の形態５９記載の方法。
６１．符号化又は復号化するステップの１以上は、双予測を含む、
例示的な実施の形態５８記載の方法。
６２．符号化ステップは、少なくとも３つの予測信号の組み合わせとして予測が形成される、多重仮説の予測を含む、
例示的な実施の形態５８記載の方法。
６３．符号化ステップ及び復号化ステップのうちの１以上は、１以上の適応フィルタをリファインするステップを含む、
例示的な実施の形態５８記載の方法。
６４．１以上の適応フィルタをリファインするステップは、
第一の参照ピクチャと第二の参照ピクチャとの間の相関を確立するステップと、
第一の参照ピクチャと第二の参照ピクチャとの間で確立された相関に少なくとも部分的に基づいて、第一の参照ピクチャの１以上の適応フィルタに基づいて第二の参照ピクチャの１以上の適応フィルタをリファインするステップと、
を含む例示的な実施の形態６３記載の方法。
６５．リファインするステップは、
第一の参照ピクチャの少なくとも１つのフィルタを使用して、第二の参照ピクチャの適応フィルタを予測するステップと、
第一の参照ピクチャの少なくとも１つのフィルタと第二の参照ピクチャの予測された適応フィルタとの間で区別する１以上の係数を送出するステップと、
を含む例示的な実施の形態６３記載の方法。
６６．適応フィルタを予測するステップは、
第一の参照ピクチャに対応する画像部分と、第二の参照ピクチャに対応する画像部分とを分析するステップと、
第一の参照ピクチャ及び第二の参照ピクチャ、又は、第一の参照ピクチャ及び第二の参照ピクチャ並びに現在のピクチャ又はスライスのうちの１以上、のうちの１以上の間で１以上の類似度を判定するステップと、
決定された１以上の類似度に少なくとも部分的に基づいて１以上の差分のフィルタ係数を選択するステップと、
を含む例示的な実施の形態６５記載の方法。
６７．第一の参照ピクチャは、１以上の第一のフィルタ特性に関連され、
第二の参照ピクチャは、１以上の第二のフィルタ特性に関連される、
例示的な実施の形態６５記載の方法。
６８．１以上の第二のフィルタ特性のうちの少なくとも１つは、１以上の第一のフィルタ特性のうちの少なくとも１つと異なる、
例示的な実施の形態６７記載の方法。
６９．少なくとも１つの参照ピクチャを並べ替えするステップと、
少なくとも１つの参照ピクチャを少なくとも２つの独立な参照ピクチャのインデックスに割り当てるステップと、
を更に含む例示的な実施の形態５８記載の方法。
７０．少なくとも２つの独立の参照ピクチャのインデックスのそれぞれに少なくとも１つの参照ピクチャを割り当てるステップに少なくとも部分的に基づいて、２以上の適応フィルタのセットを少なくとも１つの参照ピクチャに関連付けするステップを更に含む、
例示的な実施の形態６９記載の方法。
７１．２以上の適応フィルタのセットのうちの第一のセットにおける少なくとも１つの適応フィルタの少なくとも１つの特性は、２以上の適応フィルタのセットのうちの少なくとも第二のセットにおける少なくとも１つの適応フィルタの少なくとも１つの特性とは異なる、
例示的な実施の形態７０記載の方法。
７２．２以上の適応フィルタのセットのうちの第一のセットにおける少なくとも１つの適応フィルタの少なくとも第一の特性は、２以上の適応フィルタのセットのうちの少なくとも第二のセットにおける少なくとも１つの適応フィルタの少なくとも第一の特性とは異なり、
２以上の適応フィルタのセットのうちの第一のセットにおける少なくとも１つの適応フィルタの少なくとも第二の特性は、２以上の適応フィルタのセットのうちの第二のセットにおける少なくとも１つの適応フィルタの少なくとも第二の特性に対応するか又は少なくとも第二の特性と共通する特性を含む、
例示的な実施の形態７０記載の方法。
７３．少なくとも１つの参照ピクチャを第一のインデックスに割り当てることに応じて、第一のインデックスに関連する少なくとも１つの参照ピクチャに基づいて予測が重み要素により計算され、
少なくとも１つの参照ピクチャを第二のインデックスに割り当てることに応じて、第二のインデックスに関連する少なくとも１つの参照ピクチャに基づく予測が重み付け要素とは独立に計算される、
例示的な実施の形態６９記載の方法。
７４．少なくとも１つの参照ピクチャを第二のインデックスに割り当てることに応じて、第二のインデックスに関連される少なくとも参照ピクチャに基づく予測が重み付け要素なしに計算される、
例示的な実施の形態７３記載の方法。
７５．少なくとも２つの参照ピクチャの少なくとも２つは、参照ピクチャの並べ替えの使用を通して２つの異なる参照ピクチャのインデックスの割り当てに関連する１つの参照ピクチャを表す、
例示的な実施の形態５８記載の方法。
７６．少なくとも１つのフィルタバッファの少なくとも１つは、参照ピクチャバッファに記憶される少なくとも１つの参照ピクチャについて確立される、
例示的な実施の形態１記載の方法。
７７．少なくとも１つの参照ピクチャについて確立された少なくとも１つのフィルタバッファは、少なくとも１つに参照ピクチャが現在のピクチャ又はスライスを符号化するために使用されるときにアクチベートされる、
例示的な実施の形態７６記載の方法。
７８．少なくとも１つのフィルタバッファのアクチベーションは、少なくとも１つのフィルタバッファに記憶されている１以上のバッファリングされたフィルタを使用するため、少なくとも１つのフィルタバッファにインデックスを付すステップと、
エンコーダでの少なくとも１つの参照ピクチャについて導出される１以上の適応フィルタで、又はデコーダで少なくとも１つの参照ピクチャについてビデオビットストリームで受信される１以上の適応フィルタで少なくとも１つのフィルタバッファを更新するステップと、
のうちの１以上を含む例示的な実施の形態７７記載の方法。
７９．例示的な実施の形態３６乃至５７の１以上に従って、少なくとも１つのフィルタバッファを管理するステップを更に含む、
例示的な実施の形態７６乃至７８の何れか記載の方法。
８０．入力ビデオ信号の符号化は、少なくとも２つのスライスを使用して１つの入力ピクチャを符号化するステップを含む、
例示的な実施の形態１記載の方法。
８１．少なくとも２つのスライスのうちの第一のスライスの復号化は、少なくとも２つのスライスのうちの第二のスライスの復号化と並行して実行される、
例示的な実施の形態８０記載の方法。
８２．第一のテンポラリフィルタバッファは、第二のスライスの復号化のために維持される第二のテンポラリフィルタバッファとは独立に第一のスライスの復号化について維持される、
例示的な実施の形態８０記載の方法。
８３．１以上のテンポラリバッファを統合するステップを更に含み、第一のテンポラリフィルタバッファ及び第二のテンポラリフィルタバッファは、テンポラリバッファの統合ステップの間に使用される、
例示的な実施の形態８２記載の方法。
８４．統合ステップに少なくとも部分的に基づいて最終的なフィルタバッファを形成するステップを更に含む、
例示的な実施の形態８３記載の方法。
８５．最終的なフィルタバッファを形成するために使用される統合ステップは、現在のピクチャの少なくとも２つのスライスの復号化の終了に応じて実行される、
例示的な実施の形態８４記載の方法。
８６．１以上の適応フィルタは、入力信号に対応する統計量であって、ビデオビットストリームで送出される統計量に少なくとも部分的に基づいて導出されるフィルタ特性を有する、
例示的な実施の形態１記載の方法。
８７．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
の少なくとも１つを含む例示的な実施の形態１記載の方法。
８８．１以上の適応ループフィルタは、
ブロックに基づく適応ループフィルタ、
四分木に基づく適応ループフィルタ、
のうちの少なくとも１つを含む例示的な実施の形態８８記載の方法。
８９．バッファリングするステップは、
１以上の適応ループフィルタ、
１以上の適応ポストループフィルタ、
１以上のブロックに基づく適応ループフィルタ、
１以上の四分木に基づく適応ループフィルタ、
のうちの１以上をバッファリングするステップを含む例示的な実施の形態８７又は
実施の形態８８記載記載の方法。

［例示的な実施の形態の実現］
本発明の実施の形態は、１以上のコンピュータシステム（又はその使用）、エンコーダ及び／又はデコーダを含む様々なビデオに関連する装置の何れか、及び、（限定されるものではないが）プログラマブルロジックデバイス（PLD）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向けIC（ASIC）、デジタルシグナルプロセッサ（DSP）、及び／又はマイクロコントローラを含む１以上の集積回路（IC）で実現される。さらに、本発明の実施の形態は、ソフトウェアプロダクトを含む、ハードウェア、ソフトウェア、ファームウェア及び／又はこれらの組み合わせで実現される。本発明の実施の形態は、１以上のコンピュータ読み取り可能な記憶媒体に記憶される、エンコードされた命令を実行する１以上のプロセッサ、及び／又は係る命令の制御、プログラミング、コンフィギュレーション又は原因でプロセスを実行する１以上のプロセッサにより実行される。本発明の実施の形態は、以下に列挙される、１以上の例示的な実施の形態に関連する。
９０．ビデオエンコーダ又はビデオデコーダの１以上において少なくとも１つのバッファを確立する手段と、
少なくとも１つのバッファに１以上の適応フィルタをバッファリングする手段と、
少なくとも１つのフィルタバッファにおける１以上のフィルタを使用して入力ビデオ信号を符号化する手段と、
を備えるシステム。
９１．例示的な実施の形態２乃至８９のうちの１以上で引用されるステップを実行する手段を更に備える、
例示的な実施の形態９０記載のシステム。
９２．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
のうちの少なくとも１つを備える例示的な実施の形態９０記載のシステム。
９３．１以上の適応フィルタをバッファリングする少なくとも１つのフィルタバッファを備えるビデオエンコーダ。
９４．少なくとも１つのプロセッサと、
少なくとも１つのプロセッサで実行されたとき、ビデオエンコーダに例示的な実施の形態２乃至８９のうちの１以上で引用されるステップを実行させる命令を含むコンピュータ読み取り可能な記録媒体と、
を更に備える例示的な実施の形態９３記載のビデオエンコーダ。
９５．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
のうちの少なくとも１つを含む例示的な実施の形態９３記載のビデオエンコーダ。
９６．１以上の適応フィルタをバッファリングする少なくとも１つのフィルタバッファを備えるビデオデコーダ。
９７．少なくとも１つのプロセッサと、
少なくとも１つのプロセッサで実行されたときに、例示的な実施の形態２乃至８９のうちの１以上に記載されるステップをビデオデコーダに実行させる命令を含むコンピュータ読み取り可能な記録媒体と、
を更に備える請求項９６記載のビデオデコーダ。
９８．ビデオ信号の符号化又はビデオ信号の復号化の少なくとも１つを実行する装置であって、
１以上の適応フィルタをバッファリングする少なくとも１つのフィルタバッファを備える装置。
９９．少なくとも１つのプロセッサと、
少なくとも１つのプロセッサにより実行されたとき、例示的な実施の形態２乃至８９のうちの１以上で引用されるステップをビデオエンコーダに実行させる命令を含むコンピュータ読み取り可能な記録媒体と、
を更に備える例示的な実施の形態９８記載の装置。
１００．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
の少なくとも１つを含む例示的な実施の形態９８記載の装置。
１０１．ビデオエンコーダ又はビデオデコーダの１以上に少なくとも１つのフィルタバッファを確立するステップ、
少なくとも１つのフィルタバッファに１以上の適応フィルタをバッファリングすること、
少なくとも１つのフィルタバッファにおける１以上のフィルタを使用して入力ビデオ信号を符号化するステップ、
を含むコンピュータシステムの使用。
１０２．例示的な実施の形態２乃至８９のうちの１以上で引用されるステップを更に含む例示的な実施の形態１０１に記載のコンピュータシステムの使用。
１０３．例示的な実施の形態９０乃至１００の１以上で記載される１以上のコンピュータシステム、ビデオエンコーダ、ビデオデコーダ又は装置を設定、プログラミング又は制御するステップのうちの１以上を含むコンピュータシステムの使用。
１０４．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
のうちの少なくとも１つを含む例示的な実施の形態１０１、１０２又は１０３のうちの１以上に記載のコンピュータシステムの使用。
１０５．１以上のコンピュータシステムのプロセッサ、ビデオエンコーダ、又はビデオデコーダにより実行されたときに、
ビデオエンコーダ又はビデオデコーダの１以上において少なくとも１つのフィルタバッファを確立するステップと、
少なくとも１つのフィルタバッファに１以上の適応フィルタをバッファリングするステップと、
少なくとも１つのフィルタバッファにおける１以上のフィルタを使用して入力ビデオ信号を符号化するステップと、
を含む方法をプロセッサに実行させる命令を含むコンピュータ読み取り可能な記録媒体。
１０６．１以上のコンピュータシステムのプロセッサ、ビデオエンコーダ、又はビデオデコーダにより実行されたときに、例示的な実施の形態２乃至８９の１以上に記載されるステップをプロセッサに実行させる命令を更に含む例示的な実施の形態１０５に記載のコンピュータ読み取り可能な記録媒体。
１０７．プロセッサにより実行されたとき、例示的な９０乃至１０４のうちの１以上に記載の１以上のコンピュータシステム、ビデオエンコーダ、ビデオデコーダ、装置又はコンピュータシステムの使用を設定、プログラム又は制御する命令を含むコンピュータ読み取り可能な記録媒体。
１０８．１以上の適応フィルタは、
適応補間フィルタ、
適応ループフィルタ、
適応ポストループフィルタ、
のうちの少なくとも１つを含む例示的な実施の形態１０５、１０６又は１０７のうちの１以上に記載のコンピュータ読み取り可能な記録媒体。

［等価、拡張、変更及びその他］
バッファ型適応フィルタの例示的な実施の形態が記載された。上述された明細書では、本発明の実施の形態は、ある実現から別の実現に代わる場合がある様々な特定の詳細を参照して記載された。従って、本発明であるもの、本発明であると出願人により意図されるものに関する唯一且つ排他的な指標は、その後の補正を含めて、係る請求項が生じる特定の形式における、この出願から由来する請求項のセットである。係る請求項に含まれる用語について本明細書で明示的に述べた定義は、請求項で使用されたときに係る用語の意味を支配する。従って、請求項で明示的に記載されない制限、構成要素、特性、特徴、利点又は属性は、何れかのやり方で係る請求項の範囲を制限するものではない。従って、明細書及び図面は、限定的な意味ではなく例示的な意味として見なされるべきである。

【０００５】
この節で記載されるアプローチは、追跡されるアプローチであるが、必ずしも以前に着想又は追跡されたアプローチではない。従って、特に断りがない限り、この節で記載されるアプローチの何れかはこの節におけるそれらの包含のために単に従来技術として見なすことが想定されるべきでない。同様に、１以上のアプローチに関して識別される問題は、特に断りがない限り、この節に基づいて従来技術において認識されていることを想定しない。
EP2048886号で公開される欧州特許出願は、予測の精度とシグナリングのオーバヘッドとの間のトレードオフを最適化する、断片的画素の解像度をもつビデオコーダ及びデコーダを記載している。
【発明の概要】
【課題を解決するための手段】

Claims (23)

1. 少なくとも１つのフィルタのバッファを、ビデオエンコーダ又はビデオデコーダのうちの１以上において設けるステップと、
   前記少なくとも１つのフィルタのバッファにおいて１以上のフィルタを記憶するステップと、
   前記少なくとも１つのフィルタのバッファにおける前記１以上のフィルタを使用して、入力ビデオ信号を符号化するステップと、
   を含むことを特徴とする方法。
2. 記憶された１以上のフィルタは、１以上の適応フィルタを含む、
   請求項１記載の方法。
3. 前記デコーダで前記１以上の適応フィルタを受信するステップと、前記１以上の適応フィルタは、前記デコーダで受信されたビデオビットストリームの一部を含み、
   前記エンコーダで前記１以上の適応フィルタのうちの少なくとも１つを導出するステップと、
   のうちの１以上を更に含む請求項１記載の方法。
4. 前記バッファはビデオエンコーダに設けられ、
   当該方法は、ピクチャ又はスライスのうちの１以上を符号化するステップを更に含む、
   請求項１記載の方法。
5. 前記記憶されたフィルタにインデックスを付すステップを更に含む、
   請求項１記載の方法。
6. 前記エンコーダで前記フィルタのバッファを設けたことに応じて、当該方法は、前記エンコーダで符号化されたピクチャ又はスライスに対応する特性又は統計量のうちの１以上に基づいて、前記フィルタのバッファを動的に更新するステップを更に含み、
   前記デコーダで前記フィルタのバッファを設けたことに応じて、当該方法は、前記デコーダでビデオビットストリームにおいて受信されたピクチャ又はスライスに対応する特性又は統計量のうちの１以上に基づいて、前記フィルタのバッファを動的に更新するステップを更に含み、
   前記エンコーダ又は前記デコーダで前記フィルタのバッファを動的に更新したことに応じて、当該方法は、前記動的に更新するステップのうちの１以上に関連して、前記エンコーダ及び前記デコーダを同期させるステップを更に含む、
   請求項１記載の方法。
7. 前記エンコーダで、当該方法は、
   ビデオピクチャのそれぞれの領域を分析するステップと、
   前記分析するステップに少なくとも部分的に基づいて前記ピクチャを１以上の画像の領域に分割するステップと、
   ビデオ系列のピクチャのグループについて少なくとも１つの適応フィルタを導出するステップと、
   前記少なくとも１つの適応フィルタを記憶するステップと、
   第二のビットストリームユニットの送出の前又は前記第二のビットストリームユニットの送出の間に、第一のビットストリームユニットで前記少なくとも１つの適応フィルタを送出するステップとのうちの１以上を更に含み、前記少なくとも１つの適応フィルタは、ピクチャのグループを符号化するために使用され、
   前記デコーダで、当該方法は、
   前記デコーダで前記第一のビットストリームユニットにおいて前記１以上の適応フィルタを受信するステップと、
   前記少なくとも１つの適応フィルタを記憶するステップと、
   前記第二のビットストリームユニットを受信するステップとのうちの１以上を更に含み、前記少なくとも１つの適応フィルタは、ピクチャのグループを復号化するために使用される、
   請求項１記載の方法。
8. 前記少なくとも１つのフィルタバッファを管理するステップを更に含む、
   請求項１記載の方法。
9. エンコーダが新たな適応フィルタを送出し、デコーダが前記新たな適応フィルタを受信したことに応じて、前記管理するステップは、前記新たな適応フィルタを前記新たな適応フィルタが関連されるフィルタのバッファに加えるステップを含み、
   前記新たな適応フィルタの送出及び受信に応じて、及び前記エンコーダと前記デコーダが１以上の条件が満たされたことを同期して決定したことに応じて、前記管理するステップは、前記新たな適応フィルタを前記新たな適応フィルタが関連される前記フィルタのバッファに加えるステップを含み、
   前記新たな適応フィルタの送出及び受信に応じて、前記管理するステップは、
   前記エンコーダで、前記ビデオビットストリームで更なるシンタックスを送出するステップと、
   前記デコーダで、前記ビデオビットストリームで前記更なるシンタックスを受信するステップとを含み、前記更なるシンタックスは、前記新たな適応フィルタが前記新たな適応フィルタが関連される前記フィルタのバッファに加えられるべきかを示し、
   少なくとも２つの値のうちの第一の値を有する前記更なるシンタックスに応じて、前記更なるシンタックスの前記第一の値に少なくとも部分的に基づいて、前記新たな適応フィルタを前記新たな適応フィルタが関連される前記フィルタのバッファに加えるステップと、
   前記少なくとも２つの値のうちの第二の値を有する前記更なるシンタックスに応じて、前記更なるシンタックスのうちの前記第二の値に少なくとも基づいて、前記新たな適応フィルタを含まない前記フィルタバッファの状態を維持するステップとの少なくとも１つを含む、
   請求項８記載の方法。
10. 前記管理するステップは、
    前記フィルタのバッファのキャパシティ状態を決定するステップと、
    それぞれのフィルタのバッファのキャパシティサイズを指定するステップと、前記フィルタのバッファのうちの第一のバッファのキャパシティサイズは、前記フィルタのバッファのうちの第二のバッファのキャパシティサイズとは独立であり、
    前記フィルタが前記少なくとも１つのフィルタのバッファで記憶される順序を決めるステップと、
    少なくとも１つのデフォルトフィルタを指定するステップと、
    のうちの１以上を含む請求項８記載の方法。
11. 前記少なくとも１つのフィルタのバッファにおける前記１以上のフィルタは、動き補間、動き推定、動き補償、動き推定補間、動き補償補間、動き予測補間又は動き予測のうちの１以上を実行するために使用され、
    当該方法は、
    少なくとも２つの参照ピクチャにより現在のピクチャ又はスライスのうちの１以上を符号化するステップと、
    少なくとも２つの参照ピクチャにより現在のピクチャ又はスライスのうちの１以上を復号化するステップと、のうちの１以上を含み、
    前記少なくとも２つの参照ピクチャのうちの第一の参照ピクチャについての前記適応フィルタの１以上は、前記少なくとも２つの参照ピクチャのうちの少なくとも第二の参照ピクチャについての前記適応フィルタの少なくとも１つとは独立に指示される、
    請求項１記載の方法。
12. 少なくとも２つの参照ピクチャにより現在のピクチャ又はスライスのうちの１以上を符号化するステップは、
    前記少なくとも２つの参照ピクチャのうちの第一の参照ピクチャについて前記１以上の適応フィルタを信号で伝達するステップと、
    前記少なくとも２つの参照ピクチャのうちの少なくとも第二の参照ピクチャについて前記少なくとも１つの適応フィルタを個別に信号で伝達するステップとを含み、
    少なくとも２つの参照ピクチャにより現在のピクチャ又はスライスのうちの１以上を符号化するステップは、
    前記現在のピクチャ又はスライスと前記少なくとも２つの参照ピクチャのそれぞれとの間の動き予測の関係の精度を高めるステップと、
    前記少なくとも２つの参照ピクチャのうちの少なくとも前記第二の参照ピクチャについて前記少なくとも１つの適応フィルタを個別に信号で伝達するステップに関連するビットコストを、精度が高められた動き予測の関係に関連する誤差エネルギーにおける低減により埋め合わせをするステップとを含む、
    請求項１１記載の方法。
13. 前記符号化ステップ又は復号化ステップの１以上は、双予測を含むか、又は
    前記符号化ステップは、多重仮説予測を含み、前記予測は、少なくとも３つの予測信号の組み合わせとして形成されるか、又は、
    前記符号化ステップ又は復号化ステップの１以上は、１以上の適応フィルタをリファインするステップを含むか、又は
    前記少なくとも２つの参照ピクチャにより現在のピクチャ又はスライスのうちの１以上を符号化するステップは、
    前記少なくとも２つの参照ピクチャのうちの第一の参照ピクチャについて前記１以上の適応フィルタを信号で伝達するステップと、
    前記少なくとも２つの参照ピクチャのうちの少なくとも前記第二の参照ピクチャについて前記少なくとも１つの適応フィルタを個別に信号で伝達するステップとを含む、
    請求項１１記載の方法。
14. 前記少なくとも１つのフィルタのバッファのうちの少なくとも１つは、参照ピクチャのバッファに記憶されている少なくとも１つの参照ピクチャについて設けられる、
    請求項１１記載の方法。
15. 前記１以上の適応フィルタは、
    適応補間フィルタと、
    適応ループフィルタと、
    適応ポストループフィルタと、
    のうちの少なくとも１つを含む請求項２乃至１４の何れか記載の方法。
16. 請求項１乃至１５の何れか記載の１以上のステップを処理、又は実行する手段を備える、
    ことを特徴とするシステム。
17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに、請求項１乃至１５の何れか記載の１以上のステップを実行させる符号化された命令を含むコンピュータ読み取り可能な記録媒体と、
    を備えることを特徴とするビデオエンコーダ。
18. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに、請求項１乃至１５の何れか記載の１以上のステップを実行させる符号化された命令を含むコンピュータ読み取り可能な記録媒体と、
    を備えることを特徴とするビデオデコーダ。
19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに、請求項１乃至１５の何れか記載の１以上のステップを実行させる符号化された命令を含むコンピュータ読み取り可能な記録媒体と、
    を備えることを特徴とするコンピュータ装置。
20. 請求項１乃至１５の何れか記載の１以上のステップを実行する集積回路（IC）装置。
21. プログラマブルロジックデバイス（PLD）と、
    フィールドプログラマブルゲートアレイ（FPGA）と、
    デジタルシグナルプロセッサ（DSP）と、
    特定用途向けIC（ASIC）と、
    マイクロコントローラと、
    のうちの少なくとも１つを含む請求項２０記載の集積回路装置。
22. 請求項１乃至１５の何れか記載の１以上のステップを処理、又は実行するステップを含む、
    ことを特徴とするコンピュータシステムの使用。
23. 少なくとも１つのプロセッサにより実行されたときに、前記少なくとも１つのプロセッサに、
    請求項１乃至１５の何れか記載の１以上のステップを実行させ、
    請求項１６記載のシステムと、請求項１７記載のビデオエンコーダと、
    請求項１８記載のビデオデコーダと、請求項１９記載のコンピュータ装置とのうちの１以上をプログラム、命令又は制御し、
    請求項２０又は２１記載の集積回路装置の少なくとも１つをプログラム、設定又は制御し、
    請求項２２記載のコンピュータシステムの使用を実行、又は制御する、
    る命令を含むコンピュータ読み取り可能な記録媒体。

Images