JP2013534388A - 適応ループフィルタリングの方法及び装置 - Google Patents

Abstract

インループフィルタを使用した、インループの再構成されたビデオを処理する方法及び装置が開示される。近年のHEVCの開発において、適応ループフィルタ（ALF）は、インループの再構成ビデオデータを処理し、ALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFにされる。再構成されたビデオデータｎ適応的に適用される複数のフィルタのセットの選択を可能にする高度のALFが開示される。本明細書の開示では、インループの再構成されたビデオデータの画素は複数のフィルタリングされるべき領域に分割され、フィルタセットからのインループフィルタは、レート−歪みの最適化手順に基づいてそれぞれのフィルタリングされた領域について決定される。本発明の１実施の形態によれば、レート−歪みの最適化手順に関連するコスト関数の計算は、オリジナルのビデオデータとインループの再構成されたビデオデータに関連する相関値に関連する。さらに、相関値は、前記それぞれのフィルタリングされるべき領域についてレート−歪みの最適化手順の間に複数の候補となるフィルタにより共有される。別の実施の形態では、相関値は、インループの再構成されたビデオデータの領域について、レート−歪みの最適化手順の間に、インループの再構成されたビデオデータの領域の複数の候補となるフィルタリングされるべき領域により共有される。

Description

本発明は、映像符号化に関する。より詳細には、本発明は、インループフィルタリングに関連する符号化技術に関する。

本出願は、2010年10月5日に提出された“Improved In-loop Filter”と題された米国特許仮出願第61/390,068号の優先権を主張するものである。また、本発明は、2011年8月24日に提出された米国特許出願第13/216,242号に関連する。米国特許仮出願及び米国特許出願は、引用によりその完全な形で本明細書に盛り込まれる。

動き補償フレーム間符号化は、MPEG-1/2/4及びH.261/H.263/H.264/AVCのような様々な符号化技術で広く適用されている。係る符号化システムにおけるその後の処理と同様に、動き予測及び補償は、ブロックに基づいて行われる。圧縮プロセスの間、量子化のような適用される損失演算のため、符号化ノイズが生じる場合がある。符号化のアーチファクトは、特にブロック近くの境界で、再構成されたビデオデータにおいて知覚されるようになる。符号化アーチファクトの可視性を軽減するため、H.264/AVCのような新たな符号化システム及び開発されている高能率映像符号化（HEVC: High Efficiency Video Coding）デブロッキングと呼ばれる技術が使用されている。デブロッキングプロセスは、画像の先鋭度を保持しつつ、符号化ノイズによる大きな遷移及びブロック近くの境界を平滑化するために、ブロックの境界にわたり適応的にフィルタリングを適用する。さらに、フレーム間符号化の性質のため、デブロッキングプロセスは、インループ動作のために構成される。近年のHEVCの開発において、適応ループフィルタリング（ALF）が再構成されたフレーム又はデブロックフィルタリングされた再構成フレームを処理するために適用される。適応ループフィルタリングは、デブロッキングに加えてインループ処理として使用され、再構成されたビデオデータのデブロッキング後に適用されることがある。フィルタ係数は、オリジナルフレームと再構成フレームとの間の平均平方誤差を最小にするWiener-Hopf式のような既知の最適化アルゴリズムに従って設計される場合がある。

HEVCシステムでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。選択されたパフォーマンスの基準に従って、ブロックがALFを受けるか否かに関して、それぞれのブロックについて判定が行われる。2011年4月25日に提出された“Method and Apparatus of Adaptive Filtering”と題された米国特許出願第13/093,068号では、再構成されたビデオデータに適応的に適用することができる複数のフィルタセットの選択を可能にする高度なALFが開示されている。さらに、高度なALFは、より柔軟及び／又はローカライズされた処理を提供することができるように、適応するためのフィルタリングプロセスの新たなユニットを適用している。米国特許出願第13/093,068号は、フレキシブルな適応ループフィルタを開示しているが、FU（フィルタユニット）を一般的な処理構造（この開示ではフィルタリングされるべき領域“to-be-filtered”と呼ばれる）に拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込んだシステムを開発することが望ましい。さらに、様々な処理構造及び様々な候補となるフィルタの間でシステムパフォーマンスを最適化するレート−歪みの最適化の手順を組み込むことが望まれる。

適応ループフィルタを使用した符号化ビデオを処理する方法及び装置が開示される。本発明に係る１実施の形態では、適応ループフィルタを使用した符号化ビデオの処理の方法及び装置は、関連されるデータに基づいてインループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、複数の候補となるフィルタから構成されるフィルタセットからインループフィルタを決定すること、インループフィルタを決定することは、レート−歪みの最適化手順に基づいており、及び前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。インループフィルタは、再構成されたビデオ、SAO（Sample Adaptive Restoration）回復されたビデオ、デブロッキングフィルタ処理が施されたビデオ、又はALF回復されたビデオに適用することができる。本発明の１態様は、インループの再構成されたビデオデータの画素をフィルタリングされるべき領域に分割する方法に関する。本方法は、分類方法、画像分割方法、又は分類方法と画像分割方法の組み合わせに基づく。

本発明の別の態様は、レート−歪みの最適化手順に関連するコスト関数の計算に関する。本発明に係る１実施の形態では、コスト関数の計算は、オリジナルビデオデータ及びインループ再構成されたビデオに関連する相関値を利用する。本発明に係る別の実施の形態では、コスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連する相関値を利用する。本発明に係る１実施の形態では、相関値は、前記それぞれのフィルタリングされるべき領域についてレート−歪みの最適化手順の間に複数の候補となるフィルタにより共有することができる。本発明に係る別の実施の形態では、相関値は、インループの再構成されたビデオデータの領域について、レート−歪みの最適化手順の間に、インループの再構成されたビデオデータの領域の複数の候補となるフィルタリングされるべき領域により共有される。インループフィルタは、フィルタ係数、エッジオフセットフィルタ、又はバンドオフセットフィルタを有する線形空間フィルタとすることができる。線形空間フィルタが使用されるとき、レート−歪み最適化手順に関連するコスト関数の計算は、フィルタ係数、及びオリジナルビデオデータとインループの再構成されたビデオデータとに関連される相関値に関連する。代替的に、レート−歪みの最適化手順に関連するコスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連するフィルタ係数及び相関値に関連する。インループフィルタの情報は、デコーダはエンコーダと同じインループフィルタを選択するように、ビデオビットストリームに組み込まれる。

ビデオデコーダにおける適応ループフィルタを使用して符号化ビデオを処理する方法及び装置が開示される。本発明に係る１実施の形態では、適応ループフィルタを使用したビデオデコーダにおける符号化ビデオの処理の方法及び装置は、関連するデータに基づいて、インループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、ビデオビットストリームからインループフィルタを決定すること、前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。

動き補償予測を組み込んだ映像符号化システムの例示的なブロック図を示す。この場合、適応ループフィルタは、映像品質を改善するために含まれる。 エッジに基づく分類について現在の画素及び４つの隣接する画素から構成されるコンフィギュレーションを例示する図である。 エッジに基づく分類について現在の画素及び４つの隣接する画素から構成される代替的なコンフィギュレーションを例示する図である。 ０°，４５°，９０°及び１３５°での方向を有するエッジ分類子に基づく例示的な分類を例示する図である。 9×9ひし形フィルタの例を例示する図である。 7×7ひし形フィルタの例を例示する図である。 5×5ひし形フィルタの例を例示する図である。 9×7六角形フィルタの例を例示する図である。 本発明に係る実施の形態を組み込んだ符号化システムの例示的なフローチャートである。 本発明に係る実施の形態を組み込んだ復号化システムの例示的なフローチャートである。 本発明に係る実施の形態を組み込んだ符号化システムの別の例示的なフローチャートである。

デジタル映像圧縮について、動き補償されたフレーム間符号化は、効果的な圧縮技術であり、MPEG-1/2/4及びH.261/H.263/H.264/AVCのような様々な符号化規格で広く適用されている。動き補償システムでは、動き予測／補償及び後続の圧縮は、ブロック毎に行われることがあある。圧縮プロセスの間、係る量子化のような適用される損失演算のため、符号化ノイズが生じる場合がある。符号化アーチファクトは、特にブロック近くの境界で、再構成されたビデオデータにおいて知覚されるようになる場合がある。符号化アーチファクトの可視性を軽減するため、デブロッキングと呼ばれる技術は、H.264/AVC、及び開発されている高能率符号化（HEVC）システムのような新たな符号化システムで使用されている。デブロッキングプロセスは、画像の先鋭度を保持しつつ、符号化ノイズによる大きな遷移及びブロック近くの境界を平滑化するため、ブロックの境界にわたるフィルタリングを適応的に適用する。さらに、フレーム間符号化の性質のため、デブロッキングプロセスは、ループ内の処理のために構成される。

デブロッキングの他に、線形空間フィルタ、エッジオフセットフィルタ及びバンドオフセットフィルタに基づく適応ループフィルタのような様々なインループフィルタがHEVCにおいて導入されている。McCann等による“Samsung’s Response to the Call for Proposals on Video Compression Technology”in Document: JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010により開示されたインループのエッジオフセットプロセス及びインループのバンドオフセットプロセスは、この開示においてそれぞれエッジオフセットフィルタ及びバンドオフセットフィルタとして考えられる。さらに、高度のインループフィルタを組み込んだビデオシステムは、2011年4月25日に提出された米国特許出願第13/093,068で開示され、複数のフィルタから構成されるフィルタのセットは、再構成されたビデオ、SAO回復ビデオ、又はフィルタユニットに分割することができるデブロッキングフィルタリングされたビデオデータを処理するために使用される。再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタのセットから選択される。米国特許出願第13/093,068号は、FUをインループフィルタについて一般的な処理構造（この開示において、いわゆるフィルタリングされるべき領域）に拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込むシステムを開発することが望まれる。さらに、様々な処理構造及びフィルタセットのうちの様々な候補となるフィルタのうち、システムパフォーマンスを最適化するレート−歪みの最適化手順を組み込むことが望まれる。

図１は、デブロッキングによる動き補償映像圧縮のシステムブロックを例示する。圧縮システム１００は、圧縮されたビデオビットストリームを生成するため、イントラ／インター予測、変換／量子化及びエントロピー符号化を組み込んだ典型的なビデオエンコーダを例示する。入力ビデオデータは、入力インタフェース１１２を通してエンコーダに入力し、原信号は、イントラ／インター予測１１０を受け、ここで、イントラ／インター予測１１０は、入力信号１１２、再構成信号１５２、フレームバッファ１４０に記憶される、前に処理及び再構成された信号１４２に基づいて、予測信号１１９を形成する。インター予測は、前方予測モードであり、この前方予測モードでは、予測は、現在のピクチャの前のピクチャに基づく。また、インター予測は、後方予測モードであり、この後方予測モードでは、予測は、表示順序において現在のピクチャの後のピクチャに基づく。インター予測モードでは、イントラ／インター予測１１０は、予測信号に、減算器１１５に供給し、減算器１１５は、原信号から予測信号を減算する。減算器１１５からの出力１１７は、変換／量子化ブロック１２０により更に処理された予測誤差と呼ばれる。変換／量子化１２０は、予測誤差１１７を、圧縮されたビットストリーム１３２を生成するためにエントロピー符号化１３０により更なる処理のために符号化シンボルに変換し、この圧縮されたビットストリームは、記憶されるか又は送信される。ビデオ信号を再構成するため、回復された予測誤差１６２は、予測信号１１９と結合され、再構成された信号１５２が形成される。逆変換／逆量子化１６０は、再構成された予測誤差１６２を提供するため、変換／量子化１２０により処理された予測誤差１１７に適用される。また、図１は、映像品質を改善するために再構成された信号に適用されるデブロッキングフィルタ１７０及び適応ループフィルタ（ALF）１８０を例示している。更に処理されるか又は処理されない再構成後の信号は、この開示では、インループの再構成されたビデオデータ又はインループの再構成されたフレームと呼ばれる。例えば、インループの再構成されたビデオデータは、再構成信号１５２又はデブロッキングフィルタリングされた信号１７２を示す場合がある。図１において再構成されたビデオを処理する例としてデブロッキングフィルタ１７０が示されているが、SAO（Sample Adaptive Restoration）又はデブロッキングフィルタとSAOとの組み合わせのような他の処理が使用される場合がある。SAOは、サンプルアダプティブなエッジオフセット又はバンドオフセットを含む。これらのケースでは、インループの再構成されたビデオデータは、上述された処理の前後で、何れかの信号を示す。従って、図１における再構成信号１５２又はデブロッキングフィルタリングされた１７２は、インループの再構成された信号の例である。ALF１８０はデブロッキングフィルタリングされた信号１７２を処理するためのインループフィルタの例として示されているが、インループフィルタとして、エッジオフセット又はバンドオフセットのような他のインループフィルタが使用される場合もある。インループフィルタは、上述された、再構成されたビデオデータ１５２、デブロッキングフィルタリングされた信号１７２、又はインループの再構成されたビデオデータに適用することができる。さらに、図１におけるALFを置き換えるためにSAOがインループフィルタとして使用されるとき、ALFは、インループの再構成されたビデオを生成するため、再構成されたビデオの処理として使用される場合がある。

近年のHEVCの開発では、適応ループフィルタリング（ALF）は、インループの再構成フレームを処理するために適用される。HEVCでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。１つのアプローチでは、ブロックは、LCUの四分木の分割から得られる。パフォーマンスの基準によれば、ビデオエンコーダは、ブロックがALFを受けるか否かを判定し、ALFフラグを使用して、デコーダがALFを適用することができるように、それぞれのブロックに付いてON/OFF判定を信号伝達する。インループの再構成されたビデオの視覚的な品質を改善するためにALFが示されているが、初期のALFの開発で使用されるALF処理が制限され、この場合、１つの適応ループフィルタのみを、ON又はOFFにすることができる。ALFは、空間フィルタリングのために、２次元（2D）線形フィルタを一般的に使用する。実際の使用されるフィルタの寸法の例は、5×5，7×7又は9×9である。しかし、ALFについて、他のサイズを有するフィルタを使用することができる。通常、フィルタ係数は、ピクチャの基本となる画像領域の特性に整合するように最適に設計される。例えば、フィルタ係数は、Wienerフィルタを使用することで、平均平方誤差（MSE）を最小にするように設計される。実現コストを低減するため、2Dフィルタが２つの個別の１次元フィルタを使用して実現され、一方が水平方向に適用され、他方が垂直方向に適用されるように、2Dフィルタが分離可能となるように設計される場合がある。フィルタ係数は送信される必要があるので、必要とされる副情報を節約するため、対称フィルタが使用される場合がある。送信される係数の数を低減するために、他のタイプのフィルタが使用される場合もある。例えば、ダイアモンド形状（ひし形）フィルタが使用される場合があり、この場合、非ゼロ係数のコンステレーションは、ダイアモンドの形状を有する。2011年4月25日に提出された“Method and Apparatus of Adaptive Loop Filtering”と題された米国特許出願第13/093,068号では、インループの再構成されたビデオデータに複数のフィルタセットの選択を適応的に適用する高度なLAFが開示される。さらに、インループの再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタセットから選択される。分類は、画素の強度、エッジアクティビティ、エッジ方向、エッジ強度、モード情報、量子化パラメータ、残差エネルギー、領域の特徴、動き情報、及びこれらの組み合わせのようなインループの再構成されたビデオデータから導出される特性に基づくことができる。

ALFスキーム（QC_ALF）は、Qualcommにより提案された（“Video coding technology proposal by Qualcomm Inc”, Karczewicz et al., Joint Collaborative Team on Video Coding (Jct-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010, Document: JCTVC-A121）。QC_ALFによれば、ALFは、画素毎にインループの再構成されたビデオデータに適用される。それぞれのブロックについて、SLM（Sum-modified Laplacian Measure）。ブロックのそれぞれの画素について計算されたSLM値は、画素をM個のグループのうちの１つに分類するために使用される。SLMに基づくALFは、画素毎に適用され、画素は、異なるフィルタを使用する場合がある。従って、QC_ALFは、ピクセルアダプティブ又はピクセルアダプテーション（PA）ALFとも呼ばれる。

PA LAFは、画素毎にフィルタを適応的に選択することができる一方、PA LAFは、必要とされる副情報が符号化される場合にかなりの量であるため、デコーダ側のそれぞれの画素のSLMに基づいてグループ情報を導出することを必要とする。従って、領域に基づいたALFスキームは、2011年4月25日に提出された米国特許出願第13/093,068号で開示されている。領域は、あるピクチャ又はあるピクチャの領域を固定されたブロック又は固定されたブロックのセットに分割することにより形成される。代替的に、領域は、あるピクチャ又はあるピクチャの領域を繰返し分割することにより形成される。例えば、繰返し領域分割のために四分木が使用される。領域に基づくALFが適用されるか又は領域に基づかないALF方法が適用されるかを示すために、ALF情報セットのシンタックスにおけるフラグが使用される。例えば、領域に基づくALFとブロックに基づくALFとの間で選択するためにフラグが使用される。ブロックについて選択されたフィルタは、画素に基づくALFで使用される類似の方法から導出することができる。例えば、Chong等は、ブロックに基づくALFを記載しており、4×4ブロックのLaplacianに基づくアクティビティメトリクスは、それぞれ4×4ブロックが１つのLaplacianアクティビティ値を使用することができるように平均される（Chong et al., “CE8 Subset 2: Block based adaptive loop filter (ALF)”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5^th Meeting: Geneva, CH, 16-23 March, 2011, Document: JCTVC-E323）。本方法は、4×4ブロックのそれぞれの画素についてLaplacianアクティビティ値を計算することを必要とし、従来の画素に基づくALFを通した計算を節約しない。しかし、ブロックに基づくALFは、画素に基づくALFと比較してフィルタスイッチのアクティビティの頻度を低減する。分類子としてLaplacianアクティビティを使用する代わりに、Karczewicz等により使用されるSLM計算を置き換えるために、SAO（Sample Adaptive Offset）のために使用されるバンドオフセット（BO）又はエッジオフセット（EO）分類子のような他の手段が使用される場合がある。BO及びEOの両者は、SLM手段と比較して非常に少ない計算を必要とする。

フィルタセクションは、再構成されたビデオデータの分類に基づく場合がある。関与する基礎となる再構成されたビデオデータは前に符号化されたデータとのみ関連される場合、暗黙モードを使用したALFの選択について、分類に基づくフィルタセクションが有効である。これは、デコーダは、副情報なしに同じ分類を導出するからである。分類に基づくフィルタ選択が使用されるとき、基本となる符号化されたビデオデータは、基礎となる再構成されたビデオデータから測定された特徴に基づいて複数のカテゴリに分類される。測定された特徴は、画素の強度のレベル、エッジの方向、エッジの強度、モード情報、量子化パラメータ、残差エネルギー、領域の位置、動き情報、又はこれらの組み合わせと関連される。例えば、エッジの方向は、フィルタの選択のための分類として使用され、０°，４５°，９０°及び１３５°に沿ったエッジ又はライン方向を検出するために、３×３画素のウィンドウが使用される。

画素をALFを適応的に適用するためのカテゴリに分割するため、異なる特徴に基づく多数の分類子が結合される一方、あるフラグに従って複数の特徴も選択的に使用される場合がある。例えば、領域の特徴に基づく分類子は、エッジの強度に基づく分類子と選択的に使用することができる。フラグは、領域の特徴又はエッジの強度の特徴がピクチャの分類子として使用されるかを示すために使用される。さらに、ピクチャは、幾つかの領域に分割され、個々の領域について分類の選択が実行される。同じカテゴリにおける領域は、同じフィルタを共有する。領域は、フィルタユニット又は符号化ユニットである。さらに、領域は、画素の位置に基づいて形成される場合がある。

米国特許出願第13/093,068号に従う方法がシステムのパフォーマンスを改善する一方、システムパフォーマンスを更に改善することができる高度なインループフィルタのスキームを開発することが望まれる。従って、画像データの画素をフィルタリングされるべき領域に分割し、レート−歪み最適化を適用して、それぞれのフィルタリングされるべき領域についてフィルタセットからインループフィルタを選択する、高度なインループフィルタスキームが開発される。画像は、フレーム、フィールド、又は１以上のスライスのようなピクチャの一部である。フィルタリングされるべき領域は、画像をブロックに分割することで形成され、それぞれのブロックは、インループフィルタにより処理され、この場合、レート−歪みの最適化プロセスに従ってフィルタが選択される。画像データを分割することで形成されるブロックは、フィルタユニット（FU）と呼ばれる。FUは、四分木を使用して形成されるか、又は画像データを等しいサイズのブロックに分割することでシンプルに形成される。等しいサイズのブロックは、レート−歪みの最適化プロセスに従って適応的にマージされる場合がある。代替的に、FUは、レート−歪みの最適化プロセスに従って適応的に分割することができる。さらに、FUの分割は、CUに揃えられ（CU-aligned）、この場合、フィルタユニットの境界は、符号化ユニットの境界であり、フィルタユニットのそれぞれは、少なくとも１つの符号化ユニットを含む。

フィルタリングされるべき領域は、分類に従って画像データを分割することで形成される。画像データを複数のフィルタリングされるべき領域に分類する多数の異なる方法が存在する。例えば、エッジに基づく分類方法は、“Samsung’s Response to the Call for Proposals on Video Compression Technology” in Document: JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010と題されたMcCann等により開示されている。McCann等は、中央の画素Ｃにの周囲の４つの隣接する画素Ｎ０，Ｎ１，Ｎ２及びＮ３を使用して、図２Ａに示されるように、現在の画素を複数のクラスに分類する。McCann等は、強度レベルのオフセット補償のため、エッジに基づく分類を使用する。従って、エッジに基づく分類は、エッジオフセット分類又は手短にエッジオフセットとよばれる。代替的な隣接する画素のコンフィギュレーションは、図２Ｂに示されるように、“Apparatus and Method of Adaptive Offset for Video Coding”と題される米国特許出願第12/987,151号で開示される。図３に示されるように、０°，４５°，９０°及び１３５°に沿ったエッジ又はラインの向きを検出するため、３×３画素のウィンドウにおいて３つの画素を使用する方法のような、他のエッジに基づく分類が使用される場合もある。フィルタリングされるべき領域は上述された分類又は分割を使用して形成することができる一方、フィルタリングされるべき領域は、本発明の実施の形態に従って、分類及び分割の組み合わせを使用して形成することができる。例えば、分類は、画像をブロックに分割することで形成されるフィルタリングされるべき領域（すなわち、このケースではFU）に適用される。言い換えれば、画像データは、FUに分割され、それぞれのFUは、最終的なフィルタリングされるべき領域に分類される。

上述されたエッジに基づく分類の他に、基礎となるビデオデータの他の特性に基づく分類が使用される場合もある。例えば、分類は、基礎となるビデオの強度レベルに基づく場合がある。例えばMcCann等は、オフセット補償のために、強度レベルに基づいて、画像データを１６のバンドに分類する方法を開示している。この方法は、バンドオフセット分類又は手短にバンドオフセットと呼ばれる。１６のバンドが使用される一方、多くのバンド又は少ないバンドが使用される場合がある。例えば、2011年1月9日に提出された“Apparatus and Method of Adaptive Offset for Video Coding”と題された米国特許出願第12/987,151号において、強度レベルを２つのグループとして編成される３２のバンドに分割する方法が開示される。エッジオフセット及びバンドオフセットに基づく分類が、フィルタリングされるべき領域に画素を分類する例として例示されるが、本発明は、これら特定の例に限定されず、他の分類が使用される場合がある。

本発明に係る実施の形態を組み込んだインループフィルタは、高能率映像符号化（HEVC）で開示されるように適応ループフィルタ（ALF）、エッジオフセット（EO）フィルタ又はバンドオフセット（BO）フィルタから選択されるインループフィルタのタイプとすることができる。さらに、本発明に係る実施の形態は、複数のフィルタを組み込み、レート−歪みプロセスを使用して、それぞれのフィルタリングされるべき領域についてフィルタを決定する。画像領域が分類されるフィルタリングされるべき領域は、上述されたフィルタユニットとすることができる。以下の説明では、ALFに基づくWienerフィルタリングにより生じる歪みの予測が導出される。図１に示される様々なステージで関与する信号の表記は、以下の通りである。
ｓ(ｋ)：原信号，
ｘ(ｋ)：インループの再構成された信号，
ｙ(ｋ)：回復された信号，及び
ｗi：Wienerフィルタの係数。

位置ｋでの適応ループフィルタ（ALF）による回復された信号ｙ(ｋ)は、以下の式に従って、インループの再構成された信号ｘ(ｋ)に関連する。

ここでｗiはALFの係数であり、Nは係数ｗiの全体数である。１次元の信号表現は、この開示における表記を簡単にするため、２次元ビデオデータについて使用される。しかし、基本となるビデオデータは２次元信号であり、表記は２次元の表現に拡張することができることを理解されたい。フィルタリングされるべき領域における画素の全体数はKである。上述されたように、フィルタリングされるべき領域は、上述されたフィルタユニット（FU）とすることができ、或いは、画素が隣接していないか又は矩形の形状で編成される画素のグループとすることができる。FUの平均平方誤差（MSE）εは、以下の式に基づいて計算される。

フィルタリングされるべき領域のMSE計算の簡単な実現において、回復された信号ｙ(ｋ)は、式（１）に従って選択されたフィルタを使用して計算される必要がある。回復された信号と原信号との間の平均平方誤差は、式（２）に従って計算される。レート−歪みの最適化方法がそれぞれのフィルタリングされるべき領域についてフィルタの選択を誘導するように使用されるとき、歪みMSEは、全ての可能性のあるフィルタについて計算される必要がある。言い換えれば、可能性のあるフィルタのそれぞれは、回復された信号を得るためにインループの再構成された信号に適用され、それぞれのMSEは、回復された信号及びオリジナル信号に基づいて計算される。結果的に、レート−歪みの最適化プロセスは、集中的な計算及び過剰なデータアクセスを含む。これは、計算能力及び帯域幅のような多くのシステムリソースを消費する。従って、計算上の複雑度及び帯域幅の要件を低減するスキームを開発することが望まれる。

フィルタリングされるべき領域の平均平方誤差（MSE）εは、以下のように推定される。

従って、以下が得られる。

従って、K個のサンプルを有するフィルタリングされるべき領域の歪みDは、以下により推定される。

ここで
［外１］

は、コストの比較の間の固定された項であり、コスト関数からドロップされる。式（５）において、項
［外２］

は、インループの再構成された信号ｘ(ｋ)の自己相関及びインループの再構成された信号ｘ(ｋ)と原信号ｘ(ｋ)との間の相互相関をそれぞれ表す。項
［外３］

をもたない変更された歪みD’は、式（６）において示される。

更なる計算上の複雑度の低減は、
［外４］

の点を考慮することで達成される。式（５）における歪み又は式（６）における変更された歪みは特定の形態にある一方、歪み又は変更された歪みは、本発明の精神から逸脱することなしに変更又は再配置される場合がある。例えば、スケーリングファクタは、所望の範囲内に値を保持するために含まれる場合がある。項
［外５］

の総和は、はじめにインデックスｉについて、次いでインデックスｊについて行われる。

式（２）に示される回復された信号と原信号との間の平均平方誤差εは、回復された信号を生成するため、候補となるフィルタを使用した実際のフィルタリングを必要とする。他方では。式（５）に従って推定された平均平方誤差（又は歪みD，D＝Kε）又は式（６）に従って推定された変更された歪みは、フィルタリングを実際に行う必要はない。代わりに、式（５）又は式（６）に基づく歪み又は変更された歪みは、インループの再構成された信号と原信号との間の相互相関行列を計算する。式（５）における歪み又は式（６）における変更された歪みは、レート−歪みの最適化プロセスの間にフィルタを選択するためのコスト関数を導出するために使用される。フィルタを選択するコスト関数の歪みの項は、式（５）における歪み又は式（６）における変更された歪みに低減することができる。式（６）において推定された変更された歪みに基づくコスト関数Ｊは、以下のように低減される。

項bitrate(wi)は、係数ｗi及び他のフィルタに関連する副情報を符号化するために必要とされるビットレートを表す。さらに、式（７）に基づくコスト関数Ｊは、フィルタリングを実際の実行するために必要としない。これらの相関項は、選択されたフィルタに独立である。従って、これらの相関項は、レート−歪みの最適化の間にコスト関数の計算において、先の相関項が全ての候補となるフィルタにより共有されるように、それぞれフィルタリングされるべき領域について一度だけ計算される必要がある。結果的に、本発明に係る実施の形態は、必要とされる計算を低減するだけでなく、データアクセスに関連する管理帯域幅を低減する。式（６）は特定の形式であるが、本発明の精神から逸脱することなしに、コスト関数も変更又は再配置される場合がある。さらに、式（６）に基づく式（７）におけるコスト関数を導出する精神は、式（５）を使用することで他のコスト関数を導出するために適用することができる。

式（７）に係るコスト関数の計算は、相関項が全ての候補となるフィルタの間で共有されるので、レート−歪みの最適化プロセスを高速にする。さらに、式（７）に係るコスト関数の計算は、帯域幅の要件を大幅に低減する。従来のコスト関数の計算によれば、回復された信号と原信号とに関連する歪みは、それぞれの候補となるフィルタについて回復された信号と原信号とから計算される必要がある。結果として、それぞれフィルタリングされるべき領域の回復された信号と原信号の両者は、フィルタのセットにおけるそれぞれの候補となるフィルタについてアクセスされる必要がある。フィルタのセットにおける複数の候補となるフィルタについて、回復された信号及び原信号の両者は、複数回にわたりアクセスされる。他方で、本発明に係る実施の形態は、レート−歪みの最適化プロセスの間に、フィルタのセットについて、それぞれのフィルタリングされるべき領域についてインループの再構成された信号と原信号とに一度アクセスする必要がある。結果として、本発明に係る実施の形態は、帯域幅の要件を大幅に低減する。レート−歪みの最適化プロセスに従って選択されたフィルタは、デコーダでそれぞれのフィルタリングされるべき領域により使用される必要がある。フラグは、デコーダが正しく動作することができるように、選択されたフィルタを示すようにビットストリームに組み込まれる。

式（７）に従うコスト関数の計算は、インループの再構成された信号と原信号との相互相関値、インループの再構成された信号の自己相関値に関連するが、計算は、他の相関値に基づく場合がある。図１に示されるように、デブロックフィルタリングされた信号１７２は、再構成された信号１５２に関連するが、デブロックフィルタリングされた信号１７２及び再構成された信号１５２の両者は、インループの再構成された信号と考えられる。さらに、再構成された信号１５２は、予測信号１１９及び回復された予測誤差１６２に関連される。従って、コスト関数の計算のために使用される相関値は、原信号１１２、予測信号１１９及び回復された予測誤差１６２に基づく場合がある。

式（７）に従うコスト関数の計算は、画像データのフィルタリングされるべき領域への分割を最適化するために使用される。例えば、画像データを分割するために四分木が使用されるとき、基礎となるフィルタリングされるべき領域（すなわち、この場合にはFU）を４つのフィルタリングされるべき領域に分割するかに関する判定は、レート−歪みの最適化手順に従って行われる。基本となる領域及び分割領域に関連するコストは、式（７）に従って全ての候補となるフィルタについて効果的に計算される。これに応じて、領域分割の判定が行われる。四分木に加えて、他の領域分割方法が使用される場合もある。他方で、式（７）に係るコスト関数の計算は、フィルタリングされるべき領域の結合を最適化するために使用される。２以上の隣接するフィルタリングされるべき領域は、システムのパフォーマンスを改善するために結合され、領域結合の判定は、レート−歪みの最適化に基づく。個々の領域及び結合領域に関連するコストは、全ての候補となるフィルタについて式（７）に従って効果的に計算され、これに応じて結合の判定が行われる。同様に、コスト関数の計算のために使用される相関値は、原信号１１２、予測信号１１９及び回復された予測誤差１６２に基づく。

本発明の１態様は、様々なフィルタサイズ及び形状を有するフィルタのセットからの候補となるフィルタの選択に関連する。レート−歪みの最適化の手順は、最良のシステムパフォーマンスを達成するために、フィルタのセットのうちからフィルタを選択するために使用される。１つの例では、フィルタリングされるべき領域の候補となるフィルタのセットは、以下のフィルタの形状及びサイズを有する。

正方形：３×３，５×５，７×７，９×９
ひし形：５×５，７×７，９×９。

図４Ａ〜図４Ｃには、ひし形の形状及び５×５，７×７及び９×９のサイズをもつフィルタが示されている。ひし形の形状のフィルタの係数の数は、それぞれの正方形フィルタの約半分である。ひし形の形状のフィルタは、頂点のうちの上及び下での係数を除くことで更に簡略化される。例えば、図４Ａにおける９×９ひし形のフィルタは、図５に示される９×７の六角形フィルタに簡略化される。９×７のフィルタは、９×９フィルタと比較して少ないラインバッファを必要とする。フィルタ形状及び／又はフィルタサイズの選択は、レート−歪みコストに基づく。コスト関数の計算は、式（７）に記載される効果的なアルゴリズムに基づき、最良のフィルタの形状は、参照のレート−歪みのコストが選択されることにつながる。

選択されたフィルタ形状を示すフラグは、ビデオデコーダが選択されたフィルタを適用するのを可能にするため、ビットストリームに組み込まれる。本発明に係る実施の形態を組み込んだ例示的な方法は、図６〜図８で例示される。図６は、符号化プロセスに対応する例示的なフローチャートである。プロセスは、ブロック６１０で、符号化されたビデオデータからインループの再構成されたビデオデータを導出することで始まる。次のステップでは、インループの再構成されたビデオデータの画素は、ブロック６２０で示されるように、複数のフィルタリングされるべき領域に分割される。複数のフィルタリングされるべき領域が形成された後、ブロック６３０で示されるように、それぞれのフィルタリングされるべき領域について複数の候補となるフィルタから構成されたフィルタセットから、レート−歪みの最適化手順に基づいて、インループフィルタが決定される。インループフィルタが決定された後、ブロック６４０に示されるように、インループフィルタがそれぞれフィルタリングされるべき領域に適用され、フィルタリングされた領域が生成される。図７は、復号化プロセスに対応する例示的なフローチャートを示す。図７におけるステップは、図６におけるステップと実質的に同じである。しかし、ステップ６３０は、ステップ７１０により置き換えられ、ステップ７１０では、それぞれのフィルタリングされるべき領域についてビデオビットストリームからインループフィルタが決定される。図８は、符号化プロセスに対応する別の例示的なフローチャートである。図８におけるステップは、図６におけるステップと実質的に同じである。しかし、ステップ６３０は、ステップ８１０により置き換えられ、このステップ８１０では、それぞれフィルタリングされるべき領域について複数の候補となるフィルタから構成されるフィルタのセットから、インループフィルタが決定され、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有する。図６〜図８に示される例示的なフローチャートは、本発明を実施する例を示すことが意図される。処理ステップの特定のアレンジメントは、本発明を限定するものとして解釈されるべきではない。当業者であれば、本発明の精神から逸脱することなしに、処理ステップをアレンジし直すか、及び／又は本発明を実施する幾つかのステップを分割／結合する場合がある。

上述された本発明に係る高度のALFの実施の形態は、様々なハードウェア、ソフトウェアコード又はこれらの組み合わせで実現される。例えば、本発明の実施の形態は、本明細書で記載される処理を実行するため、ビデオ圧縮チップに集積された回路、又はビデオ圧縮ソフトウェアに集積されたプログラムコードとすることができる。本発明の実施の形態は、本明細書で記載された処理を実行するため、デジタルシグナルプロセッサ（DSP）で実行されるプログラムコードである。本明細書は、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、又はフィールドプログラマブルゲートアレイ（FPGA）により実行される多数の機能を含む。これらのプロセッサは、本発明により実施される特定の方法を定義するコンピュータ読み取り可能なソフトウェアコード又はファームウェアコードを実行することで、本発明に係る特定のタスクを実行するように構成される。ソフトウェアコード又はファームウェアコードは、異なるプログラミング言語及び異なるフォーマット又はスタイルで開発される。また、ソフトウェアコードは、異なるターゲットプラットフォームについてコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル及び言語、並びに、本発明にかかるタスクを実行するためにコードを設定する他の手段は、本発明の精神及び範囲から逸脱しない。

本発明は、その精神又は必須の特性から逸脱することなしに、他の特定の形式で実施される場合がある。記載される例は、全ての観点で例示するものであって限定するものではないことが考慮されるべきである。本発明の範囲は、従って上述の記載によるのではなく特許請求の範囲により示される。請求項の等価な意味及び範囲に含まれる全ての変形は、それらの範囲に包含される。

本発明は、映像符号化に関する。より詳細には、本発明は、インループフィルタリングに関連する符号化技術に関する。

本出願は、2010年10月5日に提出された“Improved In-loop Filter”と題された米国特許仮出願第61/390,068号の優先権を主張するものである。また、本発明は、2011年8月24日に提出された米国特許出願第13/216,242号に関連する。米国特許仮出願及び米国特許出願は、引用によりその完全な形で本明細書に盛り込まれる。

動き補償フレーム間符号化は、MPEG-1/2/4及びH.261/H.263/H.264/AVCのような様々な符号化技術で広く適用されている。係る符号化システムにおけるその後の処理と同様に、動き予測及び補償は、ブロックに基づいて行われる。圧縮プロセスの間、量子化のような適用される損失演算のため、符号化ノイズが生じる場合がある。符号化のアーチファクトは、特にブロック近くの境界で、再構成されたビデオデータにおいて知覚されるようになる。符号化アーチファクトの可視性を軽減するため、H.264/AVCのような新たな符号化システム及び開発されている高能率映像符号化（HEVC: High Efficiency Video Coding）デブロッキングと呼ばれる技術が使用されている。デブロッキングプロセスは、画像の先鋭度を保持しつつ、符号化ノイズによる大きな遷移及びブロック近くの境界を平滑化するために、ブロックの境界にわたり適応的にフィルタリングを適用する。さらに、フレーム間符号化の性質のため、デブロッキングプロセスは、インループ動作のために構成される。近年のHEVCの開発において、適応ループフィルタリング（ALF）が再構成されたフレーム又はデブロックフィルタリングされた再構成フレームを処理するために適用される。適応ループフィルタリングは、デブロッキングに加えてインループ処理として使用され、再構成されたビデオデータのデブロッキング後に適用されることがある。フィルタ係数は、オリジナルフレームと再構成フレームとの間の平均平方誤差を最小にするWiener-Hopf式のような既知の最適化アルゴリズムに従って設計される場合がある。

HEVCシステムでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。選択されたパフォーマンスの基準に従って、ブロックがALFを受けるか否かに関して、それぞれのブロックについて判定が行われる。2011年4月25日に提出された“Method and Apparatus of Adaptive Filtering”と題された米国特許出願第13/093,068号では、再構成されたビデオデータに適応的に適用することができる複数のフィルタセットの選択を可能にする高度なALFが開示されている。さらに、高度なALFは、より柔軟及び／又はローカライズされた処理を提供することができるように、適応するためのフィルタリングプロセスの新たなユニットを適用している。米国特許出願第13/093,068号は、フレキシブルな適応ループフィルタを開示しているが、FU（フィルタユニット）を一般的な処理構造（この開示ではフィルタリングされるべき領域“to-be-filtered”と呼ばれる）に拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込んだシステムを開発することが望ましい。さらに、様々な処理構造及び様々な候補となるフィルタの間でシステムパフォーマンスを最適化するレート−歪みの最適化の手順を組み込むことが望まれる。

適応ループフィルタを使用した符号化ビデオを処理する方法及び装置が開示される。本発明に係る１実施の形態では、適応ループフィルタを使用した符号化ビデオの処理の方法及び装置は、関連されるデータに基づいてインループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、複数の候補となるフィルタから構成されるフィルタセットからインループフィルタを決定すること、インループフィルタを決定することは、レート−歪みの最適化手順に基づいており、及び前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。インループフィルタは、再構成されたビデオ、SAO（Sample Adaptive Offset）回復されたビデオ、デブロッキングフィルタ処理が施されたビデオ、又はALF回復されたビデオに適用することができる。本発明の１態様は、インループの再構成されたビデオデータの画素をフィルタリングされるべき領域に分割する方法に関する。本方法は、分類方法、画像分割方法、又は分類方法と画像分割方法の組み合わせに基づく。

本発明の別の態様は、レート−歪みの最適化手順に関連するコスト関数の計算に関する。本発明に係る１実施の形態では、コスト関数の計算は、オリジナルビデオデータ及びインループ再構成されたビデオに関連する相関値を利用する。本発明に係る別の実施の形態では、コスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連する相関値を利用する。本発明に係る１実施の形態では、相関値は、前記それぞれのフィルタリングされるべき領域についてレート−歪みの最適化手順の間に複数の候補となるフィルタにより共有することができる。本発明に係る別の実施の形態では、相関値は、インループの再構成されたビデオデータの領域について、レート−歪みの最適化手順の間に、インループの再構成されたビデオデータの領域の複数の候補となるフィルタリングされるべき領域により共有される。インループフィルタは、フィルタ係数、エッジオフセットフィルタ、又はバンドオフセットフィルタを有する線形空間フィルタとすることができる。線形空間フィルタが使用されるとき、レート−歪み最適化手順に関連するコスト関数の計算は、フィルタ係数、及びオリジナルビデオデータとインループの再構成されたビデオデータとに関連される相関値に関連する。代替的に、レート−歪みの最適化手順に関連するコスト関数の計算は、オリジナルビデオデータ、予測信号及び回復された予測誤差に関連するフィルタ係数及び相関値に関連する。インループフィルタの情報は、デコーダはエンコーダと同じインループフィルタを選択するように、ビデオビットストリームに組み込まれる。

ビデオデコーダにおける適応ループフィルタを使用して符号化ビデオを処理する方法及び装置が開示される。本発明に係る１実施の形態では、適応ループフィルタを使用したビデオデコーダにおける符号化ビデオの処理の方法及び装置は、関連するデータに基づいて、インループの再構成されたビデオデータを導出すること、インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割すること、それぞれフィルタリングされるべき領域について、ビデオビットストリームからインループフィルタを決定すること、前記それぞれフィルタリングされるべき領域にインループフィルタを適用して、フィルタリングされた領域を生成すること、を含む。

動き補償予測を組み込んだ映像符号化システムの例示的なブロック図を示す。この場合、適応ループフィルタは、映像品質を改善するために含まれる。 エッジに基づく分類について現在の画素及び４つの隣接する画素から構成されるコンフィギュレーションを例示する図である。 エッジに基づく分類について現在の画素及び４つの隣接する画素から構成される代替的なコンフィギュレーションを例示する図である。 ０°，４５°，９０°及び１３５°での方向を有するエッジ分類子に基づく例示的な分類を例示する図である。 9×9ひし形フィルタの例を例示する図である。 7×7ひし形フィルタの例を例示する図である。 5×5ひし形フィルタの例を例示する図である。 9×7六角形フィルタの例を例示する図である。 本発明に係る実施の形態を組み込んだ符号化システムの例示的なフローチャートである。 本発明に係る実施の形態を組み込んだ復号化システムの例示的なフローチャートである。 本発明に係る実施の形態を組み込んだ符号化システムの別の例示的なフローチャートである。

デジタル映像圧縮について、動き補償されたフレーム間符号化は、効果的な圧縮技術であり、MPEG-1/2/4及びH.261/H.263/H.264/AVCのような様々な符号化規格で広く適用されている。動き補償システムでは、動き予測／補償及び後続の圧縮は、ブロック毎に行われることがあある。圧縮プロセスの間、係る量子化のような適用される損失演算のため、符号化ノイズが生じる場合がある。符号化アーチファクトは、特にブロック近くの境界で、再構成されたビデオデータにおいて知覚されるようになる場合がある。符号化アーチファクトの可視性を軽減するため、デブロッキングと呼ばれる技術は、H.264/AVC、及び開発されている高能率符号化（HEVC）システムのような新たな符号化システムで使用されている。デブロッキングプロセスは、画像の先鋭度を保持しつつ、符号化ノイズによる大きな遷移及びブロック近くの境界を平滑化するため、ブロックの境界にわたるフィルタリングを適応的に適用する。さらに、フレーム間符号化の性質のため、デブロッキングプロセスは、ループ内の処理のために構成される。

デブロッキングの他に、線形空間フィルタ、エッジオフセットフィルタ及びバンドオフセットフィルタに基づく適応ループフィルタのような様々なインループフィルタがHEVCにおいて導入されている。McCann等による“Samsung’s Response to the Call for Proposals on Video Compression Technology”in Document: JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010により開示されたインループのエッジオフセットプロセス及びインループのバンドオフセットプロセスは、この開示においてそれぞれエッジオフセットフィルタ及びバンドオフセットフィルタとして考えられる。さらに、高度のインループフィルタを組み込んだビデオシステムは、2011年4月25日に提出された米国特許出願第13/093,068で開示され、複数のフィルタから構成されるフィルタのセットは、再構成されたビデオ、SAO回復ビデオ、又はフィルタユニットに分割することができるデブロッキングフィルタリングされたビデオデータを処理するために使用される。再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタのセットから選択される。米国特許出願第13/093,068号は、FUをインループフィルタについて一般的な処理構造（この開示において、いわゆるフィルタリングされるべき領域）に拡張し、ALFを他のインループフィルタを含むことに拡張する高度なインループフィルタを組み込むシステムを開発することが望まれる。さらに、様々な処理構造及びフィルタセットのうちの様々な候補となるフィルタのうち、システムパフォーマンスを最適化するレート−歪みの最適化手順を組み込むことが望まれる。

図１は、デブロッキングによる動き補償映像圧縮のシステムブロックを例示する。圧縮システム１００は、圧縮されたビデオビットストリームを生成するため、イントラ／インター予測、変換／量子化及びエントロピー符号化を組み込んだ典型的なビデオエンコーダを例示する。入力ビデオデータは、入力インタフェース１１２を通してエンコーダに入力し、原信号は、イントラ／インター予測１１０を受け、ここで、イントラ／インター予測１１０は、入力信号１１２、再構成信号１５２、フレームバッファ１４０に記憶される、前に処理及び再構成された信号１４２に基づいて、予測信号１１９を形成する。インター予測は、前方予測モードであり、この前方予測モードでは、予測は、現在のピクチャの前のピクチャに基づく。また、インター予測は、後方予測モードであり、この後方予測モードでは、予測は、表示順序において現在のピクチャの後のピクチャに基づく。インター予測モードでは、イントラ／インター予測１１０は、予測信号に、減算器１１５に供給し、減算器１１５は、原信号から予測信号を減算する。減算器１１５からの出力１１７は、変換／量子化ブロック１２０により更に処理された予測誤差と呼ばれる。変換／量子化１２０は、予測誤差１１７を、圧縮されたビットストリーム１３２を生成するためにエントロピー符号化１３０により更なる処理のために符号化シンボルに変換し、この圧縮されたビットストリームは、記憶されるか又は送信される。ビデオ信号を再構成するため、回復された予測誤差１６２は、予測信号１１９と結合され、再構成された信号１５２が形成される。逆変換／逆量子化１６０は、再構成された予測誤差１６２を提供するため、変換／量子化１２０により処理された予測誤差１１７に適用される。また、図１は、映像品質を改善するために再構成された信号に適用されるデブロッキングフィルタ１７０及び適応ループフィルタ（ALF）１８０を例示している。更に処理されるか又は処理されない再構成後の信号は、この開示では、インループの再構成されたビデオデータ又はインループの再構成されたフレームと呼ばれる。例えば、インループの再構成されたビデオデータは、再構成信号１５２又はデブロッキングフィルタリングされた信号１７２を示す場合がある。図１において再構成されたビデオを処理する例としてデブロッキングフィルタ１７０が示されているが、SAO（Sample Adaptive Offset）又はデブロッキングフィルタとSAOとの組み合わせのような他の処理が使用される場合がある。SAOは、サンプルアダプティブなエッジオフセット又はバンドオフセットを含む。これらのケースでは、インループの再構成されたビデオデータは、上述された処理の前後で、何れかの信号を示す。従って、図１における再構成信号１５２又はデブロッキングフィルタリングされた１７２は、インループの再構成された信号の例である。ALF１８０はデブロッキングフィルタリングされた信号１７２を処理するためのインループフィルタの例として示されているが、インループフィルタとして、エッジオフセット又はバンドオフセットのような他のインループフィルタが使用される場合もある。インループフィルタは、上述された、再構成されたビデオデータ１５２、デブロッキングフィルタリングされた信号１７２、又はインループの再構成されたビデオデータに適用することができる。さらに、図１におけるALFを置き換えるためにSAOがインループフィルタとして使用されるとき、ALFは、インループの再構成されたビデオを生成するため、再構成されたビデオの処理として使用される場合がある。

近年のHEVCの開発では、適応ループフィルタリング（ALF）は、インループの再構成フレームを処理するために適用される。HEVCでは、従来のALFは、フレーム又はスライスにおけるそれぞれのブロックについて選択的にON又はOFFされる。ブロックのサイズ及びブロックの形状、並びに、ブロックサイズ及びブロック形状の情報は、明示的にデコーダに送出するか、又はデコーダで暗黙的に導出することができる。１つのアプローチでは、ブロックは、LCUの四分木の分割から得られる。パフォーマンスの基準によれば、ビデオエンコーダは、ブロックがALFを受けるか否かを判定し、ALFフラグを使用して、デコーダがALFを適用することができるように、それぞれのブロックに付いてON/OFF判定を信号伝達する。インループの再構成されたビデオの視覚的な品質を改善するためにALFが示されているが、初期のALFの開発で使用されるALF処理が制限され、この場合、１つの適応ループフィルタのみを、ON又はOFFにすることができる。ALFは、空間フィルタリングのために、２次元（2D）線形フィルタを一般的に使用する。実際の使用されるフィルタの寸法の例は、5×5，7×7又は9×9である。しかし、ALFについて、他のサイズを有するフィルタを使用することができる。通常、フィルタ係数は、ピクチャの基本となる画像領域の特性に整合するように最適に設計される。例えば、フィルタ係数は、Wienerフィルタを使用することで、平均平方誤差（MSE）を最小にするように設計される。実現コストを低減するため、2Dフィルタが２つの個別の１次元フィルタを使用して実現され、一方が水平方向に適用され、他方が垂直方向に適用されるように、2Dフィルタが分離可能となるように設計される場合がある。フィルタ係数は送信される必要があるので、必要とされる副情報を節約するため、対称フィルタが使用される場合がある。送信される係数の数を低減するために、他のタイプのフィルタが使用される場合もある。例えば、ダイアモンド形状（ひし形）フィルタが使用される場合があり、この場合、非ゼロ係数のコンステレーションは、ダイアモンドの形状を有する。2011年4月25日に提出された“Method and Apparatus of Adaptive Loop Filtering”と題された米国特許出願第13/093,068号では、インループの再構成されたビデオデータに複数のフィルタセットの選択を適応的に適用する高度なLAFが開示される。さらに、インループの再構成されたビデオデータは、分類を使用して複数のカテゴリに分類され、適応ループフィルタは、カテゴリのそれぞれについて候補となるフィルタセットから選択される。分類は、画素の強度、エッジアクティビティ、エッジ方向、エッジ強度、モード情報、量子化パラメータ、残差エネルギー、領域の特徴、動き情報、及びこれらの組み合わせのようなインループの再構成されたビデオデータから導出される特性に基づくことができる。

ALFスキーム（QC_ALF）は、Qualcommにより提案された（“Video coding technology proposal by Qualcomm Inc”, Karczewicz et al., Joint Collaborative Team on Video Coding (Jct-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010, Document: JCTVC-A121）。QC_ALFによれば、ALFは、画素毎にインループの再構成されたビデオデータに適用される。それぞれのブロックについて、SLM（Sum-modified Laplacian Measure）。ブロックのそれぞれの画素について計算されたSLM値は、画素をM個のグループのうちの１つに分類するために使用される。SLMに基づくALFは、画素毎に適用され、画素は、異なるフィルタを使用する場合がある。従って、QC_ALFは、ピクセルアダプティブ又はピクセルアダプテーション（PA）ALFとも呼ばれる。

PA LAFは、画素毎にフィルタを適応的に選択することができる一方、PA LAFは、必要とされる副情報が符号化される場合にかなりの量であるため、デコーダ側のそれぞれの画素のSLMに基づいてグループ情報を導出することを必要とする。従って、領域に基づいたALFスキームは、2011年4月25日に提出された米国特許出願第13/093,068号で開示されている。領域は、あるピクチャ又はあるピクチャの領域を固定されたブロック又は固定されたブロックのセットに分割することにより形成される。代替的に、領域は、あるピクチャ又はあるピクチャの領域を繰返し分割することにより形成される。例えば、繰返し領域分割のために四分木が使用される。領域に基づくALFが適用されるか又は領域に基づかないALF方法が適用されるかを示すために、ALF情報セットのシンタックスにおけるフラグが使用される。例えば、領域に基づくALFとブロックに基づくALFとの間で選択するためにフラグが使用される。ブロックについて選択されたフィルタは、画素に基づくALFで使用される類似の方法から導出することができる。例えば、Chong等は、ブロックに基づくALFを記載しており、4×4ブロックのLaplacianに基づくアクティビティメトリクスは、それぞれ4×4ブロックが１つのLaplacianアクティビティ値を使用することができるように平均される（Chong et al., “CE8 Subset 2: Block based adaptive loop filter (ALF)”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5^th Meeting: Geneva, CH, 16-23 March, 2011, Document: JCTVC-E323）。本方法は、4×4ブロックのそれぞれの画素についてLaplacianアクティビティ値を計算することを必要とし、従来の画素に基づくALFを通した計算を節約しない。しかし、ブロックに基づくALFは、画素に基づくALFと比較してフィルタスイッチのアクティビティの頻度を低減する。分類子としてLaplacianアクティビティを使用する代わりに、Karczewicz等により使用されるSLM計算を置き換えるために、SAO（Sample Adaptive Offset）のために使用されるバンドオフセット（BO）又はエッジオフセット（EO）分類子のような他の手段が使用される場合がある。BO及びEOの両者は、SLM手段と比較して非常に少ない計算を必要とする。

フィルタセクションは、再構成されたビデオデータの分類に基づく場合がある。関与する基礎となる再構成されたビデオデータは前に符号化されたデータとのみ関連される場合、暗黙モードを使用したALFの選択について、分類に基づくフィルタセクションが有効である。これは、デコーダは、副情報なしに同じ分類を導出するからである。分類に基づくフィルタ選択が使用されるとき、基本となる符号化されたビデオデータは、基礎となる再構成されたビデオデータから測定された特徴に基づいて複数のカテゴリに分類される。測定された特徴は、画素の強度のレベル、エッジの方向、エッジの強度、モード情報、量子化パラメータ、残差エネルギー、領域の位置、動き情報、又はこれらの組み合わせと関連される。例えば、エッジの方向は、フィルタの選択のための分類として使用され、０°，４５°，９０°及び１３５°に沿ったエッジ又はライン方向を検出するために、３×３画素のウィンドウが使用される。

画素をALFを適応的に適用するためのカテゴリに分割するため、異なる特徴に基づく多数の分類子が結合される一方、あるフラグに従って複数の特徴も選択的に使用される場合がある。例えば、領域の特徴に基づく分類子は、エッジの強度に基づく分類子と選択的に使用することができる。フラグは、領域の特徴又はエッジの強度の特徴がピクチャの分類子として使用されるかを示すために使用される。さらに、ピクチャは、幾つかの領域に分割され、個々の領域について分類の選択が実行される。同じカテゴリにおける領域は、同じフィルタを共有する。領域は、フィルタユニット又は符号化ユニットである。さらに、領域は、画素の位置に基づいて形成される場合がある。

米国特許出願第13/093,068号に従う方法がシステムのパフォーマンスを改善する一方、システムパフォーマンスを更に改善することができる高度なインループフィルタのスキームを開発することが望まれる。従って、画像データの画素をフィルタリングされるべき領域に分割し、レート−歪み最適化を適用して、それぞれのフィルタリングされるべき領域についてフィルタセットからインループフィルタを選択する、高度なインループフィルタスキームが開発される。画像は、フレーム、フィールド、又は１以上のスライスのようなピクチャの一部である。フィルタリングされるべき領域は、画像をブロックに分割することで形成され、それぞれのブロックは、インループフィルタにより処理され、この場合、レート−歪みの最適化プロセスに従ってフィルタが選択される。画像データを分割することで形成されるブロックは、フィルタユニット（FU）と呼ばれる。FUは、四分木を使用して形成されるか、又は画像データを等しいサイズのブロックに分割することでシンプルに形成される。等しいサイズのブロックは、レート−歪みの最適化プロセスに従って適応的にマージされる場合がある。代替的に、FUは、レート−歪みの最適化プロセスに従って適応的に分割することができる。さらに、FUの分割は、CUに揃えられ（CU-aligned）、この場合、フィルタユニットの境界は、符号化ユニットの境界であり、フィルタユニットのそれぞれは、少なくとも１つの符号化ユニットを含む。

フィルタリングされるべき領域は、分類に従って画像データを分割することで形成される。画像データを複数のフィルタリングされるべき領域に分類する多数の異なる方法が存在する。例えば、エッジに基づく分類方法は、“Samsung’s Response to the Call for Proposals on Video Compression Technology” in Document: JCTVC-A124, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1^st Meeting: Dresden, DE, 15-23 April, 2010と題されたMcCann等により開示されている。McCann等は、中央の画素Ｃにの周囲の４つの隣接する画素Ｎ０，Ｎ１，Ｎ２及びＮ３を使用して、図２Ａに示されるように、現在の画素を複数のクラスに分類する。McCann等は、強度レベルのオフセット補償のため、エッジに基づく分類を使用する。従って、エッジに基づく分類は、エッジオフセット分類又は手短にエッジオフセットとよばれる。代替的な隣接する画素のコンフィギュレーションは、図２Ｂに示されるように、“Apparatus and Method of Adaptive Offset for Video Coding”と題される米国特許出願第12/987,151号で開示される。図３に示されるように、０°，４５°，９０°及び１３５°に沿ったエッジ又はラインの向きを検出するため、３×３画素のウィンドウにおいて３つの画素を使用する方法のような、他のエッジに基づく分類が使用される場合もある。フィルタリングされるべき領域は上述された分類又は分割を使用して形成することができる一方、フィルタリングされるべき領域は、本発明の実施の形態に従って、分類及び分割の組み合わせを使用して形成することができる。例えば、分類は、画像をブロックに分割することで形成されるフィルタリングされるべき領域（すなわち、このケースではFU）に適用される。言い換えれば、画像データは、FUに分割され、それぞれのFUは、最終的なフィルタリングされるべき領域に分類される。

上述されたエッジに基づく分類の他に、基礎となるビデオデータの他の特性に基づく分類が使用される場合もある。例えば、分類は、基礎となるビデオの強度レベルに基づく場合がある。例えばMcCann等は、オフセット補償のために、強度レベルに基づいて、画像データを１６のバンドに分類する方法を開示している。この方法は、バンドオフセット分類又は手短にバンドオフセットと呼ばれる。１６のバンドが使用される一方、多くのバンド又は少ないバンドが使用される場合がある。例えば、2011年1月9日に提出された“Apparatus and Method of Adaptive Offset for Video Coding”と題された米国特許出願第12/987,151号において、強度レベルを２つのグループとして編成される３２のバンドに分割する方法が開示される。エッジオフセット及びバンドオフセットに基づく分類が、フィルタリングされるべき領域に画素を分類する例として例示されるが、本発明は、これら特定の例に限定されず、他の分類が使用される場合がある。

本発明に係る実施の形態を組み込んだインループフィルタは、高能率映像符号化（HEVC）で開示されるように適応ループフィルタ（ALF）、エッジオフセット（EO）フィルタ又はバンドオフセット（BO）フィルタから選択されるインループフィルタのタイプとすることができる。さらに、本発明に係る実施の形態は、複数のフィルタを組み込み、レート−歪みプロセスを使用して、それぞれのフィルタリングされるべき領域についてフィルタを決定する。画像領域が分類されるフィルタリングされるべき領域は、上述されたフィルタユニットとすることができる。以下の説明では、ALFに基づくWienerフィルタリングにより生じる歪みの予測が導出される。図１に示される様々なステージで関与する信号の表記は、以下の通りである。
ｓ(ｋ)：原信号，
ｘ(ｋ)：インループの再構成された信号，
ｙ(ｋ)：回復された信号，及び
ｗi：Wienerフィルタの係数。

位置ｋでの適応ループフィルタ（ALF）による回復された信号ｙ(ｋ)は、以下の式に従って、インループの再構成された信号ｘ(ｋ)に関連する。

ここでｗiはALFの係数であり、Nは係数ｗiの全体数である。１次元の信号表現は、この開示における表記を簡単にするため、２次元ビデオデータについて使用される。しかし、基本となるビデオデータは２次元信号であり、表記は２次元の表現に拡張することができることを理解されたい。フィルタリングされるべき領域における画素の全体数はKである。上述されたように、フィルタリングされるべき領域は、上述されたフィルタユニット（FU）とすることができ、或いは、画素が隣接していないか又は矩形の形状で編成される画素のグループとすることができる。FUの平均平方誤差（MSE）εは、以下の式に基づいて計算される。

フィルタリングされるべき領域のMSE計算の簡単な実現において、回復された信号ｙ(ｋ)は、式（１）に従って選択されたフィルタを使用して計算される必要がある。回復された信号と原信号との間の平均平方誤差は、式（２）に従って計算される。レート−歪みの最適化方法がそれぞれのフィルタリングされるべき領域についてフィルタの選択を誘導するように使用されるとき、歪みMSEは、全ての可能性のあるフィルタについて計算される必要がある。言い換えれば、可能性のあるフィルタのそれぞれは、回復された信号を得るためにインループの再構成された信号に適用され、それぞれのMSEは、回復された信号及びオリジナル信号に基づいて計算される。結果的に、レート−歪みの最適化プロセスは、集中的な計算及び過剰なデータアクセスを含む。これは、計算能力及び帯域幅のような多くのシステムリソースを消費する。従って、計算上の複雑度及び帯域幅の要件を低減するスキームを開発することが望まれる。

フィルタリングされるべき領域の平均平方誤差（MSE）εは、以下のように推定される。

従って、以下が得られる。

従って、K個のサンプルを有するフィルタリングされるべき領域の歪みDは、以下により推定される。

ここで
［外１］

は、コストの比較の間の固定された項であり、コスト関数からドロップされる。式（５）において、項
［外２］

は、インループの再構成された信号ｘ(ｋ)の自己相関及びインループの再構成された信号ｘ(ｋ)と原信号ｓ(ｋ)との間の相互相関をそれぞれ表す。項
［外３］

をもたない変更された歪みD’は、式（６）において示される。

更なる計算上の複雑度の低減は、
［外４］

の点を考慮することで達成される。式（５）における歪み又は式（６）における変更された歪みは特定の形態にある一方、歪み又は変更された歪みは、本発明の精神から逸脱することなしに変更又は再配置される場合がある。例えば、スケーリングファクタは、所望の範囲内に値を保持するために含まれる場合がある。項
［外５］

の総和は、はじめにインデックスｉについて、次いでインデックスｊについて行われる。

式（２）に示される回復された信号と原信号との間の平均平方誤差εは、回復された信号を生成するため、候補となるフィルタを使用した実際のフィルタリングを必要とする。他方では。式（５）に従って推定された平均平方誤差（又は歪みD，D＝Kε）又は式（６）に従って推定された変更された歪みは、フィルタリングを実際に行う必要はない。代わりに、式（５）又は式（６）に基づく歪み又は変更された歪みは、インループの再構成された信号と原信号との間の相互相関行列を計算する。式（５）における歪み又は式（６）における変更された歪みは、レート−歪みの最適化プロセスの間にフィルタを選択するためのコスト関数を導出するために使用される。フィルタを選択するコスト関数の歪みの項は、式（５）における歪み又は式（６）における変更された歪みに低減することができる。式（６）において推定された変更された歪みに基づくコスト関数Ｊは、以下のように低減される。

項bitrate(wi)は、係数ｗi及び他のフィルタに関連する副情報を符号化するために必要とされるビットレートを表す。さらに、式（７）に基づくコスト関数Ｊは、フィルタリングを実際の実行するために必要としない。これらの相関項は、選択されたフィルタに独立である。従って、これらの相関項は、レート−歪みの最適化の間にコスト関数の計算において、先の相関項が全ての候補となるフィルタにより共有されるように、それぞれフィルタリングされるべき領域について一度だけ計算される必要がある。結果的に、本発明に係る実施の形態は、必要とされる計算を低減するだけでなく、データアクセスに関連する管理帯域幅を低減する。式（６）は特定の形式であるが、本発明の精神から逸脱することなしに、コスト関数も変更又は再配置される場合がある。さらに、式（６）に基づく式（７）におけるコスト関数を導出する精神は、式（５）を使用することで他のコスト関数を導出するために適用することができる。

式（７）に係るコスト関数の計算は、相関項が全ての候補となるフィルタの間で共有されるので、レート−歪みの最適化プロセスを高速にする。さらに、式（７）に係るコスト関数の計算は、帯域幅の要件を大幅に低減する。従来のコスト関数の計算によれば、回復された信号と原信号とに関連する歪みは、それぞれの候補となるフィルタについて回復された信号と原信号とから計算される必要がある。結果として、それぞれフィルタリングされるべき領域の回復された信号と原信号の両者は、フィルタのセットにおけるそれぞれの候補となるフィルタについてアクセスされる必要がある。フィルタのセットにおける複数の候補となるフィルタについて、回復された信号及び原信号の両者は、複数回にわたりアクセスされる。他方で、本発明に係る実施の形態は、レート−歪みの最適化プロセスの間に、フィルタのセットについて、それぞれのフィルタリングされるべき領域についてインループの再構成された信号と原信号とに一度アクセスする必要がある。結果として、本発明に係る実施の形態は、帯域幅の要件を大幅に低減する。レート−歪みの最適化プロセスに従って選択されたフィルタは、デコーダでそれぞれのフィルタリングされるべき領域により使用される必要がある。フラグは、デコーダが正しく動作することができるように、選択されたフィルタを示すようにビットストリームに組み込まれる。

式（７）に従うコスト関数の計算は、インループの再構成された信号と原信号との相互相関値、インループの再構成された信号の自己相関値に関連するが、計算は、他の相関値に基づく場合がある。図１に示されるように、デブロックフィルタリングされた信号１７２は、再構成された信号１５２に関連するが、デブロックフィルタリングされた信号１７２及び再構成された信号１５２の両者は、インループの再構成された信号と考えられる。さらに、再構成された信号１５２は、予測信号１１９及び回復された予測誤差１６２に関連される。従って、コスト関数の計算のために使用される相関値は、原信号１１２、予測信号１１９及び回復された予測誤差１６２に基づく場合がある。

式（７）に従うコスト関数の計算は、画像データのフィルタリングされるべき領域への分割を最適化するために使用される。例えば、画像データを分割するために四分木が使用されるとき、基礎となるフィルタリングされるべき領域（すなわち、この場合にはFU）を４つのフィルタリングされるべき領域に分割するかに関する判定は、レート−歪みの最適化手順に従って行われる。基本となる領域及び分割領域に関連するコストは、式（７）に従って全ての候補となるフィルタについて効果的に計算される。これに応じて、領域分割の判定が行われる。四分木に加えて、他の領域分割方法が使用される場合もある。他方で、式（７）に係るコスト関数の計算は、フィルタリングされるべき領域の結合を最適化するために使用される。２以上の隣接するフィルタリングされるべき領域は、システムのパフォーマンスを改善するために結合され、領域結合の判定は、レート−歪みの最適化に基づく。個々の領域及び結合領域に関連するコストは、全ての候補となるフィルタについて式（７）に従って効果的に計算され、これに応じて結合の判定が行われる。同様に、コスト関数の計算のために使用される相関値は、原信号１１２、予測信号１１９及び回復された予測誤差１６２に基づく。

本発明の１態様は、様々なフィルタサイズ及び形状を有するフィルタのセットからの候補となるフィルタの選択に関連する。レート−歪みの最適化の手順は、最良のシステムパフォーマンスを達成するために、フィルタのセットのうちからフィルタを選択するために使用される。１つの例では、フィルタリングされるべき領域の候補となるフィルタのセットは、以下のフィルタの形状及びサイズを有する。

正方形：３×３，５×５，７×７，９×９
ひし形：５×５，７×７，９×９。

図４Ａ〜図４Ｃには、ひし形の形状及び５×５，７×７及び９×９のサイズをもつフィルタが示されている。ひし形の形状のフィルタの係数の数は、それぞれの正方形フィルタの約半分である。ひし形の形状のフィルタは、頂点のうちの上及び下での係数を除くことで更に簡略化される。例えば、図４Ａにおける９×９ひし形のフィルタは、図５に示される９×７の六角形フィルタに簡略化される。９×７のフィルタは、９×９フィルタと比較して少ないラインバッファを必要とする。フィルタ形状及び／又はフィルタサイズの選択は、レート−歪みコストに基づく。コスト関数の計算は、式（７）に記載される効果的なアルゴリズムに基づき、最良のフィルタの形状は、参照のレート−歪みのコストが選択されることにつながる。

選択されたフィルタ形状を示すフラグは、ビデオデコーダが選択されたフィルタを適用するのを可能にするため、ビットストリームに組み込まれる。本発明に係る実施の形態を組み込んだ例示的な方法は、図６〜図８で例示される。図６は、符号化プロセスに対応する例示的なフローチャートである。プロセスは、ステップ６１０で、符号化されたビデオデータからインループの再構成されたビデオデータを導出することで始まる。次のステップでは、インループの再構成されたビデオデータの画素は、ステップ６２０で示されるように、複数のフィルタリングされるべき領域に分割される。複数のフィルタリングされるべき領域が形成された後、ステップ６３０で示されるように、それぞれのフィルタリングされるべき領域について複数の候補となるフィルタから構成されたフィルタセットから、レート−歪みの最適化手順に基づいて、インループフィルタが決定される。インループフィルタが決定された後、ステップ６４０に示されるように、インループフィルタがそれぞれフィルタリングされるべき領域に適用され、フィルタリングされた領域が生成される。図７は、復号化プロセスに対応する例示的なフローチャートを示す。図７におけるステップは、図６におけるステップと実質的に同じである。しかし、ステップ６３０は、ステップ７１０により置き換えられ、ステップ７１０では、それぞれのフィルタリングされるべき領域についてビデオビットストリームからインループフィルタが決定される。図８は、符号化プロセスに対応する別の例示的なフローチャートである。図８におけるステップは、図６におけるステップと実質的に同じである。しかし、ステップ６３０は、ステップ８１０により置き換えられ、このステップ８１０では、それぞれフィルタリングされるべき領域について複数の候補となるフィルタから構成されるフィルタのセットから、インループフィルタが決定され、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有する。図６〜図８に示される例示的なフローチャートは、本発明を実施する例を示すことが意図される。処理ステップの特定のアレンジメントは、本発明を限定するものとして解釈されるべきではない。当業者であれば、本発明の精神から逸脱することなしに、処理ステップをアレンジし直すか、及び／又は本発明を実施する幾つかのステップを分割／結合する場合がある。

上述された本発明に係る高度のALFの実施の形態は、様々なハードウェア、ソフトウェアコード又はこれらの組み合わせで実現される。例えば、本発明の実施の形態は、本明細書で記載される処理を実行するため、ビデオ圧縮チップに集積された回路、又はビデオ圧縮ソフトウェアに集積されたプログラムコードとすることができる。本発明の実施の形態は、本明細書で記載された処理を実行するため、デジタルシグナルプロセッサ（DSP）で実行されるプログラムコードである。本明細書は、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、又はフィールドプログラマブルゲートアレイ（FPGA）により実行される多数の機能を含む。これらのプロセッサは、本発明により実施される特定の方法を定義するコンピュータ読み取り可能なソフトウェアコード又はファームウェアコードを実行することで、本発明に係る特定のタスクを実行するように構成される。ソフトウェアコード又はファームウェアコードは、異なるプログラミング言語及び異なるフォーマット又はスタイルで開発される。また、ソフトウェアコードは、異なるターゲットプラットフォームについてコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル及び言語、並びに、本発明にかかるタスクを実行するためにコードを設定する他の手段は、本発明の精神及び範囲から逸脱しない。

本発明は、その精神又は必須の特性から逸脱することなしに、他の特定の形式で実施される場合がある。記載される例は、全ての観点で例示するものであって限定するものではないことが考慮されるべきである。本発明の範囲は、従って上述の記載によるのではなく特許請求の範囲により示される。請求項の等価な意味及び範囲に含まれる全ての変形は、それらの範囲に包含される。

Claims (39)

1. インループフィルタを使用してインループの再構成されたビデオを処理する方法であって、
   符号化されたビデオデータからインループの再構成されたビデオデータを導出する段階と、
   前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する段階と、
   それぞれのフィルタリングされるべき領域について複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する段階と、前記インループフィルタを決定する段階は、レート−歪みの最適化手順に基づいており、
   前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、
   を含む方法。
2. 前記インループの再構成されたビデオデータは、再構成されたビデオデータについて、デブロッキングフィルタ処理が施された信号、SAO（Sample Adaptive Restoration）処理が施された信号又はALF（Adaptive Loop Filter）処理が施された信号に対応する、
   請求項１記載の方法。
3. 前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する段階は、分類方法、画像分割方法、又は前記分類方法と前記画像分割方法との組み合わせに基づく、
   請求項１記載の方法。
4. 前記分類方法は、エッジに基づく分類方法である、
   請求項３記載の方法。
5. 前記エッジに基づく分類方法は、現在の画素と、左上、右上、左下及び右下の位置にある４つの隣接画素とに基づいて、前記現在の画素と、上、下、左及び右の位置にある４つの隣接画素とに基づいて、又は前記現在の画素と、０°，４５°，９０°又は１３５°の方向を有する２つの隣接画素とに基づいて、エッジ情報を導出する、
   請求項４記載の方法。
6. 前記分類方法は、帯域に基づく分類方法であり、前記インループの再構成されたビデオデータの画素は、画素の強度に従って、複数のフィルタリングされるべき領域に分類される、
   請求項３記載の方法。
7. 前記レート−歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータと前記インループの再構成されたビデオデータとに関連する相関値に関連する、
   請求項１記載の方法。
8. 前記相関値は、前記それぞれのフィルタリングされるべき領域について、前記レート−歪みの最適化手順の間に複数の候補となるフィルタにより共有される、
   請求項７記載の方法。
9. 前記相関値は、前記インループの再構成されたビデオデータの領域について、前記レート−歪みの最適化手順の間、前記インループの再構成されたビデオデータの前記領域の複数の候補となるフィルタリングされるべき領域により共有される、
   請求項７記載の方法。
10. 前記レート−歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータ、予測信号及び回復された予測誤差に関連する相関値に関連する、
    請求項１記載の方法。
11. 前記相関値は、前記それぞれのフィルタリングされるべき領域について、前記レート−歪みの最適化手順の間に複数の候補となるフィルタにより共有される、
    請求項１０記載の方法。
12. 前記相関値は、前記インループの再構成されたビデオデータの領域について、前記レート−歪みの最適化手順の間、前記インループの再構成されたビデオデータの前記領域の複数の候補となるフィルタリングされるべき領域により共有される、
    請求項１０記載の方法。
13. 前記インループフィルタは、フィルタ係数を有する線形空間フィルタである、
    請求項１記載の方法。
14. 前記インループフィルタは、エッジオフセットフィルタ又はバンドオフセットフィルタである、
    請求項１記載の方法。
15. ビデオビットストリームに前記インループフィルタの情報を組み込む段階を更に含む、
    請求項１記載の方法。
16. 前記レート−歪みの最適化手順は、フィルタリングされた領域に対応するオリジナルのビデオデータと回復されたデータとの間の歪みに関連する、
    請求項１記載の方法。
17. 前記レート−歪みの最適化手順に関連するコスト関数は、前記歪み関数に関連する、
    請求項１６記載の方法。
18. 前記レート−歪みの最適化手順は、固定された項を除くことで、前記歪みから導出された変更された歪みに関連する、
    請求項１６記載の方法。
19. 前記レート−歪みの最適化手順に関連するコスト関数は、変更された歪み関数に関連する、
    請求項１８記載の方法。
20. ビデオデコーダにおいてインループフィルタを使用してインループの再構成されたビデオを処理する方法であって、
    当該方法は、
    符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する段階と、
    前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する段階と、
    それぞれのフィルタリングされるべき領域について、ビデオビットストリームからインループフィルタを決定する段階と、
    前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、
    を含む方法。
21. インループフィルタを使用してインループの再構成されたビデオを処理する方法であって、
    当該方法は、
    符号化されたビデオデータからインループの再構成されたビデオデータを導出する段階と、
    前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する段階と、
    それぞれのフィルタリングされるべき領域について、複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する段階と、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有しており、
    前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する段階と、
    を含む方法。
22. 選択されたインループフィルタの形状を示すフラグをビットストリームに組み込む段階を更に含む、
23. 前記フィルタセットからインループフィルタを決定する段階は、前記インループフィルタに関連する前に符号化された情報に基づく、
    請求項２１記載の方法。
24. 前記フィルタセットからインループフィルタを決定する段階は、最小のレート−歪みのコストに基づく、
    請求項２１記載の方法。
25. 前記異なる形状は、正方形、ひし形、円及び六角形からなるグループから選択された２以上の形状を含む、
    請求項２１記載の方法。
26. 選択されたインループフィルタの形状を示すフラグをビットストリームで受信する段階を更に含み、前記フィルタセットから前記インループフィルタを決定する段階は、前記フラグに基づく、
    請求項２１記載の方法。
27. インループフィルタを使用してインループの再構成されたビデオを処理する装置であって、
    符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する手段と、
    前記インループの再構成されたビデオデータの画素を複数のフィルタリングされるべき領域に分割する手段と、
    それぞれのフィルタリングされるべき領域について複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する手段と、前記インループフィルタの決定は、レート−歪みの最適化手順に基づいており、
    前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、
    を備える装置。
28. 前記インループの再構成されたビデオデータは、再構成されたビデオデータについて、デブロッキングフィルタ処理が施された信号に対応する、
    請求項２７記載の装置。
29. 前記インループの再構成されたビデオデータの画素の前記複数のフィルタリングされるべき領域への分割は、分類手段、画像分割手段、又は前記分類手段と前記画像分割手段との組み合わせに基づく、
    請求項２７記載の装置。
30. 前記分類方法は、エッジに基づく分類手段である、
    請求項２９記載の装置。
31. 前記レート−歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータと前記インループの再構成されたビデオデータとに関連する相関値に関連する、
    請求項２７記載の装置。
32. 前記レート−歪みの最適化手順に関連する歪み関数又はコスト関数の計算は、オリジナルのビデオデータ、予測信号及び回復された予測誤差に関連する相関値に関連する、
    請求項２７記載の装置。
33. 前記インループフィルタは、フィルタ係数を有する線形空間フィルタである、
    請求項２７記載の装置。
34. 前記インループフィルタは、エッジオフセットフィルタ又はバンドオフセットフィルタである、
    請求項２７記載の装置。
35. ビデオビットストリームに前記インループフィルタの情報を組み込む手段を更に備える、
    請求項２７記載の装置。
36. ビデオデコーダにおいてインループフィルタを使用してインループの再構成されたビデオを処理する装置であって、
    当該装置は、
    符号化されたビデオデータに基づいてインループの再構成されたビデオデータを導出する手段と、
    前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する手段と、
    ビデオビットストリームからインループフィルタを決定する手段と、
    前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、
    を備える装置。
37. インループフィルタを使用してインループの再構成されたビデオを処理する装置であって、
    当該装置は、
    符号化されたビデオデータからインループの再構成されたビデオデータを導出する手段と、
    前記インループの再構成されたビデオデータの画素を、複数のフィルタリングされるべき領域に分割する手段と、
    それぞれのフィルタリングされるべき領域について、複数の候補となるフィルタからなるフィルタセットから、インループフィルタを決定する手段と、前記複数の候補となるフィルタは、異なる形状又は異なるサイズを有しており、
    前記インループフィルタを前記それぞれのフィルタリングされるべき領域に適用して、フィルタリングされた領域を生成する手段と、
    を備える装置。
38. 選択されたインループフィルタの形状を示すフラグをビットストリームに組み込む手段を更に備える、
39. 選択されたインループフィルタの形状を示すフラグを含むビットストリームを受信する手段を更に備え、前記フィルタセットからの前記インループフィルタの決定は、前記フラグに基づく、
    請求項３７記載の装置。

Images