JP2019534629A - 画像処理方法及びこのための装置 - Google Patents

Abstract

画像処理方法及びこのための装置を開示する。具体的に、画像処理方法は、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードを獲得する段階と、現在ブロックの隣接サンプルを用いて参照サンプルを獲得する段階と、参照サンプルにフィルタリングを実行するか否かを決定する段階と、フィルタリングを実行するように決定された場合、参照サンプルをフィルタリングする段階と、予測モードに基づいて、参照サンプル又はフィルタリングされた参照サンプルを用いて予測ブロックを生成する段階とを含み、現在ブロックは、非正方形のブロックであり、参照サンプルは、左側参照サンプル及び上段参照サンプルを含み、前記フィルタリングの実行可否は、現在ブロックのパラメータ又は周辺ブロックのパラメータのうち少なくとも一つに基づいて決定される。【選択図】図９

Description

本発明は、静止画又は動画処理方法に関し、より詳細には、イントラ予測モード（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）に基づいて、静止画又は動画をエンコーディング／デコーディングする方法及びこれを支援する装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して送信したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声等のメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。

次世代ビデオコンテンツは、高解像度（ｈｉｇｈ ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ ｆｒａｍｅ ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｓｃｅｎｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）の側面で莫大な増加を有してくるであろう。

したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。

既存の静止画又は動画の圧縮技術では、ブロックに基づいて画像を圧縮する方法を利用する。特に、イントラ予測モードにおいて、現在の処理ブロックが非正方形のブロックである場合、参照サンプルのフィルタリングの実行可否及び／又はフィルタの種類を決定する基準が曖昧であるという問題がある。

本発明は、前記のような問題点を解決するために、現在ブロックと関連したパラメータ及び／又は現在ブロックの周辺ブロックと関連したパラメータを用いて、参照サンプルのフィルタリングの実行可否及び／又はフィルタリングの種類を決定することによって、予測の正確度を向上させることができる方法及び装置を提供することに目的がある。

また、本発明は、現在ブロックのパラメータとして、現在ブロックの辺の長さ、サンプルの数、量子化パラメータ又は予測サンプルと参照サンプルとの距離を基準にフィルタリング可否の決定及び／又はフィルタの種類を決定する方法及び装置を提供することに目的がある。

また、本発明は、周辺ブロックのパラメータとして、周辺ブロックの量子化パラメータ、残差係数の個数、残差係数の存在有無を示すフラグ又はブロック境界に関する情報を基準にフィルタリング可否の決定及び／又はフィルタの種類を決定する方法及び装置を提供することに目的がある。

また、本発明は、上段参照サンプルと左側参照サンプルを各々別途にフィルタリングの可否を決定したり、フィルタリングの実行可否を決定するのに先だって、参照可能可否を判断する方法及び装置を提供することに目的がある。

また、本発明は、別途の非正方形のブロックのためのテーブルを定義せず、正方形のブロックのテーブルを用いることによって、非正方形のブロックのフィルタリング可否の決定及び／又はフィルタの種類を決定する方法及び装置を提供することに目的がある。

本発明においてなそうとする技術的課題は、以上で言及した技術的課題に制限されず、言及していないさらに他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。

本発明の一態様は、画像復号方法において、現在ブロックのイントラ予測モードを獲得する段階と、前記現在ブロックの隣接サンプルを用いて、前記現在ブロックの予測ブロックを生成するための参照サンプルを獲得する段階と、前記参照サンプルにフィルタリングを実行するか否かを決定する段階と、前記フィルタリングを実行するように決定された場合、前記参照サンプルをフィルタリングする段階と、前記イントラ予測モードに基づいて、前記参照サンプル又は前記フィルタリングされた参照サンプルを用いて、前記予測ブロックを生成する段階と、を含み、前記現在ブロックは、非正方形（ｎｏｎ−ｓｑｕａｒｅ）のブロックであり、前記参照サンプルは、前記現在ブロックの左側垂直エッジの左側と左下段に位置するサンプルを含む左側参照サンプルと、前記現在ブロックの上段水平エッジの上側と右上側に位置するサンプルを含む上段参照サンプルとを含み、前記左側参照サンプル及び前記上段参照サンプルのうちの一つは、前記現在ブロックの左上段サンプルを含み、前記フィルタリングの実行可否を決定する段階において、前記フィルタリングの実行可否は、前記イントラ予測モードと共に、前記現在ブロックと関連したパラメータである現在ブロックのパラメータ又は前記現在ブロックの周辺ブロックと関連したパラメータである周辺ブロックのパラメータのうち少なくとも一つに基づいて決定される。

好ましくは、前記現在ブロックのパラメータは、前記現在ブロックの水平エッジの長さを示す水平エッジ長又は前記現在ブロックの垂直エッジの長さを示す垂直エッジ長のうち少なくとも一つを含み、前記フィルタリングの実行可否を決定する段階において、前記水平エッジ長及び前記垂直エッジ長のうち、より大きい値を有するエッジの長さ又はより小さい値を有するエッジの長さに基づいてフィルタリングを実行するように決定される。

好ましくは、前記フィルタリングの実行可否を決定する段階において、前記水平エッジ長に基づいて、前記上段参照サンプルのフィルタリングの実行可否が決定され、前記垂直エッジ長に基づいて、前記左側参照サンプルのフィルタリングの実行可否が決定され、前記フィルタリングする段階において、前記上段参照サンプル及び前記左側参照サンプルが各々独立してフィルタリングされる。

好ましくは、前記現在ブロックのパラメータは、前記現在ブロックのサンプルの数を含み、前記フィルタリングの実行可否を決定する段階において、前記サンプルの数と同じサンプルの数を有する第１の正方形のブロック、又は前記サンプルの数よりもさらに少ないサンプルの数を有する正方形のブロックのうち最も大きいブロックである第２の正方形のブロックが、既に定義された条件に基づいて前記イントラ予測モードでフィルタリングが実行されると、フィルタリングを実行するように決定される。

好ましくは、前記現在ブロックのパラメータは、前記現在ブロックの量子化率と関連する第１の量子化パラメータを含み、前記フィルタリングの実行可否を決定する段階において、前記第１の量子化パラメータが第１の臨界値よりも大きい場合、フィルタリングを実行するように決定され、前記フィルタリングする段階において、前記第１の量子化パラメータが前記第１の臨界値よりも大きいか否かによってフィルタのタイプが決定される。

好ましくは、前記現在ブロックのパラメータは、前記現在ブロック内の予測サンプルと前記上段参照サンプルとの間の垂直距離又は前記予測ブロックと前記左側参照サンプルとの間の水平距離のうち少なくとも一つを含み、前記フィルタリングの実行可否を決定する段階において、前記垂直距離が第２の臨界値よりも大きい場合、前記水平距離が第３の臨界値よりも大きい場合、又は前記垂直距離が前記第２の臨界値よりも大きく、前記水平距離が前記第３の臨界値よりも大きい場合、フィルタリングを実行するように決定され、前記フィルタリングする段階において、前記垂直距離が前記第２の臨界値よりも大きいか否か及び／又は前記水平距離が前記第３の臨界値よりも大きいか否かによってフィルタのタイプが決定される。

好ましくは、前記周辺ブロックのパラメータは、前記周辺ブロックの量子化率と関連する第２の量子化パラメータを含み、前記フィルタリングの実行可否を決定する段階において、前記第２の量子化パラメータが第４の臨界値よりも大きい場合、フィルタリングを実行するように決定され、前記フィルタリングする段階において、前記第２の量子化パラメータが前記第４の臨界値よりも大きいか否かによってフィルタのタイプが決定される。

好ましくは、前記周辺ブロックのパラメータは、前記周辺ブロックの残差係数の数を含み、前記フィルタリングの実行可否を決定する段階において、前記残差係数の数が第５の臨界値よりも大きい場合、フィルタリングを実行するように決定され、前記フィルタリングする段階において、前記残差係数の数が前記第５の臨界値よりも大きいか否かによってフィルタのタイプが決定される。

好ましくは、前記周辺ブロックのパラメータは、前記周辺ブロックに残差係数が存在するかを示すフラグを含み、前記フィルタリングの実行可否を決定する段階において、前記フラグが前記残差係数が存在すると示すと、フィルタリングを実行するように決定される。

好ましくは、前記周辺ブロックのパラメータは、前記上段参照サンプル又は前記左側参照サンプルのうち少なくとも一つが互いに異なる周辺ブロックに属するサンプルで構成されているかを示すエッジパラメータを含み、前記フィルタリングの実行可否を決定する段階において、前記エッジパラメータが前記上段参照サンプル又は前記左側参照サンプルのうち少なくとも一つが前記互いに異なる周辺ブロックに属するサンプルで構成されていることを示す場合、前記フィルタリングを実行するように決定される。

好ましくは、前記周辺ブロックのパラメータは、前記参照サンプルが属する互いに異なる周辺ブロックの数を含み、前記フィルタリングの実行可否を決定する段階において、前記互いに異なる周辺ブロックの数が第６の臨界値よりも大きい場合、フィルタリングを実行するように決定され、前記フィルタリングする段階において、前記互いに異なる周辺ブロックの数が前記第６の臨界値よりも大きいか否かによってフィルタのタイプが決定される。

好ましくは、前記上段参照サンプル及び前記左側参照サンプルが参照可能であるか否かを確認する段階をさらに含み、前記フィルタリングの実行可否を決定する段階において、前記上段参照サンプル及び前記左側参照サンプルのうちの一つが参照可能である場合、前記現在ブロックの水平エッジの長さを示す水平エッジ長又は前記現在ブロックの垂直エッジの長さを示す垂直エッジ長のうち、参照可能なサンプルに隣接したエッジの長さに基づいてフィルタリングを実行するように決定され、そうでなければ、前記水平エッジ長及び前記垂直エッジ長のうち、より大きい値を有するエッジの長さ又はより小さい値を有するエッジの長さに基づいてフィルタリングを実行するように決定されるか、又は、前記水平エッジ長及び前記垂直エッジ長に基づいて、各々独立して前記上段参照サンプル及び前記左側参照サンプルのフィルタリングの実行可否が決定される。

本発明の一態様は、画像を復号する装置において、イントラ予測モードに基づいて現在ブロックの予測ブロックを生成するイントラ予測部を含み、前記イントラ予測部は、前記現在ブロックの前記イントラ予測モードを獲得するイントラ予測モード獲得部と、前記予測ブロックを生成するための参照サンプルを獲得する参照サンプル獲得部と、前記参照サンプルにフィルタリングを実行するか否かを決定し、前記フィルタリングを実行するように決定されると、前記参照サンプルをフィルタリングする参照サンプルフィルタリング部と、前記現在ブロックの前記参照サンプル又は前記フィルタリングされた参照サンプルを用いて予測ブロックを生成する予測ブロック生成部と、を含み、前記現在ブロックは、非正方形（ｎｏｎ−ｓｑｕａｒｅ）のブロックであり、前記参照サンプルは、前記現在ブロックの左側垂直エッジの左側と左下段に位置するサンプルを含む左側参照サンプル及び前記現在ブロックの上段水平エッジの上側と右上側に位置するサンプルを含む上段参照サンプルを含み、前記左側参照サンプル及び前記上段参照サンプルのうちの一つは前記現在ブロックの左上段サンプルを含み、前記参照サンプルフィルタリング部は、前記イントラ予測モードと共に、前記現在ブロックと関連したパラメータである現在ブロックのパラメータ又は前記現在ブロックの周辺ブロックと関連したパラメータである周辺ブロックのパラメータのうち少なくとも一つに基づいてフィルタリングの実行可否を決定する。

本発明の実施例に係ると、現在ブロックが非正方形のブロックである場合、現在ブロックと関連したパラメータである現在ブロックのパラメータ又は周辺ブロックと関連したパラメータである周辺ブロックのパラメータのうち少なくとも一つを用いて、参照サンプルのフィルタリングの実行可否とフィルタリングの種類を決定することによって、予測の正確度を向上させることができる。

また、本発明の実施例に係ると、参照サンプルのフィルタリングの実行可否とフィルタリングの種類を決定する過程で、既に定義された正方形のブロックの表（テーブル）を用いることによって、別途の非正方形のブロックのためのテーブルを格納する必要がないので、エンコーダ／デコーダの追加的なメモリの消費を減らすことができる。

また、本発明の実施例に係ると、現在ブロックのパラメータ（辺の長さ、量子化パラメータ、サンプルの数又は予測サンプルと参照サンプルとの距離）及び／又は周辺ブロックのパラメータ（量子化パラメータ、残差係数の個数、Ｃｂｆ又は境界に関する情報）を用いることによって、アーティファクトが混在したブロックや詳細な画像のブロックにおける予測性能を向上させることができる。

また、本発明の実施例に係ると、現在ブロックのパラメータと周辺ブロックのパラメータとを組み合わせて用いることによって、予測性能をさらに向上させることができる。

また、本発明の実施例に係ると、上段参照サンプルと左側参照サンプルのフィルタリングの実行可否とフィルタリングの種類を各々独立して決定することによって、予測性能をさらに向上させることができる。

本発明において得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。

本発明に関する理解を助けるために、詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明とともに本発明の技術的特徴を説明する。

本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。 本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるデコーダの概略的なブロック図を示す。 本発明に適用され得るコーディングユニットの分割構造を説明するための図である。 本発明に適用され得る予測ユニットを説明するための図である。 本発明が適用される実施例であって、イントラ予測方法を例示する図である。 イントラ予測モードに係る予測方向を例示する。 本発明が適用される実施例であって、ＱＴＢＴ（ＱｕａｄＴｒｅｅ ＢｉｎａｒｙＴｒｅｅ、以下‘ＱＴＢＴ’という）ブロックの分割構造を説明するための図である。 本発明の一実施例に係る、現在処理ブロックが正方形のブロックである場合、前記現在処理ブロックと現在処理ブロックの予測ブロックを生成するための参照サンプルを示す。 本発明の一実施例に係る、現在処理ブロックが非正方形のブロックである場合、前記現在処理ブロックと現在処理ブロックの予測ブロックを生成するための参照サンプルを示す。 本発明の一実施例に係る、イントラ予測部のブロック図を示す。 本発明の一実施例に係る、画像復号方法のフローチャートを示す。

以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施され得る唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施され得ることが分かる。

いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示されることができる。

合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純に解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。

以下の説明で使用される特定用語等は、本発明の理解を助けるために提供されたものであって、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャー、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。

以下、本明細書において「ブロック」または「ユニット」は、予測、変換及び／又は量子化などのようなエンコード／デコードの過程が行われる単位を意味し、サンプル（または、画素、ピクセル）の多次元配列で構成されることができる。

「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列を意味することができ、色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列を意味することもできる。また、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列と色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列とを全て含むものを総称することもできる。

例えば、「ブロック」または「ユニット」は、エンコード／デコードの実行対象になるサンプルの配列を意味するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、複数のコーディングブロックで構成されるコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、同じ予測が適用されるサンプルの配列を意味する予測ブロック（ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）（または、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ））、同じ変換が適用されるサンプルの配列を意味する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）（または、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ））を全て含む意味と解釈されることができる。

また、本明細書で別の言及がない限り、「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分及び／又は色差（ｃｈｒｏｍａ）成分に対するサンプルの配列をエンコード／デコードする過程で利用されるシンタックス構造（ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）を含む意味と解釈されることができる。ここで、シンタックス構造は、特定の順序でビットストリーム内に存在する０またはそれ以上のシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を意味し、シンタックス要素は、ビットストリーム内で表現されるデータの要素を意味する。

例えば、「ブロック」または「ユニット」は、コーディングブロックＣＢと当該コーディングブロックＣＢのエンコードのために利用されるシンタックス構造を含むコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、複数のコーディングユニットで構成されるコーディングツリーユニット（ＣＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、予測ブロックＰＢと当該予測ブロックＰＢの予測のために利用されるシンタックス構造を含む予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換ブロックＴＢと当該変換ブロックＴＢの変換のために利用されるシンタックス構造を含む変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を全て含む意味と解釈されることができる。

また、本明細書で「ブロック」または「ユニット」は、必ず正方形または長方形の形態のサンプル（または、画素、ピクセル）の配列に限定されるものではなく、３個以上の頂点を有する多角形の形態のサンプル（または、画素、ピクセル）の配列を意味することもできる。この場合、ポリゴン（Ｐｏｌｙｇｏｎ）ブロックまたはポリゴンユニットと呼ばれることもできる。

また、以下、本明細書において、ピクセル又は画素などをサンプルと総称する。そして、サンプルを用いるというのは、ピクセル値又は画素値等を用いるということを意味し得る。

また、以下、本明細書で提案する技術が適用される現在ブロックは、別途の言及がない限り、非正方形のブロックを示す。

図１は、本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。

図１に示すように、エンコーダ１００は、画像分割部１１０、減算器１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャーバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）１７０、予測部１８０、及びエントロピーエンコード部１９０を備えて構成されることができる。そして、予測部１８０は、インター予測部１８１、イントラ予測部１８２を備えて構成されることができる。

画像分割部１１０は、エンコーダ１００に入力された入力画像信号（Ｉｎｐｕｔ ｖｉｄｅｏ ｓｉｇｎａｌ）（又は、ピクチャー、フレーム）を一つ以上の処理ユニットに分割する。

減算器１１５は、入力画像信号で予測部１８０（即ち、インター予測部１８１又はイントラ予測部１８２）から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）（又は予測ブロック）を減算し、差分信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）（又は差分ブロック）を生成する。生成された差分信号（又は差分ブロック）は変換部１２０に送信される。

変換部１２０は、差分信号（又は差分ブロック）に変換技法（例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ−Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ ｔｒａｎｓｆｏｒｍ）等）を適用し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。このとき、変換部１２０は、差分ブロックに適用された予測モードと差分ブロックの大きさによって決定された変換技法を用いて変換を行うことによって、変換係数を生成することができる。

量子化部１３０は変換係数を量子化してエントロピーエンコーディング部１９０に送信し、エントロピーエンコーディング部１９０は、量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）をエントロピーコーディングし、ビットストリームで出力する。

一方、量子化部１３０から出力された量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）は、予測信号を生成するために用いられることができる。例えば、量子化された信号（ｑｕａｎｔｉｚｅｄ ｓｉｇｎａｌ）は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することによって差分信号を復元することができる。復元された差分信号をインター予測部１８１またはイントラ予測部１８２から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）に足すことにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）（または、復元ブロック）が生成され得る。

一方、上記のような圧縮過程で隣接したブロックが互いに異なる量子化パラメータにより量子化されることで、ブロック境界が見える劣化が発生し得る。このような現象をブロッキング劣化（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔｓ）といい、これは、画質を評価する重要な要素のうちの１つである。このような劣化を減らすために、フィルタリング過程を行うことができる。このようなフィルタリング過程を介してブロッキング劣化を除去するとともに、現在ピクチャーに対する誤差を減らすことにより、画質を向上させることができるようになる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャーバッファ１７０に送信する。復号ピクチャーバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８１で参照ピクチャーとして使用されることができる。このように、フィルタリングされたピクチャーを画面間予測モードで参照ピクチャーとして用いることにより、画質だけでなく、符号化効率も向上させることができる。

復号ピクチャーバッファ１７０は、フィルタリングされたピクチャーをインター予測部１８１での参照ピクチャーとして使用するために格納することができる。

インター予測部１８１は、復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を行う。

ここで、予測を行うために用いられる参照ピクチャーは、以前の時間に符号化／復号の際、ブロック単位に量子化と逆量子化を経て変換された信号であるから、ブロッキングアーティファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）やリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）が存在し得る。

補間フィルタは、復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に適用され、予測の精密度を向上させることができる。例えば、インター予測部１８１は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（ｉｎｔｅｒｐｏｌａｔｅｄ ｐｉｘｅｌｓ）で構成された補間ブロック（ｉｎｔｅｒｐｏｌａｔｅｄ ｂｌｏｃｋ）を予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ）として用いて予測を行うことができる。

イントラ予測部１８２は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して現在ブロックを予測する。イントラ予測部１８２は、イントラ予測を行うために次のような過程を行い得る。まず、予測信号を生成するために必要な参照サンプルを準備し得る。そして、準備された参照サンプルを用いて予測信号を生成し得る。また、予測モードを符号化することになる。このとき、参照サンプルは、参照サンプルのパディング及び／又は参照サンプルのフィルタリングを通じて準備され得る。参照サンプルは、予測及び復元の過程を経たため、量子化エラーが存在し得る。従って、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルのフィルタリング過程が行われ得る。

インター予測部１８１又は前記イントラ予測部１８２を介して生成された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）（又は予測ブロック）は、復元信号（又は復元ブロック）を生成するために用いられてもよく、差分信号（又は差分ブロック）を生成するために用いられてもよい。

図２は、本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるデコーダの概略的なブロック図を示す。

図２に示すように、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算器２３５、フィルタリング部２４０、復号ピクチャーバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ Ｕｎｉｔ）２５０、予測部２６０を備えて構成されることができる。そして、予測部２６０は、インター予測部２６１及びイントラ予測部２６２を備えて構成されることができる。

そして、デコーダ２００を介して出力された復元画像信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｖｉｄｅｏ ｓｉｇｎａｌ）は、再生装置を介して再生されることができる。

デコーダ２００は、図１のエンコーダ１００から出力された信号（すなわち、ビットストリーム）を受信し、受信された信号は、エントロピーデコード部２１０を介してエントロピーデコードされる。

逆量子化部２２０では、量子化ステップサイズ情報を利用してエントロピーデコードされた信号から変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得する。

逆変換部２３０では、逆変換技法を適用して変換係数を逆変換して差分信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）（または、差分ブロック）を取得するようになる。

加算器２３５は、獲得された差分信号（又は差分ブロック）を予測部２６０（即ち、インター予測部２６１又はイントラ予測部２６２）から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）（又は予測ブロック）に足すことによって、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）（又は復元ブロック）が生成される。

フィルタリング部２４０は、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓｉｇｎａｌ）（または、復元ブロック）にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャーバッファ部２５０に送信する。復号ピクチャーバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６１で参照ピクチャーとして使用されることができる。

本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８１、及びイントラ予測部１８２で説明された実施形態は、各々デコーダのフィルタリング部２４０、インター予測部２６１、及びイントラ予測部２６２にも同様に適用されることができる。

一般に、静止画または動画圧縮技術（例えば、ＨＥＶＣ）では、ブロック基盤の画像圧縮方法を利用する。ブロック基盤の画像圧縮方法は、画像を特定ブロック単位に分けて処理する方法であって、メモリ使用と演算量を減少させることができる。

図３は、本発明に適用され得るコーディングユニットの分割構造を説明するための図である。

エンコーダは、１つの画像（または、ピクチャー）を四角形の形態のコーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）単位に分割する。そして、ラスタースキャン順序（ｒａｓｔｅｒ ｓｃａｎｏｒｄｅｒ）にしたがって１つのＣＴＵずつ順次エンコードする。

ＨＥＶＣでＣＴＵのサイズは、６４×６４、３２×３２、１６×１６のうち、いずれか１つに決められることができる。エンコーダは、入力された画像の解像度または入力された画像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（ｌｕｍａ）成分に対するコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＴＢを含む。

１つのＣＴＵは、クアッドツリー（Ｑｕａｄ−ｔｒｅｅ）構造に分割されることができる。すなわち、１つのＣＴＵは、正方形の形態を有しながら半分の水平サイズ（ｈａｌｆ ｈｏｒｉｚｏｎｔａｌ ｓｉｚｅ）及び半分の垂直サイズ（ｈａｌｆ ｖｅｒｔｉｃａｌ ｓｉｚｅ）を有する４個のユニットに分割されて、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が生成され得る。このようなクアッドツリー構造の分割は、再帰的に行われることができる。すなわち、ＣＵは、１つのＣＴＵからクアッドツリー構造で階層的に分割される。

ＣＵは、入力画像の処理過程、例えば、イントラ（ｉｎｔｒａ）／インター（ｉｎｔｅｒ）予測が行われるコーディングの基本単位を意味する。ＣＵは、輝度（ｌｕｍａ）成分に対するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＢを含む。ＨＥＶＣでＣＵのサイズは、６４×６４、３２×３２、１６×１６、８×８のうち、いずれか１つに決められることができる。

図３に示すように、クアッドツリーのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＴＵと関連する。クアッドツリーは、リーフノード（ｌｅａｆ ｎｏｄｅ）に到達するまで分割され、リーフノードは、ＣＵに該当する。

より具体的に説明すれば、ＣＴＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵは、ＣＵに該当する。

ＣＴＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵで１回分割され、１の深さを有する。

１の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ２（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）は、ＣＴＵで２回分割され、２の深さを有する。

また、２の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）は、ＣＴＵで３回分割され、３の深さを有する。

エンコーダでは、ビデオ画像の特性（例えば、解像度）に応じて、あるいは符号化の効率を考慮してＣＵの最大サイズまたは最小サイズを決定できる。そして、これに関する情報またはこれを導くことができる情報がビットストリームに含まれ得る。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼び、最小サイズを有するＣＵを最小コーディングユニットＳＣＵ：Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ぶことができる。

また、ツリー構造を有するＣＵは、予め決められた最大深さ情報（または、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＣＵは、深さ情報を有することができる。深さ情報は、ＣＵの分割された回数及び／又は程度を表すので、ＣＵのサイズに関する情報を含むこともできる。

ＬＣＵがクアッドツリー形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を利用すれば、ＳＣＵのサイズを求めることができる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すれば、ＬＣＵのサイズを求めることができる。

１つのＣＵに対して、当該ＣＵが分割されるか否かを表す情報（例えば、分割ＣＵフラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ））がデコーダに伝達され得る。この分割モードは、ＳＣＵを除いた全てのＣＵに含まれている。例えば、分割可否を表すフラグの値が「１」であれば、当該ＣＵはさらに４個のＣＵに分けられ、分割可否を表すフラグの値が「０」であれば、当該ＣＵはそれ以上分けられず、当該ＣＵに対する処理過程が行われ得る。

上述のように、ＣＵは、イントラ予測またはインター予測が行われるコーディングの基本単位である。ＨＥＶＣは、入力画像をより効果的にコーディングするために、ＣＵを予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）単位に分割する。

ＰＵは、予測ブロックを生成する基本単位であって、１つのＣＵ内でもＰＵ単位に互いに異なるように予測ブロックを生成できる。ただし、１つのＣＵ内に属したＰＵなどは、イントラ予測とインター予測とが混合されて使用されず、１つのＣＵ内に属したＰＵなどは、同じ予測方法（すなわち、イントラ予測あるいはインター予測）によりコーディングされる。

ＰＵは、クアッドツリー構造に分割されず、１つのＣＵで予め決められた形態で１回分割される。これについて、下記の図面を参照して説明する。

図４は、本発明に適用され得る予測ユニットを説明するための図である。

ＰＵは、ＰＵが属するＣＵのコーディングモードとしてイントラ予測モードが使用されるか、インター予測モードが使用されるかによって異なるように分割される。

図４（ａ）は、イントラ予測モードが使用される場合のＰＵを例示し、図４（ｂ）は、インター予測モードが使用される場合のＰＵを例示する。

図４（ａ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは、２つのタイプ（すなわち、２Ｎ×２ＮまたはＮ×Ｎ）に分割されることができる。

ここで、２Ｎ×２Ｎ形態のＰＵに分割される場合、１つのＣＵ内に１つのＰＵだけが存在することを意味する。

それに対し、Ｎ×Ｎ形態のＰＵに分割される場合、１つのＣＵは、４個のＰＵに分割され、各ＰＵ単位別に互いに異なる予測ブロックが生成される。ただし、このようなＰＵの分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。

図４（ｂ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは、８つのＰＵタイプ（すなわち、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に分類されることができる。

イントラ予測と同様に、Ｎ×Ｎ形態のＰＵ分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。

インター予測では、横方向に分割される２Ｎ×Ｎ形態及び縦方向に分割されるＮ×２Ｎ形態のＰＵ分割を支援する。

また、非対称動き分割（ＡＭＰ：Ａｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｐａｒｔｉｔｉｏｎ）形態であるｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ形態のＰＵ分割を支援する。ここで、「ｎ」は、２Ｎの１／４の値を意味する。ただし、ＡＭＰは、ＰＵが属したＣＵが最小サイズのＣＵである場合、使用されることができない。

１つのＣＴＵ内の入力画像を効率的に符号化するために、コーディングユニットＣＵ、予測ユニットＰＵ、変換ユニットＴＵの最適な分割構造は、下記のような実行過程を経て最小レート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて決定されることができる。例えば、６４×６４ＣＴＵ内の最適なＣＵ分割過程を説明すれば、６４×６４サイズのＣＵから８×８サイズのＣＵまでの分割過程を経ながら、レート歪み費用を計算できる。具体的な過程は、次のとおりである。

１）６４×６４サイズのＣＵに対してインター／イントラ予測、変換／量子化、逆量子化／逆変換、及びエントロピーエンコード実行を介して最小のレート歪み値を発生させる最適なＰＵとＴＵの分割構造を決定する。

２）６４×６４ＣＵを３２×３２サイズのＣＵ４個に分割し、各３２×３２ＣＵに対して最小のレート歪み値を発生させる最適なＰＵとＴＵの分割構造を決定する。

３）３２×３２ＣＵを１６×１６サイズのＣＵ４個に再度分割し、各１６×１６ＣＵに対して最小のレート歪み値を発生させる最適なＰＵとＴＵの分割構造を決定する。

４）１６×１６ＣＵを８×８サイズのＣＵ４個に再度分割し、各８×８ＣＵに対して最小のレート歪み値を発生させる最適なＰＵとＴＵの分割構造を決定する。

５）上記の３）の過程で算出した１６×１６ＣＵのレート歪み値と、上記の４）の過程で算出した４個８×８ＣＵのレート歪み値との合計を比較して、１６×１６ブロック内で最適なＣＵの分割構造を決定する。この過程を残りの３個の１６×１６ＣＵなどに対しても同様に行う。

６）上記の２）の過程で計算された３２×３２ＣＵのレート歪み値と、上記の５）の過程で取得した４個の１６×１６ＣＵのレート歪み値との合計を比較して、３２×３２ブロック内で最適なＣＵの分割構造を決定する。この過程を残りの３個の３２×３２ＣＵなどに対しても同様に行う。

７）最後に、上記の１）の過程で計算された６４×６４ＣＵのレート歪み値と、上記の６）の過程で取得した４個の３２×３２ＣＵのレート歪み値との合計を比較して、６４×６４ブロック内で最適なＣＵの分割構造を決定する。

イントラ予測モードにおいて、ＰＵ単位に予測モードが選択され、選択された予測モードに対して実際ＴＵ単位に予測と再構成が行われる。

ＴＵは、実際予測と再構成が行われる基本単位を意味する。ＴＵは、輝度（ｌｕｍａ）成分に対する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＴＢを含む。

前述した図３の例示において１つのＣＴＵがクアッドツリー構造に分割されてＣＵが生成されるように、ＴＵは、コーディングしようとする１つのＣＵからクアッドツリー構造に階層的に分割される。

ＴＵは、クアッドツリー構造に分割されるので、ＣＵから分割されたＴＵは再度より小さい下位ＴＵに分割されることができる。ＨＥＶＣでは、ＴＵのサイズは、３２×３２、１６×１６、８×８、４×４のうち、いずれか１つに決められることができる。

さらに、図３に示すように、クアッドツリーのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＵと関連すると仮定する。クアッドツリーは、リーフノード（ｌｅａｆ ｎｏｄｅ）に到達するまで分割され、リーフノードは、ＴＵに該当する。

より具体的に説明すれば、ＣＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＵが分割されないこともあり、この場合、ＣＵは、ＴＵに該当する。

ＣＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ、及びｊに対応するＴＵ（ａ）、ＴＵ（ｂ）、ＴＵ（ｊ）は、ＣＵで１回分割され、１の深さを有する。

１の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ２（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＴＵ（ｃ）、ＴＵ（ｈ）、ＴＵ（ｉ）は、ＣＵで２回分割され、２の深さを有する。

また、２の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＴＵ（ｄ）、ＴＵ（ｅ）、ＴＵ（ｆ）、ＴＵ（ｇ）は、ＣＵで３回分割され、３の深さを有する。

ツリー構造を有するＴＵは、予め決められた最大深さ情報（または、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＴＵは、深さ情報を有することができる。深さ情報は、ＴＵの分割された回数及び／又は程度を表すので、ＴＵのサイズに関する情報を含むこともできる。

１つのＴＵに対して、当該ＴＵが分割されるか否かを表す情報（例えば、分割ＴＵフラグ（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ））がデコーダに伝達され得る。この分割情報は、最小サイズのＴＵを除いた全てのＴＵに含まれている。例えば、分割可否を表すフラグの値が「１」であれば、当該ＴＵは、さらに４個のＴＵに分けられ、分割可否を表すフラグの値が「０」であれば、当該ＴＵは、それ以上分けられない。

予測（ｐｒｅｄｉｃｔｉｏｎ）

デコーディングが実行される現在処理ユニットを復元するために、現在処理ユニットが含まれた現在ピクチャー又は他のピクチャーのデコーディングされた部分を用いることができる。

復元に現在ピクチャーのみを用いる、即ち、画面内予測のみを行うピクチャー（スライス）をイントラピクチャー又はＩピクチャー（スライス）、各ユニットを予測するために最大の一つの動きベクトル及び参照インデックスを用いるピクチャー（スライス）を予測ピクチャー（ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＰピクチャー（スライス）、最大の二つの動きベクトル及び参照インデックスを用いるピクチャー（スライス）を対予測ピクチャー（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＢピクチャー（スライス）と称し得る。

イントラ予測は、同一のデコーディングされたピクチャー（又はスライス）のデータ要素（例えば、サンプル値等）から現在処理ブロックを導出する予測方法を意味する。即ち、現在ピクチャー内の復元された領域を参照し、現在処理ブロックのピクセル値を予測する方法を意味する。

インター予測は、現在ピクチャー以外のピクチャーのデータ要素（例えば、サンプル値又は動きベクトル等）に基づいて、現在処理ブロックを導出する予測方法を意味する。即ち、現在ピクチャー以外の復元された他のピクチャー内の復元された領域を参照し、現在処理ブロックのピクセル値を予測する方法を意味する。

以下、イントラ予測についてより詳細に見る。

イントラ予測（Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）（又は画面内予測）

図５は、本発明が適用される実施例であって、イントラ予測方法を例示する図である。

図５を参照すると、デコーダは現在処理ブロックのイントラ予測モードを導出（ｄｅｒｉｖａｔｉｏｎ）する（Ｓ５０１）。

イントラ予測においては、予測モードに応じて、予測に用いられる参照サンプルの位置に対する予測方向を有し得る。予測方向を有するイントラ予測モードをイントラ方向性予測モード（Ｉｎｔｒａ＿Ａｎｇｕｌａｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）と称する。反面、予測方向を有さないイントラ予測モードとして、イントラプラナー（ＩＮＴＲＡ＿ＰＬＡＮＡＲ）予測モード、イントラＤＣ（ＩＮＴＲＡ＿ＤＣ）予測モードがある。

下記の表１は、イントラ予測モードと関連する名称について例示する。

イントラ予測においては、導出される予測モードに基づき、現在処理ブロックに対する予測を行う。予測モードに応じて、予測に用いられる参照サンプルと具体的な予測方法が変わるので、現在ブロックがイントラ予測モードでエンコーディングされた場合、デコーダは予測を行うために現在ブロックの予測モードを導出する。

デコーダは、現在処理ブロックの周辺サンプル（ｎｅｉｇｈｂｏｒｉｎｇ ｓａｍｐｌｅｓ）が予測に用いられ得るか確認し、予測に用いるべき参照サンプルを構成する（Ｓ５０２）。

イントラ予測において、現在処理ブロックの周辺サンプルは、ｎＳ×ｎＳサイズの現在処理ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ−ｌｅｆｔ）に隣接する合計２×ｎＳ個のサンプル、現在処理ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ−ｒｉｇｈｔ）に隣接する合計２×ｎＳ個のサンプル及び現在処理ブロックの左上側（ｔｏｐ−ｌｅｆｔ）に隣接する１個のサンプルを意味する。

しかし、現在処理ブロックの周辺サンプルのうち一部はまだデコーディングされていないか、又は利用可能でないことがある。この場合、デコーダは利用可能なサンプルで利用可能ではないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）し、予測に用いるべき参照サンプルを構成し得る。

デコーダはイントラ予測モードに基づいて参照サンプルのフィルタリングを実行することができる（Ｓ５０３）。

参照サンプルのフィルタリングの実行可否は、現在処理ブロックのサイズに基づいて決定され得る。また、参照サンプルのフィルタリング方法は、エンコーダから伝達されるフィルタリングフラグによって決定され得る。

デコーダはイントラ予測モードと参照サンプルに基づいて、現在処理ブロックに対する予測ブロックを生成する（Ｓ５０４）。即ち、デコーダは、イントラ予測モード導出段階（Ｓ５０１）で導出されたイントラ予測モードと参照サンプル構成段階（Ｓ５０２）と参照サンプルのフィルタリング段階（Ｓ５０３）を通じて獲得した参照サンプルに基づいて、現在処理ブロックに対する予測ブロックを生成（即ち、現在処理ブロック内の予測サンプルを生成）する。

現在処理ブロックがＩＮＴＲＡ＿ＤＣモードでエンコーディングされた場合、処理ブロック間の境界の不連続性（ｄｉｓｃｏｎｔｉｎｕｉｔｙ）を最小化するために、Ｓ５０４の段階で予測ブロックの左側（ｌｅｆｔ）境界サンプル（即ち、左側境界に隣接した予測ブロック内のサンプル）と上側（ｔｏｐ）境界サンプル（即ち、上側境界に隣接した予測ブロック内のサンプル）をフィルタリングすることができる。

また、Ｓ５０４の段階において、イントラ方向性予測モードのうち、垂直方向モード（ｖｅｒｔｉｃａｌ ｍｏｄｅ）及び水平方向モード（ｈｏｒｉｚｏｎｔａｌ ｍｏｄｅ）に対しても、ＩＮＴＲＡ＿ＤＣモードと同様に左側境界サンプル又は上側境界サンプルにフィルタリングを適用することができる。

より具体的に見ると、現在処理ブロックが垂直方向モード（ｖｅｒｔｉｃａｌ ｍｏｄｅ）又は水平方向モード（ｈｏｒｉｚｏｎｔａｌ ｍｏｄｅ）でエンコーディングされた場合、予測方向に位置する参照サンプルに基づいて予測サンプルの値を導出することができる。このとき、予測ブロックの左側境界サンプル又は上側境界サンプルのうち、予測方向に位置していない境界サンプルが予測に用いられない参照サンプルと隣接し得る。即ち、予測に用いられる参照サンプルとの距離よりも、予測に用いられない参照サンプルとの距離が遥かに近いことがある。

従って、デコーダは、イントラ予測方向が垂直方向なのか水平方向なのかに応じて、適応的に左側境界サンプル又は上側境界サンプルにフィルタリングを適用し得る。即ち、イントラ予測方向が垂直方向である場合、左側境界サンプルにフィルタリングを適用し、イントラ予測方向が水平方向である場合、上側境界サンプルにフィルタリングを適用し得る。

図６は、イントラ予測モードに係る予測方向を例示する。

前記で説明したように、ＨＥＶＣは画面内予測のために３３個の方向性予測方法と２個の無方向性予測方法、合計３５個の予測方法を用いて、現在ブロックの予測ブロックが生成される。

３３個の方向性予測モードの場合、参照サンプルから予測サンプルを計算するとき、各々の方向性を考慮し、参照サンプルの値が該当予測サンプルに複写される。

反面、２個の無方向性予測方法であるＤＣモードとプラナー（Ｐｌａｎａｒ）モードの場合、各々周辺の隣接する参照サンプルの平均値と加重の和で予測サンプルが計算される。

図７は、本発明が適用され得る実施例であって、ＱＴＢＴ（ＱｕａｄＴｒｅｅ ＢｉｎａｒｙＴｒｅｅ、以下‘ＱＴＢＴ’という）ブロックの分割構造を説明するための図である。

クアッドツリーとバイナリツリー（ＱＴＢＴ：Ｑｕａｄ−Ｔｒｅｅ Ｂｉｎａｒｙ−Ｔｒｅｅ）

ＱＴＢＴは、クアッドツリー（ｑｕａｄｔｒｅｅ）構造とバイナリツリー（ｂｉｎａｒｙｔｒｅｅ）構造とが結合されたコーディングブロックの構造を言う。具体的に、ＱＴＢＴブロックの分割構造では、画像をＣＴＵ単位でコーディングし、ＣＴＵはクアッドツリー（ｑｕａｄｔｒｅｅ）の形態で分割され、クアッドツリーのリーフノード（ｌｅａｆ ｎｏｄｅ）はさらにバイナリツリー（ｂｉｎａｒｙｔｒｅｅ）の形態で分割される。

以下では、図７を参照して、ＱＴＢＴ構造とこれを支援する分割フラグ（ｓｐｌｉｔ ｆｌａｇ）のシンタックスについて説明する。

前記図７を参照すると、現在ブロックはＱＴＢＴ構造に分割され得る。即ち、ＣＴＵは、まず、クアッドツリーの形態で階層的に分割され得る。そして、クアッドツリーの形態でこれ以上分割されないクアッドツリーのリーフノード（ｌｅａｆ ｎｏｄｅ）は、バイナリツリーの形態で階層的に分割され得る。

エンコーダは、ＱＴＢＴ構造でクアッドツリーの分割可否の決定のために分割フラグをシグナリングし得る。このとき、クアッドツリーの分割は、ＭｉｎＱＴＬｕｍａＩＳｌｉｃｅ、ＭｉｎＱＴＣｈｒｏｍａＩＳｌｉｃｅ又はＭｉｎＱＴＮｏｎＩＳｌｉｃｅの値に応じて調整（又は制限）され得る。ここで、ＭｉｎＱＴＬｕｍａＩＳｌｉｃｅは、Ｉ−スライスでルマ（輝度、ｌｕｍａ）成分のクアッドツリーのリーフノードの最小サイズを示し、ＭｉｎＱＴＬｕｍａＣｈｒｏｍａＩＳｌｉｃｅは、Ｉ−スライスでクロマ（彩度、ｃｈｒｏｍａ）成分のクアッドツリーのリーフノードの最小サイズを示し、ＭｉｎＱＴＮｏｎＩＳｌｉｃｅは、非Ｉ−スライス（ｎｏｎ Ｉ−ｓｌｉｃｅ）でクアッドツリーのリーフノードの最小サイズを示す。

ＱＴＢＴのクアッドツリー構造では、Ｉ−スライスでルマ成分とクロマ成分が互いに独立した分割構造を有し得る。例えば、ＱＴＢＴ構造でＩ−スライスの場合、ルマ成分とクロマ成分の分割構造は互いに異なって決定され得る。このような分割構造を支援するために、ＭｉｎＱＴＬｕｍａＩＳｌｉｃｅとＭｉｎＱＴＣｈｒｏｍａＩＳｌｉｃｅは互いに異なる値を有し得る。

他の例として、ＱＴＢＴの非Ｉ−スライスでクアッドツリー構造はルマ成分とクロマ成分の分割構造が同じように決定され得る。例えば、非Ｉ−スライスの場合、ルマ成分とクロマ成分のクアッドツリーの分割構造は、ＭｉｎＱＴＮｏｎＩＳｌｉｃｅの値に応じて調整され得る。

ＱＴＢＴ構造でクアッドツリーのリーフノードは、バイナリツリーの形態で分割され得る。このとき、バイナリツリーの分割は、ＭａｘＢＴＤｅｐｔｈ、ＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＬ及びＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＣに応じて調整（又は制限）され得る。ここで、ＭａｘＢＴＤｅｐｔｈは、非Ｉ−スライスでクアッドツリーのリーフノードを基準にバイナリツリー分割の最大の深さ（ｄｅｐｔｈ）を示し、ＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＬは、Ｉ−スライスでルマ成分のバイナリツリー分割の最大の深さを示し、ＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＣは、Ｉ−スライスでクロマ成分のバイナリツリー分割の最大の深さを示す。

また、ＱＴＢＴのＩ−スライスでルマ成分とクロマ成分が互いに異なる構造を有し得るため、Ｉ−スライスでＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＬとＭａｘＢＴＤｅｐｔｈＩＳｌｉｃｅＣは互いに異なる値を有し得る。

ＱＴＢＴの分割構造の場合、クアッドツリー構造とバイナリツリー構造を共に用いてもよく、この場合、次のような規則が適用され得る。

第一に、ＭａｘＢＴＳｉｚｅはＭａｘＱＴＳｉｚｅよりも小さいか同じである。ここで、ＭａｘＢＴＳｉｚｅはバイナリツリー分割の最大サイズを示し、ＭａｘＱＴＳｉｚｅはクアッドツリー分割の最大サイズを示す。

第二に、ＱＴのリーフノード（Ｌｅａｆ ｎｏｄｅ）がＢＴのルート（ｒｏｏｔ）になる。

第三に、一度ＢＴに分割されると、再度ＱＴに分割されることができない。

第四に、ＢＴは垂直分割（Ｖｅｒｔｉｃａｌ Ｓｐｌｉｔ）及び水平分割（Ｈｏｒｉｚｏｎｔａｌ Ｓｐｌｉｔ）を定義する。

第五に、ＭａｘＱＴＤｅｐｔｈ、ＭａｘＢＴＤｅｐｔｈを予め定義する。ここで、ＭａｘＱＴＤｅｐｔｈはクアッドツリー分割の最大深さ（ｄｅｐｔｈ）を示し、ＭａｘＢＴＤｅｐｔｈはバイナリツリー分割の最大深さ（ｄｅｐｔｈ）を示す。

第六に、ＭａｘＢＴＳｉｚｅ、ＭｉｎＱＴＳｉｚｅはスライスのタイプ（ｓｌｉｃｅ ｔｙｐｅ）に応じて変わり得る。

図８は、本発明の一実施例に係る、現在処理ブロックが正方形のブロックである場合、前記現在処理ブロックと現在処理ブロックの予測ブロックを生成するための参照サンプルを示す。

前述した図７を参照すると、ＱＴＢＴ分割構造において、現在処理ブロック（コーディングブロック）は正方形のブロック又は非正方形のブロックに該当し得る。正方形のブロックは、横の長さと縦の長さが同一である正四角形のブロックであり、非正方形のブロックは、横の長さと縦の長さが異なる長方形のブロックである。以下、現在処理ブロックが正方形のブロックである場合をまず見る。

図８において、現在処理ブロック（以下、便宜のために現在ブロックと称する、８０１０）は、Ｎ×Ｎサイズの正方形のブロックである。一例として、図８に図示されたブロックの場合、Ｎは４に該当する。

画面内予測を行う際に参照し得る参照サンプル８０２０は、現在ブロック８０１０の隣接サンプルで構成される。図８を参照すると、現在ブロック８０１０のサイズがＮ×Ｎであるとき、参照サンプル８０２０は、現在ブロック８０１０の上段の２Ｎ個、左側の２Ｎ個及び左上段の１個のサンプルを含み得る。即ち、参照サンプル８０２０は、最大４Ｎ＋１個のサンプルを含み得る。場合によっては、周辺参照サンプル８０２０が全て存在しない場合、表現可能なピクセル値の範囲の中間値で全ての参照サンプル８０２０が満たされ得る。また、周辺の参照サンプル８０２０のうち一部のみが使用可能である場合、使用可能ではないサンプルを使用可能なサンプルに代替するパディングが行われ得る。

画面内予測において、参照サンプル８０２０は既に量子化が行われた後に復元されることによって、再構成されたサンプルに該当する。従って、参照サンプル８０２０は量子化エラーを含む。量子化エラーによる予測誤差を減らすために、参照サンプルのフィルタリング（又は、イントラスムージング）が行われ得る。参照サンプルのフィルタリングはサンプル間の差により派生する予測ブロックの潜在的な自覚的アーティファクト（ｖｉｓｕａｌ ａｒｔｉｆａｃｔ）を事前に防止することができ、このために低域通過フィルタ（Ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）が用いられることができる。

フィルタリングを実行する前、参照サンプル８０２０は現在ブロック８０１０のサイズ、予測モード及びピクセル値に応じて予測を行う前にフィルタリングの可否が先に決定される。下記の表２はエンコーダ／デコーダで現在ブロック８０１０（又は予測ブロック）のサイズとイントラ予測モードによるフィルタリングの実行（適用）可否を示す。下記の表２は、エンコーダ／デコーダに予め定義され得る。

表２において、縦軸の数字０から３４は、イントラ予測モードを示し、横軸の４×４、８×８、１６×１６及び３２×３２は、現在ブロック８０１０のサイズを示す。

表２を参照すると、ＤＣモード（モード１１）、水平方向モード（ｈｏｒｉｚｏｎｔａｌ ｍｏｄｅ、モード１０）及び垂直方向モード（ｖｅｒｔｉｃａｌ ｍｏｄｅ、モード２６）では、現在ブロック８０１０のサイズに関係なく、フィルタリングが常に実行されない。ＤＣモードの場合、フィルタリングにより参照サンプルの値が歪曲されることを防止するために、参照サンプル８０２０がフィルタリングされない。

サイズの小さいブロック（一例として、４×４又は８×８）は、ごく一部の予測モードでのみフィルタリングが実行される。ブロックのサイズが大きくなるほど、フィルタリングに対する制限が緩和される。ブロックのサイズが充分に大きい場合（一例として、３２×３２）には、ＤＣモード、水平方向モード（モード１０）及び垂直方向モード（モード２６）を除く全てのモードでフィルタリングが実行され得る。また、予測ブロックのサイズ、予測モード及び参照サンプル８０２０の値等に基づいて、フィルタの種類が決定され得る。

現在ブロック８０１０の予測ブロックは、現在ブロック８０１０の参照サンプル８０２０を用いることによって生成される。以降、デコーダは予測ブロックと送信された残差信号とを結合することによって、現在ブロック８０１０を復元する。

図９は、本発明の一実施例に係る、現在処理ブロックが非正方形のブロックである場合、前記現在処理ブロックと現在処理ブロックの予測ブロックを生成するための参照サンプルを示す。

図９において、現在ブロックは非正方形のブロック９０１０である。前述した図７及び図８に関する説明で言及した通り、ＱＴＢＴ分割構造における現在処理ブロックは、非正方形のブロックに該当し得る。一例として、非正方形のブロック９０１０は、２Ｎ×Ｎ又は２Ｎ×ｈＮ（ｈ＝ｈａｌｆ）のサイズ等を有し得る。また、前述した図８に関する説明で見た通り、正方形のブロックは、参照サンプルのフィルタリング可否が現在ブロックのサイズ（即ち、一辺の長さＮ）に基づいて表２の基準に応じて決定される。しかし、非正方形のブロック９０１０は、ブロックの横の長さと縦の長さが異なる。従って、非正方形のブロック９０１０の場合、正方形のブロックと異なり、両辺の長さが異なるので、どの辺の長さを基準に表２によってフィルタリングの実行可否を決定するか曖昧である。

まず、非正方形のブロック９０１０の参照サンプルを説明する。参照サンプルは、上段（上側）参照サンプル９０２０及び左側参照サンプル９０３０を含む。上段参照サンプル９０２０は、上側境界サンプルとも称してもよく、左側参照サンプル９０３０は左側境界サンプルとも称してもよい。

上段参照サンプル９０２０は、現在ブロックの上段に隣接した参照サンプルである。上段参照サンプル９０２０は、現在ブロックの上段水平エッジ（即ち、上方の横辺）の上側（上方）及び右上側に位置するサンプルを含む。一例として、左上段サンプル（Ｔｏｐ−ｌｅｆｔ ｓａｍｐｌｅ、９０４０）の位置が［Ｘ］［Ｙ］＝［−１］［−１］であるとき、上段参照サンプル９０２０は、［Ｘ］［−１］の位置を有する。即ち、上段参照サンプル９０２０は、現在ブロックの上方に隣接し、参照サンプルが横に配列される。

左側参照サンプル９０３０は、現在ブロックの左側に隣接した参照サンプルである。左側参照サンプル９０３０は、現在ブロックの左側垂直エッジ（即ち、左側の縦辺）の左側及び左下段に位置したサンプルを含む。一例として、左上段サンプル９０４０の位置が［Ｘ］［Ｙ］＝［−１］［−１］であるとき、左側参照サンプル９０３０は［−１］［ｙ］の位置を有する。即ち、左側参照サンプル９０３０は現在ブロックの左側に隣接し、参照サンプルが縦に配列される。

上段参照サンプル９０２０と左側参照サンプル９０３０の長さは、現在ブロックと周辺ブロックに基づいて適正な長さに決定され得る。一例として、現在ブロックが２Ｎ×Ｎのサイズを有するとき、上段／左側参照サンプルの最大の長さは、長い辺の長さの２倍である４Ｎの長さを有し得る。また、上段参照サンプル９０２０と左側参照サンプル９０３０の長さは異なり得る。

このとき、左上段サンプル９０４０は、上段参照サンプル９０２０又は左側参照サンプル９０３０のうち一つに含まれて処理され得る。一例として、図９は、左上段サンプル９０４０が左側参照サンプル９０３０に含まれていることを示す。左上段サンプル９０４０は、上段参照サンプル９０２０に含まれて処理されることもある。

前述した図５に関する説明を参照すると、参照サンプルを用いることによって予測ブロックが生成され、生成された予測ブロックを用いることによって画像を復元するイントラ予測はイントラ予測部によって行われ得る。具体的に、イントラ予測部は現在ブロックのイントラ予測モードを獲得することができ（Ｓ５０１参照）、現在ブロックの隣接サンプルを用いて、現在ブロックの予測ブロックを生成するための参照サンプルを獲得することができる（Ｓ５０２参照）。以降、イントラ予測部は、参照サンプルにフィルタリングを実行するか否かを決定し、フィルタリングを実行するように決定されると参照サンプルをフィルタリングすることができる（Ｓ５０３参照）。以降、イントラ予測部はフィルタリングされない参照サンプル又はフィルタリングされた参照サンプルを用いて、予測ブロックを生成することができる（Ｓ５０４参照）。

以下では、非正方形のブロック９０１０の参照サンプルのフィルタリング可否及びフィルタの種類を決定する基準を説明する。フィルタリングの可否／フィルタの種類を決定する方式以外のフィルタリング手続は、既存のＨＥＶＣフィルタリング方法と同様に行われ得る。デコーダ（画像復号装置）において、イントラ予測モードは因子（ｆａｃｔｏｒ）としてエンコーダから送信され得る。

以下の実施例は、イントラ予測部がフィルタリングの実行可否を決定する過程及びフィルタの種類を決定する過程で、イントラ予測モードと共に、現在ブロックのパラメータ及び／又は周辺ブロックのパラメータが用いられる。現在ブロックのパラメータとは、現在ブロックと関連したパラメータであり、周辺ブロックのパラメータは、現在ブロックの周辺ブロックと関連したパラメータである。

現在ブロックのパラメータは、（ｉ）現在ブロックの辺（水平エッジ又は垂直エッジ）の長さ、（ｉｉ）現在ブロックのサンプル（ピクセル）の数、（ｉｉｉ）現在ブロックの量子化率（ＱＰ）及び／又は（４）予測サンプルと参照サンプルとの距離情報等を含む。

周辺ブロックのパラメータは、（ｉ）周辺ブロックの量子化率（ＱＰ）、（ｉｉ）周辺ブロックの残差係数に関する情報、（ｉｉｉ）周辺ブロックの境界／エッジに関する情報、及び／又は（ｉｖ）周辺ブロックの分割情報等を含む。

以下の実施例を用いることによって、非正方形のブロック９０１０の参照サンプルのフィルタリング可否及び／又はフィルタの種類が決定され得る。

実施例１：現在ブロックの辺の長さを利用

実施例１は、イントラ予測部がフィルタリングの実行可否及び／又はフィルタの種類を決定する過程で、現在ブロックのパラメータを用いる。前記現在ブロックのパラメータは、現在ブロックの辺の長さを含む。また、実施例１は、フィルタリング可否の判断過程で、別途の表（テーブル）を定義せず、正方形のブロックと関連した表に該当する前述した表２を用いる。

現在ブロックのパラメータは、現在ブロックの横辺の長さ（即ち、水平エッジ長）及び／又は縦辺の長さ（即ち、垂直エッジ長）を含み得る。即ち、イントラ予測部は、現在ブロックの辺の長さのうちより長い辺（即ち、より大きな値を有するエッジの長さ）又はより小さい辺（即ち、より小さな値を有するエッジの長さ）に基づいて参照サンプルのフィルタリング可否を決定し得る。現在ブロックの辺の長さは、現在ブロックの一辺に含まれたサンプル（ピクセル又は画素）の個数と対応する。

辺の長さを用いる第一の方法として、イントラ予測部は横辺と縦辺の長さのうちより長い長さを基準にフィルタリング可否を決定し得る。一例として、横辺の長さが８であり、縦辺の長さが１６であり、予測モードが１４である場合、より長い長さは１６であるので、フィルタリング可否は、表２の１６×１６ブロックの場合と同じ基準で決定される。即ち、表２によって、１６×１６ブロックは予測モード１４で参照サンプルのフィルタリングが実行されるので、８×１６ブロックの参照サンプルにフィルタリングが実行される。他の例として、横辺の長さが３２、縦辺の長さが８及び予測モードが１０である場合、表２の３２×３２ブロックの基準に応じて３２×８ブロックの参照サンプルのフィルタリングは実行されない。フィルタリングを実行するように決定された場合、スムージング（ｓｍｏｏｔｈｉｎｇ）フィルタは１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは、１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。

表２を参照すると、予測ブロックのサイズが大きいほどフィルタリングが実行される可能性が増加する。従って、大きい辺の長さを基準にフィルタリングの実行可否を決定する場合、ブロックのサイズが増加するほどスムージングを許可する規則によって参照サンプルがさらにスムージングされ得る。また、現在ブロックがノイズ（ｎｏｉｓｙ）ブロックであるか、予測サンプルにアーティファクト（ａｒｔｉｆａｃｔ）が混在している場合、誤差伝播（ｅｒｒｏｒ ｐｒｏｐａｇａｔｉｏｎ）が減少し得る。

辺の長さを用いる第二の方法として、イントラ予測部は横辺と縦辺の長さのうちより短い長さを基準にフィルタリング可否を決定し得る。一例として、横辺の長さが８であり、縦辺の長さが１６であり、予測モードが１４である場合、より短い長さは８であるので、フィルタリング可否は表２の８×８ブロックと同じ基準で決定される。即ち、表２によって、８×８ブロックは全ての予測モードで参照サンプルのフィルタリングを実行しないので、８×１６ブロックの参照サンプルにフィルタリングが実行されない。他の例として、横辺の長さが３２、縦辺の長さが８であり、予測モードが２である場合、表２の８×８ブロックによって３２×８ブロックの参照サンプルにフィルタリングが実行される。フィルタリングを実行するように決定された場合、スムージング（ｓｍｏｏｔｈｉｎｇ）フィルタは１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは、１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。

表２を参照すると、予測ブロックのサイズが小さいほどフィルタリングが実行される可能性が減少する。従って、小さい辺を基準にフィルタリングを適用する否かを決定する場合、サイズが小さいブロックであるほどフィルタリングの適用を制限する規則によってスムージングの効果が遮断され得る。また、参照サンプルの複雑な特性がそのまま予測ブロックに適用されなければならない場合、フィルタリングの可能性を下げることによって、さらに正確な予測サンプルが生成され得る。

前述した実施例１は、フィルタリング可否の判断過程で別途の表（テーブル）を定義せず、正方形のブロックに関する表２を用いる。非正方形のブロック９０１０の参照サンプルのフィルタリング可否に対する別途のテーブルを定義する場合、これを格納するために追加的なメモリが消費される。実施例１は、非正方形のブロック９０１０に対する別途の追加的なテーブルを定義せず、非正方形のブロック９０１０の参照サンプルのフィルタリング可否を決定する過程で正方形のブロックの表を用いることによって、エンコーダとデコーダのメモリを節約することができる。

実施例２：現在ブロックのサンプルの数を利用

実施例２は、イントラ予測部がフィルタリングの実行可否及び／又はフィルタの種類を決定する過程で、現在ブロックのパラメータを用いる。前記現在ブロックのパラメータは、現在ブロックのサンプル（ピクセル）の数を含む。実施例２も実施例１と同様に、フィルタリングの実行可否を判断する過程で表２が用いられる。

現在ブロックに含まれたサンプルの数と同じサンプルの数を有する正方形のブロックが存在する場合、前記正方形のブロックと同じ基準を適用し、フィルタリングの実行可否が決定される。

もし、現在ブロックのサンプルの数と同じサンプルの数を有する正方形のブロックが存在しない場合、現在ブロックのサンプルの数よりも少ないサンプルの数を有する正方形のブロックのうち、最もサイズが大きいブロックを基準にフィルタリングの実行可否が決定される。即ち、異なる方式で説明すると、現在ブロックのサンプルの数と同じサンプルの数を有する正方形のブロックが存在しない場合、現在ブロックの小さい辺の長さを基準に（即ち、小さい辺の長さに対応する正方形のブロックと同じ基準で）フィルタリングの実行可否が決定される。

一例として、現在ブロックの上辺の長さが８であり、左辺の長さが３２である場合（即ち、現在ブロックが８×３２のブロック）、現在ブロックに含まれたサンプルの数は１６×１６ブロックに含まれたサンプルの数と同じである。従って、この場合、現在ブロックは１６×１６ブロックと同じ基準が適用される。もし、予測モードがモード１４である場合、表２によって１６×１６のブロックは参照サンプルのフィルタリングが実行されるので、現在ブロックである３２×８のブロックにも参照サンプルのフィルタリングが実行される。

他の例として、現在ブロックの上辺の長さが１６であり、左辺の長さが８である場合（即ち、現在ブロックが１６×８ブロック）、現在ブロックのサンプルの数と同じサンプルの数を有する正方形のブロックが存在しない。１６×８ブロックのピクセルの数は１６×１６のロックのピクセルの数よりは少なく、８×８ブロックのピクセルの数よりは多い。従って、この場合、現在ブロックの参照サンプルのフィルタリング可否は、８×８ブロックの基準に応じて決定される。表２を参照すると、予測モードが１４である場合、８×８ブロックの参照サンプルのフィルタリングが実行されない。従って、現在ブロック（１６×８ブロック）の参照サンプルのフィルタリングも実行されない。

フィルタリングを実行するように決定された場合、スムージング（ｓｍｏｏｔｈｉｎｇ）フィルタは１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは、１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。

実施例３：現在ブロック／周辺ブロックの量子化パラメータを利用

実施例３は、イントラ予測部がフィルタリングの実行可否及び／又はフィルタの種類を決定する過程で現在ブロック又は周辺ブロックのパラメータを用いる。前記現在／周辺ブロックのパラメータは、現在／周辺ブロックの量子化パラメータを含む。

量子化は、入力データに対して特定範囲の入力値を一つの代表値としてマッピングするものである。一例として、エンコーダで現在ブロックの差分ブロックが周波数領域の信号に変換されることによって、変換ブロックが獲得されてもよく、変換ブロックの係数（変換係数）が量子化されてもよい。

量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）は、コーディングブロックの量子化率（ＱＰ＿ｓｔｅｐ）と関連する。量子化率は量子化区間（ｑｕａｎｔｉｚａｔｉｏｎ ｒａｎｇｅ）でも表され得る。量子化率が大きくなるほどデータを表現する代表値の数が少なくなり、量子化率を変化させることによって、データの圧縮率が調節され得る。量子化率は実数値であるので、計算の便宜のために、量子化率の代わりに整数値である量子化パラメータが用いられてもよい。一例として、量子化パラメータは０から５１までの整数値を有してもよく、これに基づいて現在ブロックまたは周辺ブロックの変換係数が量子化されてもよい。各コーディングブロックの量子化パラメータは、エンコーダからデコーダへ送信され得る。即ち、デコーダは各コーディングブロックの量子化パラメータをパーシングし得る。

実施例３は、現在ブロックの量子化パラメータ（以下、現在ブロックのＱＰ）又は周辺ブロックの量子化パラメータ（以下、周辺ブロックのＱＰ）を基準に、現在ブロックの参照サンプルのフィルタリングの実行可否を決定する。以下で別途の言及がない限り、ＱＰは現在ブロックのＱＰ及び周辺ブロックのＱＰを全て含む。以下の方法は、現在ブロックのＱＰ又は周辺ブロックのＱＰに全て適用され得る。

具体的に、現在ブロック又は周辺ブロックのＱＰが臨界値（ＱＰ ｔｈｒｅｓｈｏｌｄ）より大きい場合（或いは大きいまたは同じである場合）、イントラ予測部は現在ブロックの参照サンプルのフィルタリングを実行するように決定し得る。また、イントラ予測部は、フィルタリングを実行するように決定した場合、フィルタリングの強度の強いフィルタである強いスムージングフィルタ（ｓｔｒｏｎｇ ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒ）を適用し得る。

現在ブロック又は周辺ブロックのＱＰが臨界値よりも小さい（或いは小さいまたは同じである）場合、イントラ予測部は現在ブロックの参照サンプルのフィルタリングを実行しないように決定し得る。但し、イントラ予測部は、ＱＰが臨界値よりも小さい場合にも参照サンプルのフィルタリングを実行するように決定でき、この場合、フィルタリングの強度の弱いフィルタである弱いスムージングフィルタ（ｗｅａｋ ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒ）を適用し得る。

弱いスムージングフィルタは１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。強いスムージングフィルタとして、平均フィルタ（Ａｖｅｒａｇｅ ｆｉｌｔｅｒ）又は異なる種類の線形／非線形加重フィルタ（ｌｉｎｅａｒ／ｎｏｎ−ｌｉｎｅａｒ−ｗｅｉｇｈｔｉｎｇ ｆｉｌｔｅｒ）等が用いられ得る。

ＱＰ臨界値はエンコーダとデコーダとの間に予め約束する値で定められ得る。また、前記臨界値は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダー又はブロックヘッダーに含まれて、エンコーダからデコーダへ送信され得る。デコーダは送信された臨界値に基づいて参照サンプルのフィルタリング可否及びフィルタの種類を決定し得る。

ＱＰが小さいほどデータを表現する代表値の数が多くなるため、画像の細部的な特性がよりうまく格納される。従って、細密であったり精巧な（即ち、ブロック内サンプル値の変化が大きい）画像にはフィルタリングを弱く適用することによって、予測ブロックの正確度を向上させることができる。また、ＱＰが大きいほど代表値の数が少なくなるので、ｂｌｏｃｋｙ ａｒｔｉｆａｃｔ等のエラーが多く発生する。従って、この場合には、強いフィルタリングを適用することによって、予測ブロックの正確度を向上させることができる。

実施例４：周辺ブロックの残差係数に関する情報を利用

実施例４は、フィルタリングの実行可否及び／又はフィルタの種類を決定する過程で、周辺ブロックのパラメータを用いる。前記周辺ブロックのパラメータは周辺ブロックの残差係数に関する情報を含み、前記残差係数に関する情報は、周辺ブロックの残差係数（ｒｅｓｉｄｕａｌ ｃｏｅｆｆｉｃｉｅｎｔ）の個数及び／又は周辺ブロックに残差係数が存在するかを示すフラグ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ、Ｃｂｆ）を含む。

参照サンプルは現在ブロックの周辺の既に符号化を経て復号されたサンプルで構成される。従って、再構成された参照サンプルが含まれた周辺ブロックは、各々Ｃｂｆと残差係数を含む。Ｃｂｆ及び残差係数の情報は、エンコーダからデコーダへ送信される。

残差係数は残差ブロックが周波数領域に変換された変換ブロックが量子化された以降の係数を示す。残差ブロックは、エンコーダが原本のコーディングブロックから予測ブロックを減算したブロックである。Ｃｂｆは周辺ブロックに残差係数が存在するかを示すフラグである。即ち、Ｃｂｆは周辺ブロックの変換ブロックが量子化された後に、ブロックに一つ以上の係数（即ち、残差係数）が存在するかを示す。一例として、Ｃｂｆが１であると、残差係数が存在するということを意味し得る。

イントラ予測部は周辺ブロックのＣｂｆが、残差係数が存在するということを示すと、参照サンプルのフィルタリングを実行するように決定でき、残差係数が存在しないということを示すと、フィルタリングを実行しないように決定し得る。即ち、残差係数が存在するということは、予測に活用される参照サンプルが複雑であるか、又はノイズが混在し得るということを意味する。従って、この場合、予測の正確度を向上させるために参照サンプルのフィルタリングが実行され得る。参照サンプルのフィルタリングを実行するように決定された場合、強いフィルタリング（強いスムージングフィルタ）が適用され得る。

イントラ予測部は、残差係数の数が臨界値よりも大きいと（或いは大きいまたは同じであると）、参照サンプルのフィルタリングを実行するように決定し得る。残差係数の数が多いということは、画像の複雑度が高いということを示すためである。この場合、強いフィルタリングが適用され得る。また、イントラ予測部は、残差係数の数が臨界値よりも小さいと（或いは小さいまたは同じであると）、フィルタリングを実行しないように決定されるか、又はフィルタリングを適用するように決定し、弱いフィルタリング（弱いスムージングフィルタ）を適用し得る。

弱いスムージングフィルタは、１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）または１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。強いスムージングフィルタとして、平均フィルタ（Ａｖｅｒａｇｅ ｆｉｌｔｅｒ）又は異なる種類の線形／非線形加重フィルタ（ｌｉｎｅａｒ／ｎｏｎ−ｌｉｎｅａｒ−ｗｅｉｇｈｔｉｎｇ ｆｉｌｔｅｒ）等が用いられ得る。

残差係数の数の臨界値は、エンコーダとデコーダとの間に予め約束する値で定められ得る。また、前記臨界値は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダーまたはブロックヘッダーに含まれ、エンコーダからデコーダへ送信され得る。デコーダは、送信された臨界値に基づいて、参照サンプルのフィルタリング可否及びフィルタの種類を決定し得る。

周辺ブロックの残差が小さいほど（即ち、残差係数の数が少ないほど）、周辺ブロックの予測ブロックと原本ブロックが同種性（ｈｏｍｏｇｅｎｅｏｕｓ）が高いということを示す。この場合、イントラ予測部は弱いスムージングフィルタのみを用いても、比較的正確な予測ブロック（予測値）を生成し得る。しかし、周辺ブロックの残差が大きいほど（即ち、残差係数の数が多いほど）、周辺ブロックの画像は詳細な画像であるか、ノイズ（ｎｏｉｓｅ）やアーティファクト（ａｒｔｉｆａｃｔ）等のエラーを多く含み得る。従って、イントラ予測部は、この場合、強いスムージングフィルタを用いることによって、予測ブロックの正確度を向上させることができる。

実施例５：周辺ブロックの境界／エッジに関する情報を利用

実施例５は、フィルタリングの実行可否及び／又はフィルタの種類を決定する過程で周辺ブロックのパラメータを用いる。前記周辺ブロックのパラメータは周辺ブロックの境界（ｂｏｕｎｄａｒｙ）又はエッジ（ｅｄｇｅ）に関する情報を示す。

参照サンプルは複数のサンプルを含み、前記複数のサンプルは現在ブロックに隣接した互いに異なる周辺ブロックに属し得る。前記境界に関する情報は、参照サンプル内に周辺ブロックの境界又はエッジが含まれているか否かを示すパラメータ（以下、境界パラメータ又はエッジパラメータと称する）又は参照サンプル内にブロックの境界が含まれた互いに異なる周辺ブロックの数（以下、境界サンプルの数）を含む。

イントラ予測部はエッジパラメータに基づいて参照サンプルのフィルタリング可否及び／又はフィルタの種類を決定し得る。エッジパラメータは、参照サンプル内に周辺ブロックの境界が含まれているか否かを示す。即ち、具体的に、エッジパラメータは、上段参照サンプル９０２０または左側参照サンプル９０３０のうち少なくとも一つが互いに異なる周辺ブロックに属するサンプルで構成されているかを示す。一例として、エッジパラメータが１である場合、参照サンプル内に周辺ブロックの境界が含まれていることを示し得る。

イントラ予測部は、エッジパラメータが上段参照サンプル９０２０又は左側参照サンプル９０３０のうち少なくとも一つが互いに異なる周辺ブロックに属するサンプルで構成されていることを示す場合、参照サンプルのフィルタリングを実行するように決定し得る。この場合、強いスムージングフィルタが用いられ得る。そうでなければ、イントラ予測部は参照サンプルのフィルタリングを実行しないか、又は参照サンプルのフィルタリングを実行し、弱いスムージングフィルタを用いるように決定し得る。

また、イントラ予測部は境界サンプルの数に基づいて、前記境界サンプルの数が臨界値よりも大きい場合（或いは大きいまたは同じである場合）、参照サンプルのフィルタリングを実行するように決定し得る。そうでなければ、イントラ予測部は参照サンプルのフィルタリングを実行しないか、又は参照サンプルのフィルタリングを実行し、弱いスムージングフィルタを用いるように決定し得る。

境界サンプルの数の臨界値は、エンコーダとデコーダとの間に予め約束する値で定められ得る。前記臨界値は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダー又はブロックヘッダーに含まれ、エンコーダからデコーダへ送信され得る。デコーダは、送信された臨界値に基づいて、参照サンプルのフィルタリング可否及びフィルタの種類を決定し得る。

弱いスムージングフィルタは、１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは、１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。強いスムージングフィルタとして、平均フィルタ（Ａｖｅｒａｇｅ ｆｉｌｔｅｒ）又は異なる種類の線形／非線形加重フィルタ（ｌｉｎｅａｒ／ｎｏｎ−ｌｉｎｅａｒ−ｗｅｉｇｈｔｉｎｇ ｆｉｌｔｅｒ）等が用いられ得る。

現在ブロックの周辺ブロックのサイズが小さいほど、参照サンプルに含まれた周辺ブロックの境界の数が増加し、ブロック境界の数が増加するほど、アーティファクト（ａｒｔｉｆａｃｔ）等のエラーが発生する確率が増加する。従って、参照サンプルに周辺ブロックの境界が含まれるか、又は境界が含まれた周辺ブロックの数が臨界値よりも大きい場合、イントラ予測部は強いスムージングフィルタを用いて参照サンプルをフィルタリングすることによって、予測ブロックの正確度を向上させることができる。

実施例６：現在ブロックの予測サンプルと参照サンプルとの間の距離情報を利用

実施例６は、フィルタリングの実行可否及び／又はフィルタの種類を決定する過程で、現在ブロックのパラメータを用いる。前記現在ブロックのパラメータは、予測サンプルと参照サンプルとの間の距離情報を含む。具体的に、距離情報は、予測ブロック内で予測しようとする現在サンプル（以下、予測サンプル）と上段参照サンプル９０２０との間の垂直距離（以下、垂直距離）及び／又は予測サンプルと左側参照サンプル９０３０との間の水平距離（以下、水平距離）を含む。

イントラ予測部は、現在ブロック内の予測サンプルの位置を基準に、適応的に参照サンプルのフィルタリング可否及び／又はフィルタのタイプを決定し得る。一例として、現在ブロックの一辺の長さがＮであるとき、イントラ予測部は予測サンプルのｘ座標又はｙ座標のうち少なくともいずれかの座標がＮ／２よりも大きい場合、前記予測サンプルの予測値生成過程で参照サンプルのフィルタリングを実行するように決定し得る。この場合、イントラ予測部は強いスムージングフィルタを用い得る。

即ち、イントラ予測部は、各予測サンプル別に参照サンプルのフィルタリングの実行可否を決定し得る。イントラ予測部は、各予測サンプルの水平距離又は垂直距離のうち少なくとも一つが臨界値（又は臨界距離）よりも大きい場合、該当予測サンプルの予測値生成過程で参照サンプルのフィルタリングを実行するように決定でき、この場合、強いスムージングフィルタを用い得る。そうでなければ、イントラ予測部は、該当予測サンプルの予測値生成過程で参照サンプルのフィルタリングを実行しないように決定するか、又はフィルタリングを実行するように決定し、弱いスムージングフィルタを用い得る。

垂直距離及び／又は水平距離の各々の臨界値は、エンコーダとデコーダとの間に予め約束する値で定められ得る。前記臨界値は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダー又はブロックヘッダーに含まれ、エンコーダからデコーダへ送信され得る。デコーダは、送信された臨界値に基づいて、参照サンプルのフィルタリング可否及びフィルタの種類を決定し得る。

弱いスムージングフィルタは、１次元二項フィルタ（１−Ｄｉｍｅｎｓｉｏｎａｌ ｂｉｎｏｍｉａｌ ｆｉｌｔｅｒ）等が用いられ得る。前記１次元二項フィルタは、１−２−１フィルタ（１−２−１ ｆｉｌｔｅｒ）又は１−４−６−４−１フィルタ（１−４−６−４−１ ｆｉｌｔｅｒ）等を含み得る。強いスムージングフィルタとして、平均フィルタ（Ａｖｅｒａｇｅ ｆｉｌｔｅｒ）又は異なる種類の線形／非線形加重フィルタ（ｌｉｎｅａｒ／ｎｏｎ−ｌｉｎｅａｒ−ｗｅｉｇｈｔｉｎｇ ｆｉｌｔｅｒ）等が用いられ得る。

予測の正確度は、予測サンプルと参照サンプルとの距離が離れるほど減少する。また、距離が離れるほどノイズ等の不要な情報が伝播（ｐｒｏｐａｇａｔｉｏｎ）される可能性が増加する。従って、参照サンプルとの距離が離れている予測サンプルには、強いスムージングフィルタを用いることによって、予測の正確度が向上し得る。

実施例７：前述した実施例１乃至６の組み合わせを利用

前述した実施例１乃至実施例６の基準のうち、一つ以上の基準を組み合わせて、参照サンプルのフィルタリング可否及び／又はフィルタのタイプが決定され得る。

一例として、現在ブロックの長い辺の長さ（実施例１）及び周辺ブロックの境界情報（実施例５）が組み合わせられた新たな基準が定義され得る。他の例として、現在ブロックの小さい辺の長さ（実施例１）、現在ブロックのサンプルの数（実施例２）、及び現在／周辺ブロックの量子化パラメータ（実施例３）が組み合わせられた新たな基準が定義され得る。前述した実施例を組み合わせることによって、予測の正確性がさらに向上し得る。

実施例８：上段参照サンプル及び左側参照サンプルを各々独立してフィルタリング可否及び／又はフィルタの種類を決定

実施例８は実施例１に基づく。実施例８において、イントラ予測部は現在ブロックの各辺の長さに応じて、上段参照サンプル９０２０及び左側参照サンプル９０３０のフィルタリング可否及び／又はフィルタの種類を各々決定する。実施例８も、前述した表２を用いる。

具体的に再度図９を参照すると、現在ブロックの水平エッジ長（横辺の長さ）に応じて、上段参照サンプル９０２０のフィルタリング可否及び／又は種類が決定され、垂直エッジ長（縦辺の長さ）に応じて、左側参照サンプル９０３０のフィルタリング可否及び／又は種類が決定される。即ち、左側参照サンプル９０３０には左辺（又は縦辺）の長さに応じる基準が適用され、上段参照サンプル９０２０には上辺（又は横辺）の長さに応じる基準が各々適用される。図９に図示されたように、結果的に左側参照サンプル９０３０は参照サンプルのフィルタリングが適用されることがあり、上段参照サンプル９０２０には参照サンプルのフィルタリングが適用されないことがある。これによって、二つの参照サンプルを独立してフィルタリングし得る。

一例として、縦辺の長さが１６であり、予測モードが８である場合、左側参照サンプル９０３０は、表２の１６×１６ブロックによってフィルタリングを実行するように決定され得る。横辺の長さが８であり、予測モードが８である場合、上段参照サンプル９０２０は、表２の８×８ブロックによってフィルタリングを実行しないように決定され得る。

実施例１と同様に、左上段サンプル（Ｔｏｐ−ｌｅｆｔ ｓａｍｐｌｅ、９０４０）の場合、左側参照サンプル９０３０及び上段参照サンプル９０２０のうち何れかに含まれ得る。図９は、左上段サンプルが左側参照サンプル９０３０に含まれて処理されることを示す。

左側参照サンプル９０３０及び上段参照サンプル９０２０を各々別途にフィルタリングの適用可否を判断すること以外の内容（フィルタタイプ等）は、前述した実施例１に説明した内容と同様に適用され得る。一例として、左側参照サンプル９０３０にのみ強いスムージングフィルタ（平均フィルタ又は異なる種類の線形／非線形加重フィルタ等）を適用し得る。

実施例９：参照サンプルの参照可否を先に判断

実施例９は、前述した実施例１乃至８に先だって、各参照サンプルが参照可能であるか（予測ブロックの生成に用いられ得るか）否かを優先的に決定する。この実施例は、参照サンプルのフィルタリングに先だって、参照サンプルを獲得／生成する過程に適用され得る。

画面内予測（ｉｎｔｒａ ｍｏｄｅ）方法は、場合によって予測ブロックを生成する過程で参照サンプルを用いることができないことがある。例えば、参照サンプルが用いられ得ない場合としては、現在ブロックが画像の縁に位置した場合、又は隣接ブロックが画面間の予測モード（ｉｎｔｅｒ ｍｏｄｅ）で復号された場合（これは一部の場合に限る）等がある。

従って、実施例９におけるイントラ予測部は、上段参照サンプル９０２０及び左側参照サンプル９０３０が各々参照可能であるか否かを先に判断する。

具体的に、１）イントラ予測部は、左側参照サンプル９０３０及び上段参照サンプル９０２０のうち、左側参照サンプル９０３０のみ参照可能である場合は、左辺（縦辺）の長さを基準に参照サンプルのフィルタリング可否を決定し、上段参照サンプル９０２０のみ参照可能である場合は、上辺（横辺）の長さを基準に決定する。このとき、フィルタリングの実行可否は、参照可能な左辺又は上辺の長さを基準に決定されるが、フィルタリングを実行するように決定された後のフィルタリングの適用は、左側参照サンプル９０３０及び上段参照サンプル９０２０の全てに適用される。辺の長さを基準にフィルタリングの実行可否を判断する具体的な方法は、前述した実施例７又は実施例１の説明を参照する。

２）左側参照サンプルと上段参照サンプルが全て参照可能な場合、又はすべて参照可能ではない場合、イントラ予測部は前述した実施例１乃至８の基準に応じて、参照サンプルのフィルタリング可否及び／又はフィルタの種類を決定し得る。また、他の例として、左側／上段参照サンプル９０２０が全て参照可能ではない場合、イントラ予測部は全ての参照サンプルをデフォルト（ｄｅｆａｕｌｔ）値（１＜＜（ｂｉｔＤｅｐｔｈ−１））で満たした後、予測ブロックの生成に用いられ得る。一例として、参照サンプルは８−ｂｉｔ画像の場合は１２８、１０−ｂｉｔ画像の場合は５１２値で満たされ得る。

前述した実施例１乃至９の方法は、エンコーダ又はデコーダのイントラ予測部で全て行われ得る。

図１０は、本発明の一実施例に係る、イントラ予測部のブロック図を示す。

イントラ予測部１００１０は、イントラ予測モードに基づいて現在ブロックの予測ブロックを生成する。イントラ予測部１００１０は、エンコーダ（画像符号化装置）及び／又はデコーダ（画像復号装置）に含まれる。

イントラ予測部１００１０は、イントラ予測モード獲得部１００２０、参照サンプル獲得部１００３０、参照サンプルフィルタリング部１００４０、及び予測ブロック生成部１００５０を含む。

イントラ予測モード獲得部１００２０は、現在ブロックのイントラ予測モードを獲得する。イントラ予測モード獲得部１００２０は、前述した図５のＳ５０１の手続を行い得る。

イントラ予測モードが獲得された後、参照サンプル獲得部１００３０は予測ブロックを生成するための参照サンプルを獲得する。参照サンプル獲得部１００３０は、前述した図５のＳ５０２の手続を行い得る。

参照サンプルが獲得された後、参照サンプルフィルタリング部１００４０は、参照サンプルにフィルタリングを実行するか否かを決定し、フィルタリングを実行するように決定されると、参照サンプルをフィルタリングする。参照サンプルフィルタリング部１００４０は、参照サンプルにフィルタリングを実行しないように決定すると、参照サンプルをフィルタリングしない。

イントラ予測部１００１０で処理される現在ブロックは、正方形のブロック又は非正方形のブロックに該当し得る。参照サンプルフィルタリング部１００４０は、現在ブロックが非正方形のブロックである場合、前記イントラ予測モードと共に、現在ブロックのパラメータ及び／又は周辺ブロックのパラメータに基づいて、フィルタリング可否を決定する。現在ブロックのパラメータ及び周辺ブロックのパラメータに関する具体的な事項は、前述した図９に関する説明を参照する。即ち、現在ブロックが非正方形のブロックである場合、参照サンプルフィルタリング部１００４０は、前述した実施例１乃至８の基準に応じて参照サンプルのフィルタリング可否及び／又はフィルタのタイプを決定し得る。

予測ブロック生成部１００５０は、フィルタリングされない参照サンプル又はフィルタリングされた参照サンプルを用いて、現在ブロックの予測ブロックを生成する。予測ブロック生成部１００５０は、前述した図５のＳ５０４の手続を行い得る。

図１１は、本発明の一実施例に係る、画像復号方法のフローチャートを示す。

画像復号装置（デコーダ）により画像復号が行われる。

画像復号装置は、現在ブロックのイントラ予測モードを獲得する（Ｓ１１０１０）。この手続は、前述した図５のＳ５０１の手続と同一又は類似に行われ得るので、詳しい説明を省略する。

現在ブロックの隣接サンプルを用いて、前記現在ブロックの予測ブロックを生成するための参照サンプルを獲得する（Ｓ１１０２０）。この手続は、前述した図５のＳ５０２の手続と同一又は類似に行われ得るので、詳しい説明は省略する。また、この段階で前述した図９の実施例９の方法が行われ得る。

以降、画像復号装置は参照サンプルにフィルタリングを実行するか否かを決定し（Ｓ１１０３０）、フィルタリングを実行するように決定された場合、参照サンプルをフィルタリングする（Ｓ１１０４０）。

フィルタリングの実行可否を決定する段階（Ｓ１１０３０）において、画像復号装置は、イントラ予測モードと共に、現在ブロックと関連したパラメータである現在ブロックのパラメータ及び／又は現在ブロックの周辺ブロックと関連したパラメータである周辺ブロックのパラメータに基づいて決定される。現在ブロックのパラメータ及び周辺ブロックのパラメータに関する具体的な事項は、前述した図９に関する説明を参照する。

以降、画像復号装置は、イントラ予測モードに基づいて参照サンプル又はフィルタリングされた参照サンプルを用いて予測ブロックを生成する（Ｓ１１０５０）。この手続は、前述した図５のＳ５０４の手続と同一又は類似に行われ得るので、詳しい説明を省略する。

以上で説明された実施例は、本発明の構成要素と特徴が所定の形態で結合されたものである。各構成要素または特徴は、別の明示的な言及がない限り、選択的なものと考慮されなければならない。各構成要素または特徴は、他の構成要素や特徴と結合されていない形態で実施され得る。また、一部の構成要素及び／又は特徴を結合して、本発明の実施例を構成することも可能である。本発明の実施例で説明される動作の順序は変更され得る。ある実施例の一部構成や特徴は、他の実施例に含まれてもよく、または他の実施例の対応する構成または特徴と交換してもよい。特許請求範囲で明示的な引用関係がない請求項を結合して実施例を構成したり、出願後の補正により新たな請求項に含ませることができることは自明である。

本発明に係る実施例は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合などにより実装できる。ハードウェアによる実装の場合、本発明の一実施例は、一つまたはそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実装できる。

ファームウェアやソフトウェアによる実装の場合、本発明の一実施例は、以上で説明された機能または動作を行うモジュール、手続、関数などの形態で実装できる。ソフトウェアのコードは、メモリに格納され、プロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置し、既に公知となった多様な手段により、前記プロセッサとデータをやり取りすることができる。

本発明は、本発明の必須の特徴を外れない範囲で他の特定の形態で具体化されることができることは当業者にとって自明である。したがって、前述した詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものと考慮されるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内での全ての変更は、本発明の範囲に含まれる。

以上、前述した本発明の好ましい実施例は、例示の目的のために開示されたものであって、当業者であれば、以下添付された特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な異なる実施例を改良、変更、代替又は付加等が可能である。

Claims (13)

1. 画像復号方法において、
   現在ブロックのイントラ予測モードを獲得する段階と、
   前記現在ブロックの隣接サンプルを用いて、前記現在ブロックの予測ブロックを生成するための参照サンプルを獲得する段階と、
   前記参照サンプルにフィルタリングを実行するか否かを決定する段階と、
   前記フィルタリングを実行するように決定された場合、前記参照サンプルをフィルタリングする段階と、
   前記イントラ予測モードに基づいて、前記参照サンプル又は前記フィルタリングされた参照サンプルを用いて、前記予測ブロックを生成する段階と、を含み、
   前記現在ブロックは、非正方形（ｎｏｎ−ｓｑｕａｒｅ）のブロックであり、
   前記参照サンプルは、前記現在ブロックの左側垂直エッジの左側と左下段に位置するサンプルを含む左側参照サンプルと、前記現在ブロックの上段水平エッジの上側と右上側に位置するサンプルを含む上段参照サンプルとを含み、
   前記左側参照サンプル及び前記上段参照サンプルのうちの一つは、前記現在ブロックの左上段サンプルを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記フィルタリングの実行可否は、前記イントラ予測モードと共に、前記現在ブロックと関連したパラメータである現在ブロックのパラメータ又は前記現在ブロックの周辺ブロックと関連したパラメータである周辺ブロックのパラメータのうち少なくとも一つに基づいて決定される、画像復号方法。
2. 前記現在ブロックのパラメータは、前記現在ブロックの水平エッジの長さを示す水平エッジ長又は前記現在ブロックの垂直エッジの長さを示す垂直エッジ長のうち少なくとも一つを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記水平エッジ長及び前記垂直エッジ長のうち、より大きい値を有するエッジの長さ又はより小さい値を有するエッジの長さに基づいてフィルタリングを実行するように決定される、請求項１に記載の画像復号方法。
3. 前記フィルタリングの実行可否を決定する段階において、
   前記水平エッジ長に基づいて、前記上段参照サンプルのフィルタリングの実行可否が決定され、前記垂直エッジ長に基づいて、前記左側参照サンプルのフィルタリングの実行可否が決定され、
   前記フィルタリングする段階において、
   前記上段参照サンプル及び前記左側参照サンプルが各々独立してフィルタリングされる、請求項２に記載の画像復号方法。
4. 前記現在ブロックのパラメータは、前記現在ブロックのサンプルの数を含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記サンプルの数と同じサンプルの数を有する第１の正方形のブロック又は前記サンプルの数よりもさらに少ないサンプルの数を有する正方形のブロックのうち最も大きいブロックである第２の正方形のブロックが、既に定義された条件に基づいて前記イントラ予測モードでフィルタリングが実行されると、フィルタリングを実行するように決定される、請求項１に記載の画像復号方法。
5. 前記現在ブロックのパラメータは、前記現在ブロックの量子化率と関連する第１の量子化パラメータを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記第１の量子化パラメータが第１の臨界値よりも大きい場合、フィルタリングを実行するように決定され、
   前記フィルタリングする段階において、
   前記第１の量子化パラメータが前記第１の臨界値よりも大きいか否かによってフィルタのタイプが決定される、請求項１に記載の画像復号方法。
6. 前記現在ブロックのパラメータは、前記現在ブロック内の予測サンプルと前記上段参照サンプルとの間の垂直距離又は前記予測ブロックと前記左側参照サンプルとの間の水平距離のうち少なくとも一つを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記垂直距離が第２の臨界値よりも大きい場合、前記水平距離が第３の臨界値よりも大きい場合、又は前記垂直距離が前記第２の臨界値よりも大きく、前記水平距離が前記第３の臨界値よりも大きい場合、フィルタリングを実行するように決定され、
   前記フィルタリングする段階において、
   前記垂直距離が前記第２の臨界値よりも大きいか否か及び／又は前記水平距離が前記第３の臨界値よりも大きいか否かによってフィルタのタイプが決定される、請求項１に記載の画像復号方法。
7. 前記周辺ブロックのパラメータは、前記周辺ブロックの量子化率と関連する第２の量子化パラメータを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記第２の量子化パラメータが第４の臨界値よりも大きい場合、フィルタリングを実行するように決定され、
   前記フィルタリングする段階において、
   前記第２の量子化パラメータが前記第４の臨界値よりも大きいか否かによってフィルタのタイプが決定される、請求項１に記載の画像復号方法。
8. 前記周辺ブロックのパラメータは、前記周辺ブロックの残差係数の数を含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記残差係数の数が第５の臨界値よりも大きい場合、フィルタリングを実行するように決定され、
   前記フィルタリングする段階において、
   前記残差係数の数が前記第５の臨界値よりも大きいか否かによってフィルタのタイプが決定される、請求項１に記載の画像復号方法。
9. 前記周辺ブロックのパラメータは、前記周辺ブロックに残差係数が存在するかを示すフラグを含み、
   前記フィルタリングの実行可否を決定する段階において、
   前記フラグが前記残差係数が存在すると示すと、フィルタリングを実行するように決定される、請求項１に記載の画像復号方法。
10. 前記周辺ブロックのパラメータは、前記上段参照サンプル又は前記左側参照サンプルのうち少なくとも一つが互いに異なる周辺ブロックに属するサンプルで構成されているかを示すエッジパラメータを含み、
    前記フィルタリングの実行可否を決定する段階において、
    前記エッジパラメータが前記上段参照サンプル又は前記左側参照サンプルのうち少なくとも一つが前記互いに異なる周辺ブロックに属するサンプルで構成されていることを示す場合、前記フィルタリングを実行するように決定される、請求項１に記載の画像復号方法。
11. 前記周辺ブロックのパラメータは、前記参照サンプルが属する互いに異なる周辺ブロックの数を含み、
    前記フィルタリングの実行可否を決定する段階において、
    前記互いに異なる周辺ブロックの数が第６の臨界値よりも大きい場合、フィルタリングを実行するように決定され、
    前記フィルタリングする段階において、
    前記互いに異なる周辺ブロックの数が前記第６の臨界値よりも大きいか否かによってフィルタのタイプが決定される、請求項１に記載の画像復号方法。
12. 前記上段参照サンプル及び前記左側参照サンプルが参照可能であるか否かを確認する段階をさらに含み、
    前記フィルタリングの実行可否を決定する段階において、
    前記上段参照サンプル及び前記左側参照サンプルのうちの一つが参照可能である場合、前記現在ブロックの水平エッジの長さを示す水平エッジ長又は前記現在ブロックの垂直エッジの長さを示す垂直エッジ長のうち、参照可能なサンプルに隣接したエッジの長さに基づいてフィルタリングを実行するように決定され、
    そうでなければ、前記水平エッジ長及び前記垂直エッジ長のうち、より大きい値を有するエッジの長さ又はより小さい値を有するエッジの長さに基づいてフィルタリングを実行するように決定されるか、又は、前記水平エッジ長及び前記垂直エッジ長に基づいて、各々独立して前記上段参照サンプル及び前記左側参照サンプルのフィルタリングの実行可否が決定される、請求項１に記載の画像復号方法。
13. 画像を復号する装置において、
    イントラ予測モードに基づいて現在ブロックの予測ブロックを生成するイントラ予測部を含み、
    前記イントラ予測部は、
    前記現在ブロックの前記イントラ予測モードを獲得するイントラ予測モード獲得部と、
    前記予測ブロックを生成するための参照サンプルを獲得する参照サンプル獲得部と、
    前記参照サンプルにフィルタリングを実行するか否かを決定し、前記フィルタリングを実行するように決定されると、前記参照サンプルをフィルタリングする参照サンプルフィルタリング部と、
    前記現在ブロックの前記参照サンプル又は前記フィルタリングされた参照サンプルを用いて予測ブロックを生成する予測ブロック生成部と、を含み、
    前記現在ブロックは、非正方形（ｎｏｎ−ｓｑｕａｒｅ）のブロックであり、
    前記参照サンプルは、前記現在ブロックの左側垂直エッジの左側と左下段に位置するサンプルを含む左側参照サンプル及び前記現在ブロックの上段水平エッジの上側と右上側に位置するサンプルを含む上段参照サンプルを含み、
    前記左側参照サンプル及び前記上段参照サンプルのうちの一つは、前記現在ブロックの左上段サンプルを含み、
    前記参照サンプルフィルタリング部は、前記イントラ予測モードと共に、前記現在ブロックと関連したパラメータである現在ブロックのパラメータ又は前記現在ブロックの周辺ブロックと関連したパラメータである周辺ブロックのパラメータのうち少なくとも一つに基づいてフィルタリングの実行可否を決定する、画像復号装置。

Images