JP2022542083A - パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

Abstract

画像符号化／復号化方法及び装置が提供される。本開示による画像復号化装置によって行われる画像復号化方法は、画像を分割して現在ブロックを決定するステップと、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得するステップと、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含むことができる。【選択図】図２４

Description

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングすることにより、符号化／復号化効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

本開示の一態様による画像復号化装置によって行われる画像復号化方法は、画像を分割して現在ブロックを決定するステップと、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得するステップと、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含むことができる。

また、本開示の一態様による画像復号化装置は、メモリと少なくとも一つのプロセッサとを含み、前記少なくとも一つのプロセッサは、画像を分割して現在ブロックを決定し、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別し、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得し、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得することができる。

また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、画像を分割して現在ブロックを決定するステップと、前記現在ブロックの予測モードを決定するステップと、前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグを符号化するステップと、前記現在ブロックのツリータイプと前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックをパレットモードで符号化したパレットモード符号化情報を符号化するステップと、前記現在ブロックの予測モードがパレットモードでなければ、現在ブロックのクロマ成分予測情報を符号化するステップと、を含むことができる。

また、本開示の一態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

また、本開示の一態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングすることにより、符号化／復号化効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 一実施例による画像の分割構造を示す図である。 マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。 本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造におけるブロック分割情報のシグナリングメカニズムを例示する図である。 ＣＴＵが多重ＣＵに分割される一実施例を示す図である。 冗長（ｒｅｄｕｎｄａｎｔ）分割パターンの一実施例を示す図である。 一実施例によるクロマフォーマットシグナリングのためのシンタックスを示す図である。 一実施例によるクロマフォーマット分類表を示す図である。 一実施例による水平スキャンと垂直スキャンを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるパレットモードのためのシンタックスを示す図である。 一実施例によるＰｒｅｄｉｃｔｏｒＰａｌｅｔｔｅＥｎｔｒｉｅｓとＣｕｒｒｅｎｔＰａｌｅｔｔｅＥｎｔｒｉｅｓを決定するための数式を示す図である。 変更された一実施例による符号化単位のシンタックスを示す図である。 一実施例による所定のクロマイントラ予測情報のシグナリング方法を説明するフローチャートである。 一実施例による復号化装置がクロマ予測情報を取得する方法を説明するフローチャートである。 一実施例による符号化装置が画像を符号化する方法を説明するフローチャートである。 一実施例による復号化装置が画像を復号化する方法を説明するフローチャートである。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

ビデオコーディングシステムの概要

図１は本開示によるビデオコーディングシステムを示す図である。

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

画像復号化装置の概要

図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

画像分割の概要

本開示によるビデオ／画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理（（逆）変換、（逆）量子化など）、シンタックス要素コーディング、フィルタリングなどの手順は、前記画像分割構造に基づいて導出されたＣＴＵ、ＣＵ（及び／又はＴＵ、ＰＵ）に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部１１０で行われることができる。分割関連情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で復号化装置に伝達できる。復号化装置のエントロピー復号化部２１０は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順（例えば、予測、レジデュアル処理、ブロック／ピクチャ復元、インループフィルタリングなど）を行うことができる。

ピクチャは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）のシーケンスに分割されることができる。図４はピクチャがＣＴＵに分割される例を示す。ＣＴＵはコーディングツリーブロック（ＣＴＢ）に対応することができる。或いは、ＣＴＵはルマサンプルのコーディングツリーブロックと、対応するクロマサンプルの二つのコーディングツリーブロックを含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、ＣＴＵは、ルマサンプルのＮ×Ｎブロックとクロマサンプルの二つの対応ブロックを含むことができる。

ＣＴＵ分割の概要

前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大符号化ユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。

四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。

図５はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。

二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図５に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さをもって現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。

三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図５に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割ＳＰＬＩＴ＿ＴＴ＿ＨＯＲは、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する１つのＣＵが生成されることができる。

図６は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造でのブロック分割情報のシグナリングメカニズムを例示する図である。

ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、ＣＴＵは四分木構造に初めて分割される。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらに分割される場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。

前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。以下の説明において、マルチトリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称することができる。

図７は四分木の適用後にマルチタイプツリーが適用されることによりＣＴＵが多重ＣＵに分割される例を示す。図７において、太いブロックエッジ（ｂｏｌｄ ｂｌｏｃｋ ｅｄｇｅ）７１０は四分木分割を示し、残りのエッジ７２０はマルチタイプツリー分割を示す。ＣＵは、コーディングロック（ＣＢ）に対応することができる。一実施例において、ＣＵは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、ピクチャ／画像のカラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に従ってルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。カラーフォーマットが４：４：４である場合、クロマ成分ＣＢ／ＴＢサイズは、ルマ成分ＣＢ／ＴＢサイズと同一に設定されることができる。カラーフォーマットが４：２：２である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さに設定されることができる。カラーフォーマットが４：２：０である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さの半分に設定されることができる。

一実施例において、ルマサンプル単位を基準にＣＴＵのサイズが１２８であるとき、ＣＵのサイズは、ＣＴＵと同じサイズである１２８×１２８から４×４までのサイズを持つことができる。一実施例において、４：２：０カラーフォーマット（又はクロマフォーマット）である場合、クロマＣＢサイズは６４×６４から２×２までのサイズを持つことができる。

一方、一実施例において、ＣＵサイズとＴＵサイズとが同じであることができる。又は、ＣＵ領域内に複数のＴＵが存在することもできる。ＴＵサイズとは、一般的に、ルマ成分（サンプル）ＴＢ（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）サイズを示すことができる。

前記ＴＵサイズは、予め設定された値である最大許容ＴＢサイズ（ｍａｘＴｂＳｉｚｅ）に基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅよりも大きい場合、前記ＣＵから、前記ｍａｘＴｂＳｉｚｅを持つ複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。例えば、最大許容ルマＴＢサイズは６４×６４であり、最大許容クロマＴＢサイズは３２×３２であることができる。もし前記ツリー構造によって分割されたＣＢの幅又は高さが最大変換幅又は高さよりも大きい場合、当該ＣＢは、自動的に（又は暗黙的に）水平及び垂直方向のＴＢサイズの制限を満足するまで分割されることができる。

また、例えばイントラ予測が適用される場合、イントラ予測モード／タイプは、前記ＣＵ（又はＣＢ）単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、ＴＵ（又はＴＢ）単位で行われることができる。この場合、一つのＣＵ（又はＣＢ）領域内に一つ又は複数のＴＵ（又はＴＢ）が存在することができ、この場合、前記複数のＴＵ（又はＴＢ）は同じイントラ予測モード／タイプを共有することができる。

一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがＳＰＳシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるＣＴＵｓｉｚｅ、四分木のリーフノードの最小許容サイズを示すパラメータであるＭｉｎＱＴＳｉｚｅ、二分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＢＴＳｉｚｅ、三分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＴＴＳｉｚｅ、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ（ｍａｘｉｍｕｍ ａｌｌｏｗｅｄ ｈｉｅｒａｒｃｈｙ ｄｅｐｔｈ）を示すパラメータであるＭａｘＭｔｔＤｅｐｔｈ、二分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＢｔＳｉｚｅ、及び三分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＴｔＳｉｚｅのうちの少なくとも一つがシグナリングされることができる。

４：２：０クロマフォーマットを用いる一実施例において、ＣＴＵサイズは１２８×１２８ルマブロック及びルマブロックに対応する二つの６４×６４クロマブロックに設定されることができる。この場合、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢｔＳｉｚｅは１２８×１２８に設定され、ＭａｘＴｔＳｚｉｅは６４×６４に設定され、ＭｉｎＢｔＳｉｚｅ及びＭｉｎＴｔＳｉｚｅは４×４に設定され、ＭａｘＭｔｔＤｅｐｔｈは４に設定されことができる。四分木パーティショニングは、ＣＴＵに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフＱＴノードと呼ばれることができる。四分木のリーフノードは１６×１６サイズ（例えば、ｔｈｅ ＭｉｎＱＴＳｉｚｅ）乃至１２８×１２８サイズ（例えば、ｔｈｅ ＣＴＵ ｓｉｚｅ）を持つことができる。もしリーフＱＴノードが１２８×１２８である場合、さらに二分木／三分木に分割されないことができる。これは、この場合に分割されてもＭａｘＢｔｓｉｚｅ及びＭａｘＴｔｓｚｉｅ（例えば、６４×６４）を超過するためである。これ以外の場合、リーフＱＴノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフＱＴノードは、マルチタイプツリーに対するルートノード（ｒｏｏｔ ｎｏｄｅ）であり、リーフＱＴノードは、マルチタイプツリーデプス（ｍｔｔＤｅｐｔｈ）０値を持つことができる。もし、マルチタイプツリーデプスがＭａｘＭｔｔｄｅｐｔｈ（例えば、４）に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、所定の値に分割情報を誘導することができる。

一方、一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成され得ることを意味することができる。

上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）がシグナリングされることにより、分割構造が決定されることができる。

別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。

このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長（ｒｅｄｕｎｄａｎｔ）分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。

例えば、図８は二分木分割及び三分木分割で発生しうる冗長分割パターンを例示的に示す。図８に示されているように、２ステップレベルの一方向に対する連続バイナリ分割８１０と８２０は、ターナリ分割後のセンターパーティションに対するバイナリ分割と同じコーディングブロック構造を持つ。このような場合、三分木分割のセンターブロック８３０、８４０に対する二分木分割は禁止できる。このような禁止は、すべてのピクチャのＣＵに対して適用できる。このような特定の分割が禁止される場合、対応するシンタックス要素のシグナリングは、このように禁止される場合を反映して修正でき、これにより、分割のためにシグナリングされるビット数を減らすことができる。例えば、図８に示されている例のように、ＣＵのセンターブロックに対する二分木分割が禁止される場合、分割がバイナリ分割であるかターナリ分割であるかを示すｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇシンタックス要素はシグナリングされず、その値は０に復号化装置によって誘導されることができる。

クロマフォーマットの概要

以下、クロマフォーマットについて説明する。画像は、ルマ成分（例えば、Ｙ）アレイと２つのクロマ成分（例えば、Ｃｂ、Ｃｒ）アレイを含む符号化データで符号化できる。例えば、符号化された画像の１つのピクセルは、ルマサンプルとクロマサンプルを含むことができる。ルマサンプルとクロマサンプルの構成フォーマットを示すためにクロマフォーマットが使用でき、クロマフォーマットはカラーフォーマットと呼ばれることもある。

一実施例において、画像は、モノクロム（ｍｏｎｏｃｈｒｏｍｅ）、４：２：０、４：２：２、４：４：４などのさまざまなクロマフォーマットで符号化できる。モノクロムサンプリングでは、１つのサンプルアレイが存在することができ、前記サンプルアレイはルマアレイであることができる。４：２：０サンプリングでは、１つのルマサンプルアレイと２つのクロマサンプルアレイが存在することができ、２つのクロマアレイのそれぞれは、高さがルマアレイの半分であり、幅もルマアレイの半分であることができる。４：２：２サンプリングでは、１つのルマサンプルアレイと２つのクロマサンプルアレイが存在することができ、２つのクロマアレイのそれぞれは、ルマアレイと高さが同一であり、幅はルマアレイの半分であることができる。４：４：４サンプリングでは、１つのルマサンプルアレイと２つのクロマサンプルアレイが存在することができ、２つのクロマアレイのそれぞれは、ルマアレイとは高さと幅が同一であることができる。

例えば、４：２：０サンプリングの場合、クロマサンプルの位置は対応するルマサンプルの下端に位置することができる。４：２：２サンプリングの場合、クロマサンプルは対応するルマサンプルの位置にオーバーラップして位置することができる。４：４：４サンプリングの場合、ルマサンプルとクロマサンプルはいずれもオーバーラップした位置に位置することができる。

符号化装置と復号化装置で使用されるクロマフォーマットは、予め定められることもできる。又は、符号化装置及び復号化装置で適応的に使用されるために、符号化装置から復号化装置へクロマフォーマットがシグナリングされることもできる。一実施例において、クロマフォーマットは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇのうちの少なくとも一つに基づいてシグナリングされることができる。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇのうちの少なくとも一つは、ＤＰＳ、ＶＰＳ、ＳＰＳ又はＰＰＳなどの上位レベルシンタックスを介してシグナリングされることができる。例えば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇは、図９のようなＳＰＳシンタックスに含まれることができる。

一方、図１０はｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇのシグナリングを活用したクロマフォーマット分類の一実施例を示す。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、符号化画像に適用されたクロマフォーマットを示す情報であることができる。ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇは、特定のクロマフォーマットにおいてカラーアレイが分離されて処理されるか否かを示すことができる。例えば、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの第１値（例えば、０）は、モノクロムサンプリングを示すことができる。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの第２値（例えば、１）は、４：２：０サンプリングを示すことができる。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの第３値（例えば、２）は、４：２：２サンプリングを示すことができる。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの第４値（例えば、３）は、４：４：４サンプリングを示すことができる。

４：４：４サンプリングでは、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値に基づいて次の内容が適用できる。ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値が第１値（例えば、０）である場合、２つのクロマアレイのそれぞれは、ルマアレイと同一の高さ及び同一の幅を有することができる。このような場合、クロマサンプルアレイのタイプを示すＣｈｒｏｍａＡｒｒａｙＴｙｐｅの値は、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃと同一に設定できる。もしｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値が第２値（例えば、１）である場合、ルマ、Ｃｂ及びＣｒサンプルアレイは、分離されて（ｓｅｐａｒａｔｅｌｙ）処理されることにより、それぞれモノクロムサンプリングされたピクチャと同様に処理されることができる。この時、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅは０に設定できる。

クロマブロックに対するイントラ予測

現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック（ルマブロック）に対する予測及びクロマ成分ブロック（クロマブロック）に対する予測が行われることができ、この場合、クロマブロックに対するイントラ予測モードは、ルマブロックに対するイントラ予測モードとは個別に設定されることができる。

例えば、クロマブロックに対するイントラ予測モードは、イントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅシンタックス要素の形態でシグナリングされることができる。一例として、前記イントラクロマ予測モード情報は、Ｐｌａｎａｒモード、ＤＣモード、垂直（ｖｅｒｔｉｃａｌ）モード、水平（ｈｏｒｉｚｏｎｔａｌ）モード、ＤＭ（Ｄｅｒｉｖｅｄ Ｍｏｄｅ）、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードのうちのいずれか一つを指し示すことができる。ここで、Ｐｌａｎａｒモードは０番イントラ予測モード、前記ＤＣモードは１番イントラ予測モード、前記垂直モードは２６番イントラ予測モード、前記水平モードは１０番イントラ予測モードをそれぞれ示すことができる。ＤＭはｄｉｒｅｃｔ ｍｏｄｅと呼ばれることもできる。ＣＣＬＭはＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）とも呼ばれることができる。ＣＣＬＭモードは、Ｌ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭのうちのいずれか一つを含むことができる。

一方、ＤＭとＣＣＬＭは、ルマブロックの情報を用いてクロマブロックを予測する従属的なイントラ予測モードである。前記ＤＭは、前記ルマ成分に対するイントラ予測モードと同じイントラ予測モードが前記クロマ成分に対するイントラ予測モードとして適用されるモードを示すことができる。また、前記ＣＣＬＭは、クロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにＣＣＬＭパラメータα及びβを適用して導出されたサンプルを前記クロマブロックの予測サンプルとして使用するイントラ予測モードを示すことができる。

ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モード

前述したように、クロマブロックにはＣＣＬＭモードが適用できる。ＣＣＬＭモードは、ルマブロックと、前記ルマブロックに対応するクロマブロックとの相関性（ｃｏｒｒｅｌａｔｉｏｎ）を用いたイントラ予測モードであって、ルマブロックの周辺サンプル及びクロマブロックの周辺サンプルに基づいて線形モデルを導出することにより行われる。そして、導出された線形モデル及び前記ルマブロックの復元サンプルに基づいて、前記クロマブロックの予測サンプルが導出されることができる。

具体的には、現在クロマブロックにＣＣＬＭモードが適用される場合、現在クロマブロックのイントラ予測に使用される周辺サンプル及び現在ルマブロックのイントラ予測に使用される周辺サンプルに基づいて線形モデルに対するパラメータが導出されることができる。例えば、ＣＣＬＭのための線形モデルは、下記の数式に基づいて表すことができる。

ここで、ｐｒｅｄ_ｃ（ｉ，ｊ）は、現在ＣＵ内の前記現在クロマブロックの（ｉ，ｊ）座標の予測サンプルを示すことができる。ｒｅｃ_Ｌ（ｉ，ｊ）は、前記ＣＵ内の前記現在ルマブロックの（ｉ，ｊ）座標の復元サンプルを示すことができる。例えば、ｒｅｃ_Ｌ’（ｉ，ｊ）は、前記現在ルマブロックのダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｅｄ）された復元サンプルを示すことができる。線形モデル係数α及びβは、シグナリングされることもできるが、周辺サンプルから誘導されることもできる。

パレットモードの概要

以下、パレットモード（Ｐａｌｅｔｔｅ ｍｏｄｅ）について説明する。一実施例による符号化装置は、パレットモードを用いて画像を符号化することができ、復号化装置は、これに対応する方法でパレットモードを用いて画像を復号化することができる。パレットモードは、パレット符号化モード、イントラパレットモード、イントラパレット符号化モードなどと呼ばれることができる。パレットモードは、イントラ符号化モードの一類型として見なすことができ、イントラ予測方法のうちのいずれか一つとして見なすこともできる。ただし、前述したスキップモードと同様に、当該ブロックに対する別途のレジデュアル値はシグナリングされないことができる。

一実施例において、パレットモードは、相当量のテキストとグラフィックを含むコンピュータで生成された画像であるスクリーンコンテンツを符号化するにあたり、符号化効率を向上させるために使用できる。一般に、スクリーンコンテンツで生成された画像のローカル領域はシャープエッジで分離され、少ない数の色で表現される。このような特性を活用するために、パレットモードは、パレットテーブルのカラーエントリを指示するインデックスで一つのブロックに対するサンプルを表現することができる。

パレットモードを適用するために、パレットテーブルに対する情報がシグナリングされることができる。一実施例において、パレットテーブルは、それぞれのカラーに対応するインデックス値を含むことができる。インデックス値をシグナリングするために、パレットインデックス予測情報がシグナリングされることができる。パレットインデックス予測情報は、パレットインデックスマップの少なくとも一部分のためのインデックス値を含むことができる。パレットインデックスマップは、ビデオデータのピクセルをパレットテーブルのカラーインデックスにマッピングすることができる。

パレットインデックス予測情報は、ｒｕｎ値情報を含むことができる。パレットインデックスマップのうちの少なくとも一部分に対して、ｒｕｎ値情報は、ｒｕｎ値をインデックス値に関連付ける情報であり得る。一つのｒｕｎ値はエスケープカラーインデックスに関連付けられることができる。パレットインデックスマップは、パレットインデックス予測情報から生成できる。例えば、最後のインデックス値に基づいてパレットインデックス予測情報のインデックス値を調整するか否かを決定することにより、パレットインデックスマップのうちの少なくとも一部が生成されることができる。

現在ピクチャにおける現在ブロックは、パレットインデックスマップに応じて符号化又は復元されることができる。パレットモードが適用される場合、現在符号化単位でのピクセル値は、代表カラー値の小さなセットで表現できる。このようなセットがパレットと命名できる。パレットカラーに近い値を持つピクセルに対して、パレットインデックスがシグナリングされることができる。パレットに属していない（外れた）値を持つピクセルに対して、当該ピクセルはエスケープ（ｅｓｃａｐｅ）シンボルで表記され、量子化されたピクセル値が直接シグナリングされることができる。本明細書において、ピクセル又はピクセル値はサンプルで説明できる。

パレットモードで符号化されたブロックを復号化するために、復号化装置は、パレットカラーとインデックスを復号化することができる。パレットカラーは、パレットテーブルとして記述でき、パレットテーブルコーディングツールを用いて符号化されていることができる。エスケープフラグがそれぞれの符号化単位に対してシグナリングされることができる。エスケープフラグは、現在符号化単位にエスケープシンボルが存在するか否かを示すことができる。もしエスケープシンボルが存在する場合、パレットテーブルが１単位（例えば、インデックス単位）増加し、最後のインデックスはエスケープモードと指定できる。一つの符号化単位に対する全てのピクセルのパレットインデックスは、パレットインデックスマップを構成することができ、パレットインデックスマップコーディングツールを用いて符号化できる。

例えば、パレットテーブルを符号化するために、パレット予測子が維持できる。パレット予測子は、それぞれのスライス開始点で初期化できる。例えば、パレット予測子は０にリセットされることができる。パレット予測子のそれぞれのエントリに対して、現在パレットの部分であるか否かを示す再使用フラグがシグナリングされることができる。再使用フラグは、０値のランレングスコーディング（ｒｕｎ－ｌｅｎｇｔｈ ｃｏｄｉｎｇ）を用いてシグナリングされることができる。

その後、新しいパレットエントリのための数字が０次指数ゴロムコードを用いてシグナリングされることができる。最終的に、新しいパレットエントリのためのコンポーネント値がシグナリングされることができる。現在符号化単位を符号化した後、パレット予測子が現在パレットを用いて更新でき、現在パレットで再使用されていない以前パレット予測子からのエントリが（許容された最大サイズに達するまで）新しいパレット予測子の最後に付加でき、これをパレットスタッフィング（ｐａｌｅｔｔｅ ｓｔｕｆｆｉｎｇ）と呼ぶことができる。

例えば、パレットインデックスマップを符号化するために、水平又は垂直スキャンを用いてインデックスが符号化できる。スキャン順序は、スキャン方向を示すパラメータｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇを用いてビットストリームを介してシグナリングされることができる。例えば、現在符号化単位でのサンプルのためのインデックスをスキャンするために水平スキャンが適用される場合、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇは第１値（例えば、０）を持つことができ、垂直スキャンが適用される場合、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇは第２値（例えば、１）を持つことができる。図１１は一実施例による水平スキャン及び垂直スキャンの実施例を示す。

また、一実施例において、パレットインデックスは、「ＩＮＤＥＸ」モード及び「ＣＯＰＹ＿ＡＢＯＶＥ」モードを用いて符号化できる。水平スキャンが使用される場合、最上側行に対してパレットインデックスのモードがシグナリングされる場合、垂直スキャンが使用される場合において最左側列に対してパレットインデックスのモードがシグナリングされる場合、そして直前のモードが「ＣＯＰＹ＿ＡＢＯＶＥ」である場合を除き、前記２つのモードは１つのフラグを用いてシグナリングされることができる。

「ＩＮＤＥＸ」モードにおいて、パレットインデックスは明示的にシグナリングされることができる。「ＩＮＤＥＸ」モードと「ＣＯＰＹ＿ＡＢＯＶＥ」モードに対して、同一のモードを用いて、符号化されたピクセルの数を示すｒｕｎ値がシグナリングされることができる。

インデックスマップのための符号化順序は、次のように設定されることができる。まず、符号化単位に対するインデックス値の数がシグナリングされることができる。これは、切り捨てられたバイナリコーディング（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｉｎｇ）を使用する全体符号化単位に対する実際インデックス値のシグナリング以後に行われることができる。インデックスの数とインデックス値の両方がバイパスモードで符号化されることができる。これにより、インデックスに関連付けられたバイパスビンをグループ化することができる。その後、パレットモード（ＩＮＤＥＸ又はＣＯＰＹ＿ＡＢＯＶＥ）及びｒｕｎ値がインターリーブ方法でシグナリングされることができる。

最後に、全体符号化単位に対するエスケープサンプルに対応するコンポーネントエスケープ値が互いにグループ化されることができ、バイパスモードで符号化されることができる。付加的なシンテックス要素であるｌａｓｔ＿ｒｕｎ＿ｔｙｐｅ＿ｆｌａｇがインデックス値をシグナリングした後にシグナリングできる。インデックスの数と一緒にｌａｓｔ＿ｒｕｎ＿ｔｙｐｅ＿ｆｌａｇを用いることにより、ブロックでの最後のｒｕｎに対応するｒｕｎ値のシグナリングを省略することができる。

一実施例において、ルマ成分とクロマ成分に対して独立的な符号化単位パーティショニングを行うデュアルツリータイプをＩスライスに対して使用することができる。パレットモードは、ルマ成分及びクロマ成分にそれぞれ又は一緒に適用されることができる。デュアルツリーが適用されなければ、Ｙ、Ｃｂ及びＣｒ成分の全てにパレットモードが適用できる。

一実施例において、パレットモードのためのシンタックス要素のシグナリングは、図１２乃至図１９に示すように符号化及びシグナリングされることができる。図１２及び図１３はパレットモードのための符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）における連続するシンタックスを示し、図１４乃至図１９はパレットモードのための連続するシンタックスを示す。

以下、各シンタックス要素について説明する。パレットモードフラグであるｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇは、現在符号化単位に対してパレットモードが適用されるか否かを示すことができる。例えば、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇの第１値（例えば、０）は、現在符号化単位に対してパレットモードが適用されないことを示すことができる。ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇの第２値（例えば、１）は、現在符号化単位に対してパレットモードが適用されることを示すことができる。ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇがビットストリームから取得されない場合、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇの値は第１値と決定されることができる。

パラメータＰｒｅｄｉｃｔｏｒＰａｌｅｔｔｅＳｉｚｅ［ｓｔａｒｔＣｏｍｐ］は、現在パレットテーブルの一番目のカラーコンポーネントであるｓｔａｒｔＣｏｍｐのための予測子パレットの大きさを示すことができる。

パラメータＰａｌｅｔｔｅＰｒｅｄｉｃｔｏｒＥｎｔｒｙＲｅｕｓｅＦｌａｇｓ［ｉ］は、エントリの再使用か否かを示す情報であり得る。例えば、ＰａｌｅｔｔｅＰｒｅｄｉｃｔｏｒＥｎｔｒｙＲｅｕｓｅＦｌａｇｓ［ｉ］の第１値（例えば、０）は、予測子パレットのｉ番目のエントリが現在パレットのエントリではないことを示し、第２値（例えば１）は、予測子パレットのｉ番目のエントリが現在パレットで再使用できることを示すことができる。ＰａｌｅｔｔｅＰｒｅｄｉｃｔｏｒＥｎｔｒｙＲｅｕｓｅＦｌａｇｓ［ｉ］の使用のために、初期値は０に設定されることができる。

パラメータｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｒｕｎは、配列ＰａｌｅｔｔｅＰｒｅｄｉｃｔｏｒＥｎｔｒｙＲｅｕｓｅＦｌａｇｓで０ではないエントリよりも前に存在する０の個数を示すことができる。

パラメータｎｕｍ＿ｓｉｇｎａｌｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓは、現在パレットテーブルの一番目のカラーコンポーネントｓｔａｒｔＣｏｍｐのために明示的にシグナリングされる現在パレットにおけるエントリの個数を示すことができる。ｎｕｍ＿ｓｉｇｎａｌｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓがビットストリームから取得されない場合、ｎｕｍ＿ｓｉｇｎａｌｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓの値は０に決定されることができる。

パラメータＣｕｒｒｅｎｔＰａｌｅｔｔｅＳｉｚｅ［ｓｔａｒｔＣｏｍｐ］は、現在パレットテーブルの一番目のカラーコンポーネントｓｔａｒｔＣｏｍｐのための現在パレットの大きさを示すことができる。これは、下記の数式で計算できる。ＣｕｒｒｅｎｔＰａｌｅｔｔｅＳｉｚｅ［ｓｔａｒｔＣｏｍｐ］の値は、０～ｐａｌｅｔｔｅ＿ｍａｘ＿ｓｉｚｅの範囲を持つことができる。

〔数２〕
ＣｕｒｒｅｎｔＰａｌｅｔｔｅＳｉｚｅ［ｓｔａｒｔＣｏｍｐ］＝ＮｕｍＰｒｅｄｉｃｔｅｄＰａｌｅｔｔｅＥｎｔｒｉｅｓ＋ｎｕｍ＿ｓｉｇｎａｌｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓ

パラメータｎｅｗ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓ［ｃＩｄｘ］［ｉ］は、カラーコンポーネントｃＩｄｘに対してｉ番目にシグナリングされるパレットエントリの値を示すことができる。

パラメータＰｒｅｄｉｃｔｏｒＰａｌｅｔｔｅＥｎｔｒｉｅｓ［ｃＩｄｘ］［ｉ］は、カラーコンポーネントｃＩｄｘに対する予測子パレットにおけるｉ番目の要素を示すことができる。

パラメータＣｕｒｒｅｎｔＰａｌｅｔｔｅＥｎｔｒｉｅｓ［ｃＩｄｘ］［ｉ］は、カラーコンポーネントｃＩｄｘに対する現在パレットにおけるｉ番目の要素を示すことができる。ＰｒｅｄｉｃｔｏｒＰａｌｅｔｔｅＥｎｔｒｉｅｓとＣｕｒｒｅｎｔＰａｌｅｔｔｅＥｎｔｒｉｅｓは、図２０に示すような数式のように生成できる。

パラメータｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、エスケープ（ｅｓｃａｐｅ）符号化サンプルの存否を示すことができる。例えば、ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば、０）は、現在符号化単位に対してエスケープ符号化サンプルが存在しないことを示すことができ、ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば、１）は、現在符号化単位が少なくとも一つのエスケープ符号化サンプルを含むことを示すことができる。ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがビットストリームから取得されない場合、ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１に決定されることができる。

パラメータＭａｘＰａｌｅｔｔｅＩｎｄｅｘは、現在符号化単位のためのパレットインデックスの最大利用可能値を示すことができる。ＭａｘＰａｌｅｔｔｅＩｎｄｅｘの値は、ＣｕｒｒｅｎｔＰａｌｅｔｔｅＳｉｚｅ［ｓｔａｒｔＣｏｍｐ］＋ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇで決定されることができる。

パラメータｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１は、現在ブロックに対して明示的又は暗示的にシグナリングされるパレットインデックスの個数を示すことができる。例えば、ｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１に１を加えた値は、現在ブロックに対して明示的にシグナリングされるか、或いは暗示的にシグナリングされるパレットインデックスの個数を示すことができる。ｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１がビットストリームに含まれていなければ、ｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１の値は０に決定されることができる。

パラメータｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃは、パレットテーブルＣｕｒｒｅｎｔＰａｌｅｔｔｅＥｎｔｒｉｅｓに対するインデックスのインジケータであり得る。ｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃの値は、当該ブロックの一番目のインデックスに対して０～ＭａｘＰａｌｅｔｔｅＩｎｄｅｘの値を持つことができ、当該ブロックの残りの残余インデックスに対して０～ＭａｘＰａｌｅｔｔｅＩｎｄｅｘ－１の値を持つことができる。ｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃの値がビットストリームから取得されない場合、ｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃの値は０に決定されることができる。

パラメータＰａｌｅｔｔｅＩｎｄｅｘＩｄｃ［ｉ］は、明示的又は暗示的にシグナリングされるｉ番目のｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃの値を保存する配列であり得る。ＰａｌｅｔｔｅＩｎｄｅｘＩｄｃ［ｉ］のすべての要素の値は０に初期化されることができる。

パラメータｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇは、最後のｒｕｎのために以前インデックスをコピーするか否かを示す情報を示すことができ、第１値（例えば、０）は、現在コーディングユニットの最後の位置におけるパレットインデックスがビットストリームを介して明示的にシグナリングされるか、或いは暗示的にシグナリングされることを示すことができ、第２値（例えば、１）は、現在コーディングユニットの最後の位置におけるパレットインデックスがビットストリームを介して明示的にシグナリングされるか、或いは暗示的にシグナリングされることを示すことができる。ｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇがビットストリームから取得されない場合、ｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇの値は０に決定されることができる。

パラメータｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇは、現在符号化単位のピクセルに対するインデックスをスキャンするために使用されるスキャン方法を示す情報であり得る。例えば、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇの第１値（例えば、０）は、現在符号化単位のピクセルに対するインデックスをスキャンするために水平スキャンが適用されることを示すことができ、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇの第２値（例えば、１）は、現在符号化単位のピクセルに対するインデックスをスキャンするために垂直スキャンが適用されることを示すことができる。ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇがビットストリームから取得されない場合、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇの値は０に決定されることができる。

パラメータｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｆｌａｇの第１値（例えば、０）は、サンプルのパレットインデックスを示すインジケータがビットストリームの符号化された値から取得又は誘導されることを示すことができる。ｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｆｌａｇの第２値（例えば、１）は、パレットインデックスが周辺サンプルのパレットインデックスと同じであることを示すことができる。例えば、周辺サンプルは、現在垂直スキャンが使用される場合、現在サンプルの左側列で現在サンプルと同じ位置に存在するサンプルであり得る。又は、周辺サンプルは、現在水平スキャンが使用される場合、現在サンプルの上側行で現在サンプルと同じ位置に存在するサンプルであり得る。

パラメータＣｏｐｙＡｂｏｖｅＩｎｄｉｃｅｓＦｌａｇ［ｘＣ］［ｙＣ］の第１値（例えば、０）は、パレットインデックスがビットストリームから明示的に取得されるか或いは暗示的に取得されることを示すことができる。第２値（例えば、１）は、現在垂直スキャンが使用される場合には左側列のパレットインデックスをコピーして、現在水平スキャンが使用される場合には上側行のパレットインデックスをコピーしてパレットインデックスが生成されることを示すことができる。ここで、ｘＣ、ｙＣは現在ピクチャの左上側サンプルからの現在サンプルの位置を相対的に示す座標インジケータである。ＰａｌｅｔｔｅＩｎｄｅｘＭａｐ［ｘＣ］［ｙＣ］の値は、０～（ＭａｘＰａｌｅｔｔｅＩｎｄｅｘ－１）の値を持つことができる。

パラメータＰａｌｅｔｔｅＩｎｄｅｘＭａｐ［ｘＣ］［ｙＣ］は、パレットインデックスを示し、例えば、ＣｕｒｒｅｎｔＰａｌｅｔｔｅＥｎｔｒｉｅｓによって表現される配列に対するインデックスを示すことができる。配列インデックスｘＣとｙＣは、前述のように現在ピクチャの左上側サンプルに対して相対的に現在サンプルの座標を示す座標インジケータである。ＰａｌｅｔｔｅＩｎｄｅｘＭａｐ［ｘＣ］［ｙＣ］は、０～（ＭａｘＰａｌｅｔｔｅＩｎｄｅｘ－１）の値を持つことができる。

パラメータＰａｌｅｔｔｅＲｕｎは、ＣｏｐｙＡｂｏｖｅＩｎｄｉｃｅｓＦｌａｇ［ｘＣ］［ｙＣ］の値が０である場合、同じパレットインデックスを持つ連続的位置の個数を示すことができる。一方、ＣｏｐｙＡｂｏｖｅＩｎｄｉｃｅｓＦｌａｇ［ｘＣ］［ｙＣ］の値が１である場合、ＰａｌｅｔｔｅＲｕｎは、現在スキャン方向が水平スキャンである場合には上側行での位置におけるパレットインデックス、現在スキャン方向が垂直スキャンである場合には左側列での位置におけるパレットインデックスと同じパレットインデックスを有する連続的な位置の個数を示すことができる。

パラメータＰａｌｅｔｔｅＭａｘＲｕｎは、ＰａｌｅｔｔｅＲｕｎの最大利用可能値を示すことができる。ＰａｌｅｔｔｅＭａｘＲｕｎの値は０よりも大きい整数であり得る。

パラメータｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘは、ＰａｌｅｔｔｅＲｕｎの二値化において使用されるプレフィックス部分を示すことができる。

パラメータｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘは、ＰａｌｅｔｔｅＲｕｎの二値化において使用されるサフィックス部分を示すことができる。ｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘがビットストリームから取得されない場合、その値は０に決定されることができる。

ＰａｌｅｔｔｅＲｕｎの値は、次のとおり決定できる。例えば、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘの値が２よりも小さければ、次のとおり計算できる。

〔数３〕
ＰａｌｅｔｔｅＲｕｎ＝ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘ

これに対し、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘの値が２以上であれば、次のとおり計算できる。

〔数４〕

ＰｒｅｆｉｘＯｆｆｓｅｔ＝１＜＜（ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘ－１）

ＰａｌｅｔｔｅＲｕｎ＝ＰｒｅｆｉｘＯｆｆｓｅｔ＋ｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘ

パラメータｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌは、コンポーネントのための量子化されたエスケープ符号化サンプル値を示すことができる。パラメータＰａｌｅｔｔｅＥｓｃａｐｅＶａｌ［ｃＩｄｘ］［ｘＣ］［ｙＣ］は、ＰａｌｅｔｔｅＩｎｄｅｘＭａｐ［ｘＣ］［ｙＣ］の値が（ＭａｘＰａｌｅｔｔｅＩｎｄｅｘ－１）であり、ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であるサンプルのエスケープ値を示すことができる。ここで、ｃＩｄｘは、カラーコンポーネントを示すことができる。配列インジケータｘＣとｙＣは、前述のように現在サンプルの位置を現在ピクチャの左上側サンプルからの相対距離で表す位置インジケータであり得る。

パレットモードが適用される場合におけるクロマ予測モードシグナリング

以下、パレットモードが適用される場合にクロマ予測モード情報をシグナリングする方法について説明する。一実施例において、パレットモードが適用された符号化単位（又は符号化ブロック）に対して、ＣＣＬＭなどのクロマ予測符号化を適用しないことができる。また、パレットモードが適用された符号化単位に対してｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅもシグナリングしないことができる。

クロマ成分のためにＣＣＬＭが利用可能であると決定される場合、そのためのオン／オフフラグがシグナリングされることができる。一実施例において、ＣＣＬＭの利用可能性は、ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｐｓ＿ｐｌｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを用いて決定されることができ、ＣＣＬＭのオン／オフフラグシグナリングは、ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｐｓ＿ｐｌｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを用いてシグナリングされることができる。

一方、図１３の例において、ＣＣＬＭ情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ）のシグナリングは、符号化単位のパレットモード適用有無を考慮していない。例えば、図１３の例では、現在符号化単位にパレットモードが適用されないか、或いは符号化単位がデュアルツリークロマではない場合、所定のクロマ予測情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）がシグナリングされる実施例を説明している。

このような場合、シングルツリー構造でパレット符号化されたブロックに所定のクロマ予測情報がシグナリングされることにより、不要なシンタックスシグナリングが発生する可能性がある。さらに、このように所定のクロマ予測情報がシグナリングされることにより、符号化単位におけるクロマ成分がパレットモードで符号化されたにも拘らず、ＣＣＬＭによるクロマイントラ予測が行われてもよく、ＤＭモードによるクロマイントラ予測が行われてもよい。

かかる問題点を解決するために、符号化単位に対するシンタックスが図２１のように修正されることができる。図２１は現在符号化単位にパレットモードが適用されるか否かを示すパラメータであるｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇ２１１０の値が、パレットモードが適用されないことを示す第１値（例えば、０）である場合、所定のクロマイントラ予測情報２１２０がビットストリームから取得されることを示す符号化単位のシンタックスを示す。また、図２１のシンタックスは、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇ２１１０の値が、パレットモードが適用されることを示す第２値（例えば、１）である場合、所定のクロマイントラ予測情報２１２０がビットストリームから取得されないことを示す。

図２１の実施例でのように、所定のクロマ予測情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）がシグナリングされるために現在符号化単位にパレットモードが適用されるか否かによって、所定のクロマ予測情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿pｒｅｄ＿ｍｏｄｅ）がシグナリングされることができる。

以下、図２２を参照して図２１のシンタックスによる所定のクロマイントラ予測情報のシグナリングについて説明する。一実施例による符号化装置又は復号化装置は、現在符号化単位（例えば、符号化ブロック）にパレットモードが適用されるかを判断することができる（Ｓ２２１０）。例えば、復号化装置は、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇの値に従って、現在符号化単位にパレットモードが適用されるか否かを判断することができる。

次に、現在符号化単位にパレットモードが適用される場合、符号化装置は、当該符号化単位をパレットモードで符号化することができ、復号化装置は、当該符号化単位をパレットモードで復号化することができる。これにより、符号化装置又は復号化装置は、所定のクロマ予測情報をシグナリングしないことができる（Ｓ２２２０）。例えば、符号化装置は、所定のクロマ予測情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）を符号化しなくてもよく、復号化装置は、所定のクロマ予測情報をビットストリームから取得しなくてもよい。

次に、現在符号化単位にパレットモードが適用されない場合、符号化装置又は復号化装置は、前記所定のクロマ予測情報をシグナリングすることができる。一実施例において、符号化装置又は復号化装置は、現在符号化単位にＣＣＬＭモードが利用可能であるかを判断し（Ｓ２２３０）、利用可能な場合にはＣＣＬＭパラメータをシグナリングすることができ（Ｓ２２４０）、利用可能でない場合にはｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅパラメータをシグナリングすることができる（Ｓ２２５０）。

これに対して、復号化装置がクロマ予測情報を取得するステップを図２３を参照してより詳細に説明する。復号化装置は、現在符号化単位にパレットモードが適用されない場合（Ｓ２３１０）、現在符号化単位にＣＣＬＭモードが利用可能であるか否かを判断することができる（Ｓ２３２０）。例えば、復号化装置は、シーケンスパラメータセットでシグナリングされるＣＣＬＭモードの利用可能性を示すパラメータｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、ＣＣＬＭモードが利用可能でないことを示す第１値（例えば、０）を有する場合、現在符号化単位にＣＣＬＭモードが利用可能でないことを決定することができる。或いは、復号化装置は、ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、ｃｃｌｍモードが利用可能であることを示す第２値（例えば、１）を有する場合、スライスヘッダを介して伝送されるスライスタイプパラメータｓｈ＿ｓｌｉｃｅ＿ｔｙｐｅが、現在スライスタイプがＩスライスではないことを示すか、或いは現在ブロックの輝度成分のサイズが６４よりも小さい場合、現在符号化単位にＣＣＬＭモードが利用可能であることを決定することができる。或いは、復号化装置は、ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、ｃｃｌｍモードが利用可能であることを示す第２値（例えば、１）を有する場合、シーケンスパラメータセットでシグナリングされるｓｐｓ＿ｑｔｂｔｔ＿ｄｕａｌ＿ｔｒｅｅ＿ｉｎｔｒａ＿ｆｌａｇパラメータがＩスライスに含まれるそれぞれのＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）がサイズ６４×６４のルマ成分ブロックに分割され、開発ＣＴＵがデュアルツリーのヘッダノードになることを示さない場合、現在符号化単位にＣＣＬＭモードが利用可能であることを決定することができる。

ＣＣＬＭモードが利用可能である場合、復号化装置は、現在符号化単位にＣＣＬＭモードが適用されるか否かを決定することができる（Ｓ２３３０）。例えば、復号化装置は、ビットストリームからｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇパラメータを取得することができる。パラメータｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇは、ＣＣＬＭモードの適用有無を示すことができる。ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇの第１値（例えば、０）は、ＣＣＬＭモードが適用されないことを示すことができる。ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇの第２値（例えば、１）は、Ｔ＿ＣＣＬＭ、Ｌ＿ＣＣＬＭ及びＬＴ＿ＣＣＬＭのうちのいずれか一つのＣＣＬＭモードが適用できることを示すことができる。ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇの値がビットストリームから取得されない場合、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇの値は０に決定されることができる。

ＣＣＬＭモードが適用される場合（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ＝＝１）、復号化装置は、パラメータｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘをビットストリームから取得することができる（Ｓ２３４０）。パラメータｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘは、Ｔ＿ＣＣＬＭ、Ｌ＿ＣＣＬＭ及びＬＴ＿ＣＣＬＭのうち、現在符号化単位のクロマ成分を復号化するために使用されるＣＣＬＭモードを示すインデックスを指示することができる。

一方、ＣＣＬＭモードが利用不可能であるか、或いはＣＣＬＭモードが適用されない場合（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ＝＝０）、復号化装置は、パラメータｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅをビットストリームから取得することができる（Ｓ２３５０）。前述したように、パラメータｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅは、現在符号化単位のクロマ成分を復号化するために使用されるイントラ予測モードを示すことができる。一例として、前記ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅは、Ｐｌａｎａｒモード、ＤＣモード、垂直（ｖｅｒｔｉｃａｌ）モード、水平（ｈｏｒｉｚｏｎｔａｌ）モード、ＤＭ（Ｄｅｒｉｖｅｄ Ｍｏｄｅ）モードのうちのいずれか一つを指すことができる。

符号化方法

以下、上述した方法を用いて一実施例による符号化装置が符号化を行う方法について、図２４を参照して説明する。一実施例による符号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、以下の符号化方法を行うことができる。

まず、符号化装置は、画像を分割して現在ブロックを決定することができる（Ｓ２４１０）。例えば、符号化装置は、図４～図６を参照して上述したように画像を分割して現在ブロックを決定することができる。一実施例による分割過程で、画像分割情報が符号化されることができ、符号化された画像分割情報は、ビットストリームとして生成されることができる。

次に、符号化装置は、前記現在ブロックの予測モードを決定することができる（Ｓ２４２０）。次に、符号化装置は、前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグ（例えば、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇ）を符号化することができる（Ｓ２４３０）。符号化されたパレットモードフラグは、ビットストリームとして生成されることができる。

次に、符号化装置は、前記現在ブロックのツリータイプと前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックをパレットモードで符号化したパレットモード符号化情報を符号化することができる（Ｓ２４４０）。例えば、符号化装置は、パレットモードが適用されるものと決定された場合、図１４～図１９を参照して説明したように、ｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスを用いてパレットモード符号化情報を生成することによりビットストリームを生成することができる。

一方、前記現在ブロックに対するパレットモード符号化情報を符号化するステップは、前記現在ブロックのルマ成分に対するパレットモード符号化情報を符号化するステップを含むことができる。例えば、前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用される場合、前記現在ブロックのルマ成分に対するパレットモード予測のための情報を符号化することができ、符号化された情報を用いてビットストリームを生成することができる。

このとき、現在ブロックのルマ成分に対するパレットモード符号化情報は、前記現在ブロックのルマ成分ブロックのサイズに基づいて符号化されることができる。例えば、前述した図１３の実施例でのように、現在ブロックのルマ成分ブロックの幅（例えば、ｃｂＷｉｄｔｈ）と現在ブロックのルマ成分ブロックの高さ（例えば、ｃｂＨｅｉｇｈｔ）に基づいて規定されたｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスに従って、符号化装置は、パレットモード符号化情報をビットストリームとして生成することができる。

また、前記現在ブロックに対するパレットモード符号化情報を符号化するステップは、前記現在ブロックのクロマ成分に対するパレットモード符号化情報を符号化するステップをさらに含むことができる。例えば、前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分に対するパレットモード予測のための情報を符号化することができ、符号化された情報を用いてビットストリームを生成することができる。

このとき、現在ブロックのクロマ成分に対するパレットモード符号化情報は、前記現在ブロックのクロマ成分ブロックのサイズに基づいて符号化されることができる。例えば、前述した図１３の実施例でのように、現在ブロックのクロマ成分ブロックの幅（例えば、ｃｂＷｉｄｔｈ／ｓｕｂＷｉｄｔｈＣ）と現在ブロックのクロマ成分ブロックの高さ（例えば、ｃｂＨｅｉｇｈｔ／ｓｕｂＨｅｉｇｈｔＣ）に基づいて規定されたｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスに従って、符号化装置は、パレットモード符号化情報をビットストリームとして生成することができる。ここで、ｓｕｂＷｉｄｔｈＣとｓｕｂＨｅｉｇｈｔＣは、ルマ成分ブロックに対するクロマ成分ブロックの高さと幅の比率であり得る。一実施例において、ｓｕｂＷｉｄｔｈＣとｓｕｂＨｅｉｇｈｔＣは、図１０に示すようにｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇに基づいて決定されることができる。

次に、符号化装置は、前記現在ブロックの予測モードがパレットモードでなければ、現在ブロックのクロマ成分予測情報を符号化することができる（Ｓ２４５０）。前記クロマ成分予測情報は、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）予測のための情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘ）又はクロマ成分イントラ予測情報（例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）であることができる。

一方、符号化装置は、現在ブロックにパレットモードが適用されると、前記クロマ成分予測情報を符号化しないことができる。

より詳細には、前記ＣＣＬＭ予測のための情報は、ＣＣＬＭ予測が行われるか否かを示すＣＣＬＭフラグ（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ）と、ＣＣＬＭ予測のモードを示すＣＣＬＭモードインデックス（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘ）とを含むことができる。前記ＣＣＬＭフラグは、前記現在ブロックに対してＣＣＬＭ予測が利用可能である場合、符号化されて前記ビットストリームとして生成されることができる。前記ＣＣＬＭモードインデックスは、前記ＣＣＬＭフラグが、ＣＣＬＭ予測が行われることを示す場合に符号化されて前記ビットストリームとして生成されることができる。

一方、前記ＣＣＬＭフラグが、前記ＣＣＬＭ予測が行われないことを示す場合、前記クロマ成分イントラ予測情報（例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）が符号化されて前記ビットストリームとして生成されることができる。

復号化方法

以下、上述した方法を用いて一実施例による復号化装置が復号化を行う方法について、図２５を参照して説明する。一実施例による復号化装置は、メモリと少なくとも一つのプロセッサとを含み、前記少なくとも一つのプロセッサは、以下の復号化方法を行うことができる。

まず、復号化装置は、画像を分割して現在ブロックを決定することができる（Ｓ２５１０）。例えば、復号化装置は、図４～図６を参照して上述したように、画像を分割して現在ブロックを決定することができる。一実施例による分割過程で、ビットストリームから取得された画像分割情報が使用されることもできる。

次に、復号化装置は、ビットストリームから取得されたパレットモードフラグ（例えば、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇ）に基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別することができる（Ｓ２５２０）。

次に、復号化装置は、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得することができる（Ｓ２５３０）。例えば、復号化装置は、パレットモードが適用されるものと決定された場合、図１４～図１９を参照して説明したように、ｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスを用いてパレットモード符号化情報をビットストリームから取得することができる。

一方、前記現在ブロックに対するパレットモード符号化情報を取得するステップは、前記現在ブロックのルマ成分に対するパレットモード符号化情報を取得するステップを含むことができる。例えば、前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用される場合、前記現在ブロックのルマ成分に対するパレットモード予測のための情報がビットストリームから取得されることができる。

このとき、現在ブロックのルマ成分に対するパレットモード符号化情報は、前記現在ブロックのルマ成分ブロックのサイズに基づいて取得されることができる。例えば、前述した図１３の実施例でのように、ｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスは、現在ブロックのルマ成分ブロックの幅（例えば、ｃｂＷｉｄｔｈ）と現在ブロックのルマ成分ブロックの高さ（例えば、ｃｂＨｅｉｇｈｔ）に基づいて行われることができる。

一方、前記現在ブロックに対するパレットモード符号化情報を取得するステップは、前記現在ブロックのクロマ成分に対するパレットモード符号化情報を取得するステップをさらに含むことができる。例えば、前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分に対するパレットモード予測のための情報が前記ビットストリームから取得されることができる。

このとき、現在ブロックのクロマ成分に対するパレットモード符号化情報は、前記現在ブロックのクロマ成分ブロックのサイズに基づいて取得されることができる。例えば、前述した図１３の実施例でのように、ｐａｌｅｔｔｅ＿ｃｏｄｉｎｇ（）シンタックスは、現在ブロックのクロマ成分ブロックの幅（例えば、ｃｂＷｉｄｔｈ／ｓｕｂＷｉｄｔｈＣ）と現在ブロックのクロマ成分ブロックの高さ（例えば、ｃｂＨｅｉｇｈｔ／ｓｕｂＨｅｉｇｈｔＣ）に基づいて行われることができる。ｓｕｂＷｉｄｔｈＣとｓｕｂＨｅｉｇｈｔＣは、ルマ成分ブロックに対するクロマ成分ブロックの高さと幅の比率であり得る。一実施例において、ｓｕｂＷｉｄｔｈＣとｓｕｂＨｅｉｇｈｔＣは、図１０に示すように、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｅｐａｒａｔｅ＿ｃｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇに基づいて決定されることができる。

次に、復号化装置は、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得することができる（Ｓ２５４０）。例えば、復号化装置は、パレットモードが適用されなければ、図２３を参照して説明したように、ＣＣＬＭ予測情報（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ、ｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘ）又はクロマ成分イントラ予測情報（例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）をビットストリームから取得することができる。一方、現在ブロックにパレットモードが適用されれば、前記ビットストリームから前記クロマ成分予測情報を取得しないことができる。

より詳細には、前記ＣＣＬＭ予測のための情報は、ＣＣＬＭ予測が行われるか否かを示すＣＣＬＭフラグ（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｆｌａｇ）と、ＣＣＬＭ予測のモードを示すＣＣＬＭモードインデックス（例えば、ｃｃｌｍ＿ｍｏｄｅ＿ｉｄｘ）とを含むことができる。前記ＣＣＬＭフラグは、前記現在ブロックに対してＣＣＬＭ予測が利用可能である場合、前記ビットストリームから取得されることができる。前記ＣＣＬＭモードインデックスは、前記ＣＣＬＭフラグが、ＣＣＬＭ予測が行われることを示す場合、前記ビットストリームから取得されることができる。

一方、前記ＣＣＬＭフラグが、前記ＣＣＬＭ予測が行われないことを示す場合、前記クロマ成分イントラ予測情報（例えば、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）が前記ビットストリームから取得されることができる。

応用実施例

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

図２６は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

図２６に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

本開示による実施例は、画像を符号化／復号化することに利用可能である。

Claims (15)

1. 画像復号化装置によって行われる画像復号化方法であって、
   画像を分割して現在ブロックを決定するステップと、
   ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、
   前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得するステップと、
   前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含む、画像復号化方法
2. 前記現在ブロックにパレットモードが適用されると、前記ビットストリームから前記クロマ成分予測情報を取得しない、請求項１に記載の画像復号化方法。
3. 前記現在ブロックに対するパレットモード符号化情報を取得するステップは、
   前記現在ブロックのルマ成分に対するパレットモード符号化情報を取得するステップを含み、
   前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用される場合、前記現在ブロックのルマ成分に対するパレットモード予測のための情報がビットストリームから取得される、請求項１に記載の画像復号化方法。
4. 前記現在ブロックのルマ成分に対するパレットモード符号化情報を取得するステップは、前記現在ブロックのルマ成分ブロックのサイズに基づいて行われる、請求項３に記載の画像復号化方法。
5. 前記現在ブロックに対するパレットモード符号化情報を取得するステップは、
   前記現在ブロックのクロマ成分に対するパレットモード符号化情報を取得するステップを含み、
   前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分に対するパレットモード予測のための情報が前記ビットストリームから取得される、請求項１に記載の画像復号化方法。
6. 前記現在ブロックのクロマ成分に対するパレットモード符号化情報を取得するステップは、前記現在ブロックのクロマ成分ブロックのサイズに基づいて行われる、請求項５に記載の画像復号化方法。
7. 前記クロマ成分予測情報は、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）予測のための情報又はクロマ成分イントラ予測情報である、請求項１に記載の画像復号化方法。
8. 前記ＣＣＬＭ予測のための情報は、ＣＣＬＭ予測が行われるか否かを示すＣＣＬＭフラグと、ＣＣＬＭ予測のモードを示すＣＣＬＭモードインデックスとを含み、
   前記ＣＣＬＭフラグは、前記現在ブロックに対してＣＣＬＭ予測が利用可能である場合、前記ビットストリームから取得され、
   前記ＣＣＬＭモードインデックスは、前記ＣＣＬＭフラグが、ＣＣＬＭ予測が行われることを示す場合、前記ビットストリームから取得される、請求項７に記載の画像復号化方法。
9. 前記ＣＣＬＭフラグが、前記ＣＣＬＭ予測が行われないことを示す場合、前記クロマ成分イントラ予測情報が前記ビットストリームから取得される、請求項８に記載の画像復号化方法。
10. メモリと少なくとも一つのプロセッサとを含む画像復号化装置であって、
    前記少なくとも一つのプロセッサは、
    画像を分割して現在ブロックを決定し、
    ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別し、
    前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得し、
    前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得する、画像復号化装置。
11. 画像符号化装置によって行われる画像符号化方法であって、
    画像を分割して現在ブロックを決定するステップと、
    前記現在ブロックの予測モードを決定するステップと、
    前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグを符号化するステップと、
    前記現在ブロックのツリータイプと前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックをパレットモードで符号化したパレットモード符号化情報を符号化するステップと、
    前記現在ブロックの予測モードがパレットモードでなければ、現在ブロックのクロマ成分予測情報を符号化するステップと、を含む、画像符号化方法。
12. 前記現在ブロックにパレットモードが適用されると、前記クロマ成分予測情報を符号化しない、請求項１１に記載の画像符号化方法。
13. 前記クロマ成分予測情報は、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）予測のための情報又はクロマ成分イントラ予測情報である、請求項１２に記載の画像符号化方法。
14. 前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分をパレットモードで符号化したパレットモード符号化情報が符号化され、
    前記現在ブロックにパレットモードが適用されない場合、前記クロマ成分予測情報でＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）予測のための情報又はクロマ成分イントラ予測情報が符号化される、請求項１１に記載の画像符号化方法。
15. 請求項１１に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。

Images