JP2022552298A

JP2022552298A - 変換に基づく映像コーディング方法及びその装置

Info

Publication number: JP2022552298A
Application number: JP2022521365A
Authority: JP
Inventors: ムンモク; チェヒョンイム; スンファンキム; サレヒファーメウディ
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-10-08
Filing date: 2020-10-08
Publication date: 2022-12-15
Anticipated expiration: 2040-10-08
Also published as: EP4044594A4; MX2022004211A; JP7414977B2; US20220345710A1; EP4044594A1; WO2021071297A1; JP2024024020A; KR20220044311A; CN114762341B; CN117979005A; CN114762341A; CN117812262A

Abstract

【課題】ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げる方法及び装置を提供する。【解決手段】映像デコーディング方法は、変換係数にＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用してレジデュアルサンプルを導出するステップ、前記レジデュアルサンプルに基づいて復元ピクチャを生成するステップを含み、前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネル、及び前記ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックスに基づいて実行され、前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出される。【選択図】図１６

Description

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。

最近、４Ｋまたは８Ｋ以上のＵＨＤ（ＵｌｔｒａＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が多様な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加する。

また、最近、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、ＡＲ（ＡｒｔｉｆｉｃｉａｌＲｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（ＩｍｍｅｒｓｉｖｅＭｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

これによって、前記のような多様な特性を有する高解像度、高品質の映像／ビデオの情報を効果的に圧縮して送信または格納し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＬＦＮＳＴインデックスコーディングの効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げる方法及び装置を提供することにある。

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、変換係数にＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用してレジデュアルサンプルを導出するステップ、前記レジデュアルサンプルに基づいて復元ピクチャを生成するステップを含み、前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネル、及び前記ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックスに基づいて実行され、前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出される。

前記ＬＦＮＳＴインデックスに対するシンタックス要素のコンテキスト情報を導出するステップ、前記コンテキスト情報に基づいて前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングのｂｉｎをデコーディングするステップ、前記ＬＦＮＳＴインデックスに対するシンタックス要素の値を導出するステップをさらに含む。

前記現在ブロックのツリータイプがシングルツリーである場合、前記１番目のｂｉｎは、第１のコンテキスト情報として導出され、前記現在ブロックのツリータイプがシングルツリーでない場合、前記１番目のｂｉｎは、第２のコンテキスト情報として導出される。

前記２番目のｂｉｎに対するコンテキスト情報は、前記第１のコンテキスト情報及び前記第２のコンテキスト情報と異なる第３のコンテキスト情報として導出される。

前記ＬＦＮＳＴ変換セットには二つの前記ＬＦＮＳＴカーネルが含まれ、前記シンタックス要素に対する値は、前記現在ブロックに前記ＬＦＮＳＴが適用されない場合を指示する０、前記ＬＦＮＳＴカーネルのうち１番目のＬＦＮＳＴカーネルを指示する１、前記ＬＦＮＳＴカーネルのうち２番目のＬＦＮＳＴカーネルを指示する２、のうちいずれか一つを含む。

前記シンタックス要素に対する値は、トランケイテッドユナリコードで二進化され、前記シンタックス要素に対する値０は「０」で、前記シンタックス要素に対する値１は「１０」で、前記シンタックス要素に対する値２は「１１」で、二進化される。

本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、レジデュアルサンプルにＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用して前記現在ブロックに対する変換係数を導出するステップ、ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックス及び量子化されたレジデュアル情報をエンコーディングするステップを含み、前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれている前記ＬＦＮＳＴカーネルに基づいて実行され、前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出される。

本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

本文書によると、ＬＦＮＳＴインデックスコーディングの効率を上げることができる。

本文書によると、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げることができる。

本明細書の具体的な一例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者（ａｐｅｒｓｏｎｈａｖｉｎｇｏｒｄｉｎａｒｙｓｋｉｌｌｉｎｔｈｅｒｅｌａｔｅｄａｒｔ）が本明細書から理解または誘導できる多様な技術的効果が存在できる。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されたことに制限されるものではなく、本明細書の技術的特徴から理解または誘導されることができる多様な効果を含むことができる。

本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

本文書の一実施例に係る多重変換技法を概略的に示す。

６５個予測方向のイントラ方向性モードを例示的に示す。

本文書の一実施例に係るＲＳＴを説明するための図である。

一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。

一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

本文書の一実施例に係る広角イントラ予測モードを示す図である。

ＬＦＮＳＴが適用されるブロックもようを示す図である。

一例によって順方向ＬＦＮＳＴの出力データの配列を示す図である。

一例によって４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

一例によって８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

一実施例に係るＣＡＢＡＣエンコーディングシステムのブロック図を示す図である。

本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書を特定実施例に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたもの等の存在または付加可能性をあらかじめ排除しないと理解されなければならない。

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）標準（ＩＴＵ－ＴＲｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）標準（ＩＴＵ－ＴＲｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌｖｉｄｅｏｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連付けられている。

この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は互いに組み合わせられて実行されることもできる。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇｔｒｅｅｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

この文書において、「／」と「、」は、「及び／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。（Ｉｎｔｈｉｓｄｏｃｕｍｅｎｔ，ｔｈｅｔｅｒｍ「／」ａｎｄ「、」ｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｎｄ／ｏｒ．」Ｆｏｒｉｎｓｔａｎｃｅ，ｔｈｅｅｘｐｒｅｓｓｉｏｎ「Ａ／Ｂ」ｍａｙｍｅａｎ「Ａａｎｄ／ｏｒＢ．」Ｆｕｒｔｈｅｒ，「Ａ，Ｂ」ｍａｙｍｅａｎ「Ａａｎｄ／ｏｒＢ．」Ｆｕｒｔｈｅｒ，「Ａ／Ｂ／Ｃ」ｍａｙｍｅａｎ「ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂ，ａｎｄ／ｏｒＣ．」Ａｌｓｏ，「Ａ／Ｂ／Ｃ」ｍａｙｍｅａｎ「ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂ，ａｎｄ／ｏｒＣ．”）

追加的に、本文書において、「または」は、「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。他の表現としては、本文書の「または」は、「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙｏｒａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎｔｈｅｄｏｃｕｍｅｎｔ，ｔｈｅｔｅｒｍ「ｏｒ」ｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｎｄ／ｏｒ．」Ｆｏｒｉｎｓｔａｎｃｅ，ｔｈｅｅｘｐｒｅｓｓｉｏｎ「ＡｏｒＢ」ｍａｙｃｏｍｐｒｉｓｅ１）ｏｎｌｙＡ，２）ｏｎｌｙＢ，ａｎｄ／ｏｒ３）ｂｏｔｈＡａｎｄＢ．Ｉｎｏｔｈｅｒｗｏｒｄｓ，ｔｈｅｔｅｒｍ「ｏｒ」ｉｎｔｈｉｓｄｏｃｕｍｅｎｔｓｈｏｕｌｄｂｅｉｎｔｅｒｐｒｅｔｅｄｔｏｉｎｄｉｃａｔｅ「ａｄｄｉｔｉｏｎａｌｌｙｏｒａｌｔｅｒｎａｔｉｖｅｌｙ．」）

本明細書において、「少なくとも一つのＡ及びＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」は、「ただＡ」、「ただＢ」または「ＡとＢの両方とも」を意味することができる。また、本明細書において、「少なくとも一つのＡまたはＢ（ａｔｌｅａｓｔｏｎｅｏｆＡｏｒＢ）」や「少なくとも一つのＡ及び／またはＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄ／ｏｒＢ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」と同じく解釈されることができる。

また、本明細書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢａｎｄＣ）」は、「ただＡ」、「ただＢ」、「ただＣ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙｃｏｍｂｉｎａｔｉｏｎｏｆＡ，ＢａｎｄＣ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢｏｒＣ）」や「少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，Ｂａｎｄ／ｏｒＣ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔｌｅａｓｔｏｎｅｏｆＡ，ＢａｎｄＣ）」を意味することができる。

また、本明細書で使われる括弧は、「例えば（ｆｏｒｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。他の表現としては、本明細書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されるものではなく、「イントラ予測」が「予測」の一例として提案されたものである。また、「予測（即ち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。

レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄｂｌｏｃｋｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄｐｉｃｔｕｒｅｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇｔｒｅｅｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔｃｏｄｉｎｇｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅｂｉｎａｒｙ－ｔｒｅｅｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）または変換ユニット（ＴＵ：ＴｒａｎｓｆｏｒｍＵｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌｓｉｇｎａｌ）を誘導する単位である。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。

減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはその以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じこともあり、異なることもある。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄｒｅｆｅｒｅｎｃｅｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで、現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄｉｎｔｅｒａｎｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎｃｏｎｔｅｎｔｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、ＤＳＴ（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－ＢａｓｅｄＴｒａｎｓｆｏｒｍ）、またはＣＮＴ（ＣｏｎｄｉｔｉｏｎａｌｌｙＮｏｎ－ｌｉｎｅａｒＴｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌｐｒｅｖｉｏｕｓｌｙｒｅｃｏｎｓｔｒｕｃｔｅｄｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌＧｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅｖａｒｉａｂｌｅｌｅｎｇｔｈｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅｂｉｎａｒｙａｒｉｔｈｍｅｔｉｃｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋａｂｓｔｒａｃｔｉｏｎｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌｃｏｎｓｔｒａｉｎｔｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａｍａｐｐｉｎｇｗｉｔｈｃｈｒｏｍａｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅａｄａｐｔｉｖｅｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅｌｏｏｐｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリング関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄｐｉｃｔｕｒｅｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力される場合、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌｃｏｎｓｔｒａｉｎｔｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にさらに基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するｂｉｎを受信し、デコーディング対象構文要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｉｎｇ）を実行することで各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されてもよく、または、受信部は、エントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することもできる。これはｃｏｍｂｉｎｅｄｉｎｔｅｒａｎｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａｂｌｏｃｋｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎｃｏｎｔｅｎｔｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌｎｅｉｇｈｂｏｒｉｎｇｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａｍａｐｐｉｎｇｗｉｔｈｃｈｒｏｍａｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用することで、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅａｄａｐｔｉｖｅｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅｌｏｏｐｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出して関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

図４は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

また、本文書が適用されるコンテンツストリーミングシステムは、大いに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、どのようなサービスがあるかをユーザに知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅｍｕｌｔｉｍｅｄｉａｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅＰＣ）、タブレットＰＣ（ｔａｂｌｅｔＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウエラブルデバイス（ｗｅａｒａｂｌｅｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔｇｌａｓｓ）、ＨＭＤ（ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

図５は、本文書による多重変換技法を概略的に示す。

図５を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ５１０）。このような１次変換（ｐｒｉｍａｒｙｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（ＭｕｌｔｉｐｌｅＴｒａｎｓｆｏｒｍＳｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、多重核心変換と呼ばれることができる。

多重核心変換は、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれることができる。

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。

また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。

この場合、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされてデコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表で示すと、以下の通りである。

変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ５２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してもっと圧縮的な表現で変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔｎｏｎ－ｓｅｐａｒａｂｌｅｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに、一度に変換を適用することができる。即ち、前記非分離２次変換は、前記（１次）変換係数に対して垂直方向と水平方向に別に適用されずに、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序に一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序に一列に配置することである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれることができる）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上であると、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さいと、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。

具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

前記４×４入力ブロックＸは、以下のように示される。

前記Ｘをベクトル形態で表す場合、ベクトル

は、以下のように示される。

数式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって、数式１のＸの２次元ブロックを１次元ベクトルで再配列する。

この場合、前記２次非分離変換は、下記のように計算されることができる。

ここで、

は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換マトリクスを示す。

前記数式３を介して１６×１変換係数ベクトル

が導出されることができ、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－ＧｉｖｅｎｓＴｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

一方、前記非分離２次変換は、モードベースの（ｍｏｄｅｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４変換は、ＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上端４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。

このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには、各々、２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには、各々、２個ずつの４×４変換カーネルが含まれることができる。

ただし、前記変換のサイズ、即ち、変換が適用される領域のサイズは、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、前記セットの数はｎ個、各セット内の変換カーネルの数はｋ個である。

前記変換セットは、ＮＳＳＴセットまたはＬＦＮＳＴセットと呼ばれることができる。前記変換セットの中からの特定セットの選択は、例えば、現在ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。ＬＦＮＳＴ（Ｌｏｗ－ＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）は、後述される減少された非分離変換の一例であり、低周波成分に対する非分離変換を示す。

参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒｍｏｄｅｌ）モードを示すことができる。

図６は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図６を参照すると、右下向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、を区分することができる。図６のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅｇｒｉｄｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示すことができる。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは、厳密には、水平方向性でも垂直方向性でもないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番イントラ予測モードを中心にして対称である垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同じ脈絡で、３４番イントラ予測モードは右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは左下向対角イントラ予測モードと呼ばれることができる。

一例によって、イントラ予測モードによって４個の変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。

表２のように、イントラ予測モードによって、４個の変換セットのうちいずれか一つ、即ち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、即ち、４個のうちいずれか一つにマッピングされることができる。

一方、非分離変換に特定セットが使われると決定される場合、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ｌｆｎｓｔインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ５５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプルら）を取得することができる（Ｓ５６０）。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴまたはＬＦＮＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）を適用することができる。

一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、即ち、カーネル係数またはマトリクス係数は８ビットで表現されることができる。これはデコーディング装置及びエンコーディング装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを格納するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい掛け算器を使用することができ、最適のソフトウェア具現のために使われるＳＩＭＤ（ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎＭｕｌｔｉｐｌｅＤａｔａ）命令にさらに適合できる。

本明細書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることができ、ＲＳＴと呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－ＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）と呼ばれることもできる。前記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出するのを意味することができる。

図７は、本文書の一実施例に係るＲＳＴを説明するための図である。

本明細書において、「対象ブロック」は、コーディングが実行される現在ブロックまたはレジデュアルブロックまたは変換ブロックを意味することができる。

一実施例に係るＲＳＴで、Ｎ次元ベクトル（Ｎｄｉｍｅｎｓｉｏｎａｌｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒｄｉｍｅｎｓｉｏｎａｌｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄｆａｃｔｏｒ、ｓｉｍｐｌｅｆａｃｔｏｒなど、多様な用語で呼ばれることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。

一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。

図７の（ａ）に示すＲｅｄｕｃｅｄＴｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴＲ×Ｎを意味することができる。図７の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。

一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図７の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け演算が簡素化ファクタにより概略１／４に減少できる。

本文書において、行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルをかけて列ベクトルを得る演算と理解されることができる。

数式５において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出されることができ、ｃ_ｉの導出過程は、数式６の通りである。

数式６の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出されることができる。もし、ＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加できる。

変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｒ×Ｎ）させることができる。

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

一実施例に係る逆ＲＳＴマトリクスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。

図７の（ｂ）に示すＲｅｄｕｃｅｄＩｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図７の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔは、（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒで表現することもできる。

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図７の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。

数式７において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｉが導出されることができ、ｒ_ｉの導出過程は、数式８の通りである。

数式８の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｎ×Ｒ）させることができる。

一方、８×８ＲＳＴに対しても、表２のような変換セット構成を適用することができる。即ち、表２での変換セットによって該当８×８ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しないとまで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合で割り当てることができる）、変換インデックスまたはｌｆｎｓｔインデックスというシンタックス要素（ｓｙｎｔａｘｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、変換インデックスを介して８×８左上端ブロックに対して、ＲＳＴ構成では８×８ＲＳＴを指定することができ、またはＬＦＮＳＴが適用される場合、８×８ｌｆｎｓｔを指定することができる。８×８ｌｆｎｓｔ及び８×８ＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４ｌｆｎｓｔ及び４×４ＲＳＴは、対象ブロックのＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は該当変換係数ブロック内部の左上端４×４領域である。

一方、本文書の一実施例によって、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６であることを意味する。即ち、８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータの入力を受けて１６個の係数を生成する。即ち、４８個のデータが４８×１ベクトルをなすとした時、１６×４８行列と４８×１ベクトルをじゅんにかけて１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうち右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上端４×４領域に配置されることができ、右上端４×４領域と左下端４×４領域は、０で満たされることができる。

デコーディング過程の逆変換には前記叙述された変換カーネルマトリクスのトランスポーズされたマトリクスが使われることができる。即ち、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序によって１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側でかけて得られた修正された係数ベクトルを所定の配列順序によって２次元ブロックに配列されることができる。

整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち、８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。

逆に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。即ち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列のような意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列掛け算演算を意味する。このような行列演算が実行される場合、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

詳述された非分離変換、ＬＦＮＳＴに対して具体的にみると、次の通りである。ＬＦＮＳＴは、エンコーディング装置による順方向（ｆｏｒｗａｒｄ）変換とデコーディング装置による逆方向（ｉｎｖｅｒｓｅ）変換とを含むことができる。

エンコーディング装置は、順方向１次変換（ｐｒｉｍａｒｙ（ｃｏｒｅ）ｔｒａｎｓｆｏｒｍ）を適用した後に導出された結果（または、結果の一部）を入力とし、順方向２次変換（ｓｅｃｏｎｄａｒｙｔｒａｎｓｆｏｒｍ）を適用する。

前記数式９において、ｘとｙは、各々、２次変換の入力と出力であり、Ｇは、２次変換を示す行列であって、変換基底ベクトル（ｔｒａｎｓｆｏｒｍｂａｓｉｓｖｅｃｔｏｒ）は、列ベクトルで構成される。逆方向ＬＦＮＳＴの場合、変換行列Ｇの次元（ｄｉｍｅｎｓｉｏｎ）を［ｒｏｗ数×ｃｏｌｕｍｎ数］で表記した時、順方向ＬＦＮＳＴの場合、行列Ｇのトランスポーズを行ったものがＧ^Ｔの次元になる。

逆方向ＬＦＮＳＴの場合、行列Ｇの次元は、［４８×１６］、［４８×８］、［１６×１６］、［１６×８］になり、［４８×８］行列と［１６×８］行列は、各々、［４８×１６］行列と［１６×１６］行列の左側から８個の変換基底ベクトルをサンプリングした部分行列である。

それに対して、順方向ＬＦＮＳＴの場合、行列Ｇ^Ｔの次元は［１６×４８］、［８×４８］、［１６×１６］、［８×１６］になり、［８×４８］行列と［８×１６］行列は、各々、［１６×４８］行列と［１６×１６］行列の上側から８個の変換基底ベクトルをサンプリングした部分行列である。

したがって、順方向ＬＦＮＳＴの場合、入力ｘとしては［４８×１］ベクトルまたは［１６×１］ベクトルが可能であり、出力ｙとしては［１６×１］ベクトルまたは［８×１］ベクトルが可能である。ビデオコーディング及びデコーディングにおける順方向１次変換の出力は、二次元（２Ｄ）データであるため、入力ｘとして［４８×１］ベクトルまたは［１６×１］ベクトルを構成するために、順方向変換の出力である２Ｄデータを適切に配列して１次元ベクトルを構成しなければならない。

図８は、一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。図８の（ａ）及び（ｂ）の左側図は、［４８×１］ベクトルを作成するための順序を示し、図８の（ａ）及び（ｂ）の右側図は、［１６×１］ベクトルを作成するための順序を示す。ＬＦＮＳＴの場合、図８の（ａ）及び（ｂ）のような順序に、２Ｄデータを順次に配列して一次元ベクトルｘを得ることができる。

このような順方向１次変換の出力データの配列方向は、現在ブロックのイントラ予測モードによって決定されることができる。例えば、現在ブロックのイントラ予測モードが対角線方向を基準にして水平方向である場合、順方向１次変換の出力データは、図８の（ａ）の順序に配列されることができ、現在ブロックのイントラ予測モードが対角線方向を基準にして垂直方向である場合、順方向１次変換の出力データは、図８の（ｂ）の順序に配列されることができる。

一例によって、図８の（ａ）及び（ｂ）の配列順序（ｏｒｄｅｒｉｎｇ）と異なる配列順序を適用することができ、図８の（ａ）及び（ｂ）の配列順序を適用した時と同じ結果（ｙベクトル）を導出しようとする場合は、行列Ｇの列ベクトルを該当配列順序に合わせて再配列すればよい。即ち、ｘベクトルを構成する各要素に対して常に同じ変換基底ベクトルと掛けられるようにＧの列ベクトルを再配置することができる。

数式９を介して導出される出力ｙは、一次元ベクトルであるため、もし、順方向２次変換の結果を入力として処理する構成、例えば、量子化またはレジデュアルコーディングを実行する構成が入力データとして２次元データが必要である場合、数式９の出力ｙベクトルは、再び２Ｄデータで適切に配置されなければならない。

図９は、一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

ＬＦＮＳＴの場合、決められたスキャン順序によって２Ｄブロックに配置されることができる。図９の（ａ）は、出力ｙが［１６×１］ベクトルである場合、２次元ブロックの１６個の位置に対角スキャン（ｄｉａｇｏｎａｌｓｃａｎ）順序によって出力値が配置されることを示す。図９の（ｂ）は、出力ｙが［８×１］ベクトルである場合、２次元ブロックの８個の位置に対角スキャン順序によって出力値が配置され、残り８個の位置には０で満たされることを示す。図９の（ｂ）のＸは、０で満たされることを示す。

他の例によって、量子化またはレジデュアルコーディングを実行する構成により出力ベクトルｙが処理される順序は、既設定された順序によって実行できるため、図９のように出力ベクトルｙが２Ｄブロックに配置されないことがある。ただし、レジデュアルコーディングの場合、ＣＧ（ＣｏｅｆｆｉｃｉｅｎｔＧｒｏｕｐ）のような２Ｄブロック（例えば、４×４）単位でデータコーディングが実行されることができ、この場合、図９の対角スキャン順序のように特定順序によってデータが配列されることができる。

一方、デコーディング装置は、逆方向変換のために逆量子化過程などを介して出力された２次元データを既設定されたスキャン順序によって羅列して１次元入力ベクトルであるｙを構成することができる。入力ベクトルｙは、下記数式により入力ベクトルｘとして出力されることができる。

逆方向ＬＦＮＳＴの場合、［１６×１］ベクトルまたは［８×１］ベクトルである入力ベクトルｙにＧ行列を掛けることによって、出力ベクトルｘを導出することができる。逆方向ＬＦＮＳＴの場合、出力ベクトルｘは、［４８×１］ベクトルまたは［１６×１］ベクトルである。

出力ベクトルｘは、図８に示す順序によって２次元ブロックに配置されて２次元データで配列され、このような２次元データは、逆方向１次変換の入力データ（または、入力データの一部）になる。

したがって、逆方向２次変換は、全体的に順方向２次変換過程と反対であり、逆変換の場合、順方向と違って、逆方向２次変換を先に適用した後に逆方向１次変換を適用するようになる。

逆方向ＬＦＮＳＴでは変換行列Ｇとして［４８×１６］行列８個と［１６×１６］行列８個の中から一つが選択されることができる。［４８×１６］行列と［１６×１６］行列のうちどの行列を適用するかは、ブロックの大きさともようによって決定される。

また、８個の行列は、前述された表２のように４個の変換セットから導出されることができ、各変換セットは、２個の行列で構成されることができる。４個の変換セットのうちどの変換セットを使用するかは、イントラ予測モードによって決定され、より具体的に、広角イントラ予測モード（ＷｉｄｅＡｎｇｌｅＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ、ＷＡＩＰ）まで考慮して拡張されたイントラ予測モード値に基づいて変換セットが決定される。選択された変換セットを構成する２個の行列の中からどの行列を選択するかは、インデックスシグナリング（ｉｎｄｅｘｓｉｇｎａｌｉｎｇ）を介して導出される。より具体的に、送信されるインデックス値では０、１、２が可能であり、０は、ＬＦＮＳＴを適用しないことを指示し、１と２は、イントラ予測モード値に基づいて選択された変換セットを構成する２個の変換行列のうちいずれか一つを指示することができる。

図１０は、本文書の一実施例に係る広角イントラ予測モードを示す図である。

一般的なイントラ予測モード値は、０～６６と８１～８３までの値を有することができ、図示されたように、ＷＡＩＰによって拡張されたイントラ予測モード値は、－１４～８３までの値を有することができる。８１～８３までの値は、ＣＣＬＭ（ＣｒｏｓｓＣｏｍｐｏｏｎｅｎｔＬｉｎｅａｒＭｏｄｅｌ）モードを指し、－１４～－１までの値と６７～８０までの値は、ＷＡＩＰ適用によって拡張されたイントラ予測モード値を指す。

予測現在ブロックの幅が高さより大きい場合、一般的に上側参照ピクセルが予測しようとするブロック内部の位置ともっと近い。したがって、右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することより左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することがより正確である。それに対して、ブロックの高さが幅より大きい場合は、左側参照ピクセルが予測しようとするブロック内部の位置と一般的に近い。したがって、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することより右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することがより正確である。したがって、広角イントラ予測モードのインデックスでリマッピング、即ち、モードインデックス変換を適用することが有利である。

広角イントラ予測が適用される場合、既存のイントラ予測に対する情報がシグナリングされることができ、前記情報がパーシングされた以後、前記情報が前記広角イントラ予測モードのインデックスでリマッピングされることができる。したがって、特定ブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されなく、即ち、総イントラ予測モードの数は６７個であり、前記特定ブロックに対するイントラ予測モードコーディングは変更されない。

以下の表３は、イントラ予測モードを広角イントラ予測モードにリマッピングして修正されたイントラモードを導出する過程を示している。

表３において、最終的にｐｒｅｄＭｏｄｅＩｎｔｒａ変数に拡張されたイントラ予測モード値が格納され、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、現在ＶＶＣ標準に採択されたＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓ（ＩＳＰ）技術によりＣＵブロックがサブパーティションに分割されないことを示し、ｃＩｄｘ変数値が０、１、２であることは、各々、ルマ、Ｃｂ、Ｃｒコンポーネントである場合を指す。表３に示すＬｏｇ２関数は、ベース（ｂａｓｅ）が２であるログ値をリターンし、Ａｂｓ関数は、絶対値をリターンする。

広角イントラ予測モードのマッピング過程（Ｗｉｄｅａｎｇｌｅｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅｍａｐｐｉｎｇｐｒｏｃｅｓｓ）の入力値として、イントラ予測モードを指示する変数ｐｒｅｄＭｏｄｅＩｎｔｒａ、変換ブロックの高さ及び幅などが使われ、出力値は、修正されたイントラ予測モード（ｔｈｅｍｏｄｉｆｉｅｄｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅｐｒｅｄＭｏｄｅＩｎｔｒａ）になる。変換ブロックまたはコーディングブロックの高さ及び幅が、イントラ予測モードのリマッピングのための現在ブロックの高さ及び幅になることができる。このとき、幅と高の比率を反映する変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。

正方形でないブロックに対して、イントラ予測モードは、二つの場合に区分されて修正されることができる。

まず、（１）現在ブロックの幅が高さより大きい、（２）修正前のイントラ予測モードが２より大きいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（８＋２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は８であって、導出される値より小さい［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｌｅｓｓｔｈａｎ（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６５大きい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｓｅｔｅｑｕａｌｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ＋６５）］。

前記と異なる場合、（１）現在ブロックの高さが幅より大きい、（２）修正前のイントラ予測モードが６６より小さいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（６０－２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は６０であって、導出される値より大きい［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｇｒｅａｔｅｒｔｈａｎ（ｗｈＲａｔｉｏ>１）？（６０－２＊ｗｈＲａｔｉｏ）：６０］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６７小さい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａｉｓｓｅｔｅｑｕａｌｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ－６７）］。

前述された表２は、ＬＦＮＳＴでＷＡＩＰにより拡張されたイントラ予測モード値に基づいて変換セットがどのように選択されるかを示している。図１０のように、１４～３３までのモードと３５～８０までのモードは、モード３４を中心にして予測方向観点で互いに対称である。例えば、モード１４とモード５４は、モード３４に該当する方向を中心にして対称である。したがって、互いに対称である方向に位置するモードどうしは同じ変換セットを適用するようになり、表２でもこのような対称性が反映されている。

ただし、モード５４に対する順方向ＬＦＮＳＴ入力データは、モード１４に対する順方向ＬＦＮＳＴ入力データと対称を成すことを仮定する。例えば、モード１４とモード５４に対しては、各々、図８の（ａ）と図８の（ｂ）に示す配列順序によって２次元データを１次元データで再配列するようになり、図８の（ａ）と図８の（ｂ）に示す順序のパターンは、モード３４が指す方向（対角線方項）を中心にして対称であることを知ることができる。

一方、前述したように、［４８×１６］行列と［１６×１６］行列のうちどの変換行列をＬＦＮＳＴに適用するかは、変換対象ブロックの大きさともようにより決定される。

図１１は、ＬＦＮＳＴが適用されるブロックもようを示す図である。図１１の（ａ）は４×４ブロックを、（ｂ）は４×８及び８×４ブロックを、（ｃ）はＮが１６以上である４×ＮまたはＮ×４ブロックを、（ｄ）は８×８ブロックを、（ｅ）はＭ≧８、Ｎ≧８であり、Ｎ〉８またはＭ〉８であるＭ×Ｎブロックを示している。

図１１で太い枠のブロックがＬＦＮＳＴが適用される領域を指す。図１１の（ａ）及び（ｂ）のブロックに対しては左上端（ｔｏｐ－ｌｅｆｔ）４×４領域に対してＬＦＮＳＴが適用され、図１１の（ｃ）のブロックに対しては連続配置された２個の左上端４×４領域に対して各々ＬＦＮＳＴが適用される。図１１の（ａ）、（ｂ）、（ｃ）では４×４領域単位でＬＦＮＳＴが適用されるため、このようなＬＦＮＳＴを以下「４×４ＬＦＮＳＴ」と命名するようにし、該当変換行列では数式９及び数式１０のＧに対する行列次元を基準［１６×１６］または［１６×８］行列が適用されることができる。

より具体的に、図１１の（ａ）の４×４ブロック（４×４ＴＵまたは４×４ＣＵ）に対しては［１６×８］行列が適用され、図１１の（ｂ）及び（ｃ）のブロックに対しては［１６×１６］行列が適用される。これは最悪の場合（ｗｏｒｓｔｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）に合わせるためである。

図１１の（ｄ）及び（ｅ）に対しては左上端８×８領域に対してＬＦＮＳＴが適用され、このようなＬＦＮＳＴを以下「８×８ＬＦＮＳＴ」と命名するようにする。該当変換行列では［４８×１６］または［４８×８］行列が適用されることができる。順方向ＬＦＮＳＴの場合、入力データとして［４８×１］ベクトル（数式９のｘベクトル）が入力されるため、左上端８×８領域の全てのサンプル値が順方向ＬＦＮＳＴの入力値として使われない。即ち、図８の（ａ）の左側順序または図８の（ｂ）の左側順序で見ることができるように、右下端（ｂｏｔｔｏｍ－ｒｉｇｈｔ）の４×４ブロックはそのまま置き、残り３個の４×４ブロックに属するサンプルに基づいて［４８×１］ベクトルを構成することができる。

図１１の（ｄ）での８×８ブロック（８×８ＴＵまたは８×８ＣＵ）に［４８×８］行列が適用され、図１１の（ｅ）での８×８ブロックに［４８×１６］行列が適用されることができる。これも最悪の場合（ｗｏｒｓｔｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）に合わせためである。

ブロックもようによって、これに対応する順方向ＬＦＮＳＴ（４×４ＬＦＮＳＴまたは８×８ＬＦＮＳＴ）が適用されると、８個または１６個の出力データ（数式９でのｙベクトル、［８×１］または［１６×１］ベクトル）が生成され、順方向ＬＦＮＳＴでは行列ＧＴの特性上、出力データの数が入力データの数と同じまたは少なくなる。

図１２は、一例によって順方向ＬＦＮＳＴの出力データの配列を示し、ブロックもようによって順方向ＬＦＮＳＴの出力データが配置されるブロックを示す図である。

図１２に示すブロックの左上端に陰影で処理された領域が順方向ＬＦＮＳＴの出力データが位置する領域に該当し、０で表記された位置は０値で満たされるサンプルを示し、残り領域は、順方向ＬＦＮＳＴにより変更されない領域を示す。ＬＦＮＳＴにより変更されない領域には順方向１次変換の出力データが変更されずにそのまま存在する。

前述したように、ブロックもようによって適用される変換行列の次元が変わるため、出力データの数も変わる。図１２のように、順方向ＬＦＮＳＴの出力データが左上端４×４ブロックを全部満たすことができない場合もある。図１２の（ａ）及び（ｄ）の場合、太線で表示されたブロックまたはブロック内部の一部領域には、各々、［１６×８］行列と［４８×８］行列が適用されて順方向ＬＦＮＳＴの出力として［８×１］ベクトルが生成される。即ち、図９の（ｂ）に示すスキャン順序によって８個の出力データのみが図１２の（ａ）及び（ｄ）のように満たされ、残り８個の位置に対しては０で満たされることができる。図１１の（ｄ）のＬＦＮＳＴ適用ブロックの場合、図１２の（ｄ）のように左上端４×４ブロックに隣接した右上端及び左下端の二つの４×４ブロックも０値で満たされる。

前記のように、基本的にＬＦＮＳＴインデックスをシグナリングしてＬＦＮＳＴ適用可否及び適用する変換行列を指定するようになる。図１２に示すように、ＬＦＮＳＴが適用される場合、順方向ＬＦＮＳＴの出力データ数が入力データ数と同じまたは少ないことがあるため、０値で満たされる領域が下記のように発生する。

１）図１２の（ａ）のように左上端４×４ブロック内にスキャン順序上８番目以後の位置、即ち、９番目から１６番目までのサンプル

２）図１２の（ｄ）及び（ｅ）のように、［１６×４８］行列または［８×４８］行列が適用されて左上端４×４ブロックに隣接した二つの４×４ブロックまたはスキャン順序上２番目と３番目の４×４ブロック

したがって、前記１）と２）の領域をチェックして０でない（ｎｏｎ－ｚｅｒｏ）データが存在するようになると、ＬＦＮＳＴが適用されないことが確実であるため、該当ＬＦＮＳＴインデックスのシグナリングを省略することができるようになる。

一例によって、例えば、ＶＶＣ標準に採択されたＬＦＮＳＴの場合、ＬＦＮＳＴインデックスのシグナリングは、レジデュアルコーディング以後に実行されるため、エンコーディング装置は、レジデュアルコーディングを介してＴＵまたはＣＵブロック内部の全ての位置に対する０でないデータ（有効係数）の存在可否を知ることができるようになる。したがって、エンコーディング装置は、０でないデータ存在可否を介してＬＦＮＳＴインデックスに対するシグナリングを実行するかどうかを判断することができ、デコーディング装置は、ＬＦＮＳＴインデックスのパーシング可否を判断することができる。もし、前記１）と２）で指定された領域に０でないデータが存在しない場合、ＬＦＮＳＴインデックスのシグナリングを実行するようになる。

一方、採択されたＬＦＮＳＴに対して、下記のような単純化方法が適用されることができる。

（ｉ）一例によって、順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定できる。

図１１の（ｃ）の場合、左上端に隣接した２個の４×４領域に各々４×４ＬＦＮＳＴが適用されることができ、このとき、最大３２個のＬＦＮＳＴ出力データが生成されることができる。もし、順方向ＬＦＮＳＴに対する出力データ数を最大１６に限定する場合、４×Ｎ／Ｎ×４（Ｎ≧１６）ブロック（ＴＵまたはＣＵ）に対しても左上端に存在する１個の４×４領域に対してのみ４×４ＬＦＮＳＴを適用し、図１１の全てのブロックに対してＬＦＮＳＴを１回のみ適用できる。これを介して映像コーディングに対する具現が単純になる。

（ii）一例によって、ＬＦＮＳＴが適用されない領域に対して追加的にゼロアウト（ｚｅｒｏ－ｏｕｔ）を適用することができる。本文書において、ゼロアウトは、特定領域に属する全ての位置の値を０値で満たすことを意味することができる。即ち、ＬＦＮＳＴによって変更されずに、順方向１次変換の結果を維持している領域に対してもゼロアウトを適用することができる。前述したように、ＬＦＮＳＴは、４×４ＬＦＮＳＴと８×８ＬＦＮＳＴに区分されるため、下記のように２種類（（ii）－（Ａ）及び（ii）－（Ｂ））にゼロアウトを区分することができる。

（ii）－（Ａ）４×４ＬＦＮＳＴが適用される時、４×４ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１３は、一例によって４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

図１３のように、４×４ＬＦＮＳＴが適用されるブロックに対して、即ち、図１２の（ａ）、（ｂ）、及び（ｃ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

一方、図１３の（ｄ）は、一例によって順方向ＬＦＮＳＴの出力データ個数の最大値を１６に限定した場合、４×４ＬＦＮＳＴが適用されない残りブロックに対してゼロアウトを実行したことを示す。

（ii）－（Ｂ）８×８ＬＦＮＳＴが適用される時、８×８ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１４は、一例によって８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

図１４のように、８×８ＬＦＮＳＴが適用されるブロックに対して、即ち、図１２の（ｄ）及び（ｅ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

（iii）前記（ii）で提示したゼロアウトによってＬＦＮＳＴが適用される時、０で満たされる領域が変わることができる。したがって、前記（ii）で提案されたゼロアウトによって０でないデータが存在するかどうかを図１２のＬＦＮＳＴの場合より広い領域に対してチェックできる。

例えば、（ii）－（Ｂ）を適用する場合、図１２の（ｄ）及び（ｅ）で０値で満たされる領域に追加して図１４で追加的に０で満たされた領域まで０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデックスに対するシグナリングを実行することができる。

もちろん、前記（ii）で提案されたゼロアウトを適用しても、既存ＬＦＮＳＴインデックスシグナリングと同じく０でないデータが存在するかどうかをチェックすることができる。即ち、図１２に０で満たされたブロックに対して０でないデータが存在するかどうかをチェックしてＬＦＮＳＴインデックスシグナリングを適用することができる。このような場合、エンコーディング装置にのみゼロアウトを実行し、デコーディング装置では該当ゼロアウトを仮定することなく、即ち、図１２で明示的に０で表記された領域に対してのみ０でないデータが存在するかどうかのみをチェックしてＬＦＮＳＴインデックスパーシングを実行することができる。

前記ＬＦＮＳＴに対する単純化方法（（ｉ）、（ii）－（Ａ）、（ii）－（Ｂ）、（iii））の組み合わせを適用した多様な実施例が導出されることができる。もちろん、前記単純化方法に対する組み合わせは、下記の実施例に限定されるものではなく、任意の組み合わせをＬＦＮＳＴに適用できる。

実施例

－順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定→（ｉ）

－４×４ＬＦＮＳＴが適用される時、４×４ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ii）－（Ａ）

－８×８ＬＦＮＳＴが適用される時、８×８ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ii）－（Ｂ）

－既存０値で満たされる領域と追加的なゼロアウト（（ii）－（Ａ）、（ii）－（Ｂ））によって０で満たされる領域に対しても、０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデクシングシグナリング→（iii）

前記実施例の場合、ＬＦＮＳＴが適用される時、０でない出力データが存在できる領域が左上端４×４領域内部に制限される。より詳細に、図１３の（ａ）と図１４の（ａ）の場合、スキャン順序上、８番目の位置が０でないデータが存在できる最後の位置になり、図１３の（ｂ）及び（ｄ）と図１４の（ｂ）の場合、スキャン順序上、１６番目の位置（即ち、左上端４×４ブロックの右下端の最端位置）が０でないデータが存在できる最後の位置になる。

したがって、ＬＦＮＳＴが適用された時、レジデュアルコーディング過程が許容されない位置（最後の位置を超えた位置）で０でないデータが存在するかどうかをチェックした後、ＬＦＮＳＴインデックスシグナリング可否が決定されることができる。

（ii）で提案されたゼロアウト方式の場合、１次変換とＬＦＮＳＴを全て適用した時に最終的に発生するようになるデータの数を減らすため、全体変換過程を実行する時に要求される計算量を減らすことができる。即ち、ＬＦＮＳＴが適用される場合、ＬＦＮＳＴが適用されない領域に存在する順方向１次変換出力データに対してもゼロアウトを適用するため、順方向１次変換を実行する時からゼロアウトになる領域に対するデータを生成する必要がない。したがって、該当データ生成に要求される演算量を節約することができる。（ii）で提案されたゼロアウト方式の追加的な効果を整理すると、下記の通りである。

第一、前記のように全体変換過程の実行に必要な計算量が低減される。

特に、（ii）－（Ｂ）を適用する場合、最悪の場合に対する計算量が減少して変換過程を軽量化することができる。説明を敷延すると、一般的に大きいサイズの１次変換実行に多い量の演算が要求され、（ii）－（Ｂ）を適用するようになると、順方向ＬＦＮＳＴ実行結果として導出されるデータの数を１６個以下に減らすことができ、全体ブロック（ＴＵまたはＣＵ）大きさが大きくなるほど、変換演算量低減効果は一層増加される。

第二、変換過程全体に必要な演算量が減少して変換実行に必要な電力消費を減らすことができる。

第三、変換過程に伴われる遅延時間（ｌａｔｅｎｃｙ）を減少させる。

ＬＦＮＳＴのような２次変換は、既存１次変換に計算量を追加するようになるため、変換実行に伴われる全体遅延時間を増加させる。特にイントラ予測の場合、予測過程で隣接ブロックの復元データが使われるため、エンコーディング時に２次変換による遅延時間増加が復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）までの遅延時間増加につながるようになって、イントラ予測エンコーディングの全体的な遅延時間増加につながることができる。

しかし、（ii）で提示したゼロアウトを適用するようになると、ＬＦＮＳＴ適用時に１次変換実行の遅延時間を大幅減らすことができるため、変換実行全体に対する遅延時間は、そのまま維持され、または減るようになって、エンコーディング装置をより簡単に具現できる。

一方、従来のイントラ予測は、現在符号化しようとするブロックを一つの符号化単位と見なして分割無しで符号化を実行した。しかし、ＩＳＰ（ＩｎｔｒａＳｕｂ－Ｐａｒｉｔｉｏｎｓ）コーディングは、現在符号化しようとするブロックを水平方向または垂直方向に分割してイントラ予測符号化を実行することを意味する。このとき、分割されたブロック単位で符号化／復号化を実行して復元されたブロックを生成し、復元されたブロックは次に分割されたブロックの参照ブロックとして使われることができる。一例によって、ＩＳＰコーディング時に一つのコーディングブロックが２個または４個のサブブロックに分割されてコーディングされることができ、ＩＳＰで一つのサブブロックは、隣接した左側または隣接した上側に位置したサブブロックの復元されたピクセル値を参照してイントラ予測が実行される。以下、使われる「コーディング」は、エンコーディング装置で実行されるコーディングとデコーディング装置で実行されるデコーディングを全て含む概念で使われることができる。

ＩＳＰは、ブロックのサイズによってルマイントラで予測されたブロックを垂直方向または水平方向に２または４個のサブパーティショニングに分割することである。例えば、ＩＳＰが適用されることができる最小ブロックサイズは、４×８または８×４である。もし、ブロックサイズが４×８または８×４より大きい場合、ブロックは、４個のサブパーティショニングに分割される。

ＩＳＰ適用時、サブブロックは、分割形態によって、例えば、水平（Ｈｏｒｉｚｏｎｔａｌ）または垂直（Ｖｅｒｔｉｃｉａｌ）、左側から右側または上側から下側に順次にコーディングされ、一つのサブブロックに対する逆変換とイントラ予測を経て復元過程まで実行された後、次のサブブロックに対するコーディングが進行されることができる。最も左側または最も上側サブブロックに対しては通常的なイントラ予測方式のように、既にコーディングされたコーディングブロックの復元ピクセルを参照するようになる。また、後に続いた内部のサブブロックの各辺に対して以前サブブロックと隣接しない場合には該当辺に隣接した参照ピクセルを導出するために、通常的なイントラ予測方式のように、既にコーディングされた隣接したコーディングブロックの復元ピクセルを参照する。

ＩＳＰコーディングモードでは全てのサブブロックが同じイントラ予測モードでコーディングされることができ、ＩＳＰコーディングを使用するかどうかを示すフラグとどの方向に（水平または垂直）分割するかを示すフラグなどがシグナリングされることができる。このとき、ブロックもようによってサブブロックの個数を２個または４個に調節でき、一つのサブブロックの大きさ（幅×高さ）が１６未満である場合、該当サブブロックへの分割を許容しない、またはＩＳＰコーディング自体を適用しないように制限できる。

一方、ＩＳＰ予測モードの場合、一つのコーディングユニットが２個または４個のパーティションブロック、即ち、サブブロックに分割されて予測され、該当分割された２個または４個のパーティションブロックには同じ画面内の予測モードが適用される。

前述したように、分割方向には水平方向（横長さと縦長さが各々Ｍ、ＮであるＭ×Ｎコーディングユニットが水平方向に分割されると、２個に分割される場合はＭ×（Ｎ／２）ブロックに分割され、４個に分割される場合はＭ×（Ｎ／４）ブロックに分割される）と、垂直方向（Ｍ×Ｎコーディングユニットが垂直方向に分割されると、２個に分割される場合は（Ｍ／２）×Ｎブロックに分割され、４個に分割される場合は（Ｍ／４）×Ｎブロックに分割される）と、が両方とも可能である。水平方向に分割される場合は、上側から下側方向の順序にパーティションブロックがコーディングされ、垂直方向に分割される場合は、左側から右側方向の順序にパーティションブロックがコーディングされる。現在コーディングされるパーティションブロックは、水平（垂直）方向分割である場合、上側（左側）パーティションブロックの復元されたピクセル値を参照して予測されることができる。

ＩＳＰ予測方法で生成されたレジデュアル信号にパーティションブロック単位で変換が適用されることができる。順方向（ｆｏｒｗａｒｄ）を基準にして１次変換（ｃｏｒｅｔｒａｎｓｆｏｒｍまたはｐｒｉｍａｒｙｔｒａｎｓｆｏｒｍ）に既存ＤＣＴ－２だけでなく、ＤＳＴ－７／ＤＣＴ－８組み合わせベースのＭＴＳ（ＭｕｌｔｉｐｌｅＴｒａｎｓｆｏｒｍＳｅｌｅｃｔｉｏｎ）技術が適用されることができ、１次変換によって生成された変換係数に順方向ＬＦＮＳＴ（ＬｏｗＦｒｅｑｕｅｎｃｙＮｏｎ－ＳｅｐａｒａｂｌｅＴｒａｎｓｆｏｒｍ）が適用されて最終的な修正された変換係数が生成されることができる。

即ち、ＩＳＰ予測モードが適用されて分割されたパーティションブロックにもＬＦＮＳＴが適用されることができ、前述したように、分割されたパーティションブロックには同じイントラ予測モードが適用される。したがって、イントラ予測モードに基づいて導出されるＬＦＮＳＴセット選択時に全てのパーティションブロックに導出されたＬＦＮＳＴセットを適用することができる。即ち、全てのパーティションブロックに同じイントラ予測モードが適用されるため、これによって、全てのパーティションブロックには同じＬＦＮＳＴセットが適用されることができる。

一方、一例によって、ＬＦＮＳＴは、横と縦の長さが全て４以上である変換ブロックに対してのみ適用されることができる。したがって、ＩＳＰ予測方式によって分割されたパーティションブロックの横または縦の長さが４未満である場合、ＬＦＮＳＴが適用されずにＬＦＮＳＴインデックスもシグナリングされない。また、各パーティションブロックにＬＦＮＳＴを適用する場合、該当パーティションブロックを一つの変換ブロックと見なすことができる。もちろん、ＩＳＰ予測方式が適用されない場合、コーディングブロックにＬＦＮＳＴが適用されることができる。

各パーティションブロックにＬＦＮＳＴを適用することを具体的にみると、下記の通りである。

一例によって、個別的なパーティションブロックに対して順方向ＬＦＮＳＴを適用した後、左上端４×４領域に変換係数スキャニング順序によって、最大１６個（８個または１６個）の係数のみを残した後、残り位置及び領域は、全て０値で満たすゼロアウトが適用されることができる。

または、一例によって、パーティションブロック一辺の長さが４である場合、左上端４×４領域に対してのみＬＦＮＳＴを適用し、パーティションブロックの全ての辺、即ち、幅及び高さの長さが８以上である場合、左上端８×８領域内部の右下端４×４領域を除外した残り４８個の係数に対してＬＦＮＳＴを適用することができる。

または、一例によって、最悪の場合の計算複雑度を８乗算／サンプル（ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓｐｅｒｓａｍｐｌｅ）で合わせるために、各パーティションブロックが４×４または８×８である場合には順方向ＬＦＮＳＴ適用後に８個の変換係数のみを出力することができる。即ち、パーティションブロックが４×４である場合、変換マトリクスで８×１６行列が適用され、パーティションブロックが８×８である場合、変換マトリクスで８×４８行列が適用されることができる。

一方、現在ＶＶＣ標準で、ＬＦＮＳＴインデックスシグナリングは、コーディングユニット単位で実行される。したがって、ＩＳＰ予測モードであり、全てのパーティションブロックに対してＬＦＮＳＴを適用する場合、該当パーティションブロックに対しては同じＬＦＮＳＴインデックス値が適用されることができる。即ち、コーディングユニットレベルでＬＦＮＳＴインデックス値が一回送信されると、コーディングユニット内部の全てのパーティションブロックに対しては該当ＬＦＮＳＴインデックスが適用されることができる。前述したように、ＬＦＮＳＴインデックス値は０、１、２値を有することができ、０はＬＦＮＳＴが適用されない場合を示し、１と２はＬＦＮＳＴが適用される時に一つのＬＦＮＳＴセット内に存在する二つの変換マトリクスを指す。

前記のように、ＬＦＮＳＴセットは、イントラ予測モードにより決定され、ＩＳＰ予測モードである場合、コーディングユニット内の全てのパーティションブロックが同じイントラ予測モードで予測されるため、パーティションブロックは、同じＬＦＮＳＴセットを参照することができる。

他の一例として、ＬＦＮＳＴインデックスシグナリングは、依然としてコーディングユニット単位で実行されるが、ＩＳＰ予測モードの場合に全てのパーティションブロックに対して一律にＬＦＮＳＴ適用可否を決定せずに、別途の条件を介して各々のパーティションブロックに対してコーディングユニットレベルでシグナリングされたＬＦＮＳＴインデックス値を適用するか、またはＬＦＮＳＴを適用しないかを決定することができる。ここで、別途の条件は、ビットストリームを介して各パーティションブロック別にフラグ形態でシグナリングされることができ、フラグ値が１である場合は、コーディングユニットレベルでシグナリングされたＬＦＮＳＴインデックス値を適用し、フラグ値が０である場合は、ＬＦＮＳＴを適用しない。

以下では、ＩＳＰモードにＬＦＮＳＴ適用時、最悪の場合に対する計算複雑度を維持する方法に対して記述する。

ＩＳＰモードである場合、ＬＦＮＳＴ適用時、サンプル当たり（または、係数当たり、位置当たり）乗算数を一定値以下に維持するためにＬＦＮＳＴ適用を制限することができる。パーティションブロックの大きさによって、下記のようにＬＦＮＳＴを適用してサンプル当たり（または、係数当たり、位置当たり）乗算数を８個以下に維持できる。

１．パーティションブロックの横長さと縦長さが全て４以上である場合は、現在ＶＶＣ標準でのＬＦＮＳＴに対する最悪の場合に対する計算複雑度調節方式と同じ方式を適用することができる。

即ち、パーティションブロックが４×４ブロックである場合には１６×１６行列の代わりに、順方向では１６×１６行列から上側８個の行をサンプリングした８×１６行列を適用し、逆方向では１６×１６行列から左側８個の列をサンプリングした１６×８行列を適用することができる。また、パーティションブロックが８×８ブロックである時は、順方向の場合、１６×４８行列の代わりに、１６×４８行列から上側８個の行をサンプリングした８×４８行列を適用し、逆方向の場合、４８×１６行列の代わりに、４８×１６行列から左側８個の列をサンプリングした４８×８行列を適用することができる。

４×ＮまたはＮ×４（Ｎ>４）ブロックの場合、順方向変換を実行する時、左上端４×４ブロックに対してのみ１６×１６行列を適用した後に生成された１６個の係数は、左上端４×４領域に配置され、以外の領域は０値で満たされることができる。また、逆方向変換を実行する時は、左上端４×４ブロックに位置した１６個の係数をスキャニング順序によって配置して入力ベクトルを構成した後に１６×１６行列を掛けて１６個の出力データを生成することができる。生成された出力データは、左上端４×４領域に配置され、左上端４×４領域を除外した残り領域は０で満たされることができる。

８×ＮまたはＮ×８（Ｎ>８）ブロックの場合、順方向変換を実行する時、左上端８×８ブロック内部のＲＯＩ領域（左上端８×８ブロックで右下端４×４ブロックを除外した残り領域）に対してのみ１６×４８行列を適用した後に生成された１６個の係数は、左上端４×４領域に配置され、以外領域は全て０値で満たされることができる。また、逆方向変換を実行する時は、左上端４×４ブロックに位置した１６個の係数をスキャニング順序によって配置して入力ベクトルを構成した後に４８×１６行列を掛けて４８個の出力データを生成することができる。生成された出力データは、前記ＲＯＩ領域に満たされ、残り領域は全て０値で満たされることができる。

他の一例として、サンプル当たり（または、係数当たり、位置当たり）乗算数を一定値以下に維持するために、ＩＳＰパーティションブロックの大きさでないＩＳＰコーディングユニット大きさを基準にしてサンプル当たり（または、係数当たり、位置当たり）乗算数を８個以下に維持できる。もし、ＩＳＰパーティションブロックのうちＬＦＮＳＴが適用される条件を満たすブロックが一つのみ存在する場合、パーティションブロックの大きさでない該当コーディングユニット大きさに基づいてＬＦＮＳＴ最悪の場合に対する複雑度演算が適用されることができる。例えば、あるコーディングユニットに対するルマコーディングブロックが４×４大きさの４個のパーティションブロックに分割されてＩＳＰでコーディングされ、そのうち２個のパーティションブロックに対しては０でない変換係数が存在しない場合、他の２個のパーティションブロックには（エンコーダ基準に）各々８個でない１６個の変換係数が生成されるように設定できる。

以下では、ＩＳＰモードである場合、ＬＦＮＳＴインデックスをシグナリングする方法に対して考察する。

前述のように、ＬＦＮＳＴインデックスは０、１、２値を有することができ、０はＬＦＮＳＴを適用しないということを指示し、１と２は選択されたＬＦＮＳＴセットに含まれている二つのＬＦＮＳＴカーネルマトリクスのうちいずれか一つずつを指示する。ＬＦＮＳＴインデックスにより選択されたＬＦＮＳＴカーネルマトリクスに基づいてＬＦＮＳＴが適用される。現在ＶＶＣ標準でＬＦＮＳＴインデックスが送信される方式を説明すると、下記の通りである。

１．コーディングユニット（ＣＵ）毎に一回ずつＬＦＮＳＴインデックスを送信することができ、デュアルツリー（ｄｕａｌ－ｔｒｅｅ）である時は、ルマブロックとクロマブロックに対して各々個別的なＬＦＮＳＴインデックスがシグナリングされることができる。

２．ＬＦＮＳＴインデックスがシグナリングされない場合、ＬＦＮＳＴインデックス値は、デフォルト値である０に定められる（ｉｎｆｅｒ）。ＬＦＮＳＴインデックス値が０に類推される場合は、下記の通りである。

Ａ．変換が適用されないモードである場合（例えば、変換スキップ（ｔｒａｎｓｆｏｒｍｓｋｉｐ）、ＢＤＰＣＭ、無損失（ｌｏｓｓｌｅｓｓ）コーディング等）

Ｂ．１次変換がＤＣＴ－２でない場合（ＤＳＴ７やＤＣＴ８）、即ち、水平方向の変換または垂直方向の変換がＤＣＴ－２でない場合

Ｃ．コーディングユニットのルマブロックに対する横長さまたは縦長さが、変換が可能な最大ルマ変換の大きさを超過する場合、例えば、変換が可能な最大ルマ変換の大きさが６４である場合、コーディングブロックのルマブロックに対する大きさが１２８×１６のような場合にはＬＦＮＳＴが適用されることができない。

デュアルツリーの場合、ルマ成分に対するコーディングユニットとクロマ成分に対するコーディングユニットの各々に対して最大ルマ変換の大きさを超過するかどうかが判断される。即ち、ルマブロックに対して変換が可能な最大ルマ変換の大きさを超過するかどうかがチェックされ、クロマブロックに対してカラーフォーマットに対する対応ルマブロックの横／縦長さと最大変換が可能な最大ルマ変換の大きさを超過するかどうかがチェックされる。例えば、カラーフォーマットが４：２：０である場合、対応ルマブロックの横／縦長さは、各々、該当クロマブロックの２倍になり、対応ルマブロックの変換大きさは、該当クロマブロックの２倍になる。他の例として、カラーフォーマットが４：４：４である場合、対応ルマブロックの横／縦長さと変換大きさは、対応するクロマブロックと同じである。

６４－長さ変換または３２－長さ変換は、各々、６４または３２長さを有する横または縦に適用される変換を意味し、「変換大きさ」は該当長さである６４または３２を意味することができる。

シングルツリーである場合、ルマブロックに対して横長さまたは縦長さが、変換が可能な最大ルマ変換ブロック大きさを超過するかどうかをチェックした後、超過する場合、ＬＦＮＳＴインデックスシグナリングを省略することができる。

Ｄ．コーディングユニットの横長さと縦長さが全て４以上である場合にのみＬＦＮＳＴインデックスを送信することができる。

デュアルツリーである場合、該当成分（即ち、ルマまたはクロマ成分）に対する横長さと縦長さが全て４以上である場合に対してのみＬＦＮＳＴインデックスをシグナリングすることができる。

シングルツリーである場合は、ルマ成分に対する横長さと縦長さが全て４以上である場合に対してＬＦＮＳＴインデックスをシグナリングすることができる。

Ｅ．最後の０でない係数の位置（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上端位置）でない場合、デュアルツリータイプのルマブロックである場合は、最後の０でない係数の位置がＤＣ位置でない時にＬＦＮＳＴインデックスを送信する。デュアルツリータイプのクロマブロックである場合はＣｂに対する最後の０でない係数の位置とＣｒに対する最後の０でない係数の位置のうち一つでもＤＣ位置でない時に該当ＬＮＦＳＴインデックスを送信する。

シングルツリータイプの場合、ルマ成分、Ｃｂ成分、Ｃｒ成分のうち一つでも該当最後の０でない係数の位置がＤＣ位置でない時にＬＦＮＳＴインデックスを送信する。

ここで、一つの変換ブロックに対する変換係数存在可否を指すＣＢＦ（ｃｏｄｅｄｂｌｏｃｋｆｌａｇ）値が０である場合、ＬＦＮＳＴインデックスシグナリング可否を判断するために該当変換ブロックに対する最後の０でない係数の位置をチェックしない。即ち、該当ＣＢＦ値が０である場合、該当ブロックに変換が適用されないため、ＬＦＮＳＴインデックスシグナリングに対する条件をチェックする時、最後の０でない係数の位置を考慮しない。

例えば、１）デュアルツリータイプであり、ルマ成分である場合、該当ＣＢＦ値が０である時は、ＬＦＮＳＴインデックスをシグナリングしなく、２）デュアルツリータイプであり、クロマ成分である場合、Ｃｂに対するＣＢＦ値が０であり、Ｃｒに対するＣＢＦ値が１である時は、Ｃｒに対する最後の０でない係数の位置のみチェックして該当ＬＦＮＳＴインデックスを送信し、３）シングルツリータイプである場合は、ルマ、Ｃｂ、Ｃｒの全てに対して各ＣＢＦ値が１である成分に対してのみ最後の０でない係数の位置をチェックするようになる。

Ｆ．ＬＦＮＳＴ変換係数が存在できる位置でない位置に変換係数が存在することが確認された場合、ＬＦＮＳＴインデックスシグナリングを省略することができる。４×４変換ブロックと８×８変換ブロックの場合は、ＶＶＣ標準での変換係数スキャニング順序によってＤＣ位置から８個の位置にＬＦＮＳＴ変換係数が存在でき、残り位置は全て０で満たされるようになる。また、４×４変換ブロックと８×８変換ブロックでない場合は、ＶＶＣ標準での変換係数スキャニング順序によってＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在でき、残り位置は全て０で満たされるようになる。

したがって、レジデュアルコーディング（ｒｅｓｉｄｕａｌｃｏｄｉｎｇ）を進行した後、前記０値が満たされるべき領域に０でない変換係数が存在すると、ＬＦＮＳＴインデックスシグナリングを省略することができる。

一方、ＩＳＰモードは、ルマブロックである場合にのみ適用され、またはルマブロックとクロマブロックの両方ともに適用されることもできる。前述したように、ＩＳＰ予測が適用される場合、該当コーディングユニットは、２個または４個のパーティションブロックに分割されて予測され、変換も該当パーティションブロックに各々適用されることができる。したがって、コーディングユニット単位でＬＦＮＳＴインデックスをシグナリングする条件を決定する時も、該当パーティションブロックに各々ＬＦＮＳＴが適用されることができるという事実を考慮しなければならない。また、ＩＳＰ予測モードが特定成分（例えば、ルマブロック）に対してのみ適用される場合には、該当成分に対してのみパーティションブロックに分割されるという事実を考慮してＬＦＮＳＴインデックスをシグナリングしなければならない。ＩＳＰモードである時に可能なＬＦＮＳＴインデックスシグナリング方式を整理してみると、下記の通りである。

Ｂ．コーディングユニットのルマブロックに対する横長さまたは縦長さが、変換が可能な最大ルマ変換の大きさを超過する場合、例えば、変換が可能な最大ルマ変換の大きさが６４である場合、コーディングブロックのルマブロックに対する大きさが１２８×１６のような場合にはＬＦＮＳＴが適用されることができない。

コーディングユニットの代わりにパーティションブロックの大きさを基準にしてＬＦＮＳＴインデックスのシグナリング可否を決定することもできる。即ち、該当ルマブロックに対するパーティションブロックの横長さまたは縦長さが、変換が可能な最大ルマ変換の大きさを超過する場合、ＬＦＮＳＴインデックスシグナリングを省略してＬＦＮＳＴインデックス値を０に類推できる。

デュアルツリーの場合、ルマ成分に対するコーディングユニットまたはパーティションブロックとクロマ成分に対するコーディングユニットまたはパーティションブロックの各々に対して最大変換ブロック大きさを超過するかどうかが判断される。即ち、ルマに対するコーディングユニットまたはパーティションブロックの横と縦長さを各々最大ルマ変換大きさと比較して、一つでも最大ルマ変換大きさより大きい場合はＬＦＮＳＴを適用しなく、クロマに対するコーディングユニットまたはパーティションブロックの場合にはカラーフォーマットに対する対応ルマブロックの横／縦長さと最大変換が可能な最大ルマ変換の大きさが比較される。例えば、カラーフォーマットが４：２：０である場合、対応ルマブロックの横／縦長さは、各々、該当クロマブロックの２倍になり、対応ルマブロックの変換大きさは、該当クロマブロックの２倍になる。他の例として、カラーフォーマットが４：４：４である場合、対応ルマブロックの横／縦長さと変換大きさは、対応するクロマブロックと同じである。

シングルツリーである場合、ルマブロック（コーディングユニットまたはパーティションブロック）に対して横長さまたは縦長さが、変換が可能な最大ルマ変換ブロック大きさを超過するかどうかをチェックした後、超過する場合、ＬＦＮＳＴインデックスシグナリングを省略することができる。

Ｃ．もし、現在のＶＶＣ標準に含まれているＬＦＮＳＴを適用する場合、パーティションブロックの横長さと縦長さが全てが４以上である場合に対してのみＬＦＮＳＴインデックスを送信することができる。

もし、現在ＶＶＣ標準に含まれているＬＦＮＳＴ以外に２×Ｍ（１×Ｍ）またはＭ×２（Ｍ×１）ブロックに対するＬＦＮＳＴまで適用する場合、パーティションブロックの大きさが２×Ｍ（１×Ｍ）またはＭ×２（Ｍ×１）ブロックより大きいまたは同じ場合に対してのみＬＦＮＳＴインデックスを送信することができる。ここで、Ｐ×ＱブロックがＲ×Ｓブロックより大きいまたは同じという意味は、Ｐ≧Ｒであり、Ｑ≧Ｓということを意味する。

整理すると、パーティションブロックが、ＬＦＮＳＴが適用可能な最小限の大きさより大きいまたは同じ場合に対してのみＬＦＮＳＴインデックスを送信することができる。デュアルツリーの場合、ルマまたはクロマ成分に対するパーティションブロックが、ＬＦＮＳＴが適用可能な最小限の大きさより大きいまたは同じ場合にのみＬＦＮＳＴインデックスをシグナリングすることができる。シングルツリーの場合、ルマ成分に対するパーティションブロックが、ＬＦＮＳＴが適用可能な最小限の大きさより大きいまたは同じ場合にのみＬＦＮＳＴインデックスをシグナリングすることができる。

本文書において、Ｍ×ＮブロックがＫ×Ｌブロックより大きいまたは同じということは、ＭがＫより大きいまたは同じであり、ＮがＬより大きいまたは同じということを意味する。Ｍ×ＮブロックがＫ×Ｌブロックより大きいということは、ＭがＫより大きいまたは同じであり、ＮがＬより大きいまたは同じであり、かつＭがＫより大きいまたはＮがＬより大きいということを意味する。Ｍ×ＮブロックがＫ×Ｌブロックより小さいまたは同じということは、ＭがＫより小さいまたは同じであり、ＮがＬより小さいまたは同じということを意味し、Ｍ×ＮブロックがＫ×Ｌブロックより小さいということは、ＭがＫより小さいまたは同じであり、ＮがＬより小さいまたは同じであり、かつＭがＫより小さいまたはＮがＬより小さいということを意味する。

Ｄ．最後の０でない係数の位置（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上端位置）でない場合、デュアルツリータイプのルマブロックである場合は、全てのパーティションブロックのうち一つでも該当最後の０でない係数の位置がＤＣ位置でない時にＬＦＮＳＴインデックスを送信することができる。デュアルツリータイプでクロマブロックである場合は、Ｃｂに対する全てのパーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合にはパーティションブロックの数が一個と見なす）最後の０でない係数の位置と、Ｃｒに対する全てのパーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合にはパーティションブロックの数が一個と見なす）最後の０でない係数の位置と、のうち一つでもＤＣ位置でない時に該当ＬＮＦＳＴインデックスを送信することができる。

シングルツリータイプ場合、ルマ成分、Ｃｂ成分、Ｃｒ成分に対する全てのパーティションブロックのうち一つでも最後の０でない係数の位置がＤＣ位置でない時に該当ＬＦＮＳＴインデックスを送信することができる。

ここで、各パーティションブロックに対して変換係数存在可否を指すＣＢＦ（ｃｏｄｅｄｂｌｏｃｋｆｌａｇ）値が０である場合、ＬＦＮＳＴインデックスシグナリング可否を判断するために該当パーティションブロックに対する最後の０でない係数の位置をチェックしない。即ち、該当ＣＢＦ値が０である場合、該当ブロックに変換が適用されないため、ＬＦＮＳＴインデックスシグナリングに対する条件をチェックする時、該当パーティションブロックに対する最後の０でない係数の位置を考慮しない。

例えば、１）デュアルツリータイプであり、ルマ成分である場合、各パーティションブロックに対して該当ＣＢＦ値が０である時は、ＬＦＮＳＴインデックスシグナリング可否を決定する時、該当パーティションブロックを除外させ、２）デュアルツリータイプであり、クロマ成分である場合、各パーティションブロックに対してＣｂに対するＣＢＦ値が０であり、Ｃｒに対するＣＢＦ値が１である時は、Ｃｒに対する最後の０でない係数の位置のみをチェックして該当ＬＦＮＳＴインデックスシグナリング可否を決定し、３）シングルツリータイプである場合、ルマ成分、Ｃｂ成分、Ｃｒ成分の全てのパーティションブロックに対してＣＢＦ値が１であるブロックに対してのみ最後の０でない係数の位置をチェックしてＬＦＮＳＴインデックスシグナリング可否を決定することができる。

ＩＳＰモードである場合には最後の０でない係数の位置をチェックしないように映像情報を構成することもでき、これに対する実施例は、下記の通りである。

ｉ．ＩＳＰモードである場合は、ルマブロックとクロマブロックの両方ともに対して最後の０でない係数の位置に対するチェックを省略してＬＦＮＳＴインデックスシグナリングを許容することができる。即ち、全てのパーティションブロックに対して最後の０でない係数の位置がＤＣ位置であり、または該当ＣＢＦ値が０であるとしても、該当ＬＦＮＳＴインデックスシグナリングを許容することができる。

ii．ＩＳＰモードである場合は、ルマブロックに対してのみ最後の０でない係数の位置に対するチェックを省略し、クロマブロックの場合は、前述した方式の最後の０でない係数の位置に対するチェックを実行することができる。例えば、デュアルツリータイプであり、ルマブロックである場合は、最後の０でない係数の位置に対するチェックをしなくてＬＦＮＳＴインデックスシグナリングを許容し、デュアルツリータイプであり、クロマブロックである場合は、前述した方式に最後の０でない係数の位置に対するＤＣ位置存在可否をチェックして該当ＬＦＮＳＴインデックスのシグナリング可否を決定することができる。

iii．ＩＳＰモードであり、シングルツリータイプである場合は、前記ｉ方式またはii方式を適用することができる。即ち、ＩＳＰモードであり、シングルツリータイプにｉ方式を適用する場合、ルマブロックとクロマブロックの両方ともに対して最後の０でない係数の位置に対するチェックを省略してＬＦＮＳＴインデックスシグナリングを許容することができる。または、ii方式を適用してルマ成分に対するパーティションブロックに対しては最後の０でない係数の位置に対するチェックを省略し、クロマ成分に対するパーティションブロック（クロマ成分に対してＩＳＰを適用しない場合にはパーティションブロックの数が１と見なすことができる）に対しては、前述した方式に最後の０でない係数の位置に対するチェックを実行して該当ＬＦＮＳＴインデックスシグナリング可否を決定することができる。

Ｅ．全てのパーティションブロックのうち一つのパーティションブロックに対してでもＬＦＮＳＴ変換係数が存在できる位置でない位置に変換係数が存在することが確認されると、ＬＦＮＳＴインデックスシグナリングを省略することができる。

例えば、４×４パーティションブロックと８×８パーティションブロックの場合は、ＶＶＣ標準での変換係数スキャニング順序によって、ＤＣ位置から８個の位置にＬＦＮＳＴ変換係数が存在でき、残り位置は全て０で満たされるようになる。また、４×４より大きいまたは同じであり、かつ４×４パーティションブロック及び８×８パーティションブロックでない場合には、ＶＶＣ標準での変換係数スキャニング順序によって、ＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在でき、残り位置は全て０で満たされるようになる。

したがって、レジデュアルコーディング（ｒｅｓｉｄｕａｌｃｏｄｉｎｇ）を進行した後前記０値が満たされるべき領域に０でない変換係数が存在すると、ＬＦＮＳＴインデックスシグナリングを省略することができる。

一方、ＩＳＰモードである場合、現在ＶＶＣ標準では水平方向と垂直方向に対して各々独立的に長さ条件を見てＭＴＳインデックスに対するシグナリング無しでＤＣＴ－２の代わりにＤＳＴ－７を適用するようになる。横または縦の長さが４より大きいまたは同じであり、１６より小さいまたは同じであるかが判断され、判断結果によって１次変換カーネルが決定される。したがって、ＩＳＰモードであり、かつＬＦＮＳＴを適用することができる場合に対しては、下記のような変換組み合わせ構成が可能である。

１．ＬＦＮＳＴインデックスが０である場合（ＬＦＮＳＴインデックスが０に類推される場合も含む）に対しては現在ＶＶＣ標準に含まれているＩＳＰである時の１次変換決定条件に従うことができる。即ち、水平方向と垂直方向に対して各々独立的に長さ条件（４より大きいまたは同じであり、１６より小さいまたは同じ条件）を満たすかどうかをチェックし、満たす場合は１次変換のためにＤＣＴ－２の代わりにＤＳＴ－７を適用し、満たさない場合はＤＣＴ－２を適用することができる。

２．ＬＦＮＳＴインデックスが０より大きい場合に対しては１次変換で下記のような二つの構成が可能である。

Ａ．水平方向と垂直方向に対して全てＤＣＴ－２を適用することができる。

Ｂ．現在ＶＶＣ標準に含まれているＩＳＰである時の１次変換決定条件に従うことができる。即ち、水平方向と垂直方向に対して各々独立的に長さ条件（４より大きいまたは同じであり、１６より小さいまたは同じ条件）を満たすかどうかをチェックし、満たす場合はＤＣＴ－２の代わりにＤＳＴ－７を適用し、満たさない場合はＤＣＴ－２を適用することができる。

ＩＳＰモードである時、ＬＦＮＳＴインデックスは、コーディングユニット毎に送信されるものではなく、パーティションブロック毎に送信されるように映像情報を構成することができる。このような場合、前述したＬＦＮＳＴインデックスシグナリング方式でＬＦＮＳＴインデックスが送信される単位内にパーティションブロックが１個のみが存在すると見なしてＬＦＮＳＴインデックスシグナリング可否を決定することができる。

一方、以下ではＬＦＮＳＴインデックスとＭＴＳインデックスのシグナリング順序に対して考察する。

一例によって、レジデュアルコーディングでシグナリングされるＬＦＮＳＴインデックスは、最後の０でない係数位置に対するコーディング位置の次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの直後にコーディングされることができる。このような構成の場合、変換ユニット毎にＬＦＮＳＴインデックスがシグナリングされることができる。または、レジデュアルコーディングでシグナリングされなくても、ＬＦＮＳＴインデックスは、最後の有効係数位置に対するコーディングの次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの次にコーディングされることができる。

一例に係るレジデュアルコーディングのシンタックスは、下記の通りである。

表４に示す主要変数の意味は、下記の通りである。

１．ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ：現在コーディングブロック（ＣｏｄｉｎｇＢｌｏｃｋ）の幅と高さ

２．ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ：現在変換ブロック（ＴｒａｎｓｆｏｒｍＢｌｏｃｋ）の幅と高さに対するベース－２のログ値、ゼロアウトが反映されて０でない係数（ｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔ）が存在できる左上端領域に縮小されることができる。

３．ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：ＬＦＮＳＴの適用可能（ｅｎａｂｌｅ）可否を示すフラグであって、フラグ値が０である場合は、ＬＦＮＳＴが適用不可であることを示し、フラグ値が１である場合は、ＬＦＮＳＴが適用可能であることを示す。シーケンスパラメータセット（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ；ＳＰＳ）に定義されている。

４．ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］：変数ｃｈＴｙｐｅと（ｘ０、ｙ０）位置に対応される予測モード、ｃｈＴｙｐｅは０と１値を有することができ、０はルマ成分を示し、１はクロマ成分を示す。（ｘ０、ｙ０）位置は、ピクチャ上での位置を示し、ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］値ではＭＯＤＥ＿ＩＮＴＲＡ（イントラ予測）とＭＯＤＥ＿ＩＮＴＥＲ（インター予測）が可能である。

５．ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。（ｘ０、ｙ０）位置でのどのようなＩＳＰ分割が適用されたかを示し、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、（ｘ０、ｙ０）位置に該当するコーディングユニットがパーティションブロックに分割されないことを示す。

６．ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、ＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ）予測モードが適用されたかどうかを示すフラグである。フラグ値が０である場合は、ＭＩＰが適用不可であることを示し、フラグ値が１である場合は、ＭＩＰが適用されることを示す。

７．ｃＩｄｘ：０値は、ルマを示し、１値と２値は、各々、クロマ成分であるＣｂ、Ｃｒを示す。

８．ｔｒｅｅＴｙｐｅ：シングルツリー（ｓｉｎｇｌｅ－ｔｒｅｅ）とデュアルツリー（ｄｕａｌ－ｔｒｅｅ）などを指す（ＳＩＮＧＬＥ＿ＴＲＥＥ：シングルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ：ルマ成分に対するデュアルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ：クロマ成分に対するデュアルツリー）

９．ｔｕ＿ｃｂｆ＿ｃｂ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。Ｃｂ成分に対するＣＢＦ（ＣｏｄｅｄＢｌｏｃｋＦｌａｇ）を示す、その値が０である場合は、０でない係数がＣｂ成分に対する該当変換ユニットに存在しないということを意味し、１である場合は、０でない係数がＣｂ成分に対する該当変換ユニットに存在するということを示す。

１０．ｌａｓｔＳｕｂＢｌｏｃｋ：最後の有効係数（ｌａｓｔｎｏｎ－ｚｅｒｏｃｏｅｆｆｉｃｉｅｎｔ）が位置するサブブロック（ｓｕｂ－ｂｌｏｃｋ、ＣｏｅｆｆｉｃｉｅｎｔＧｒｏｕｐ（ＣＧ））のスキャン順序上の位置を示す。０は、ＤＣ成分が含まれているサブブロックを指し、０より大きい場合は、ＤＣ成分が含まれているサブブロックでない。

１１．ｌａｓｔＳｃａｎＰｏｓ：最後の有効係数が一サブブロック内部でスキャン順序上どの位置にあるかを示す。一つのサブブロックが１６個の位置で構成されている場合、０から１５までの値が可能である。

１２．ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＬＦＮＳＴインデックスシンタックスエレメントである。パーシングされない場合、０値に類推される。即ち、デフォルト値が０に設定され、ＬＦＮＳＴを適用しないことを示す。

１３．ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ：最後の有効係数が変換ブロック内に位置するｘ座標とｙ座標を示す。ｘ座標は、０から始めて左側から右側へ増加し、ｙ座標は０から始めて上側から下側に増加する。二つの変数の値が全て０である場合は、最後の有効係数がＤＣに位置することを意味する。

１４．ｃｕ＿ｓｂｔ＿ｆｌａｇ：現在ＶＶＣ標準に含まれているサブブロック変換（ＳｕｂＢｌｏｃｋＴｒａｎｓｆｏｒｍ、ＳＢＴ）が適用可能かどうかを示すフラグであって、フラグ値が０である場合は、ＳＢＴが適用不可であることを示し、フラグ値が１である場合は、ＳＢＴが適用されることを示す。

１５．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：各々インターＣＵとイントラＣＵに対して明示的なＭＴＳが適用されたかどうかを示すフラグであって、該当フラグ値が０である場合は、インターＣＵまたはイントラＣＵに対してＭＴＳが適用不可であることを示し、１である場合は、適用可能であることを示す。

１６．ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＭＴＳインデックスシンタックスエレメントである。パーシングされない場合、０値に類推される。即ち、デフォルト値が０に設定され、水平方向と垂直方向に対して全てＤＣＴ－２が適用されることを示す。

表４のように、シングルツリーである場合は、ルマに対する最後の有効係数位置条件のみを有してＬＦＮＳＴインデックスのシグナリング可否を決定することができる。即ち、最後の有効係数位置がＤＣでない、かつ最後の有効係数が左上端サブブロック（ＣＧ）、例えば、４×４ブロック、内部に存在する場合、ＬＦＮＳＴインデックスがシグナリングされる。このとき、４×４変換ブロックと８×８変換ブロックの場合は、左上端サブブロック内部の０から７までの位置に最後の有効係数が存在してこそＬＦＮＳＴインデックスがシグナリングされる。

デュアルツリーの場合は、ルマとクロマは、各々、独立的にＬＦＮＳＴインデックスがシグナリングされ、クロマの場合は、Ｃｂ成分に対してのみ最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。Ｃｒ成分に対しては該当条件をチェックしなく、もし、Ｃｂに対するＣＢＦ値が０である場合は、Ｃｒ成分に対して最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。

表４の「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）>＝２」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）>＝４」で表現されることができ、「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）>＝４」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）>＝１６」で表現されることができる。

表４において、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトにより最後の有効係数が存在できる左上端領域に対する幅と高さのベースが２である（ｂａｓｅ－２）ログ値を意味する。

表４のように、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値は、二箇所でアップデートされることができる。１番目は、ＭＴＳインデックスまたはＬＦＮＳＴインデックス値がパーシングされる前であり、２番目は、ＭＴＳインデックスのパーシング後である。

１番目のアップデートは、ＭＴＳインデックス（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）値がパーシングされる前であるため、ＭＴＳインデックス値にかかわらずｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定することができる。

ＭＴＳインデックスがパーシングされた後にはＭＴＳインデックス値が０より大きい場合（ＤＳＴ－７／ＤＣＴ－８組み合わせである場合）に対してｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定するようになる。１次変換で水平方向と垂直方向に対して各々独立的にＤＳＴ－７／ＤＣＴ－８を適用する場合、各方向に対して行または列毎に最大１６個までの有効係数が存在できる。即ち、３２長さ以上のＤＳＴ－７／ＤＣＴ－８を適用した後、左側または上側から行または列毎に最大１６個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向と垂直方向の両方ともに対してＤＳＴ－７／ＤＣＴ－８が適用される時、最大左上端１６×１６領域までのみ有効係数が存在できる。

また、現在１次変換で水平方向と垂直方向に対して各々独立的にＤＣＴ－２が適用される場合、各方向に対して行または列毎に最大３２個までの有効係数が存在できる。即ち、６４長さ以上のＤＣＴ－２を適用する時は、左側または上側から行または列毎に最大３２個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向と垂直方向の両方ともに対してＤＣＴ－２が適用される時、最大左上端３２×３２領域までのみ有効係数が存在できる。

また、水平方向と垂直方向に対して、一方ではＤＳＴ－７／ＤＣＴ－８が適用され、他方ではＤＣＴ－２が適用される時、前者の方向では１６個の有効係数が存在でき、後者の方向では３２個の有効係数が存在できる。例えば、６４×８変換ブロックであり、かつ水平方向にはＤＣＴ－２が適用され、垂直方向にはＤＳＴ－７が適用される場合（暗黙的ＭＴＳが適用される状況で発生できる）、最大左上端３２×８領域で有効係数が存在できる。

もし、表４のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔが二箇所でアップデートされる場合、即ち、ＭＴＳインデックスパーシング前にアップデートされる場合、以下の表のようにｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの範囲がｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔにより決められることができる。

また、このような場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化過程でｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値を反映してｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの最大値を設定することができる。

一方、一例によって、ＩＳＰモードであり、かつＬＦＮＳＴが適用される場合、表４のシグナリングを適用した時、表７のようにスペックテキストが構成されることができる。表４と比較した時、ＩＳＰモードでない場合に対してのみＬＦＮＳＴインデックスをシグナリングした条件（表４のＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）が削除された。

シングルツリーである場合、ルマである時（ｃＩｄｘ＝０である時）に送信したＬＦＮＳＴインデックスをクロマである時に再使用する場合は、有効係数が存在する１番目のＩＳＰパーティションブロックに対して送信されたＬＦＮＳＴインデックスをクロマ変換ブロックに適用できる。または、シングルツリーである場合であるとしても、クロマ成分である場合に対してルマ成分と別途にＬＦＮＳＴインデックスをシグナリングすることができる。表７に記載された変数に対する説明は、表４の通りである。

一方、一例によって、ＬＦＮＳＴインデックスまたは／及びＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができる。ＬＦＮＳＴインデックスは、前述したように、０、１、２の三つの値を有することができ、０はＬＦＮＳＴを適用しないことを指し、１と２は選択されたＬＦＮＳＴセットに含まれている２個のＬＦＮＳＴカーネル候補のうち各々１番目の候補と２番目の候補を指示する。ＬＦＮＳＴインデックスは、トランケイテッドユナリ二進化（ｔｒｕｎｃａｔｅｄｕｎａｒｙｂｉｎａｒｉｚａｔｉｏｎ）を介してコーディングされ、０、１、２値は、各々、ｂｉｎストリング０、１０、１１でコーディングされることができる。

一例によると、１次変換で水平方向と垂直方向の両方ともに対してＤＣＴ－２が適用される時にのみＬＦＮＳＴが適用されることができる。したがって、もし、ＭＴＳインデックスをＬＦＮＳＴインデックスシグナリング後にシグナリングする場合、ＬＦＮＳＴインデックス値が０である場合に限ってのみＭＴＳインデックスをシグナリングすることができ、ＬＦＮＳＴインデックスが０でない場合にはＭＴＳインデックスをシグナリングせずに水平方向と垂直方向の両方ともにＤＣＴ－２を適用して１次変換を実行することができる。

ＭＴＳインデックス値は、０、１、２、３、４の値を有することができ、０、１、２、３、４は、各々、水平方向と垂直方向に対してＤＣＴ－２／ＤＣＴ－２、ＤＳＴ－７／ＤＳＴ－７、ＤＣＴ－８／ＤＳＴ－７、ＤＳＴ－７／ＤＣＴ－８、ＤＣＴ－８／ＤＣＴ－８が適用されることを指示することができる。また、ＭＴＳインデックスは、トランケイテッドユナリ二進化を介してコーディングされることができ、前記０、１、２、３、４値は、各々、ｂｉｎストリング０、１０、１１０、１１１０、１１１１でコーディングされることができる。

ＬＦＮＳＴインデックス及びＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができ、ＭＴＳインデックスをコーディングユニットレベルでＬＦＮＳＴインデックス以後に続いてコーディングできる。これに対するコーディングユニットシンタックステーブルは、以下の通りである。

表８の変数ＬｆｎｓｔＤｃＯｎｌｙと変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、以下の表９に示すように設定されることができる。

変数ＬｆｎｓｔＤｃＯｎｌｙは、該当ＣＢＦ（ＣｏｄｅｄＢｌｏｃｋＦｌａｇ、該当ブロック内に有効係数が一つでも存在する場合は１、そうでない場合は０）値が１である変換ブロックに対して最後の有効係数が全てＤＣ位置（左上端位置）に位置する場合は１になり、そうでない場合は０になる。より具体的に、デュアルツリールマである場合には、最後の有効係数の位置をルマ変換ブロック一つに対してチェックし、デュアルツリークロマである場合には、Ｃｂに対する変換ブロックとＣｒに対する変換ブロックの両方ともに対して最後の有効係数位置をチェックする。シングルツリーである場合には、ルマ、Ｃｂ、Ｃｒに対する変換ブロックに対して最後の有効係数位置をチェックすることができる。

変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＬＦＮＳＴが適用される時、ゼロアウトになる位置に有効係数が存在する場合は０であり、そうでない場合は１になる。

表８及び以下の表に含まれるｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は、該当コーディングユニットに対するＬＦＮＳＴインデックスを示し、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、該当コーディングユニットに対するＭＴＳインデックスを示す。

表８に示すように、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングする条件にｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］値が０であるかをチェックする条件（!ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］）が含まれることができ、この場合、既存のｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］値が０であるかをチェックする条件（即ち、水平方向と垂直方向に対して両方ともＤＣＴ－２であるかどうかをチェックすること）は省略されることができる。

ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、コーディングユニットが変換が省略される変換スキップモードにコーディングされたかどうかを示し、前記フラグは、ＭＴＳインデックス及びＬＦＮＳＴインデックスより先にシグナリングされる。即ち、ｔｕ＿ｍｔｘ＿ｉｄｘ［ｘ０］［ｙ０］値をシグナリングする前にｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするため、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］値に対する条件のみをチェックすることができる。

表８に示すように、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をコーディングする時、様々な条件がチェックされ、前述したように、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］値が０である場合にのみｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされる。

また、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］は、ルマ成分に対して有効係数が存在するかどうかを示すフラグであり、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔは、各々、ルマ成分に対するコーディングユニットの幅と高さを示す。

表８によると、ルマ成分に対するコーディングユニットの幅と高さが両方とも３２以下である時、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされ、即ち、ＭＴＳ適用可否がルマ成分に対するコーディングユニットの幅と高さにより決定される。

他の例によって、変換ブロックタイリング（ＴＵｔｉｌｉｎｇ）が発生する場合（例えば、最大変換大きさが３２に設定された場合、６４×６４コーディングユニットは、４個の３２×３２変換ブロックに分割されてコーディングされる）、各変換ブロックの大きさを基準にしてＭＴＳインデックスがシグナリングされることができる。例えば、変換ブロックの幅と高さが両方とも３２以下である時、コーディングユニット内の全ての変換ブロックに対しては同じＭＴＳインデックス値が適用されて同じ１次変換が適用されることができる。また、変換ブロックタイリングが発生する場合、表８のｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］値は、左上端変換ブロックに対するＣＢＦ値であり、または全ての変換ブロックに対して一つの変換ブロックでも該当ＣＢＦ値が１である場合は、１に設定されることができる。

また、表８によると、ＩＳＰモードである場合にも（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ!＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするように構成でき、全てのＩＳＰパーティションブロックに対して同じＬＦＮＳＴインデックス値が適用されることができる。

一方、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、ＩＳＰモードでない場合にのみシグナリングされることができる（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）。

表８のように、ＭＴＳインデックスをＬＦＮＳＴインデックスの直後にシグナリングする場合、レジデュアルコーディングを実行する時、１次変換に対する情報を知ることができない。即ち、ＭＴＳインデックスがレジデュアルコーディング以後にシグナリングされる。したがって、レジデュアルコーディングパートで３２長さのＤＳＴ－７またはＤＣＴ－８に対して１６個の係数のみを残してゼロアウトを実行する部分は、以下の表９のように変更されることができる。

表９のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定する過程で（ここで、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトが実行された後に残った左上端領域に対する幅と高さのベース－２（ｂａｓｅ－２）ログ値を示す）ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］値をチェックする部分が省略されることができる。

表９のｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘとｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化は、表６のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔに基づいて決定されることができる。

また、表９のように、レジデュアルコーディングでｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定する時、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇをチェックする条件が追加されることができる。

一例によって、ルマ変換ブロックに対する最後の有効係数位置に対する情報をレジデュアルコーディング過程で記録しておくと、表１０のようにＭＴＳインデックスをシグナリングすることもできる。

表１０において、ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹは、各々、ルマ変換ブロックに対する最後の有効係数位置のＸ座標とＹ座標を示す。ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが全て１６より小さくなるべき条件が表１０に追加されたし、もし、二つのうち一つでも１６以上になると、水平方向と垂直方向の両方ともにＤＣＴ－２が適用されることであるため、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］に対するシグナリングを省略し、水平方向と垂直方向に対して全てＤＣＴ－２が適用されることと類推できる。

ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが全て１６より小さいということは、最後の有効係数が左上端１６×１６領域内に存在するということを意味し、現在ＶＶＣ標準で３２長さのＤＳＴ－７またはＤＣＴ－８が適用される場合、最左側または最上側から１６個の変換係数のみを残すゼロアウトが適用された可能性が存在することを示す。したがって、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングして１次変換のために使われた変換カーネルを指示することができる。

一方、他の例によって、コーディングユニットシンタックステーブル、変換ユニットシンタックステーブル、及びレジデュアルコーディングシンタックステーブルは、以下の表の通りである。表１１によると、ＭＴＳインデックスは、変換ユニットレベルでコーディングユニットレベルのシンタックスに移動し、ＬＦＮＳＴインデックスシグナリング以後にシグナリングされる。また、コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去された。コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去されるため、ＬＦＮＳＴを全てのイントラ予測ブロックに適用できる。また、ＭＴＳインデックス及びＬＦＮＳＴインデックスは、全てコーディングユニットレベルの最後の部分に条件付きでシグナリングされる。

表１１において、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初に１に設定され、この値は、表１３のレジデュアルコーディングで変更されることができる。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ゼロアウトによって０で満たされるべき領域（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）に有効係数が存在すると、その値が１から０に変更され、この場合、表１１のように、ＭＴＳインデックスはシグナリングされない。

一方、表１１のように、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合にはｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］コーディングを省略することができる。即ち、ルマ成分のＣＢＦ値が０である場合は、変換を適用しないため、ＭＴＳインデックスをシグナリングする必要がなくて、ＭＴＳインデックスコーディングを省略することができる。

一例によって、前記技術的特徴は、他の条件付き構文で具現されることができる。例えば、ＭＴＳが実行された後、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するかどうかを示す変数を導出することができ、前記変数がＤＣ領域を除外した領域に有効係数が存在することを示す場合、ＭＴＳインデックスをシグナリングすることができる。即ち、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するということは、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］値が１であることを示し、この場合、ＭＴＳインデックスをシグナリングすることができる。

前記変数は、ＭｔｓＤｃＯｎｌｙで表すことができ、変数ＭｔｓＤｃＯｎｌｙは、コーディングユニットレベルで最初に１に設定された後、レジデュアルコーディングレベルで現在ブロックのＤＣ領域を除外した領域に有効係数が存在することを示す場合、その値が０に変更されることができる。変数ＭｔｓＤｃＯｎｌｙが０である場合、ＭＴＳインデックスがシグナリングされるように映像情報が構成されることができる。

もし、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合は、表１２の変換ユニットレベルでレジデュアルコーディングシンタックスの呼び出しが行われないため、変数ＭｔｓＤｃＯｎｌｙは、初期値１を維持するようになる。このような場合、変数ＭｔｓＤｃＯｎｌｙが０に変更されなかったため、ＭＴＳインデックスがシグナリングされないように映像情報が構成されることができる。即ちＭＴＳインデックスは、パーシング及びシグナリングされない。

一方、デコーディング装置は、表１３の変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出するために変換係数のカラーインデックス（ｃＩｄｘ）を判断することができる。カラーインデックス（ｃＩｄｘ）が０であることは、ルマ成分を意味する。

一例によって、現在ブロックのルマ成分にのみＭＴＳが適用されることができるため、デコーディング装置は、ＭＴＳインデックスのパーシング可否を決定する変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出する時、カラーインデックスがルマであるかどうかを判断することができる（ｉｆｃＩｄｘ＝＝０、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＭＴＳ適用時にゼロアウトが実行されたかどうかを示す変数であって、ＭＴＳ実行後にゼロアウトにより最後の有効係数が存在できる左上端領域、即ち、左上端１６×１６領域以外の領域に変換係数が存在するかどうかを示す。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表１１のようにコーディングユニットレベルで最初に１に設定され（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝１）、１６×１６領域以外の領域に変換係数が存在する場合、表１３のようにレジデュアルコーディングレベルでその値が１から０へ変更されることができる（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０である場合、ＭＴＳインデックスはシグナリングされない。

表１３のように、レジデュアルコーディングレベルで、ＭＴＳに伴われるゼロアウトが実行されたかどうかによって０でない変換係数が存在できるノンゼロアウト領域が設定されることができ、この場合にも、カラーインデックス（ｃＩｄｘ）が０である場合、ノンゼロアウト領域は、現在ブロックの左上端１６×１６領域に設定されることができる。

このように、ＭＴＳインデックスのパーシング可否を決定する変数を導出する時は、カラー成分がルマであるかまたはクロマであるかを判断するが、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、ＬＦＮＳＴインデックスのパーシング可否を決定する変数を導出する時はカラー成分を判断しない。

例えば、表１１にはＬＦＮＳＴ適用時にゼロアウトが実行されたことを示すことができる変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが示されている。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、現在ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在するかどうかを示し、この値は、最初に１に設定され、第２の領域に有効係数が存在すると、その値は、０に変更されることができる。最初設定された変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１に維持されてこそＬＦＮＳＴインデックスがパーシングされることができる。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１であるかどうかを判断及び導出する時、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、現在ブロックのカラーインデックスは判断されない。

図１５は、一実施例に係るＣＡＢＡＣエンコーディングシステムのブロック図を示すであり、単一構文要素を符号化するためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅｂｉａｒｙａｒｉｔｈｍｅｔｉｃｃｏｄｉｎｇ）のブロック図を示す。

まず、ＣＡＢＡＣの符号化過程は、入力信号が二進値でない構文要素である場合、二進化を介して入力信号を二進値に変換する。入力信号が既に二進値である場合には二進化を経ずにバイパス、即ち、符号化エンジンに入力される。ここで、二進値を構成する各々の二進数０または１をｂｉｎという。例えば、二進化された後の二進ストリングが１１０である場合、１、１、０の各々を一つのｂｉｎという。一つの構文要素に対する前記ｂｉｎ（ら）は、該当構文要素の値を示すことができる。

二進化されたｂｉｎは、正規（ｒｅｇｕｌａｒ）符号化エンジンまたはバイパス符号化エンジンに入力される。

正規符号化エンジンは、該当ｂｉｎに対して確率値を反映する文脈モデルを割り当て、割り当てられた文脈モデルに基づいて該当ｂｉｎを符号化する。正規符号化エンジンでは各ｂｉｎに対する符号化を実行した後に該当ｂｉｎに対する確率モデルを更新することができる。このように符号化されるｂｉｎを文脈符号化ｂｉｎ（ｃｏｎｔｅｘｔ－ｃｏｄｅｄｂｉｎ）という。

バイパス符号化エンジンは、入力されたｂｉｎに対して確率を推定する手順と符号化後に該当ｂｉｎに適用した確率モデルを更新する手順を省略する。文脈を割り当てる代わりに均一な確率分布を適用して入力されるｂｉｎを符号化することによって符号化速度を向上させる。このように符号化されるｂｉｎをバイパスｂｉｎ（ｂｙｐａｓｓｂｉｎ）という。

エントロピー符号化は、正規符号化エンジンを介して符号化を実行するか、バイパス符号化エンジンを介して符号化を実行するかを決定し、符号化経路をスイッチングすることができる。エントロピー復号化は、符号化と同じ過程を逆順に実行する。

ＬＦＮＳＴインデックスに対する二進化方法でトランケイテッドユナリコード（Ｔｒｕｎｃａｔｅｄｕｎａｒｙｃｏｄｅ）が適用される場合、ＬＦＮＳＴインデックスは、最大２個のｂｉｎで構成され、可能なＬＦＮＳＴインデックス値である０、１、２に対する二進化コード（ｂｉｎａｒｙｃｏｄｅ）では各々０、１０、１１が割り当てられる。

一例によって、ＬＦＮＳＴインデックスの１番目のｂｉｎに対してはコンテキストベースのＣＡＢＡＣコーディングが適用され（ｒｅｇｕｌａｒｃｏｄｉｎｇ）、２番目のｂｉｎに対してはバイパスコーディング（ｂｙｐａｓｓｃｏｄｉｎｇ）が適用されることができる。

また、他の例によると、ＬＦＮＳＴインデックスの１番目及び２番目のｂｉｎの両方ともに対してコンテキストベースのＣＡＢＡＣコーディングが適用されることができる。このようなコンテキストコーディングされたｂｉｎによるＬＦＮＳＴインデックスのｃｔｘＩｎｃの割当を表で表せると、以下の通りである。

表１４のように、１番目のｂｉｎ（ｂｉｎＩｄｘ＝０）に対しては、シングルツリーの場合、０番コンテキストを適用し、シングルツリーでない場合、１番コンテキストを適用することができる。また、表１４のように、２番目のｂｉｎ（ｂｉｎＩｄｘ＝１）に対しては、２番コンテキストを適用することができる。即ち、１番目のｂｉｎに対しては２個のコンテキストが割り当てられることができ、２番目のｂｉｎに対しては１個のコンテキストが割り当てることができ、ｃｔｘＩｎｃ値（０、１、２）により各々のコンテキストが区分されることができる。

ここで、シングルツリーは、ルマ成分とクロマ成分が同じコーディング構造（ｃｏｄｉｎｇｓｔｒｕｃｔｕｒｅ）でコーディングされることを意味する。コーディングユニットが同じコーディング構造で分割された後、コーディングユニットの大きさが特定閾値以下になってルマ成分とクロマ成分が別途のツリー構造でコーディングされる場合、該当コーディングユニットに対してはデュアルツリーと見なして１番目のｂｉｎのコンテキストを決定することができる。即ち、表１４のように１番コンテキストを割り当てることができる。

または、１番目のｂｉｎに対して変数ｔｒｅｅＴｙｐｅの値がＳＩＮＧＬＥ＿ＴＲＥＥで割り当てられる場合は０番コンテキストを、そうでない場合は１番コンテキストを使用してコーディングできる。

一例によって、エンコーディング過程に２個のＬＦＮＳＴカーネル候補のうち１番目（または、２番目）の候補のみ試みる時、ＬＦＮＳＴインデックスは、該当候補に対して固定された２個のｂｉｎ値を有するようになる（１番目の候補のみ試みる場合、１０でコーディングされ、２番目の候補のみ試みる場合、１１でコーディングされることができる）。この場合、２番目のｂｉｎをバイパスでコーディングすると、２番目のｂｉｎが固定された値（０または１）であるにもかかわらず、２番目のｂｉｎに対して固定されたビット量が発生するようになって２番目のｂｉｎに対してコーディング費用が相当大きくなることができる。２番目のｂｉｎをバイパスでないコンテキスト方式にコーディングすると、ＬＦＮＳＴカーネル候補で固定された１個のみ試みる場合、２番目のｂｉｎに対して該当固定値（０または１）が発生する確率が１００％である側にアップデートされるため、コーディング費用が相当減少されることができる。総合すると、ＬＦＮＳＴインデックスコーディングのための二つのｂｉｎを全てコンテキスト方式にコーディングすることで、エンコーディング過程でＬＦＮＳＴカーネル候補を一つのみ固定して適用しても、二つの候補を全て適用すること対比コーディング効率の損失を最小化しながらエンコーディング複雑度も減らすことができるため、エンコーディング過程で性能－複雑度トレードオフ（ｔｒａｄｅ－ｏｆｆ）を探すことにあたって実質的な自由度を付与することができる。

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

図１６は、本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

図１６に開示された各ステップは、図５乃至図１５に詳述された内容のうち一部に基づいている。したがって、図３、図５乃至図１５に詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。

一実施例に係るデコーディング装置３００は、ビットストリームからイントラ予測モードに対する情報、レジデュアル情報、及びＬＦＮＳＴインデックスを受信することができる（Ｓ１６１０）。

このような情報はシンタックス情報で受信され、シンタックス情報は０と１を含む二進化されたｂｉｎストリングで受信される。

デコーディング装置は、ＬＦＮＳＴインデックスのシンタックス要素に対する二進化情報を導出することができる。これは受信された変換インデックスのシンタックス要素が有することができる二進化値に対する候補セットを生成することであって、本実施例による場合、ＬＦＮＳＴインデックスのシンタックス要素は、トランケイテッドユナリコード方式に二進化されることができる。

本実施例に係る変換インデックスのシンタックス要素は、ＬＦＮＳＴが適用されるかどうか及びＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネルのうちいずれか一つを指示することができ、ＬＦＮＳＴ変換セットが二つのＬＦＮＳＴカーネルを含む場合、ＬＦＮＳＴインデックスのシンタックス要素の値は三つである。

即ち、一実施例によって、ＬＦＮＳＴインデックスに対するシンタックス要素値は、現在ブロックにＬＦＮＳＴが適用されない場合を指示する０、ＬＦＮＳＴカーネルのうち１番目のＬＦＮＳＴカーネルを指示する１、ＬＦＮＳＴカーネルのうち２番目のＬＦＮＳＴカーネルを指示する２、を含むことができる。

この場合、３個のＬＦＮＳＴインデックスに対するシンタックス要素値は、トランケイテッドユナリコード方式によって０、１０、１１でコーディングされることができる。即ち、シンタックス要素に対する値０は「０」で、シンタックス要素に対する値１は「１０」で、シンタックス要素に対する値２は「１１」で、二進化されることができる。

また、デコーディング装置は、受信されたレジデュアル情報に基づいてレジデュアルコーディングを実行して変換係数を導出することができる（Ｓ１６２０）。

デコーディング装置３００は、ビットストリームから現在ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、現在ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）またはスライスヘッダ（ｓｌｉｃｅｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるかどうかに対する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに対する情報、簡素化変換を適用する最大変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

デコーディング装置３００は、現在ブロックに対するレジデュアル情報、即ち、量子化された変換係数に対して逆量子化を実行して変換係数を導出することができ、導出された変換係数を所定スキャニング順序に配列できる。

具体的に、導出された変換係数は、４×４ブロック単位で逆方向対角スキャン順序によって配列されることができ、４×４ブロック内の変換係数も逆方向対角スキャン順序によって配列されることができる。即ち、逆量子化が実行された変換係数は、ＶＶＣやＨＥＶＣのビデオコーデックで適用されている逆方向スキャン順序によって配置されることができる。

このようなレジデュアル情報に基づいて導出された変換係数は、前記のように逆量子化された変換係数であってもよく、量子化された変換係数であってもよい。即ち、変換係数は、量子化可否にかかわらず、現在ブロックで０でないデータであるかどうかをチェックすることができるデータであればよい。

デコーディング装置は、量子化された変換係数に逆変換を適用してレジデュアルサンプルを導出することができる。

前述したように、デコーディング装置は、非分離変換であるＬＦＮＳＴまたは分離変換であるＭＴＳを適用してレジデュアルサンプルを導出することができ、このような変換は、各々、ＬＦＮＳＴカーネル、即ち、ＬＦＮＳＴマトリクスを指示するＬＦＮＳＴインデックスとＭＴＳカーネルを指示するＭＴＳインデックスとに基づいて実行されることができる。

一方、デコーディング装置は、現在ブロックのツリータイプによって、ＬＦＮＳＴインデックスの１番目のｂｉｎに対するコンテキスト情報を導出し、２番目に対する既設定されたコンテキスト情報を導出することができる（Ｓ１６３０）。

現在ブロックのツリータイプによって、１番目のｂｉｎに対するコンテキスト情報は、異なる値として導出されることができる。例えば、現在ブロックのツリータイプがシングルツリーである場合、１番目のｂｉｎは、第１のコンテキスト情報として導出され、現在ブロックのツリータイプがシングルツリーでない場合、１番目のｂｉｎは、第２のコンテキスト情報として導出されることができる。

一方、２番目のｂｉｎに対するコンテキスト情報は、現在ブロックのツリータイプにかかわらず既設定された一つの値として導出されることができる。即ち、一例によると、ＬＦＮＳＴインデックスのｂｉｎストリングは、二つのｂｉｎが全てバイパス方式でないコンテキストモデルに基づいてデコーディングされることができる。

デコーディング装置は、コンテキスト情報に基づいてシンタックス要素ｂｉｎストリングのｂｉｎをデコーディングし、コンテキスト情報ベースのデコーディングによりＬＦＮＳＴインデックスのシンタックス要素が有することができる二進化値のうち現在ブロックに適用されるＬＦＮＳＴインデックスに対するシンタックス要素の値を導出することができる（Ｓ１６４０）。

整理すると、デコーディング装置は、トランケイテッドユナリコード方式に二進化されたｂｉｎストリングを受信し、コンテキスト情報に基づいてＬＦＮＳＴインデックスのシンタックス要素をデコーディングする。

即ち、ＬＦＮＳＴインデックス０、１、２、のうちいずれか一つが現在対象ブロックに適用されるかが導出されることができる。

デコーディング装置３００は、現在ブロックに適用されるイントラ予測モードによるマッピング関係に基づいてＬＦＮＳＴ変換セットを決定し、ＬＦＮＳＴ変換セット、ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネル、及びＬＦＮＳＴインデックスに基づいてＬＦＮＳＴを適用して修正された変換係数を導出することができる（Ｓ１６５０）。

その後、デコーディング装置は、修正された変換係数に対する逆１次変換に基づいて現在ブロックに対するレジデュアルサンプルを導出し（Ｓ１６６０）、レジデュアルサンプルに基づいて復元ピクチャを生成することができる（Ｓ１６７０）。

図１７は、本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

図１７に開示された各ステップは、図５乃至図１５に詳述された内容のうち一部に基づいている。したがって、図２及び図５乃至図１５に詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。

一実施例に係るエンコーディング装置２００は、現在ブロックに適用されるイントラ予測モードに基づいて現在ブロックに対する予測サンプルを導出することができる（Ｓ１７１０）。

エンコーディング装置２００は、予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１７２０）。

エンコーディング装置２００は、レジデュアルサンプルにＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用して現在ブロックに対する変換係数を導出し、変換係数を所定のスキャニング順序によって配列できる。

エンコーディング装置は、レジデュアルサンプルに対する１次変換に基づいて現在ブロックに対する変換係数を導出することができる（Ｓ１７３０）。

１次変換は、ＭＴＳのように複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択されることができる。

エンコーディング装置は、ＭＴＳを適用して変換係数を導出した後、現在ブロックの左上端特定領域、例えば、１６×１６領域を除外した現在ブロックの残り領域をゼロアウトすることができる。

また、エンコーディング装置２００は、現在ブロックに対する変換係数に対して２次変換、または非分離変換、具体的に、ＬＦＮＳＴを実行するかどうかを決定し、変換係数にＬＦＮＳＴを適用して修正された変換係数を導出することができる。具体的に、エンコーディング装置は、ＬＦＮＳＴ変換セット、ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネルに基づいてＬＦＮＳＴを適用して修正された変換係数を導出することができる（Ｓ１７４０）。

ＬＦＮＳＴは、変換対象になる係数を垂直または水平方向に分離して変換する１次変換と違って、係数を特定方向に分離せずに変換を適用する非分離変換である。このような非分離変換は、変換対象になる対象ブロック全体でない低周波領域にのみ変換を適用する低周波非分離変換である。

エンコーディング装置は、ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックスまたはＭＴＳカーネルを指示するＭＴＳインデックスのうち少なくとも一つをエンコーディングすることができる。

まず、エンコーディング装置は、ＬＦＮＳＴインデックスに対するシンタックス要素の値を導出し、ＬＦＮＳＴインデックスに対するシンタックス要素値を二進化することができる（Ｓ１７５０）。

本実施例に係るＬＦＮＳＴインデックスのシンタックス要素は、ＬＦＮＳＴが適用されるかどうか及びＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネルのうちいずれか一つを指示することができ、ＬＦＮＳＴ変換セットが二つのＬＦＮＳＴカーネルを含む場合、ＬＦＮＳＴインデックスのシンタックス要素の値は三つである。

一実施例によって、ＬＦＮＳＴインデックスに対するシンタックス要素値は、現在ブロックにＬＦＮＳＴが適用されない場合を指示する０、ＬＦＮＳＴカーネルのうち１番目のＬＦＮＳＴカーネルを指示する１、ＬＦＮＳＴカーネルのうち２番目のＬＦＮＳＴカーネルを指示する２、として導出されることができる。

エンコーディング装置は、３個の変換インデックスに対するシンタックス要素値をトランケイテッドユナリコード方式によって、０、１０、１１で二進化できる。即ち、シンタックス要素に対する値０は「０」で、シンタックス要素に対する値１は「１０」で、シンタックス要素に対する値２は「１１」で、二進化されることができ、エンコーディング装置は、導出された変換インデックスに対するシンタックス要素に対して「０」、「１０」、及び「１１」のうちいずれか一つで二進化できる。

エンコーディング装置は、現在ブロックのツリータイプによってＬＦＮＳＴインデックスの１番目のｂｉｎに対するコンテキスト情報を導出し、２番目に対する既設定されたコンテキスト情報を導出し、コンテキスト情報に基づいてシンタックス要素ｂｉｎストリングのｂｉｎをエンコーディングすることができる（Ｓ１７６０）。

一方、２番目のｂｉｎに対するコンテキスト情報は、現在ブロックのツリータイプにかかわらず一つの値として導出されることができる。即ち、一例によると、ＬＦＮＳＴインデックスのｂｉｎストリングは、二つのｂｉｎが全てバイパス方式でないコンテキストモデルに基づいてエンコーディングされることができる。

整理すると、エンコーディング装置は、トランケイテッドユナリコード方式にＬＦＮＳＴインデックスのｂｉｎストリングを二進化し、互いに異なるコンテキスト情報に基づいて該当二進化値に対するＬＦＮＳＴインデックスのシンタックス要素をエンコーディングする。

エンコーディング装置は、コーディングユニットレベルでＬＦＮＳＴインデックス及びＭＴＳインデックスのうち少なくとも一つがシグナリングされ、ＬＦＮＳＴインデックスのシグナリング直後にＭＴＳインデックスがシグナリングされるように、映像情報を構成及び出力することができ、量子化されたレジデュアル情報エンコーディング後に出力できる（Ｓ１７７０）。

また、エンコーディング装置は、現在ブロックに対する変換係数または修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報を含む映像情報をエンコーディング及び出力することができる。

エンコーディング装置は、量子化された変換係数に対する情報を含むレジデュアル情報を生成することができる。レジデュアル情報は、詳述した変換関連情報／シンタックス要素を含むことができる。エンコーディング装置は、レジデュアル情報を含む映像／ビデオ情報をエンコーディングしてビットストリーム形態で出力できる。

より具体的に、エンコーディング装置は、量子化された変換係数に関する情報を生成して、生成された量子化された変換係数に関する情報をエンコーディングすることができる。

本文書において、量子化／逆量子化及び／または変換／逆変換のうち少なくとも一つは省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または表現の統一性のために、依然として変換係数と呼ばれることもできる。

また、本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。

前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または、流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

本文書において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（ＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｄｅｒ）などを含むことができる。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

本明細書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。

Claims

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームからレジデュアル情報を受信するステップと、
前記レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップと、
前記変換係数にＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用してレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいて復元ピクチャを生成するステップと、を含み、
前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネル、及び前記ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックスに基づいて実行され、
前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出されることを特徴とする映像デコーディング方法。
前記ＬＦＮＳＴインデックスに対するシンタックス要素のコンテキスト情報を導出するステップと、
前記コンテキスト情報に基づいて前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングのｂｉｎをデコーディングするステップと、
前記ＬＦＮＳＴインデックスに対するシンタックス要素の値を導出するステップと、をさらに含むことを特徴とする請求項１に記載の映像デコーディング方法。
前記現在ブロックのツリータイプがシングルツリーである場合、前記１番目のｂｉｎは第１のコンテキスト情報として導出され、
前記現在ブロックのツリータイプがシングルツリーでない場合、前記１番目のｂｉｎは第２のコンテキスト情報として導出されることを特徴とする請求項２に記載の映像デコーディング方法。
前記２番目のｂｉｎに対するコンテキスト情報は、前記第１のコンテキスト情報及び前記第２のコンテキスト情報と異なる第３のコンテキスト情報として導出されることを特徴とする請求項３に記載の映像デコーディング方法。
前記ＬＦＮＳＴ変換セットには二つの前記ＬＦＮＳＴカーネルが含まれ、
前記シンタックス要素に対する値は、前記現在ブロックに前記ＬＦＮＳＴが適用されない場合を指示する０、前記ＬＦＮＳＴカーネルのうち１番目のＬＦＮＳＴカーネルを指示する１、前記ＬＦＮＳＴカーネルのうち２番目のＬＦＮＳＴカーネルを指示する２、のうちいずれか一つを含むことを特徴とする請求項２に記載の映像デコーディング方法。
前記シンタックス要素に対する値は、トランケイテッドユナリコードで二進化され、
前記シンタックス要素に対する値０は「０」で、前記シンタックス要素に対する値１は「１０」で、前記シンタックス要素に対する値２は「１１」で、二進化されることを特徴とする請求項５に記載の映像デコーディング方法。
エンコーディング装置により実行される映像エンコーディング方法において、
現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルにＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用して前記現在ブロックに対する変換係数を導出するステップと、
ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックス及び量子化されたレジデュアル情報をエンコーディングするステップと、を含み、
前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれている前記ＬＦＮＳＴカーネルに基づいて実行され、
前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出されることを特徴とする映像エンコーディング方法。
前記ＬＦＮＳＴインデックスをエンコーディングするステップは、
前記ＬＦＮＳＴインデックスに対するシンタックス要素の値を導出するステップと、
前記ＬＦＮＳＴインデックスに対するシンタックス要素のコンテキスト情報を導出するステップと、
前記コンテキスト情報に基づいて前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングのｂｉｎをエンコーディングするステップと、を含むことを特徴とする請求項７に記載の映像エンコーディング方法。
前記現在ブロックのツリータイプがシングルツリーである場合、前記１番目のｂｉｎは第１のコンテキスト情報として導出され、
前記現在ブロックのツリータイプがシングルツリーでない場合、前記１番目のｂｉｎは第２のコンテキスト情報として導出されることを特徴とする請求項８に記載の映像エンコーディング方法。
前記２番目のｂｉｎに対するコンテキスト情報は、前記第１のコンテキスト情報及び前記第２のコンテキスト情報と異なる第３のコンテキスト情報として導出されることを特徴とする請求項９に記載の映像エンコーディング方法。
前記ＬＦＮＳＴ変換セットには二つの前記ＬＦＮＳＴカーネルが含まれ、
前記シンタックス要素に対する値は、前記現在ブロックに前記ＬＦＮＳＴが適用されない場合を指示する０、前記ＬＦＮＳＴカーネルのうち１番目のＬＦＮＳＴカーネルを指示する１、前記ＬＦＮＳＴカーネルのうち２番目のＬＦＮＳＴカーネルを指示する２、のうちいずれか一つを含むことを特徴とする請求項８に記載の映像エンコーディング方法。
前記シンタックス要素に対する値は、トランケイテッドユナリコードで二進化され、
前記シンタックス要素に対する値０は「０」で、前記シンタックス要素に対する値１は「１０」で、前記シンタックス要素に対する値２は「１１」で、二進化されることを特徴とする請求項１１に記載の映像エンコーディング方法。
映像デコーディング方法を実行するようにする指示情報が格納されたコンピュータ読み取り可能なデジタル格納媒体であって、前記映像デコーディング方法は、
ビットストリームからレジデュアル情報を受信するステップと、
前記レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップと、
前記変換係数にＬＦＮＳＴまたはＭＴＳのうち少なくとも一つを適用してレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいて復元ピクチャを生成するステップと、を含み、
前記ＬＦＮＳＴは、ＬＦＮＳＴ変換セット、前記ＬＦＮＳＴ変換セットに含まれているＬＦＮＳＴカーネル、及び前記ＬＦＮＳＴカーネルを指示するＬＦＮＳＴインデックスに基づいて実行され、
前記ＬＦＮＳＴインデックスに対するシンタックス要素ｂｉｎストリングの１番目のｂｉｎは、前記現在ブロックのツリータイプによって異なるコンテキスト情報に基づいて導出され、前記シンタックス要素ｂｉｎストリングの２番目のｂｉｎは、既設定されたコンテキスト情報に基づいて導出されることを特徴とする映像デコーディング方法。