JP2023118765A - 変換スキップフラグを利用した映像コーディング方法及び装置 - Google Patents

Abstract

【課題】映像コーディングシステムにおいて、変換スキップフラグを利用した映像コーディング方法及び装置に関する。【解決手段】ビットストリームから予測モード情報及びレジデュアル関連情報を取得するステップと、前記予測モード情報に基づいて予測を実行して現在ブロックの予測サンプルを導出するステップと、前記レジデュアル関連情報に基づいて前記現在ブロックのレジデュアルサンプルを導出するステップと、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成するステップと、を含み、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報は、変換スキップフラグを含み、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、前記最大変換スキップサイズに対する情報は、前記ビットストリームから取得されることを特徴とする。【選択図】図１５

Description

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、変換スキップフラグを利用した映像コーディング方法及び装置に関する。

最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像のような高解像度、高品質の映像に対する需要が多様な分野で増加している。映像データが高解像度、高品質になるほど既存の映像データに比べて相対的に送信される情報量またはビット量が増加するため、既存の有線／無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用して映像データを格納する場合、送信費用と格納費用が増加される。

それによって、高解像度、高品質映像の情報を効果的に送信または格納し、再生するために高効率の映像圧縮技術が要求される。

本文書の技術的課題は、映像コーディング効率を向上させる方法及び装置を提供することにある。

本文書の他の技術的課題は、レジデュアルコーディングの効率を向上させる方法及び装置を提供することにある。

本文書の他の技術的課題は、変換スキップの適用可否によってレジデュアルコーディングの効率を向上させる方法及び装置を提供することにある。

本文書の他の技術的課題は、最大変換スキップサイズを可変的に設定することでレジデュアルコーディングの効率を向上させる方法及び装置を提供することにある。

本文書の実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、ビットストリームから予測モード情報及びレジデュアル関連情報を取得するステップ、前記予測モード情報に基づいて予測を実行して現在ブロックの予測サンプルを導出するステップ、前記レジデュアル関連情報に基づいて前記現在ブロックのレジデュアルサンプルを導出するステップ、及び前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成するステップを含み、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含み、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、前記最大変換スキップサイズに対する情報は、前記ビットストリームから取得されることを特徴とする。

本文書の他の実施例によると、映像デコーディングを実行するデコーディング装置が提供される。前記デコーディング装置は、ビットストリームから予測モード情報及びレジデュアル関連情報を取得するエントロピーデコーディング部、前記予測モード情報に基づいて予測を実行して現在ブロックの予測サンプルを導出する予測部、前記レジデュアル関連情報に基づいて前記現在ブロックのレジデュアルサンプルを導出するレジデュアル処理部、及び前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成する加算部を含み、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含み、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、前記最大変換スキップサイズに対する情報は、前記ビットストリームから取得されることを特徴とする。

本文書の他の実施例によると、エンコーディング装置により実行されるビデオエンコーディング方法を提供する。前記方法は、現在ブロックに対して予測を実行して予測サンプルを導出するステップ、前記現在ブロックに対するレジデュアルサンプルを導出するステップ、及び前記予測に対する予測モード情報及び前記レジデュアルサンプルに対するレジデュアル関連情報を含む映像情報をエンコーディングするステップを含み、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含み、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、前記映像情報は、前記最大変換スキップサイズに対する情報を含むことを特徴とする。

本文書の他の実施例によると、ビデオエンコーディング装置を提供する。前記エンコーディング装置は、現在ブロックに対して予測を実行して予測サンプルを導出する予測部、前記現在ブロックに対するレジデュアルサンプルを導出するレジデュアル処理部、及び前記予測に対する予測モード情報及び前記レジデュアルサンプルに対するレジデュアル関連情報を含む映像情報をエンコーディングするエントロピーエンコーディング部を含み、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含み、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、前記映像情報は、前記最大変換スキップサイズに対する情報を含むことを特徴とする。

本文書の他の実施例によると、コンピュータ読み取り可能なデジタル格納媒体を提供する。前記コンピュータ読み取り可能なデジタル格納媒体は、前記デコーディング方法を実行するように引き起こす映像情報が格納されることを特徴とする。

本文書の他の実施例によると、コンピュータ読み取り可能なデジタル格納媒体を提供する。前記コンピュータ読み取り可能なデジタル格納媒体は、前記エンコーディング方法により生成された映像情報が格納されることを特徴とする。

本文書によると、全般的な映像／ビデオ圧縮効率を向上させることができる。

本文書によると、変換スキップ可否フラグを利用してレジデュアルコーディングの効率を向上させることができる。

本文書によると、最大変換スキップサイズを可変的に設定することでレジデュアルコーディングの効率を向上させることができる。

本文書によると、一般的な変換ドメインのレジデュアル信号と特性が異なるピクセルドメインで表現されたレジデュアル信号を効率的に送信することによってコーディング効率を向上させることができる。

本文書が適用されることができるビデオ／映像コーディングシステムの例の概略を示す。 本文書が適用されることができるビデオ／映像エンコーディング装置の構成の概略を説明する図である。 本文書が適用されることができるビデオ／映像デコーディング装置の構成の概略を説明する図である。 逆量子化及び逆変換部の一例を示す。 ２次逆変換部及び１次逆変換部の一例を示す。 変換関連パラメータに基づく逆変換方法の一例である。 具体的な逆変換方法の一例である。 一実施例に係るＣＡＢＡＣエンコーディングシステムのブロック図を示す。 ４×４ブロック内の変換係数の例を示す。 本文書の一実施例に係る残差信号復号化部を示す。 本文書の一実施例に係る変換スキップフラグパーシング決定部を示す。 本文書の一実施例に係る変換スキップ可否フラグをコーディングする方法を説明するための流れ図である。 本文書の実施例によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例の概略を示す。 本文書の実施例によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例の概略を示す。 本文書の実施例によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例の概略を示す。 本文書の実施例によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例の概略を示す。 コンテンツストリーミングシステム構造の概略を示す。

本文書は、様々な変更を加えることができ、様々な実施形態を有することができるため、特定の実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本開示を特定の実施形態に限定しようとすることではない。本明細書において常用する用語は、単に特定の実施形態を説明するために用いられるものであって、本開示の技術的な思想を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」または「有する」などの用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであって、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれを組み合わせたものなどの存在または付加の可能性を予め排除しないものとして理解しなければならない。

一方、本文書において説明される図面上の各構成は、相異なる特徴的な機能に対する説明の便宜のために独立的に示されたものであって、各構成が互いに別個のハードウェアまたは別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち２つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も本発明の本質から外れない限り、本発明の権利範囲に含まれる。

以下、添付の図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複する説明は省略する。

図１は、本文書を適用されることができるビデオ／映像コーディングシステムの例の概略を示す。

図１に示すように、ビデオ／映像コーディングシステムは、第１装置（ソースデバイス）及び第２装置（受信デバイス）を含む。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミングの形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含む。前記受信デバイスは、受信部、デコーディング装置及びレンダラーを含む。前記エンコーディング装置はビデオ／映像エンコーディング装置と呼ばれてもよく、前記デコーディング装置はビデオ／映像デコーディング装置と呼ばれてもよい。送信部はエンコーディング装置に含まれてもよい。受信部はデコーディング装置に含まれてもよい。レンダラーはディスプレイ部を含んでもよく、ディスプレイ部は別個のデバイスまたは外部コンポーネントで構成されてもよい。

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などによりビデオ／映像を取得する。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含んでもよい。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含む。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含み、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどにより仮想のビデオ／映像が生成され、この場合、関連データが生成される過程がビデオ／映像キャプチャ過程に代わることもある。

エンコーディング装置は、入力ビデオ／映像をエンコーディングする。エンコーディング装置は、圧縮及びコーディング効率のために予測、変換、量子化など一連の手順を行う。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力される。

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達する。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど多様な格納媒体を含む。送信部は、予め定められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含んでもよく、放送／通信ネットワークを介する送信のためのエレメントを含んでもよい。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達する。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／映像をデコーディングする。

レンダラーは、デコーディングされたビデオ／映像をレンダリングする。レンダリングされたビデオ／映像はディスプレイ部を介して表示される。

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）または次世代ビデオ／映像コーディング標準（例えば、Ｈ．２６７またはＨ．２６８など）に開示される方法に適用されることができる。

この文書においては、ビデオ／映像コーディングに対する様々な実施形態を提示し、他の言及がない限り、前記実施形態は互いに組み合わせて行われることもできる。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは、１つ以上のスライス／タイルで構成される。１つのピクチャは、１つ以上のタイルグループで構成される。１つのタイルグループは、１つ以上のタイルを含む。ブリックは、ピクチャ内のタイル内のＣＴＵ行の四角領域を示す（ａ ｂｒｉｃｋ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｉｎ ａ ｐｉｃｔｕｒｅ）。タイルは、多数のブリックでパーティショニングされ、各ブリックは、前記タイル内の１つ以上のＣＴＵ行で構成される（Ａ ｔｉｌｅ ｍａｙ ｂｅ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ, ｅａｃｈ ｏｆ ｗｈｉｃｈ ｃｏｎｓｉｓｔｉｎｇ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ｔｈｅ ｔｉｌｅ）。多数のブリックでパーティショニングされていないタイルは、ブリックとも呼ばれる（Ａ ｔｉｌｅ ｔｈａｔ ｉｓ ｎｏｔ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ ｍａｙ ｂｅ ａｌｓｏ ｒｅｆｅｒｒｅｄ ｔｏ ａｓ ａ ｂｒｉｃｋ）。ブリックスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的（シーケンシャル）なオーダリングを示してもよく、前記ＣＴＵは、ブリック内でＣＴＵラスタースキャンで整列されてもよく、タイル内のブリックは前記タイルの前記ブリックのラスタースキャンで連続的に整列されてもよく、そして、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタースキャンで連続的に整列されてもよい（Ａ ｂｒｉｃｋ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｂｒｉｃｋ, ｂｒｉｃｋｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｂｒｉｃｋｓ ｏｆ ｔｈｅ ｔｉｌｅ, ａｎｄ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルは、特定タイル列及び特定タイル列内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列はＣＴＵの四角領域であり、前記四角領域は前記ピクチャの高さと同一の高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示される（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは前記ピクチャの高さと同一である（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ)。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的オーダリングを示し、前記ＣＴＵは、タイル内のＣＴＵラスタースキャンで連続的に整列され、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタースキャンで連続的に整列される（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは、ピクチャの整数個のブリックを含み、前記整数個のブリックは１つのＮＡＬユニットに含まれる（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｂｒｉｃｋｓ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡL ｕｎｉｔ）。スライスは、多数の完全なタイルで構成され、または、１つのタイルの完全なブリックの連続的なシーケンスである（Ａ ｓｌｉｃｅ ｍａｙ ｃｏｎｓｉｓｔｓ ｏｆ ｅｉｔｈｅｒ ａ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ｏｎｌｙ ａ ｃｏｎｓｅｃｕｔｉｖｅ ｓｅｑｕｅｎｃｅ ｏｆ ｃｏｍｐｌｅｔｅ ｂｒｉｃｋｓ ｏｆ ｏｎｅ ｔｉｌｅ）。この文書において、タイルグループとスライスは混用されてもよい。例えば、本文書においては、タイルグループ／タイルグループヘッダはスライス／スライスヘッダと呼ばれてもよい。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、映像）を構成する最小の単位を意味する。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されてもよい。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に対する情報の少なくとも１つを含んでもよい。１つのユニットは１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含む。ユニットは、場合によってはブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混在して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含む。

この文書において「／」と「、」は「及び／または」と解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／またはＣのいずれか１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのいずれか１つ」を意味する（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ, ｔｈｅ ｔｅｒｍ “／” ａｎｄ “,” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ.” Ｆｏｒ ｉｎｓｔａｎｃｅ, ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ.” Ｆｕｒｔｈｅｒ, “Ａ, Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ.” Ｆｕｒｔｈｅｒ, “Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ, Ｂ, ａｎｄ／ｏｒ Ｃ.” Ａｌｓｏ, “Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ, Ｂ, ａｎｄ／ｏｒ Ｃ.”）。

追加的に、本文書において、「または」は「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。言い換えると、本文書の「または」は「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ, ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ, ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ.” Ｆｏｒ ｉｎｓｔａｎｃｅ, ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １) ｏｎｌｙ Ａ, ２) ｏｎｌｙ Ｂ, ａｎｄ／ｏｒ ３) ｂｏｔｈ Ａ ａｎｄ Ｂ. Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ, ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ.”）

図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成の概略を説明する図である。以下、ビデオエンコーディング装置は、映像エンコーディング装置を含むことができる。

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）とも呼ばれる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内部／外部コンポーネントとしてさらに含むこともできる。

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）とも呼ばれる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリィ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリィ構造が後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）一層下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順は、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混在して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行で構成されたサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。

エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）からインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内で入力映像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１とも呼ばれる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるかまたはインター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に対する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に対する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることもでき、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するためにどのような候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）とも呼ばれる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動画コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出するという点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに対する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

前記予測部（インター予測部２２１及び／または前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正四角形の同じ大きさを有するピクセルブロックに適用されることもでき、正四角形でない可変の大きさのブロックにも適用されることができる。

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に対する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に対する情報は、レジデュアル情報とも呼ばれる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に対する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに対する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／またはシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内部／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加算することによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。加算部２５０は、復元部または復元ブロック生成部とも呼ばれる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的には、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに対する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリングに対する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０ＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成の概略を説明する図である。

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内部／外部コンポーネントとしてさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造及び／またはターナリィツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに対する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに対する情報及び／または前記一般制限情報にも基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前のステップでデコーディングされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち予測に対する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出することができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうちフィルタリングに対する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内部／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコーディング部３１０の構成要素である。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置とも呼ばれ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち少なくとも一つを含むことができる。

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に対する情報に基づいて前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部３２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）とも呼ばれる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともできまたはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動画コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出するという点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに対する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に対する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／またはイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加算することによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。

加算部３４０は、復元部または復元ブロック生成部とも呼ばれる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て出力されることもでき、または次のピクチャのインター予測のために使われることもできる。

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２６０に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。

本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例は、各々、デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同様にまたは対応するように適用されることができる。

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を向上させるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を向上させることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

本文書では、図２の前記エンコーディング装置の変換部、量子化部、逆量子化部または逆変換部に対して、または図３の前記デコーディング装置の逆量子化部または逆変換部に対して詳細に説明する。ここで、前記エンコーディング装置は、エントロピーエンコーディングを介して変換及び量子化された情報からビットストリームを導出することができ、前記デコーディング装置は、エントロピーデコーディングを介してビットストリームから変換及び量子化された情報を導出することができる。以下では逆量子化部及び逆変換部に対して説明し、変換部及び量子化部は、前記逆量子化部及び逆変換部と同じ動作を逆に実行することができる。また、逆量子化部及び逆変換部は、逆量子化及び逆変換部で示すこともでき、変換部及び量子化部は、変換及び量子化部で示すこともできる。

また、本文書において、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）は、少なくとも２個以上の変換タイプを利用して変換を実行する方法を意味することができる。これはＡＭＴ（Ａｄａｐｔｉｖｅ Ｍｕｔｌｉｐｌｅ Ｔｒａｎｓｆｏｒｍ）またはＥＭＴ（Ｅｘｐｌｉｃｉｔ Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ）で表現されることもでき、同様に、ｍｔｓ＿ｉｄｘもＡＭＴ＿ｉｄｘ、ＥＭＴ＿ｉｄｘ、ＡＭＴ＿ＴＵ＿ｉｄｘＥＭＴ＿ＴＵ＿ｉｄｘ、変換インデックスまたは変換組み合わせインデックスなどのように表現されることができ、本文書は、このような表現に限定されるものではない。

図４は、逆量子化及び逆変換部の一例を示す。

図４を参照すると、逆量子化及び逆変換部４００は、逆量子化部４１０、２次逆変換部（ｉｎｖｅｒｓｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）４２０、及び１次逆変換部（ｉｎｖｅｒｓｅ ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍｕ ｎｉｔ）４３０を含むことができる。

前記逆量子化部４１０では量子化ステップサイズ情報を利用してエントロピーデコーディングされた信号（または、量子化された変換係数）に対して逆量子化を実行して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができ、前記２次逆変換部４２０では前記変換係数に対して２次逆変換を実行することができる。また、１次逆変換部４３０は、２次逆変換された信号またはブロック（または、変換係数）に対して１次逆変換を実行することができ、１次逆変換を介してデコーディングされたレジデュアル信号が取得されることができる。ここで、２次逆変換は、２次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）の逆変換を示すことができ、１次逆変換は、１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）の逆変換を示すことができる。

本文書では、予測モード、ブロック大きさまたはブロック形状（ｂｌｏｃｋ ｓｈａｐｅ）のうち少なくとも一つにより区分される変換設定グループ（ｔｒａｎｓｆｏｒｍ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｇｒｏｕｐ）別に変換組み合わせ（ｔｒａｎｓｆｏｒｍ ｃｏｍｂｉｎａｔｉｏｎ）を構成することができ、前記１次逆変換部４３０は、本文書により構成された変換組み合わせに基づいて逆変換を実行することができる。また、本文書で後述する実施例が適用されることができる。

図５は、２次逆変換部及び１次逆変換部の一例を示す。

図５を参照して逆変換過程を具体的に見ると、逆変換過程は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）５１０及び２次逆変換決定部（または、２次逆変換を決定する要素）５２０、２次逆変換部５３０及び１次逆変換部５４０が利用されることができる。ここで、図４の２次逆変換部４２０は、図５の２次逆変換部５３０と同じであり、図５の２次逆変換適用可否決定部５１０、２次逆変換決定部５２０、及び２次逆変換部５３０のうち少なくとも一つを含むこともできるが、表現によって変わることができるため、これに限定されるものではない。また、図４の１次逆変換部４３０は、図５の１次逆変換部５４０と同じであるが、表現によって変わることができるため、これに限定されるものではない。

２次逆変換適用可否決定部５１０は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴまたはＲＳＴである。一例として、２次逆変換適用可否決定部５１０は、エンコーディング装置から受信した２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例として、２次逆変換適用可否決定部５１０は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

２次逆変換決定部５２０は、２次逆変換を決定することができる。このとき、２次逆変換決定部５２０は、イントラ予測モードによって指定されたＮＳＳＴ（または、ＲＳＴ）変換セット（ｓｅｔ）に基づいて現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、１次変換決定方法に依存して２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。

また、一例として、２次逆変換決定部５２０は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

２次逆変換部５３０は、決定された２次逆変換を利用して逆量子化されたレジデュアルブロックに対して２次逆変換を実行することができる。

１次逆変換部５４０は、２次逆変換されたレジデュアルブロックに対して１次逆変換を実行することができる。１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、コア変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）とも呼ばれる。一例として、１次逆変換部５４０は、前述したＭＴＳを利用して１次変換を実行することができる。また、一例として、１次逆変換部５４０は、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。

一例として、現在ブロックにＭＴＳが適用される場合（または、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が１である場合）、１次逆変換部５４０は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。また、１次逆変換部５４０は、構成されたＭＴＳ候補のうち、特定ＭＴＳを指示するｍｔｓ＿ｉｄｘシンタックス要素を利用して現在ブロックに適用される１次変換を決定することができる。

図６は、変換関連パラメータに基づく逆変換方法の一例である。

図６を参照すると、一実施例は、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を取得することができる（Ｓ６００）。ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がイントラコーディングユニットのレジデュアルコーディングシンタックスに含まれるかに対する情報を示すことができる。例えば、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０である場合、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がイントラコーディングユニットのレジデュアルコーディングシンタックスに含まれない。または、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１である場合、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がイントラコーディングユニットのレジデュアルコーディングシンタックスに含まれる。

また、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がインターコーディングユニットのレジデュアルコーディングシンタックスに含まれるかに対する情報を示すことができる。例えば、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０である場合、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がインターコーディングユニットのレジデュアルコーディングシンタックスに含まれない。または、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１である場合、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素がインターコーディングユニットのレジデュアルコーディングシンタックスに含まれる。

ここで、前記ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素は、多変換選択（ＭＴＳ：Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）がルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示すことができる。

一実施例は、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素を取得することができる（Ｓ６１０）。例えば、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１である場合、一実施例は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素を取得することができる。例えば、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０である場合、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されない。または、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が１である場合、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。

一実施例は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素に基づいてｍｔｓ＿ｉｄｘシンタックス要素を取得することができる（Ｓ６２０）。ここで、ｍｔｓ＿ｉｄｘシンタックス要素は、どのような変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）が現在（ルマ）変換ブロックの水平及び／または垂直方向によるルマレジデュアルサンプルに適用されるかに対する情報を示すことができる。例えば、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が１である場合、一実施例は、ｍｔｓ＿ｉｄｘシンタックス要素を取得する。または、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０である場合、一実施例は、ｍｔｓ＿ｉｄｘシンタックス要素を取得しない。

一実施例は、ｍｔｓ＿ｉｄｘシンタックス要素に対応される変換カーネルを誘導することができる（Ｓ６３０）。または、一実施例は、ｍｔｓ＿ｉｄｘシンタックス要素に基づいて変換カーネルを導出することができる。

一方、他の一実施例として、前記ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素及び／または前記ｍｔｓ＿ｉｄｘシンタックス要素に対して本文書の実施例のうち少なくとも一つが適用されることもできる。

例えば、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてレジデュアルコーディングシンタックスに含まれることができ、ｍｔｓ＿ｉｄｘシンタックス要素は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素に基づいて変換ユニットシンタックスに含まれることができる。

または、例えば、前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができ、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。または、前記ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素は省略されることができ、前記ｍｔｓ＿ｉｄｘシンタックス要素が前記ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてコーディングユニットシンタックスに含まれることもできる。

例えば、前記ｍｔｓ＿ｉｄｘシンタックス要素に対応される変換カーネルは、水平変換及び垂直変換に区分されて定義されることができる。または、前記ｍｔｓ＿ｉｄｘシンタックス要素に基づいて決定される変換カーネルを水平変換及び垂直変換が区分されることができる。一方、前記水平変換及び垂直変換は、互いに異なる変換カーネルが適用されることができるが、同じ変換カーネルが適用されることもできるため、これに限定されるものではない。

例えば、ｍｔｓ＿ｉｄｘシンタックス要素に基づいて決定される水平変換及び垂直変換に適用される変換カーネルに対する情報は、表１または表２の通りである。

一実施例は、前記変換カーネルに基づいて逆変換を実行することができる（Ｓ６４０）。本文書において、逆変換は、変換で示すことができ、変換の逆を示すこともできる。

図７は、具体的な逆変換方法の一例である。

図７を参照すると、一実施例は、変換大きさ（ｎＴｂＳ）を確認することができる（Ｓ７１０）。例えば、前記変換大きさ（ｎＴｂＳ）は、スケールされた（ｓｃａｌｅｄ）変換係数の水平サンプル大きさを示す変数である。

一実施例は、変換カーネルタイプ（ｔｒＴｙｐｅ）を確認することができる（Ｓ７２０）。例えば、前記変換カーネルタイプ（ｔｒＴｙｐｅ）は、変換カーネルのタイプを示す変数であり、本文書の多様な実施例が適用されることができる。例えば、変換カーネルタイプは、図６で説明したｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒを示すこともできる。

一実施例は、変換大きさ（ｎＴｂＳ）または変換カーネルタイプ（ｔｒＴｙｐｅ）のうち少なくとも一つに基づいて変換行列の掛け算を実行することができる（Ｓ７３０）。例えば、変換カーネルタイプ（ｔｒＴｙｐｅ）に基づいて特定演算が適用されることができる。または、例えば、変換大きさ（ｎＴｂＳ）及び変換カーネルタイプ（ｔｒＴｙｐｅ）に基づいて既に決定された変換行列が適用されることもできる。

一実施例は、前記変換行列の掛け算に基づいて変換サンプルを導出することができる（Ｓ７４０）。

エンコーディング装置／デコーディング装置は、前述した逆変換過程を実行することができ、エンコーディング装置は、前述した逆変換過程の逆である変換過程も実行することができる。

図８は、一実施例に係るＣＡＢＡＣエンコーディングシステムのブロック図を示し、単一シンタックス要素をコーディングするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）のブロック図を示す。

ＣＡＢＡＣのエンコーディング過程は、まず、入力信号が二進値でないシンタックス要素（ｓｙｎｔａｘ）である場合、二進化を介して入力信号を二進値に変換する。入力信号が既に二進値である場合、二進化を経ずにバイパス、即ち、コーディングエンジンに入力されることができる。ここで、二進値を構成する各々の二進数０または１をビン（ｂｉｎ）ということができる。例えば、二進化された後の二進ストリングが１１０である場合、１、１、０の各々を一つのビンという。一つのシンタックス要素に対する前記ビンは、該当シンタックス要素の値を示すことができる。

二進化されたビンは、正規（ｒｅｇｕｌａｒ）コーディングエンジンまたはバイパスコーディングエンジンに入力されることができる。

正規コーディングエンジンは、該当ビンに対して確率値を反映するコンテキストモデルを割り当て、割り当てられたコンテキストモデルに基づいて該当ビンをコーディングすることができる。正規コーディングエンジンでは各ビンに対するコーディングを実行した後に該当ビンに対する確率モデルを更新することができる。このようにコーディングされるビンをコンテキストコーディングされたビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）ということができる。

バイパスコーディングエンジンは、入力されたビンに対して確率を推定する手順とコーディング後に該当ビンに適用した確率モデルを更新する手順を省略する。コンテキストを割り当てる代わりに、均一な確率分布を適用して入力されるビンをコーディングすることでコーディング速度を向上させる。このようにコーディングされるビンをバイパスビン（ｂｙｐａｓｓ ｂｉｎ）という。

エントロピーエンコーディングは、正規コーディングエンジンを介してコーディングを実行するか、またはバイパスコーディングエンジンを介してコーディングを実行するかを決定し、コーディング経路をスイッチングすることができる。エントロピーデコーディングは、エントロピーエンコーディングと同じ過程を逆順に実行する。

一方、一実施例において、（量子化された）変換係数は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘ、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇ、ａｂｓ＿ｒｅｍａｉｎｄｅｒ、ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ及び／またはｍｔｓ＿ｉｄｘなどのシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）に基づいて符号化及び／または復号化されることができる。

例えば、レジデュアル関連情報またはレジデュアル関連情報に含まれているシンタックス要素は、表３乃至表５のように示すことができる。または、レジデュアル関連情報に含まれているレジデュアルコーディング情報またはレジデュアルコーディングシンタックスに含まれているシンタックス要素は、表３乃至表５のように示すことができる。表３乃至表５は、一つのシンタックスを連続して示すことができる。

例えば、レジデュアル関連情報は、レジデュアルコーディング情報（または、レジデュアルコーディングシンタックスに含まれているシンタックス要素）または変換ユニット情報（または、変換ユニットシンタックスに含まれているシンタックス要素）を含むことができ、レジデュアルコーディング情報は、表６乃至表９のように示すことができ、変換ユニット情報は、表１０または表１１のように示すことができる。表６乃至表９は、一つのシンタックスを連続して示すことができる。

前記シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは、関連したブロック（ａｓｓｏｃｉａｔｅｄ ｂｌｏｃｋ）に変換が省略されるかどうかを示す。前記関連したブロックは、ＣＢ（ｃｏｄｉｎｇ ｂｌｏｃｋ）またはＴＢ（Ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）である。変換（及び量子化）及びレジデュアルコーディング手順に対して、ＣＢとＴＢは混用されることができる。例えば、ＣＢに対してレジデュアルサンプルが導出され、前記レジデュアルサンプルに対する変換及び量子化を介して（量子化された）変換係数が導出されることができることは、前述の通りであり、レジデュアルコーディング手順を介して前記（量子化された）変換係数の位置、大きさ、符号などを効率的に示す情報（例えば、シンタックス要素）が生成されてシグナリングされることができる。量子化された変換係数は、簡単に変換係数とも呼ばれる。一般的にＣＢが最大ＴＢより大きくない場合、ＣＢのサイズは、ＴＢのサイズと同じであり、この場合、変換（及び量子化）及びレジデュアルコーディングされる対象ブロックは、ＣＢまたはＴＢとも呼ばれる。一方、ＣＢが最大ＴＢより大きい場合、変換（及び量子化）及びレジデュアルコーディングされる対象ブロックは、ＴＢとも呼ばれる。以下、レジデュアルコーディングに関連したシンタックス要素が変換ブロック（ＴＢ）単位でシグナリングされると説明するが、これは例示に過ぎず、前記ＴＢは、コーディングブロック（ＣＢ）と混用されることができることは、前述の通りである。

前記表３乃至表５において、前記シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは、レジデュアルコーディングシンタックスでシグナリングされると示したが、これは例示に過ぎず、前記シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは、前記表１０または表１１のように変換ユニットシンタックスでシグナリングされることもできる。前記レジデュアルコーディングシンタックス及び前記変換ユニットシンタックスは、前記レジデュアル（関連）情報と総称できる。例えば、前記シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは、ルマ成分（ルマ成分ブロック）に対してのみシグナリングされることができる（表１０参照）。具体的に、例えば、前記輝度成分ブロックに０でない有効係数が存在する場合、前記レジデュアル関連情報は、前記輝度成分ブロックに対する前記変換スキップフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）を含むことができる。この場合、前記レジデュアル関連情報は、前記色差成分ブロックに対する前記変換スキップフラグを含まない。即ち、前記レジデュアル関連情報は、前記輝度成分ブロックに対する前記変換スキップフラグを含み、前記色差成分ブロックに対する前記変換スキップフラグを含まない。即ち、この場合、前記色差成分ブロックに対する前記変換スキップフラグは、明示的にシグナリングされずに、前記色差成分ブロックに対する前記変換スキップフラグの値は、０に導出／推論（ｉｎｆｅｒ）されることができる。

または、他の例として、前記シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは、輝度成分（輝度成分ブロック）及び色差成分（色差成分ブロック）に対して各々シグナリングされることもできる（表１１参照）。

また、前記表３乃至表５または表６乃至表９を参照すると、一実施例において、シンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ、及びｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘに基づいて変換ブロック内の最後の０でない変換係数の（ｘ、ｙ）位置情報をコーディングすることができる。より具体的に、シンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは、変換ブロック内のスキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の列位置（ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）のプレフィックス（ｐｒｅｆｉｘ）を示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の行位置（ｒｏｗ ｐｏｓｉｔｉｏｎ）のプレフィックス（ｐｒｅｆｉｘ）を示し、シンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の列位置（ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）のサフィックス（ｓｕｆｆｉｘ）を示し、シンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）での最後の（ｌａｓｔ）有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の行位置（ｒｏｗ ｐｏｓｉｔｉｏｎ）のサフィックス（ｓｕｆｆｉｘ）を示す。ここで、有効係数は、前記０でない係数を示すことができる。前記スキャン順序は、右上向対角スキャン順序である。または、前記スキャン順序は、水平スキャン順序、または垂直スキャン順序である。前記スキャン順序は、対象ブロック（ＣＢ、またはＴＢを含むＣＢ）にイントラ／インター予測が適用されるかどうか及び／または具体的なイントラ／インター予測モードに基づいて決定されることができる。

その次に、変換ブロックを４×４サブブロック（ｓｕｂ－ｂｌｏｃｋ）に分割した後、各４×４サブブロック毎に１ビットのシンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇを使用して現在サブブロック内に０でない係数が存在するかどうかを示すことができる。前記サブブロックは、ＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）と混在して使われることができる。

シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇの値が０である場合、それ以上送信する情報がないため、現在サブブロックに対するコーディング過程を終了することができる。それに対して、シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇの値が１である場合、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇに対するコーディング過程を実行し続けることができる。最後の０でない係数を含むサブブロックは、シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇに対するコーディングが不必要であり、変換ブロックのＤＣ情報を含んでいるサブブロックは、０でない係数を含む確率が高いため、シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは、コーディングされずにその値が１であると仮定されることができる。

もし、シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇの値が１であるため、現在サブブロック内に０でない係数が存在すると判断される場合、逆にスキャンされた順序によって二進値を有するシンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇをコーディングすることができる。スキャン順序によって、各々の係数に対して１ビットシンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇをコーディングすることができる。もし、現在スキャン位置で変換係数の値が０でない場合、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの値は、１になることができる。ここで、最後の０でない係数を含んでいるサブブロックの場合、最後の０でない係数に対してはシンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇをコーディングする必要がないため、前記サブブロックに対するコーディング過程が省略されることができる。シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが１である場合にのみレベル情報コーディングが実行されることができ、レベル情報コーディング過程には４個のシンタックス要素を使用することができる。より具体的に、各シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｘＣ］［ｙＣ］は、現在ＴＢ内の各変換係数位置（ｘＣ、ｙＣ）での該当変換係数のレベル（値）が０でないか（ｎｏｎ－ｚｅｒｏ）どうかを示すことができる。一実施例において、前記シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇは、量子化された変換係数が０でない有効係数かどうかを示す有効係数フラグの一例示に該当できる。

シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇに対するコーディング以後の残ったレベル値は、以下の数式１の通りである。即ち、コーディングすべきレベル値を示すシンタックス要素ｒｅｍＡｂｓＬｅｖｅｌは、以下の数式１の通りである。ここで、ｃｏｅｆｆは、実際の変換係数値を意味することができる。

シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇは、該当スキャニング位置（ｎ）でのｒｅｍＡｂｓＬｅｖｅｌ′は、１より大きいかどうかを示すことができる。ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇの値が０である場合、該当位置の係数の絶対値は１である。ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇの値が１である場合、以後コーディングすべきレベル値ｒｅｍＡｂｓＬｅｖｅｌは、以下の数式２の通りである。

シンタックス要素ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇを介して以下の数式３のように、数式２に記載されたｒｅｍＡｂｓＬｅｖｅｌのｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ（ＬＳＢ）値をコーディングすることができる。ここで、シンタックス要素ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］は、スキャニング位置ｎでの変換係数レベル（値）のパリティ（ｐａｒｉｔｙ）を示すことができる。シンタックス要素ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇコーディング後にコーディングすべき変換係数レベル値ｒｅｍＡｂｓＬｅｖｅｌを以下の数式４のようにアップデートできる。

シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇは、該当スキャニング位置（ｎ）でのｒｅｍＡｂｓＬｅｖｅｌ′は３より大きいかどうかを示すことができる。シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇが１である場合にのみシンタックス要素ａｂｓ＿ｒｅｍａｉｎｄｅｒのコーディングが実行されることができる。実際の変換係数値であるｃｏｅｆｆと各シンタックス要素（ｓｙｎｔａｘ）の関係を整理すると、以下の数式５の通りであり、以下の表１２は、数式５と関連した例を示すことができる。最後に、各係数の符号は、１ビットシンボルであるシンタックス要素ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇを利用してコーディングされることができる。｜ｃｏｅｆｆ｜は、変換係数レベル（値）を示すことができ、変換係数に対するＡｂｓＬｅｖｅｌと表示されることもできる。

一実施例において、前記ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇは、前記量子化された変換係数に対する変換係数レベルのパリティに対するパリティレベルフラグの一例を示し、前記ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇは、変換係数レベルまたはコーディングすべきレベル（値）が第１の閾値より大きいかどうかに対する第１の変換係数レベルフラグの一例を示し、前記ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇは、変換係数レベルまたはコーディングすべきレベル（値）が第２の閾値より大きいかどうかに対する第２の変換係数レベルフラグの一例を示すことができる。

図９は、４×４ブロック内の変換係数の例を示す。

図９の４×４ブロックは、量子化された係数の一例を示すことができる。図９に示すブロックは、４×４変換ブロックであり、または８×８、１６×１６、３２×３２、６４×６４変換ブロックの４×４サブブロックである。図９の４×４ブロックは、輝度ブロックまたは色差ブロックを示すことができる。図９の逆対角線スキャンされる係数に対するコーディング結果は、例えば、表１３の通りである。表１３においてｓｃａｎ＿ｐｏｓは、逆対角線スキャンによる係数の位置を示すことができる。ｓｃａｎ＿ｐｏｓ１５は、４×４ブロックで最初にスキャンされる、即ち、右側下段コーナーの係数を示すことができ、ｓｃａｎ＿ｐｏｓ０は最後にスキャンされる、即ち、左側上段コーナーの係数を示すことができる。一方、一実施例において、前記ｓｃａｎ＿ｐｏｓは、スキャン位置とも呼ばれる。例えば、前記ｓｃａｎ＿ｐｏｓ０は、スキャン位置０とも呼ばれる。

一方、ＣＡＢＡＣは、高い性能を提供するが、処理量（ｔｈｒｏｕｇｈｐｕｔ、スループット）性能がよくないという短所を有する。これはＣＡＢＡＣの正規コーディングエンジンのためである。正規コーディングは、以前にビンのコーディングを介してアップデートされた確率状態と範囲を使用するため、高いデータ依存性を見せ、確率区間を読み取って現在状態を判断するときに多くの時間を必要とする。これはコンテキストコーディングされたビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）の数を制限することによってＣＡＢＡＣの処理量問題を解決することができる。したがって、表３乃至表５または表６乃至表９のようにシンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇを表現するために使われたビンの和がサブブロックの大きさによって、４×４サブブロックの場合は２８、２×２サブブロックの場合は６（ｒｅｍＢｉｎｓＰａｓｓ１）に制限されることができ、シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇのコンテキストコーディングされたビンの数が４×４サブブロックである場合は４、２×２サブブロックである場合は２（ｒｅｍＢｉｎｓＰａｓｓ２）に制限されることができる。コンテキスト要素をコーディングするときに制限されたコンテキストコーディングされたビンを全て使用する場合、残りの係数は、ＣＡＢＡＣを使用せずに二進化してｂｙｐａｓｓコーディングを実行することができる。

一方、本文書の一実施例は、統合変換タイプシグナリング（ｕｎｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ｓｉｇｎａｌｉｎｇ）方法を提案することができる。

例えば、ＭＴＳ適用可否に対する情報は、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素で示すことができ、適用される変換カーネルに対する情報は、ｍｔｓ＿ｉｄｘシンタックス要素で示すことができる。また、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素は、変換ユニットシンタックスに含まれることができ、ｍｔｓ＿ｉｄｘシンタックス要素は、レジデュアルコーディングシンタックスに含まれることができ、例えば、表１４及び表１５のように示すことができる。

ただし、本文書の一実施例は、統合変換タイプシグナリングであって、一つの情報のみでＭＴＳ適用可否に対する情報及び適用される変換カーネルに対する情報を示すことができる。例えば、前記一つの情報は、統合変換タイプに対する情報で示すこともでき、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素で示すこともできる。この場合、前記ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素及び前記ｍｔｓ＿ｉｄｘシンタックス要素は、省略されることができる。ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素は、変換ユニットシンタックスに含まれることができ、例えば、表１６のように示すことができる。

ＭＴＳフラグ（または、ｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素）をパーシングした後、ＴＳ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）フラグ（または、ｔｒａｎｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）の次にＭＴＳインデックス（または、ｍｔｓ＿ｉｄｘシンタックス要素）のために２個のビン（ｂｉｎ）を有する固定長コーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）が実行される代わりに、本文書の一実施例によってＴＵ（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）二進化（ｂｉｎａｒｉｚａｔｉｏｎ）を利用する新しいジョイント（ｊｏｉｎｔ）シンタックス要素であるｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素が利用されることができる。１番ビンはＴＳ、第２のＭＴＳ、及び次の全てのＭＴＳインデックスを示すことができる。

例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素のセマンティックス及び二進化は、表１７または表１８のように示すことができる。

例えば、コンテキストモデルの個数は変更されることができないし、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の各ビン（ｂｉｎ）のためのコンテキストインデックス増分（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）であるｃｔｘＩｎｃの割当は、表１９のように示すことができる。

一方、本文書の一実施例は、変換スキップのためのレジデュアルコーディング方法を提案することができる。

例えば、量子化された予測レジデュアル（空間ドメイン）を示す変換スキップレベルの統計及び信号特性にレジデュアルコーディングを適応させるために、下記の項目が修正されることができる。

（１）最後の有効スキャニングポジションが無い（ｎｏ ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｓｃａｎｎｉｎｇ ｐｏｓｉｔｉｏｎ）：レジデュアル信号が予測以後の空間的レジデュアルを反映し、変換によるエネルギー圧縮（ｅｎｅｒｇｙ ｃｏｍｐａｃｔｉｏｎ）がＴＳ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）に対して実行されないため、変換ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）コーナーでトレーリングゼロ（ｔｒａｉｌｉｎｇ ｚｅｒｏ）または有効でない（ｉｎｓｉｇｎｉｆｉｃａｎｔ）レベルのための高い確率がそれ以上提供されない。したがって、最後の有効スキャニングポジションシグナリングは、省略されることができる。その代わりに、処理される１番目のサブブロックは、変換ブロック内で最も右下側のサブブロックである。

（２）サブブロックＣＢＦｓ：最後の有効スキャニングポジションシグナリングの不在によってＴＳのためのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素を有するサブブロックＣＢＦシグナリングは、下記のように修正されることができる。

－量子化によって、前述した有効でないシーケンスは、依然として変換ブロック内で局部的に（ｌｏｃａｌｌｙ）発生できる。したがって、最後の有効スキャニングポジションは、前述したように除去されることができ、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素は、全てのサブブロックに対してコーディングされることができる。

－ＤＣ周波数位置をカバーするサブブロック（左上段サブブロック）に対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素は、特別なケースで示すことができる。例えば、該当サブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素は、シグナリングされないし、常に１に推論されることができる。最後の有効スキャニングポジションが他のサブブロックに位置する場合、ＤＣサブブロック（ＤＣ周波数位置をカバーするサブブロック）の外に少なくとも一つの有効レベルがあることを意味することができる。結果的に、ＤＣサブブロックは、該当サブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素の値が１であると推論されるが、０／有効でないレベルのみを含むことができる。ＴＳに最後のスキャニングポジション情報がない場合、各サブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素がシグナリングされることができる。これは他の全てのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素の値が既に０である場合を除いて、ＤＣサブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素が含まれることができる。この場合、ＤＣサブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素の値が１に推論されることができる（ｉｎｆｅｒＤｃＳｂＣｂｆ＝１）。このＤＣサブブロックには少なくとも一つの有効レベルがあるべきであるため、ＤＣサブブロック内の他の全てのｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素の値が０である代わりに、１番目のポジション（０、０）に対するｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素がシグナリングされないし、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素の値は、１に導出されることができる（ｉｎｆｅｒＳｂＤｃＳｉｇＣｏｅｆｆＦｌａｇ＝１）。

－ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素に対するコンテキストモデリングが変更されることができる。コンテキストモデルインデックスは、現在サブブロックの代わりに、右側のｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素及び下側のｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素の和、並びに二つの論理和（ｌｏｇｉｃａｌ ｄｉｓｊｕｎｃｔｉｏｎ）に計算されることができる。

（３）ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素のコンテキストモデリング：ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素のコンテキストモデリングのローカルテンプレートは、現在のスキャニングポジションの右隣（ＮＢ₀）及び下隣（ＮＢ₁）を含むように修正されることができる。コンテキストモデルオフセットは、有効な隣接ポジションｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ₀］＋ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ₁］の個数である。したがって、現在の変換ブロック内の対角線（ｄｉａｇｏｎａｌ）ｄによって他のコンテキストセット（ｓｅｔ）の選択が除去されることができる。これはｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素をコーディングするための３個のコンテキストモデル及び単一（ｓｉｎｇｌｅ）コンテキストモデルセットを引き起こすことができる。

（４）ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇシンタックス要素及びｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇシンタックス要素のコンテキストモデリング：ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇシンタックス要素及びｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇシンタックス要素には単一（ｓｉｎｇｌｅ）コンテキストモデルが使われることができる。

（５）ａｂｓ＿ｒｅｍａｉｎｄｅｒシンタックス要素のコーディング：変換スキップレジデュアル絶対レベルの経験的分布（ｅｍｐｉｒｉｃａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）は、一般的に依然としてラプラシアン（ｌａｐｌａｃｉａｎ）または幾何分布（ｇｅｏｍｅｔｒｉｃｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）に適するが、変換係数の絶対レベルより大きいインステーショナリティ（ｉｎｓｔａｔｉｏｎａｒｉｔｙ）が存在できる。特に、連続的な実現（ｒｅａｌｉｚａｔｉｏｎ）のウィンドウ内の分散（ｖａｒｉａｎｃｅ）は、レジデュアル絶対レベルに対してより高い。それによって、ａｂｓ＿ｒｅｍａｉｎｄｅｒシンタックス要素の二進化及びコンテキストモデリングは、下記のように修正されることができる。

－二進化に一層高いカットオフ（ｃｕｔｏｆｆ）値を利用すること、即ち、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇシンタックス要素、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇシンタックス要素、及びａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇシンタックス要素に使用したコーディングからａｂｓ＿ｒｅｍａｉｎｄｅｒシンタックス要素に対するライスコード（ｒｉｃｅ ｃｏｄｅ）への転換点（ｔｒａｎｓｉｔｉｏｎ ｐｏｉｎｔ）及び各ビンポジションに対する専用コンテキストモデルは、より一層高い圧縮効率を引き起こすことができる。カットオフを増加させることは、例えば、カットオフに到達する時までａｂｓ＿ｌｅｖｅｌ＿ｇｔ５＿ｆｌａｇシンタックス要素及びａｂｓ＿ｌｅｖｅｌ＿ｇｔ７＿ｆｌａｇシンタックス要素などを導入することのように、“Ｘより大きい”フラグを引き起こすことができる。カットオフ自体は、５に固定されることができる（ｎｕｍＧｔＦｌａｇｓ＝５）。

－ライスパラメータ（ｒｉｃｅ ｐａｒａｍｅｔｅｒ）導出のためのテンプレートが修正されることができる。即ち、現在のスキャニングポジションの左隣及び下側の隣のみがｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素のコンテキストモデリングのためのローカルテンプレートに類似するように考慮されることができる。

（６）ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇシンタックス要素のコンテキストモデリング：符号のシーケンス内のインステーショナリティ（ｉｎｓｔａｔｉｏｎａｒｉｔｙ）及び予測レジデュアルがよくバイアス（ｂｉａｓ）される事実によって、グローバル経験的分布（ｅｍｐｉｒｉｃａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）がほぼ均一に分布した場合も、符号は、コンテキストモデルを利用してコーディングされることができる。単一の専用コンテキストモデルは、符号のコーディングに使われることができ、符号は、全てのコンテキストコーディングされたビンを共に維持するためにｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素以後にパーシングされることができる。

（７）コンテキストコーディングされたビンの減少（ｒｅｄｕｃｔｉｏｎ）：１番目のスキャニングパス、即ち、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックス要素、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇシンタックス要素、及びｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇシンタックス要素の送信（ｔｒａｎｓｍｉｓｓｉｏｎ）は、変更されない。ただし、サンプル当たりコンテキストコーディングされたビン（ＣＣＢ：Ｃｏｎｔｅｘｔ Ｃｏｄｅｄ Ｂｉｎ）の最大個数に対する限界（ｌｉｍｉｔ）は、除去されることができ、異なるように処理されることができる。ＣＣＢの減少は、ＣＣＢ＞ｋが有効でない（ＣＣＢ＜ｋ ａｓ ｉｎｖａｌｉｄ）とモードを指定して保証されることができる。ここで、ｋは、正の整数である。例えば、正規レベルコーディングモードに対するｋは、２であるが、これに限定されるものではない。このような限界は、量子化空間の減少に対応されることができる。

例えば、変換スキップレジデュアルコーディングシンタックスは、表２０のように示すことができる。

図１０は、本文書の一例に係る残差信号復号化部を示す。

一方、前記表３乃至表５または表６乃至表８を参照して説明したように、残差信号、特に、レジデュアル信号をコーディングする前に該当ブロックの変換適用可否を伝達することができる。変換ドメインでの残差信号間の相関性を表現することによってデータの圧縮（ｃｏｍｐａｃｔｉｏｎ）が行われ、これをデコーディング装置に伝達し、もし、残差信号間の相関性が足りない場合、データ圧縮が十分に発生しない。このような場合、複雑な計算過程を含む変換過程を省略し、ピクセルドメイン（空間ドメイン）の残差信号をデコーディング装置に伝達できる。

変換を経ないピクセルドメインの残差信号は、一般的な変換ドメインの残差信号と特性（残差信号の分布図、各残差信号の絶対値レベル（ａｂｓｏｌｕｔｅ ｌｅｖｅｌ））が異なるため、以下では本文書の一実施例によってこのような信号をデコーディング装置に効率的に伝達するための残差信号コーディング方法を提案する。

図１０に示すように、残差信号復号化部１０００には該当変換ブロックに変換が適用されるかどうかを示す変換適用可否フラグとビットストリーム（または、コーディングされた二進化コードに対する情報）が入力されることができ、（復号化された）残差信号が出力されることができる。

変換適用可否フラグは、変換可否フラグ、変換スキップ可否フラグまたはシンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇにより示すことができる。コーディングされた二進化コードは、二進化過程を経て残差信号復号化部１０００に入力されることもできる。

残差信号復号化部１０００は、デコーディング装置のエントロピーデコーディング部に含まれることができる。また、図１０において、前記変換適用可否フラグは、説明の便宜のために、ビットストリームと区分したが、前記ビットストリームに含まれることができる。または、前記ビットストリームは、前記変換適用可否フラグだけでなく、変換係数に対する情報（変換が適用される場合、シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ＝０）または残差サンプル（の値）に対する情報（変換が適用されない場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ＝１）を含むことができる。前記変換係数に対する情報は、例えば、前記表３乃至表５または表６乃至表９に示す情報（または、シンタックス要素）を含むことができる。

変換スキップ可否フラグは、変換ブロック単位で送信されることができ、例えば、表３乃至表５では変換スキップ可否フラグを特定のブロック大きさに限定するが（変換ブロックの大きさが４×４以下である時のみｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇをパーシングする条件が含まれる）、一実施例では変換スキップ可否フラグのパーシング可否を決定するブロックの大きさを多様に構成できる。ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの大きさは、変数ｗＮとｈＮに決定されることができ、ｗＮ及びｈＮは、例えば、数式６で示す以下のうち一つの値を有することができる。

例えば、数式６による値を有するｗＮ及びｈＮが適用されることができるシンタックス要素は、表２１のように示すことができる。

例えば、ｗＮ及びｈＮは、各々、５の値を有することができ、この場合、幅が３２以下であり、高さが３２以下のブロックに対して前記変換スキップ可否フラグがシグナリングされることができる。または、ｗＮ及びｈＮは、各々、６の値を有することができ、この場合、幅が６４以下であり、高さが６４以下のブロックに対して前記変換スキップ可否フラグがシグナリングされることができる。例えば、ｗＮ及びｈＮは、数式６のように２、３、４、５または６の値を有することができ、互いに同じ値を有することもでき、互いに異なる値を有することもできる。また、ｗＮ及びｈＮの値に基づいて変換スキップ可否フラグがシグナリングされることができるブロックの幅及び高さが決定されることができる。

前述されたように、変換スキップ可否フラグによって、残差信号をデコーディングする方法が決定されることができる。提案する方法を介して、互いに統計的特性が異なる信号を効率的に処理することによってエントロピー復号化過程での複雑度を削減してコーディング効率を向上させることができる。

図１１は、本文書の一例に係る変換スキップフラグパーシング決定部を示す。

一方、前記表３乃至表５または表６乃至表９を参照して説明したように、一実施例は、残差信号をコーディングする前に該当ブロックの変換適用可否を伝達できる。変換ドメインでの残差信号間の相関性を表現することによってデータの圧縮（ｃｏｍｐａｃｔｉｏｎ）が行われ、これをデコーダに伝達し、もし、残差信号間の相関性が足りない場合、データ圧縮が十分に発生しない。このような場合、複雑な計算過程を含む変換過程を省略してピクセルドメイン（空間ドメイン）の残差信号をデコーダに伝達できる。変換を経ないピクセルドメインの残差信号は、一般的な変換ドメインの残差信号と特性（残差信号の分布図、各残差信号のａｂｓｏｌｕｔｅ ｌｅｖｅｌなど）が異なるため、このような信号をデコーダに効率的に伝達するための残差信号符号化方法を提案する。

変換スキップ可否フラグは、変換ブロック単位で送信されることができ、例えば、変換スキップ可否フラグのシグナリングを特定のブロック大きさに限定するが（変換ブロックの大きさが４×４以下である時のみｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇをパーシングする条件が含まれる）、一実施例では変換スキップ可否フラグのパーシング可否を決定する条件をブロックの幅または高さに対する情報でないブロック内のピクセルまたはサンプルの個数に定義することができる。即ち、変換スキップ可否フラグ（例えば、シンタックス要素ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）をパーシングするために使用する条件のうちｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算を利用すると定義することができる。または、変換スキップ可否フラグは、ブロックの幅（例えば、ｌｏｇ２ＴｂＷｉｄｔｈ）及び高さ（例えば、ｌｏｇ２ＴｂＨｅｉｇｈｔ）の掛け算に基づいてパーシングされることができる。または、変換スキップ可否フラグは、ブロックの幅（例えば、ｌｏｇ２ＴｂＷｉｄｔｈ）及び高さ（例えば、ｌｏｇ２ＴｂＨｅｉｇｈｔ）を掛けた値によってパーシング可否が決定されることができる。例えば、ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔは、数式７で示す以下のうち一つの値を有することができる。

一実施例によると、ブロック内のサンプルの個数に基づいて変換スキップ可否フラグのパーシング可否を決定する場合、ブロックの幅及び高さに基づいて前記パーシング可否を決定することより多様な形状のブロックを（変換スキップ可否フラグをパーシングしない）変換除外ブロックに含ませることができる。

例えば、ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔが全て２に定義された場合、２×４、４×２、及び４×４のブロックのみが変換除外ブロックに含まれることができるが、サンプル個数に制御する場合、ブロック内にサンプルの個数が１６個以下であるブロックが変換除外ブロックに含まれるため、前記２×４、４×２、及び４×４のブロックだけでなく、２×８及び８×２大きさのブロックも変換除外ブロックに含ませることができる。

前記変換スキップ可否フラグによって残差信号をデコーディングする方法が決定されることができ、前述した実施例によって互いに統計的特性が異なる信号を効率的に処理することによってエントロピーデコーディング過程での複雑度を削減してコーディング効率を向上させることができる。

例えば、図１１に示すように、変換スキップフラグパーシング決定部１１００にはハイレベルシンタックス内の変換スキップ許容可否に対する情報、ブロック大きさ情報、及びＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）適用可否に対する情報が入力されることができ、変換スキップフラグが出力されることができる。または、変換スキップフラグパーシング決定部にはハイレベルシンタックス内の変換スキップ許容可否に対する情報及びブロック大きさ情報が入力されることができ、これに基づいて変換スキップフラグが出力されることもできる。即ち、前記変換スキップフラグは、前記ハイレベルシンタックス内の変換スキップ許容可否に対する情報によって変換スキップが許容される場合、前記ブロック大きさ情報に基づいて出力（または、パーシング）されることができる。前述した情報は、ビットストリームまたはシンタックスに含まれることができる。変換スキップフラグパーシング決定部１１００は、デコーディング装置のエントロピーデコーディング部に含まれることができる。例えば、前述した情報に基づいて変換スキップフラグが決定される方法は、下記の通りである。

図１２は、本文書の一実施例に係る変換スキップ可否フラグをコーディングする方法を説明するための流れ図である。

前述した実施例を図１２を参照して再び説明すると、下記の通りである。

まず、ハイレベルシンタックス（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）内の変換スキップが許容（ｅｎａｂｌｅ）されるかが判断されることができる（Ｓ１２００）。例えば、前記ハイレベルシンタックス内の変換スキップ許容可否に対する情報（例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素）に基づいて前記ハイレベルシンタックス内の変換スキップが許容されるかが判断されることができる。例えば、前記変換スキップ許容可否に対する情報（例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素）は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）でシグナリングされることができる。または、前記変換スキップ許容可否に対する情報は、ＳＰＳシンタックスに含まれてシグナリングされることができる。または、前記変換スキップ許容可否に対する情報は、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）でまたはＰＰＳシンタックスに含まれてシグナリングされることもできるが、これに限定されるものではない。ここで、前記ハイレベルシンタックス内の変換スキップが許容されるとは、該当ハイレベルシンタックスを参照するスライス／ブロックに変換スキップが許容されることを示すことができる。前記変換スキップが許容されるブロックに実質的に変換スキップが適用されるかどうかは、前述した変換スキップフラグに基づいて決定されることができる。

例えば、前記ハイレベルシンタックス内の変換スキップが許容される場合、シンタックス内にｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０であるかが判断されることができる（Ｓ１２１０）。例えば、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）許容可否に対する情報に基づいて前記ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０であるかが判断されることができる。または、前記ＭＴＳ許容可否に対する情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて判断されることができる。

例えば、前記ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０である場合、ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値（ｔｈｒｅｓｈｏｌｄ）以下であるかが判断されることができる（Ｓ１２２０）。または、現在ブロックの幅の底が２であるログ値及び前記現在ブロックの高さの底が２であるログ値を掛けた値が前記閾値より小さいかが判断されることができる。または、現在ブロックの幅及び高さを掛けた値が閾値より小さいかが判断されることができる。例えば、前記ブロック大きさ情報に基づいてｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値（ｔｈｒｅｓｈｏｌｄ）以下であるかが判断されることができる。前記ブロック大きさ情報は、前記現在ブロックの幅及び高さに対する情報を含むことができる。または、前記ブロック大きさ情報は、前記現在ブロックの幅及び高さの底が２であるログ値に対する情報を含むことができる。

例えば、前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値以下である場合、変換スキップ可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）の値は、１に決定されることができる（Ｓ１２３０）。または、１の値を有する変換スキップ可否フラグがパーシングされることができる。または、例えば、設定または条件によって前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値以下である場合、変換スキップ可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）の値は、０に決定されることができる。または、０の値を有する変換スキップ可否フラグがパーシングされることができる。または、変換スキップ可否フラグがパーシングされないこともある。即ち、前記決定される変換スキップ可否フラグの値は、一例に過ぎず、設定または条件によって変わることができる。即ち、前記変換スキップ可否フラグは、前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値以下である場合、現在ブロックに変換スキップが適用されるという情報を示すことができる。または、前記変換スキップ可否フラグに基づいて、現在ブロックは、変換除外ブロックに含まれることができ、変換が適用されない。

例えば、前記ハイレベルシンタックス内の変換スキップが許容されない場合、前記ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０でない場合、または前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値より大きい場合、変換スキップ可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）の値は、０に決定されることができる（Ｓ１２４０）。または、０の値を有する変換スキップ可否フラグがパーシングされることができる。または、変換スキップ可否フラグがパーシングされないこともある。または、例えば、設定または条件によって前記ハイレベルシンタックス内の変換スキップが許容されない場合、前記ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０でない場合、前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値より大きい場合、変換スキップ可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）の値は、１に決定されることができる。または、１の値を有する変換スキップ可否フラグがパーシングされることができる。即ち、前記決定される変換スキップ可否フラグの値は、一例に過ぎず、設定または条件によって変わることができる。即ち、前記変換スキップ可否フラグは、ハイレベルシンタックス内の変換スキップが許容されない場合、前記ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素の値が０でない場合、前記ｌｏｇ２ＴｂＷｉｄｔｈ及びｌｏｇ２ＴｂＨｅｉｇｈｔの掛け算が閾値より大きい場合、現在ブロックに変換スキップが適用されないという情報を示すことができる。または、前記変換スキップ可否フラグに基づいて、現在ブロックは、変換除外ブロックに含まれなく、変換が適用されることができる。

または、例えば、ｃｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素は、ＭＴＳｔｕ＿ｍｔｓ＿ｆｌａｇシンタックス要素またはｍｔｓ＿ｆｌａｇ要素で示すこともでき、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素（または、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素）またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素（または、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素）が（ＳＰＳシンタックスに含まれて）シグナリングされることができる。

一方、本文書の他の実施例では、変換可否情報を含む変換カーネルインデックス（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ ｉｎｄｅｘ）使用時、変換スキップ大きさの定義方法を提案する。

変換（または、変換コーディング）を実行しないブロックは、一般的な変換が実行されたブロックとレジデュアル（ｒｅｓｉｄｕａｌ）データの特性が異なるため、変換が実行されないブロックのための効率的な残余データコーディング方法が要求されることができる。変換実行可否を示す変換可否フラグは、変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）単位で送信されることができ、本文書では変換ブロックの大きさを限定しない。例えば、変換可否フラグが１である場合、本文書で提案するレジデュアル（データ）コーディング（例えば、表２０と変換スキップのためのレジデュアルコーディング）が実行されることができ、変換可否フラグが０である場合、表３乃至表５または表６乃至表９のようなレジデュアルコーディングが実行されることができる。例えば、変換可否フラグは、レジデュアルコーディングシンタックスまたは変換ユニットシンタックスに含まれるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素を含むことができる。また、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素は、値が１である場合、本文書の一実施例で提案する（変換スキップのための）レジデュアルコーディング方法が実行されることができる。

または、例えば、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の値が１である場合、ｉｆ（!ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）条件によって変換スキップレジデュアルコーディング（ｒｅｓｉｄｕａｌ＿ｔｓ＿ｃｏｄｉｎｇ）シンタックスに基づいて、変換が実行されないレジデュアルコーディングが実行されることもできる。または、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素は、値が０である場合、ｉｆ（！ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）条件によってレジデュアルコーディング（ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ）シンタックスに基づいて、変換が実行されるレジデュアルコーディングが実行されることができる。

または、例えば、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックス要素以下でｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇシンタックス要素を除外したレジデュアルコーディングは、前記本文書の一実施例で提案する（変換スキップのための）レジデュアルコーディング方法の一部または全部に従うことができる。

または、例えば、本文書の一実施例で提案する統合変換タイプシグナリング（ｕｎｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ｓｉｇｎａｌｉｎｇ）方法が実行されることができ、このとき、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値が１である場合（または、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素が対象ブロックに変換が適用されないという情報を示す場合）、前記本文書の一実施例で提案する（変換スキップのための）レジデュアルコーディング方法が実行されることができる。または、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値が０である場合（または、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値が１でない値である場合）、表３乃至表５または表６乃至表９のようなレジデュアルコーディングまたはレジデュアルコーディング（ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ）シンタックスに基づいて、変換が実行されるレジデュアルコーディングが実行されることができる。この場合、本文書の一実施例で提案する統合変換タイプシグナリング（ｕｎｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ｓｉｇｎａｌｉｎｇ）方法と共に説明したように、表３乃至表５で変換可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）及び／または変換インデックス（または、ｍｔｓ＿ｉｄｘシンタックス要素）は、省略されることができる。

または、例えば、値が０であるｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素が対象ブロックに変換が適用されないこと（または、変換スキップ）を示すと仮定すると、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値が０である場合、前記本文書の一実施例で提案する（変換スキップのための）レジデュアルコーディング方法が実行されることができる。または、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値が０でない場合、表３乃至表５または表６乃至表９のように、レジデュアルコーディング（ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ）シンタックスに基づいて、変換が実行されるレジデュアルコーディングが実行されることができる。この場合、変換可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）及び／または変換インデックス（または、ｍｔｓ＿ｉｄｘシンタックス要素）は、省略されることができる。この場合、“ｔｕ＿ｍｔｓ＿ｉｄｘ＝＝１？”判断手順または条件は、“ｔｕ＿ｍｔｓ＿ｉｄｘ＝＝０？”判断手順または条件に代替されることができる。

本文書の一実施例で提案する統合変換タイプシグナリング（ｕｎｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ｓｉｇｎａｌｉｎｇ）方法と共に説明したように、変換可否フラグ（または、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素）または変換インデックス（または、ｍｔｓ＿ｉｄｘシンタックス要素）に対する二進化は、例えば、表１７または表１８のようにＭＴＳ＆ＴＳ ｅｎａｂｌｅｄ、ＭＴＳ ｅｎａｂｌｅｄ及びＴＳ ｅｎａｂｌｅｄである場合、各々、異なるように定義されることができる。または、変換スキップが定義される大きさ（または、変換スキップが可能な大きさ）は、ｍｔｓ＿ｅｎａｂｌｅｄの値が０であるかまたは１であるかによって異なるように定義されることもできる。または、変換スキップが可能な大きさは、ＭＴＳ ｅｎａｂｌｅｄ（または、ＭＴＳが許容されるかに対する情報）に基づいて定義されることもできる。例えば、ＭＴＳ ｅｎａｂｌｅｄは、ＭＴＳが許容されるかに対する情報を示すことができ、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて導出されることができる。例えば、ＭＴＳ ｅｎａｂｌｅｄの値が１であることは、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であることを示すことができる。または、ＭＴＳ ｅｎａｂｌｅｄの値が１であることは、ＭＴＳが許容されるという情報を示すこともできる。または、ＭＴＳ ｅｎａｂｌｅｄの値が０であることは、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であることを示すことができる。または、ＭＴＳ ｅｎａｂｌｅｄの値が０であることは、ＭＴＳが許容されないという情報を示すことができる。

例えば、ＭＴＳ ｅｎａｂｌｅｄの値が１である場合、変換スキップの大きさ（または、変換スキップが可能なブロックの大きさ）は、許容されたＭＴＳに従属的である。例えば、ＭＴＳの大きさが３２以下で許容される場合（または、ブロック大きさが３２以下である場合にのみＭＴＳが許容される場合）、変換スキップは、これと同じく、大きさが３２以下であるブロックに対して常に定義されることができる。

または、例えば、ＭＴＳ ｅｎａｂｌｅｄの値が１である場合、エンコーディング装置及びデコーディング装置は、あらかじめ約束されたまたは既に設定された最大の大きさを使用することができる。また、前記最大の大きさによってＴＳ ｅｎａｂｌｅｄが定義されることができる。例えば、エンコーディング装置及びデコーディング装置は、一辺の長さが８以下のブロックに対して変換スキップを使用するように定義することができる。この場合、ブロックの一辺の長さが８より大きいブロックに対してはＴＳ ｅｎａｂｌｅｄの値が０に定義されることによって前記表１７または表１８の二進化テーブルを有効に適用できる。または、ブロックの一辺の最大長でない最大サンプルの個数を利用して変換スキップブロック（または、変換スキップが可能な）の最大の大きさ情報を示すこともできる。

または、例えば、ＭＴＳ ｅｎａｂｌｅｄの値が１である場合、ＭＴＳの大きさ（または、ＭＴＳが許容されるブロックの大きさ）とは別途に変換スキップ（または、変換スキップが可能なブロック）の最大の大きさが定義されることができる。この場合、ＭＴＳの大きさ（または、ＭＴＳが許容されるブロックの大きさ）を定義するために変換スキップ（または、変換スキップが可能なブロック）の大きさに対する情報がシグナリングされることができる。または、エンコーディング装置からデコーディング装置に送信されることができる。例えば、ＭＴＳの大きさが３２以下で許容される場合（または、ブロック大きさが３２以下である場合にのみＭＴＳが許容される場合）、ＭＴＳの大きさ（または、ＭＴＳが許容されるブロックの大きさ）に従うかどうかに対するフラグをシグナリングすることができ、ＭＴＳの最大の大きさ（または、ＭＴＳが許容されるブロックの最大の大きさ）に従わない場合、変換スキップ（または、変換スキップが可能なブロック）の最大の大きさを１６まで許容するようにする情報をシグナリングすることができる。この場合、ブロック一辺の長さが１６以上である場合、ＴＳ ｅｎａｂｌｅｄの値が０に定義されることで、前記表１７または表１８の二進化テーブルを有効に適用できる。または、ブロックの一辺の最大の大きさでない最大サンプルの個数を利用して変換スキップブロック（または、変換スキップが可能な）の最大の大きさ情報を示すこともできる。

または、例えば、ＭＴＳ ｅｎａｂｌｅｄの値が０である場合、エンコーディング装置及びデコーディング装置は、あらかじめ約束されたまたは既に設定された最大の大きさを使用することができる。例えば、ＭＴＳ ｅｎａｂｌｅｄの値が０であり、且つＴＳ ｅｎａｂｌｅｄの値が１である場合、エンコーディング装置及びデコーディング装置は、一辺の長さが８以下のブロックに対して変換スキップを使用するように定義することができる。または、ブロックの一辺の最大の大きさでない最大サンプルの個数を利用して変換スキップブロック（または、変換スキップが可能な）の最大の大きさ情報を示すこともできる。

または、例えば、ＭＴＳ ｅｎａｂｌｅｄの値が０である場合、変換スキップ（または、変換スキップが可能なブロック）の最大の大きさ情報を送信することができる。例えば、変換スキップ（または、変換スキップが可能なブロック）の最大の大きさを１６まで許容するようにする情報をハイレベルシンタックス（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）でシグナリングできる。この場合、ブロックの一辺の長さが１６以上である場合、ＴＳ ｅｎａｂｌｅｄの値が０に定義されることによって前記表１７または表１８の二進化テーブルを有効に適用できる。または、ブロックの一辺の最大の大きさでない最大サンプルの個数を利用して変換スキップブロック（または、変換スキップが可能な）の最大の大きさ情報を示すこともできる。

例えば、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素は、前述したＣＡＢＡＣに基づいてエンコーディング／デコーディングされることができる。この場合、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素のビンストリング（ｂｉｎ ｓｔｒｉｎｇ）は、例えば、前記表１７または表１８で示すようなビンを含むことができる。前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素のビンストリングのビンのうち少なくとも一つは、コンテキスト情報（または、コンテキストモデル）に基づいてコーディング（または、正規コーディング）されることができる。

前記正規コーディングされるビンの各々に対するコンテキストモデルを示すコンテキストインデックスは、コンテキストインデックス増分及びコンテキストインデックスオフセットに基づいて導出されることができる。または、例えば、コンテキストインデックスはｃｔｘＩｄｘで示すことができ、コンテキストインデックス増分（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）はｃｔｘＩｎｃで示すことができ、コンテキストインデックスオフセット（ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ）はｃｔｘＩｄｘＯｆｆｓｅｔで示すことができる。また、ｃｔｘＩｄｘは、ｃｔｘＩｎｃ及びｃｔｘＩｄｘＯｆｆｓｅｔの和に導出されることができる。例えば、前記ｃｔｘＩｎｃは、前記表１９で示すように、各ビン別に異なるように導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）を示すことができる。または、例えば、前記表１９で示すように、ｃｑｔＤｅｐｔｈ（ｃｏｄｅｄ ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）に基づいてコンテキストインデックスが決定されることができる。または、例えば、ブロックの大きさ、ブロックの幅－高さの比率、ブロックのイントラまたはインター予測可否、隣接の変換スキップ可否などによって、コンテキストインデックスが決定されることができる。

例えば、ブロックの大きさが８×８より小さい場合、インデックス０番のコンテキストモデルを使用することができ、８×８より大きいまたは同じである場合、インデックス１番のコンテキストモデルを使用することができる。

または、例えば、ブロックの幅－高さの比率が１である場合、インデックス０番のコンテキストモデルを使用することができ、ブロックの幅がブロックの高さより大きい場合、インデックス１番のコンテキストモデルを使用することができ、ブロックの高さがブロックの幅より大きい場合、インデックス２番のコンテキストモデルを使用することができる。この場合、例えば、ブロックの幅及び高さに基づいて決定されるコンテキストインデックスは、以下の表２２の通りである。

または、例えば、現在ブロックの予測モードがイントラモードである場合、インデックス０番のコンテキストモデルを使用することができ、インターモードである場合、インデックス１番のコンテキストモデルを使用することができる。

例えば、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素は、前述したように決定されたインデックスによるコンテキストモデルを利用してコーディングされることができる。コンテキストモデル及びモデルの個数は、確率及び分布に基づいて多様に定義されるできるため、本文書では特定コンテキストモデル及びコンテキストモデルの個数に限定されない。

例えば、前記インデックスは、コンテキストインデックスを示すことができ、インデックス０番は、ｃｔｘＩｄｘ値が０であることを示すことができ、インデックス１番は、ｃｔｘＩｄｘ値が１であることを示すことができる。

例えば、前記ｃｔｘＩｄｘの最小値は、前記ｃｔｘＩｄｘの初期値（ｉｎｉｔＶａｌｕｅ）で示すことができ、前記ｃｔｘＩｄｘの初期値は、コンテキストテーブルに基づいて決定されることができる。または、前記ｃｔｘＩｄｘの初期値は、前記コンテキストテーブル及び初期タイプ（ｉｎｉｔＴｙｐｅ）を利用して決定されることができる。前記初期タイプは、あらかじめ決定されることができる。または、前記初期タイプは、関連情報がシグナリングされて決定されることもできる。例えば、前記初期タイプは、初期タイプ情報（例えば、ｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇシンタックス要素またはｃａｂａｃ＿ｉｎｉｔ＿ｉｄｘシンタックス要素）によってシグナリングされることができる。

即ち、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素のビンストリングのビンは、各ビンに対するコンテキストモデルに基づいてコンテキストベースでコーディング（または、正規コーディング）されることができる。この場合、前記コンテキストモデルは、前記ｃｔｘＩｎｃ及びｃｔｘＩｄｘＯｆｆｓｅｔの和に導出されることができる。また、前記ｃｔｘＩｎｃは、各ビン別に異なるように決定されることができる。

例えば、エンコーディング装置は、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値を導出し、二進化手順を介して前記値に対応する二進化ビンを導出することができ、前記ビンの各々に対するコンテキストモデルを導出して前記ビンをエンコーディングすることができる。この場合、前記コンテキストモデルに基づく算術コーディング（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）によって前記ビンの長さと同一または短い長さのビット列（ｂｉｔｓｔｒｉｎｇ）が出力されることができる。

例えば、デコーディング装置は、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素に対する二進化手順を介して候補ビンストリングを導出し、ビットストリームから前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素に対するビットを順次にパーシングし、前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素に対するビンをデコーディングすることができる。この場合、デコーディング装置は、前記ビンの各々に対するコンテキストモデルを導出して前記ビンをデコーディングすることができる。前記デコーディングされたビンは、前記候補ビンストリングのうち一つに対応するかが判断されることができる。前記デコーディングされたビンが前記候補ビンストリングのうち一つに対応される場合、デコーディング装置は、前記対応されるビンストリングが示す値を前記ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素の値に導出することができる。前記デコーディングされたビンが前記候補ビンストリングのうち一つに対応されない場合、デコーディング装置は、ビットを追加的にパーシングして前述した手順を繰り返しすることができる。

前述したように、本文書の一実施例は、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素をコーディングすることにあたって、ブロックの大きさ、ブロックの幅－高さの比率、ブロックのイントラまたはインター予測可否または隣接の変換スキップ可否などのうち少なくとも一つに基づいてｃｔｘＩｎｃ及び／またはｃｔｘＩｄｘを異なるように決定でき、この場合、追加的な情報のシグナリング無しで同じビンインデックス（ｂｉｎＩｄｘ）のビンに対して他のコンテキストモデルを適応的に適用できる。

例えば、現在ピクチャ内の第１のブロックに対するｉ番目のビンに対しては、第１のコンテキスト情報を導出し、前記現在ピクチャ内の第２のブロックに対する同じｉ番目のビンに対しては、第２のコンテキスト情報を導出することができる。ここで、ｉは、ビンインデックスに対応されることができ、例えば、前記表１９または表２２で示すように０乃至４のうち一つの値を示すことができる。例えば、前記コンテキスト情報は、コンテキストインデックスまたはコンテキストモデルに対する情報を含むことができる。

一方、例えば、本文書の前述した実施例による情報のうち少なくとも一部は、表２３乃至表２７のようにハイレベル（ｈｉｇｈ－ｌｅｖｅｌ）シンタックスに含まれることができる。または、ハイレベルシンタックスに含まれてシグナリングされることができる。または、前述した実施例による情報のうち少なくとも一部は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）シンタックスに含まれることができる。または、ＳＰＳシンタックスに含まれてシグナリングされることができる。例えば、表２３乃至表２７は、一つのシンタックスを連続して示すことができ、シンタックスに含まれているシンタックス要素は、順次に、シグナリング、構成またはパーシングされることができる。

例えば、表２３乃至表２７のようにＳＰＳシンタックスに含まれているシンタックス要素が示す情報または前記シンタックス要素のセマンティックスは、表２８乃至表３５のように示すことができる。

一方、例えば、本文書の前述した実施例による情報のうち少なくとも一部は、表３６または表３７乃至表３９のようにハイレベル（ｈｉｇｈ－ｌｅｖｅｌ）シンタックスに含まれることができる。または、ハイレベルシンタックスに含まれてシグナリングされることができる。または、前述した実施例による情報のうち少なくとも一部は、ＰＰＳ（ｐｉｃｕｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）シンタックスに含まれることができる。または、ＰＰＳシンタックスに含まれてシグナリングされることができる。例えば、表３７乃至表３９は、一つのシンタックスを連続して示すことができ、シンタックスに含まれているシンタックス要素は、順次に、シグナリング、構成またはパーシングされることができる。

例えば、表３６または表３７乃至表３９のようにＰＰＳシンタックスに含まれているシンタックス要素が示す情報または前記シンタックス要素のセマンティックスは、表４０乃至表４２のように示すことができる。

一方、例えば、本文書の前述した実施例による情報のうち少なくとも一部は、表４３乃至表４７のようにコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）シンタックスに含まれることができる。または、コーディングユニットシンタックスに含まれてシグナリングされることができる。例えば、表４３乃至表４７は、一つのシンタックスを連続して示すことができ、シンタックスに含まれているシンタックス要素は、順次に、シグナリング、構成またはパーシングされることができる。

例えば、表４３乃至表４７のようにコーディングユニットシンタックスに含まれているシンタックス要素が示す情報または前記シンタックス要素のセマンティックスは、表４８乃至表５１のように示すことができる。

一方、例えば、本文書の前述した実施例による情報のうち少なくとも一部は、表５２または表５３乃至表５４のように変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）シンタックスに含まれることができる。または、変換ユニットシンタックスに含まれてシグナリングされることができる。例えば、表５３乃至表５４は、一つのシンタックスを連続して示すことができ、シンタックスに含まれているシンタックス要素は、順次に、シグナリング、構成またはパーシングされることができる。

例えば、表５２または表５３乃至表５４のように変換ユニットシンタックスに含まれているシンタックス要素が示す情報または前記シンタックス要素のセマンティックスは、表５５のように示すことができる。

一方、例えば、本文書の前述した実施例による情報のうち少なくとも一部は、前述した表６乃至表９または表５６乃至表５９のように、レジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）シンタックスに含まれることができる。または、変換ユニットシンタックスに含まれてシグナリングされることができる。例えば、表６乃至表９または表５６乃至表５９は、一つのシンタックスを連続して示すことができ、シンタックスに含まれているシンタックス要素は、順次に、シグナリング、構成またはパーシングされることができる。

例えば、前述した表６乃至表９または表５６乃至表５９のように、レジデュアルコーディングシンタックスに含まれているシンタックス要素が示す情報または前記シンタックス要素のセマンティックスは、表６乃至表９と共に前述したように示すことができる。

一方、例えば、本文書の一実施例は、前述したシンタックスまたはシンタックス要素のうち少なくとも一部に基づいてスケーリングまたは変換手順を実行することができる。例えば、一実施例は、表６０のように現在（変換）ブロックのサンプルに対するレジデュアルサンプル（または、レジデュアルサンプルアレイ）を導出することができる。

一方、または、例えば、本文書の一実施例は、前述したシンタックスまたはシンタックス要素のうち少なくとも一部に基づいて変換係数に対する変換手順を実行することができる。例えば、一実施例は、表６１のように（スケールされた）変換係数に対する情報に基づいてレジデュアルサンプル（または、レジデュアルサンプルアレイ）を導出することができる。

一方、例えば、本文書の一実施例は、前述したシンタックスまたはシンタックス要素のうち少なくとも一部に対して表６２乃至表６３のような二進化が利用されることができる。または、一実施例は、表６２乃至表６３のような二進化を利用して前述したシンタックス要素のうち少なくとも一部をエンコーディング／デコーディングすることができる。

一方、例えば、本文書の一実施例は、前述したシンタックスまたはシンタックス要素のうち少なくとも一部に対して表６４乃至表６５のようにコンテキストインデックス（ｃｔｘＩｄｘ）を導出するために（または、示すために）コンテキストインデックス増分（ｃｔｘＩｎｃ）を割り当てることができる。

図１３及び図１４は、本文書の実施例によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例の概略を示す。

図１３に開示された方法は、図２に開示されたエンコーディング装置により実行されることができる。具体的に、例えば、図１３のＳ１３００は、図１４で前記エンコーディング装置の予測部２２０により実行されることができ、図１３のＳ１３１０は、図１４で前記エンコーディング装置のレジデュアル処理部２３０により実行されることができ、図１３のＳ１３２０は、図１４で前記エンコーディング装置のエントロピーエンコーディング部２４０により実行されることができる。図１３に開示された方法は、本文書で前述した実施例を含むことができる。

図１３を参照すると、エンコーディング装置は、現在ブロックに対して予測を実行して予測サンプルを導出することができる（Ｓ１３００）。例えば、エンコーディング装置は、前記現在ブロックに対して予測を実行して予測サンプルを導出することができ、予測を実行した予測モードに対する情報を導出することができる。例えば、予測モードは、イントラ予測モードまたはインター予測モードである。例えば、エンコーディング装置は、前記予測モードがイントラ予測モードである場合、現在ブロック隣接のサンプルに基づいて前記予測サンプルを導出することができる。または、エンコーディング装置は、前記予測モードがインター予測モードである場合、現在ブロックの参照ピクチャ内の参照サンプルに基づいて前記予測サンプルを導出することができる。

エンコーディング装置は、前記現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１３１０）。例えば、エンコーディング装置は、前記現在ブロックに対する原本サンプルと予測サンプル（または、予測されたブロック）に基づいて前記現在ブロックに対するレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。ここで、レジデュアルサンプルは、レジデュアルサンプルアレイと示すこともできる。または、例えば、図１３に示していないが、エンコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成することができる。例えば、エンコーディング装置は、前記予測サンプル（または、予測されたブロック）にレジデュアルサンプル（または、レジデュアルブロック）を加算して復元サンプル（または、復元ブロック）を生成することもできる。

エンコーディング装置は、前記予測に対する予測モード情報及び前記レジデュアルサンプルに対するレジデュアル関連情報を含む映像情報をエンコーディングすることができる（Ｓ１３２０）。

例えば、エンコーディング装置は、前記予測モードに基づいて予測モード情報を生成することができ、前記映像情報は前記予測モード情報を含むことができる。即ち、前記現在ブロックがイントラ予測モードを介して予測を実行した場合、予測モード情報は、イントラ予測モードに対する情報を含むことができ、前記現在ブロックがインター予測モードを介して予測を実行した場合、予測モード情報は、インター予測モードに対する情報を含むことができる。

例えば、エンコーディング装置は、前記レジデュアルサンプル（または、レジデュアルサンプルアレイ）に対する情報を含むレジデュアル関連情報を生成することができ、前記映像情報は、レジデュアル関連情報を含むことができる。レジデュアルサンプルに対する情報またはレジデュアル関連情報は、前記レジデュアルサンプルに対する変換係数に対する情報を含むことができる。

例えば、レジデュアル関連情報は、レジデュアルコーディング情報（または、レジデュアルコーディングシンタックス）を含むことができる。または、レジデュアル関連情報は、変換ユニット情報（または、変換ユニットシンタックス）を含むことができる。または、レジデュアル関連情報は、レジデュアルコーディング情報及び変換ユニット情報を含むこともできる。

例えば、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が前記変換スキップフラグを含むことができる。または、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含むかどうかが決定されることができる。例えば、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されるかどうかを示すことができる。または、前記変換スキップフラグは、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素で示すこともできる。例えば、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の値が０である場合、前記現在ブロックに変換スキップが適用され、１である場合、前記現在ブロックに変換スキップが適用されない。または、設定によって、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の値が１である場合、前記現在ブロックに変換スキップが適用され、０である場合、前記現在ブロックに変換スキップが適用されない。

例えば、前記現在ブロックのサイズは、前記現在ブロックの幅及び／または前記現在ブロックの高さを示すことができる。前記最大変換スキップサイズは、変換スキップ（ＴＳ：Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）が許容されるブロックの最大の大きさを示すことができる。または、前記最大変換スキップサイズは、ＭａｘＴｓＳｉｚｅで示すこともできる。例えば、前記現在ブロックの幅または前記現在ブロックの高さが前記最大変換スキップサイズ以下である場合、前記レジデュアル関連情報が前記変換スキップフラグを含むことができる。

例えば、前記映像情報は、前記最大変換スキップサイズに対する情報を含むことができる。または、前記最大変換スキップサイズに対する情報は、前記映像情報に含まれて（エントロピー）エンコーディングされることができる。例えば、前記最大変換サイズは、前記最大変換スキップサイズに対する情報に基づいて示すことができる。例えば、前記最大変換スキップサイズに対する情報は、ハイレベル（ｈｉｇｈ－ｌｅｖｅｌ）シンタックスに含まれることができ、前記ハイレベルシンタックスは、映像情報に含まれて（エントロピー）エンコーディングされることができる。例えば、ハイレベルシンタックスは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットシンタックス、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックス、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスまたはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）シンタックスである。

または、例えば、前記最大変換スキップサイズに対する情報は、ＳＰＳに含まれることができ、前記最大変換サイズは、前記ＳＰＳに含まれている前記最大変換スキップサイズに対する情報に基づいて示すことができる。または、例えば、前記最大変換スキップサイズに対する情報は、ＰＰＳに含まれることができ、前記最大変換サイズは、前記ＰＰＳに含まれている前記最大変換スキップサイズに対する情報に基づいて示すことができる。ここで、ＳＰＳまたはＰＰＳは、ＳＰＳシンタックスまたはＰＰＳシンタックスを示すことができ、他のシンタックスもシンタックスという用語を省略して使われることができる。

例えば、前記最大変換スキップサイズに対する情報は、ログ値に－２した値に対する情報を含むことができ、前記ログ値は、前記最大変換スキップサイズに対する底が２であるログ値である。即ち、前記最大変換スキップサイズに対する情報は、前記最大変換スキップサイズの底が２であるログ値に－２した値に対する情報を示すことができる。または、例えば、前記最大変換スキップサイズに対する情報は、前記最大変換スキップサイズの（底が２である）ログ値に対する情報を含むこともできる。

例えば、前記最大変換スキップサイズに対する情報は、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素を含むことができる。または、前記最大変換スキップサイズに対する情報は、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素を示すことができる。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。

例えば、表４１を参照すると、前記最大変換スキップサイズは、ＭａｘＴｓＳｉｚｅ＝１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて示すことができる。ここで、前記ＭａｘＴｓＳｉｚｅは、前記最大変換スキップサイズを示すことができ、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２は、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値を示すことができる。また、前記＜＜は、算術シフト演算子を示すことができる。即ち、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素は、ＭａｘＴｓＳｉｚｅ＝１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）を利用してＭａｘＴｓＳｉｚｅを示すことができる。または、ＭａｘＴｓＳｉｚｅによるｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値を示すことができる。または、ＭａｘＴｓＳｉｚｅに対応するｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値を示すことができる。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値は、０乃至３の候補値のうち一つに示されるが、これに限定されるものではない。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値は、０、１、２または３で示すことができるが、これに限定されるものではない。

また、例えば、前記最大変換スキップサイズは、４、８、１６または３２を含む候補サイズのうち一つに導出される。前記最大変換スキップサイズは、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値に基づいて示すことができる。または、前記最大変換スキップサイズは、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値に基づいて４、８、１６または３２を含む候補サイズのうち一つに導出される。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が０である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて４で示すことができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が１である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて８で示すことができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が２である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて１６で示すことができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が３である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて３２で示すことができる。

例えば、最大変換スキップサイズがＮであるということは、幅及び高さが全てＮ以下のサイズを示すことができる。または、最大変換スキップサイズがＮであるということは、幅及び高さのうち大きい値がＮ以下のサイズを示すことができる。または、最大変換スキップサイズがＮであるということは、正方形ブロックの場合、一辺の長さがＮ以下のサイズを示すことができる。

または、例えば、前記最大変換スキップサイズに対する情報は、変換スキップが許容されるかに対する情報に基づいてハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることもできる。例えば、前記変換スキップが許容されるかに対する情報が、変換スキップが許容される情報を示す場合、前記最大変換スキップサイズに対する情報は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれる。または、前記変換スキップが許容されるかに対する情報が、変換スキップが許容されないという情報を示す場合、前記最大変換スキップサイズに対する情報は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれない。

または、例えば、前記最大変換スキップサイズは、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）が許容されるかに対する情報に基づいて示すこともできる。または、ＭＴＳが許容されるかに対する情報及びＴＳが許容されるかに対する情報に基づいて前記最大変換スキップサイズを示すことができる。

例えば、前記ハイレベルシンタックスは、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）が許容されるかに対する情報またはＴＳが許容されるかに対する情報を含むことができる。または、ＭＴＳが許容されるかに対する情報または前記ＴＳが許容されるかに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。

例えば、前記ＭＴＳが許容されるかに対する情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。または、前記ＭＴＳが許容されるかに対する情報は、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を含むことができる。例えば、前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて前記ＳＰＳシンタックスに含まれることができる。前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができ、前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。例えば、前記ＭＴＳが許容されるかに対する情報は、ＭＴＳ ｅｎａｂｌｅｄ情報で示すこともできる。

例えば、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、ＭＴＳ ｅｎａｂｌｅｄ＝１または前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、ＭＴＳ ｅｎａｂｌｅｄ＝０または前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。または、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。例えば、設定によって、前記値は、前記値に対応する情報を逆に示すこともできる。

例えば、前記ＴＳが許容されるかに対する情報は、ＴＳ ｅｎａｂｌｅｄ情報またはｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。例えば、前記ＴＳが許容されるかに対する情報は、ＴＳ ｅｎａｂｌｅｄ情報で示すこともできる。

例えば、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、ＴＳ ｅｎａｂｌｅｄ＝１または前記ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されないという情報を示す場合、ＴＳ ｅｎａｂｌｅｄ＝０または前記ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。例えば、設定によって、前記値は、前記値に対応する情報を逆に示すこともできる。

例えば、前記最大変換スキップサイズは、前記ハイレベルシンタックスに基づいて８、１６及び３２を含む候補サイズのうち一つに導出される。例えば、候補サイズは、４をさらに含むことができる。または、例えば、前記変換スキップサイズは、ＭＴＳが許容されるかに対する情報に基づいて導出されることができる。または、例えば、前記最大変換スキップサイズは、ＭＴＳが許容されるかに対する情報に基づいて８、１６または３２を含む候補サイズのうち一つに導出される。または、前記変換スキップサイズは、前記ハイレベルシンタックスに含まれている前記ＭＴＳが許容されるかに対する情報に基づいて導出される。または、例えば、前記変換スキップサイズに対する情報が前記ハイレベルシンタックスに含まれることができ、前記変換スキップサイズは、前記変換スキップサイズに対する情報に基づいて示すことができる。ここで、前記変換スキップサイズに対する情報は、前記変換スキップサイズを導出することができる情報であって、前記ＭＴＳが許容されるかに対する情報を含むこともできる。

例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、前記ＭＴＳのサイズに基づいて決定されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記最大変換スキップサイズは、前記ＭＴＳのサイズに基づいて決定されることができる。即ち、前記最大変換スキップサイズは、前記ＭＴＳに従属的である。前記ＭＴＳのサイズは、ＭＴＳが許容されるブロックの最大サイズを示すことができる。例えば、前記ＭＴＳのサイズが３２以下である場合、変換スキップも３２以下のサイズのブロックに対して許容されることができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、既に設定されたサイズに決定されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記最大変換スキップサイズは、既に設定されたサイズに決定されることができる。例えば、既に設定されたサイズが８である場合、前記最大変換スキップサイズは、前記既に設定されたサイズ８に決定されることができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて示すことができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を別途に含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて示すことができる。または、例えば、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出される情報を含むことができる。前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出される情報が、前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出される情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができる。前記最大変換スキップサイズに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。例えば、ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報が３２に対する情報を示す場合、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて３２で示すことができる。または、最大変換スキップサイズを３２に決定した場合、前記ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報を３２に対する情報で示すことができる。

または、例えば、前記ＭＴＳが許容されないという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、既に設定されたサイズに決定されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、前記最大変換スキップサイズは、既に設定されたサイズに決定されることができる。例えば、既に設定されたサイズが８である場合、前記最大変換スキップサイズは、前記既に設定されたサイズ８に決定されることができる。

または、例えば、前記ＭＴＳが許容されないという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて示すことができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を別途に含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて示すことができる。前記最大変換スキップサイズに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。例えば、ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報が３２に対する情報を示す場合、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて３２で示すことができる。または、最大変換スキップサイズを３２に決定した場合、前記ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報を３２に対する情報で示すことができる。

例えば、前記レジデュアル関連情報は、前記現在ブロックに適用する変換タイプに対するＭＴＳインデックス情報を含むことができる。例えば、ＭＴＳインデックス情報は、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素で示すことができる。例えば、ＭＴＳインデックス情報は、変換ユニットシンタックスまたはコーディングユニットシンタックスに含まれることができる。例えば、ＭＴＳインデックス情報は、前記現在ブロックに適用する変換タイプまたは変換スキップに対する情報を示すことができる。または、前記ＭＴＳインデックス情報は、前記ＭＴＳが許容されるかに対する情報及び／または前記変換スキップが許容されるかに対する情報に基づいて前記現在ブロックに適用する変換タイプまたは変換スキップに対する情報を示すことができる。

例えば、前記ＭＴＳインデックス情報が示す情報は、前記ＭＴＳインデックス情報に対するビンストリングのビンに基づいて示すことができる。または、前記ＭＴＳインデックス情報が示す情報は、前記ビンのコンテキストインデックスの値に基づいて示すことができる。または、前記ＭＴＳインデックス情報が示す情報は、前記ビンストリングの１番目のビンのコンテキストインデックス値に基づいて示すことができる。例えば、コンテキストインデックス（ｃｔｘＩｄｘ）は、コンテキストインデックス増分（ｃｔｘＩｎｃ）及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて示すことができる。

例えば、前記ＭＴＳインデックス情報に対する１番目のビンのコンテキストインデックスの値は、前記ＭＴＳが許容されるかに対する情報、前記変換スキップが許容されるかに対する情報、及び前記現在ブロックのサイズに基づいて示すことができる。例えば、前記ＭＴＳインデックス情報に対する１番目のビンのコンテキストインデックスの値は、表１９または表２２に基づいて示すことができる。

例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報及び前記変換スキップが許容されるという情報を示す前記変換スキップが許容されるかに対する情報に基づいて、前記コンテキストインデックスの値は、前記現在ブロックの幅及び前記現在ブロックの高さを比較して示すことができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示し、且つ前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、前記現在ブロックの幅及び前記現在ブロックの高さを比較して示すことができる。または、前記現在ブロックの幅及び前記現在ブロックの高さが同じ場合、前記コンテキストインデックスの値は、０で示すことができる。または、前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、前記コンテキストインデックスの値は、１で示すことができ、前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、前記コンテキストインデックスの値は、２で示すことができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報及びｃｑｔＤｅｐｔｈ（ｃｏｄｅｄ ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）に基づいて、前記コンテキストインデックスの値を示すことができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、ｃｑｔＤｅｐｔｈに基づいて前記コンテキストインデックスの値を示すことができる。例えば、前記コンテキストインデックスの値は、前記ｃｑｔＤｅｐｔｈの値に１を加算した値で示すことができ、１、２、３、４、５または６で示すことができる。

または、例えば、前記変換スキップが許容されるという情報を示す前記変換スキップが許容されるかに対する情報に基づいて、前記コンテキストインデックスの値は、前記現在ブロックの幅及び前記現在ブロックの高さを比較して示すことができる。即ち、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、前記現在ブロックの幅及び前記現在ブロックの高さを比較して示すことができる。または、前記現在ブロックの幅及び前記現在ブロックの高さが同じ場合、前記コンテキストインデックスの値は、０で示すことができる。または、前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、前記コンテキストインデックスの値は、１で示すことができ、前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、前記コンテキストインデックスの値は、２で示すことができる。

または、例えば、前記コンテキストインデックスの値は、ブロックの大きさ、ブロックの幅－高さ比率、ブロックのイントラまたはインター予測可否、隣接の変換スキップ可否などのうち少なくとも一つに基づいて、ｃｔｘＩｎｃ及び／またはｃｔｘＩｄｘを示すことができる。または、ブロックの大きさ、ブロックの幅－高さ比率、ブロックのイントラまたはインター予測可否、隣接の変換スキップ可否などのうち少なくとも一つに基づくコンテキストモデルを定義することができ、これに基づいてコンテキストインデックスの値を示すことができる。例えば、現在ブロックに対する変換タイプまたは変換スキップに対する情報は、前記コンテキストインデックスまたはコンテキストモデルに基づいて取得されることができる。

例えば、レジデュアル関連情報は、前述したように前記変換スキップフラグを含んでもよいし、含まなくてもよい。例えば、前記レジデュアル関連情報が前記変換スキップフラグを含む場合、前記現在ブロックのレジデュアルサンプルは、変換無しで導出されることを示すことができ、前記現在ブロックに対するレジデュアル信号（または、レジデュアルに対する情報）は、変換無しでピクセルドメイン（空間ドメイン）上でシグナリングされることができる。または、前記レジデュアル関連情報が前記変換スキップフラグを含まない場合、前記現在ブロックのレジデュアルサンプルは、変換が実行されて導出されることを示すことができ、前記現在ブロックに対するレジデュアル信号（または、レジデュアルに対する情報）は、変換が実行されて変換ドメイン上でシグナリングされることができる。

エンコーディング装置は、前述した情報（または、シンタックス要素）の全部または一部を含む映像情報をエンコーディングしてビットストリームを生成することができる。または、ビットストリーム形態で出力できる。また、前記ビットストリームは、ネットワークまたは格納媒体を介してデコーディング装置に送信されることができる。または、前記ビットストリームは、コンピュータ読み取り可能な格納媒体に格納されることができる。例えば、ビットストリームは、映像情報またはビデオ情報で示すこともできる。

図１５及び図１６は、本文書の実施例によるビデオ／映像デコーディング方法及び関連コンポーネントの一例の概略を示す。

図１５及び図１６は、本文書の実施例によるビデオ／映像デコーディング方法及び関連コンポーネントの一例の概略を示す。図１５に開示された方法は、図３に開示されたデコーディング装置により実行されることができる。具体的に、例えば、図１５のＳ１５００は、図１６で前記デコーディング装置のエントロピーデコーディング部３１０により実行されることができ、図１５のＳ１５１０は、図１６で前記デコーディング装置の予測部３３０により実行されることができ、図１５のＳ１５２０は、図１６で前記デコーディング装置のレジデュアル処理部３２０により実行されることができ、図１５のＳ１５３０は、図１６で前記デコーディング装置の加算部３４０により実行されることができる。図１５に開示された方法は、本文書で前述した実施例を含むことができる。

図１５を参照すると、デコーディング装置は、ビットストリームから予測モード情報及びレジデュアル関連情報を取得することができる（Ｓ１５００）。または、デコーディング装置は、ビットストリームを（エントロピー）デコーディングして予測モード情報またはレジデュアル関連情報を取得することができる。

例えば、予測モード情報は、現在ブロックの予測モードに対する情報を含むことができる。または、予測モード情報は、イントラ予測モードまたはインター予測モードに対する情報を含むことができる。

例えば、レジデュアル関連情報は、レジデュアルコーディング情報（または、レジデュアルコーディングシンタックス）を含むことができる。または、レジデュアル関連情報は、変換ユニット情報（または、変換ユニットシンタックス）を含むことができる。または、レジデュアル関連情報は、レジデュアルコーディング情報及び変換ユニット情報を含むこともできる。

例えば、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が前記変換スキップフラグを含むことができる。または、前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報が変換スキップフラグを含むかどうかが決定されることができる。例えば、前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されるかどうかを示すことができる。または、前記変換スキップフラグは、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素で示すことができる。例えば、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の値が０である場合、前記現在ブロックに変換スキップが適用され、１である場合、前記現在ブロックに変換スキップが適用されない。または、設定によって、前記ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の値が１である場合、前記現在ブロックに変換スキップが適用されることができ、０である場合、前記現在ブロックに変換スキップが適用されない。

例えば、前記現在ブロックのサイズは、前記現在ブロックの幅及び／または前記現在ブロックの高さを示すことができる。前記最大変換スキップサイズは、変換スキップ（ＴＳ：Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）が許容されるブロックの最大の大きさを示すことができる。または、前記最大変換スキップサイズは、ＭａｘＴｓＳｉｚｅで示すこともできる。例えば、前記現在ブロックの幅または前記現在ブロックの高さが前記最大変換スキップサイズ以下である場合、前記レジデュアル関連情報が前記変換スキップフラグを含むことができる。

例えば、前記最大変換スキップサイズに対する情報は、前記ビットストリームから取得されることができる。または、前記最大変換スキップサイズに対する情報は、前記ビットストリームを（エントロピー）デコーディングして取得されることができる。例えば、前記最大変換サイズは、前記最大変換スキップサイズに対する情報に基づいて導出されることができる。例えば、前記最大変換スキップサイズに対する情報は、ハイレベル（ｈｉｇｈ－ｌｅｖｅｌ）シンタックスに含まれることができ、前記ハイレベルシンタックスは、前記ビットストリームから取得されることができる。または、前記ハイレベルシンタックスは、前記ビットストリームを（エントロピー）デコーディングして取得されることができる。例えば、ハイレベルシンタックスは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットシンタックス、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックス、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスまたはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）シンタックスである。

または、例えば、前記最大変換スキップサイズに対する情報は、ＳＰＳに含まれることができ、前記最大変換サイズは、前記ＳＰＳに含まれている前記最大変換スキップサイズに対する情報に基づいて導出されることができる。または、例えば、前記最大変換スキップサイズに対する情報は、ＰＰＳに含まれることができ、前記最大変換サイズは、前記ＰＰＳに含まれている前記最大変換スキップサイズに対する情報に基づいて導出されることができる。ここで、ＳＰＳまたはＰＰＳは、ＳＰＳシンタックスまたはＰＰＳシンタックスを示すことができ、他のシンタックスもシンタックスという用語を省略して使われることができる。

例えば、前記最大変換スキップサイズに対する情報は、ログ値に－２した値に対する情報を含むことができ、前記ログ値は、前記最大変換スキップサイズに対する底が２であるログ値である。即ち、前記最大変換スキップサイズに対する情報は、前記最大変換スキップサイズの底が２であるログ値に－２した値に対する情報を示すことができる。または、例えば、前記最大変換スキップサイズに対する情報は、前記最大変換スキップサイズの（底が２である）ログ値に対する情報を含むこともできる。

例えば、前記最大変換スキップサイズに対する情報は、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素を含むことができる。または、前記最大変換スキップサイズに対する情報は、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素を示すことができる。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。

例えば、表４１を参照すると、前記最大変換スキップサイズは、ＭａｘＴｓＳｉｚｅ＝１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて導出されることができる。ここで、前記ＭａｘＴｓＳｉｚｅは、前記最大変換スキップサイズを示すことができ、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２は、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値を示すことができる。また、前記＜＜は、算術シフト演算子を示すことができる。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値は、０乃至３の候補値のうち一つに示されるが、これに限定されるものではない。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値は、０、１、２または３に導出されることができるが、これに限定されるものではない。

また、例えば、前記最大変換スキップサイズは、４、８、１６または３２を含む候補サイズのうち一つに導出される。前記最大変換スキップサイズは、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値に基づいて導出されることができる。または、前記最大変換スキップサイズは、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値に基づいて４、８、１６または３２を含む候補サイズのうち一つに導出される。例えば、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が０である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて４に導出されることができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が１である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて８に導出されることができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が２である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて１６に導出されることができる。または、前記ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２シンタックス要素の値が３である場合、前記最大変換スキップサイズは、前述した１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に基づいて３２に導出されることができる。

例えば、最大変換スキップサイズがＮであるということは、幅及び高さが全てＮ以下のサイズを示すことができる。または、最大変換スキップサイズがＮであるということは、幅及び高さのうち大きい値がＮ以下のサイズを示すことができる。または、最大変換スキップサイズがＮであるということは、正方形ブロックの場合、一辺の長さがＮ以下のサイズを示すことができる。

または、例えば、前記最大変換スキップサイズに対する情報は、変換スキップが許容されるかに対する情報に基づいて、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。例えば、前記変換スキップが許容されるかに対する情報が、変換スキップが許容される情報を示す場合、前記最大変換スキップサイズに対する情報は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれる。または、前記変換スキップが許容されるかに対する情報が、変換スキップが許容されないという情報を示す場合、前記最大変換スキップサイズに対する情報は、ハイレベルシンタックス、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれない。

または、例えば、前記最大変換スキップサイズは、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）が許容されるかに対する情報に基づいて導出されることもできる。または、ＭＴＳが許容されるかに対する情報及びＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズが導出されることができる。

例えば、前記ハイレベルシンタックスは、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）が許容されるかに対する情報またはＴＳが許容されるかに対する情報を含むことができる。または、ＭＴＳが許容されるかに対する情報または前記ＴＳが許容されるかに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。

例えば、前記ＭＴＳが許容されるかに対する情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。または、前記ＭＴＳが許容されるかに対する情報は、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を含むことができる。例えば、前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて前記ＳＰＳシンタックスに含まれることができる。前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができ、前記ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。例えば、前記ＭＴＳが許容されるかに対する情報は、ＭＴＳ ｅｎａｂｌｅｄ情報で示すことができる。

例えば、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、ＭＴＳ ｅｎａｂｌｅｄ＝１または前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、ＭＴＳ ｅｎａｂｌｅｄ＝０または前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。または、前記ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。例えば、設定によって、前記値は、前記値に対応する情報を逆に示すこともできる。

例えば、前記ＴＳが許容されるかに対する情報は、ＴＳ ｅｎａｂｌｅｄ情報またはｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素で示すことができる。例えば、前記ＴＳが許容されるかに対する情報は、ＴＳ ｅｎａｂｌｅｄ情報で示すことができる。

例えば、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、ＴＳ ｅｎａｂｌｅｄ＝１または前記ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が１であると示すことができる。または、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されないという情報を示す場合、ＴＳ ｅｎａｂｌｅｄ＝０または前記ｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素の値が０であると示すことができる。例えば、設定によって、前記値は、前記値に対応する情報を逆に示すこともできる。

例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、前記ＭＴＳのサイズに基づいて導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記最大変換スキップサイズは、前記ＭＴＳのサイズに基づいて導出されることができる。即ち、前記最大変換スキップサイズは、前記ＭＴＳに従属的である。前記ＭＴＳのサイズは、ＭＴＳが許容されるブロックの最大サイズを示すことができる。例えば、前記ＭＴＳのサイズが３２以下である場合、変換スキップも３２以下のサイズのブロックに対して許容されることができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、既に設定されたサイズに導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記最大変換スキップサイズは、既に設定されたサイズに導出されることができる。例えば、既に設定されたサイズが８である場合、前記最大変換スキップサイズは、前記既に設定されたサイズ８に導出されることができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を別途に含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて導出されることができる。または、例えば、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出されるかに対する情報を含むことができる。前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出されるかに対する情報が、前記最大変換スキップサイズが前記ＭＴＳのサイズに基づいて導出されるという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができる。前記最大変換スキップサイズに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。例えば、ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報が３２を示す場合、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて３２に導出されることができる。

または、例えば、前記ＭＴＳが許容されないという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記最大変換スキップサイズは、既に設定されたサイズに導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、前記最大変換スキップサイズは、既に設定されたサイズに導出されることができる。例えば、既に設定されたサイズが８である場合、前記最大変換スキップサイズは、前記既に設定されたサイズ８に導出されることができる。

または、例えば、前記ＭＴＳが許容されないという情報を示す前記ＭＴＳが許容されるかに対する情報に基づいて、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されないという情報を示す場合、前記ハイレベルシンタックスは、前記最大変換スキップサイズに対する情報を別途に含むことができ、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて導出されることができる。前記最大変換スキップサイズに対する情報は、ＳＰＳシンタックスまたはＰＰＳシンタックスに含まれることができる。例えば、ハイレベルシンタックスに含まれている前記最大変換スキップサイズに対する情報が３２を示す場合、前記最大変換スキップサイズは、前記最大変換スキップサイズに対する情報に基づいて３２に導出されることができる。

例えば、前記レジデュアル関連情報は、前記現在ブロックに適用する変換タイプに対するＭＴＳインデックス情報を含むことができる。例えば、ＭＴＳインデックス情報は、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素で示すことができる。例えば、ＭＴＳインデックス情報は、変換ユニットシンタックスまたはコーディングユニットシンタックスに含まれることができる。例えば、ＭＴＳインデックス情報は、前記現在ブロックに適用する変換タイプまたは変換スキップに対する情報を示すことができる。または、前記ＭＴＳインデックス情報は、前記ＭＴＳが許容されるかに対する情報及び／または前記変換スキップが許容されるかに対する情報に基づいて前記現在ブロックに適用する変換タイプまたは変換スキップに対する情報を示すことができる。

例えば、前記ＭＴＳインデックス情報が示す情報は、前記ＭＴＳインデックス情報に対するビンストリングのビンに基づいて導出されることができる。または、前記ＭＴＳインデックス情報が示す情報は、前記ビンのコンテキストインデックスの値に基づいて導出されることができる。または、前記ＭＴＳインデックス情報が示す情報は、前記ビンストリングの１番目のビンのコンテキストインデックス値に基づいて導出されることができる。例えば、コンテキストインデックス（ｃｔｘＩｄｘ）は、コンテキストインデックス増分（ｃｔｘＩｎｃ）及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて導出されることができる。

例えば、前記ＭＴＳインデックス情報に対する１番目のビンのコンテキストインデックスの値は、前記ＭＴＳが許容されるかに対する情報、前記変換スキップが許容されるかに対する情報、及び前記現在ブロックのサイズに基づいて導出されることができる。例えば、前記ＭＴＳインデックス情報に対する１番目のビンのコンテキストインデックスの値は、表１９または表２２に基づいて導出されることができる。

例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報及び前記変換スキップが許容されるという情報を示す前記変換スキップが許容されるかに対する情報に基づいて、前記コンテキストインデックスの値は、前記現在ブロックの幅及び前記現在ブロックの高さを比較して導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示し、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、前記現在ブロックの幅及び前記現在ブロックの高さを比較して導出されることができる。または、前記現在ブロックの幅及び前記現在ブロックの高さが同じ場合、前記コンテキストインデックスの値は、０に導出されることができる。または、前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、前記コンテキストインデックスの値は、１に導出されることができ、前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、前記コンテキストインデックスの値は、２に導出されることができる。

または、例えば、前記ＭＴＳが許容されるという情報を示す前記ＭＴＳが許容されるかに対する情報及びｃｑｔＤｅｐｔｈ（ｃｏｄｅｄ ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）に基づいて、前記コンテキストインデックスの値が導出されることができる。即ち、前記ＭＴＳが許容されるかに対する情報が、前記ＭＴＳが許容されるという情報を示す場合、ｃｑｔＤｅｐｔｈに基づいて前記コンテキストインデックスの値が導出されることができる。例えば、前記コンテキストインデックスの値は、前記ｃｑｔＤｅｐｔｈの値に１を加算した値に導出されることができ、１、２、３、４、５または６に導出されることができる。

または、例えば、前記変換スキップが許容されるという情報を示す前記変換スキップが許容されるかに対する情報に基づいて、前記コンテキストインデックスの値は、前記現在ブロックの幅及び前記現在ブロックの高さを比較して導出されることができる。即ち、前記ＴＳが許容されるかに対する情報が、前記ＴＳが許容されるという情報を示す場合、前記現在ブロックの幅及び前記現在ブロックの高さを比較して導出されることができる。または、前記現在ブロックの幅及び前記現在ブロックの高さが同じ場合、前記コンテキストインデックスの値は、０に導出されることができる。または、前記現在ブロックの幅が前記現在ブロックの高さより大きい場合、前記コンテキストインデックスの値は、１に導出されることができ、前記現在ブロックの幅が前記現在ブロックの高さより小さい場合、前記コンテキストインデックスの値は、２に導出されることができる。

または、例えば、前記コンテキストインデックスの値は、ブロックの大きさ、ブロックの幅－高さ比率、ブロックのイントラまたはインター予測可否、隣接の変換スキップ可否などのうち少なくとも一つに基づいてｃｔｘＩｎｃ及び／またはｃｔｘＩｄｘを決定することができる。または、ブロックの大きさ、ブロックの幅－高さ比率、ブロックのイントラまたはインター予測可否、隣接の変換スキップ可否などのうち少なくとも一つに基づくコンテキストモデルを定義することができ、これに基づいてコンテキストインデックスの値を導出することができる。例えば、現在ブロックに対する変換タイプまたは変換スキップに対する情報は、前記コンテキストインデックスまたはコンテキストモデルに基づいて取得されることができる。

デコーディング装置は、前記予測モード情報に基づいて予測を実行して現在ブロックの予測サンプルを導出することができる（Ｓ１５１０）。例えば、デコーディング装置は、前記予測モード情報に基づいて前記現在ブロックの予測モードを導出することができる。例えば、前記予測モード情報は、イントラ予測モードに対する情報またはインター予測モードに対する情報を含むことができ、これに基づいて現在ブロックの予測モードをイントラ予測モードまたはインター予測モードに導出することができる。

例えば、デコーディング装置は、前記予測モードに基づいて前記現在ブロックの予測サンプルを導出することができる。例えば、デコーディング装置は、前記予測モードがイントラ予測モードである場合、現在ブロック隣接のサンプルに基づいて前記予測サンプルを導出することができる。または、デコーディング装置は、前記予測モードがインター予測モードである場合、現在ブロックの参照ピクチャ内の参照サンプルに基づいて前記予測サンプルを導出することができる。

デコーディング装置は、前記レジデュアル関連情報に基づいて前記現在ブロックのレジデュアルサンプルを導出することができる（Ｓ１５２０）。例えば、前記レジデュアル関連情報は、前記レジデュアルサンプルに対する変換係数に対する情報を含むことができる。または、前記レジデュアル関連情報は、前記変換スキップフラグを含むこともできる。

例えば、前記レジデュアル関連情報が前記変換スキップフラグを含む場合、前記現在ブロックに対するレジデュアル信号（または、レジデュアルに対する情報）は、変換無しでピクセルドメイン（空間ドメイン）上でシグナリングされることができる。または、前記レジデュアル関連情報が前記変換スキップフラグを含まない場合、前記現在ブロックに対するレジデュアル信号（または、レジデュアルに対する情報）は、変換が実行されて変換ドメイン上でシグナリングされることができる。例えば、デコーディング装置は、前記変換無しでまたは変換が実行されてシグナリングされたレジデュアル信号に基づいてレジデュアルサンプルを導出することができる。

デコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成することができる（Ｓ１５３０）。または、デコーディング装置は、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャを導出することができる。以後、デコーディング装置は、必要によって、主観的／客観的画質を向上させるためにデブロッキングフィルタリング及び／またはＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、前述の通りである。

デコーディング装置は、ビットストリームをデコーディングして前述した情報（または、シンタックス要素）の全部または一部を含む映像情報を取得することができる。また、前記ビットストリームは、コンピュータ読み取り可能なデジタル格納媒体に格納されることができ、前述したデコーディング方法が実行されるように引き起こすことができる。例えば、ビットストリームは、映像情報またはビデオ情報で示すこともできる。

前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

前述した本文書による方法は、ソフトウェア形態で実現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

本文書で実施例がソフトウェアで実現されるとき、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で実現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段によりプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。

図１７は、コンテンツストリーミングシステム構造の概略を示す。

即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて実行されることができる。

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、映像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などを含むことができる。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生成されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み取ることができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に格納され、または有線／無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

また、本文書が適用されるコンテンツストリーミングシステムは、大いに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは、省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒体の役割をする。ユーザが前記ウェブサーバに所望のサービスを要求すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｓ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

Claims (13)

1. デコーディング装置により実行される映像デコーディング方法において、
   ビットストリームから予測モード情報及びレジデュアル関連情報を取得するステップと、
   前記予測モード情報に基づいて予測を実行して現在ブロックの予測サンプルを導出するステップと、
   前記レジデュアル関連情報に基づいて前記現在ブロックのレジデュアルサンプルを導出するステップと、
   前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを生成するステップと、を含み、
   前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報は、変換スキップフラグを含み、
   前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、
   前記最大変換スキップサイズに対する情報は、前記ビットストリームから取得されることを特徴とする、映像デコーディング方法。
2. 前記最大変換スキップサイズは、４、８、１６または３２を含む候補サイズのうち一つに導出されることを特徴とする、請求項１に記載の映像デコーディング方法。
3. 前記最大変換スキップサイズに対する情報は、log2_transform_skip_max_size_minus2シンタックス要素を含むことを特徴とする、請求項１に記載の映像デコーディング方法。
4. 前記最大変換スキップサイズは、数式
   MaxTsSize = 1 << (log2_transform_skip_max_size_minus2 + 2)
   に基づいて導出され、
   前記MaxTsSizeは、前記最大変換スキップサイズを示し、
   前記log2_transform_skip_max_size_minus2は、前記log2_transform_skip_max_size_minus2シンタックス要素の値を示すことを特徴とする、請求項３に記載の映像デコーディング方法。
5. 前記log2_transform_skip_max_size_minus2シンタックス要素の値は、０乃至３の候補値のうち一つに示されることを特徴とする、請求項４に記載の映像デコーディング方法。
6. 前記最大変換スキップサイズに対する情報は、ハイレベルシンタックスに含まれることを特徴とする、請求項１に記載の映像デコーディング方法。
7. エンコーディング装置により実行される映像エンコーディング方法において、
   現在ブロックに対して予測を実行して予測サンプルを導出するステップと、
   前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
   前記予測に対する予測モード情報及び前記レジデュアルサンプルに対するレジデュアル関連情報を含む映像情報をエンコーディングするステップと、を含み、
   前記現在ブロックのサイズ及び最大変換スキップサイズに基づいて、前記レジデュアル関連情報は、変換スキップフラグを含み、
   前記変換スキップフラグは、前記現在ブロックに変換スキップが適用されたかどうかを示し、
   前記映像情報は、前記最大変換スキップサイズに対する情報を含むことを特徴とする、映像エンコーディング方法。
8. 前記最大変換スキップサイズは、４、８、１６または３２を含む候補サイズのうち一つに導出されることを特徴とする、請求項７に記載の映像エンコーディング方法。
9. 前記最大変換スキップサイズに対する情報は、log2_transform_skip_max_size_minus2シンタックス要素を含むことを特徴とする、請求項７に記載の映像エンコーディング方法。
10. 前記最大変換スキップサイズは、数式
    MaxTsSize = 1 << (log2_transform_skip_max_size_minus2 + 2)
    に基づいて導出され、
    前記MaxTsSizeは、前記最大変換スキップサイズを示し、前記log2_transform_skip_max_size_minus2は、前記log2_transform_skip_max_size_minus2シンタックス要素の値を示すことを特徴とする、請求項９に記載の映像エンコーディング方法。
11. 前記log2_transform_skip_max_size_minus2シンタックス要素の値は、０乃至３の候補値のうち一つに示されることを特徴とする、請求項１０に記載の映像エンコーディング方法。
12. 前記最大変換スキップサイズに対する情報は、ハイレベルシンタックスに含まれることを特徴とする、請求項７に記載の映像エンコーディング方法。
13. コンピュータ読み取り可能なデジタル格納媒体において、前記コンピュータ読み取り可能なデジタル格納媒体は、請求項１のデコーディング方法を実行するように引き起こす映像情報が格納されることを特徴とする、コンピュータ読み取り可能なデジタル格納媒体。