JP2023071937A - ビデオ信号の符号化／復号方法及びそのための装置 - Google Patents

Abstract

【課題】変換効率を向上させるビデオ信号処理方法及び装置を提供する。【解決手段】方法は、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｓｅｔｓ）のうち、現在ブロックに適用される２次変換セットを決定するステップと、決定した２次変換セット内で現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得するステップと、第１のシンタックス要素により特定する２次変換行列を用いて現在ブロックの左上端領域に対して２次逆変換を行うことで、２次逆変換したブロックを導くステップと、現在ブロックの１次変換行列（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を用いて２次逆変換されたブロックに対して１次逆変換を行うことにより、現在ブロックの残差ブロックを導くステップと、を含む。【選択図】図２２

Description

本発明は、ビデオ信号を処理するための方法及び装置に関し、より具体的に、変換を行うことによりビデオ信号を符号化／復号化するための方法及び装置に関する。

圧縮符号化（エンコーディング）とは、デジタル化した情報を通信回線を介して転送したり、貯蔵媒体に適合した形で貯蔵するための一連の信号処理技術を意味する。映像、映像、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象に圧縮符号化を実行する技術をビデオ映像圧縮と称する。

次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（high frame rate）及び映像表現の高次化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（memory storage）、メモリアクセス率（memory access rate）及び処理電力（processing power）の面で莫大な増加をもたらす。

したがって、次世代の映像コンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、ＨＥＶＣ（high efficiency video coding）標準の後のビデオコーデック標準は、さらに高い正確度を有する予測技術とともに空間領域（spatial domain）のビデオ信号を周波数領域（frequency domain）に変換させるための効率的な変換技術を必要とする。

本発明の目的は、現在ブロックに適した変換を適用する画像信号処理方法及び装置を提供することにある。

本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されず、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

本発明の一態様は、ビデオ信号を復号化する方法において、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定するステップと、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得するステップと、前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導くステップと、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くステップとを含むことができる。

好ましくは、前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことができる。

好ましくは、前記２次逆変換されたブロックを導くステップは、前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定するステップをさらに含むことができる。

好ましくは、前記現在ブロックの高さ及び幅が各々４である場合、非分離変換の入力長さは８、出力長さは１６に決定されることができる。

好ましくは、前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングするステップと、前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定するステップとをさらに含むことができる。

好ましくは、前記２次変換が適用され得るか否かを決定するステップは、前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定することにより行われることができる。

好ましくは、前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることができる。

本発明の他の一態様は、ビデオ信号を復号化する装置において、前記ビデオ信号を格納するメモリと、前記メモリと結合されたプロセッサとを備え、前記プロセッサは、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定し、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得し、前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導き、及び前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くことができる。

本発明の実施形態によれば、現在ブロックに適した変換を決定して適用することにより、変換効率を向上させることができる。

また、本発明の実施形態によれば、一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）及び二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に用いられる変換を効率的に設計することにより、演算複雑度を改善し、圧縮性能を高めることができる。

また、本発明の実施形態によれば、二次変換が適用される一次変換の変換カーネルを制限することにより、演算複雑度を著しく改善することができる。

本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

本発明に係る理解を助けるために詳細な説明の一部として含まれた、添付図面は、本発明の実施形態を提供し、詳細な説明と一緒に本発明の技術的特徴を説明する。

本発明が適用される実施形態として、映像コーディングシステムの例を示す。 本発明が適用される実施形態として、ビデオ／映像信号のエンコードが行われるエンコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、コンテンツストリーミングシステムの構造図である。 本発明が適用されることができる実施形態として、ＱＴ（QuadTree、以下「ＱＴ」とする）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＢＴ（Binary Tree、以下「ＢＴ」と称する）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＴＴ（Ternary Tree、以下「ＴＴ」という）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。 本発明が適用される実施形態として、エンコード装置内の変換及び量子化部、逆量子化及び逆変換部の概略的なブロック図を示す。 本発明が適用される実施形態として、デコード装置内の逆量子化及び逆変換部の概略的なブロック図を示す。 ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。 ＡＭＴが実行されるデコード過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、ギブンス回転（Givensrotation）を説明するためのダイヤグラムを示す。 本発明が適用される実施形態として、ギブンス回転レイヤと置換（permutation）で構成された４ｘ４ＮＳＳＴ（non -separable secondary transform）での１ラウンド（round）の構成を示す。 本発明が適用される実施形態として、ＲＳＴ（reduced secondary transform）の動作を示す。 本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆スキャンを実行する過程を示す図である。 本発明が適用される実施形態として、単一変換指示子（single transform indicator、ＳＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、統一された変換指示子（unified transform indicator、ＵＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。 本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。 本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。 本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。 本発明が適用される実施形態でとして、ビデオ信号を処理するためのフローチャートを示す。 本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。 本発明が適用される実施形態に係るビデオ信号の変換方法を例示するフローチャートである。 本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。

以下、本発明に係る好適な実施の形態を添付の図面を参照して、詳細に説明する。添付された図面と一緒に以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施されることができる唯一の実施形態を示したいのではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本発明がこのような具体的な詳細事項がなくても実施できることが分かる。

いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示されることができる。

さらに、本発明で用いられる用語は、可能な限り、現在広く用いられる一般的な用語を選択したが、特定の場合には、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明で、その意味を明確に記載するため、本発明の説明で使用された用語の名称のみで単純に解釈されてはならないものであり、その当該用語の意味まで把握して解釈されるべきであることを明らかにしておく。

以下の説明で用いられる特定の用語は、本発明の理解を助けるために提供されたものであり、このような特定の用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディングの過程で適切に代替されて解釈されることがある。

以下、本明細書において「処理ユニット」は、予測、変換、及び/または量子化などのようなエンコード／デコードの処理過程が実行される単位を意味する。また、処理ユニットは、輝度（luma）成分の単位と色差（chroma）成分の単位を含む意味で解釈されることができる。例えば、処理ユニットは、ブロック（block）、コーディングユニット（coding unit、ＣＵ）、予測ユニット（prediction unit、ＰＵ）、または変換ブロック（transform unit、ＴＵ）に該当することができる。

なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。

また、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形の形で構成されることもある。

なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。

図１は、本発明が適用される実施形態として、映像コーディングシステムの例を示す。

映像コーディングシステムは、ソースデバイ１０及び受信デバイス２０を含むことができる。ソースデバイ１０は、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイス２０に転達することができる。

ソースデバイ１０は、ビデオソース１１、エンコード装置１２、送信機１３を含むことができる。受信デバイス２０は、受信機２１、デコード装置２２及びレンダラー２３を含むことができる。エンコード装置１０は、ビデオ/映像エンコード装置と呼ばれることができ、デコード装置２０は、ビデオ/映像デコード装置と呼ばれることができる。送信機１３は、エンコード装置１２に含まれることができる。受信機２１は、デコード装置２２に含まれることができる。レンダラー２３は、ディスプレイ部を含むこともでき、ディスプレイ部の別のデバイスまたは外部のコンポーネントで構成されることもある。

ビデオソースはビデオ／映像のキャプチャ、合成または生成過程などを通じてビデオ/映像を獲得することができる。ビデオソースはビデオ／映像キャプチャデバイス及び/またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ/映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えばコンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。たとえば、コンピュータなどを通じて、仮想のビデオ/映像が生成されることができ、この場合、関連するデータが生成される過程で、ビデオ／映像キャプチャプロセスが代えることができる。

エンコード装置１２は、入力ビデオ/映像をエンコードすることができる。エンコード装置１２は、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ/映像情報）は、ビットストリーム（bitstream）の形で出力されることができる。

転送部１３は、ビットストリームの形態で出力され、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイスの受信部に転達することができる。デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。転送部１３は、予め決まれたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介した転送のためのエレメントを含むことができる。受信機２１は、ビットストリームを抽出してデコード装置２２に転達することができる。

デコード装置２２は、エンコード装置１２の動作に対応する逆量子化、逆変換、予測など一連の手順を実行して、ビデオ／映像をデコードすることができる。

レンダラー(renderer)２３は、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本発明が適用される実施形態として、ビデオ／映像信号のエンコーディングが行われるエンコード装置の概略的なブロック図を示す。図２のエンコード装置１００は、図１のエンコード装置１２に対応することができる。

映像分割部１１０は、エンコード装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（processing unit）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（coding tree unit、ＣＴＵ）または最大コーディングユニット（largest coding unit、ＬＣＵ）からＱＴＢＴ（Quad-tree binary-tree）構造に基づいて再帰的に（recursively）に分割されることができる。例えば、一つのコーディングユニットは、クワッドツリー構造及び/またはバイナリツリー構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クワッドツリー構造が先に適用され、バイナリツリー構造が、後で適用されることができる。またはバイナリツリー構造が先に適用されることもある。これ以上分割されない最終コーディングユニットをベースに、本発明に係るコーディング手順が実行されることができる。この場合、映像の特性に応じたコーディング効率などに基づいて、最大コーディングユニットがすぐに最終的なコーディングユニットとして用いることができ、または必要に応じてコーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここでコーディング手順とは、後述する予測、変換、及び復元などの手続きを含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、それぞれ前述した最終コーディングユニットから分割またはパーティショニングすることができる。前記予測ユニットは、サンプル予測の単位で有り得、前記の変換ユニットは、変換係数を誘導する単位、及び/または変換係数からレジデュアル信号（residual signal）を誘導する単位で有り得る。

ユニットは、場合によってブロック（block）または領域（area）などの用語と混用して用いられる。一般的な場合、ＭｘＮブロックはＭ個の列とＮ個の行からなるサンプル又は変換係数（transform coefficient）の集合を示すことができる。
サンプルは、一般的に、ピクセルまたはピクセルの値を示すこともあり、輝度（luma）成分のピクセル/ピクセル値のみを示すこともあり、彩度（chroma）成分のピクセル/ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または映像）をピクセル（pixel）またはペル（pel）に対応する用語として用いられる。

エンコード装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（residual signal、残りのブロック、残りのサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部１２０に転送される。この場合、図示のように、エンコーダ１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１１５と呼ばれることができる。予測部は処理対象ブロック（以下、現在ブロックと称する）の予測を行い、現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は各予測モードの説明で後述するように、予測モード情報など予測に関する様々な情報を生成し、エントロピーエンコーディング部１９０に転達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

イントラ予測部１８５は、現在のピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて前記現在ブロックの周辺（neighbor）に位置することができ、または離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Planarモード）を含むことができる。方向性モードでは、予測方向の細かい程度に応じて、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示として設定によってはそれ以上、またはそれ以下の数の方向性予測モードが用いられることができる。イントラ予測部１８５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。参照ブロックを含む参照ピクチャと時間的周辺ブロックを含む参照ピクチャは同じであることもあり、異なることもある。前記時間的周辺ブロックは、同じ位置参照ブロック（collocated reference block）、同じ位置（ＣＵ ｃｏｌＣＵ）などの名で呼ばれることができ、時間的周辺ブロックを含む参照ピクチャは、同じ位置ピクチャ（collocated picture、colPic）と呼ばれることもある。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップ・モードの場合、マージモードとは異なり、レジデュアル信号が転送されないことがある。動き情報予測（motion vector prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）で用いて、動きベクトル差分（motion vector difference）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。

インター予測部１８０またはイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために用いられるか、またはレジデュアル信号を生成するために用いられる。

変換部１２０は、レジデュアル信号に変換手法を適用して変換係数（transform coefficients）を生成することができる。たとえば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。 ＣＮＴは、以前に復元されたすべてのピクセル（all previously reconstructepixel）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換プロセスは、正方形の同じ大きさを有するピクセルブロックに適用されることもあり、非正方形可変サイズのブロックにも適用することができる。

量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に転送され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコードして、ビットストリームとして出力することができる。量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順（scan order）に基づいて、ブロックの形の量子化された変換係数を１次元ベクトルの形で再整列することができ、１次元ベクトルの形の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば指数ゴロム（exponential Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（context-adaptive variable length coding）、ＣＡＢＡＣ（context-adaptive binary arithmetic coding）などのようなさまざまなエンコード方法を実行することができる。エントロピーエンコーディング部１９０は、量子化された変換係数のほか、ビデオ／映像復元に必要な情報（例えば構文要素（syntax elements）の値など）を一緒に、または別々にエンコードすることもできる。エンコードされた情報（例えば、ビデオ/映像情報）は、ビットストリームの形でＮＡＬ（network abstraction layer）ユニット単位で転送または貯蔵することができる。前記ビットストリームは、ネットワークを介して転送されることができ、またはデジタル貯蔵媒体に貯蔵することができる。ここで、ネットワークは、放送網、及び/またはネットワークなどを含むことができ、デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。エントロピーエンコーディング部１９０から出力された信号は、伝送する伝送部（図示せず）及び/または貯蔵する貯蔵部（図示せず）が、エンコード装置１００の内/外のエレメントとして構成されることができ、または転送部はエントロピーエンコーディング部１９０の構成要素で有り得る。

量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために用いることができる。例えば、量子化された変換係数は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いることもある。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された（復元ピクチャを復号ピクチャバッファ１７０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset）、適応的ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法の説明で後述するようにフィルタリングに関するさまざまな情報を生成し、エントロピーエンコーディング部１９０に転達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

復号ピクチャバッファ１７０に 転送された修正された復元ピクチャは、インター予測部１８０から参照ピクチャとして用いられる。エンコード装置は、これにより、インター予測が適用される場合、エンコード装置１００とデコード装置での予測ミスマッチを回避することができ、エンコーディング効率も向上させることができる。

復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０からの参照ピクチャとして用いるために貯蔵することができる。

図３は、本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。図３のデコード装置２００は、図１のデコード装置２２に対応することができる。

図３を参照すると、デコード装置２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ）２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成されることができる。インター予測部２６０及びイントラ予測部２６５を合わせて予測部と呼ばれることができる。つまり、予測部はインター予測部１８０及びイントラ予測部１８５を含むことができる。逆量子化部２２０、逆変換部２３０を合わせてレジデュアル処理部と呼ばれることができる。つまり、レジデュアル処理部は、逆量子化部２２０、逆変換部２３０を含むことができる。前述したエントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５は、実施形態に応じて一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）によって構成されることができる。また、復号ピクチャバッファ２５０は、実施形態に応じて一つのハードウェアコンポーネント（例えば、メモリまたはデジタル貯蔵媒体）によって実施されることができる。

ビデオ／映像情報を含むビットストリームが入力されると、デコード装置２００は、図２のエンコード装置１００からのビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置２００は、エンコード装置１００で適用された処理ユニットを用いてデコードを行うことができる。したがってデコードの処理ユニットは、例えば、コーディングユニットで有り得、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクワッドツリー構造及び/またはバイナリツリー構造に沿って分けることができる。そして、デコード装置２００を介してデコード及び出力された復元映像信号は、再生装置を通じて再生することができる。

デコード装置２００は、図２のエンコード装置１００から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部２１０を介してデコードすることができる。例えば、エントロピーデコード部２１０は、ビットストリームをファージング（解析）して映像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ/映像情報）を導出することができる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードして、映像復元に必要な構文要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。さらに詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームから各構文要素に当該するビンを受信し、デコード対象構文要素の情報と周辺及びデコード対象ブロックのデコード情報、または前の段階でデコードされたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測して、ビンの算術デコード（arithmetic decoding）を実行して、各構文要素の値に当該するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデルを決定した後、次のシンボル/ビンの文脈モデルのためにデコードされたシンボル/ビンの情報を用いて、コンテキストモデルを更新することができる。エントロピーデコード部２１０でデコードされた情報の内、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）で提供され、エントロピーデコード部２１０からエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコード部２１０でデコードされた情報の内、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコード装置１００から出力された信号を受信する受信部（図示せず）がデコード装置２００の内/外部エレメントとしてさらに構成されることがあり、または受信部は、エントロピーデコード部２１０の構成要素有り得る。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態に再整列することができる。この場合、エンコード装置１００で実行された係数スキャン順序に基づいて再整列が実行されることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化段階サイズ情報）を用いて、量子化された変換係数の逆量子化を行い、変換係数（transform coefficient）を獲得することができる。

逆変換部２３０は、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。

予測部は現在ブロックの予測を行い、前記現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部はエントロピーデコード部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モードを決定することができる。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて、現在ブロックの周辺（neighbor）に位置することができ、または離隔して位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトルと参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出することができる。様々な予測モードに基づいて、インター予測が行われることができ、予測に関する情報は、現在ブロックのインター予測のモードを指示する情報を含むことができる。

加算部２３５は、獲得されたレジデュアル信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることで復元信号（復元ピクチャ、復元ブロック、復元、サンプルアレイ）を生成することができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合は、予測されたブロックが復元ブロックとして用いられる。

加算部２３５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いられることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用することにより、主観的/客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset、ＳＡＯ）、適応的ループフィルタ（adaptive loop filter、ＡＬＦ）、両方向フィルタ（bilateral filter）などを含むことができる。

復号ピクチャバッファ２５０に転送された修正された復元ピクチャは、インター予測部２６０によって参照ピクチャとして用いられる。

本明細書において、エンコード装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれのデコード装置のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同一または対応するように適用することができる。

図４は、本発明が適用される実施形態でとして、コンテンツストリーミングシステムの構造図である。

本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ４１０、ストリーミングサーバ４２０、Ｗｅｂサーバ４３０、メディアストレージ４４０、ユーザ装置４５０及びマルチメディア入力デバイス４６０を含むことができる。

エンコードサーバ４１０は、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力デバイスから入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバ４２０に転送する役割をする。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコードサーバ４１０は、省略することができる。

ビットストリームは、本発明が適用されるエンコード方法またはビットストリームを生成する方法によって生成されることができ、ストリーミングサーバ４２０は、ビットストリームを転送または受信する過程で一時的にビットストリームを貯蔵することができる。

ストリーミングサーバ４２０は、Ｗｅｂサーバ４３０を介したユーザの要請に基づいて、マルチメディアデータをユーザ装置４５０に転送し、Ｗｅｂサーバ４３０は、ユーザにどのようなサービスがあるかを知らせる媒介の役割をする。ユーザがＷｅｂサーバ４３０に所望するサービスを要請すると、Ｗｅｂサーバ４３０は、これをストリーミングサーバ４２０に伝達し、ストリーミングサーバ４２０は、ユーザにマルチメディアデータを転送する。このとき、コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、制御サーバは、コンテンツストリーミングシステム内の各デバイス間のコマンド／応答を制御する役割をする。

ストリーミングサーバ４２０は、メディアストレージ４４０及び/またはエンコーディングサーバ４１０からコンテンツを受信することができる。たとえば、エンコードサーバ４１０からコンテンツを受信することになる場合、コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバ４２０は、ビットストリームを一定時間の間貯蔵することができる。

ユーザデバイス４５０の例としては、、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（personal digital assistants）、ＰＭＰ（portable multimedia player）、ナビゲーション、スレートＰＣ（slate ＰＣ）、タブレットPC（tablet ＰＣ）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、ウォッチ型端末（smartwatch）、グラス型端末（smart glass）、ＨＭＤ（head mounted display））、デジタルＴＶ 、デスクトップコンピュータ、デジタルサイネージなどを有することができる。

コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理することができる。

図５は、本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、QT）、図５ｂは、ＢＴ（Binary Tree、ＢＴ）、図５ｃは、ＴＴ（Ternary Tree、ＴＴ）図５ｄは、ＡＴ（Asymmetric Tree、ＡＴ）によるブロック分割構造を説明するための図である。

ビデオコーディングにおいて１つのブロックは、ＱＴに基づいて分割されることができる。また、ＱＴによって分割された一つのサブブロック（subblock）はＱＴを用いて再帰的にさらに分割されることができる。もはやＱＴ分割されないリーフブロック（leaf block）はＢＴ、ＴＴまたはＡＴの内ね少なくとも一つの方式によって分割されることができる。 ＢＴはhorizontal ＢＴ（２ＮｘＮ、２ＮｘＮ）とvertical ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＴＴはhorizontal ＴＴ（２Ｎｘ１/２Ｎ、２ＮｘＮ、２Ｎｘ１/２Ｎ）とvertical ＴＴ（１/２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１/２Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＡＴはhorizontal-up ＡＴ（２Ｎｘ１/２Ｎ、２Ｎｘ３/ ２Ｎ）、horizontal-down ＡＴ（２Ｎｘ３/２Ｎ、２Ｎｘ１/２Ｎ）、vertical-left ＡＴ（１/２Ｎｘ２Ｎ、３/２Ｎｘ２Ｎ）、vertical-right ＡＴ（３/２Ｎｘ２Ｎ、１/ ２Ｎｘ２Ｎ）の四つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴはＢＴ、ＴＴ、ＡＴを用いて再帰的にさらに分割されることができる。

図５ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴによって４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、再びＱＴによって４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。

図５ｂはＢＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＢＴ（Ｃ０、Ｃ１）またはhorizontal ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のように、それぞれのサブブロックは、horizontal ＢＴ（Ｅ０、Ｅ１）またはvertical ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

図５ｃはＴＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはhorizontal ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはvertical ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。

図５ｄはＡＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＡＴ（Ｃ０、Ｃ１）またはhorizontal ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＡＴ（Ｅ０、Ｅ１）またはvertical ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

一方、ＢＴ、ＴＴ、ＡＴ分割は一緒に使用して分割が可能である。たとえば、ＢＴによって分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。 ＡＴによって分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。たとえば、horizontal ＢＴ分割以後、それぞれのサブブロックがvertical ＢＴに分割されることができ、またはvertical ＢＴ分割以後、それぞれのサブブロックがhorizontal ＢＴに分割されることもできる。この場合、分割順番は異なるが、最終的に分割される形は同じである。

また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般的に、左側から右側に、上端から下端に探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加のブロックを分割するかどうかを決定する順序を意味するか、ブロックがもはや分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックで他の隣接ブロックの情報を参照するときの探索順序を意味することができる。

図５ａ乃至５ｄのような分割構造によって分割された処理ユニット（または、変換ブロック）ごとに変換が実行されることができ、特に、行（row）方向と列（column）方向別に分割され、変換行列が適用されることができる。本発明の実施形態に係ると、処理ユニット（または変換ブロック）の行方向または列方向の長さに応じて、他の変換タイプが用いられる。

変換は、レジデュアルブロックに適用されるが、これは最大限レジデュアルブロックを無相関化（decorrelate）し、低周波数に係数を集中させ、ブロックの先端に０の尾（zero tail）を作成するためである。ＪＥＭソフトウェアで変換パーツは２つの主要な機能（コア変換（core transform）、２次変換（secondary transform））を含む。コア変換は、レジデュアルブロックのすべての行と列に適用されるＤＣＴ（discrete cosine transform）及びＤＳＴ（discrete sine transform）変換ファミリーで構成される。以後２次変換がコア変換の出力の左上側コーナー（top left corner）に追加的に適用することができる。類似に２次逆変換とコア逆変換の順序の逆変換が適用されることができる。まず、２次逆変換が係数ブロックの左上側コーナーに適用することができる。以後コア逆変換が２次逆変換の出力の行及び列に適用される。コア変換または逆変換は、１次変換または逆変換と指称されることができる。

図６及び図７は、本発明が適用される実施形態として、図６は、図２のエンコード装置１００内の変換及び量子化部（１２０/１３０）、逆量子化及び逆変換部（１４０/１５０）の概略的なブロック図を示し、図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図６を注意深く見ると、変換、及び量子化部（１２０/１３０）は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２及び量子化部１３０を含むことができる。逆量子化及び逆変換部（１４０/１５０）は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１及び逆１次変換部（inverse primary transform unit）１５２を含むことができる。

図７を 注意深く見ると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１と逆１次変換部（inverse primary transform unit）２３２を含むことができる。

本発明において、変換を実行するとき、複数の段階を経て変換を実行することができる。例えば、図６に示すように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムに基づいて、それ以上の変換段階が用いられる。ここで、１次変換は、コア変換（core transform）と指称されることができる。

１次変換部１２１は、レジデュアル信号に対して１次変換を適用することができ、ここで、１次変換はエンコーダ及び/またはデコーダからテーブルに既定義されることができる。

２次変換部１２２は、１次変換された信号に対して２次変換を適用することができ、ここで、２次変換はエンコーダ及び/またはデコーダからテーブルに既定義されることができる。

一実施形態において、２次変換として非分離２次変換（non-separable secondary transform）（ＮＳＳＴ）が条件的に適用することができる。例えば、ＮＳＳＴは画面内予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。

ここで、予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。このとき、予測モード５２の変換を適用するとき、入力データを転置（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。

一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、該変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。

量子化部１３０は、２次変換された信号に対して量子化を行うことができる。

逆量子化及び逆変換部（１４０/１５０）は、先に説明した過程を逆に実行し、重複する説明は省略する。

図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図７を参照すると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit２３１及び逆１次変換部（inverse primary transform unit）２３２を含むことができる。

逆量子化部２２０は、量子化段階サイズ情報を用いて、エントロピーデコード（復号化）された信号から変換係数を獲得する。

逆２次変換部２３１においては、変換係数に対して逆２次変換を実行する。ここで、逆２次変換は、図６で説明した２次変換の逆変換を示す。

逆１次変換部２３２は、逆２次変換された信号（またはブロック）について逆１次変換を行い、残差信号（residual signal）を獲得することになる。ここで、逆１次変換は、図６で説明した前記１次変換（primary transform）の逆変換を示す。

ＨＥＶＣに適用されるＤＣＴ－２と４ｘ４ ＤＳＴ－４に加えて、適応的（または明示的）多重変換（adaptive multiple transformまたはexplicit multiple transform）（ＡＭＴまたはＥＭＴ）技法がインター及びイントラエンコーディングされたブロックのレジデュアルコーディングのために用いられる。 ＨＥＶＣでの変換、その他のＤＣＴ/ＤＳＴファミリーからの多数の選択された変換が用いられる。 JＥＭから新しく紹介された変換行列は、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、及びＤＣＴ－５である。下の表１は、選択されたＤＳＴ/ＤＣＴの基底関数を示す。

ＥＭＴは６４より小さいか同じ幅と高さを有するＣＵに適用されることができ、ＥＭＴが適用されるかどうかは、ＣＵレベルフラグによって制御することができる。ＣＵレベルフラグが０であれば、ＤＣＴ－２が残差（residue）をエンコーディングするために、ＣＵに適用される。ＥＭＴが適用されるＣＵ内ルマコーディングブロックに対し、２つの追加のフラグが用いられる水平及び垂直変換を識別するためにシグナリングされる。ＨＥＶＣのように、ＪＥＭのブロックのレジデュアルは変換スキップモードでコーディングされることができる。イントラレジデュアルコーディングのために、他のイントラ予測モードの他のレジデュアル統計により、モード‐依存的変換候補の選択プロセスが用いられる。３つの変換サブセットが、以下の表２のように定義されており、変換サブセットは、表３に示すようにイントラ予測モードに基づいて変換サブセットが選択される。

サブセットコンセプトと一緒に、変換のサブセットは、ＣＵ－レベルＥＭＴ＿ＣＵ＿flagが１であるＣＵのイントラ予測モードを用いることにより、表２に基づいて、最初に確認される。以降、水平（ＥＭＴ＿ＴＵ_horizontal_flag）と垂直（ＥＭＴ＿ＴＵ＿vertical_flag）変換のそれぞれについて、確認された変換のサブセット内の２つの変換候補の内から一つが、表３に基づいて、フラグを使用した明示的なシグナリングに基づいて選択される。

表４は、本発明が適用される実施形態として、ＡＭＴ（adaptive multiple transform）が適用される変換設定グループ（transform configuration group）を示す。

表４を注意深く見ると、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、総６個（Ｇ０～Ｇ５）で有り得る。そして、Ｇ０～Ｇ４は、イントラ予測が適用される場合に当該し、Ｇ５は、インター予測によって生成された残差ブロックに適用される変換の組み合わせ（または変換セット、変換組み合わせセット）を示す。

一つの変換の組み合わせは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または列変換（column transform））で行うことができる。

ここで、すべての変換設定のグループは、各４つの変換組み合わせの候補を有することができる。４つの変換の組み合わせ候補は０～３の変換組み合わせのインデックスを介して選択または決定することができ、エンコーダからデコーダへの変換組み合わせのインデックスをエンコードして転送することができる。

一実施形態で、イントラ予測を介して獲得された残差データ（または残差信号）は、イントラ予測モードに応じて、その統計的特性がそれぞれ異なることができる。したがって、表４のようにイントラ予測別に一般的なコサイン変換ではなく、別の変換が適用されることができる。本明細書において、変換タイプは、例えば、ＤＣＴ－Ｔｙｐｅ ２、ＤＣＴ－ＩＩ、ＤＣＴ－２のように表記することができる。

表４注意深く見ると、３５個のイントラ予測モードを用いる場合と６７個のイントラ予測モードを用いる場合が現れる。各イントラ予測モードの列で区分された変換設定グループごとに複数の変換の組み合わせが適用されることができる。例えば、複数の変換の組み合わせは、４つの（行方向変換、列方向変換）の組み合わせで構成されることができる。具体例として、グループ０においては、行（水平）方向と列（縦）方向のすべてＤＳＴ－７とＤＣＴ－５が適用されることができ、総４つの組み合わせが可能である。

各イントラ予測モードに対して、総４つの変換カーネルの組み合わせが適用されることができるので、その内、一つを選択するための変換組み合わせのインデックスが変換ユニット（transform unit）ごとに転送されることができる。本明細書において、変換組み合わせのインデックスは、ＡＭＴインデックス（ＡＭＴ index）と呼ばれることができ、amt_idxで表現されることができる。

また、表４で提示された変換カーネル以外にも、残差信号の特性上、行方向と列方向の全てにＤＣＴ－２が最適な場合が発生することができる。したがって、コーディングユニット毎にＡＭＴフラグを定義することにより、適応的に変換が適用されることができる。ここで、ＡＭＴフラグが０の場合、行方向と列方向の全てにＤＣＴ－２が適用され、ＡＭＴフラグが1の場合、AMTのインデックスを使用して、４つの組み合わせのいずれかが選択または決定することができる。

一実施形態で、ＡＭＴフラグが０の場合、１つの変換ユニットの変換係数の数が３より小さいと、表４の変換カーネルが適用されず、行方向と列方向の全てＤＳＴ－７が適用されることができる。

一実施形態として、変換係数の値を先にパーシング（解析）して、変換係数の数が３より小さければ、ＡＭＴインデックスが解析されず、ＤＳＴ－７が適用されることにより付加情報転送量が減少することができる。

一実施形態として、ＡＭＴは、変換ユニットの幅と高さの全てが３２以下の場合にのみ、適用することができる。

一実施形態で、表４は、オフライントレーニング（off-line training）を介して基に設定されることができる。

一実施形態でＡＭＴインデックスは、水平変換と垂直変換の組み合わせを同時に指すことができる、１つのインデックスとして定義することができる。または、ＡＭＴインデックスは、別の水平変換インデックスと垂直変換インデックスで定義することができる。

図８は、ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。

本明細書において、水平方向と垂直方向に対して分離して、変換が適用される分離可能な変換（separable transform）の実施形態が、基本的に説明されるが、変換の組み合わせは、非分離変換（non-separable transform）にも構成することができる。

または、分離可能な変換と非分離変換の混合にも変換の組み合わせが構成されることができる。この場合、非分離変換が用いられると、行/列別変換選択や水平/垂直方向別の選択は不要になり、分離可能な変換が選択される場合にのみ、表４の変換の組み合わせが用いられることができる。

また、本明細書で提案される方法は、１次変換や２次変換に関係なく適用することができる。つまり、２つの内、何れか一方にのみ適用されなければならないという制約がなく、両方に適用することができる。ここで、１次変換は残差ブロックを最初に変換するための変換を意味することができ、２次変換は、１次変換の結果として生成されたブロックに対し変換を適用するための変換を意味することができる。

まず、エンコード装置１００は、現在ブロックに対応する変換グループを決定することができる（Ｓ８０５）。ここで、変換グループは、表４の変換グループを意味することができるが、本発明はこれに限定されず、他の変換の組み合わせで構成されることができる。

エンコード装置１００は、変換グループ内の用いられる候補変換の組み合わせに対して変換を実行することができる（Ｓ８１０）。変換実行結果、エンコード装置１００は、ＲＤ（rate distortion）コストが最小の変換の組み合わせを決定または選択することができる（Ｓ８１５）。エンコード装置１００は、選択された変換の組み合わせに対応する変換組み合わせのインデックスをエンコードすることができる（Ｓ８２０）。

図９は、ＡＭＴが実行されるデコード過程を示すフローチャートである。

まず、デコード装置２００は、現在ブロックのための変換グループを決定することができる（Ｓ９０５）。デコード装置２００は、変換組み合わせのインデックスを解析することができ、ここで変換組み合わせのインデックスは、変換グループ内の複数の変換組み合わせの内、いずれか一つに対応することができる（Ｓ９１０）。デコード装置２００は、変換組み合わせのインデックスに対応する変換組み合わせを誘導することができる（Ｓ９１５）。ここで、変換組み合わせは、表４で説明された変換組み合わせを意味することができるが、本発明はこれに限定されない。つまり、他の変換の組み合わせによる構成も可能である。

デコード装置２００は、変換組み合わせに基づいて、現在ブロックに対して逆変換を行うことができる（Ｓ９２０）。変換組み合わせが行変換と列変換で構成される場合、行変換を先に適用した後、列変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成された場合には、直接非分離変換が適用されることができる。

一方、他の一実施形態として、変換グループを決定する過程と変換組み合わせのインデックスを解析する過程は、同時に実行することができる。

本発明の実施形態に係ると、前述した用語「ＡＭＴ」は「ＭＴＳ（multiple transform setまたはmultiple transform selection）」として再定義することができる。以下説明されるＭＴＳ関連シンタックス（syntax）とセマンティックス（semantics）はＶＶＣ（versatile video coding）標準文書ＪＶＥＴ－Ｋ１００１－ｖ４で定義される。

本発明の実施形態において下記のように方向性モードについて２つのＭＴＳ候補と非方向性モードについて４つのＭＴＳ候補が用いられる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

ＭＴＳインデックスが３の時、ＤＣＴ－８が水平及び垂直変換に用いられる。

Ｂ）水平グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｃ）垂直グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ここで（６７個のモードが用いられるＶＴＭ ２．０で）、水平グループモードは２から３４番イントラ予測モードを含み、垂直モードは３５番から６６番イントラ予測モードを含む。

本発明の他の実施形態において、すべての イントラ予測モードに対して３つのＭＴＳ候補を用いる。

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

本発明の他の実施形態において、方向性予測モードに対して２つのＭＴＳ候補を、非方向性予測モードに対して３つのＭＴＳ候補を用いる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｂ）水平グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｃ）垂直グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

本発明の他の実施形態において、一つのMTS候補（例えば、ＤＳＴ－７）をすべてのイントラモードに対して用いられる。この場合、マイナーなコーディング損失と共にエンコード時間が４０％まで減少することができる。さらに、一つのフラグがＤＣＴ－２とＤＳＴ－７の間で指示するために用いられる。

図１０は、本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。

本発明が適用されるデコード装置２００は、、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる（Ｓ１００５）。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_intra_enabled_flag = ０であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_intra_enabled_flag = １であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在する。そして、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_inter_enabled_flag = ０であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_inter_enabled_flag = １であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在する。

デコード装置２００は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる（Ｓ１０１０）。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、デコード装置２００は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、cu_mts_flag = ０であると、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、cu_mts_flag = １であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。

デコード装置２００は、cu_mts_flagに基づいてmts_idxを獲得することができる（Ｓ１０１５）。たとえば、cu_mts_flag = １のとき、デコード装置２００は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。

たとえば、mts_idxについて、本明細書で説明される実施形態の内、少なくとも１つが適用されることができる。

デコード装置２００は、mts_idxに対応する変換カーネルを誘導することができる（Ｓ１０２０）。たとえば、mts_idxに対応する変換カーネルは、水平変換及び垂直変換に区分されて定義することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag ＝ １）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図１０のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳ候補の内からmts_idxを用いて、現在ブロックに適用されるＭＴＳ候補を決定することができる。

他の一例として、水平変換および垂直変換は、互いに異なる変換カーネルが適用されることができる。ただし、本発明はこれに限定されず、前記水平変換及び垂直変換は、同じ変換カーネルが適用されることもある。

そして、デコード装置２００は、変換カーネルに基づいて逆変換を行うことができる（Ｓ１０２５）。

また、本文書でＭＴＳは、ＡＭＴまたはＥＭＴとも表現することができ、同様に、mts_idx図ＡＭＴ＿idx、ＥＭＴ＿idx、ＡＭＴ＿ＴＵ＿idx ＥＭＴ＿ＴＵ＿idxなどのような表現することができ、本発明は、このような表現に限定されない。

また、本発明において、ＭＴＳフラグに基づいてＭＴＳが適用される場合とそうでない場合とを区別して説明するが、本発明は、このような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせられた変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることができる。一実施形態において、前記基本変換タイプは、ＤＣＴ２に設定（又は、定義）されることができる。

一例として、現在変換ブロックにＭＴＳが適用されるか否かを示すＭＴＳフラグシンタックスと、ＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを示すＭＴＳインデックスシンタックスが個別にエンコーダからデコーダに送信されることもあり、他の一例として、現在変換ブロックにＭＴＳが適用されるか否か及びＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを両方とも含むシンタックス（例えば、ＭＴＳインデックス）がエンコーダからデコーダに送信されることもある。すなわち、後者の実施形態において、前述した基本変換タイプを含む全体変換タイプグループ（又は、変換タイプセット）内で現在変換ブロック（又は、ユニット）に適用される変換タイプを示すシンタックス（又は、シンタックス要素）がエンコーダからデコーダに送信されることがある。

従って、その表現にもかかわらず現在変換ブロックに適用される変換タイプを示すシンタックス（ＭＴＳインデックス）はＭＴＳを適用するか否かに関する情報を含むことができる。言い換えると、後者の実施形態においてＭＴＳフラグなしにＭＴＳインデックスのみがシグナリングされるため、この場合は、ＭＴＳにＤＣＴ２が含まれると解釈できるが、本発明においては、ＤＣＴ２を適用する場合をＭＴＳを適用しないものと記述してもよく、それにもかかわらずＭＴＳに関する技術的範囲は当該定義内容に限定されない。

図１１は、本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。

本発明が適用されるデコード装置２００は、シーケンスパラメータ獲得部１１０５、ＭＴＳフラグ獲得部１１１０、MTSインデックス獲得部１１１５、及び変換カーネル誘導部１１２０を含むことができる。

シーケンスパラメータ獲得部１１０５は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示し、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。具体的な例は、図１０に関連する説明が適用されることができる。

ＭＴＳフラグ獲得部１１１０は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、ＭＴＳフラグ獲得部１１１０は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。具体的な例は、前記図１０に関連する説明が適用されることができる。

ＭＴＳインデックス獲得部１１１５は、cu_mts_flagに基づいてmts_idxを獲得することができる。たとえば、cu_mts_flag = １のとき、ＭＴＳインデックス獲得部１１１５は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在の変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。具体的な例は、前記図１０の説明が適用されることができる。

変換カーネル誘導部１１２０は、mts_idxに対応する変換カーネルを誘導することができる。そして、デコード装置２００は、誘導された変換カーネルに基づいて逆変換を行うことができる。

モード‐依存的非分離２次変換（mode-dependent non-separable secondary transform、ＭＤＮＳＳＴ）が紹介される。低複雑度を維持するために、ＭＤＮＳＳＴは、１次変換後の後低周波数の係数にのみ適用される。また、主に低周波の係数に対し適用される非分離変換はＬＦＮＳＴ（low frequency non-separable transform）と呼ばれることができる。変換係数ブロックの幅（width、Ｗ）と高さ（height、Ｈ）の全てが８以上であれば、８ｘ８非分離２次変換が変換係数ブロックの左上側８ｘ８の領域に適用される。そうでなければ、幅または高さが８より小さい場合、４ｘ４非分離２次変換が適用され、４ｘ４非分離２次変換は、変換係数ブロックの左上側min（８、Ｗ）ｘ ｍｉｎ（８、Ｈ）に実行ことができる。ここで、ｍｉｎ（Ａ、Ｂ）はＡとＢの内、さらに小さい値を出力する関数である。また、ＷｘＨはブロックのサイズとして、Ｗは幅（width）は、Ｈは高さ（height）を示す。

４ｘ４及び８ｘ８ブロックサイズについて総３５ｘ３つの非分離２次変換があることができ、ここで、３５はイントラ予測モードによって特定される変換セットの数であり、３は各予測モードのＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、以下の表５に示すように定義することができる。また、本発明の実施形態に係ると、イントラ予測モードに応じて、４つの非分離変換セットの中で。

変換セットの内、変換カーネルを指示するために、ＮＳＳＴインデックス（ＮＳＳＴ idx）がコーディングされることができる。ＮＳＳＴが適用されない場合、０の値を有するＮＳＳＴインデックスがシグナリングされることができる。

図１２及び図１３は、本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。

ＪＥＭにおいて、２次変換（ＭＤＮＳＳＴ）は、変換スキップモードでコーディングされたブロックに適用されない。ＭＤＮＳＳＴインデックスがＣＵに対しシグナリングされ、０でなければ、ＭＤＮＳＳＴはＣＵ内で変換スキップモードでコーディングされた成分のブロックに対し用いられない。係数エンコーディングとＮＳＳＴインデックスコーディングを含む全体的なコーディング構造が、図１２及び図１３に示される。ＣＢＦ（coded block flag）が係数エンコーディング及びＮＳＳＴコーディングするかどうかを決定するためにエンコードされる。図１２及び図１３において、ＣＢＦフラグはルマブロックcbfフラグ（cbf_luma flag）またはクロマブロックcbfフラグ（cbf_cb flagまたはcbf_cr flag）を示すことができる。 ＣＢＦフラグが１のときの変換係数がコーディングされる。

図１２を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ１２０５）。ＣＢＦが０である場合、エンコード装置１００は、変換係数のエンコード及びＮＳＳＴインデックスのエンコーディングを実行しない。ＣＢＦが１である場合、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１２１０）。以後、エンコード装置１００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１２１５）、ＮＳＳＴインデックスコーディングを行う（Ｓ１２２０）。ＮＳＳＴインデックスコーディングが適用されない場合、エンコード装置１００は、ＮＳＳＴを適用していない状態に変換手順を終了し、その後の段階（例えば、量子化）を実行することができる。

図１３を参照すると、デコード装置２００は、ＣＢＦが１かどうかを確認する（Ｓ１３０５）。ＣＢＦが０である場合、デコード装置２００は、変換係数のデコード及びＮＳＳＴインデックスデコードを実行していない。ＣＢＦが１である場合、デコード装置２００は、変換係数のデコードを行う（Ｓ１３１０）。以後、デコード装置２００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１３１５）、ＮＳＳＴインデックスを解析する（Ｓ１３２０）。

ＮＳＳＴは、１次変換が適用されたブロック（ＨＥＶＣの場合ＴＵ）全体に対して適用されるものではなく左上側８ｘ８領域または４ｘ４の領域に対して適用することができる。一例として、ブロックのサイズ我８ｘ８以上の場合、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合、４ｘ４ ＮＳＳＴが適用されることができる。また、８ｘ８ ＮＳＳＴが適用される場合、４ｘ４ブロックごとに４ｘ４ ＮＳＳＴが適用されることができる。８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべて前述した変換セットの構成に応じて決定されることができ、非分離変換であるだけ８ｘ８ ＮＳＳＴは、６４個の入力データと６４個の出力データを有し、４ｘ４ ＮＳＳＴは１６個の入力と１６個の出力を有することができる。

図１４及び図１５は、本発明が適用される実施形態として、図１４は、ギブンス回転（Givens rotation）を説明するための図を示し、図１５は、ギブンス回転層と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの一ラウンド（round）の構成を示す。

８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべてギブンス回転の階層的組み合わせで構成されることができる。一つのギブンス回転に当該する行列は、数学式１と同じであり、行列積を図で表現すると、図１４と同じである。

図１４において、ギブンス回転によって出力されるtmとtnは、数学式２のように計算することができる。

図１４のように一つのギブンス回転は、２つのデータを回転させるので、６４個のデータ（８ｘ８ ＮＳＳＴの場合）または１６個のデータ（４ｘ４ ＮＳＳＴの場合）の処理のために、それぞれ３２個、または８個のギブンスの回転が必要である。したがって、３２個または８個のギブンス回転の束がギブンス回転層（Given rotation layer）を形成することができる。図１５に示すように、一つのギブンス回転層の出力データが置換（シャッフル）を介して次のギブンス回転層の入力データへ伝達される。図１５に示すように 置換されるパターンは、規則的に定義され、４ｘ４ ＮＳＳＴの場合、４つのギブンス回転層及び対応する置換が一つのラウンドを形成する。４ｘ４ ＮＳＳＴは２回のラウンドで行われ、８ｘ８ ＮＳＳＴは４回のラウンドで実行される。互いに別のラウンドは、同じ置換パターンを用いるが適用されるギブンス回転角度は、それぞれ異なる。したがって、各変換を構成するすべてのギブンス回転の角度データの貯蔵が必要である。

最後の段階でギブンス回転層を経て出力されたデータに対して、最終的に一回の置換がさらに実行され、当該置換の情報は、変換ごとに別に貯蔵される。順方向（forward）ＮＳＳＴの最後に、当該置換が行われ、逆方向（inverse）ＮＳＳＴは、最初に当該逆方向置換が適用される。

逆方向ＮＳＳＴは順方向ＮＳＳＴで適用されたギブンス回転層と置換を逆の順序で行い、各ギブンス回転の角度に対してもマイナス（‐）の値をとることにより、回転させる。

RST (Reduced secondary transform)

図１６は、本発明が適用される実施形態として、ＲＳＴの動作を示す。

一変換を示す直交（orthogonal）行列がＮｘＮの形態を有するとしたとき、ＲＴ（reduced transform）は、Ｎ個の変換基底ベクトルの内からＲ個だけ残す（Ｒ <Ｎ）。変換係数を生成する順方向ＲＴの行列は、数学式３のように定義することができる。

逆方向ＲＴの行列は、順方向ＲＴ行列の転置（transpose）行列となるので、順方向ＲＴと逆方向ＲＴの適用を図示すれば、図１6a及び図１6bと同じであることができる。

１次変換が適用された変換係数のブロックの左上端８ｘ８ブロックに適用されるＲＴは８ｘ８ ＲＳＴと呼ばれることができる。数学式３で、Ｒの値を１６に置いたとき、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆方向８ｘ８ ＲＳＴは６４ｘ１６の形態を有する。また、８ｘ８ ＲＳＴに対しても、表５のような変換セットの構成が適用されることができる。つまり、表５のようにイントラ予測モードに応じた変換セットに基づいて８ｘ８ ＲＳＴが決定することができる。一つの変換セットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されるので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれかが１つが選択されることができる（一つの変換は、恒等行列に該当することができる）。 ４つの変換に対して、それぞれ０、１、２、３のインデックスが付与されたとき、ＮＳＳＴインデックスに該当するシンタックス要素（syntax element）が変換係数のブロックごとにシグナリングされることで適用される変換が指定されることができる。例えば、０番インデックスは恒等行列、すなわち、２次変換が適用されない場合に割り当てることができる。結論として、ＮＳＳＴインデックスを介して８ｘ８左上端ブロックについて、ＪＥＭ ＮＳＳＴによると、８ｘ８ ＮＳＳＴが指定されることがあり、ＲＳＴ構成によれば、８ｘ８ ＲＳＴが指定されることができる。

図１７は、本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図である。

数学式３のような順方向８ｘ８ ＲＳＴが適用されると、１６個の有効な変換係数が生成されるため、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小され、２次元領域の観点によれば、１/４ほどの領域のみ有効な変換係数が満たされる。したがって、順方向８ｘ８ ＲＳＴを適用することにより、獲得された１６個の出力データが、図１７の左上端の領域に満たされる。

図１７で左上端４ｘ４の領域が有効な変換係数が満たされるＲＯＩ（region of interest）領域となり、残りの領域は空になる。空けられる領域には、０の値がデフォルトで満たすことができる。もし、図１７のＲＯＩ領域のほか、０でない有効な変換係数が見つかったら、8x8 ＲＳＴが適用されないことが確実であるので、該ＮＳＳＴインデックスに該当コーディングが省略されることがある。逆に、図１７のＲＯＩ領域以外で０ではない変換係数が発見されないと（８ｘ８ ＲＳＴが適用される場合、ＲＯＩ以外の領域が０に満たされたとき）、８ｘ８ ＲＳＴが適用されたこともあるので、ＮＳＳＴインデックスがコーディングされることができる。このような条件的ＮＳＳＴインデックスコーディングは０ではない、変換係数の存在の有無のチェックが必要であるのでレジデュアルコーディングプロセスの後に実行されることができる。

図１８は、本発明が適用される実施形態として、単一変換指示子（single transform indicator）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、単一変換指示子（single transform indicator、ＳＴＩ）が紹介される。２つの変換（１次変換及び２次変換）を順次用いる代わりに、単一変換指示子が活性化されたとき（ＳＴＩ coding == 1）単一変換（single transform）が適用されることができる。ここで、単一変換は、どの種類の変換でもすることができる。例えば、単一変換は分離変換または非分離変換で有り得る。単一変換は、非分離変換から近似された変換で有り得る。単一変換インデックス（図１８のＳＴ＿idx）は、単一変換指示子が活性化されたときシグナリングされることができる。ここで、単一変換インデックスは使用可能な変換候補の内から適用される変換に該当する変換を指示することができる。

図１８を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを決定する（Ｓ１８０５）。ＣＢＦが１である場合、エンコード装置１００は、ＳＴＩコーディングが適用されるかどうかを決定する（Ｓ１８１０）。ＳＴＩコーディングが適用される場合、エンコード装置１００は、ＳＴＩインデックス（ＳＴＩ＿Idx）をエンコードし（Ｓ１８４５）、変換係数のコーディングを行う（Ｓ１８５０）。ＳＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ_Flag）をエンコードする（Ｓ１８１５）。以後、エンコード装置１００は、変換係数のコーディングを行う（Ｓ１８２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１８２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１８３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１８３５）。ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１８４０）。

一例において、単一変換コーディングの条件が充足/活性化（例えば、ＳＴＩ_coding == 1）されると、単一変換インデックス（ＳＴ_Idx）がシグナリングされず、暗黙的に（implicitly）誘導されることができる。ＳＴ＿idxはブロックサイズとイントラ予測モードに基づいて、暗黙的に決定されることができる。ここで、ＳＴ＿idxは現在の変換ブロックに適用される変換（または変換カーネル）を指示することができる。

単一変換指示子は、以下の条件の内、１つまたは複数の条件が満足されると、活性化することができる（ＳＴＩ＿coding == １）。

1) ブロックサイズが４または８のように、あらかじめ決められた値に相当する。

2) ブロックの幅==ブロックの高さ（正方形ブロック）

3) ＤＣまたはプランナーのように予め決定されたモードの内、いずれか一つのイントラ予測モードである。

別の例において、ＳＴＩコーディングフラグは、単一変換が適用されるか否かを示すためにシグナリングすることができる。ＳＴＩコーディングフラグはＳＴＩコーディング値及びＣＢＦに基づいてシグナリングされることができる。例えば、ＳＴＩコーディングフラグはＣＢＦが１であり、ＳＴＩコーディングが活性化になるときシグナリングすることができる。さらにＳＴＩコーディングフラグは、ブロックサイズ、ブロックの形（正方形ブロックまたは非正方形ブロック）、またはイントラ予測モードを考慮して、条件的にシグナリングされることができる。

係数コーディングの内、獲得された情報が用いられるために係数コーディングの後にＳＴ_idxが決定することができる。一例でＳＴ_idxは、ブロックサイズ、イントラ予測モード、及び０ではない係数（non-zero coefficient）の数に基づいて暗黙的に決定することができる。別の例において、ＳＴ_idxはブロックサイズ及び/またはブロックの形及び/またはイントラ予測モード、及び/または０ではない係数の数に基づいて、条件的にエンコード/デコードすることができる。別の例において、ＳＴ＿idxシグナリングは、０ではない係数の分布（すなわち、０でない係数の位置）に依存して省略することができる。特に、０でない係数が左上側４ｘ４領域でない領域で発見されると、ＳＴ_idxのシグナリングが省略されることができる。

図１９は、本発明が適用される実施形態でとして、統一された変換指示子（unified transform indicator、ＵＴＩ）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、統一された変換指示子が紹介される。ＵＴＩは、１次変換指示子と２次変換指示子を包括する。

図１９を参照すると、エンコード装置１００は、ＣＢＦが1かどうかを決定する（Ｓ１９０５）。 ＣＢＦが1である場合、エンコード装置１００は、ＵＴＩコーディングが適用されるかどうかを決定する（Ｓ１９１０）。 ＵＴＩコーディングが適用される場合、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をエンコードし（Ｓ１９４５）、変換係数のコーディングを行う（Ｓ１９５０）。 ＵＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ＿Flag）をエンコードする（Ｓ１９１５）。以後、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１９２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１９２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１９３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１９３５）。ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１９４０）。

ＵＴＩは、それぞれの予め決まれたユニット（ＣＴＵまたはＣＵ）ごとにエンコーディングされることができる。

ＵＴＩコーディングモードは下の条件に依存することができる。

1) ブロックサイズ

2) ブロックの形態

3) イントラ予測モード

どのようにＵＴＩからコア変換インデックスを誘導/抽出するかが予め定義される。どのようにＵＴＩから２次変換インデックスを誘導/抽出するかが予め定義される。

ＵＴＩの構文構造は、選択的に用いられる。ＵＴＩは、ＣＵ（またはＴＵ）サイズに依存することができる。例えば、さらに小さなＣＵ（ＴＵ）が相対的に狭い範囲のＵＴＩインデックスを有することができる。一例で、予め定義された条件（例えば、ブロックサイズが予め定義されたしきい値より小さい）が満足されると、ＵＴＩは、コア変換インデックスだけを指示することができる。

別の例で、２次変換が用いられることを指示されない場合（例えば、２次変換インデックス== ０または２次変換が既に決定された場合）ＵＴＩインデックスは、コア変換インデックスとして扱うことができる。同じように、コア変換インデックスが知られればＵＴＩインデックスは２次変換インデックスとして扱われることができる。特に、イントラ予測モードとブロックサイズを考慮して、あらかじめ決定されたコアの変換が用いられることができる。

図２０ａ及び図２０ｂは、本発明が適用される実施形態でとして、ＵＴＩを使ったエンコードフローチャートの他の例を示す。

別の例において、変換エンコーディング構造は、図２０ａ及び図２０ｂに示すようにＵＴＩインデックスコーディングが用いられる。ここで、ＵＴＩインデックスは係数エンコーディング前にエンコーディングされたり係数エンコーディングの後にコーディングされることができる。

図２０ａを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２００５）。ＣＢＦが１であれば、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングし（Ｓ２０１０）、変換係数のコーディングを行う（Ｓ２０１５）。

図２０ｂを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２０５５）。ＣＢＦが１であれば、エンコード装置１００は、変換係数のコーディングを実行し、（Ｓ２０６０）、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングする（Ｓ２０６５）。

本発明の他の実施形態において、変換指示子のデータ隠し（data hiding）及び暗黙的コーディング方法（implicit coding methods）が紹介される。ここで変換指示子はＳＴ＿idx、ＵＴＩ_idx、ＥＭＴ＿ＣＵ＿Flag、ＥＭＴ＿ＴＵ＿Flag、ＮＳＳＴ＿idxと変換カーネルを指示するために用いられる変換に関連するインデックスを含む。前述した変換指示子は、シグナリングされず、該情報が係数エンコーディングプロセスに挿入することができる（係数コーディングプロセスの内、抽出されることができる）。係数エンコーディングプロセスは次の部分を含むことができる。

－ 最後のｘ位置（Last_position_x）、最後のｙ位置（Last_position_y）

－ グループフラグ（Group flag）

－ 意味マップ（significance map）

－ １より大きいかどうかを指示するフラグ（Greater_than_１_flag）

－ ２より大きいかどうかを指示するフラグ（Greater_than＿２_flag）

－ 残りのレベルのコーディング（Remaining level coding）

－ サインコーディング（Sign coding）

たとえば、変換指示子情報が、前述した係数コーディングプロセスの一つまたはそれ以上の者に挿入することができる。変換指示子情報を挿入するために一緒に考慮することできるものは以下の通りである。

－ サインコーディングのパターン（Pattern of Sign coding）

－ 残りレベルの絶対値（The absolute value of remaining level）

－１より大きいかどうかを指示するフラグの数（The number of Greater_than_1_flag）

－ 最後のｘ位置及び最後のｙ位置の値（The value of Last_position_X and Last_position_Ｙ）

前述したデータ隠し方法は、条件的に考慮することができる。たとえば、データ隠し方法は、０ではない係数の数に依存てきで有り得る。

また別の例において、ＮＳＳＴ_idxとＥＭＴ_idxは依存的で有り得る。たとえば、ＥＭＴ＿ＣＵ＿flagが０（または１）のとき、ＮＳＳＴ＿idxは０ではないことがある。この場合、ＮＳＳＴ_idx-１がＮＳＳＴ＿idxの代わりにシグナリングすることができる。

本発明の他の実施形態において、イントラ予測モードに基づいＮＳＳＴ変換セットのマッピングが、以下の表７のように紹介される。前述したように、以下の説明では、非分離変換の例としてＮＳＳＴを中心に説明するが、非分離変換についての他の知られている用語（例えば、ＬＦＮＳＴ）が用いられることができる。例えば、ＮＳＳＴセット（ＮＳＳＴ Set）、ＮＳＳＴインデックスはLFNSTセット、ＬＦＮＳＴインデックスに置き換えて用いられる。また、本文書に説明されるＲＳＴは、変換ブロックの少なくとも一部の領域（左上側４ｘ４、８ｘ８の領域または８ｘ８ブロックで右‐下側４ｘ４の領域を除外した残りの領域）に適用される正方形非分離変換行列で縮小された入力の長さ及び/または縮小された出力の長さを有する非正方形の変換行列を用いる非分離変換（例えば、ＬＦＮＳＴ）の例として、ＲＳＴまたＬＦＮＳＴに置き換えて用いられる。

ＮＳＳＴセットナンバーは、表８のように０から３の間で再配列されることができる。

ＮＳＳＴ変換セットでは、要求されるメモリ空間を低減させるために（３５の代わりに）、４つの変換セットが用いられる。

さらに、各変換セットごとに、さまざまな数の変換カーネルが以下のように用いられる。

ケースＡ：各変換セットごとに２つの使用可能な変換カーネルが用いられ、ＮＳＳＴインデックス範囲は０～２である。たとえば、ＮＳＳＴインデックスが０である場合、２次変換（デコーダに基づいて２次逆変換）が適用されないことがある。ＮＳＳＴインデックスが１または２である場合、２次変換が適用されることができる。変換セットは、２つの変換カーネルを含むことができ、前記２つの変換カーネルに１または２のインデックスがマッピングされることができる。

表９を参照すると、０番から３番非分離変換（ＮＳＳＴまたはＬＦＮＳＴ）セットごとに２つの変換カーネルが用いられる。

ケースＢ：０番変換セットに対し２つの使用可能な変換カーネルを使用し、残りの変換セットに対し各々一つの変換カーネルを用いる。０番変換セット（ＤＣ、プランナー）に対し使用可能なＮＳＳＴインデックスは０～２である。しかし、他のモード（１、２、３番の変換セット）のＮＳＳＴインデックスは０～１である。

表１０を参照すると、０番インデックスに対応する非分離変換（ＮＳＳＴ）セットに対して２つの非分離変換カーネルが設定され、１、２、３番インデックスに対応する非分離変換（ＮＳＳＴ）セットのそれぞれについて、１つの非分離変換カーネルが設定される。

ケースＣ：各変換セットごとに一つの変換カーネルを使用し、ＮＳＳＴインデックス範囲は０～１である。

図２１は、本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。

エンコード装置１００は、レジデュアルブロックについて１次変換を実行する（Ｓ２１０５）。１次変換は、コア変換に呼ばれることができる。実施形態として、エンコード装置１００は、前述したＭＴＳを用いて、１次変換を実行することができる。また、エンコード装置１００は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、ＭＴＳ候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

エンコード装置１００は、２次変換の適用をするかどうかを決定する（Ｓ２１１０）。一例として、エンコード装置１００は、１次変換されたレジデュアル変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

エンコード装置１００は、２次変換を決定する（Ｓ２１１５）。このとき、エンコード装置１００は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、エンコード装置１００は、Ｓ２１１５段階に先立って、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することができる。

エンコード装置１００は、Ｓ２１１５段階で決定された２次変換を用いて、２次変換を実行する（Ｓ２１２０）。

図２２は、本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。

デコード装置２００は、２次逆変換の適用をするかどうかを決定する（Ｓ２２０５）。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、デコード装置２００は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。

デコード装置２００は、２次逆変換を決定する（Ｓ２２１０）。このとき、デコード装置２００は、前述したイントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、デコード装置２００は、Ｓ２２１０段階に先立って、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

デコード装置２００は、Ｓ２２１０段階で決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を実行する（Ｓ２２１５）。

デコード装置２００は、２次逆変換されたレジデュアルブロックについて１次逆変換を実行する（Ｓ２２２０）。１次逆変換はコア逆変換と呼びことができる。実施形態として、デコード装置２００は、前述したＭＴＳを用いて、１次逆変換を行うことができる。また、一例として、デコード装置２００は、Ｓ２２２０段階に先立って、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。この場合、図２２のデコードフローチャートにＭＴＳが適用されるかどうかを決定する段階がさらに含まれることができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図２２のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳの候補の内、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次逆変換を決定することができる。

図２３は、本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。

本発明の実施形態が適用されるエンコード装置１００は、１次変換部２３１０、２次変換適用可否決定部２３２０、２次変換決定部２３３０、２次変換部２３４０を含むことができる。

１次変換部２３１０は、レジデュアルブロックについて１次変換を実行することができる。１次変換は、コア変換に呼ばれることができる。実施形態として、１次変換部２３１０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、１次変換部２３１０は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、MTS候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

２次変換適用可否決定部２３２０は、２次変換を適用するかどうかを決定することができる。一例として、２次変換適用可否決定部２３２０は、１次変換されたレジデュアルブロックの変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

２次変換決定部２３３０は、２次変換を決定する。このとき、２次変換決定部２３３０は、前述したように、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、２次変換決定部２３３０は、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することもできる。

２次変換部２３４０は、決定された２次変換を用いて、２次変換を実行することができる。

図２４は、本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。

本発明が適用されるデコード装置２００は、２次逆変換適用可否決定部２４１０、２次逆変換決定部２４２０、２次逆変換部２４３０、１次逆変換部２４４０を含む。

２次逆変換適用可否決定部２４１０は、２次逆変換の適用をするかどうかを決定することができる。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、２次逆変換適用可否決定部２４１０は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。他の一例として、２次逆変換適用可否決定部２４１０は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用をするかどうかを決定することもできる。

２次逆変換決定部２４２０は、２次逆変換を決定することができる。このとき、２次逆変換決定部２４２０は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、２次逆変換決定部２４２０は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

また、一例として、２次逆変換部２４３０は、決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を行うことができる。

１次逆変換部２４４０は、２次逆変換されたレジデュアルブロックについて１次逆変換を行うことができる。実施形態として、１次逆変換部２４４０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、一例として、１次逆変換部２４４０は、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、１次逆変換部２４４０は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。そして、１次逆変換部２４４０は、構成されたＭＴＳの候補の内から、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次変換を決定することができる。

図２５は、本発明が適用される実施形態として、ビデオ信号を処理するためのフローチャートを示す。図２５のフローチャートは、デコード装置２００または逆変換部２３０によって実行されることができる。

まず、デコード装置２００は、非分離変換インデックス及び現在ブロックの幅と高さに基づいて、現在ブロックの逆非分離変換の適用をするかどうかを決定することができる。例えば、デコード装置２００は、非分離変換インデックスが０ではなく、現在ブロックの幅と高さがそれぞれ４以上の場合、前記非分離変換を適用するように決定することができる。もし非分離変換インデックスが０であるか、現在ブロックの幅または高さが４より小さい場合、デコード装置２００は、逆方向の非分離変換を省略し、逆方向１次変換を実行することができる。

Ｓ２５０５段階において、デコード装置２００は、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定する。非分離変換セットインデックスは、表７または表８のように、イントラ予測モードの範囲に応じて設定される４つの変換セットにそれぞれ割り当てられるように設定されることができる。つまり、表７または表８のように、イントラ予測モードが０～１である場合、非分離変換セットインデックスは、第１インデックス値に決定され、イントラ予測モードが２～１２または５６～６６であれば、非分離変換セットインデックスは、第２インデックス値に決定され、イントラ予測モードが１３～２３または４５～５５であれば、非分離変換セットインデックスは、第３インデックス値に決定され、イントラ予測モードが２４～４４であれば、非分離変換セットインデックスは、第４インデックス値に決定することができる。

ここで、予め定義された非分離変換セットは、表９のように、それぞれ２つの変換カーネルを含むことができる。また、予め定義された非分離変換セットは、表１０または表１１のように１つまたは２つの変換カーネルを含むこともできる。

Ｓ２５１０段階において、デコード装置２００は、非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、現在ブロックの非分離変換インデックスによって指示される変換カーネルを非分離変換行列で決定する。たとえば、非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定されることができ、デコード装置２００は、非分離変換セットインデックスに対応する２つの変換行列カーネルの内、非分離変換インデックスによって指示される変換カーネルに基づいて非分離変換行列を決定することができる。

Ｓ２５１５段階で、デコード装置２００は、現在ブロックの幅及び高さに応じて決定される現在ブロックの左上側領域に対し非分離変換行列を適用する。たとえば、現在ブロックの幅と高さのすべてが８以上の場合、現在ブロックの左上側８ｘ８の領域に対して非分離変換が適用され、現在ブロックの幅または高さが８より小さい場合、現在ブロックの４ｘ４領域にについて、非分離変換が適用されることができる。非分離変換のサイズもまた非分離変換が適用される領域に対応して８ｘ８または４ｘ４に設定されることができる。

また、デコード装置２００は、非分離変換が適用された現在ブロックに対して水平方向の変換と垂直方向の変換を適用することができる。ここで、水平方向の変換と垂直方向の変換は、現在ブロックに適用された予測モード及び変換行列の選択のためのＭＴＳインデックスに基づいて決定することができる。

以下では、一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）及び二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を組み合わせて適用する方法を説明する。すなわち、本発明の実施形態においては、一次変換及び二次変換に用いられる変換を効率的に設計する方法を提案する。ここで、前記図１ないし図２５で提案した方法が適用されてもよく、関連して重複する説明は省略する。

前述したように、一次変換はエンコーダを基準に残差ブロックに先に適用される変換を示す。二次変換が適用される場合、エンコーダは一次変換された残差ブロックに対して二次変換を行う。一方、二次変換が適用される場合、デコーダを基準に一次逆変換に先立って二次逆変換が行われる。デコーダは、二次逆変換された変換係数ブロックに対して一次逆変換を行うことにより残差ブロックを誘導することができる。

また、前述したように、二次変換として非分離変換が利用されてもよく、低い複雑度を維持するために、左上側の特定領域の低周波数の係数にのみ適用できる。このような、低周波数の係数に対して適用される二次変換は、ＮＳＳＴ（Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）、ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と称されてもよい。また、前記一次変換はコア変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と称されてもよい。

本発明の一実施形態において、一次変換に用いられる一次変換候補及び二次変換に用いられる二次変換カーネルは、様々な組み合わせで予め定義されてもよい。本明細書において、一次変換に用いられる一次変換候補はＭＴＳ候補と称されてもよいが、その名称に制限されない。一例として、一次変換候補は、水平及び垂直方向のそれぞれに適用される変換カーネル（又は、変換タイプ）の組み合わせであってもよく、前記変換カーネルは、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８のいずれか１つであってもよい。言い換えると、一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。以下で、具体的な例を挙げて説明する。

－組み合わせＡ

組み合わせＡにおいては、次の表１２のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１２を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含む。

また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＢ

組み合わせＢにおいては、次の表１３のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１３を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。このとき、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＣ

組み合わせＣにおいては、次の表１４のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１４を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

以上では複数の一次変換候補を使用する場合を中心に説明した。以下では、固定された一次変換候補を利用する場合に対する一次変換と二次変換の組み合わせを例にして説明する。

－組み合わせＤ

組み合わせＤにおいては、次の表１５のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１５を参照すると、実施形態として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用される。例えば、前記固定された一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。

一例（Ｃａｓｅ１）として、イントラ予測モードに関係なく、１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２） として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＥ

組み合わせＥにおいては、次の表１６のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１６を参照すると、一次変換としてＤＣＴ２が適用される場合に限って、二次変換が定義される。言い換えれば、ＭＴＳが適用されない場合（すなわち、一次変換としてＤＣＴ２が適用される場合）、二次変換が適用可能である。前記図１０で説明したように、本明細書において、ＭＴＳが適用される場合とそうでない場合とを区別して説明されるが、本発明はこのような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせの変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることがある。一実施形態において、前記基本変換タイプはＤＣＴ２に設定（又は、定義）されることがある。

一例（Ｃａｓｅ１）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含む。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

図２６は、本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。

図２６を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明はこれに限定されるものではなく、本実施形態によるビデオ信号に対する変換方法はエンコーダにおいても実質的に同一に適用できる。図２６のフローチャートは、デコード装置２００又は逆変換部２３０により行われる。

デコード装置２００は、現在ブロックの一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）に適用される一次変換カーネル（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を示す第１シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をパーシングする（Ｓ２６０１）。

デコード装置２００は、前記第１シンタックス要素に基づいて前記現在ブロックに二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が適用できるか否かを決定する（Ｓ２６０２）。

デコード装置２００は、前記現在ブロックに二次変換が適用できる場合、前記現在ブロックの二次変換に適用される二次変換カーネル（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を示す第２シンタックス要素をパーシングする（Ｓ２６０３）。

デコード装置２００は、前記第２シンタックス要素により示される二次変換カーネルを用いて前記現在ブロックの左上側の特定領域に対して二次逆変換を行うことにより、二次逆変換されたブロックを誘導する（Ｓ２６０４）。

デコード装置２００は、前記第１シンタックス要素により示される一次変換カーネルを用いて前記二次逆変換されたブロックに対して一次逆変換を行うことにより、前記現在ブロックの残差ブロックを誘導する（Ｓ２６０５）。

前述したように、Ｓ２６０２ステップは、前記第１シンタックス要素が予め定義された第１変換カーネルを示す場合、前記現在ブロックに二次変換が適用できると決定することにより行われる。ここで、前記第１変換カーネルはＤＣＴ２に定義される。

また、前述したように、デコード装置２００は、前記現在ブロックのイントラ予測モードに基づいて予め定義された二次変換カーネルセット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ ｓｅｔ）のうち前記現在ブロックの二次変換に用いられる二次変換カーネルセットを決定することができる。そして、前記第２シンタックス要素は、前記決定された二次変換カーネルセット内で前記現在ブロックの二次変換に適用される二次変換カーネルを示すことができる。

また、前述したように、前記予め定義された二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

本発明の一実施形態において、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ）が用いられるシンタックス構造の一例を説明する。

一例として、次の表１７は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）のシンタックス構造の一例を表す。

表１７を参照すれば、本発明の実施形態に係るＭＴＳの使用可能可否は、シーケンスパラメータセットシンタックスを介してシグナリングされることができる。ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、イントラコーディングユニットに対する下位レベルシンタックス（例えば、レシデュアルコーディングシンタックス、変換ユニットシンタックス）内にＭＴＳフラグまたはＭＴＳインデックスが存在するか否かを指示する。そして、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、インターコーディングユニットに対する下位レベルシンタックス内にＭＴＳフラグまたはＭＴＳインデックスが存在するか否かを指示する。

また、他の一例として、次の表１８は、変換ユニットシンタックス構造の一例を表す。

表１８を参照すれば、ｃｕ＿ｍｔｓ＿ｆｌａｇは、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用されるか否かを表す。例えば、ｃｕ＿ｍｔｓ＿ｆｌａｇ＝０であれば、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用されず、ｃｕ＿ｍｔｓ＿ｆｌａｇ＝１であれば、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用される。

前述したように、本発明において、ＭＴＳフラグに基づいてＭＴＳが適用される場合と、そうでない場合とを区分して説明するが、本発明がこのような表現に制限されるものではない。例えば、ＭＴＳの適用可否は、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどと称されることができる）以外の他の変換タイプ（または、変換カーネル）を使用するかの可否と同じ意味でありうる。仮に、ＭＴＳが適用される場合、基本変換タイプ以外の他の変換タイプ（例えば、複数の変換タイプのうち、いずれか１つ、または２つ以上の組み合わせられた変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることができる。一実施形態において、前記基本変換タイプは、ＤＣＴ２に設定（または、定義）されることができる。

一例として、現在変換ブロックにＭＴＳが適用されるか否かを指示するＭＴＳフラグシンタックスと、ＭＴＳが適用される場合、前記現在ブロックに適用される変換タイプを指示するＭＴＳインデックスシンタックスとが個別的にエンコーダからデコーダに送信されることができ、他の一例として、現在変換ブロックにＭＴＳが適用されるか否か及びＭＴＳが適用される場合、前記現在ブロックに適用される変換タイプを全て含むシンタックス（例えば、ＭＴＳインデックス）がエンコーダからデコーダに送信されることもできる。すなわち、後者の実施形態において、上述した基本変換タイプを含む全体変換タイプグループ（または、変換タイプセット）内で現在変換ブロック（または、ユニット）に適用される変換タイプを指示するシンタックス（または、シンタックス要素）がエンコーダからデコーダに送信されることができる。

したがって、その表現にもかかわらず、現在変換ブロックに適用される変換タイプを指示するシンタックス（ＭＴＳインデックス）は、ＭＴＳ適用可否に関する情報を含むことができる。言い換えれば、後者の実施形態においてＭＴＳフラグなしにＭＴＳインデックスのみシグナリングされることができ、この場合は、ＭＴＳにＤＣＴ２が含まれることと解釈することができるが、本発明では、ＤＣＴ２を適用する場合をＭＴＳを適用しないことと記述することができ、それにもかかわらず、ＭＴＳに関する技術的範囲は、当該定義内容に限定されない。

また、他の一例として、次の表１９は、レシデュアルユニットシンタックス構造の一例を表す。

表１９を参照すれば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ及び／又はｍｔｓ＿ｉｄｘシンタックス（または、シンタックス要素）は、レシデュアルシンタックスを介してシグナリングされることができる。ただし、これは、１つの例示であって、本発明がこれに限定されるものではない。例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ及び／又はｍｔｓ＿ｉｄｘシンタックスは、変換ユニットシンタックスを介してシグナリングされることもできる。

以下では、前述した２次変換に利用可能な２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）の具体的な実施形態を説明する。前述したように、前記２次変換は、非分離変換（ｎｏｎ ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）、ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と称されることができる。

前述したように、本発明の実施形態において、２次変換を適用するにあたって、メモリ効率向上のために、４個の変換セット（または、２次変換セット）が使用され得る。一実施形態として、エンコーダ／デコーダは、４個の変換セットに各々０、１、２、３のインデックスを割り当てることができる。

また、前述したように、それぞれの変換セットは、あらかじめ定義された数の変換カーネルを願むことができる。一実施形態として、２次変換に用いられる４個の変換セットがエンコーダとデコーダとに予め定義されることができ、それぞれの変換セットは、１個または２個の変換行列（または、変換タイプ、変換カーネル）を含むことができる。

次の表２０は、８×８領域に適用されることができる変換の一例を表す。

表２０を参照すれば、変換行列の係数にスケーリング値として１２８がかけられた場合を例示する。表２０において、ｇ＿ａｉＮｓｓｔ８×８［４］［２］［１６］［６４］配列で１番目の入力の［４］は、変換セットの数を意味し（このとき、それぞれの変換セットは、インデックス０、１、２、３に区分されることができる）、２番目の入力の［２］は、それぞれの変換セットを構成する変換行列の数を意味し、３番目と４番目の入力の［１６］［６４］は、１６×６４ ＲＳＴ（Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）の行と列を意味する。

表２０は、変換セットが２個の変換行列を含む場合を仮定するが、仮に、１個の変換行列を含む場合であれば、表２０においてそれぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、前記表２０においてそれぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。

表２０のＲＳＴを適用する場合、エンコーダ／デコーダは、１６個の変換係数が出力されるように構成（または、定義、設定）することができ、１６×６４行列のうち、ｍ×６４部分のみ適用することにより、ｍ個の変換係数のみ出力されるように構成することもできる。例えば、エンコーダ／デコーダは、ｍ＝８に設定することにより、最上側から８×６４行列のみを用いて８個の変換係数のみ出力するように構成することができる。このように、縮小された２次変換を適用することによって計算量を半分に減らすことができる。一実施形態として、エンコーダ／デコーダは、最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、８×８変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）に対して８×６４行列を適用できる。

次の表２１は、４×４領域に適用されることができる変換の一例を表す。

表２１を参照すれば、変換行列の係数にスケーリング値として１２８がかけられた場合を例示する。表２１において、ｇ＿ａｉＮｓｓｔ４×４［４］［２］［１６］［１６］配列で１番目の入力の［４」は、変換セットの数を意味し（このとき、それぞれの変換セットは、インデックス０、１、２、３に区分されることができる）、２番目の入力の［２」は、それぞれの変換セットを構成する変換行列の数を意味し、３番目と４番目の入力の［１６］［１６」は、１６×１６ ＲＳＴ（Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）の行と列を意味する。

表２１は、変換セットが２個の変換行列を含む場合を仮定するが、仮りに、１個の変換行列を含む場合であれば、表２１においてそれぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、前記表２１においてそれぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。

表２１のＲＳＴを適用する場合、エンコーダ／デコーダは、１６個の変換係数が出力されるように構成（または、定義、設定）することができ、１６×１６行列のうち、ｍ×１６部分のみ適用することにより、ｍ個の変換係数のみ出力されるように構成することもできる。例えば、エンコーダ／デコーダは、ｍ＝８に設定することにより、最上側から８×１６行列のみを用いて８個の変換係数のみ出力するように構成することができる。このように、縮小された２次変換を適用することによって計算量を半分に減らすことができる。一実施形態として、エンコーダ／デコーダは、最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、８×８変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）に対して８×６４行列を適用できる。

一実施形態において、２次変換は、前記表２０及び表２１において例示する変換行列は、予め定義された条件によって左上端４×４、４×８、８×４領域（すなわち、ＴＵ）に対して適用されることができ、左上端４×４領域に対してのみ適用されることができる。４×８ ＴＵと８×４ ＴＵの場合、エンコーダ／デコーダは、２個の４×４領域に分けてそれぞれの分割された領域に指定された変換を適用できる。仮りに、２次変換が４×４領域に対してのみ適用されるように定義される場合、前記表２１に定義された変換のみ適用（または、利用）することもできる。

一方、前記表２０及び表２１においてスケーリング値を１２８と仮定して変換行列の係数を定義したが、本発明がこれに制限されるものではない。例えば、表２０及び表２１は、スケーリング値を２５６に設定することにより、各々次の表２２及び表２３のように定義されることもできる。

前述したように、本発明の実施形態において、２次変換を適用するにあたって、メモリ効率向上のために、４個の変換セット（または、２次変換セット）が使用され得る。一実施形態として、エンコーダ／デコーダは、４個の変換セットに各々０、１、２、３のインデックスを割り当てることができる。

また、前述したように、それぞれの変換セットは、予め定義された数の変換カーネルを含むことができる。一実施形態として、２次変換に用いられる４個の変換セットがエンコーダとデコーダとに予め定義されることができ、それぞれの変換セットは、１個または２個の変換行列（または、変換タイプ、変換カーネル）を含むことができる。

以下では、２次変換に適用可能な様々な２次変換セット及び変換行列（または、変換タイプ、変換カーネル）の様々な種々の例示を見せる。前述した表２０ないし表２３と異なる様々な変換行列が細部的に定義され得るが、本実施形態では、説明の都合上、一般化された２次変換セットの構成方法とともに非方向性モード（例えば、ＤＣモード、プラナーモード）を中心に例を挙げて説明する。

まず、具体的に、４×４領域に適用されることができる２次変換の例示を説明する。２次変換に利用可能な２次変換セットに対する以下の例示のうち、第１の例示及び第４の例示は、変換行列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができる。第２の例示及び第３の例示の変換行列は、それぞれの変換セットは、それぞれの変換セットが１個の変換行列で構成される実施形態において適用されることができる。

特に、第１の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。

また、特に、第２の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。

前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第１ないし第４の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第４の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。

以後の第５ないし第７の例示の変換配列は、３５個の変換セットを適用する場合に該当する。各イントラ予測モードに対して次の表２４のように変換セットをマッピングする場合に適用されることができる。

表２４において、ＮＳＳＴセットインデックスは、変換セットインデックスを表す。表２４のマッピング方法が適用される場合にも、前述した組み合わせＡないしＥに適用されることができる。すなわち、それぞれの組み合わせに対して上述した方法と同様に、第５ないし第８の例示に対しても適用されることができる。

第５及び第８の例示の変換配列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができ、第６及び第７の例示の変換配列は、それぞれの変換セットが１個の変換行列で構成される実施形態に適用されることができる。

特に、第５の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。

また、特に、第６及び第７の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。

前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第５ないし第８の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第８の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。

以下の第１ないし第８の例示の変換配列のうち、４×４領域に適用されることができる変換例示は、全て１２８がスケーリング値でかけられた変換行列に該当する。以下の例示の変換配列は、共通的にｇ＿ａｉＮｓｓｔ４×４［Ｎ１］［Ｎ２］［１６］［１６］アレイで表現されることができる。ここで、Ｎ１は、変換セットの数を表す。ここで、Ｎ１は、４または３５であり、インデックス０、１、．．．、Ｎ１－１に区分されることができる。Ｎ２は、各変換セットを構成する変換行列の数を表し（すなわち、１または２）、［１６］［１６］は、１６×１６変換行列を表す。

以下の例示も同様に、ある変換セットが１個のｔｒａｎｓｆｏｒｍで構成された場合、それぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、それぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。

最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、エンコーダ／デコーダは、４×４ ＴＵに対して８×１６行列を適用できる。以下の例示の４×４領域に適用されることができる変換は、４×４ ＴＵ、４×Ｍ ＴＵ、Ｍ×４ ＴＵに対して適用されることができ（Ｍ＞４）、４×Ｍ ＴＵ及びＭ×４ ＴＵに適用される場合、４×４領域に分けてそれぞれの指定された変換を適用したり、最大左上端４×８または８×４領域に対してのみ適用することもできる。また、左上端４×４領域に対してのみ適用されることができる。

一実施形態において、最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、次のような方法が適用され得る。

例えば、エンコーダ／デコーダは、幅がＷであり、高さがＨであるブロックに対して、Ｗ＞＝８であり、Ｈ＞＝８である場合は、８×８領域に適用されることができる変換配列（または、変換行列、変換カーネル）を（例えば、１６×６４行列）左上端８×８領域に適用することができる。仮に、Ｗ＝８であり、Ｈ＝８である場合、エンコーダ／デコーダは、１６×６４行列のうち、８×６４部分のみ適用することができる。この場合、２次変換の入力は、８個の変換係数で生成されることができ、当該領域で残りの係数は、０とみなされることができる。

また、例えば、幅がＷであり、高さがＨであるブロックに対して、ＷとＨのうち１つが８より小さい場合（すなわち、４である場合）、エンコーダ／デコーダは、４×４領域に適用されることができる変換配列を適用できる。仮に、Ｗ＝４であり、Ｈ＝４である場合、エンコーダ／デコーダは、１６×１６行列のうち、８×１６部分のみ適用することができる。この場合、２次変換の入力は、８個の変換係数で生成されることができ、当該領域で残りの係数は、０とみなされることができる。

一実施形態において、仮に、（Ｗ、Ｈ）＝（４、８）または（８、４）である場合、エンコーダ／デコーダは、左上端４×４領域に対してのみ２次変換を適用できる。ＷまたはＨが８より大きい場合、エンコーダ／デコーダは、左上端２個の４×４ブロックに対してのみ２次変換を適用する。すなわち、エンコーダ／デコーダは、最大（ａｔ ｍｏｓｔ）左上端４×８または８×４領域までのみ４×４ブロック２個に分けて指定された変換行列を適用できる。

第１の例示

第１の例示は、次の表２５のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第２の例示

第２の例示は、次の表２６のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第３の例示

第３の例示は、次の表２７のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第４の例示

第４の例示は、次の表２８のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第５の例示

第５の例示は、次の表２９のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第６の例示

第６の例示は、次の表３０のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第７の例示

第７の例示は、次の表３１のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第８の例示

第８の例示は、次の表３２のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

以下では、８×８領域に適用されることができる２次変換の例示を説明する。２次変換に利用可能な２次変換セットに対する以下の例示のうち、第９の例示及び第１２の例示は、変換行列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができる。第１０の例示及び第１１の例示の変換行列は、それぞれの変換セットは、それぞれの変換セットが１個の変換行列で構成される実施形態において適用されることができる。

特に、第９の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。

また、特に、第１０の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。

前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第９ないし第１２の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第１２の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。

以後の第１３ないし第１６の例示の変換配列は、３５個の変換セットを適用する場合に該当する。各イントラ予測モードに対して前述した表２４のように変換セットをマッピングする場合に適用されることができる。

表２４において、ＮＳＳＴセットインデックスは、変換セットインデックスを表す。表２４のマッピング方法が適用される場合にも、前述した組み合わせＡないしＥに適用されることができる。すなわち、それぞれの組み合わせに対して上述した方法と同様に、第１３ないし第１６の例示に対しても適用されることができる。

第１３及び第１６の例示の変換配列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができ、第１４及び第１５の例示の変換配列は、それぞれの変換セットが１個の変換行列で構成される実施形態に適用されることができる。

特に、第１３の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。

また、特に、第１４及び第１５の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。

前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第１３ないし第１６の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第８の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。

以下の第８ないし第１６の例示の変換配列のうち、８×８領域に適用されることができる変換例示は、全て１２８がスケーリング値でかけられた変換行列に該当する。以下の例示の変換配列は、共通的にｇ＿ａｉＮｓｓｔ８×８［Ｎ１］［Ｎ２］［１６］［６４］アレイで表現されることができる。ここで、Ｎ１は、変換セットの数を表す。ここで、Ｎ１は、４または３５であり、インデックス０、１、．．．、Ｎ１－１に区分されることができる。Ｎ２は、各変換セットを構成する変換行列の数を表し（すなわち、１または２）、［１６］［６４］は、１６×６４ Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ（ＲＳＴ）を表す。

以下の例示も同様に、ある変換セットが１個のｔｒａｎｓｆｏｒｍで構成された場合、それぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、それぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。

当該ＲＳＴを適用すれば、１６個の変換係数が出力されるが、１６×６４行列のうち、ｍ×６４部分のみ適用するようになると、ｍ個の変換係数のみ出力されるように構成することができる。例えば、ｍ＝８にし、一番上から８×６４行列だけをかけて８個の変換係数のみ出力する代わりに、計算量は半分に減らすことができる。

第９の例示

第９の例示は、次の表３３のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第１０の例示

第１０の例示は、次の表３４のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第１１の例示

第１１の例示は、次の表３５のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第１２の例示

第１２の例示は、次の表３６のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第１３の例示

第１３の例示は、次の表３７のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

第１４の例示

第１４の例示は、次の表３８のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第１５の例示

第１５の例示は、次の表３９のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。

第１６の例示

第１６の例示は、次の表４０のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。

図２７は、本発明が適用される実施形態に係るビデオ信号の変換方法を例示するフローチャートである。

図２７に示すように、説明の都合上、デコーダを中心に説明するが、本発明がこれに限定されるものではなく、本実施形態に係るビデオ信号に対する変換方法は、エンコーダでも実質的に同様に適用されることができる。図２７のフローチャートは、デコード装置２００または逆変換部２３０により行われることができる。

デコード装置２００は、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定する（Ｓ２７０１）。

デコード装置２００は、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得する（Ｓ２７０２）。

デコード装置２００は、前記第１のシンタックス要素により特定される２次変換行列を用いて、前記現在ブロックの左上端領域に対して２次逆変換を行うことによって２次逆変換 されたブロックを導く（Ｓ２７０３）。

デコード装置２００は、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導く（Ｓ２７０４）。

前述したように、前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことができる。

前述したように、前記Ｓ２７０４ステップは、前記現在ブロックの幅及び高さに基づいて、前記２次逆変換の入力長さ及び出力長さを決定するステップをさらに含むことができる。前述したように、前記現在ブロックの高さ及び幅が各々４である場合、前記非分離変換の入力長さは８、出力長さは１６に決定されることができる。

前述したように、デコード装置２００は、前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングできる。そして、デコード装置２００は、前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定できる。

前述したように、前記２次変換が適用され得るか否かを決定するステップは、前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定することによって行われることができる。

前述したように、前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることができる。

図２８は、本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。図２８のビデオ信号処理装置は、図１のエンコード装置又は図２のデコード装置に該当することができる。

映像信号を処理する映像処理装置２８００は、映像信号を貯蔵するメモリ２８２０と、前記メモリと結合されながら、映像信号を処理するプロセッサ２８１０を含む。

本発明の実施形態に係るプロセッサ２８１０は、映像信号の処理のための少なくとも一つのプロセッシング回路で構成されることができ、映像信号をエンコードまたはデコードするためのコマンドを実行することにより、映像信号を処理することができる。つまり、プロセッサ２８１０は、前述したエンコードまたはデコード方法を実行することにより、元の映像データをエンコードしたり、エンコードされた映像信号をデコードすることができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出しできる記録媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータで読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバー去るシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図で示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。

また、本発明が適用されるデコーダとエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのようなリアルタイム通信装置、モバイルストリーミング装置、貯蔵媒体、キャムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレビ電話、ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために用いられる。たとえば、ＯＴＴビデオ（Over the top video）装置では、ゲーム機、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recoder）などを含むことができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出し可能な貯蔵媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータに読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルー例ディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。 また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

以上で説明した実施形態は、本発明の構成要素と特徴が所定形態で結合されたものである。各構成要素または特徴は、別の明示的な言及がない限り選択的なもので考慮されるべきである。各構成要素または特徴は、他の構成要素や特徴と結合されない形態で実施されることができる。また、一部の構成要素及び/または特徴を結合して、本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更されることができる。どの実施形態の一部の構成や特徴は、他の実施形態に含まれることができ、または他の実施形態に対応する構成または特徴と代替されることができる。特許請求の範囲で明示的な引用関係がない請求項を結合して実施形態を構成したり、出願後の補正により新しい請求項として含めることができることは自明である。

本発明に係る実施形態は、 様々な手段、例えば、ハードウェア、ファームウェア（firmware）、ソフトウェアまたはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、一つまたはそれ以上のＡＳＩＣｓ（application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ（digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ（field programmable gate arrays）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。

ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明した機能または動作を実行するモジュール、プロシージャ、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに貯蔵されてプロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置して、既に公知された多様な手段により、前記プロセッサとデータを送受信することができる。

本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化されることができることは、当業者に自明である。したがって、前述した詳細な説明は、すべての面で制限的に解釈してはならなく、例示的なものとみなされるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内でのすべての変更は、本発明の範囲に含まれる。

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたもので、当業者であれば、以下、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態を改良、変更、代替または付加などが可能である。

Claims (11)

1. 映像を復号化する方法において、
   現在ブロックのイントラ予測モードに基づき、２次変換セット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｓｅｔｓ）の予め決定された数のうち、２次変換セットを決定するステップと、
   前記２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に関するシンタックス要素を取得するステップと、
   １次変換係数、非分離変換である２次逆変換を得るために、前記シンタックス要素により特定される前記２次変換行列に基づいて前記現在ブロックの２次変換係数に対して前記２次逆変換を行うステップと、
   前記現在ブロックの残差ブロックを取得するために、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて前記１次変換係数に１次逆変換を行うステップと、
   前記残差ブロックに基づいて前記現在ブロックの復元サンプルを生成するステップを含み、
   前記２次逆変換の入力係数の数と前記２次逆変換の出力係数の数は、前記現在ブロックの幅及び高さが４に等しいことに基づいて、それぞれ８及び１６と決定される、映像を復号化する方法。
2. 前記２次変換セットのそれぞれは、２つの２次変換行列を含む、請求項１に記載の映像を復号化する方法。
3. 前記１次変換行列に関連する２次シンタックス要素をパーシングするステップと、
   前記２次シンタックス要素に基づいて前記２次逆変換を実行するかを決定するステップをさらに含む、請求項１に記載の映像を復号化する方法。
4. 前記２次逆変換を実行するかを決定するステップは、前記２次シンタックス要素が予め決定された変換タイプに対する情報を含むことに基づいて、前記２次逆変換を実行することを決定する、請求項３に記載の映像を復号化する方法。
5. 前記予め決定された変換タイプはＤＣＴ－２と定義される、請求項４に記載の映像を復号化する方法。
6. 映像を符号化する方法であって、
   イントラ予測モードに基づいて現在ブロックの予測サンプルを生成するステップと、
   前記予測サンプルに基づいて前記現在ブロックの残差サンプルを導き出すステップと、
   前記現在ブロックの１次変換係数を取得するために、前記残差サンプルに１次変換を実行するステップと、
   前記イントラ予測モードに基づいて２次変換セットの予め決定された数の中の２次変換セットを決定するステップと、
   前記決定された２次変換セットの中の前記１次変換係数に適用される２次変換行列に関連するシンタックス要素を生成するステップと、
   ２次変換係数、非分離変換である２次変換を取得するために、前記シンタックス要素に特定される前記２次変換行列に基づいて、前記１次変換されたサンプルに前記２次変換を実行するステップとを含み、
   前記２次変換の入力長さ及び出力長さは、前記現在ブロックの幅及び高さが４であることに基づいて、それぞれ、１６，８に決定される、映像を符号化する方法。
7. 前記２次変換セットのそれぞれは、２つの２次変換行列を含む、請求項６に記載の映像を符号化する方法。
8. 前記１次変換に適用される１次変換行列に対する情報を含む２次シンタックス要素を生成するステップと、
   前記２次シンタックス要素に基づいて前記２次変換を実行するか否かを決定するステップをされに含む、請求項６に記載の映像を符号化する方法。
9. 前記２次変換を実行するかを決定することは、予め決定された変換タイプに対する情報を含む前記２次シンタックス要素に基づいて、前記２次変換を実行するかを決定することである、請求項８に記載の映像を符号化する方法。
10. 前記予め決定された変換ライプは、ＤＣＴ２として定義される、請求項９に記載の映像を符号化する方法。
11. 映像に対するビットストリームを含むデータの送信方法であって、
    前記映像に対するビットストリームを取得するステップと、
    前記ビットストリームを含むデータを送信するステップと、
    前記ビットストリームは、
    イントラ予測モードに基づいて現在ブロックの予測サンプルを生成し、
    前記予測サンプルに基づいて前記現在ブロックの残差サンプルを導出し、
    前記現在ブロックの１次変換係数を取得するために前記残差サンプルに１次変換を実行し、
    前記イントラ予測モードに基づいて２次変換セットの予め決定された数の中の２次変換セットを決定し、
    前記決定された２次変換セットの中の前記１次変換係数に適用される２次変換行列に関連するシンタックス要素を生成し、
    ２次変換係数、非分離変換である２次変換を取得するために、前記シンタックス要素により特定される前記２次変換行列に基づいて、前記１次変換されたサンプルに前記２次変換を実行することにより生成され、
    前記２次変換の入力長さと出力長さは、それぞれ、前記現在ブロックの幅及び高さが４であることに基づいて、１６及び８と決定される、データの送信方法。

Images