JP2023081995A - ビデオ信号の符号化／復号化方法及びそのための装置 - Google Patents

Abstract

【課題】本発明は、ビデオ信号処理方法及び装置に関する。【解決手段】本発明の実施例は、ビデオ信号処理方法及び装置を提供する。特に、本発明の実施例に係る縮小された変換（Reduced transform）に基づいて、ビデオ信号をデコードする方法は、現在のブロックの水平及び垂直方向に適用される変換カーネル（transform kernels）を指示する変換インデックス（transform index）を前記ビデオ信号から獲得する段階と、前記変換インデックスによって指示される変換カーネル及び前記現在のブロックの大きさに基づいて、前記現在のブロックに変換が適用される領域を決定する段階と、前記現在のブロック内において、前記変換が適用される領域以外の残りの領域の係数を０と見なす段階と、前記変換が適用される領域に対し、前記変換インデックスによって指示される変換カーネルを用いて、逆変換（inverse transform）を実行する段階を含むことができる。【選択図】図１

Description

本明細書の実施例は、ビデオ信号を処理するための方法及び装置に関し、さらに、具体的に縮小された変換に基づいて変換を実行することにより、ビデオ信号を符号化／復号化するための方法及び装置に関する。

圧縮符号化（エンコーディング）とは、デジタル化した情報を通信回線を介して転送したり、貯蔵媒体に適合した形で貯蔵するための一連の信号処理技術を意味する。映像、映像、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象に圧縮符号化を実行する技術をビデオ映像圧縮と称する。

次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（high frame rate）及び映像表現の高次化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（memory storage）、メモリアクセス率（memory access rate）及び処理電力（processing power）の面で莫大な増加をもたらす。

したがって、次世代の映像コンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、ＨＥＶＣ（high efficiency video coding）標準の後のビデオコーデック標準は、さらに高い正確度を有する予測技術とともに空間領域（spatial domain）のビデオ信号を周波数領域（frequency domain）に変換させるための効率的な変換技術を必要とする。

本明細書の実施例の目的は、特定の条件に応じて、予め定義された領域に対して、一次変換（primary transform）を実行する方法を提案する。

本明細書の実施例で解決しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解することができるだろう。

本明細書の実施例の一様相は、縮小された変換（Reduced transform）に基づいて、ビデオ信号をデコードする方法において、現在のブロックの水平及び垂直方向に適用される変換カーネル（transform kernels）を指示する変換インデックス（transform index）を前記ビデオ信号から獲得する段階と、前記変換インデックスによって指示される変換カーネル及び前記現在のブロックの大きさに基づいて、前記現在のブロックに変換が適用される領域を決定する段階と、前記現在のブロック内において、前記変換が適用される領域以外の残りの領域の係数を０と見なす段階と、前記変換が適用される領域に対し、前記変換インデックスによって指示される変換カーネルを用いて、逆変換（inverse transform）を実行する段階を含むことができる。

好ましくは、前記変換が適用される領域を決定する段階は、前記変換インデックスによって指示される変換カーネルが予め定義された変換であり、前記現在のブロックの幅（width）、及び/または高さ（height）が予め定義されたサイズより大きい場合、前記予め定義されたサイズの幅及び/または高さを有する領域を前記変換が適用される領域に決定することにより行うことができる。

好ましくは、前記予め定義された変換は、ＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせの内、いずれか１つで有り得る。

好ましく、前記予め定義されたサイズは、１６で有り得る。

好ましくは、前記変換が適用される領域を決定する段階は、前記変換インデックスによって指示される変換カーネルが第１変換グループに属する場合、前記現在のブロックの幅（width）と３２の内、小さい値を前記変換が適用される領域の幅に決定し、前記現在のブロックの高さ（height）と３２の内、小さい方の値を前記変換が適用される領域の高さに決定し、前記変換インデックスによって指示される変換カーネルが第２変換グループに属する場合、前記現在のブロックの幅と１６の内、小さな値を前記変換が適用される領域の幅に決定し、前記現在のブロックの高さと１６の内、小さな値を前記変換が適用される領域の高さに決定することにより、行うことができる。

好ましく、前記現在のブロック内においてスキャン順序上の最後の有効係数（last signifi-cant coefficient）の位置を指示する構文エレメントを獲得するステップをさらに含み、前記逆変換が適用される係数は、前記最後の有効係数の位置に基づいて前記ビデオ信号から獲得することができる。

好ましく、前記構文エレメントは、切削型単項（truncated unary）方式で２値化され、前記構文要素の最大値は、前記０と見なされる領域に基づいて決定することができる。

本明細書の実施例の一様相は、縮小された変換（Reduced transform）に基づいて、ビデオ信号を復号化する装置において、前記ビデオ信号を貯蔵するメモリと、前記メモリと結合されたプロセッサを含み、前記プロセッサは、現在のブロックの水平及び垂直方向に適用される変換カーネル（transform kernels）を指示する変換インデックス（transform index）を前記ビデオ信号から獲得し、前記変換インデックスによって指示される変換カーネル及び前記現在のブロックの大きさに基づいて、前記現在のブロックに変換が適用される領域を決定し、前記現在のブロック内において、前記変換が適用される領域以外の残りの領域の係数を０と見なし、そして、前記変換が適用される領域に対し、前記変換インデックスによって指示される変換カーネルを用いて、逆変換（inverse transform）を行うことができる。

本明細書の実施例に係ると、特定の条件に応じて、予め定義された領域にのみ変換を実行することで、複雑さを著しく減少させることができる。

本明細書の実施例において得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解することができるだろう。

本発明に係る理解を助けるために詳細な説明の一部として含まれた、添付図面は、本発明の実施形態を提供し、詳細な説明と一緒に本発明の技術的特徴を説明する。

本発明が適用される実施形態として、映像コーディングシステムの例を示す。 本発明が適用される実施形態として、ビデオ／映像信号のエンコードが行われるエンコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、コンテンツストリーミングシステムの構造図である。 本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、以下「ＱＴ」とする）、図５ｂは、ＢＴ（Binary Tree、以下「ＢＴ」と称する）、図５ｃは、ＴＴ（Ternary Tree、以下「ＴＴ」という）図５ｄは、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。 本発明が適用される実施形態として、エンコード装置内の変換及び量子化部、逆量子化及び逆変換部の概略的なブロック図を示す。 本発明が適用される実施形態として、図７は、デコード装置内の逆量子化及び逆変換部の概略的なブロック図を示す。 ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。 ＡＭＴが実行されるデコード過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、図１４は、ギブンス回転（Givensrotation）を説明するためのダイヤグラムを示す。 本発明が適用される実施形態として、ギブンス回転レイヤと置換（permutation）で構成された４ｘ４ＮＳＳＴ（non -separable secondary transform）での１ラウンド（round）の構成を示す。 本発明が適用される実施形態として、ＲＳＴ（reduced secondary transform）の動作を示す。 本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆スキャンを実行する過程を示す図である。 本発明が適用される実施形態として、単一変換指示子（single transform indica-tor、ＳＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、統一された変換指示子（unified transform in-dicator、ＵＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。 本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。 本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。 本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。 本発明が適用される実施形態でとして、ビデオ信号を処理するためのフローチャートを示す。 本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。 本発明が適用される実施例として、縮小された変換（Reduced transform）を用いて、ビデオ信号をエンコードする方法を例示する図である。 本発明が適用される実施例として、縮小された変換（Reduced transform）を用いて、ビデオ信号をデコードする方法を例示する図である。 本明細書の実施例に係る縮小された変換（Reduced transform）に基づいて、ビデオ信号をデコードする方法を例示するフローチャートである。 本発明が適用される実施例として、ビデオ信号を処理するための装置のブロック図の例を示す。

以下、本発明に係る好適な実施の形態を添付の図面を参照して、詳細に説明する。添付された図面と一緒に以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施されることができる唯一の実施形態を示したいのではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本発明がこのような具体的な詳細事項がなくても実施できることが分かる。

いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示されることができる。

さらに、本発明で用いられる用語は、可能な限り、現在広く用いられる一般的な用語を選択したが、特定の場合には、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明で、その意味を明確に記載するため、本発明の説明で使用された用語の名称のみで単純に解釈されてはならないものであり、その当該用語の意味まで把握して解釈されるべきであることを明らかにしておく。

以下の説明で用いられる特定の用語は、本発明の理解を助けるために提供されたものであり、このような特定の用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディングの過程で適切に代替されて解釈されることがある。

以下、本明細書において「処理ユニット」は、予測、変換、及び/または量子化などのようなエンコード／デコードの処理過程が実行される単位を意味する。また、処理ユニットは、輝度（luma）成分の単位と色差（chroma）成分の単位を含む意味で解釈されることができる。例えば、処理ユニットは、ブロック（block）、コーディングユニット（coding unit、ＣＵ）、予測ユニット（prediction unit、ＰＵ）、または変換ブロック（transform unit、ＴＵ）に該当することができる。

また、処理ユニットは、輝度成分の単位または色差成分の単位として解釈されることができる。例えば、処理ユニットは、輝度成分のコーディングツリーブロック（coding tree block、ＣＴＢ）、コーディングブロック（coding block、ＣＢ）、ＰＵまたは変換ブロック（transform block、ＴＢ）に該当することができる。または、処理ユニットは、色差成分のＣＴＢ、ＣＢ、ＰＵ、ＴＢに該当することができる。また、これに限定されるものではなく処理ユニットは、輝度成分の単位と色差成分の単位を含む意味で解釈されることもある。

また、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形の形で構成されることもある。

なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。

図１は、本発明が適用される実施形態として、映像コーディングシステムの例を示す。

映像コーディングシステムは、ソースデバイ１０及び受信デバイス２０を含むことができる。ソースデバイ１０は、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイス２０に転達することができる。

ソースデバイス１０は、ビデオソース１１、エンコード装置１２、送信機１３を含むことができる。受信デバイス２０は、受信機２１、デコード装置２２及びレンダラー２３を含むことができる。エンコード装置１０は、ビデオ/映像エンコード装置と呼ばれることができ、デコード装置２０は、ビデオ/映像デコード装置と呼ばれることができる。送信機１３は、エンコード装置１２に含まれることができる。受信機２１は、デコード装置２２に含まれることができる。レンダラー２３は、ディスプレイ部を含むこともでき、ディスプレイ部の別のデバイスまたは外部のコンポーネントで構成されることもある。

ビデオソースはビデオ／映像のキャプチャ、合成または生成過程などを通じてビデオ/映像を獲得することができる。ビデオソースはビデオ／映像キャプチャデバイス及び/またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ/映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えばコンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。たとえば、コンピュータなどを通じて、仮想のビデオ/映像が生成されることができ、この場合、関連するデータが生成される過程で、ビデオ／映像キャプチャプロセスが代えることができる。

エンコード装置１２は、入力ビデオ/映像をエンコードすることができる。エンコード装置１２は、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ/映像情報）は、ビットストリーム（bitstream）の形で出力されることができる。

転送部１３は、ビットストリームの形態で出力されたエンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイスの受信部に転達することができる。デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。転送部１３は、予め決まれたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介した転送のためのエレメントを含むことができる。受信機２１は、ビットストリームを抽出してデコード装置２２に転達することができる。

デコード装置２２は、エンコード装置１２の動作に対応する逆量子化、逆変換、予測など一連の手順を実行して、ビデオ／映像をデコードすることができる。

レンダラー(renderer)２３は、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本発明が適用される実施形態として、ビデオ／映像信号のエンコーディングが行われるエンコード装置の概略的なブロック図を示す。図２のエンコード装置１００は、図１のエンコード装置１２に対応することができる。

映像分割部１１０は、エンコード装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（processing unit）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（coding tree unit、ＣＴＵ）または最大コーディングユニット（largest coding unit、ＬＣＵ）からＱＴＢＴ（Quad-tree binary-tree）構造に基づいて再帰的に（recursively）に分割されることができる。例えば、一つのコーディングユニットは、クワッドツリー構造及び/またはバイナリツリー構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クワッドツリー構造が先適用され、バイナリツリー構造が、後で適用されることができる。またはバイナリツリー構造が先に適用されることもある。これ以上分割されない最終コーディングユニットをベースに、本発明に係るコーディング手順が実行されることができる。この場合、映像の特性に応じたコーディング効率などに基づいて、最大コーディングユニットがすぐに最終的なコーディングユニットとして用いることができ、または必要に応じてコーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここでコーディング手順とは、後述する予測、変換、及び復元などの手続きを含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、それぞれ前述した最終コーディングユニットから分割またはパーティショニングすることができる。前記予測ユニットは、サンプル予測の単位で有り得、前記の変換ユニットは、変換係数を誘導する単位、及び/または変換係数からレジデュアル信号（residual signal）を誘導する単位で有り得る。

ユニットは、場合によって ブロック（block）または領域（area）などの用語と混用して用いられる。一般的な場合、ＭｘＮブロックはＭ個の列とＮ個の行からなるサンプル又は変換係数（transform coefficient）の集合を示すことができる。サンプルは、一般的に、ピクセルまたはピクセルの値を示すこともあり、輝度（luma）成分のピクセル/ピクセル値のみを示すこともあり、彩度（chroma）成分のピクセル/ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または映像）をピクセル（pixel）またはペル（pel）に対応する用語として用いられる。

エンコード装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（residual signal、残りのブロック、残りのサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部１２０に転送される。この場合、図示のように、エンコーダ１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１１５と呼ばれることができる。予測部は処理対象ブロック（以下、現在ブロックと称する）の予測を行い、現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は各予測モードの説明で後述するように、予測モード情報など予測に関する様々な情報を生成し、エントロピーエンコーディング部１９０に転達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

イントラ予測部１８５は、現在のピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて前記現在ブロックの周辺（neighbor）に位置することができ、または離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Planarモード）を含むことができる。方向性モードでは、予測方向の細かい程度に応じて、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示として設定によってはそれ以上、またはそれ以下の数の方向性予測モードが用いられることができる。イントラ予測部１８５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。参照ブロックを含む参照ピクチャと時間的周辺ブロックを含む参照ピクチャは同じであることもあり、異なることもある。前記時間的周辺ブロックは、同じ位置参照ブロック（collocated reference block）、同じ位置（ＣＵ ｃｏｌＣＵ）などの名で呼ばれることができ、時間的周辺ブロックを含む参照ピクチャは、同じ位置ピクチャ（collocated picture、colPic）と呼ばれることもある。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップ・モードの場合、マージモードとは異なり、レジデュアル信号が転送されないことがある。動き情報予測（motion vector prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）で用いて、動きベクトル差分（motion vector difference）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。

インター予測部１８０またはイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために用いられるか、またはレジデュアル信号を生成するために用いられる。

変換部１２０は、レジデュアル信号に変換手法を適用して変換係数（transform coefficients）を生成することができる。たとえば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（all previously reconstructepixel）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換プロセスは、正方形の同じ大きさを有するピクセルブロックに適用されることもあり、非正方形可変サイズのブロックにも適用することができる。

量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に転送され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコードして、ビットストリームとして出力することができる。量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順（scan order）に基づいて、ブロックの形の量子化された変換係数を１次元ベクトルの形で再整列することができ、１次元ベクトルの形の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば指数ゴロム（exponential Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（context-adaptive variable length coding）、ＣＡＢＡＣ（context-adaptive binary arithmetic coding）などのようなさまざまなエンコード方法を実行することができる。エントロピーエンコーディング部１９０は、量子化された変換係数のほか、ビデオ／映像復元に必要な情報（例えば構文要素（syntax elements）の値など）を一緒に、または別々にエンコードすることもできる。エンコードされた情報（例えば、ビデオ/映像情報）は、ビットストリームの形でＮＡＬ（network abstraction layer）ユニット単位で転送または貯蔵することができる。前記ビットストリームは、ネットワークを介して転送されることができ、またはデジタル貯蔵媒体に貯蔵することができる。ここで、ネットワークは、放送網、及び/またはネットワークなどを含むことができ、デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。エントロピーエンコーディング部１９０から出力された信号は、伝送する伝送部（図示せず）及び/または貯蔵する貯蔵部（図示せず）が、エンコード装置１００の内/外のエレメントとして構成されることができ、または転送部はエントロピーエンコーディング部１９０の構成要素で有り得る。

量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために用いることができる。例えば、量子化された変換係数は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いることもある。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された（復元ピクチャを復号ピクチャバッファ１７０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset）、適応的ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法の説明で後述するようにフィルタリングに関するさまざまな情報を生成し、エントロピーエンコーディング部１９０に転達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

復号ピクチャバッファ１７０に 転送された修正された復元ピクチャは、インター予測部１８０から参照ピクチャとして用いられる。エンコード装置は、これにより、インター予測が適用される場合、エンコード装置１００とデコード装置での予測ミスマッチを回避することができ、エンコーディング効率も向上させることができる。

復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０からの参照ピクチャとして用いるために貯蔵することができる。

図３は、本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。図３のデコード装置２００は、図１のデコード装置２２に対応することができる。

図３を参照すると、デコード装置２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ）２５０、インター予測部２６０及びイントラ予測部２６５を含みから構成されることができる。インター予測部２６０及びイントラ予測部２６５を合わせて予測部と呼ばれることができる。つまり、予測部はインター予測部１８０及びイントラ予測部１８５を含むことができる。逆量子化部２２０、逆変換部２３０を合わせてレジデュアル処理部と呼ばれることができる。つまり、レジデュアル処理部は、逆量子化部２２０、逆変換部２３０を含むことができる。前述したエントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５は、実施形態に応じて一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）によって構成されることができる。また、復号ピクチャバッファ２５０は、実施形態に応じて一つのハードウェアコンポーネント（例えば、メモリまたはデジタル貯蔵媒体）によって実施されることができる。

ビデオ／映像情報を含むビットストリームが入力されると、デコード装置２００は、図２のエンコード装置１００からのビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置２００は、エンコード装置１００で適用された処理ユニットを用いてデコードを行うことができる。したがってデコードの処理ユニットは、例えば、コーディングユニットで有り得、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクワッドツリー構造及び/またはバイナリツリー構造に沿って分けることができる。そして、デコード装置２００を介してデコード及び出力された復元映像信号は、再生装置を通じて再生することができる。

デコード装置２００は、図２のエンコード装置１００から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部２１０を介してデコードすることができる。例えば、エントロピーデコード部２１０は、ビットストリームを ファージング（解析）して映像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ/映像情報）を導出することができる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードして、映像復元に必要な構文要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。さらに詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームから各構文要素に当該するビンを受信し、デコード対象構文要素の情報と周辺及びデコード対象ブロックのデコード情報、または前の段階でデコードされたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測して、ビンの算術デコード（arithmetic decoding）を実行して、各構文要素の値に当該するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデルを決定した後、次のシンボル/ビンの文脈モデルのためにデコードされたシンボル/ビンの情報を用いて、コンテキストモデルを更新することができる。エントロピーデコード部２１０でデコードされた情報の内、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）で提供され、エントロピーデコード部２１０からエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコード部２１０でデコードされた情報の内、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコード装置１００から出力された信号を受信する受信部（図示せず）がデコード装置２００の内/外部エレメントとしてさらに構成されることがあり、または受信部は、エントロピーデコード部２１０の構成要素有り得る。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態に再整列することができる。この場合、エンコード装置１００で実行された係数スキャン順序に基づいて再整列が実行されることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化段階サイズ情報）を用いて、量子化された変換係数の逆量子化を行い、変換係数（transform coefficient）を獲得することができる。

逆変換部２３０は、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。

予測部は現在ブロックの予測を行い、前記現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部はエントロピーデコード部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具的なイントラ/インター予測モードを決定することができる。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて、現在ブロックの周辺（neighbor）に位置することができ、または離隔して位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトルと参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出することができる。様々な予測モードに基づいて、インター予測が行われることができ、予測に関する情報は、現在ブロックのインター予測のモードを指示する情報を含むことができる。

加算部２３５は、獲得されたレジデュアル信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることで復元信号（復元ピクチャ、復元ブロック、復元、サンプルアレイ）を生成することができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合は、予測されたブロックが復元ブロックとして用いられる。

加算部２３５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いられることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用することにより、主観的/客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset、ＳＡＯ）、適応的ループフィルタ（adaptive loop filter、ＡＬＦ）、両方向フィルタ（bilateral filter）などを含むことができる。

復号ピクチャバッファ２５０に転送された修正された復元ピクチャは、インター予測部２６０によって参照ピクチャとして用いられる。

本明細書において、エンコード装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれのデコード装置のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同一または対応するように適用することができる。

図４は、本発明が適用される実施形態でとして、コンテンツストリーミングシステムの構造図である。

本発明が適用される コンテンツストリーミングシステムは、大きくエンコードサーバ４１０、ストリーミングサーバ４２０、Ｗｅｂサーバ４３０、メディアストレージ４４０、ユーザ装置４５０及びマルチメディア入力デバイス４６０を含むことができる。

エンコードサーバ４１０は、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力デバイスから入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバ４２０に転送する役割をする。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコードサーバ４１０は、省略することができる。

ビットストリームは、本発明が適用されるエンコード方法またはビットストリームを生成する方法によって生成されることができ、ストリーミングサーバ４２０は、ビットストリームを転送または受信する過程で一時的にビットストリームを貯蔵することができる。

ストリーミングサーバ４２０は、Ｗｅｂサーバ４３０を介したユーザの要請に基づいて、マルチメディアデータをユーザ装置４５０に転送し、Ｗｅｂサーバ４３０は、ユーザにどのようなサービスがあるかを知らせる媒介の役割をする。ユーザがＷｅｂサーバ４３０に所望するサービスを要請すると、Ｗｅｂサーバ４３０は、これをストリーミングサーバ４２０に伝達し、ストリーミングサーバ４２０は、ユーザにマルチメディアデータを転送する。このとき、コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、制御サーバは、コンテンツストリーミングシステム内の各デバイス間のコマンド／応答を制御する役割をする。

ストリーミングサーバ４２０は、メディアストレージ４４０及び/またはエンコーディングサーバ４１０からコンテンツを受信することができる。たとえば、エンコードサーバ４１０からコンテンツを受信することになる場合、コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバ４２０は、ビットストリームを一定時間の間貯蔵することができる。

ユーザデバイス４５０の例としては、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（personal digital assistants）、ＰＭＰ（portable multimedia player）、ナビゲーション、スレートＰＣ（slate ＰＣ）、タブレットPC（tablet ＰＣ）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、ウォッチ型端末（smartwatch）、グラス型端末（smart glass）、ＨＭＤ（head mounted display））、デジタルＴＶ 、デスクトップコンピュータ、デジタルサイネージなどを有することができる。

コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理することができる。

図５は、本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、QT）、図５ｂは、ＢＴ（Binary Tree、ＢＴ）、図５ｃは、ＴＴ（Ternary Tree、ＴＴ）図５ｄは、ＡＴ（Asymmetric Tree、ＡＴ）によるブロック分割構造を説明するための図である。

ビデオコーディングにおいて１つのブロックは、ＱＴに基づいて分割されることができる。また、ＱＴによって分割された一つのサブブロック（subblock）はＱＴを用いて再帰的にさらに分割されることができる。もはやＱＴ分割されないリーフブロック（leaf block）はＢＴ、ＴＴまたはＡＴの内の少なくとも一つの方式によって分割されることができる。 ＢＴはhorizontal ＢＴ（２ＮｘＮ、２ＮｘＮ）とvertical ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＴＴはhorizontal ＴＴ（２Ｎｘ１/２Ｎ、２ＮｘＮ、２Ｎｘ１/２Ｎ）とvertical ＴＴ（１/２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１/２Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＡＴはhorizontal-up ＡＴ（２Ｎｘ１/２Ｎ、２Ｎｘ３/ ２Ｎ）、horzontal-down ＡＴ（２Ｎｘ３/２Ｎ、２Ｎｘ１/２Ｎ）、vertical-left ＡＴ（１/２Ｎｘ２Ｎ、３/２Ｎｘ２Ｎ）、vertical-right ＡＴ（３/２Ｎｘ２Ｎ、１/２Ｎｘ２Ｎ）の四つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴはＢＴ、ＴＴ、ＡＴを用いて再帰的にさらに分割されることができる。

図５ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴによって４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、再びＱＴによって４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。

図５ｂはＢＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＢＴ（Ｃ０、Ｃ１）またはhorizontal ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のように、それぞれのサブブロックは、horizontal ＢＴ（Ｅ０、Ｅ１）またはvertical ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

図５ｃはＴＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはhorizontal ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはvertical ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。

図５ｄはＡＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＡＴ（Ｃ０、Ｃ１）またはhorizontal ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＡＴ（Ｅ０、Ｅ１）またはvertical ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

一方、ＢＴ、ＴＴ、ＡＴ分割は一緒に使用して分割が可能である。たとえば、ＢＴによって分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。 ＡＴによって分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。たとえば、horizontal ＢＴ分割以後、それぞれのサブブロックがvertical ＢＴに分割されることができ、またはvertical ＢＴ分割以後、それぞれのサブブロックがhorizontal ＢＴに分割されることもできる。この場合、分割順番は異なるが、最終的に分割される形は同じである。

また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般的に、左側から右側に、上端から下端に探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加のブロックを分割するかどうかを決定する順序を意味するか、ブロックがもはや分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックで他の隣接ブロックの情報を参照するときの探索順序を意味することができる。

図５ａ乃至５ｄのような分割構造によって分割された処理ユニット（または、変換ブロック）ごとに変換が実行されることができ、特に、行（row）方向と列（column）方向別に分割され、変換行列が適用されることができる。本発明の実施形態に係ると、処理ユニット（または変換ブロック）の行方向または列方向の長さに応じて、他の変換タイプが用いられる。

変換は、レジデュアルブロックに適用されるが、これは最大限レジデュアルブロックを無相関化（decorrelate）し、低周波数に係数を集中させ、ブロックの先端に０の尾（zero tail）を作成するためである。ＪＥＭソフトウェアで変換パーツは２つの主要な機能（コア変換（core transform）、２次変換（secondary transform））を含む。コア変換は、レジデュアルブロックのすべての行と列に適用されるＤＣＴ（discrete cosine transform）及びＤＳＴ（discrete sine transform）変換ファミリーで構成される。以後２次変換がコア変換の出力の左上側コーナー（top left corner）に追加的に適用することができる。類似に２次逆変換とコア逆変換の順序の逆変換が適用されることができる。まず、２次逆変換が係数ブロックの左上側コーナーに適用することができる。以後コア逆変換が２次逆変換の出力の行及び列に適用される。コア変換または逆変換は、１次変換または逆変換と指称されることができる。

図６及び図７は、本発明が適用される実施形態として、図６は、図２のエンコード装置１００内の変換及び量子化部（１２０/１３０）、逆量子化及び逆変換部（１４０/１５０）の概略的なブロック図を示し、図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図６を注意深く見ると、変換、及び量子化部（１２０/１３０）は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２及び量子化部１３０を含むことができる。逆量子化及び逆変換部（１４０/１５０）は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１及び逆１次変換部（inverse primary transform unit）１５２を含むことができる。

図７を 注意深く見ると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１と逆１次変換部（inverse primary transform unit）２３２を含むことができる。

本発明において、変換を実行するとき、複数の段階を経て変換を実行することができる。例えば、図６に示すように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムに基づいて、それ以上の変換段階が用いられる。ここで、１次変換は、コア変換（core transform）と指称されることができる。

１次変換部１２１は、レジデュアル信号に対して１次変換を適用することができ、ここで、１次変換はエンコーダ及び/またはデコーダからテーブルに既定儀されることができる。

２次変換部１２２は、１次変換された信号に対して２次変換を適用することができ、ここで、２次変換はエンコーダ及び/またはデコーダからテーブルに既定儀されることができる。

一実施形態において、２次変換として非分離２次変換（non-separable secondary transform）（ＮＳＳＴ）が条件的に適用することができる。例えば、ＮＳＳＴは画面内予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。

ここで、予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。このとき、予測モード５２の変換を適用するとき、入力データを転置（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。

一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、該変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。

量子化部１３０は、２次変換された信号に対して量子化を行うことができる。

逆量子化及び逆変換部（１４０/１５０）は、先に説明した過程を逆に実行し、重複する説明は省略する。

図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図７を参照すると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit２３１及び逆１次変換部（inverse primary transform unit） ２３２を含むことができる。

逆量子化部２２０は、量子化段階サイズ情報を用いて、エントロピーデコード（復号化）された信号から変換係数を獲得する。

逆２次変換部２３１においては、変換係数に対して逆２次変換を実行する。ここで、逆２次変換は、図６で説明した２次変換の逆変換を示す。

逆１次変換部２３２は、逆２次変換された信号（またはブロック）について逆１次変換を行い、残差信号（residual signal）を獲得することになる。ここで、逆１次変換は、図６で説明した前記１次変換（primary transform）の逆変換を示す。

ＨＥＶＣに適用されるＤＣＴ－２と４ｘ４ ＤＳＴ－４に加えて、適応的（または明示的）多重変換（adaptive multiple transformまたはexplicit multiple transform）（ＡＭＴまたはＥＭＴ）技法がインター及びイントラエンコーディングされたブロックのレジデュアルコーディングのために用いられる。 ＨＥＶＣでの変換、その他のＤＣＴ/ＤＳＴファミリーからの多数の選択された変換が用いられる。 JＥＭから新しく紹介された変換行列は、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、及びＤＣＴ－５である。下の表１は、選択されたＤＳＴ/ＤＣＴの基底関数を示す。

ＥＭＴは６４より小さいか同じ幅と高さを有するＣＵに適用されることができ、ＥＭＴが適用されるかどうかは、ＣＵレベルフラグによって制御することができる。ＣＵレベルフラグが０であれば、ＤＣＴ－２が残差（residue）をエンコーディングするために、ＣＵに適用される。ＥＭＴが適用されるＣＵ内ルマコーディングブロックに対し、２つの追加のフラグが用いられる水平及び垂直変換を識別するためにシグナリングされる。ＨＥＶＣのように、ＪＥＭのブロックのレジデュアルは変換スキップモードでコーディングされることができる。イントラレジデュアルコーディングのために、他のイントラ予測モードの他のレジデュアル統計により、モード‐依存的変換候補の選択プロセスが用いられる。３つの変換サブセットが、以下の表２のように定義されており、変換サブセットは、表３に示すようにイントラ予測モードに基づいて変換サブセットが選択される。

サブセットコンセプトと一緒に、変換のサブセットは、ＣＵ－レベルＥＭＴ＿ＣＵ＿flagが１であるＣＵのイントラ予測モードを用いることにより、表２に基づいて、最初に確認される。以降、水平（ＥＭＴ＿ＴＵ_horizontal_flag）と垂直（ＥＭＴ＿ＴＵ＿vertical_flag）変換のそれぞれについて、確認された変換のサブセット内の２つの変換候補の内から一つが、表３に基づいて、フラグを使用した明示的なシグナリングに基づいて選択される。

表４は、本発明が適用される実施形態として、ＡＭＴ（adaptive multiple transform）が適用される変換設定グループ（transform configuration group）を示す。

表４を注意深く見ると、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、総６個（Ｇ０～Ｇ５）で有り得る。そして、Ｇ０～Ｇ４は、イントラ予測が適用される場合に当該し、Ｇ５は、インター予測によって生成された残差ブロックに適用される変換の組み合わせ（または変換セット、変換組み合わせセット）を示す。

一つの変換の組み合わせは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または行変換（row transform））と列（column）に適用される垂直変換（vertical transoform）（または列変換（column transform））で行うことができる。

ここで、すべての変換設定のグループは、各４つの変換組み合わせの候補を有することができる。４つの変換の組み合わせ候補は０～３の変換組み合わせのインデックスを介して選択または決定することができ、エンコーダからデコーダへの変換組み合わせのインデックスをエンコードして転送することができる。

一実施形態で、イントラ予測を介して獲得された残差データ（または残差信号）は、イントラ予測モードに応じて、その統計的特性がそれぞれ異なることができる。したがって、表４のようにイントラ予測別に一般的なコサイン変換ではなく、別の変換が適用されることができる。本明細書において、変換タイプは、例えば、ＤＣＴ－Ｔｙｐｅ ２、ＤＣＴ－ＩＩ、ＤＣＴ－２のように表記することができる。

表４を注意深く見ると、３５個のイントラ予測モードを用いる場合と６７個のイントラ予測モードを用いる場合が現れる。各イントラ予測モードの列で区分された変換設定グループごとに複数の変換の組み合わせが適用されることができる。例えば、複数の変換の組み合わせは、４つの（行方向変換、列方向変換）の組み合わせで構成されることができる。具体例として、グループ０においては、行（水平）方向と列（縦）方向のすべてＤＳＴ－７とＤＣＴ－５が適用されることができ、総４つの組み合わせが可能である。

各イントラ予測モードに対して、総４つの変換カーネルの組み合わせが適用されることができるので、その内、一つを選択するための変換組み合わせのインデックスが変換ユニット（transform unit）ごとに転送されることができる。本明細書において、変換組み合わせのインデックスは、ＡＭＴインデックス（ＡＭＴ index）と呼ばれることができ、amt_idxで表現されることができる。

また、表４で提示された変換カーネル以外にも、残差信号の特性上、行方向と列方向の全てにＤＣＴ－２が最適な場合が発生することができる。したがって、コーディングユニット毎にＡＭＴフラグを定義することにより、適応的に変換が適用されることができる。ここで、ＡＭＴフラグが０の場合、行方向と列方向の全てにＤＣＴ－２が適用され、ＡＭＴフラグが1の場合、ＡＭＴのインデックスを使用して、４つの組み合わせのいずれかが選択または決定することができる。

一実施形態で、ＡＭＴフラグが０の場合、１つの変換ユニットの変換係数の数が３より小さいと、表４の変換カーネルが適用されず、行方向と列方向の全てＤＳＴ－７が適用されることができる。

一実施形態として、変換係数の値を先にパーシング（解析）して、変換係数の数が３より小さければ、ＡＭＴインデックスが解析されず、ＤＳＴ－７が適用されることにより付加情報転送量が減少することができる。

一実施形態として、ＡＭＴは、変換ユニットの幅と高さの全てが３２以下の場合にのみ、適用することができる。

一実施形態で、表４は、オフライントレーニング（off-line training）を介して基に設定されることができる。

一実施形態でＡＭＴインデックスは、水平変換と垂直変換の組み合わせを同時に指すことができる、１つのインデックスとして定義することができる。または、ＡＭＴインデックスは、別の水平変換インデックスと垂直変換インデックスで定義することができる。

図８は、ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。

本明細書において、水平方向と垂直方向に対して分離して、変換が適用される分離 可能な変換（separable transform）の実施形態が、基本的に説明されるが、変換の組み合わせは、非分離変換（non-separable transform）にも構成することができる。

または、分離可能な変換と非分離変換の混合にも変換の組み合わせが構成されることができる。この場合、非分離変換が用いられると、行/列別変換選択や水平/垂直方向別の選択は不要になり、分離可能な変換が選択される場合にのみ、表４の変換の組み合わせが用いられることができる。

また、本明細書で提案される方法は、１次変換や２次変換に関係なく適用することができる。つまり、２つの内、何れか一方にのみ適用されなければならないという制約がなく、両方に適用することができる。ここで、１次変換は残差ブロックを最初に変換するための変換を意味することができ、２次変換は、１次変換の結果として生成されたブロックに対し変換を適用するための変換を意味することができる。

まず、エンコード装置１００は、現在ブロックに対応する変換グループを決定することができる（Ｓ８０５）。ここで、変換グループは、表４の変換グループを意味することができるが、本発明はこれに限定されず、他の変換の組み合わせで構成されることができる。

エンコード装置１００は、変換グループ内の用いられる候補変換の組み合わせに対して変換を実行することができる（Ｓ８１０）。変換実行結果、エンコード装置１００は、ＲＤ（rate distortion）コストが最小の変換の組み合わせを決定または選択することができる（Ｓ８１５）。エンコード装置１００は、選択された変換の組み合わせに対応する変換組み合わせのインデックスをエンコードすることができる（Ｓ８２０）。

図９は、ＡＭＴが実行されるデコード過程を示すフローチャートである。

まず、デコード装置２００は、現在ブロックのための変換グループを決定することができる（Ｓ９０５）。デコード装置２００は、変換組み合わせのインデックスを解析することができ、ここで変換組み合わせのインデックスは、変換グループ内の複数の変換組み合わせの内、いずれか一つに対応することができる（Ｓ９１０）。デコード装置２００は、変換組み合わせのインデックスに対応する変換組み合わせを誘導することができる（Ｓ９１５）。ここで、変換組み合わせは、表４で説明された変換組み合わせを意味することができるが、本発明はこれに限定されない。つまり、他の変換の組み合わせによる構成も可能である。

デコード装置２００は、変換組み合わせに基づいて、現在ブロックに対して逆変換を行うことができる（Ｓ９２０）。変換組み合わせが行変換と列変換で構成される場合、行変換を先に適用した後、列変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成された場合には、直接非分離変換が適用されることができる。

一方、他の一実施形態として、変換グループを決定する過程と変換組み合わせのインデックスを解析する過程は、同時に実行することができる。

本発明の実施形態に係ると、前述した用語「ＡＭＴ」は「ＭＴＳ（multiple transform setまたはmultiple transform selection）」として再定義することができる。以下説明されるＭＴＳ関連シンタックス（syntax）とセマンティックス（semantics）はＶＶＣ（versatile video coding）標準文書ＪＶＥＴ－Ｋ１００１－ｖ４で定義される。

本発明の実施形態において下記のように方向性モードについて２つのＭＴＳ候補と非方向性モードについて４つのＭＴＳ候補が用いられる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

ＭＴＳインデックスが３の時、ＤＣＴ－８が水平及び垂直変換に用いられる。

Ｂ）水平グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｃ）垂直グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ここで（６７個のモードが用いられるＶＴＭ ２．０で）、水平グループモードは２から３４番イントラ予測モードを含み、垂直モードは３５番から６６番イントラ予測モードを含む。

本発明の他の実施形態において、すべてのイントラ予測モードに対して３つのＭＴＳ候補を用いる。

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

本発明の他の実施形態において、方向性予測モードに対して２つのＭＴＳ候補を、非方向性予測モードに対して３つのＭＴＳ候補を用いる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｂ）水平グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｃ）垂直グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

本発明の他の実施形態において、一つのMTS候補（例えば、ＤＳＴ－７）をすべてのイントラモードに対して用いられる。この場合、マイナーなコーディング損失と共にエンコード時間が４０％まで減少することができる。さらに、一つのフラグがＤＣＴ－２とＤＳＴ－７の間で指示するために用いられる。

図１０は、本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。

本発明が適用されるデコード装置２００は、、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる（Ｓ１００５）。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_intra_enabled_flag = ０であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_intra_enabled_flag = １であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在する。そして、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_inter_enabled_flag = ０であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_inter_enabled_flag = １であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在する。

デコード装置２００は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる（Ｓ１０１０）。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、デコード装置２００は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、cu_mts_flag = ０であると、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、cu_mts_flag = １であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。

デコード装置２００は、cu_mts_flagに基づいてmts_idxを獲得することができる（Ｓ１０１５）。たとえば、cu_mts_flag = １のとき、デコード装置２００は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。

たとえば、mts_idxについて、本明細書で説明される実施形態の内、少なくとも１つが適用されることができる。

デコード装置２００は、mts_idxに対応する変換カーネルを誘導することができる（Ｓ１０２０）。たとえば、mts_idxに対応する変換カーネルは、水平変換及び垂直変換に区分されて定義することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag ＝ １）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図１０のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳ候補の内からmts_idxを用いて、現在ブロックに適用されるＭＴＳ候補を決定することができる。

他の一例として、水平変換および垂直変換は、互いに異なる変換カーネルが適用されることができる。ただし、本発明はこれに限定されず、前記水平変換及び垂直変換は、同じ変換カーネルが適用されることもある。

そして、デコード装置２００は、変換カーネルに基づいて逆変換を行うことができる（Ｓ１０２５）。

また、本文書でＭＴＳは、ＡＭＴまたはＥＭＴとも表現することができ、同様に、mts_idx図ＡＭＴ＿idx、ＥＭＴ＿idx、ＡＭＴ＿ＴＵ＿idx ＥＭＴ＿ＴＵ＿idxなどのような表現することができ、本発明は、このような表現に限定されない。

また、本発明において、ＭＴＳフラグに基づいてＭＴＳが適用される場合とそうでない場合とを区別して説明するが、本発明は、このような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせられた変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることができる。一実施形態において、前記基本変換タイプは、ＤＣＴ２に設定（又は、定義）されることができる。

一例として、現在変換ブロックにＭＴＳが適用されるか否かを示すＭＴＳフラグシンタックスと、ＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを示すＭＴＳインデックスシンタックスが個別にエンコーダからデコーダに送信されることもあり、他の一例として、現在変換ブロックにＭＴＳが適用されるか否か及びＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを両方とも含むシンタックス（例えば、ＭＴＳインデックス）がエンコーダからデコーダに送信されることもある。すなわち、後者の実施形態において、前述した基本変換タイプを含む全体変換タイプグループ（又は、変換タイプセット）内で現在変換ブロック（又は、ユニット）に適用される変換タイプを示すシンタックス（又は、シンタックス要素）がエンコーダからデコーダに送信されることがある。

従って、その表現にもかかわらず現在変換ブロックに適用される変換タイプを示すシンタックス（ＭＴＳインデックス）はＭＴＳを適用するか否かに関する情報を含むことができる。言い換えると、後者の実施形態においてＭＴＳフラグなしにＭＴＳインデックスのみがシグナリングされるため、この場合は、ＭＴＳにＤＣＴ２が含まれると解釈できるが、本発明においては、ＤＣＴ２を適用する場合をＭＴＳを適用しないものと記述してもよく、それにもかかわらずＭＴＳに関する技術的範囲は当該定義内容に限定されない。

図１１は、本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。

本発明が適用されるデコード装置２００は、シーケンスパラメータ獲得部１１０５、ＭＴＳフラグ獲得部１１１０、ＭＴＳインデックス獲得部１１１５、及び変換カーネル誘導部１１２０を含むことができる。

シーケンスパラメータ獲得部１１０５は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示し、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。具体的な例は、図１０に関連する説明が適用されることができる。

ＭＴＳフラグ獲得部１１１０は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、ＭＴＳフラグ獲得部１１１０は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。具体的な例は、前記図１０に関連する説明が適用されることができる。

ＭＴＳインデックス獲得部１１１５は、cu_mts_flagに基づいてmts_idxを獲得することができる。たとえば、cu_mts_flag = １のとき、ＭＴＳインデックス獲得部１１１５は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在の変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。具体的な例は、前記図１０の説明が適用されることができる。

変換カーネル誘導部１１２０は、mts_idxに対応する変換カーネルを誘導することができる。そして、デコード装置２００は、誘導された変換カーネルに基づいて逆変換を行うことができる。

モード‐依存的非分離２次変換（mode-dependent non-separable secondary transform、ＭＤＮＳＳＴ）が紹介される。低複雑度を維持するために、ＭＤＮＳＳＴは、１次変換後の後低周波数の係数にのみ適用される。また、主に低周波の係数に対し適用される非分離変換はＬＦＮＳＴ（low frequency non-separable transform）と呼ばれることができる。変換係数ブロックの幅（width、Ｗ）と高さ（height、Ｈ）の全てが８以上であれば、８ｘ８非分離２次変換が変換係数ブロックの左上側８ｘ８の領域に適用される。そうでなければ、幅または高さが８より小さい場合、４ｘ４非分離２次変換が適用され、４ｘ４非分離２次変換は、変換係数ブロックの左上側min（８、Ｗ）ｘ ｍｉｎ（８、Ｈ）に実行ことができる。ここで、ｍｉｎ（Ａ、Ｂ）はＡとＢの内、さらに小さい値を出力する関数である。また、ＷｘＨはブロックのサイズとして、Ｗは幅（width）を、Ｈは高さ（height）を示す。

一実施例において、４ｘ４及び８ｘ８ブロックサイズについて総３５ｘ３つの非分離２次変換があることができ、ここで、３５はイントラ予測モードによって特定される変換セットの数であり、３は各予測モードのＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、以下の表５に示すように定義することができる。

また、本発明の実施例に係ると、イントラ予測モードに応じて、４つの非分離変換セットの中で。変換カーネルを指示するために、ＮＳＳＴインデックス（ＮＳＳＴ idx）がコーディングされることができる。ＮＳＳＴが適用されない場合、０の値を有するＮＳＳＴインデックスがシグナリングされることができる。

図１２及び図１３は、本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。

ＪＥＭにおいて、２次変換（ＭＤＮＳＳＴ）は、変換スキップモードでコーディングされたブロックに適用されない。ＭＤＮＳＳＴインデックスがＣＵに対しシグナリングされ、０でなければ、ＭＤＮＳＳＴはＣＵ内で変換スキップモードでコーディングされた成分のブロックに対し用いられない。係数エンコーディングとＮＳＳＴインデックスコーディングを含む全体的なコーディング構造が、図１２及び図１３に示される。ＣＢＦ（coded block flag）が係数エンコーディング及びＮＳＳＴコーディングするかどうかを決定するためにエンコードされる。図１２及び図１３において、ＣＢＦフラグはルマブロックcbfフラグ（cbf_luma flag）またはクロマブロックcbfフラグ（cbf_cb flagまたはcbf_cr flag）を示すことができる。 ＣＢＦフラグが１のときの変換係数がコーディングされる。

図１２を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ１２０５）。ＣＢＦが０である場合、エンコード装置１００は、変換係数のエンコード及びＮＳＳＴインデックスのエンコーディングを実行しない。 ＣＢＦが１である場合、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１２１０）。以後、エンコード装置１００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１２１５）、ＮＳＳＴインデックスコーディングを行う（Ｓ１２２０）。ＮＳＳＴインデックスコーディングが適用されない場合、エンコード装置１００は、ＮＳＳＴを適用していない状態に変換手順を終了し、その後の段階（例えば、量子化）を実行することができる。

図１３を参照すると、デコード装置２００は、ＣＢＦが１かどうかを確認する（Ｓ１３０５）。ＣＢＦが０である場合、デコード装置２００は、変換係数のデコード及びＮＳＳＴインデックスデコードを実行していない。 ＣＢＦが１である場合、デコード装置２００は、変換係数のデコードを行う（Ｓ１３１０）。以後、デコード装置２００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１３１５）、ＮＳＳＴインデックスを解析する（Ｓ１３２０）。

ＮＳＳＴは、１次変換が適用されたブロック（ＨＥＶＣの場合ＴＵ）全体に対して適用されるものではなく左上側８ｘ８領域または４ｘ４の領域に対して適用することができる。一例として、ブロックのサイズが８ｘ８以上の場合、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合、４ｘ４ ＮＳＳＴが適用されることができる。また、８ｘ８ ＮＳＳＴが適用される場合、４ｘ４ブロックごとに４ｘ４ ＮＳＳＴが適用されることができる。８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべて前述した変換セットの構成に応じて決定されることができ、非分離変換であるだけ８ｘ８ ＮＳＳＴは、６４個の入力データと６４個の出力データを有し、４ｘ４ ＮＳＳＴは１６個の入力と１６個の出力を有することができる。

図１４及び図１５は、本発明が適用される実施形態として、図１４は、ギブンス回転（Givens rotation）を説明するための図を示し、図１５は、ギブンス回転層と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの一ラウンド（round）の構成を示す。

８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべてギブンス回転の階層的組み合わせで構成されることができる。一つのギブンス回転に当該する行列は、数学式１と同じであり、行列積を図で表現すると、図１４と同じである。

図１４において、ギブンス回転によって出力されるtmとtnは、数学式２のように計算することができる。

図１４のように一つのギブンス回転は、２つのデータを回転させるので、６４個のデータ（８ｘ８ ＮＳＳＴの場合）または１６個のデータ（４ｘ４ ＮＳＳＴの場合）の処理のために、それぞれ３２個、または８個のギブンスの回転が必要である。したがって、３２個または８個のギブンス回転の束がギブンス回転層（Given rotation layer）を形成することができる。図１５に示すように、一つのギブンス回転層の出力データが置換（シャッフル）を介して次のギブンス回転層の入力データへ伝達される。図１５に示すように 置換されるパターンは、規則的に定義され、４ｘ４ ＮＳＳＴの場合、４つのギブンス回転層及び対応する置換が一つのラウンドを形成する。４ｘ４ ＮＳＳＴは２回のラウンドで行われ、８ｘ８ ＮＳＳＴは４回のラウンドで実行される。互いに別のラウンドは、同じ置換パターンを用いるが適用されるギブンス回転角度は、それぞれ異なる。したがって、各変換を構成するすべてのギブンス回転の角度データの貯蔵が必要である。

最後の段階でギブンス回転層を経て出力されたデータに対して、最終的に一回の置換がさらに実行され、当該置換の情報は、変換ごとに別に貯蔵される。順方向（forward）ＮＳＳＴの最後に、当該置換が行われ、逆方向（inverse）ＮＳＳＴは、最初に当該逆方向置換が適用される。

逆方向ＮＳＳＴは順方向ＮＳＳＴで適用されたギブンス回転層と置換を逆の順序で行い、各ギブンス回転の角度に対してもマイナス（‐）の値をとることにより、回転させる。

ＲＳＴ (Reduced secondary transform)

図１６は、本発明が適用される実施形態として、ＲＳＴの動作を示す。

一変換を示す直交（orthogonal）行列がＮｘＮの形態を有するとしたとき、ＲＴ（reduced transform）は、Ｎ個の変換基底ベクトルの内からＲ個だけ残す（Ｒ <Ｎ）。変換係数を生成する順方向ＲＴの行列は、数学式３のように定義することができる。

逆方向ＲＴの行列は、順方向ＲＴ行列の転置（transpose）行列となるので、順方向ＲＴと逆方向ＲＴの適用を図示すれば、図１６ａ及び図１６ｂと同じで有り得る。

１次変換が適用された変換係数のブロックの左上端８ｘ８ブロックに適用されるＲＴは８ｘ８ ＲＳＴと呼ばれることができる。数学式３で、Ｒの値を１６に置いたとき、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆方向８ｘ８ ＲＳＴは６４ｘ１６の形態を有する。また、８ｘ８ ＲＳＴに対しても、表５のような変換セットの構成が適用されることができる。つまり、表５のようにイントラ予測モードに応じた変換セットに基づいて８ｘ８ ＲＳＴが決定することができる。一つの変換セットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されるので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれかが１つが選択されることができる（一つの変換は、恒等行列に該当することができる）。 ４つの変換に対して、それぞれ０、１、２、３のインデックスが付与されたとき、ＮＳＳＴインデックスに該当するシンタックス要素（syntax element）が変換係数のブロックごとにシグナリングされることで適用される変換が指定されることができる。例えば、０番インデックスは恒等行列、すなわち、２次変換が適用されない場合に割り当てることができる。結論として、ＮＳＳＴインデックスを介して８ｘ８左上端ブロックについて、ＪＥＭ ＮＳＳＴによると、８ｘ８ ＮＳＳＴが指定されることがあり、ＲＳＴ構成によれば、８ｘ８ ＲＳＴが指定されることができる。

図１７は、本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図である。

数学式３のような順方向８ｘ８ ＲＳＴが適用されると、１６個の有効な変換係数が生成されるため、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小され、２次元領域の観点によれば、１/４ほどの領域のみ有効な変換係数が満たされる。したがって、順方向８ｘ８ ＲＳＴを適用することにより、獲得された１６個の出力データが、図１７の左上端の領域に満たされる。

図１７で左上端４ｘ４の領域が有効な変換係数が満たされるＲＯＩ（region of interest）領域となり、残りの領域は空になる。空けられる領域には、０の値がデフォルトで満たすことができる。もし、図１７のＲＯＩ領域のほか、０でない有効な変換係数が見つかったら、８ｘ８ ＲＳＴが適用されないことが確実であるので、該ＮＳＳＴインデックスに該当コーディングが省略されることがある。逆に、図１７のＲＯＩ領域以外で０ではない変換係数が発見されないと（８ｘ８ ＲＳＴが適用される場合、ＲＯＩ以外の領域が０に満たされたとき）、８ｘ８ ＲＳＴが適用されたこともあるので、ＮＳＳＴインデックスがコーディングされることができる。このような条件的ＮＳＳＴインデックスコーディングは０ではない、変換係数の存在の有無のチェックが必要であるのでレジデュアルコーディングプロセスの後に実行されることができる。

図１８は、本発明が適用される実施形態として、単一変換指示子（single transform indicator）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、単一変換指示子（single transform indicator、ＳＴＩ）が紹介される。２つの変換（１次変換及び２次変換）を順次用いる代わりに、単一変換指示子が活性化されたとき（ＳＴＩ coding == 1）単一変換（single transform）が適用されることができる。ここで、単一変換は、どの種類の変換でもすることができる。例えば、単一変換は分離変換または非分離変換で有り得る。単一変換は、非分離変換から近似された変換で有り得る。単一変換インデックス（図１８のＳＴ＿idx）は、単一変換指示子が活性化されたときシグナリングされることができる。ここで、単一変換インデックスは使用可能な変換候補の内から適用される変換に該当する変換を指示することができる。

図１８を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを決定する（Ｓ１８０５）。ＣＢＦが１である場合、エンコード装置１００は、ＳＴＩコーディングが適用されるかどうかを決定する（Ｓ１８１０）。ＳＴＩコーディングが適用される場合、エンコード装置１００は、ＳＴＩインデックス（ＳＴＩ＿Idx）をエンコードし（Ｓ１８４５）、変換係数のコーディングを行う（Ｓ１８５０）。ＳＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ_Flag）をエンコードする（Ｓ１８１５）。以後、エンコード装置１００は、変換係数のコーディングを行う（Ｓ１８２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１８２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１８３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１８３５）。ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１８４０）。

一例において、単一変換コーディングの条件が充足/活性化（例えば、ＳＴＩ_coding == 1）されると、単一変換インデックス（ＳＴ_Idx）がシグナリングされず、暗黙的に（implicitly）誘導されることができる。 ＳＴ＿idxはブロックサイズとイントラ予測モードに基づいて、暗黙的に決定されることができる。ここで、ＳＴ＿idxは現在の変換ブロックに適用される変換（または変換カーネル）を指示することができる。

単一変換指示子は、以下の条件の内、１つまたは複数の条件が満足されると、活性化することができる（ＳＴＩ＿coding == １）。

ブロックサイズが４または８のように、あらかじめ決められた値に相当する。

ブロックの幅==ブロックの高さ（正方形ブロック）

ＤＣまたはプランナーのように予め決定されたモードの内、いずれか一つのイントラ予測モードである。

別の例において、ＳＴＩコーディングフラグは、単一変換が適用されるか否かを示すためにシグナリングすることができる。ＳＴＩコーディングフラグはＳＴＩコーディング値及びＣＢＦに基づいてシグナリングされることができる。例えば、ＳＴＩコーディングフラグはＣＢＦが１であり、ＳＴＩコーディングが活性化になるときシグナリングすることができる。さらにＳＴＩコーディングフラグは、ブロックサイズ、ブロックの形（正方形ブロックまたは非正方形ブロック）、またはイントラ予測モードを考慮して、条件的にシグナリングされることができる。

係数コーディングの内、獲得された情報が用いられるために係数コーディングの後にＳＴ_idxが決定することができる。一例でＳＴ_idxは、ブロックサイズ、イントラ予測モード、及び０ではない係数（non-zero coefficient）の数に基づいて暗黙的に決定することができる。別の例において、ＳＴ_idxはブロックサイズ及び/またはブロックの形及び/またはイントラ予測モード、及び/または０ではない係数の数に基づいて、条件的にエンコード/デコードすることができる。別の例において、ＳＴ＿idxシグナリングは、０ではない係数の分布（すなわち、０でない係数の位置）に依存して省略することができる。特に、０でない係数が左上側４ｘ４領域でない領域で発見されると、ＳＴ_idxのシグナリングが省略されることができる。

図１９は、本発明が適用される実施形態として、統一された変換指示子（unified transform indicator、ＵＴＩ）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、統一された変換指示子が紹介される。ＵＴＩは、１次変換指示子と２次変換指示子を包括する。

図１９を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを決定する（Ｓ１９０５）。 ＣＢＦが１である場合、エンコード装置１００は、ＵＴＩコーディングが適用されるかどうかを決定する（Ｓ１９１０）。 ＵＴＩコーディングが適用される場合、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をエンコードし（Ｓ１９４５）、変換係数のコーディングを行う（Ｓ１９５０）。ＵＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ＿Flag）をエンコードする（Ｓ１９１５）。以後、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１９２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１９２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１９３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１９３５）。 ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１９４０）。

ＵＴＩは、それぞれの予め決まれたユニット（ＣＴＵまたはＣＵ）ごとにエンコーディングされることができる。

ＵＴＩコーディングモードは下の条件に依存することができる。

ブロックサイズ

ブロックの形態

イントラ予測モード

どのようにＵＴＩからコア変換インデックスを誘導/抽出するかが予め定義される。どのようにＵＴＩから２次変換インデックスを誘導/抽出するかが予め定義される。

ＵＴＩの構文構造は、選択的に用いられる。ＵＴＩは、ＣＵ（またはＴＵ）サイズに依存することができる。例えば、さらに小さなＣＵ（ＴＵ）が相対的に狭い範囲のＵＴＩインデックスを有することができる。一例で、予め定義された条件（例えば、ブロックサイズが予め定義されたしきい値より小さい）が満足されると、ＵＴＩは、コア変換インデックスだけを指示することができる。

別の例で、２次変換が用いられることを指示されない場合（例えば、２次変換インデックス== ０または２次変換が既に決定された場合）ＵＴＩインデックスは、コア変換インデックスとして扱うことができる。同じように、コア変換インデックスが知られればＵＴＩインデックスは２次変換インデックスとして扱われることができる。特に、イントラ予測モードとブロックサイズを考慮して、あらかじめ決定されたコアの変換が用いられることができる。

図２０ａ及び図２０ｂは、本発明が適用される実施形態でとして、ＵＴＩを使ったエンコードフローチャートの他の例を示す。

別の例において、変換コーディング構造は、図２０ａ及び図２０ｂに示すようにＵＴＩインデックスコーディングが用いられる。ここで、ＵＴＩインデックスは係数コーディング前にコーディングされたり係数コーディングの後にコーディングされることができる。

図２０ａを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２００５）。ＣＢＦが１であれば、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングし（Ｓ２０１０）、変換係数のコーディングを行う（Ｓ２０１５）。

図２０ｂを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２０５５）。ＣＢＦが１であれば、エンコード装置１００は、変換係数のコーディングを実行し、（Ｓ２０６０）、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングする（Ｓ２０６５）。

本発明の他の実施形態において、変換指示子のデータ隠し（data hiding）及び暗黙的コーディング方法（implicit coding methods）が紹介される。ここで変換指示子はＳＴ＿idx、ＵＴＩ_idx、ＥＭＴ＿ＣＵ＿Flag、ＥＭＴ＿ＴＵ＿Flag、ＮＳＳＴ＿idxと変換カーネルを指示するために用いられる変換に関連するインデックスを含む。前述した変換指示子は、シグナリングされず、該情報が係数エンコーディングプロセスに挿入することができる（係数コーディングプロセスの内、抽出されることができる）。係数エンコーディングプロセスは次の部分を含むことができる。

－ 最後のｘ位置（Last_position_x）、最後のｙ位置（Last_position_y）

－ グループフラグ（Group flag）

－ 意味マップ（significance map）

－ １より大きいかどうかを指示するフラグ（Greater_than_１_flag）

－ ２より大きいかどうかを指示するフラグ（Greater_than＿２_flag）

－ 残りのレベルのコーディング（Remaining level coding）

－ サインコーディング（Sign coding）

たとえば、変換指示子情報が、前述した係数コーディングプロセスの一つまたはそれ以上に挿入することができる。変換指示子情報を挿入するために一緒に考慮することできるものは以下の通りである。

－ サインコーディングのパターン（Pattern of Sign coding）

－ 残りレベルの絶対値（The absolute value of remaining level）

－１より大きいかどうかを指示するフラグの数（The number of Greater_than_1_flag）

－ 最後のｘ位置及び最後のｙ位置の値（The value of Last_position_X and Last_position_Ｙ）

前述したデータ隠し方法は、条件的に考慮することができる。たとえば、データ隠し方法は、０ではない係数の数に依存てきで有り得る。

また別の例において、ＮＳＳＴ_idxとＥＭＴ_idxは依存的で有り得る。たとえば、ＥＭＴ＿ＣＵ＿flagが０（または１）のとき、ＮＳＳＴ＿idxは０ではないことがある。この場合、ＮＳＳＴ_idx-１がＮＳＳＴ＿idxの代わりにシグナリングすることができる。

本発明の他の実施形態において、イントラ予測モードに基づいＮＳＳＴ変換セットのマッピングが、以下の表７のように紹介される。前述したように、以下の説明では、非分離変換の例としてＮＳＳＴを中心に説明するが、非分離変換についての他の知られている用語（例えば、ＬＦＮＳＴ）が用いられることができる。例えば、ＮＳＳＴセット（ＮＳＳＴ Set）、ＮＳＳＴインデックスはLFNSTセット、ＬＦＮＳＴインデックスに置き換えて用いられる。また、本文書に説明されるＲＳＴは、変換ブロックの少なくとも一部の領域（左上側４ｘ４、８ｘ８の領域または８ｘ８ブロックで右‐下側４ｘ４の領域を除外した残りの領域）に適用される正方形非分離変換行列で縮小された入力の長さ及び/または縮小された出力の長さを有する非正方形の変換行列を用いる非分離変換（例えば、ＬＦＮＳＴ）の例として、ＲＳＴまたＬＦＮＳＴに置き換えて用いられる。

ＮＳＳＴセットナンバーは、表８のように０から３の間で再配列されることができる。

ＮＳＳＴ変換セットにおいて、要求されるメモリ空間を低減させるために（３５の代わりに）、４つの変換セットが用いられる。

さらに、（各）変換セットごとに、さまざまな数の変換カーネルが以下のように用いられる。

ケースＡ：（各）変換セットごとに２つの使用可能な変換カーネルが用いられ、ＮＳＳＴインデックス範囲は０～２である。たとえば、ＮＳＳＴインデックスが０である場合、２次変換（デコーダに基づいて２次逆変換）が適用されないことがある。ＮＳＳＴインデックスが１または２である場合、２次変換が適用されることができる。変換セットは、２つの変換カーネルを含むことができ、前記２つの変換カーネルに１または２のインデックスがマッピングされることができる。

表９を参照すると、０番から３番非分離変換（ＮＳＳＴまたはＬＦＮＳＴ）セットごとに２つの変換カーネルが用いられる。

ケースＢ：０番変換セットに対し２つの使用可能な変換カーネルを使用し、残りの変換セットに対し各々一つの変換カーネルを用いる。０番変換セット（ＤＣ、プランナー）に対し使用可能なＮＳＳＴインデックスは０～２である。しかし、他のモード（１、２、３番の変換セット）のＮＳＳＴインデックスは０～１である。

表１０を参照すると、０番インデックスに対応する非分離変換（ＮＳＳＴ）セットに対して２つの非分離変換カーネルが設定され、１、２、３番インデックスに対応する非分離変換（ＮＳＳＴ）セットのそれぞれについて、１つの非分離変換カーネルが設定される。

ケースＣ：（各）変換セットごとに一つの変換カーネルを使用し、ＮＳＳＴインデックス範囲は０～１である。

図２１は、本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。

エンコード装置１００は、レジデュアルブロックについて１次変換を実行する（Ｓ２１０５）。１次変換は、コア変換に呼ばれることができる。実施形態として、エンコード装置１００は、前述したＭＴＳを用いて、１次変換を実行することができる。また、エンコード装置１００は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、ＭＴＳ候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

エンコード装置１００は、２次変換の適用をするかどうかを決定する（Ｓ２１１０）。一例として、エンコード装置１００は、１次変換されたレジデュアル変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

エンコード装置１００は、２次変換を決定する（Ｓ２１１５）。このとき、エンコード装置１００は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、エンコード装置１００は、Ｓ２１１５段階に先立って、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することができる。

エンコード装置１００は、Ｓ２１１５段階で決定された２次変換を用いて、２次変換を実行する（Ｓ２１２０）。

図２２は、本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。

デコード装置２００は、２次逆変換の適用をするかどうかを決定する（Ｓ２２０５）。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、デコード装置２００は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。

デコード装置２００は、２次逆変換を決定する（Ｓ２２１０）。このとき、デコード装置２００は、前述したイントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、デコード装置２００は、Ｓ２２１０段階に先立って、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

デコード装置２００は、Ｓ２２１０段階で決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を実行する（Ｓ２２１５）。

デコード装置２００は、２次逆変換されたレジデュアルブロックについて１次逆変換を実行する（Ｓ２２２０）。１次逆変換はコア逆変換と呼びことができる。実施形態として、デコード装置２００は、前述したＭＴＳを用いて、１次逆変換を行うことができる。また、一例として、デコード装置２００は、Ｓ２２２０段階に先立って、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。この場合、図２２のデコードフローチャートにＭＴＳが適用されるかどうかを決定する段階がさらに含まれることができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図２２のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳの候補の内、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次逆変換を決定することができる。

図２３は、本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。

本発明の実施形態が適用されるエンコード装置１００は、１次変換部２３１０、２次変換適用可否決定部２３２０、２次変換決定部２３３０、２次変換部２３４０を含むことができる。

１次変換部２３１０は、レジデュアルブロックについて１次変換を実行することができる。１次変換は、コア変換に呼ばれることができる。実施形態として、１次変換部２３１０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、１次変換部２３１０は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、MTS候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

２次変換適用可否決定部２３２０は、２次変換を適用するかどうかを決定することができる。一例として、２次変換適用可否決定部２３２０は、１次変換されたレジデュアルブロックの変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

２次変換決定部２３３０は、２次変換を決定する。このとき、２次変換決定部２３３０は、前述したように、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、２次変換決定部２３３０は、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することもできる。

２次変換部２３４０は、決定された２次変換を用いて、２次変換を実行することができる。

図２４は、本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。

本発明が適用されるデコード装置２００は、２次逆変換適用可否決定部２４１０、２次逆変換決定部２４２０、２次逆変換部２４３０、１次逆変換部２４４０を含む。

２次逆変換適用可否決定部２４１０は、２次逆変換の適用をするかどうかを決定することができる。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、２次逆変換適用可否決定部２４１０は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。他の一例として、２次逆変換適用可否決定部２４１０は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用をするかどうかを決定することもできる。

２次逆変換決定部２４２０は、２次逆変換を決定することができる。このとき、２次逆変換決定部２４２０は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、２次逆変換決定部２４２０は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

また、一例として、２次逆変換部２４３０は、決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を行うことができる。

１次逆変換部２４４０は、２次逆変換されたレジデュアルブロックについて１次逆変換を行うことができる。実施形態として、１次逆変換部２４４０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、一例として、１次逆変換部２４４０は、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、１次逆変換部２４４０は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。そして、１次逆変換部２４４０は、構成されたＭＴＳの候補の内から、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次変換を決定することができる。

図２５は、本発明が適用される実施形態として、ビデオ信号を処理するためのフローチャートを示す。図２５のフローチャートは、デコード装置２００または逆変換部２３０によって実行されることができる。

まず、デコード装置２００は、非分離変換インデックス及び現在ブロックの幅と高さに基づいて、現在ブロックの逆非分離変換の適用をするかどうかを決定することができる。例えば、デコード装置２００は、非分離変換インデックスが０ではなく、現在ブロックの幅と高さがそれぞれ４以上の場合、前記非分離変換を適用するように決定することができる。もし非分離変換インデックスが０であるか、現在ブロックの幅または高さが４より小さい場合、デコード装置２００は、逆方向の非分離変換を省略し、逆方向１次変換を実行することができる。

Ｓ２５０５段階において、デコード装置２００は、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定する。非分離変換セットインデックスは、表７または表８のように、イントラ予測モードの範囲に応じて設定される４つの変換セットにそれぞれ割り当てられるように設定されることができる。つまり、表７または表８のように、イントラ予測モードが０～１である場合、非分離変換セットインデックスは、第１インデックス値に決定され、イントラ予測モードが２～１２または５６～６６であれば、非分離変換セットインデックスは、第２インデックス値に決定され、イントラ予測モードが１３～２３または４５～５５であれば、非分離変換セットインデックスは、第３インデックス値に決定され、イントラ予測モードが２４～４４であれば、非分離変換セットインデックスは、第４インデックス値に決定することができる。

ここで、予め定義された非分離変換セットは、表９のように、それぞれ２つの変換カーネルを含むことができる。また、予め定義された非分離変換セットは、表１０または表１１のように１つまたは２つの変換カーネルを含むこともできる。

Ｓ２５１０段階において、デコード装置２００は、非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、現在ブロックの非分離変換インデックスによって指示される変換カーネルを非分離変換行列で決定する。たとえば、非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定されることができ、デコード装置２００は、非分離変換セットインデックスに対応する２つの変換行列カーネルの内、非分離変換インデックスによって指示される変換カーネルに基づいて非分離変換行列を決定することができる。

Ｓ２５１５段階において、デコード装置２００は、現在のブロックの幅と高さに応じて決定される現在のブロックの左上側領域に対し非分離変換行列を適用する。たとえば、現在のブロックの幅と高さの全てが８以上の場合、現在のブロックの左上側８ｘ８の領域に対して非分離変換が適用され、現在のブロックの幅または高さが８よりも小さい場合、現在のブロックの左上側４ｘ４領域に対して非分離変換が適用されることができる。非分離変換のサイズもまた非分離変換が適用される領域に対応して８ｘ８または４ｘ４に対応するサイズ（e.g.４８ｘ１６、１６ｘ１６）に設定されることができる。

また、デコード装置２００は、非分離変換が適用された現在ブロックに対して水平方向の変換と垂直方向の変換を適用することができる。ここで、水平方向の変換と垂直方向の変換は、現在ブロックに適用された予測モード及び変換行列の選択のためのＭＴＳインデックスに基づいて決定することができる。

以下では、一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）及び二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を組み合わせて適用する方法を説明する。すなわち、本発明の実施形態においては、一次変換及び二次変換に用いられる変換を効率的に設計する方法を提案する。ここで、前記図１ないし図２５で提案した方法が適用されてもよく、関連して重複する説明は省略する。

前述したように、一次変換はエンコーダを基準に残差ブロックに先に適用される変換を示す。二次変換が適用される場合、エンコーダは一次変換された残差ブロックに対して二次変換を行う。一方、二次変換が適用される場合、デコーダを基準に一次逆変換に先立って二次逆変換が行われる。デコーダは、二次逆変換された変換係数ブロックに対して一次逆変換を行うことにより残差ブロックを誘導することができる。

また、前述したように、二次変換として非分離変換が利用されてもよく、低い複雑度を維持するために、左上側の特定領域の低周波数の係数にのみ適用できる。このような、低周波数の係数に対して適用される二次変換は、ＮＳＳＴ（Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）、ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と称されてもよい。また、前記一次変換はコア変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と称されてもよい。

本発明の一実施形態において、一次変換に用いられる一次変換候補及び二次変換に用いられる二次変換カーネルは、様々な組み合わせで予め定義されてもよい。本明細書において、一次変換に用いられる一次変換候補はＭＴＳ候補と称されてもよいが、その名称に制限されない。一例として、一次変換候補は、水平及び垂直方向のそれぞれに適用される変換カーネル（又は、変換タイプ）の組み合わせであってもよく、前記変換カーネルは、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８のいずれか１つであってもよい。言い換えると、一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。以下で、具体的な例を挙げて説明する。

－組み合わせＡ

組み合わせＡにおいては、次の表１２のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１２を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含む。

また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＢ

組み合わせＢにおいては、次の表１３のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１３を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。このとき、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＣ

組み合わせＣにおいては、次の表１４のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１４を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

以上では複数の一次変換候補を使用する場合を中心に説明した。以下では、固定された一次変換候補を利用する場合に対する一次変換と二次変換の組み合わせを例にして説明する。

－組み合わせＤ

組み合わせＤにおいては、次の表１５のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１５を参照すると、実施形態として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用される。例えば、前記固定された一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。

一例（Ｃａｓｅ１）として、イントラ予測モードに関係なく、１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２） として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

－組み合わせＥ

組み合わせＥにおいては、次の表１６のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。

表１６を参照すると、一次変換としてＤＣＴ２が適用される場合に限って、二次変換が定義される。言い換えれば、ＭＴＳが適用されない場合（すなわち、一次変換としてＤＣＴ２が適用される場合）、二次変換が適用可能である。前記図１０で説明したように、本明細書において、ＭＴＳが適用される場合とそうでない場合とを区別して説明されるが、本発明はこのような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせの変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることがある。一実施形態において、前記基本変換タイプはＤＣＴ２に設定（又は、定義）されることがある。

一例（Ｃａｓｅ１）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能することができ、このとき、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含む。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ２）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。

また、一例（Ｃａｓｅ３）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。

図２６は、本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。

図２６を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明はこれに限定されるものではなく、本実施形態によるビデオ信号に対する変換方法はエンコーダにおいても実質的に同一に適用できる。図２６のフローチャートは、デコード装置２００又は逆変換部２３０により行われる。

デコード装置２００は、現在ブロックの一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）に適用される一次変換カーネル（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を示す第１シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をパーシングする（Ｓ２６０１）。

デコード装置２００は、前記第１シンタックス要素に基づいて前記現在ブロックに二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が適用できるか否かを決定する（Ｓ２６０２）。

デコード装置２００は、前記現在ブロックに二次変換が適用できる場合、前記現在ブロックの二次変換に適用される二次変換カーネル（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を示す第２シンタックス要素をパーシングする（Ｓ２６０３）。

デコード装置２００は、前記第２シンタックス要素により指示される二次変換カーネルを用いて前記現在ブロックの左上側の特定領域に対して二次逆変換を行うことにより、二次逆変換されたブロックを誘導する（Ｓ２６０４）。

デコード装置２００は、前記第１シンタックス要素により指示される一次変換カーネルを用いて前記二次逆変換されたブロックに対して一次逆変換を行うことにより、前記現在ブロックの残差ブロックを誘導する（Ｓ２６０５）。

前述したように、Ｓ２６０２ステップは、前記第１シンタックス要素が予め定義された第１変換カーネルを示す場合、前記現在ブロックに二次変換が適用できると決定することにより行われる。ここで、前記第１変換カーネルはＤＣＴ２に定義される。

また、前述したように、デコード装置２００は、前記現在ブロックのイントラ予測モードに基づいて予め定義された二次変換カーネルセット（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ ｓｅｔ）のうち前記現在ブロックの二次変換に用いられる二次変換カーネルセットを決定することができる。そして、前記第２シンタックス要素は、前記決定された二次変換カーネルセット内で前記現在ブロックの二次変換に適用される二次変換カーネルを示すことができる。

また、前述したように、前記予め定義された二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。

本発明の一実施例において、ＭＴＳ（Multiple Transform Set）が用いられる構文構造の一例を説明する。

一例として、次の表１７は、シーケンスパラメータセット（sequence parameter set）の構文構造の一例を示す。

表１７を参照すると、本発明の実施形態に係るＭＴＳの使用可能かどうかは、シーケンスパラメータセットシンタックスを通じてシグナリングすることができる。ここで、sps_mts_intra_enabled_flagはイントラコーディングユニットのサブレベルシンタックス（syntax； 構文）（例えば、レジデュアルコーディング構文、変換ユニット構文）内にＭＴＳフラグまたはＭＴＳインデックスが存在するかどうかを指示する。そして、sps_mts_inter_enabled_flagはインターコーディングユニットのサブレベルの構文内にＭＴＳフラグまたはＭＴＳインデックスが存在するかどうかを指示する。

また、他の一例として、次の表１８は、変換ユニットシンタックス（構文）構造の一例を示す。

図１８を参照すると、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、cu_mts_flag = 0であれば、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、cu_mts_flag = 1であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。

前述したように、本発明において、ＭＴＳ、フラグに基づいて、ＭＴＳが適用される場合とそうでない場合を区分して説明するが、本発明がこのような表現に制限されるものではない。たとえば、ＭＴＳの適用可否は、予め定義された特定の変換タイプ（基本変換タイプ、デフォルト変換タイプなどで称されることができる）以外の他の変換タイプ（または変換カーネル）を使用するかどうかと同じ意味で有り得る。もしＭＴＳが適用される場合、基本変換タイプ以外の他の変換タイプ（例えば、複数の変換タイプの内、いずれか１つ、または複数の組み合わせた変換タイプ）が変換に用いられ、ＭＴＳが適用されない場合、基本変換タイプが変換に用いられる。一実施例において、前記基本変換タイプはＤＣＴ２に設定（または定義）されることができる。

一例として、現在の変換ブロックにＭＴＳが適用されるかどうかを指示するＭＴＳフラグ構文とＭＴＳが適用される場合、前記現在のブロックに適用される変換タイプを指示するＭＴＳインデックス構文が個別にエンコーダからデコーダに転送されることもあり、他の一例として、現在の変換ブロックにＭＴＳが適用されるかどうか、及びＭＴＳが適用される場合、前記現在のブロックに適用される変換タイプの全てを含む構文（たとえば、ＭＴＳインデックス）がエンコーダからデコーダに転送されることもできる。つまり、後者の実施例において、前述した基本変換タイプを含む完全変換タイプのグループ（または変換タイプセット）内で現在の変換ブロック（またはユニット）に適用される変換のタイプを指示する構文（または構文要素）がエンコーダからデコーダに転送されることができる。

したがって、その表現にもかかわらず、現在の変換ブロックに適用される変換のタイプを指示する構文（ＭＴＳインデックス）は、ＭＴＳ適用するかどうかについての情報を含むことができる。つまり、後者の実施例においてＭＴＳフラグなしＭＴＳインデックスのみシグナリングされることがあり、この場合は、ＭＴＳにＤＣＴ２が含まれるものと解釈することができるが、本発明においては、ＤＣＴ２を適用する場合を、ＭＴＳを適用しないものと記述することができ、それにもかかわらず、ＭＴＳの記述的範囲は、その定義内容に限定されない。

また、他の一例として、次の表１９は、レジデュアルユニットの構文構造の一例を示す。

表１９を参照すると、transform_skip_flag及び/またはmts_idx構文（または構文要素）は、レジデュアル構文を通じてシグナリングすることができる。ただし、これは一つの例示であり、本発明がこれに限定されるものではない。たとえば、transform_skip_flag及び/またはmts_idx構文（シンタックス）は、変換ユニット構文を通じてシグナリングされることもできる。

以下においては、予め定義された領域にのみ一次変換（primary transform）を適用することにより、複雑さを改善する方法を提案する。 ＭＴＳのような様々な様々の変換（または変換カーネル）（例えば、ＤＣＴ２、ＤＳＴ７、ＤＣＴ８、ＤＳＴ１、ＤＣＴ５など）の組み合わせが選択的に一次変換に適用される場合、複雑さが増加することができる。特に、コーディングブロック（または変換ブロック）のサイズが大きくなるほど多様な複数の変換を考慮しなければならないことにより、著しく複雑さが増加することができる。

したがって、本明細書の実施例においては、複雑さの減少のために、すべての領域に対して変換を実行する（または適用）するのではなく、特定条件に応じて、あらかじめ定義された領域にのみ変換を実行する方法を提案する。

実施例として、先の図１６乃至２４で説明した縮小された変換（ＲＴ：Reduced transform）方法に基づいて、エンコーダは、ＭｘＭサイズの画素ブロック（luma block）に対して順方向一次変換（Primary transform）を適用しＭｘＭサイズの変換ブロックを獲得する代わりに、ＲｘＲサイズの変換ブロックを獲得することができる。一例として、ＲｘＲ領域は、現在のブロック（コーディングブロック、変換ブロック）内の左上側（top-left）ＲｘＲ領域で有り得る。デコーダは、ＲｘＲ（Ｍ> ＝ Ｒ）のサイズの領域にのみ、逆方向一次変換を実行することにより、ＭｘＭサイズの変換ブロックを獲得することができる。

結果的に、ＲｘＲ領域にのみ有効な係数（non-zero coefficients）が存在することができる。一例として、この場合、デコーダはＲｘＲ領域以外の領域内に存在する係数については、計算を実行せずに値を０と見なす（zero-out）することができる。エンコーダは、ＲｘＲ領域のみ残るよう（ＲｘＲ領域のみ有効係数が存在することができるよう）順方向変換を実行することができる。

また、デコーダは、コーディングブロック（または変換ブロック）のサイズ及び/または変換（または変換カーネル）の種類に応じて決定される予め定義された領域にのみ一次変換（つまり、逆変換）を適用することができる。次、表２０は、変換のサイズ（または変換ブロックのサイズ）に応じて、予め定義されたＲ（Reduced factor、Reduced transform factorなどで称されることができる）の値を使用するReduced Adaptive Multiple Transform（ＲＡＭＴ）を例示する。本発明において、ブロックサイズに応じて適応的に決定される縮小された変換を示すReduced Adaptive Multiple Transform（ＲＡＭＴ）はReduced ＭＴＳ（Multiple Transform Selection）、Reduced explicit multiple transform、Reduced primary transformなどで称されることができる。

表２０を参照すると、変換のサイズ（または変換ブロックのサイズ）に応じて、少なくとも一つ以上の縮小された変換が定義されることができる。一実施例において、表２０に例示された縮小された変換の内、いずれの縮小された変換が用いられるかは、現在のブロック（コーディングブロックまたは変換ブロック）に適用される変換（または変換カーネル）に基づいて決定することができる。前記表２０においては、３つの縮小された変換用いられる場合を仮定するが、本発明はこれに限定されるものではなく、変換のサイズに応じて１つ以上の様々な個数の縮小された変換が予め定義することができる。

また、本発明の実施例において、前述したreduced adaptive multiple transformを適用することにおいて、reduced transform factor（Ｒ）が一次変換に基づいて依存的に決定することができる。例えば、一次変換がＤＣＴ２である場合、他の一次変換（例えば、ＤＳＴ７及び/またはＤＣＴ８の組み合わせ）に比べて計算量が比較的簡単なのでサイズが小さいブロックに対しては、縮小された変換を用いられないか、相対的で大きなＲ値を用いることにより、符号化性能の減少を最小化することができる。次の表２１は、変換のサイズ（または変換ブロックのサイズ）及び変換カーネルに基づいて予め定義されたＲ値を用いるReduced Adaptive Multiple Transform（ＲＡＭＴ）を例示する。

表２１を参照すると、一次変換に適用される変換がＤＣＴ２の場合とその他の変換（例えば、ＤＳＴ７及び/またはＤＣＴ８の組み合わせ）である場合、互いに異なるReduced transform factorを用いられる。

図２７は、本発明が適用される実施例として、縮小された変換（Reduced transform）を用いて、ビデオ信号をエンコードする方法を例示する図である。

図２７を参照すると、まず、エンコーダは、現在のブロックに変換を適用するかどうかを決定する（Ｓ２７０１）。エンコーダは、決定された結果に基づいて変換スキップフラグ（transform skip flag）をエンコードすることができる。この場合、変換スキップフラグをエンコードするステップがＳ２７０１段階に含めることができる。

エンコーダは、現在のブロックに変換が適用される場合、現在のブロックの一次変換（primary transform）に適用される変換カーネルを決定する（Ｓ２７０２）。エンコーダは、決定された変換カーネルを指示する変換インデックス（transform index）をエンコードすることができ、この場合、変換インデックス（transform index）をエンコードするステップがＳ２７０２段階に含めることができる。

エンコーダは、現在のブロックの一次変換に適用される変換カーネルと、現在のブロックの大きさに基づいて、現在のブロック内の有効係数が存在する領域を決定する（Ｓ２７０３）。

また、一実施例として、エンコーダは、変換インデックスによって指示される変換カーネルが予め定義された変換であり、現在のブロックの幅（width）、及び/または高さ（height）が予め定義されたサイズより大きい場合、前記予め定義されたサイズの幅及び/または高さを有する領域を前記有効係数が存在する領域に決定することができる。

例えば、前記予め定義された変換は、ＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせの内、いずれか１つで有り得、前記予め定義されたサイズは、１６で有り得る。または、前記予め定義された変換は、ＤＣＴ２を除外した残りの変換で有り得る。また、一例として、エンコーダは、前記変換インデックスによって指示される変換カーネルがＤＣＴ２であり、前記現在ブロックの幅及び/または高さが３２よりも大きい場合、幅及び/または高さが３２である領域を、前記一次変換が適用される領域に決定することができる。

また、一実施例として、エンコーダは、前記変換インデックスによって指示される変換カーネルが第１変換グループに属する場合、現在のブロックの幅（width）と第１しきい値の内、小さい方の値を前記一次変換が適用される領域の幅に決定し、現在のブロックの高さ（height）と、第１しきい値の内、小さい方の値を前記有効係数が存在する領域の高さに決定することができる。一例として、第１しきい値は３２で有り得るが、本発明がこれに限定されるものではなく、前述した表２０または表２１のように４、８、１６で有り得る。

そして、エンコーダは、前記変換インデックスによって指示される変換カーネルが第２変換グループに属する場合、現在のブロックの幅と第２しきい値の内、小さい方の値を一次変換が適用される領域の幅に決定し、現在のブロックの高さと第２しきい値の内、小さい方の値を有効係数が存在する領域の高さに決定することができる。一例として、第２しきい値は１６で有り得るが、本発明がこれに制限されるものではなく、前述した表２０または表２１のように、４、６、８、１２、３２で有り得ることも有る。

一実施例として、前記第１変換グループは、ＤＣＴ２を含み、前記第２変換グループはＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせを含むことができる。

エンコーダは、現在のブロックの一次変換に適用される変換カーネルを用いて、順方向一次変換（forward primary transform）を実行する（Ｓ２７０４）。エンコーダは、順方向一次変換を実行することにより、有効係数が存在する領域内の一次変換された変換係数を獲得することができる。一実施例として、エンコーダは、一次変換された変換係数に二次変換（secondary transform）を適用することができ、この場合、先の図６～図２６で説明した方法が適用されることができる。

図２８は、本発明が適用される実施例として、縮小された変換（Reduced transform）を用いて、ビデオ信号をデコードする方法を例示する図である。

デコーダは、現在のブロックに変換スキップ（transform skip）が適用されるかどうかを確認する（Ｓ２８０１）。

デコーダは、現在のブロックに変換スキップが適用されない場合、ビデオ信号から現在ブロックに適用される変換カーネル（transform kernel）を指示する変換インデックス（transform in-dex）を獲得する（Ｓ２８０２）。

デコーダは、変換インデックスによって指示される変換カーネルと、現在のブロックの
サイズ（つまり、幅及び/または高さ）に基づいて、現在のブロックに一次変換（primary transform）（つまり、一次逆変換）が適用される領域を決定する（Ｓ２８０３）。

一実施例として、デコーダは、現在のブロック内において、一次変換が適用される領域以外の残りの領域の係数を０と見なすことができる。

また、一実施例として、デコーダは、変換インデックスによって指示される変換カーネルが予め定義された変換であり、現在のブロックの幅（width）、及び/または高さ（height）が予め定義されたサイズより大きい場合、前記予め定義されたサイズの幅及び/または高さを有する領域を前記一次変換が適用される領域に決定することができる。

例えば、前記予め定義された変換は、ＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせの内、いずれか１つで有り得、前記予め定義されたサイズは、１６で有り得る。または、前記予め定義された変換は、ＤＣＴ２を除外した残りの変換で有り得る。また、一例として、デコーダは、前記変換インデックスによって指示される変換カーネルがＤＣＴ２であり、前記現在のブロックの幅及び/または高さが３２より大きい場合、幅及び/または高さが３２である領域を、前記一次変換が適用さされる領域に決定することができる。

また、一実施例として、デコーダは、前記変換インデックスによって指示される変換カーネルが第１変換グループに属する場合、現在のブロックの幅（width）と第１しきい値の内、小さい方の値を前記一次変換が適用される領域の幅に決定し、現在のブロックの高さ（height）と、第１しきい値の内、小さい方の値を前記一次変換が適用される領域の高さに決定することができる。一例として、第１しきい値は３２で有り得るが、本発明がこれに制限されるものではなく、前述した表２０または表２１のように４、８、１６で有り得る。

そして、デコーダは、前記変換インデックスによって指示される変換カーネルが第２変換グループに属する場合、現在のブロックの幅と第２しきい値の内、小さい方の値を一次変換が適用される領域の幅に決定し、現在のブロックの高さと第２しきい値の内、小さい方の値を一次変換が適用される領域の高さに決定することができる。一例として、第２しきい値は１６で有り得るが、本発明がこれに制限されるものではなく、前述した表２０または表２１のように、４、６、８、１２、３２でも有り得る。

一実施例として、前記第１変換グループは、ＤＣＴ２を含み、前記第２変換グループはＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせを含むことができる。

デコーダは、一次変換が適用される領域に対し、変換インデックスによって指示される変換カーネルを用いて、逆方向一次変換（inverse primary transform）を実行する（Ｓ２８０４）。デコーダは、逆方向一次変換を実行することにより、一次逆変換された変換係数を獲得することができる。一実施例として、デコーダは、一次変換を実行する前に、逆量子化された変換係数に二次変換（secondary transform）を適用することができ、この場合、先の図６～図２６で説明した方法が適用されることができる。

本明細書の実施例に係ると、特定の条件に応じて、予め定義された領域にのみ変換を実行することにより、worst case複雑さを大幅に減少させることができる。

また、本明細書の一実施例において、ＭＴＳ、（ＥＭＴまたはＡＭＴ）フラグが０である場合（つまり、水平（横）方向と垂直（縦）方向のすべてＤＣＴ－２変換が適用される場合） 、エンコーダ／デコーダは、水平及び垂直方向に対しそれぞれ左側と上側から３２個の係数だけを残し、高周波成分に対してゼロアウト（zero-out）を実行する（つまり、０と見なすまたは設定）することができる。本実施例は、後述する実施例での説明の便宜のために、第１実施例と称するが、本明細書の実施例が、これに制限されるものではない。

例えば、エンコーダ／デコーダは、６４ｘ６４ ＴＵ（またはＣＵ）の場合、左上端（top-left）３２ｘ３２の領域にのみ変換係数を残し、残りの領域の係数に対してゼロアウトを行うことができる。また、エンコーダ／デコーダは、６４ｘ１６ ＴＵの場合、左上端３２ｘ１６の領域にのみ変換係数を残し、残りの領域の係数に対してゼロアウトを行うことができる。また、エンコーダ／デコーダは、８ｘ６４ ＴＵの場合、左上端８ｘ３２の領域にのみ変換係数を残し、残りの領域の係数に対してゼロアウトを行うことができる。つまり、水平及び垂直方向の全て最大長３２だけまで変換係数が存在するように設定することができ、これにより、変換効率を高めるさせることができる。

一実施例として、このようなゼロアウトの方法は、イントラ予測が適用された残差信号のみ適用されることもあり、インター予測が適用された残差信号のみ適用されることもあり、イントラ予測が適用された残差信号とインター予測が適用された残差信号の全てに適用することもできる。

また、本明細書の実施例において、ＭＴＳフラグが１である場合（つまり、水平方向と垂直方向のＤＣＴ－２変換以外の他の変換（例えば、ＤＳＴ－７またはＤＣＴ－８）が適用されることができる場合）、エンコーダ／デコーダは、左上端の特定の領域の係数を残し、残りの高周波成分に対してゼロアウト（zero-out）を実行する（つまり、０と見なすまたは設定）することができる。本実施例は、後述する実施例での説明の便宜のために、第２実施例と称するが、本明細書の実施例が、これに制限されるものではない。

実施例として、エンコーダ／デコーダは次の例のように、一部の左上端の領域の変換係数領域のみを残すように構成することができる。つまり、エンコーダ／デコーダは、幅及び/または高さに応じて一次変換が適用される水平方向及び/または垂直方向の変換係数の長さ（または個数）を予め設定することができる。一例として、一次変換が適用される長さを超える係数はゼロアウトすることができる。

- 幅（ｗ）が２ｎより同じか大きい場合、左からｗ/２ｐの長さだけにのみ変換係数を残し、残りの領域の変換係数は、０の値に固定（または設定、見なす）（zero-out）させることができる。

－ 高さ（ｈ）が２ｍである場合、上からｈ/２ｑ長さだけにのみ変換係数を残し、残りの変換係数は、０の値に固定させることができる。

一例として、ｍ、ｎ、ｐ、ｑの値は、様々な複数の値に予め定義することができる。例えば、ｍ、ｎ、ｐ、ｑの値は０より同じか大きい整数値に設定されることができる。または、具体的には以下の例のように設定することができる。

１）（ｍ、ｎ、ｐ、ｑ）＝（５、５、１、１）

２）（ｍ、ｎ、ｐ、ｑ）＝（４、４、１、１）

例えば、１）番構成で予め定義された場合、３２ｘ１６ ＴＵには、左上端１６ｘ１６の領域にのみ変換係数が残ることがあり、８ｘ３２ ＴＵには、左上端８ｘ１６の領域にのみ変換係数が残ることがある。

一実施例として、このようなゼロアウトの方法は、イントラ予測が適用された残差信号にのみ適用されることもあり、インター予測が適用された残差信号にのみ適用されることもあり、イントラ予測が適用された残差信号とインター予測が適用された残差信号の全てに適用されることもできる。

また、本明細書の他の一実施例において、ＭＴＳ、フラグが１である場合（つまり、水平方向と垂直方向のＤＣＴ－２変換以外の他の変換（例えば、ＤＳＴ－７またはＤＣＴ－８）が適用できる場合）、エンコーダ／デコーダは、左上端の特定の領域の係数を残し、残りの高周波成分に対してゼロアウト（zero-out）を実行する（つまり、０と見なすまたは設定する）ことができる。または、さらに具体的に、エンコーダは、予め定義された左上端の特定の領域の係数を残して、残りの高周波成分に対してゼロアウト（zero-out）を行うことができ、デコーダはゼロアウトされた領域を予め認知しゼロアウトされていない領域の係数を用いてコーディングを行うことができる。ただし、本明細書の実施例が、これに制限されるものではなく、デコーダ側面でのゼロアウトプロセスはゼロアウトされた領域を０と見なし（また認知、設定）するプロセスとして理解することができる。本実施例は、後述する実施例での説明の便宜のために、第３実施例と称するが、本明細書の実施例が、これに制限されるものではない。

実施例として、エンコーダ／デコーダは次の例のように、一部の左上端の領域の変換係数領域のみ残すように構成することができる。つまり、エンコーダ／デコーダは、幅及び／または高さに応じて一次変換が適用される水平方向及び/または垂直方向の変換係数の長さ（または個数）を予め設定することができる。一例として、一次変換が適用される長さを超える係数はゼロアウトすることができる。

‐ 高さ（ｈ）が幅（ｗ）より等しいか、大きく高さが２ｎより同じか大きい場合、左上端ｗｘ（ｈ/２ｐ）領域のみを変換係数を残し、残り領域の変換係数は、０の値に固定（または設定、見なす）（zero-out）させることができる。

‐ 幅（ｗ）が高さ（ｈ）より大きく、幅が２ｍである場合、左上端（ｗ/２ｑ）ｘｈ領域のみを変換係数を残し、残りの変換係数は、０の値に固定させることができる。

前述した例において高さ（ｈ）と幅（ｗ）が同じ場合に対しては、縦方向を減らすことに（ｈ/２ｐ）されているが、横方向を減らすように（ｗ/２ｑ）設定することもできる。

一例として、ｍ、ｎ、ｐ、ｑの値は、様々な複数の値に予め定義することができる。例えば、ｍ、ｎ、ｐ、ｑの値には、０より同じか大きい整数値に設定されることができる。または、具体的には以下の例のように設定することができる。

(ｍ, ｎ, ｐ, ｑ) ＝ (４, ４, １, １)

２）(ｍ, ｎ, ｐ, ｑ) ＝ (５, ５, １, １)

例えば、1）番の構成で予め定義された場合、３２ｘ１６ ＴＵには、左上端１６ｘ１６の領域にのみ変換係数が残ることができ、８ｘ１６ ＴＵには、左上端８ｘ８の領域にのみ変換係数が残ることがある。

一実施例として、このようなゼロアウトの方法は、イントラ予測が適用された残差信号にのみ適用されることもあり、インター予測が適用された残差信号にのみ適用されることもあり、イントラ予測が適用された残差信号とインター予測が適用された残差信号のすべに適用することもできる。

以上で、ＭＴＳ、フラグが０である場合の変換係数の領域を制限する方法に関する第１実施例、ＭＴＳ、フラグが１の場合の変換係数の領域を制限する方法に関する第２及び第３実施例は、それぞれ個別に適用されることもでき、組み合わせ適用することもできる。

一実施例として、次のような組み合わせの構成が適用されることができる。

第１実施例＋第２実施例

第１実施例+第３実施例

先に第２実施例及び第３実施例で述べたように、実施例として、このようなゼロアウトの方法は、イントラ予測が適用された残差信号にのみ適用されることもあり、インター予測が適用された残差信号にのみ適用されることもあり、イントラ予測が適用された残差信号とインター予測が適用された残差信号の全てに適用されることもできる。したがって、ＭＴＳフラグが１の場合には、次のような組み合わせの構成が適用されることができる。このとき、ＭＴＳフラグが０である場合に対しては、上述した第１実施例が適用されることができる。

本明細書の一実施例において、エンコーダ／デコーダは、前述した実施例でのゼロアウトに応じて変換係数が０の値を有するものと見なされる領域に対してレジデュアルコーディングを行わないことがある。つまり、エンコーダ／デコーダはゼロアウト領域を除外した領域にのみレジデュアルコーディングを実行するように定義することができる。

前述した第１実施例、第２実施例、第３実施例において、ＴＵ内で０の値を有するしかない領域（または係数）が明らかに決まることになる。つまり、変換係数の存在が許される左上端領域を除外して、残りは０の値にゼロアウトされる。したがって、エントロピーコーディング（またはレジデュアルコーディング）プロセスにおいて、エンコーダ／デコーダは、０の値を有することが保障される領域に対しては、レジデュアルコーディングを行うことなくバイパス（bypass）するように構成することができる。

一実施例において、エンコーダ／デコーダは、ＣＧ（Coefficient Group）内、０でない変換係数が存在するかどうかを示すフラグ（subblock_flagに称する）（または構文、構文エレメント）をコーディングすることができる。ここで、前記ＣＧはＴＵのサブブロックとして、ＴＵブロックの形及び/または色差／輝度コンポーネントであるかによって４ｘ４または２ｘ２ブロックに設定されることができる。

このとき、エンコーダ／デコーダは、前記subblock_flagが１である場合に限り、そのＣＧの内部をスキャンして、係数値（または係数のレベル値）をコーディングすることができる。したがって、０の値にゼロアウトされる領域に属するＣＧに対して、エンコーダ／デコーダは、subblock_flagコーディングをせずに０の値をデフォルトに有するように構成することができる。

また、一実施例において、エンコーダは、順方向スキャン順上、最後に位置する係数の位置（または最後の有効係数の位置を示す構文、構文エレメント）を先にコーディングすることができる。例えば、エンコーダは、水平方向の位置であるlast_coefficient_position_xと垂直方向の位置であるlast_coefficient_position_yをコーディングすることができる。

last_coefficient_position_xとlast_coefficient_position_yが有することがで
きる値の最大値は、それぞれＴＵの（幅 ‐ 1）と（高さ‐ 1）の値で決定されることがあるが、ゼロアウトによって、０でない係数が存在することができる領域が制限される場合last_coefficient_position_xとlast_coefficient_position_yが有することができる値の最大値も一緒に制限されることができる。

したがって、エンコーダ／デコーダは、last_coefficient_position_xとlast_coefficient_position_yが有することのできる最大値をゼロアウトを考慮して制限した後、コーディングすることができる。たとえば、last_coefficient_position_xとlast_coefficient_position_yに適用される２値化方法が切削型単項（truncated unary）（または、切削型ライス（truncated Rice、ＴＲ）、切削型のバイナリ（truncated binary、ＴＢ））２値化方法である場合、エンコーダ／デコーダは、切削型単項コードの最大長さを調整された（つまり、last_coefficient_position_xとlast_coefficient_position_yが有することができる）最大値に対応するように調節（低減）することができる。

以上で説明した本発明の実施例の内、一部は、説明の便宜上、実施例を区分して説明したが、本発明がこれに制限されるものではない。つまり、先に説明した実施例は、それぞれ独立して実行されることもあり、1つ以上の様々の実施例が組み合わされて実行されることもある。

図２９は、本明細書の実施例に係る縮小された変換（Reduced transform）に基づいて、ビデオ信号をデコードする方法を例示するフローチャートである。

図２９を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明がこれに限定されるものではなく、本実施形態に係るビデオ信号の変換方法は、エンコーダでも実質的に同じように適用することができる。図２９のフローチャートは、デコード装置２００または逆変換部２３０によって実行されることができる。

デコーダは、現在のブロックの水平及び垂直方向に適用される変換カーネル（transform ker-nels）を指示する変換インデックス（transform index）を前記ビデオ信号から獲得する（Ｓ２９０１）。

デコーダは、前記変換インデックスによって指示される変換カーネル及び前記現在のブロックの大きさに基づいて、前記現在のブロックに変換（つまり、逆変換）が適用される領域を決定する（Ｓ２９０２）。

デコーダは、前記現在のブロック内において、前記変換が適用される領域以外の残りの領域の係数を０と見なす（Ｓ２９０３）。

デコーダは、前記の変換が適用される領域に対し、前記変換インデックスによって指示される変換カーネルを用いて、逆変換（inverse transform）を実行する（Ｓ２９０４）。

前述したように、前記変換が適用される領域を決定する段階は、前記変換インデックスによって指示される変換カーネルが予め定義された変換であり、前記現在のブロックの幅（width）、及び/または高さ（height ）があらかじめ定義されたサイズより大きい場合、前記予め定義されたサイズの幅及び/または高さを有する領域を前記変換が適用される領域に決定することにより行うことができる。

前述したように、前記予め定義された変換は、ＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせの内、いずれか１つで有り得る。

前述したように、前記あらかじめ定義されたサイズは、１６で有り得る。

前述したように、前記変換が適用される領域を決定する段階は、前記変換インデックスによって指示される変換カーネルが第１変換グループに属する場合、前記現在のブロックの幅（width）と３２の内、小さい値を前記変換が適用される領域の幅に決定し、前記現在のブロックの高さ（height）と３２の内、小さい方の値を前記変換が適用される領域の高さに決定し、前記変換インデックスによって指示される変換カーネルが第２変換グループに属する場合、前記現在のブロックの幅と１６の内、小さな値を前記変換が適用される領域の幅に決定し、前記現在のブロックの高さと１６の内、小さな値を前記変換が適用される領域の高さに決定することにより行うことができる。一実施例として、前記第１変換グループは、ＤＣＴ２を含み、前記第２変換グループはＤＳＴ７及び/またはＤＣＴ８の組み合わせで構成された複数の変換の組み合わせを含むことができる。

前述したように、前記現在のブロック内でスキャン順序上最後の有効係数（last significant coefficient）の位置を指示する構文エレメントを獲得するステップをさらに含み、前記逆変換が適用される係数は、前記最後の有効係数の位置に基づいて前記ビデオ信号から獲得することができる。

前述したように、前記構文要素は、切削型単項（truncated unary）方式で２値化され、前記構文要素の最大値は、前記０と見なされる領域に基づいて決定することができる。

図３０は、本発明が適用される実施例として、ビデオ信号を処理するための装置のブロック図の例を示す。図３０のビデオ信号処理装置は、図１のエンコード装置又は図２のデコード装置に該当することができる。

映像信号を処理する映像処理装置３０００は、映像信号を貯蔵するメモリ３０２０と、前記メモリと結合されながら、映像信号を処理するプロセッサ３０１０を含む。

本発明の実施例に係るプロセッサ３０１０は、映像信号の処理のための少なくとも一つの処理回路で構成されることができ、映像信号をエンコードまたはデコードするためのコマンドを実行することにより、映像信号を処理することができる。つまり、プロセッサ３０１０は、前述したエンコードまたはデコード方法を実行することにより、元本映像データをエンコードしたり、エンコードされた映像信号をデコードすることができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出しできる記録媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータで読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバー去るシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。 また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図で示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。

また、本発明が適用されるデコーダとエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのようなリアルタイム通信装置、モバイルストリーミング装置、貯蔵媒体、キャムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレビ電話、ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために用いられる。たとえば、ＯＴＴビデオ（Over the top video）装置では、ゲーム機、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recoder）などを含むことができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出し可能な貯蔵媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータに読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルー例ディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。 また、エンコード方法で生成されたビットストリームをコンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

以上で説明した実施形態は、本発明の構成要素と特徴が所定形態で結合されたものである。各構成要素または特徴は、別の明示的な言及がない限り選択的なもので考慮されるべきである。各構成要素または特徴は、他の構成要素や特徴と結合されない形態で実施されることができる。また、一部の構成要素及び/または特徴を結合して、本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更されることができる。どの実施形態の一部の構成や特徴は、他の実施形態に含まれることができ、または他の実施形態に対応する構成または特徴と代替されることができる。特許請求の範囲で明示的な引用関係がない請求項を結合して実施形態を構成したり、出願後の補正により新しい請求項として含めることができることは自明である。

本発明に係る実施形態は、様々な手段、例えば、ハードウェア、ファームウェア（firmware）、ソフトウェアまたはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、一つまたはそれ以上のＡＳＩＣｓ（application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ（digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ（ field programmable gate arrays）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。

ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明した機能または動作を実行するモジュール、プロシージャ、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに貯蔵されてプロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置して、既に公知された多様な手段により、前記プロセッサとデータを送受信することができる。

本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化されることができることは、当業者に自明である。したがって、前述した詳細な説明は、すべての面で制限的に解釈してはならなく、例示的なものとみなされるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内でのすべての変更は、本発明の範囲に含まれる。

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたもので、当業者であれば、以下、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態を改良、変更、代替または付加などが可能である。

Claims (9)

1. ビデオ信号をデコードする方法において、
   現在のブロックの水平方向及び垂直方向に沿って適用される変換カーネル（transform kernels）を指示する変換インデックス（transform index）を前記ビデオ信号から獲得する段階と、
   前記変換インデックスによって指示される変換カーネル及び前記現在のブロックの幅及び／又は高さに基づいて、前記現在のブロック内で変換が適用されるノンゼロ領域を決定する段階と、
   前記現在のブロック内において、前記変換が適用される前記ノンゼロ領域以外の残りの領域の係数を０と見なす段階と、
   前記変換が適用される前記ノンゼロ領域に対し、前記変換インデックスによって指示される変換カーネルに基づいて、逆変換（inverse transform）を実行する段階を含み、
   前記変換が適用される前記ノンゼロ領域の決定は、（ｉ）第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と３２との間の小さい値を決定し，（ｉｉ）前記第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと３２との間の小さい値を決定し、（ｉｉｉ）第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と１６との間の小さい値を決定し，（ｉｖ）前記第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと１６との間の小さい値を決定することにより実行される、ビデオ信号をデコードする方法。
2. 前記第２変換カーネルグループは、ＤＳＴ７及びＤＣＴ８の内の１つを含む、請求項１に記載のビデオ信号をデコードする方法。
3. 前記現在のブロック内でスキャン順序上で最後の有効係数（last significant coefficient）の位置を指示する構文エレメントを獲得する段階をさらに含み、
   前記逆変換が適用される係数は、前記最後の有効係数の位置に基づいて前記ビデオ信号から獲得される、請求項１に記載のビデオ信号をデコードする方法。
4. 前記構文エレメントは、切削型単項（truncated unary）方式に基づいて２値化され、
   前記構文エレメントの最大値は、前記ノンゼロ領域に基づいて決定される、請求項３に記載のビデオ信号をデコードする方法。
5. ビデオ信号を符号化する方法であって、
   現在のブロックに適用される変換カーネルを導出する段階であって、前記変換カーネルは水平変換カーネルと垂直変換カーネルを含む、段階と、
   前記変換カーネルと前記現在のブロックの幅及び／又は高さに基づいて、変換が前記現在のブロックに適用されるノンゼロ領域を決定する段階と、
   前記変換が前記現在のブロック内で適用される前記ノンゼロ領域以外の残りの領域の係数を０と見なす段階と、
   前記変換カーネルに基づいて、前記現在のブロックに変換を実行する段階と、
   変換カーネルが前記現在のブロックの水平方向及び垂直方向に沿って適用されることを示す変換インデックスを生成する段階を含み、
   前記変換が適用される前記ノンゼロ領域の決定は、（ｉ）第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と３２との間の小さい値を決定し，（ｉｉ）前記第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと３２との間の小さい値を決定し、（ｉｉｉ）第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と１６との間の小さい値を決定し，（ｉｖ）前記第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと１６との間の小さい値を決定することにより実行される、ビデオ信号を符号化する方法。
6. 前記第２変換カーネルグループは、ＤＳＴ７及びＤＣＴ８の内の１つを含む、請求項５に記載のビデオ信号を符号化する方法。
7. 前記現在のブロック内でスキャン順序上で最後の有効係数（last significant coefficient）の位置を指示する構文エレメントを生成する段階をさらに含み、
   前記変換が適用される係数は、前記最後の有効係数の位置に基づいて生成される、請求項５に記載のビデオ信号を符号化する方法。
8. 前記構文エレメントは、切削型単項（truncated unary）方式に基づいて２値化され、前記構文エレメントの最大値は、前記ノンゼロ領域に基づいて決定される、請求項７に記載のビデオ信号を符号化する方法。
9. ビデオ信号に対するデータの送信方法であって、
   前記ビデオ信号に対するビットストリームを獲得する段階であって、
   前記ビットストリームが、現在のブロックに適用される変換カーネルを導出することであって、前記変換カーネルは水平変換カーネルと垂直変換カーネルを含む、ことと、前記変換カーネルと前記現在のブロックの幅及び／又は高さに基づいて、変換が前記現在のブロックに適用されるノンゼロ領域を決定することと、前記変換が前記現在のブロック内で適用される前記ノンゼロ領域以外の残りの領域の係数を０と見なすことと、前記変換カーネルに基づいて、前記現在のブロックに変換を実行することと、変換カーネルが前記現在のブロックの水平方向及び垂直方向に沿って適用されることを示す変換インデックスを生成することと、前記変換インデックスについての情報をエンコードすることに基づいて生成される、段階と、
   前記ビットストリームを含む前記データを送信する段階とを含み、
   前記変換が適用される前記ノンゼロ領域の決定は、（ｉ）第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と３２との間の小さい値を決定し，（ｉｉ）前記第１変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと３２との間の小さい値を決定し、（ｉｉｉ）第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の幅として、前記現在のブロックの幅と１６との間の小さい値を決定し，（ｉｖ）前記第２変換カーネルグループに属する前記変換インデックスにより示される前記変換カーネルに基づいて、前記変換が適用される前記ノンゼロ領域の高さとして、前記現在のブロックの高さと１６との間の小さい値を決定することにより実行される、ビデオ信号に対するデータの送信方法。

Images