JP2021166320A - 画像処理装置および方法 - Google Patents

Abstract

【課題】符号化効率の低減を抑制する画像処理装置及び方法を提供する。【解決手段】変換タイプ導出装置１００（画像処理装置）は、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する。変換タイプ導出装置は、設定された変換タイプの変換行列を用いて、カレントブロックの係数データを逆直交変換する。【選択図】図２

Description

本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制する（符号化効率を改善する）ことができるようにした画像処理装置および方法に関する。

従来、輝度について、TU（Transform Unit）単位毎の、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT: Adaptive Multiple Core Transforms）が開示されている（例えば、非特許文献１参照）。

非特許文献１では、プライマリ変換の候補として、DCT-II, DST-VII, DCT-VIII, DST-I, DST-VIIの５つの１次元直交変換がある。また、さらに、DST-IVおよびIDT（Identity Transform: １次元変換スキップ）の２つの１次元直交変換を追加し、計７つの１次元直交変換をプライマリ変換の候補とすることが提案されている（例えば、非特許文献２参照）。

Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 V. Lorcy, P. Philippe, "Proposed improvements to the Adaptive multiple Core transform", JVET-C0022, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May -1 June 2016

しかしながら、これらの方法の場合、変換タイプの周波数特性を考慮しておらず、残差信号に適していない周波数特性の変換タイプを選択し、符号化効率が低減してしまうおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制する（符号化効率を改善する）ことができるようにするものである。

本技術の一側面の画像処理装置は、ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成する復号部と、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択する選択部と、前記選択部により選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する設定部と、前記設定部により設定された変換タイプの変換行列を用いて、前記復号部により生成された前記カレントブロックの前記係数データを逆直交変換する逆直交変換部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定し、設定された変換タイプの変換行列を用いて、前記ビットストリームを復号して生成された前記カレントブロックの前記係数データを逆直交変換する画像処理方法である。

本技術の他の側面の画像処理装置は、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択する選択部と、前記選択部により選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する設定部と、前記設定部により設定された変換タイプの変換行列を用いて、画像の予測残差を直交変換し、係数データを生成する直交変換部と、前記直交変換部により前記予測残差が直交変換されて生成された前記係数データを符号化し、ビットストリームを生成する符号化部とを備える画像処理装置である。

本技術の他の側面の画像処理方法は、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定し、設定された変換タイプの変換行列を用いて、画像の予測残差を直交変換し、係数データを生成し、前記予測残差が直交変換されて生成された前記係数データを符号化し、ビットストリームを生成する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、ビットストリームが復号されて、画像の予測残差が直交変換された係数データが生成され、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルが選択され、その選択された変換タイプ候補テーブルが用いられて、カレントブロックに適用する変換タイプが設定され、その設定された変換タイプの変換行列が用いられて、そのビットストリームが復号されて生成されたカレントブロックの係数データが逆直交変換される。

本技術の他の側面の画像処理装置および方法においては、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルが選択され、その選択された変換タイプ候補テーブルが用いられて、カレントブロックに適用する変換タイプが設定され、その設定された変換タイプの変換行列が用いられて、画像の予測残差が直交変換され、係数データが生成され、その予測残差が直交変換されて生成された係数データが符号化され、ビットストリームが生成される。

本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制する（符号化効率を改善する）ことができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

変換タイプの設定による符号化効率の低減を抑制するための方法例を示す図である。 変換タイプ導出装置の主な構成例を示すブロック図である。 変換タイプ候補テーブルの例を示す図である。 変換タイプ設定処理の流れの例を説明するフローチャートである。 変換タイプ設定処理の流れの例を説明するフローチャートである。 変換タイプ候補テーブルの例を示す図である。 変換タイプ導出装置の主な構成例を示すブロック図である。 変換タイプ設定処理の流れの例を説明するフローチャートである。 変換タイプ導出装置の主な構成例を示すブロック図である。 変換タイプ設定処理の流れの例を説明するフローチャートである。 変換タイプ導出装置の主な構成例を示すブロック図である。 変換タイプ設定処理の流れの例を説明するフローチャートである。 変換タイプ導出装置の主な構成例を示すブロック図である。 変換タイプ設定処理の流れの例を説明するフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 直交変換部の主な構成例を示すブロック図である。 プライマリ水平変換部の主な構成例を示すブロック図である。 変換行列導出部の主な構成例を示すブロック図である。 プライマリ垂直変換部の主な構成例を示すブロック図である。 変換行列導出部の主な構成例を示すブロック図である。 画像符号化処理の流れの例を示すフローチャートである。 直交変換処理の流れの例を説明するフローチャートである。 プライマリ変換処理の流れの例を説明するフローチャートである。 プライマリ水平変換処理の流れの例を説明するフローチャートである。 変換行列導出処理の流れの例を説明するフローチャートである。 プライマリ垂直変換処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 逆直交変換部の主な構成例を示すブロック図である。 逆プライマリ垂直変換部の主な構成例を示すブロック図である。 変換行列導出部の主な構成例を示すブロック図である。 逆プライマリ水平変換部の主な構成例を示すブロック図である。 変換行列導出部の主な構成例を示すブロック図である。 画像復号処理の流れの例を説明するフローチャートである。 逆直交変換処理の流れの例を説明するフローチャートである。 逆プライマリ変換処理の流れの例を説明するフローチャートである。 逆プライマリ垂直変換処理の流れの例を説明するフローチャートである。 逆プライマリ水平変換処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．技術内容・技術用語をサポートする文献等
２．適応プライマリ変換
３．コンセプト
４．第１の実施の形態（変換タイプ導出装置 方法＃１）
５．第２の実施の形態（変換タイプ導出装置 方法＃２）
６．第３の実施の形態（変換タイプ導出装置 方法＃３）
７．第４の実施の形態（変換タイプ導出装置 方法＃４）
８．第５の実施の形態（画像符号化装置）
９．第６の実施の形態（画像復号装置）
１０．付記

＜１．技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献４に記載されているQuad-Tree Block Structure、非特許文献１に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献１、非特許文献３、および非特許文献４に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。

また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。

また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。

＜２．適応プライマリ変換＞
＜変換タイプの設定＞
非特許文献１に記載のテストモデル（JEM4（Joint Exploration Test Model 4））においては、輝度の変換ブロックについて、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）、および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる１次元直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT（Adaptive Multiple core Transforms））が開示されている。なお、AMTは、EMT（Explicit Multiple core Transforms）とも称する。

具体的には、輝度の変換ブロックについて、適応プライマリ変換を実施するか否かを示す適応プライマリ変換フラグapt_flagが０（偽）の場合には、プライマリ変換として、DCT（Discrete Cosine Transform）-II、またはDST（Discrete Sine Transform）-VIIがモード情報によって一意に決定される（TrSetIdx = 4）。

適応プライマリ変換フラグapt_flagが１（真）の場合であって、処理対象の輝度の変換ブロックを含むカレントCU（Coding Unit）がイントラCUである場合、水平方向（x方向）と垂直方向（y方向）のそれぞれについてのプライマリ変換の候補となる直交変換を含む変換セットTrSetが、３つの変換セットTrSet（TrSetIdx = 0,1,2）の中から選択される。なお、上述したDST-VIIやDCT-VIII等は、直交変換のタイプを示している。

この変換セットTrSetは、モード情報と変換セットの対応表（のイントラ予測モード情報）に基づいて一意に決定される。例えば、以下の式（１）および式（２）のように、各変換セットTrSetH, TrSetVに対して、対応する変換セットTrSetを指定する変換セット識別子TrSetIdxを設定するように実施される。

ここで、TrSetHは、プライマリ水平変換PThorの変換セットを示し、TrSetVは、プライマリ垂直変換PTverの変換セットを示し、ルックアップテーブルLUT_IntraModeToTrSetは、モード情報と変換セットの対応表である。ルックアップテーブルLUT_IntraModeToTrSet[][]の１番目の配列は、イントラ予測モードIntraModeを引数とし、２番目の配列は、{H=0, V=1}を引数とする。

例えば、イントラ予測モード番号19（IntraMode == 19）の場合、プライマリ水平変換PThorの変換セットTrSetH（プライマリ水平変換セットとも称する）として、変換セット識別子TrSetIdx = 0の変換セットが選択され、プライマリ垂直変換PTverの変換セットTrSetV（プライマリ垂直変換セットとも称する）として、変換セット識別子TrSetIdx=2の変換セットが選択される。

なお、適応プライマリ変換フラグapt_flagが１（真）の場合であって、処理対象の輝度の変換ブロックを含むカレントCUがインターCUである場合、プライマリ水平変換の変換セットTrSetHおよびプライマリ垂直変換の変換セットTrSetVには、インターCU専用の変換セットInterTrSet（TrSetIdx = 3）を割り当てる。

続いて、水平方向と垂直方向のそれぞれについて、選択された変換セットTrSetのうち、どの直交変換を適用するかを、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagの内の対応する方によって選択する。

例えば、以下の式（３）および式（４）のように、プライマリ{水平，垂直}変換セットTrSet{H,V}と、プライマリ{水平，垂直}変換指定フラグpt_{hor,ver}_flagとを引数として、所定の変換セットの定義表(LUT_TrSetToTrTypeIdx)から導出する。

なお、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagからプライマリ変換識別子pt_idxが、以下の式（５）に基づいて導出される。すなわち、プライマリ変換識別子pt_idxの上位１bitは、プライマリ垂直変換指定フラグの値に対応し、下位１bitは、プライマリ水平変換指定フラグの値に対応する。

導出されたプライマリ変換識別子pt_idxのbin列に対して、算術符号化を適用して、ビット列を生成することで、符号化が実施される。なお、適応プライマリ変換フラグapt_flag、およびプライマリ変換識別子pt_idxは、輝度の変換ブロックにおいてシグナルされる。

以上のように、非特許文献１では、プライマリ変換の候補として、DCT-II（DCT2）, DST-VII（DST7）, DCT-VIII（DCT8）, DST-I（DST1）, DCT-V（DCT5）の５つの１次元直交変換が提案されている。AMTが適用される場合、予測モードで決まる変換セットの中から、水平／垂直にどの直交変換を適用するかを表す２ビットのインデックスがシグナルされ、方向毎に２つの候補から１つの変換が選択されていた。また、非特許文献２においては、それらに加えて、さらに、DST-IV（DST4）およびIDT（Identity Transform：１次元変換スキップ）の２つの１次元直交変換が追加され、計７つの１次元直交変換をプライマリ変換の候補とすることが提案されている。

＜変換タイプの周波数特性＞
ところで、これらの変換タイプは、周波数特性が互いに同一であるとは限らない。しかしながら、非特許文献１や非特許文献２に記載の方法においては、このような周波数特性を考慮せずに、用意された全ての変換タイプを候補としていた。そのため、例えば、周波数特性が残差信号に適していない変換タイプが選択され、それにより符号化効率が低減してしまうおそれがあった。

例えば、低次基底ベクトルの周波数特性を比較すると、DCT4、DST4、DST2等の変換タイプの方が、DCT8、DST7、DST1等の変換タイプに比べて、よりハイパスフィルタの特性を有する（ハイパス寄りのローパスフィルタである）。また、高次（３次）基底ベクトルの周波数特性を比較すると、DCT4、DST4、DST2等の変換タイプの方が、DCT8、DST7、DST1等の変換タイプに比べて、よりローパスフィルタの特性を有する（ローパス寄りのハイパスフィルタである）。すなわち、DCT4、DST4、DST2等の変換タイプの方が、DCT8、DST7、DST1等の変換タイプに比べて、より高周波成分を低次に集めることができる。

したがって、高周波の成分をより多く含む残差信号に対しては、DCT4、DST4、DST2等の変換タイプを適用する方が、DCT8、DST7、DST1等の変換タイプを適用する場合に比べて、符号化効率を向上させることができる。

しかしながら、非特許文献１や非特許文献２に記載の方法の場合、このような周波数特性を考慮せずに全ての変換タイプを候補とし、全候補の中から所望の変換タイプを選択するため、高周波の成分をより多く含む残差信号に対して、DCT8、DST7、DST1等の変換タイプを適用するおそれがあり、DCT4、DST4、DST2等の変換タイプを適用する場合に比べて符号化効率が低減してしまうおそれがあった。

＜３．コンセプト＞
＜周波数特性に応じた変換タイプの選択＞
そこで、変換タイプの周波数特性を考慮して変換タイプの選択を行うようにする。例えば、直交変換の対象である残差信号（逆直交変換の場合は係数データ）に適した周波数特性を有する変換タイプを選択するようにする。このようにすることにより、直交変換や逆直交変換の対象となるデータの周波数成分の特徴に応じた周波数特性を有する変換タイプを選択することができ、符号化効率の低減を抑制することができる（符号化効率を改善することができる）。

例えば、変換タイプの候補をその周波数特性に基づいて複数のグループに分け、残差信号（または係数データ）の周波数成分の特徴に応じて、候補とするグループをその複数のグループの中から選択するようにする。このようにすることにより、残差信号（または係数データ）に適した周波数特性を有する変換タイプを候補として、変換タイプの選択を行うことができる。したがって、より容易に、直交変換や逆直交変換の対象となるデータの周波数成分の特徴に応じた周波数特性を有する変換タイプを選択することができる。

なお、残差信号（または係数データ）の周波数成分の特徴は、例えば、符号化パラメータに基づいて推定するようにしてもよい。この周波数成分の特徴を推定するための符号化パラメータは、任意である。具体例については後述する。つまり、この場合、符号化パラメータに基づいて、変換タイプの選択を行うことができる。したがって、より容易に、直交変換や逆直交変換の対象となるデータの周波数成分の特徴に応じた周波数特性を有する変換タイプを選択することができる。

＜変換タイプ候補テーブルの選択＞
したがって、例えば、図１に示される表の（項目名の段を除いて）上から１段目の「方法」の欄に示されるように、符号化パラメータに基づいて、変換タイプの周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から使用する変換タイプ候補テーブルを選択するようにしてもよい。

ここで変換タイプ候補テーブルとは、適応プライマリ変換における変換タイプの候補を要素とするテーブル情報である。この変換タイプ候補テーブルに含まれる変換タイプを候補として、適応プライマリ変換（変換タイプの選択）が行われる。

このような変換タイプ候補テーブルの候補として、それぞれ、周波数特性に応じて分類された変換タイプを要素として含む複数の変換タイプ候補テーブル、すなわち、要素として含む変換タイプの周波数特性が互いに異なるように作成された複数の変換タイプ候補テーブルを用意し、その中から使用するテーブルを選択するようにする。つまり、このテーブルの選択により、適用する変換タイプの周波数特性が選択される。

つまり、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、その選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定するようにしてもよい。

例えば、画像処理装置において、要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択する選択部と、その選択部により選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する設定部とを備えるようにしてもよい。

このようにすることにより、適切な周波数特性（直交変換や逆直交変換の対象となるデータの周波数成分の特徴に応じた周波数特性）を有する変換タイプを選択することができる。したがって、（使用する変換タイプの周波数特性が直交変換や逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。

換言するに、このようにすることにより、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

＜方法＃１＞
符号化パラメータとして、例えば、処理対象であるカレントブロックのブロックサイズを用いてもよい。例えば、図１に示される表の（項目名の段を除いて）上から２段目の「方法」の欄に示されるように、そのブロックサイズに基づいて、変換タイプ候補テーブルを選択するようにしてもよい（方法＃１）。

一般的に、ブロックサイズが小さく設定される領域は、符号化対象の画像の空間方向の変化が大きく、ブロックサイズが大きく設定される領域に比べて高周波成分を多く含む。したがって、そのような小さなブロックに対しては、より高周波成分を低次に集めることができる周波数特性を有する変換タイプを適用するのが望ましい。換言するに、大きなブロックに対しては、より低周波成分を低次に集めることができる周波数特性を有する変換タイプを適用するのが望ましい。

したがって、上述したように、カレントブロックのブロックサイズに基づいて、変換タイプ候補テーブルを選択することにより、（使用する変換タイプの周波数特性が直交変換や逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、このようにすることにより、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

なお、ある変換タイプの変換行列は（例えばフリップ、転置、符号反転、サンプリング等の操作により）他の変換タイプの変換行列から導出することができる場合もある。したがって、上述のようにブロックサイズに応じて適用する（候補とする）変換タイプを分けることにより、例えば、小さいブロックサイズ用の変換タイプの変換行列を、それよりも大きいブロックサイズ用の変換タイプの変換行列から導出することが可能になる。

したがって、このようにすることにより、候補として用意する変換タイプ（変換行列）の数を低減させることができるので、その候補とする変換行列を記憶するルックアップテーブルのサイズの増大を抑制する（サイズを小さくする）ことができる。また、導出可能な変換タイプ同士の間においては、直交変換処理における行列演算を行うための演算回路を共通化することができる。したがって、このようにすることにより、回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃２＞
＜RDコスト（符号化側）＞
符号化パラメータとして、例えば、RDコストを用いてもよい。例えば、図１に示される表の（項目名の段を除いて）上から３段目の「方法」の欄に示されるように、各変換タイプを適用した場合のRDコストに基づいて、変換タイプ候補テーブルを選択するようにしてもよい（方法＃２）。

つまり、各変換タイプを適用した場合についてRDコストを算出し、比較することにより、どの変換タイプ候補テーブルを用いて変換タイプを選択する場合が最も符号化効率を向上させることができるかを確認するようにしてもよい。

このようにすることにより符号化効率が最も良い変換タイプ候補テーブルを用いて変換タイプを選択することができるので、（使用する変換タイプの周波数特性が直交変換や逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、このようにすることにより、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

＜識別情報のシグナル（復号側）＞
なお、このようなRDコストの導出は、符号化側においては可能であるが、復号側においては困難である。そこでこの場合、上から３段目の「方法」の欄に示されるように、選択された変換タイプ候補テーブルを識別する識別情報（変換タイプ候補テーブル切り替えフラグ）を、符号化側から復号側に伝送する（シグナルする）ようにしてもよい（方法＃２）。

つまり、符号化の際に選択された変換タイプ候補テーブルを識別する識別情報である変換タイプ候補テーブル切り替えフラグを符号化パラメータとし、復号側においては、符号化側から伝送された（シグナルされた）その変換タイプ候補テーブル切り替えフラグに対応する変換タイプ候補テーブルを選択するようにしてもよい。

このようにすることにより、符号化側による変換タイプの選択についての明示的な制御が可能になる。また、復号側においては、符号化側から供給される変換タイプ候補テーブル切り替えフラグに基づいて変換タイプ候補テーブルを選択すればよいので、より容易に、変換タイプ候補テーブルの選択を行うことができる。

＜方法＃３＞
また、予測精度に応じて変換タイプ候補テーブルを選択するようにしてもよい。例えば、予測精度に関する符号化パラメータとして、カレントブロックのインター予測モードを用いてもよい。例えば、図１に示される表の（項目名の段を除いて）上から４段目の「方法」の欄に示されるように、そのインター予測モードに基づいて、変換タイプ候補テーブルを選択するようにしてもよい（方法＃３）。

一般的に、インター予測において、予測の数が増大する程、予測精度は高くなる。例えば、単予測の場合の方が双予測の場合よりも残差成分が多くなり、残差信号に含まれる高周波成分が多くなる。そこで、カレントブロックのインター予測モードの予測の数（例えば、単予測であるか双予測であるか）に応じて、変換タイプ候補テーブルを選択するようにする。

例えば、インター予測モードの予測の数が少ない（単予測等）ブロックに対しては、より高周波成分を低次に集めることができる周波数特性を有する変換タイプを適用し、インター予測モードの予測の数が多い（双予測等）ブロックに対しては、より低周波成分を低次に集めることができる周波数特性を有する変換タイプを適用するようにする。

このようにすることにより、（使用する変換タイプの周波数特性が直交変換や逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、このようにすることにより、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

なお、イントラ予測モードとインター予測モードに基づいて、変換タイプ候補テーブルを選択するようにしてもよい。例えば、イントラ予測モードは、より低周波成分を低次に集めることができる周波特性を有する変換タイプを適用し、インター予測モードには、より高周波成分を低次に集めることができる周波特性を有する変換タイプを適用する。これによって、符号化効率を向上させることができる。

ところで、ある変換タイプの変換行列は（例えばフリップ、転置、符号反転、サンプリング等の操作により）他の変換タイプの変換行列から導出することができる場合もある。したがって、上述のようにインター予測モード（予測の数）に応じて適用する（候補とする）変換タイプを分けることにより、例えば、予測の数が多いインター予測モード用の変換タイプの変換行列を、予測の数が少ないインター予測モード用の変換タイプの変換行列から導出することが可能になる。イントラ予測モードであるかインター予測モードであるかに応じて候補とする変換タイプを分ける場合も同様である。

したがって、このようにすることにより、候補として用意する変換タイプ（変換行列）の数を低減させることができるので、その候補とする変換行列を記憶するルックアップテーブルのサイズの増大を抑制する（サイズを小さくする）ことができる。また、導出可能な変換タイプ同士の間においては、直交変換処理における行列演算を行うための演算回路を共通化することができる。したがって、このようにすることにより、回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃４＞
また、予測精度に関する符号化パラメータとして、例えば、カレントブロックの動きベクトルの画素精度を用いてもよい。例えば、図１に示される表の（項目名の段を除いて）上から５段目の「方法」の欄に示されるように、その動きベクトルの画素精度に基づいて、変換タイプ候補テーブルを選択するようにしてもよい（方法＃４）。

一般的に、動きベクトルの示す位置の精度が細かい程、予測精度は高くなる。例えば、動きベクトルが整数画素精度の場合（動きベクトルが整数位置を示す場合）の方が、動きベクトルが小数画素精度の場合（動きベクトルがサブペル位置を示す場合）よりも残差成分が多くなり、残差信号に含まれる高周波成分が多くなる。そこで、カレントブロックの動きベクトルの画素精度（例えば、動きベクトルの指し示す位置が整数画素位置であるかサブペル位置であるか）に応じて、変換タイプ候補テーブルを選択するようにする。

例えば、動きベクトルが整数画素精度のブロックに対しては、より高周波成分を低次に集めることができる周波数特性を有する変換タイプを適用し、動きベクトルが小数画素精度のブロックに対しては、より低周波成分を低次に集めることができる周波数特性を有する変換タイプを適用するようにする。

このようにすることにより、（使用する変換タイプの周波数特性が直交変換や逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、このようにすることにより、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

なお、ある変換タイプの変換行列は（例えばフリップ、転置、符号反転、サンプリング等の操作により）他の変換タイプの変換行列から導出することができる場合もある。したがって、上述のように動きベクトルの画素精度に応じて適用する（候補とする）変換タイプを分けることにより、例えば、より細かい精度用の変換タイプの変換行列を、より粗い精度用の変換タイプの変換行列から導出することが可能になる。

したがって、このようにすることにより、候補として用意する変換タイプ（変換行列）の数を低減させることができるので、その候補とする変換行列を記憶するルックアップテーブルのサイズの増大を抑制する（サイズを小さくする）ことができる。また、導出可能な変換タイプ同士の間においては、直交変換処理における行列演算を行うための演算回路を共通化することができる。したがって、このようにすることにより、回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜その他＞
上述した各方法（方法＃１乃至方法＃４）は、上述した他の方法（方法＃１乃至方法＃４）と組み合わせて用いることができる。また、上述した各方法（方法＃１乃至方法＃４）を、上述していない他の方法（他の符号化パラメータを用いる方法）と組み合わせて用いるようにしてもよい。すなわち、複数種類の符号化パラメータに基づいて、使用する変換タイプ候補テーブルを選択するようにしてもよい。例えば、ブロックサイズ（方法＃１）とインター予測モード（方法＃３）の両方に基づいて、変換タイプ候補テーブルを選択するようにしてもよい。

また、上述したように変換タイプ候補テーブルの選択に用いる符号化パラメータは任意であり、上述した例に限定されない。

さらに、複数の方法を候補として用意し、その複数の方法の内のいずれかの方法を選択して採用するようにしてもよい。例えば、上述した方法＃１乃至方法＃４、上述していない方法、並びに、複数の方法の組み合わせ等を候補として用意し、その中から最適な方法を選択するようにしてもよい。このようにすることにより、より適切な方法により変換タイプ候補テーブルを選択することができる。したがって、符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。

なお、その場合、復号側においては、符号化側において採用された方法と同一の方法を採用する必要がある。そこで、符号化側において採用した方法を示す情報（識別情報等）を、復号側に伝送する（シグナルする）ようにしてもよい。このようにすることにより、復号側において、より容易に、正しい方法を選択することができる。

＜４．第１の実施の形態＞
＜変換タイプ導出装置（方法＃１）＞
次に、各方法についてより具体的に説明する。まず、方法＃１について説明する。図２は、本技術を適用した画像処理装置の一態様である変換タイプ導出装置の構成の一例を示すブロック図である。図２に示される変換タイプ導出装置１００は、上述した方法＃１により、プライマリ変換や逆プライマリ変換に用いられる変換タイプを導出する装置である。

図２に示されるように、変換タイプ導出装置１００は、Emt制御部１０１、変換セット識別子設定部１０２、変換タイプ候補テーブル選択部１０３、および変換タイプ設定部１０４を有する。

Emt制御部１０１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等の任意の構成を有し、直交変換の変換タイプの適応的な変更（例えば適応プライマリ変換）の制御に関する処理を行う。例えば、Emt制御部１０１は、変換タイプ導出装置１００の外部から入力される変換フラグEmtflag（emt_flagとも称する）を取得する。変換フラグEmtflagは、直交変換の変換タイプを適応的に変更するか否か（例えば適応プライマリ変換を適用するか否か）を示すフラグである。Emt制御部１０１は、入力された変換フラグEmtflagの値に基づいて、変換タイプ導出装置１００の各処理部（例えば、変換セット識別子設定部１０２乃至変換タイプ設定部１０４）を制御し（点線矢印）、直交変換の変換タイプを適応的に変更させたり、させなかったりする。

変換セット識別子設定部１０２は、例えばCPU、ROM、RAM等の任意の構成を有し、変換セット識別子trSetIdxの設定に関する処理を行う。変換セット識別子trSetIdxは、変換セットを識別する識別子である。変換セットは、変換タイプの候補の組み合わせのパタンの集合（グループ）である。詳細については後述するが、変換セットを選択することにより、変換タイプ候補テーブルの中から選択可能な変換タイプの候補の組み合わせを絞り込むことができる。例えば、変換セット識別子設定部１０２は、変換タイプ導出装置１００の外部から入力されるモード情報、ブロックサイズ、色識別子等の各種情報を取得する。変換セット識別子設定部１０２は、これらの情報に基づいて、変換セット識別子trSetIdxを導出（設定）する。変換セット識別子設定部１０２は、設定した変換セット識別子trSetIdxを変換タイプ設定部１０４に供給する。

変換タイプ候補テーブル選択部１０３は、例えばCPU、ROM、RAM等の任意の構成を有し、変換タイプ候補テーブルの選択に関する処理を行う。例えば、変換タイプ候補テーブル選択部１０３は、変換タイプ導出装置１００の外部から入力されるブロックサイズに関する情報を取得する。また、変換タイプ候補テーブル選択部１０３は、変換タイプ候補テーブルＡ１１１と、変換タイプ候補テーブルＢ１１２とを予め記憶している。変換タイプ候補テーブル選択部１０３は、取得したブロックサイズに関する情報（カレントブロックのブロックサイズ）に基づいて、これらの変換タイプ候補テーブルの内、いずれか一方を選択する。変換タイプ候補テーブル選択部１０３は、選択した変換タイプ候補テーブルを変換タイプ設定部１０４に供給する。

例えば、変換タイプ候補テーブルＡ１１１と変換タイプ候補テーブルＢ１１２とは、要素とする変換タイプの候補の周波数特性が互いに異なる。例えば、変換タイプ候補テーブルＡ１１１は、変換タイプ候補テーブルＢ１１２に比べて、より高周波成分を含む残差信号に適した変換タイプを要素として含む。換言するに、変換タイプ候補テーブルＡ１１１は、変換タイプ候補テーブルＢ１１２に比べて、より小さなブロックに適した変換タイプを要素として含む。

変換タイプ候補テーブルＢ１１２は、変換タイプ候補テーブルＡ１１１に比べて、より低周波成分を含む残差信号に適した変換タイプを要素として含む。換言するに、変換タイプ候補テーブルＢ１１２は、変換タイプ候補テーブルＡ１１１に比べて、より大きなブロックに適した変換タイプを要素として含む。

図３のＡに変換タイプ候補テーブルＡ１１１の例を示す。図３のＡに示される例の場合、変換タイプ候補テーブルＡ１１１は、DCT2、DCT4、DST2、およびDST4の４種の変換タイプを要素として含む。また、図３のＢに変換タイプ候補テーブルＢ１１２の例を示す。図３のＢに示される例の場合、変換タイプ候補テーブルＢ１１２は、DCT2、DCT8、DST1、およびDST7の４種の変換タイプを要素として含む。

なお、DST7とDST4が相互に置換可能な変換タイプである。また、DCT8とDCT4が相互に置換可能な変換タイプである。さらに、DST1とDST2が相互に置換可能な変換タイプである。

低次基底ベクトルの周波数特性は、変換タイプDCT4、DST2、およびDST4の方が、変換タイプDCT8、DST1、およびDST7よりも、ハイパスフィルタの特性が強い（ハイパスよりのローパスフィルタである）。また、高次（３次）基底ベクトルの周波数特性は、変換タイプDCT4、DST2、およびDST4の方が、変換タイプDCT8、DST1、およびDST7よりも、ローパスフィルタの特性が強い（ローパスよりのハイパスフィルタである）。つまり、変換タイプDCT4、DST2、およびDST4の方が、変換タイプDCT8、DST1、およびDST7よりも、高周波成分をより低次に集めることができる周波数特性を有する。

そこで、変換タイプ候補テーブル選択部１０３は、カレントブロックのブロックサイズが所定の閾値よりも小さい場合（または閾値以下の場合）、変換タイプ候補テーブルＡ１１１を選択し、カレントブロックのブロックサイズが所定の閾値以上の場合（または閾値よりも大きい場合）、変換タイプ候補テーブルＢ１１２を選択する。

変換タイプ設定部１０４は、例えばCPU、ROM、RAM等の任意の構成を有し、変換タイプの設定に関する処理を行う。例えば、変換タイプ設定部１０４は、変換セット識別子設定部１０２により導出（設定）された変換セット識別子trSetIdxを取得する。また、変換タイプ設定部１０４は、変換タイプ候補テーブル選択部１０３により選択された変換タイプ候補テーブルを取得する。さらに、変換タイプ設定部１０４は、変換タイプ導出装置１００の外部から入力される変換インデックスEmtIdx（emt_idxとも称する）を取得する。また、変換タイプ設定部１０４は、変換タイプ導出装置１００の外部から入力されるプライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを取得する。

図３の例に示されるように、変換タイプ候補テーブルにおいては、変換セット識別子trSetIdxと変換インデックスEmtIdxとに基づいて、変換ペアを選択することができる。この変換ペアは、水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeH）と、垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeV）とにより構成される。

変換セットは、この変換ペアの集合（グループ）であり、図３の例においては、その要素が行方向（図中水平方向）に並べられている。変換セット識別子trSetIdxは、その値（０乃至５）によって、どの行を選択するか（どの変換セットを選択するか）を識別する。つまり、変換セット識別子trSetIdxにより変換セットを指定することにより、選択可能な変換ペア（変換タイプの候補の組み合わせのパタン）が絞り込まれる。

変換インデックスEmtIdxは、このような変換セットのどの要素（変換ペア）を選択するかを識別する識別子である。図３の例の場合、変換インデックスEmtIdxは、その値（０乃至３）によって、どの列を選択するか（どの変換ペアを選択するか）を識別する。

プライマリ水平変換指定フラグpt_hor_flagは、変換ペアの内の、水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeH）を指定するフラグ情報である。プライマリ垂直変換指定フラグpt_ver_flagは、変換ペアの内の、垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeV）を指定するフラグ情報である。

変換タイプ設定部１０４は、変換タイプ候補テーブル選択部１０３により選択された変換タイプ候補テーブルにおいて、変換セット識別子により設定された変換セット識別子trSetIdxと、変換インデックスEmtIdxとにより特定される変換ペアを選択する。そして、変換タイプ設定部１０４は、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを用いて、その変換ペアに含まれる一方の変換タイプの候補を水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeH）として指定し、他方の候補を垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプ（trTypeV）として指定する。変換タイプ設定部１０４は、このように導出（設定）した変換タイプ（trTypeHおよびtrTypeV）を、変換タイプ導出装置１００の外部に出力する。

このようにすることにより、変換タイプ設定部１０４は、カレントブロックのブロックサイズが小さい場合（高周波成分をより多く含む場合）に、カレントブロックのブロックサイズが大きい場合（低周波成分をより多く含む場合）に比べて、高周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT4、DST2、およびDST4等）を候補として、適応的な変換タイプの設定を行うことができる。

換言するに、変換タイプ設定部１０４は、カレントブロックのブロックサイズが大きい場合（低周波成分をより多く含む場合）に、カレントブロックのブロックサイズが小さい場合（高周波成分をより多く含む場合）に比べて、低周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT8、DST1、およびDST7等）を候補として、適応的な変換タイプの設定を行うことができる。

つまり、変換タイプ導出装置１００は、カレントブロックのブロックサイズ（直交変換または逆直交変換の対象のデータの周波数成分の（分布の）特徴）により適した周波数特性を有する変換タイプを導出することができる。したがって、変換タイプ導出装置１００は、その変換タイプを用いた直交変換・逆直交変換を適用した符号化・復号における、（使用する変換タイプの周波数特性が直交変換・逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、変換タイプ導出装置１００は、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

また、この場合、変換タイプ導出装置１００は、ブロックサイズに基づいて容易に上述のような制御（変換タイプ候補テーブルの選択）を行うことができる。つまり、変換タイプ導出装置１００は、より容易に、符号化効率を向上させることができる。

＜変換タイプ設定処理の流れ（方法＃１）＞
この場合の、変換タイプ導出装置１００により実行される変換タイプ設定処理の流れの例を、図４のフローチャートを参照して説明する。

変換タイプ設定処理が開始されると、変換タイプ導出装置１００のEmt制御部１０１は、ステップＳ１０１において、変換フラグEmtflagの値が真（例えば１）であるか否かを判定する。変換フラグEmtflagの値が真であると判定された場合、処理はステップＳ１０２に進む。

ステップＳ１０２において、変換セット識別子設定部１０２は、モード情報、ブロックサイズ、色識別子に基づいて、変換セット識別子trSetIdxを設定する。

ステップＳ１０３において、変換タイプ候補テーブル選択部１０３は、カレントブロックのブロックサイズに基づいて、例えば、以下の式（６）のように、変換タイプ候補テーブルを選択する。式（６）において、tableTrSetToTrTypeは、選択された変換タイプ候補テーブルを示し、curBlockSizeは、カレントブロックのブロックサイズを示し、THはブロックサイズの閾値を示し、tableTrSetToTrTypeAは、変換タイプ候補テーブルＡ１１１を示し、tableTrSetToTrTypeBは、変換タイプ候補テーブルＢ１１２を示す。

ステップＳ１０４において、変換タイプ設定部１０４は、ステップＳ１０３において選択された変換タイプ候補テーブルから、ステップＳ１０２において設定された変換セット識別子trSetIdxおよび変換インデックスEmtIdxにより指定される変換ペアを選択する。また、変換タイプ設定部１０４は、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを用いて、その選択した変換ペアから、水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeHと垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeVとをそれぞれ選択する。つまり、trTypeHおよびtrTypeVは、例えば以下の式（７）のように導出される。

ステップＳ１０４の処理が終了すると、変換タイプ設定処理が終了する。また、ステップＳ１０１において、変換フラグEmtflagの値が偽（例えば０）であると判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、変換タイプ設定部１０４は、例えば以下の式（８）のように、予め定められた所定の変換タイプDefaultTrType（例えばDCT2）を設定する。

ステップＳ１０５の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、符号化効率を向上させることができる。

＜変形例＞
なお、図２においては、変換タイプ候補テーブル選択部１０３が、２つの変換タイプ候補テーブルを記憶し、使用する変換タイプ候補テーブルをその２つの中から選択するように説明したが、変換タイプ候補テーブルの候補の数は任意である。つまり、変換タイプ候補テーブル選択部１０３が、任意の数の変換タイプ候補テーブルを候補として記憶し、使用する変換タイプ候補テーブルをその候補の中から選択するようにしてもよい。例えば、変換タイプ候補テーブル選択部１０３は、候補の数に応じた閾値を用意することにより、カレントブロックのブロックサイズをその閾値によって分類し、ブロックサイズに対応する候補を選択することができる。例えば、候補数を３とする場合、閾値を２つ用意すればよい。

また、変換タイプ候補テーブルの要素とする変換タイプの種類数は任意である。図３のＡには、４種の変換タイプ（DCT2、DST4、DCT4、およびDST2）を要素とする変換タイプ候補テーブルＡ１１１の例が示されているが、この例に限定されない。例えば、変換タイプ候補テーブルＡ１１１が、DST2を除いた３種の変換タイプ（DCT2、DST4、およびDCT4）を要素とするようにしてもよいし、DST2およびDCT4を除いた２種の変換タイプ（DCT2およびDST4）を要素とするようにしてもよい。

同様に、図３のＢには、４種の変換タイプ（DCT2、DST7、DCT8、およびDST1）を要素とする変換タイプ候補テーブルＢ１１２の例が示されているが、この例に限定されない。例えば、変換タイプ候補テーブルＢ１１２が、DST1を除いた３種の変換タイプ（DCT2、DST7、およびDCT8）を要素とするようにしてもよいし、DST1およびDCT8を除いた２種の変換タイプ（DCT2およびDST7）を要素とするようにしてもよい。

また、変換タイプDCT8は、FlipDST7へ置換してもよい。さらに、変換タイプDST4は、FlipDCT4へ置換してもよい。

また、式（６）に示されるカレントブロックのブロックサイズcurBlockSizeの導出方法は、任意である。例えば、以下の式（９）のように導出するようにしてもよい。式（９）において、Widthは、水平方向のブロックサイズ（横幅）を示し、Heightは、垂直方向のブロックサイズ（縦幅）を示す。また、min(A,B)は、ＡとＢとの内小さい方を選択する関数である。つまり、式（９）の場合、カレントブロックの横幅と縦幅の内、小さい方（すなわち短辺のサイズ）がブロックサイズとして採用される。

また、この式（９）の代わりに以下の式（１０）のように対数表現を用いて、カレントブロックのブロックサイズcurBlockSizeを導出するようにしてもよい。

なお、以上においては、水平方向と垂直方向の変換タイプ候補テーブルを、共通のブロックサイズ（例えばブロックの短辺のサイズ）を用いて選択するように説明したが、この例に限定されない。例えば以下の式（１１）のように、カレントブロックの垂直方向および水平方向のそれぞれについて、変換タイプ候補テーブルを、各方向のブロックサイズに基づいて互いに独立に選択するようにしてもよい。

この場合、各方向に好適な変換タイプ候補テーブルから、変換タイプを導出することができるため、より符号化効率を向上させることができる。

また、以上においては、変換タイプの選択にプライマリ水平変換指定フラグpt_hor_flagとプライマリ垂直変換指定フラグpt_ver_flagを用いるように説明したが、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを変換インデックスEmtIdxに含めるようにしてもよい。例えば、以下の式（１２）のように、変換インデックスEmtIdxの下位ビット（0x01）をプライマリ水平変換指定フラグpt_hor_flagとし、変換インデックスEmtIdxの上位ビット（0x10）をプライマリ垂直変換指定フラグpt_ver_flagとしてもよい。

その場合の変換タイプ設定処理の流れの例を図５のフローチャートを参照して説明する。この場合もステップＳ１１１乃至ステップＳ１１３の各処理は、図４のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。ステップＳ１１３の処理が終了すると処理はステップＳ１１４に進む。

ステップＳ１１４において、変換タイプ設定部１０４は、ステップＳ１１３において選択された変換タイプ候補テーブルから、ステップＳ１０２において設定された変換セット識別子trSetIdxと変換インデックスEmtIdxの上位ビットとにより指定される変換タイプを、垂直方向の変換タイプtrTypeVとして選択する。また、変換タイプ設定部１０４は、ステップＳ１１３において選択された変換タイプ候補テーブルから、ステップＳ１０２において設定された変換セット識別子trSetIdxと変換インデックスEmtIdxの下位ビットとにより指定される変換タイプを、垂直方向の変換タイプtrTypeVとして選択する。つまり、trTypeHおよびtrTypeVは、例えば以下の式（１３）のように導出される。

ステップＳ１１４の処理が終了すると、変換タイプ設定処理が終了する。また、ステップＳ１１１において、変換フラグEmtflagの値が偽（例えば０）であると判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５の処理は、図４のステップＳ１０５の処理と同様に実行される。ステップＳ１１５の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、図４の場合と同様に、符号化効率を向上させることができる。

なお、変換タイプ候補テーブルの仕様は任意であり、図３の例に限定されない。例えば、図６のように、変換セット識別子trSetIdxと、プライマリ水平変換指定フラグpt_hor_flagまたはプライマリ垂直変換指定フラグpt_ver_flagとにより、変換タイプが選択されるようにしてもよい。図６のＡは、変換タイプ候補テーブルＡ１１１の例を示し、図６のＢは、変換タイプ候補テーブルＢ１１２の例を示す。

＜５．第２の実施の形態＞
＜変換タイプ導出装置（方法＃２（符号化側））＞
次に、方法＃２について説明する。上述した方法＃２によりプライマリ変換や逆プライマリ変換に用いられる変換タイプを導出する場合の、変換タイプ導出装置１００の主な構成例を図７に示す。この場合の変換タイプ導出装置１００は、符号化側における適応直交変換において使用される変換タイプを導出する装置であり、RDコストに基づいて変換タイプ候補テーブルを選択する。

図７に示されるように、この場合の変換タイプ導出装置１００は、図２の構成に加え、RDコスト算出部１２１および変換タイプ候補テーブル切り替えフラグ設定部１２２を有する。この場合、Emt制御部１０１は、変換セット識別子設定部１０２乃至変換タイプ設定部１０４に加え、RDコスト算出部１２１および変換タイプ候補テーブル切り替えフラグ設定部１２２も制御し（点線矢印）、直交変換の変換タイプを適応的に変更させたり、させなかったりする。

RDコスト算出部１２１は、例えばCPU、ROM、RAM等の任意の構成を有し、RDコストの導出（算出）に関する処理を行う。例えば、RDコスト算出部１２１は、変換タイプ候補テーブル選択部１０３から全ての変換タイプ候補テーブルを取得し、各変換タイプを選択した場合のRDコストを導出（算出）する。RDコスト算出部１２１は、算出した各変換タイプに対応するRDコストを変換タイプ候補テーブル選択部１０３に供給する。

変換タイプ候補テーブル選択部１０３は、RDコスト算出部１２１により算出されたRDコストに基づいて、変換タイプ候補テーブルを選択する。例えば、変換タイプ候補テーブル選択部１０３は、RDコストが最小となる変換タイプ候補テーブルを選択する。変換タイプ候補テーブル選択部１０３は、選択した変換タイプ候補テーブルを変換タイプ設定部１０４および変換タイプ候補テーブル切り替えフラグ設定部１２２に供給する。

変換タイプ候補テーブル切り替えフラグ設定部１２２は、例えばCPU、ROM、RAM等の任意の構成を有し、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagの設定に関する処理を行う。変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagは、その値によって、変換タイプ候補テーブル選択部１０３が選択した変換タイプ候補テーブルを示す情報である。例えば、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagが０の場合、変換タイプ候補テーブルＡ１１１が選択されたことを示し、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagが１の場合、変換タイプ候補テーブルＢ１１２が選択されたことを示す。変換タイプ候補テーブル切り替えフラグ設定部１２２は、設定した変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを変換タイプ導出装置１００の外部に出力する。この変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagは、復号側に提供される。

このようにすることにより、変換タイプ導出装置１００は、RDコストの小さい変換タイプを要素とする変換タイプ候補テーブルを用いて変換タイプを導出することができる。つまり、変換タイプ導出装置１００は、RDコストの小さい変換タイプを導出することができる。したがって、変換タイプ導出装置１００は、その変換タイプを用いた直交変換を適用した符号化における、（使用する変換タイプの周波数特性が直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、変換タイプ導出装置１００は、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

また、上述したように、変換タイプ導出装置１００は、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを設定し、復号側に提供するので、符号化側による変換タイプの選択についての明示的な制御が可能になる。

＜変換タイプ設定処理の流れ（方法＃２（符号化側））＞
この場合の、変換タイプ導出装置１００により実行される変換タイプ設定処理の流れの例を、図８のフローチャートを参照して説明する。

変換タイプ設定処理が開始されると、変換タイプ導出装置１００のEmt制御部１０１は、ステップＳ１２１において、変換フラグEmtflagの値が真（例えば１）であるか否かを判定する。変換フラグEmtflagの値が真であると判定された場合、処理はステップＳ１２２に進む。

ステップＳ１２２において、RDコスト算出部１２１は、各変換タイプ候補テーブルを設定した場合の（すなわち、各変換タイプの）RDコストを算出する。

ステップＳ１２３において、変換セット識別子設定部１０２は、モード情報、ブロックサイズ、色識別子に基づいて、変換セット識別子trSetIdxを設定する。

ステップＳ１２４において、変換タイプ候補テーブル選択部１０３は、ステップＳ１２２において算出されたRDコストに基づいて、変換タイプ候補テーブルを選択する。

ステップＳ１２５において、変換タイプ設定部１０４は、ステップＳ１２４において選択された変換タイプ候補テーブルから、ステップＳ１２３において設定された変換セット識別子trSetIdxおよび変換インデックスEmtIdxにより指定される変換ペアを選択する。また、変換タイプ設定部１０４は、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを用いて、その選択した変換ペアから、水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeHと垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeVとをそれぞれ選択する。つまり、trTypeHおよびtrTypeVは、例えば上述の式（７）のように導出される。

ステップＳ１２６において、変換タイプ候補テーブル切り替えフラグ設定部１２２は、ステップＳ１２４において選択された変換タイプ候補テーブルを示す値の変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを設定する。

ステップＳ１２７において、変換タイプ候補テーブル切り替えフラグ設定部１２２は、ステップＳ１２６において設定した変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを復号側に送信する。

ステップＳ１２７の処理が終了すると、変換タイプ設定処理が終了する。また、ステップＳ１２１において、変換フラグEmtflagの値が偽（例えば０）であると判定された場合、処理はステップＳ１２８に進む。

ステップＳ１２８において、変換タイプ設定部１０４は、例えば上述の式（８）のように、予め定められた所定の変換タイプDefaultTrType（例えばDCT2）を設定する。

ステップＳ１２８の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、符号化効率を向上させることができる。

＜変換タイプ導出装置（方法＃２（復号側））＞
上述した方法＃２によりプライマリ変換や逆プライマリ変換に用いられる変換タイプを導出する場合の、変換タイプ導出装置１００の主な構成例を図９に示す。この場合の変換タイプ導出装置１００は、復号側における適応直交変換において使用される変換タイプを導出する装置であり、符号化側から供給される変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて変換タイプ候補テーブルを選択する。この変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagは、符号化の際に選択された変換タイプ候補テーブルを識別する識別情報である。

図９に示されるように、この場合の変換タイプ導出装置１００は、図２の場合と同様の構成を有する。

ただし、この場合、変換タイプ候補テーブル選択部１０３は、変換タイプ導出装置１００の外部から入力される変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを取得し、その変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて、変換タイプ候補テーブルを選択する（変換タイプ候補テーブルＡ１１１または変換タイプ候補テーブルＢ１１２を選択する）。変換タイプ候補テーブル選択部１０３は、選択した変換タイプ候補テーブルを変換タイプ設定部１０４に供給する。

このようにすることにより、変換タイプ候補テーブル選択部１０３は、符号化の際に選択された変換タイプ候補テーブル（図７の変換タイプ候補テーブル選択部１０３が選択した変換タイプ候補テーブル）と同一の変換タイプ候補テーブルを選択することができる。

したがって、変換タイプ導出装置１００は、符号化の際に選択された変換タイプ（図７の変換タイプ導出装置１００が選択した変換タイプ）と同一の変換タイプを選択することができる。つまり、変換タイプ導出装置１００は、RDコストの小さい変換タイプを導出することができる。したがって、変換タイプ導出装置１００は、その変換タイプを用いた逆直交変換を適用した復号における、（使用する変換タイプの周波数特性が逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、変換タイプ導出装置１００は、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

また、上述したように、この場合の変換タイプ導出装置１００は、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて変換タイプ候補テーブルを選択すればよいので、より容易に、変換タイプ候補テーブルの選択を行うことができる。

＜変換タイプ設定処理の流れ（方法＃２（復号側））＞
この場合の、変換タイプ導出装置１００により実行される変換タイプ設定処理の流れの例を、図１０のフローチャートを参照して説明する。

変換タイプ設定処理が開始されると、変換タイプ導出装置１００の変換タイプ候補テーブル選択部１０３は、ステップＳ１４１において、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを取得する。

ステップＳ１４２において、Emt制御部１０１は、変換フラグEmtflagの値が真（例えば１）であるか否かを判定する。変換フラグEmtflagの値が真であると判定された場合、処理はステップＳ１４３に進む。

ステップＳ１４３において、変換セット識別子設定部１０２は、モード情報、ブロックサイズ、色識別子に基づいて、変換セット識別子trSetIdxを設定する。

ステップＳ１４４において、変換タイプ候補テーブル選択部１０３は、ステップＳ１４１において取得した変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて、変換タイプ候補テーブルを選択する（変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagの値が示す変換タイプ候補テーブルを選択する）。

ステップＳ１４５において、変換タイプ設定部１０４は、ステップＳ１４４において選択された変換タイプ候補テーブルから、ステップＳ１４３において設定された変換セット識別子trSetIdxおよび変換インデックスEmtIdxにより指定される変換ペアを選択する。また、変換タイプ設定部１０４は、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagを用いて、その選択した変換ペアから、水平方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeHと垂直方向の１次元直交変換（または逆１次元直交変換）用の変換タイプtrTypeVとをそれぞれ選択する。つまり、trTypeHおよびtrTypeVは、例えば上述の式（７）のように導出される。

ステップＳ１４５の処理が終了すると、変換タイプ設定処理が終了する。また、ステップＳ１４２において、変換フラグEmtflagの値が偽（例えば０）であると判定された場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、変換タイプ設定部１０４は、例えば上述の式（８）のように、予め定められた所定の変換タイプDefaultTrType（例えばDCT2）を設定する。

ステップＳ１４６の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、符号化効率を向上させることができる。

なお、＜４．第１の実施の形態＞の＜変形例＞において説明した各種変形例は、本実施の形態の場合も同様に適用することができる。

＜６．第３の実施の形態＞
＜変換タイプ導出装置（方法＃３）＞
次に、方法＃３について説明する。上述した方法＃３によりプライマリ変換や逆プライマリ変換に用いられる変換タイプを導出する場合の、変換タイプ導出装置１００の主な構成例を図１１に示す。この場合の変換タイプ導出装置１００は、インター予測モード（例えば単予測であるか双予測であるか等）に基づいて変換タイプ候補テーブルを選択する。

図１１に示されるように、この場合の変換タイプ導出装置１００は、図２の場合と同様の構成を有する。

ただし、この場合、変換タイプ候補テーブル選択部１０３は、変換タイプ導出装置１００の外部から入力されるインター予測モードを示す情報を取得し、そのインター予測モード（例えば、単予測であるか双予測であるか等）に基づいて、変換タイプ候補テーブルを選択する（変換タイプ候補テーブルＡ１１１または変換タイプ候補テーブルＢ１１２を選択する）。変換タイプ候補テーブル選択部１０３は、選択した変換タイプ候補テーブルを変換タイプ設定部１０４に供給する。

このようにすることにより、変換タイプ設定部１０４は、例えば単予測の場合（高周波成分をより多く含む場合）に、双予測の場合（低周波成分をより多く含む場合）に比べて、高周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT4、DST2、およびDST4等）を候補として、適応的な変換タイプの設定を行うことができる。

換言するに、変換タイプ設定部１０４は、双予測の場合（低周波成分をより多く含む場合）に、単予測の場合（高周波成分をより多く含む場合）に比べて、低周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT8、DST1、およびDST7等）を候補として、適応的な変換タイプの設定を行うことができる。

つまり、変換タイプ導出装置１００は、インター予測モード（直交変換または逆直交変換の対象のデータの周波数成分の（分布の）特徴）により適した周波数特性を有する変換タイプを導出することができる。したがって、変換タイプ導出装置１００は、その変換タイプを用いた直交変換・逆直交変換を適用した符号化・復号における、（使用する変換タイプの周波数特性が直交変換・逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、変換タイプ導出装置１００は、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

また、この場合、変換タイプ導出装置１００は、インター予測モードに基づいて容易に上述のような制御（変換タイプ候補テーブルの選択）を行うことができる。つまり、変換タイプ導出装置１００は、より容易に、符号化効率を向上させることができる。

＜変換タイプ設定処理の流れ（方法＃３）＞
この場合の、変換タイプ導出装置１００により実行される変換タイプ設定処理の流れの例を、図１２のフローチャートを参照して説明する。

図１２のステップＳ１６１およびステップＳ１６２の各処理は、図４のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。

ステップＳ１６３において、変換タイプ候補テーブル選択部１０３は、インター予測モードに基づいて、変換タイプ候補テーブルを選択する。

ステップＳ１６４およびステップＳ１６５の各処理は、図４のステップＳ１０４およびステップＳ１０５の各処理と同様に実行される。

ステップＳ１６４またはステップＳ１６５の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、符号化効率を向上させることができる。

なお、＜４．第１の実施の形態＞の＜変形例＞において説明した各種変形例は、本実施の形態の場合も同様に適用することができる。

＜７．第４の実施の形態＞
＜変換タイプ導出装置（方法＃４）＞
次に、方法＃４について説明する。上述した方法＃４によりプライマリ変換や逆プライマリ変換に用いられる変換タイプを導出する場合の、変換タイプ導出装置１００の主な構成例を図１３に示す。この場合の変換タイプ導出装置１００は、動きベクトルの画素精度（例えば動きベクトルが整数位置を示すか、サブペル位置を示すか等）に基づいて変換タイプ候補テーブルを選択する。

図１３に示されるように、この場合の変換タイプ導出装置１００は、図２の場合と同様の構成を有する。

ただし、この場合、変換タイプ候補テーブル選択部１０３は、変換タイプ導出装置１００の外部から入力される動きベクトルの画素精度を示す情報を取得し、その動きベクトルの画素精度（例えば、動きベクトルの指し示す位置が整数位置であるかサブペル位置であるか等）に基づいて、変換タイプ候補テーブルを選択する（変換タイプ候補テーブルＡ１１１または変換タイプ候補テーブルＢ１１２を選択する）。変換タイプ候補テーブル選択部１０３は、選択した変換タイプ候補テーブルを変換タイプ設定部１０４に供給する。

このようにすることにより、変換タイプ設定部１０４は、例えば動きベクトルの指し示す位置が整数位置である場合（高周波成分をより多く含む場合）に、動きベクトルの指し示す位置がサブペル位置である場合（低周波成分をより多く含む場合）に比べて、高周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT4、DST2、およびDST4等）を候補として、適応的な変換タイプの設定を行うことができる。

換言するに、変換タイプ設定部１０４は、動きベクトルの指し示す位置がサブペル位置である場合（低周波成分をより多く含む場合）に、動きベクトルの指し示す位置が整数位置である場合（高周波成分をより多く含む場合）に比べて、低周波成分をより低次に集めることができる周波数特性を有する変換タイプ（例えば、DCT8、DST1、およびDST7等）を候補として、適応的な変換タイプの設定を行うことができる。

つまり、変換タイプ導出装置１００は、動きベクトルの画素精度（直交変換または逆直交変換の対象のデータの周波数成分の（分布の）特徴）により適した周波数特性を有する変換タイプを導出することができる。したがって、変換タイプ導出装置１００は、その変換タイプを用いた直交変換・逆直交変換を適用した符号化・復号における、（使用する変換タイプの周波数特性が直交変換・逆直交変換の対象となるデータの周波数成分の特徴に適していないことによる）符号化効率の低減を抑制することができる。換言するに、変換タイプ導出装置１００は、非特許文献１や非特許文献２に記載のような、候補となる変換タイプの周波数特性を考慮せずに変換タイプの選択を行う方法の場合よりも、符号化効率を向上させることができる。

また、この場合、変換タイプ導出装置１００は、動きベクトルの画素精度に基づいて容易に上述のような制御（変換タイプ候補テーブルの選択）を行うことができる。つまり、変換タイプ導出装置１００は、より容易に、符号化効率を向上させることができる。

＜変換タイプ設定処理の流れ（方法＃４）＞
この場合の、変換タイプ導出装置１００により実行される変換タイプ設定処理の流れの例を、図１４のフローチャートを参照して説明する。

図１４のステップＳ１７１およびステップＳ１７２の各処理は、図４のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。

ステップＳ１７３において、変換タイプ候補テーブル選択部１０３は、動きベクトルの画素精度に基づいて、変換タイプ候補テーブルを選択する。

ステップＳ１７４およびステップＳ１７５の各処理は、図４のステップＳ１０４およびステップＳ１０５の各処理と同様に実行される。

ステップＳ１７４またはステップＳ１７５の処理が終了すると、変換タイプ設定処理が終了する。以上のように各処理を実行することにより、符号化効率を向上させることができる。

なお、＜４．第１の実施の形態＞の＜変形例＞において説明した各種変形例は、本実施の形態の場合も同様に適用することができる。

＜８．第５の実施の形態＞
＜画像符号化装置＞
なお、本技術は、任意の構成（装置、デバイス、システム等）に適用することができ、上述の変換タイプ導出装置１００の例に限定されない。例えば、直交変換や逆直交変換を用いて画像を符号化する画像符号化装置に本技術を適用することもできる。本実施の形態においては、そのような画像符号化装置に本技術を適用する場合について説明する。

図１５は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１５に示される画像符号化装置２００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置２００は、非特許文献１乃至非特許文献４に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。

なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、画像符号化装置２００において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像符号化装置２００内の処理部等を説明する他の図においても同様である。

図１５に示されるように画像符号化装置２００は、制御部２０１、並べ替えバッファ２１１、演算部２１２、直交変換部２１３、量子化部２１４、符号化部２１５、蓄積バッファ２１６、逆量子化部２１７、逆直交変換部２１８、演算部２１９、インループフィルタ部２２０、フレームメモリ２２１、予測部２２２、およびレート制御部２２３を有する。

＜制御部＞
制御部２０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ２１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部２０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。

これらの符号化パラメータの詳細については後述する。制御部２０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。

ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、符号化部２１５と予測部２２２とに供給される。変換情報Tinfoは、符号化部２１５、直交変換部２１３、量子化部２１４、逆量子化部２１７、および逆直交変換部２１８に供給される。フィルタ情報Finfoは、インループフィルタ部２２０に供給される。

＜直交変換・逆直交変換の制御＞
なお、制御部２０１は、直交変換部２１３による直交変換や逆直交変換部２１８による逆直交変換の制御に関する情報を設定したり、導出したりする。制御部２０１は、そのようにして得られた情報を直交変換部２１３や逆直交変換部２１８に供給することにより、直交変換部２１３により行われる直交変換や、逆直交変換部２１８により行われる逆直交変換を制御する。

＜並べ替えバッファ＞
画像符号化装置２００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ２１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ２１１は、制御部２０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ２１１は、処理後の各入力画像を演算部２１２に供給する。また、並べ替えバッファ２１１は、その各入力画像（元画像）を、予測部２２２やインループフィルタ部２２０にも供給する。

＜演算部＞
演算部２１２は、処理単位のブロックに対応する画像I、および予測部２２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式（１４）に示されるように減算して、予測残差Dを導出し、それを直交変換部２１３に供給する。

＜直交変換部＞
直交変換部２１３は、演算部２１２から供給される予測残差Dと、制御部２０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差Dに対して直交変換を行い、変換係数Coeffを導出する。なお、直交変換部２１３は、直交変換のタイプ（変換係数）を適応的に選択する適応直交変換（AMT）を行うことができる。直交変換部２１３は、その得られた変換係数Coeffを量子化部２１４に供給する。

＜量子化部＞
量子化部２１４は、直交変換部２１３から供給される変換係数Coeffと、制御部２０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部２２３により制御される。量子化部２１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数レベルlevelを、符号化部２１５および逆量子化部２１７に供給する。

＜符号化部＞
符号化部２１５は、量子化部２１４から供給された量子化変換係数レベルlevelと、制御部２０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部２２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部２２２から供給される最適な予測モードに関する情報とを入力とする。符号化部２１５は、量子化変換係数レベルlevelを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。

また、符号化部２１５は、その量子化変換係数レベルlevelから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。

さらに、符号化部２１５は、インループフィルタ部２２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部２２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部２１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。

また、符号化部２１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部２１５は、その符号化データを蓄積バッファ２１６に供給する。

＜蓄積バッファ＞
蓄積バッファ２１６は、符号化部２１５において得られた符号化データを、一時的に保持する。蓄積バッファ２１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置２００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ２１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。

＜逆量子化部＞
逆量子化部２１７は、逆量子化に関する処理を行う。例えば、逆量子化部２１７は、量子化部２１４から供給される量子化変換係数レベルlevelと、制御部２０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部２１４において行われる量子化の逆処理である。逆量子化部２１７は、このような逆量子化により得られた変換係数Coeff_IQを、逆直交変換部２１８に供給する。

＜逆直交変換部＞
逆直交変換部２１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部２１８は、逆量子化部２１７から供給される変換係数Coeff_IQと、制御部２０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換を行い、予測残差D'を導出する。なお、この逆直交変換は、直交変換部２１３において行われる直交変換の逆処理である。つまり、逆直交変換部２１８は、逆直交変換のタイプ（変換係数）を適応的に選択する適応逆直交変換（AMT）を行うことができる。

逆直交変換部２１８は、このような逆直交変換により得られた予測残差D'を演算部２１９に供給する。なお、逆直交変換部２１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部２１８については、復号側について行う説明（後述する）を適用することができる。

＜演算部＞
演算部２１９は、逆直交変換部２１８から供給される予測残差D'と、予測部２２２から供給される予測画像Pとを入力とする。演算部２１９は、その予測残差D'と、その予測残差D'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部２１９は、導出した局所復号画像Rlocalをインループフィルタ部２２０およびフレームメモリ２２１に供給する。

＜インループフィルタ部＞
インループフィルタ部２２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部２２０は、演算部２１９から供給される局所復号画像Rlocalと、制御部２０１から供給されるフィルタ情報Finfoと、並べ替えバッファ２１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部２２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部２２０に入力されるようにしてもよい。

インループフィルタ部２２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部２２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。

例えば、インループフィルタ部２２０は、非特許文献１に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

もちろん、インループフィルタ部２２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部２２０がウィーナーフィルタ等を適用するようにしてもよい。

インループフィルタ部２２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ２２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部２２０は、そのフィルタに関する情報を符号化部２１５に供給する。

＜フレームメモリ＞
フレームメモリ２２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ２２１は、演算部２１９から供給される局所復号画像Rlocalや、インループフィルタ部２２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ２２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ２２１内のバッファへ格納する）。フレームメモリ２２１は、予測部２２２の要求に応じて、その復号画像R（またはその一部）を予測部２２２に供給する。

＜予測部＞
予測部２２２は、予測画像の生成に関する処理を行う。例えば、予測部２２２は、制御部２０１から供給される予測モード情報Pinfoと、並べ替えバッファ２１１から供給される入力画像（元画像）と、フレームメモリ２２１から読み出す復号画像R（またはその一部）を入力とする。予測部２２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部２２２は、生成した予測画像Pを演算部２１２および演算部２１９に供給する。また、予測部２２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部２１５に供給する。

＜レート制御部＞
レート制御部２２３は、レート制御に関する処理を行う。例えば、レート制御部２２３は、蓄積バッファ２１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部２１４の量子化動作のレートを制御する。

＜直交変換部の詳細＞
図１６は、図１５の直交変換部２１３の主な構成例を示すブロック図である。図１６に示されるように、直交変換部２１３は、プライマリ変換部２６１およびセカンダリ変換部２６２を有する。

プライマリ変換部２６１は、例えば直交変換等の所定の変換処理であるプライマリ変換に関する処理を行うように構成される。例えば、プライマリ変換部２６１は、予測残差Dおよび変換情報Tinfo（水平変換タイプインデックスTrTypeHおよび垂直変換タイプインデックスTrTypeV等）を入力とする。

プライマリ変換部２６１は、水平変換タイプインデックスTrTypeHに対応する変換行列と、垂直変換タイプインデックスTrTypeVに対応する変換行列とを用いて、予測残差Dに対するプライマリ変換を行い、プライマリ変換後の変換係数Coeff_Pを導出する。プライマリ変換部２６１は、導出した変換係数Coeff_Pをセカンダリ変換部２６２に供給する。

図１６に示されるように、プライマリ変換部２６１は、プライマリ水平変換部２７１およびプライマリ垂直変換部２７２を有する。

プライマリ水平変換部２７１は、水平方向の１次元直交変換であるプライマリ水平変換に関する処理を行うように構成される。例えば、プライマリ水平変換部２７１は、予測残差Dおよび変換情報Tinfo（水平変換タイプインデックスTrTypeH等）を入力とする。プライマリ水平変換部２７１は、水平変換タイプインデックスTrTypeHに対応する変換行列を用いて、予測残差Dに対するプライマリ水平変換を行う。プライマリ水平変換部２７１は、プライマリ水平変換後の変換係数をプライマリ垂直変換部２７２に供給する。

プライマリ垂直変換部２７２は、垂直方向の１次元直交変換であるプライマリ垂直変換に関する処理を行うように構成される。例えば、プライマリ垂直変換部２７２は、プライマリ水平変換後の変換係数および変換情報Tinfo（垂直変換タイプインデックスTrTypeV等）を入力とする。プライマリ垂直変換部２７２は、垂直変換タイプインデックスTrTypeVに対応する変換行列を用いて、プライマリ水平変換後の変換係数に対するプライマリ垂直変換を行う。プライマリ垂直変換部２７２は、プライマリ垂直変換後の変換係数（つまり、プライマリ変換後の変換係数Coeff_P）をセカンダリ変換部２６２に供給する。

セカンダリ変換部２６２は、例えば直交変換等の所定の変換処理であるセカンダリ変換に関する処理を行うように構成される。例えば、セカンダリ変換部２６２は、変換係数Coeff_Pおよび変換情報Tinfoを入力とする。セカンダリ変換部２６２は、変換情報Tinfoに基づいて、変換係数Coeff_Pに対するセカンダリ変換を行い、セカンダリ変換後の変換係数Coeffを導出する。セカンダリ変換部２６２は、その変換係数Coeffを直交変換部２１３の外部に出力する（量子化部２１４に供給する）。

なお、直交変換部２１３においては、プライマリ変換部２６１によるプライマリ変換、若しくは、セカンダリ変換部２６２によるセカンダリ変換、またはその両方を、スキップする（省略する）ことができる。また、プライマリ水平変換部２７１によるプライマリ水平変換をスキップする（省略する）ことができるようにしてもよい。同様に、プライマリ垂直変換部２７２によるプライマリ垂直変換をスキップする（省略する）ことができるようにしてもよい。

＜プライマリ水平変換部＞
図１７は、図１６のプライマリ水平変換部２７１の主な構成例を示すブロック図である。図１７に示されるように、プライマリ水平変換部２７１は、変換行列導出部２８１、行列演算部２８２、スケーリング部２８３、およびクリップ部２８４を有する。

変換行列導出部２８１は、少なくとも、プライマリ水平変換用の変換行列T_H（水平方向の１次元直交変換用の変換行列T_H）の導出に関する処理を行うのに必要な構成を有する。例えば、変換行列導出部２８１は、水平変換タイプインデックスTrTypeHと、変換ブロックのサイズに関する情報を入力とする。変換行列導出部２８１は、その水平変換タイプインデックスTrTypeHに対応する、変換ブロックと同サイズの、プライマリ水平変換用の変換行列T_Hを導出する。変換行列導出部２８１は、その変換行列T_Hを行列演算部２８２に供給する。

行列演算部２８２は、少なくとも、行列演算に関する処理を行うのに必要な構成を有する。例えば、行列演算部２８２は、変換行列導出部２８１から供給される変換行列T_Hと入力データX_in（すなわち予測残差Dの変換ブロック）とを入力とする。行列演算部２８２は、その変換行列導出部２８１から供給される変換行列T_Hを用いて、入力データX_in（すなわち予測残差Dの変換ブロック）に対する水平方向の１次元直交変換を行い、中間データY1を得る。この演算は以下の式（１５）のように行列式で表すことができる。

行列演算部２８２は、その中間データY1をスケーリング部２８３に供給する。

スケーリング部２８３は、その中間データY1の各i行j列成分の係数Y1[i,j]を所定のシフト量S_Hでスケーリングし、中間データY2を得る。このスケーリングは、以下の式（１６）のように表すことができる。以降、ある２次元行列（２次元配列）Xのi行j列成分（(i,j)成分）をX[i,j]と表記する。

スケーリング部２８３は、その中間データY2をクリップ部２８４に供給する。

クリップ部２８４は、その中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、プライマリ水平変換後の変換係数）を導出する。この処理は、以下の式（１７）のように表すことができる。

クリップ部２８４は、その出力データX_out（プライマリ水平変換後の変換係数）をプライマリ水平変換部２７１の外部に出力する（プライマリ垂直変換部２７２に供給する）。

＜変換行列導出部＞
図１８は、図１７の変換行列導出部２８１の主な構成例を示すブロック図である。図１８に示されるように、変換行列導出部２８１は、変換行列LUT２９１、フリップ部２９２、および転置部２９３を有する。なお、図１８においては、データの授受を示す矢印を省略しているが、変換行列導出部２８１は、任意の処理部（処理ブロック）間で任意のデータを授受することができる。

変換行列LUT２９１は、水平変換タイプインデックスTrTypeHおよび変換ブロックのサイズNに対応する変換行列を保持（格納）するためのルックアップテーブルである。変換行列LUT２９１は、水平変換タイプインデックスTrTypeHおよび変換ブロックのサイズNが指定されると、それらに対応する変換行列を選択し、出力する。この導出例の場合、変換行列LUT２９１は、その変換行列をベース変換行列T_baseとしてフリップ部２９２若しくは転置部２９３、または両方に供給する。

フリップ部２９２は、入力されるN行N列の変換行列Tをフリップし、フリップ後の変換行列T_flipを出力する。この導出例の場合、フリップ部２９２は、変換行列LUT２９１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを行方向（水平方向）にフリップして、フリップ後の変換行列T_flipを、変換行列T_Hとして、変換行列導出部２８１の外部に出力する（行列演算部２８２に供給する）。

転置部２９３は、入力されるN行N列の変換行列Tを転置し、転置後の変換行列T_transposeを出力する。この導出例の場合、転置部２９３は、変換行列LUT２９１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを転置して、転置後の変換行列T_transposeを、変換行列T_Hとして、変換行列導出部２８１の外部に出力する（行列演算部２８２に供給する）。

＜プライマリ垂直変換部＞
図１９は、図１６のプライマリ垂直変換部２７２の主な構成例を示すブロック図である。図１９に示されるように、プライマリ垂直変換部２７２は、変換行列導出部３０１、行列演算部３０２、スケーリング部３０３、およびクリップ部３０４を有する。

変換行列導出部３０１は、少なくとも、プライマリ垂直変換用の変換行列T_V（垂直方向の１次元直交変換用の変換行列T_V）の導出に関する処理を行うのに必要な構成を有する。例えば、変換行列導出部３０１は、垂直変換タイプインデックスTrTypeVと、変換ブロックのサイズに関する情報を入力とする。変換行列導出部３０１は、その垂直変換タイプインデックスTrTypeVに対応する、変換ブロックと同サイズの、プライマリ垂直変換用の変換行列T_Vを導出する。変換行列導出部３０１は、その変換行列T_Vを行列演算部３０２に供給する。

行列演算部３０２は、少なくとも、行列演算に関する処理を行うのに必要な構成を有する。例えば、行列演算部３０２は、変換行列導出部３０１から供給される変換行列T_Vと入力データX_inとを入力とする。例えば、行列演算部３０２は、その変換行列導出部３０１から供給される変換行列T_Vを用いて、入力データX_in（すなわちプライマリ水平変換後の変換係数の変換ブロック）に対する垂直方向の１次元直交変換を行い、中間データY1を得る。この演算は以下の式（１８）のように行列式で表すことができる。

行列演算部３０２は、その中間データY1をスケーリング部３０３に供給する。

スケーリング部３０３は、その中間データY1の各i行j列成分の係数Y1[i,j]を所定のシフト量S_Vでスケーリングし、中間データY2を得る。このスケーリングは、以下の式（１９）のように表すことができる。

スケーリング部３０３は、その中間データY2をクリップ部３０４に供給する。

クリップ部３０４は、その中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、プライマリ垂直変換後の変換係数）を導出する。この処理は、以下の式（２０）のように表すことができる。

クリップ部３０４は、その出力データX_out（プライマリ垂直変換後の変換係数）を、プライマリ変換後の変換係数Coeff_Pとして、プライマリ垂直変換部２７２の外部に出力する（セカンダリ変換部２６２に供給する）。

＜変換行列導出部＞
図２０は、図１９の変換行列導出部３０１の主な構成例を示すブロック図である。図２０に示されるように、変換行列導出部３０１は、変換行列LUT３１１、フリップ部３１２、および転置部３１３を有する。なお、図２０においては、データの授受を示す矢印を省略しているが、変換行列導出部３０１は、任意の処理部（処理ブロック）間で任意のデータを授受することができる。

変換行列LUT３１１は、垂直変換タイプインデックスTrTypeVおよび変換ブロックのサイズNに対応する変換行列を保持（格納）するためのルックアップテーブルである。変換行列LUT３１１は、垂直変換タイプインデックスTrTypeIdxVおよび変換ブロックのサイズNが指定されると、それらに対応する変換行列を選択し、出力する。この導出例の場合、変換行列LUT３１１は、その変換行列をベース変換行列T_baseとしてフリップ部３１２若しくは転置部３１３、または両方に供給する。

フリップ部３１２は、入力されるN行N列の変換行列Tをフリップし、フリップ後の変換行列T_flipを出力する。この導出例の場合、フリップ部３１２は、変換行列LUT３１１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを行方向（水平方向）にフリップして、フリップ後の変換行列T_flipを、変換行列T_Vとして、変換行列導出部３０１の外部に出力する（行列演算部３０２に供給する）。

転置部３１３は、入力されるN行N列の変換行列Tを転置し、転置後の変換行列T_transposeを出力する。この導出例の場合、転置部３１３は、変換行列LUT３１１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを転置して、転置後の変換行列T_transposeを、変換行列T_Vとして、変換行列導出部３０１の外部に出力する（行列演算部３０２に供給する）。

＜画像符号化処理の流れ＞
次に、以上のような構成の画像符号化装置２００により実行される各処理の流れについて説明する。最初に、図２１のフローチャートを参照して、画像符号化処理の流れの例を説明する。

画像符号化処理が開始されると、ステップＳ２０１において、並べ替えバッファ２１１は、制御部２０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。

ステップＳ２０２において、制御部２０１は、並べ替えバッファ２１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。

ステップＳ２０３において、制御部２０１は、並べ替えバッファ２１１が保持する入力画像についての符号化パラメータを決定（設定）する。

ステップＳ２０４において、制御部２０１は、直交変換制御処理を行い、直交変換の制御に関する処理を行う。

ステップＳ２０５において、予測部２２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部２２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。

ステップＳ２０６において、演算部２１２は、入力画像と、ステップＳ２０５の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部２１２は、入力画像と予測画像との予測残差Dを生成する。このようにして求められた予測残差Dは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ２０７において、直交変換部２１３は、ステップＳ２０４において行われた制御に従って、ステップＳ２０６の処理により生成された予測残差Dに対する直交変換処理を行い、変換係数Coeffを導出する。

ステップＳ２０８において、量子化部２１４は、制御部２０１により算出された量子化パラメータを用いる等して、ステップＳ２０７の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。

ステップＳ２０９において、逆量子化部２１７は、ステップＳ２０８の処理により生成された量子化変換係数レベルlevelを、そのステップＳ２０８の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。

ステップＳ２１０において、逆直交変換部２１８は、ステップＳ２０４において行われた制御に従って、ステップＳ２０９の処理により得られた変換係数Coeff_IQを、ステップＳ２０７の直交変換処理に対応する方法で逆直交変換し、予測残差D'を導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理（後述する）と同様であるので、このステップＳ２１０の逆直交変換処理については、復号側について行う説明（後述する）を適用することができる。

ステップＳ２１１において、演算部２１９は、ステップＳ２１０の処理により導出された予測残差D'に、ステップＳ２０５の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。

ステップＳ２１２において、インループフィルタ部２２０は、ステップＳ２１１の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。

ステップＳ２１３において、フレームメモリ２２１は、ステップＳ２１１の処理により導出された、局所的に復号された復号画像や、ステップＳ２１２においてフィルタ処理された、局所的に復号された復号画像を記憶する。

ステップＳ２１４において、符号化部２１５は、ステップＳ２０８の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部２１５は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部２１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部２１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、その残差情報RInfoを符号化する。

ステップＳ２１５において、蓄積バッファ２１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置２００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部２２３は、必要に応じてレート制御を行う。

ステップＳ２１５の処理が終了すると、画像符号化処理が終了する。

＜直交変換処理の流れ＞
次に図２１のステップＳ２０７において実行される直交変換処理の流れの例を、図２２のフローチャートを参照して説明する。

直交変換処理が開始されると、直交変換部２１３は、ステップＳ２５１において、変換スキップフラグts_flagが2D_TS（２次元変換スキップを示す場合）（例えば１（真））、または、変換量子化バイパスフラグtransquant_bypass_flagが１（真）、であるか否かを判定する。変換スキップフラグts_flagが2D_TS（例えば１（真））、または、変換量子化バイパスフラグが１（真）であると判定された場合、直交変換処理が終了し、処理は図２１に戻る。この場合、直交変換処理（プライマリ変換やセカンダリ変換）が省略され、入力された予測残差Dが変換係数Coeffとされる。

また、図２２のステップＳ２５１において、変換スキップフラグts_flagが2D_TSでなく（２次元変換スキップでなく）（例えば０（偽））、かつ、変換量子化バイパスフラグtransquant_bypass_flagが０（偽）であると判定された場合、処理はステップＳ２５２に進む。この場合、プライマリ変換処理およびセカンダリ変換処理が行われる。

ステップＳ２５２において、プライマリ変換部２６１は、入力された予測残差Dに対してプライマリ変換処理を行い、プライマリ変換後の変換係数Coeff_Pを導出する。

ステップＳ２５３において、セカンダリ変換部２６２は、変換係数Coeff_Pに対してセカンダリ変換処理を行い、セカンダリ変換後の変換係数Coeffを導出する。

ステップＳ２５３の処理が終了すると直交変換処理が終了する。

＜プライマリ変換処理の流れ＞
次に、図２２のステップＳ２５２において実行されるプライマリ変換処理の流れの例を、図２３のフローチャートを参照して説明する。

プライマリ変換処理が開始されると、プライマリ変換部２６１のプライマリ水平変換部２７１は、ステップＳ２６１において、予測残差Dに対してプライマリ水平変換処理を行い、プライマリ水平変換後の変換係数を導出する。

ステップＳ２６２において、プライマリ変換部２６１のプライマリ垂直変換部２７２は、ステップＳ２６１において得られたプライマリ水平変換結果（プライマリ水平変換後の変換係数）に対してプライマリ垂直変換を行い、プライマリ垂直変換後の変換係数（プライマリ変換後の変換係数Coeff_P）を導出する。

ステップＳ２６２の処理が終了すると、プライマリ変換処理が終了し、処理は図２２に戻る。

＜プライマリ水平変換処理の流れ＞
図２３のステップＳ２６１において実行されるプライマリ水平変換処理の流れについて、図２４のフローチャートを参照して説明する。

プライマリ水平変換処理が開始されると、プライマリ水平変換部２７１の変換行列導出部２８１は、ステップＳ２７１において、水平変換タイプインデックスTrTypeHに対応する変換行列T_Hを導出する。

ステップＳ２７２において、行列演算部２８２は、その導出された変換行列T_Hを用いて入力データX_in（予測残差D）に対して水平方向の１次元直交変換を行い、中間データY1を得る。この処理を行列式として表現すると、上述の式（１５）のように表すことができる。また、この処理を要素毎の演算として表現すると、以下の式（２１）のように表すことができる。

つまり、中間データY1のi行j列成分の係数Y1[i,j]には、入力データX_inのi行目の行ベクトルX_in[i,:]と、変換行列T_Hのj行目の行ベクトルT_H[j,:]の転置行列T_H ^T[:,j]との内積を設定する（j=0,・・・,M-1, i=0,・・・,N-1）。ここで、Mは、入力データX_inのx方向のサイズであり、Nは、入力データX_inのy方向のサイズである。MおよびNは、以下の式（２２）のように表すことができる。

図２４に戻り、ステップＳ２７３において、スケーリング部２８３は、ステップＳ２７２の処理により導出された中間データY1の各i行j列成分の係数Y1[i,j]をシフト量S_Hでスケーリングし、中間データY2を導出する。このスケーリングは、上述の式（１６）のように表すことができる。

ステップＳ２７４において、クリップ部２８４は、ステップＳ２７３の処理により導出された中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、プライマリ水平変換後の変換係数）を得る。この処理は、上述の式（１９）のように表すことができる。

ステップＳ２７４の処理が終了すると、プライマリ水平変換処理が終了し、処理は図１９に戻る。

＜変換行列導出処理の流れ＞
次に、図２４のステップＳ２７１において実行される変換行列導出処理の流れの例を、図２５のフローチャートを参照して説明する。

変換行列導出処理が開始されると、変換行列導出部２８１は、ステップＳ２８１において、水平変換タイプインデックスTrTypeHに対応するベース変換タイプBaseTrTypeを求める。なお、この処理を数式で表すと、例えば式（２３）のように表現することができる。変換行列導出部２８１は、その求めたベース変換タイプのN行N列の変換行列を変換行列LUTより読み出し、以下の式（２４）のように、それをベース変換行列T_baseに設定する。

また、変換行列導出部２８１は、以下の式（２５）のように、フリップフラグFlipFlagに、水平変換タイプインデックスTrTypeHに対応する値を設定する。また、変換行列導出部２８１は、以下の式（２６）のように、転置フラグTransposeFlagに、変換タイプ識別子TrTypeIdxHに対応する値を設定する。

ステップＳ２８２において、変換行列導出部２８１は、フリップフラグFlipFlagと転置フラグTransposeFlagとが以下の式（２７）で表される条件（ConditionA1）を満たすか否かを判定する。

上述の条件（ConditionA1）を満たすと判定された場合（フリップフラグFlipFlagと転置フラグTransposeFlagとがともに偽（０）の場合）、処理はステップＳ２８３に進む。

ステップＳ２８３において、変換行列導出部２８１は、以下の式（２８）に示されるように、変換行列T_baseを変換行列T_Hへ設定する。

ステップＳ２８３の処理が終了すると、変換行列導出処理が終了し、処理は図２４に戻る。また、ステップＳ２８２において、上述の条件（ConditionA1）を満たさないと判定された場合（フリップフラグFlipFlagまたは転置フラグTransposeFlagが真（１）の場合）、処理はステップＳ２８４に進む。

ステップＳ２８４において、変換行列導出部２８１は、フリップフラグFlipFlagと転置フラグTransposeFlagとが以下の式（２９）で表される条件（ConditionA2）を満たすか否かを判定する。

上述の条件（ConditionA2）を満たすと判定された場合（フリップフラグFlipFlagが偽（０）であり、かつ、転置フラグTransposeFlagが真（１）である場合）、処理はステップＳ２８５に進む。

ステップＳ２８５において、変換行列導出部２８１は、転置部２９３を介して、ベース変換行列T_baseを転置して、変換行列T_Hを得る。この処理は、以下の式（３０）のように、行列式として表現することができる。

また、この処理を要素毎の演算として表現する場合、変換行列導出部２８１は、以下の式（３１）のように、ベース変換行列T_baseのi行j列成分（(i,j)成分）を変換行列T_Hの(j,i)成分に設定する。

ここで、N行N列の変換行列T_Hのi行j列成分（(i,j)成分）をT_H[i,j]と表記する。また、２行目の「for i,j=0,...,N-1」は、iとjとが0乃至N-1の値を持つことを示す。つまり、T_H[j,i]がN行N列の変換行列T_Hの全ての要素を示すことを意味する。

このように、ステップＳ２８５の処理を、要素毎の演算として表現することにより、簡単な２次元配列へのアクセスで、転置操作を実現することできる。ステップＳ２８５の処理が終了すると、変換行列導出処理が終了し、処理は図２４に戻る。

また、ステップＳ２８４において、上述の条件（ConditionA2）を満たさないと判定された場合（フリップフラグFlipFlagが真（１）である、または、転置フラグTransposeFlagが偽（０）である場合）、処理はステップＳ２８６に進む。

ステップＳ２８６において、変換行列導出部２８１は、フリップ部２９２を介して、ベース変換行列Tbaseをフリップして、変換行列T_Hを得る。この処理は、以下の式（３２）のように、行列式として表現することができる。

ここで、×は行列積を表す演算子である。また、フリップ行列J（Cross-Identity Matrix）は、N行N列の単位行列Ｉを左右反転したものである。

また、この処理を要素毎の演算として表現する場合、変換行列導出部２８１は、以下の式（３３）のように、変換行列T_Hのi行j列成分（(i,j)成分）に、ベース変換行列T_baseの(i, N-1-j)成分を設定する。

ここで、N行N列の変換行列T_Hのi行j列成分（(i,j)成分）をT_H[i,j]と表記する。また２行目の「for i,j=0,...,N-1」は、iとjがそれぞれ0乃至N-1の値を持つことを示す。すなわち、T_H[i,j]がN行N列の変換行列T_Hの全ての要素を示すことを意味する。

このように、ステップＳ２８６の処理を、要素毎の演算として表現することにより、ベース変換行列T_baseとフリップ行列Ｊとの行列演算をせずに、簡単な２次元配列へのアクセスで、転置操作を実現することできる。また、フリップ行列Ｊが不要になる。ステップＳ２８６の処理が終了すると、変換行列導出処理が終了し、処理は図２４に戻る。

なお、ステップＳ２８４の処理とステップＳ２８６の処理との間に、以下に説明するような分岐をいれてもよい。つまり、そのステップにおいて、変換行列導出部２８１は、フリップフラグFlipFlagと転置フラグTransposeFlagとが以下の式（３４）で表される条件（ConditionA3）を満たすか否かを判定する。

変換行列導出部２８１は、上述の条件（ConditionA3）を満たすと判定された場合（フリップフラグFlipFlagが真（１）であり、かつ、転置フラグTransposeFlagが偽（０）である場合）、処理はステップＳ２８６に進む。

また、上述の条件（ConditionA3）を満たさないと判定された場合（フリップフラグFlipFlagが偽（０）であるか、または、転置フラグTransposeFlagが真（１）である場合）、変換行列導出処理が終了し、処理は図２４に戻る。

＜プライマリ垂直変換処理の流れ＞
次に、図２３のステップＳ２６２において実行されるプライマリ垂直変換処理の流れについて、図２６のフローチャートを参照して説明する。

プライマリ垂直変換処理が開始されると、プライマリ垂直変換部２７２の変換行列導出部３０１は、ステップＳ２９１において、変換行列導出処理を実行し、垂直変換タイプインデックスTrTypeVに対応する変換行列T_Vを導出する。

この変換行列導出処理の流れは、図２１のフローチャートを参照して説明したプライマリ水平変換の場合と同様であるのでその説明を省略する。例えば、水平変換タイプインデックスTrTypeHを垂直変換タイプインデックスTrTypeVに置き換えたり、導出されるプライマリ水平変換用の変換行列T_Hを、垂直変換用の変換行列T_Vに置き換えたりする等、図２１を参照して行った説明の、水平方向に関する説明を垂直方向に置き換えればよい。

ステップＳ２９２において、行列演算部３０２は、その導出された変換行列T_Vを用いて入力データX_in（プライマリ水平変換後の変換係数）に対して垂直方向の１次元直交変換を行い、中間データY1を得る。この処理を行列式として表現すると、上述の式（１８）のように表すことができる。また、この処理を要素毎の演算として表現すると、以下の式（３５）のように表すことができる。

つまり、この場合、中間データY1のi行j列成分の係数Y1[i,j]には、変換行列T_Vのi行目の行ベクトルT_V[i,:]と入力データX_inのj列目の列ベクトルX_in[:,j]との内積を設定する（j=0,・・・,M-1, i=0,・・・,N-1）。

ステップＳ２９３において、スケーリング部３０３は、ステップＳ２９２の処理により導出された中間データY1の各i行j列成分の係数Y1[i,j]をシフト量S_Vでスケーリングし、中間データY2を導出する。このスケーリングは、上述の式（１９）のように表すことができる。

ステップＳ２９４において、クリップ部３０４は、ステップＳ２９３の処理により導出された中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、プライマリ垂直変換後の変換係数）を得る。この処理は、上述の式（２０）のように表すことができる。

ステップＳ２９４の処理が終了すると、プライマリ垂直変換処理が終了し、処理は図２３に戻る。
＜本技術の適用＞
以上のような構成の画像符号化装置２００において、制御部２０１は、上述した本技術を適用した処理を行う。つまり、制御部２０１は、変換タイプ導出装置１００と同様の構成を有し、第１の実施の形態乃至第４の実施の形態において説明したような処理を行うことができる。

＜方法＃１の適用＞
例えば、制御部２０１が、図２に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃１を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、カレントブロックのブロックサイズに応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、制御部２０１により生成され、変換タイプ導出部に供給される。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、直交変換部２１３に供給される。より具体的には、変換タイプtrTypeHは、プライマリ変換部２６１のプライマリ水平変換部２７１に供給され、変換タイプtrTypeVは、プライマリ垂直変換部２７２に供給される。より具体的には、変換タイプtrTypeHは、変換行列導出部２８１に供給され、変換行列T_Hの導出に利用される。また、変換タイプtrTypeVは、変換行列導出部３０１に供給され、変換行列T_Vの導出に利用される。

画像符号化処理においては、ステップＳ２０４（図２１）において、直交変換制御処理の１つとして、図４のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図２４のステップＳ２７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図２６のステップＳ２９１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像符号化装置２００は、第１の実施の形態において説明したように、符号化効率を向上させることができる。また、ブロックサイズに基づいて変換タイプ候補テーブルを選択するので、画像符号化装置２００は、より容易に符号化効率を向上させることができる。さらに、画像符号化装置２００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT２９１や変換行列LUT３１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部２８２や行列演算部３０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃２の適用＞
例えば、制御部２０１が、図７に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃２を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、RDコストに基づいて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、制御部２０１により生成され、変換タイプ導出部に供給される。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、直交変換部２１３に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

さらに、その変換タイプ導出部の変換タイプ候補テーブル切り替えフラグ設定部１２２により導出された変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagは、符号化部２１５に供給され、符号化されてビットストリームに含められる。すなわち、復号側に供給される。

画像符号化処理においては、ステップＳ２０４（図２１）において、直交変換制御処理の１つとして、図８のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図２４のステップＳ２７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図２６のステップＳ２９１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像符号化装置２００は、第２の実施の形態において説明したように、RDコストに基づいて変換タイプ候補テーブルを選択することができ、符号化効率を向上させることができる。また、この場合、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagを復号側に伝送するので、画像符号化装置２００は、変換タイプの選択についての明示的な制御が可能になる。

＜方法＃３の適用＞
例えば、制御部２０１が、図１１に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃３を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、インター予測モードに応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、インター予測モード、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、制御部２０１により生成され、変換タイプ導出部に供給される。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、直交変換部２１３に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

画像符号化処理においては、ステップＳ２０４（図２１）において、直交変換制御処理の１つとして、図１２のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図２４のステップＳ２７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図２６のステップＳ２９１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像符号化装置２００は、第３の実施の形態において説明したように、符号化効率を向上させることができる。また、インター予測モードに基づいて変換タイプ候補テーブルを選択するので、画像符号化装置２００は、より容易に符号化効率を向上させることができる。さらに、画像符号化装置２００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT２９１や変換行列LUT３１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部２８２や行列演算部３０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃４の適用＞
例えば、制御部２０１が、図１３に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃４を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、動きベクトルの画素精度に応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、動きベクトルの画素精度、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、制御部２０１により生成され、変換タイプ導出部に供給される。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、直交変換部２１３に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

画像符号化処理においては、ステップＳ２０４（図２１）において、直交変換制御処理の１つとして、図１４のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図２４のステップＳ２７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図２６のステップＳ２９１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像符号化装置２００は、第４の実施の形態において説明したように、符号化効率を向上させることができる。また、動きベクトルの画素精度に基づいて変換タイプ候補テーブルを選択するので、画像符号化装置２００は、より容易に符号化効率を向上させることができる。さらに、画像符号化装置２００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT２９１や変換行列LUT３１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部２８２や行列演算部３０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜９．第６の実施の形態＞
＜画像復号装置＞
また、本技術は、逆直交変換を用いて画像の符号化データを復号する画像復号装置に適用することもできる。本実施の形態においては、そのような画像復号装置に本技術を適用する場合について説明する。

図２７は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２７に示される画像復号装置４００は、動画像が符号化された符号化データを復号する装置である。例えば、画像復号装置４００は、非特許文献１乃至非特許文献４に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置４００は、上述の画像符号化装置２００により生成された符号化データ（ビットストリーム）を復号する。

なお、図２７においては、処理部やデータの流れ等の主なものを示しており、図２７に示されるものが全てとは限らない。つまり、画像復号装置４００において、図２７においてブロックとして示されていない処理部が存在したり、図２７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像復号装置４００内の処理部等を説明する他の図においても同様である。

図２７において、画像復号装置４００は、蓄積バッファ４１１、復号部４１２、逆量子化部４１３、逆直交変換部４１４、演算部４１５、インループフィルタ部４１６、並べ替えバッファ４１７、フレームメモリ４１８、および予測部４１９を備えている。なお、予測部４１９は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置４００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。

＜蓄積バッファ＞
蓄積バッファ４１１は、画像復号装置４００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ４１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部４１２に供給する。

＜復号部＞
復号部４１２は、画像の復号に関する処理を行う。例えば、復号部４１２は、蓄積バッファ４１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。

シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部４１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。

＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。

例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。

コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。

なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。

＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。

イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。

また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。

コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。

多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。

色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式（２８）のような割り当て方となる。

なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。

色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。

動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。

もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize（または、２を底とする各TBWSize、TBHSizeの対数値log2TBWSize、log2TBHSizeであってもよい）。
変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））

＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。

cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ（GR1フラグとも呼ぶ）
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル（非ゼロ係数残余レベルとも呼ぶ）
など。

もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。

デブロッキングフィルタ(DBF)に関する制御情報
画素適応オフセット(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報

より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

復号部４１２の説明に戻る。復号部４１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。復号部４１２は、その量子化変換係数レベルlevelを、逆量子化部４１３に供給する。

また、復号部４１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。

ヘッダ情報Hinfoは、逆量子化部４１３、逆直交変換部４１４、予測部４１９、インループフィルタ部４１６に供給される。
予測モード情報Pinfoは、逆量子化部４１３および予測部４１９に供給される。
変換情報Tinfoは、逆量子化部４１３および逆直交変換部４１４に供給される。
フィルタ情報Finfoは、インループフィルタ部４１６に供給される。

もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。

＜逆直交変換の制御＞
復号部４１２は、また、逆直交変換の制御に関する情報を復号したり、導出したりする。復号部４１２は、そのようにして得られた情報を逆直交変換部４１４に供給することにより、逆直交変換部４１４により行われる逆直交変換を制御する。

＜逆量子化部＞
逆量子化部４１３は、少なくとも、逆量子化に関する処理を行うために必要な構成を有する。例えば、逆量子化部４１３は、復号部４１２から供給される変換情報Tinfoおよび量子化変換係数レベルlevelを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。

なお、この逆量子化は、量子化部２１４による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部２１７による逆量子化と同様の処理である。つまり、逆量子化部２１７は、逆量子化部４１３と同様の処理（逆量子化）を行う。

逆量子化部４１３は、導出した変換係数Coeff_IQを逆直交変換部４１４に供給する。

＜逆直交変換部＞
逆直交変換部４１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部４１４は、逆量子化部４１３から供給される変換係数Coeff_IQ、および、復号部４１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換処理を行い、予測残差D'を導出する。

なお、この逆直交変換は、直交変換部２１３による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部２１８による逆直交変換と同様の処理である。つまり、逆直交変換部２１８は、逆直交変換部４１４と同様の処理（逆直交変換）を行う。

逆直交変換部４１４は、導出した予測残差D'を演算部４１５に供給する。

＜演算部＞
演算部４１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部４１５は、逆直交変換部４１４から供給される予測残差D'と、予測部４１９から供給される予測画像Pとを入力とする。演算部４１５は、以下の式（３７）に示されるように、予測残差D'とその予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像R_localを導出する。

演算部４１５は、導出した局所復号画像R_localを、インループフィルタ部４１６およびフレームメモリ４１８に供給する。

＜インループフィルタ部＞
インループフィルタ部４１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部４１６は、演算部４１５から供給される局所復号画像R_localと、復号部４１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部４１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。

インループフィルタ部４１６は、そのフィルタ情報Finfoに基づいて、局所復号画像R_localに対して適宜フィルタ処理を行う。

例えば、インループフィルタ部４１６は、非特許文献１に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

インループフィルタ部４１６は、符号化側（例えば画像符号化装置２００のインループフィルタ部２２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部４１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部４１６がウィーナーフィルタ等を適用するようにしてもよい。

インループフィルタ部４１６は、フィルタ処理された局所復号画像R_localを並べ替えバッファ４１７およびフレームメモリ４１８に供給する。

＜並べ替えバッファ＞
並べ替えバッファ４１７は、インループフィルタ部４１６から供給された局所復号画像R_localを入力とし、それを保持（記憶）する。並べ替えバッファ４１７は、その局所復号画像R_localを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ４１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ４１７は、並べ替えた復号画像R群を動画像データとして画像復号装置４００の外部に出力する。

＜フレームメモリ＞
フレームメモリ４１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ４１８は、演算部４１５より供給される局所復号画像R_localを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ４１８内のバッファへ格納する。

また、フレームメモリ４１８は、インループフィルタ部４１６から供給される、インループフィルタ処理された局所復号画像R_localを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ４１８内のバッファへ格納する。フレームメモリ４１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部４１９に供給する。

なお、フレームメモリ４１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。

＜予測部＞
予測部４１９は、予測画像の生成に関する処理を行う。例えば、予測部４１９は、復号部４１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部４１９は、その予測モード情報Pinfoによって指定される、フレームメモリ４１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部４１９は、導出した予測画像Pを、演算部４１５に供給する。

＜逆直交変換部の詳細＞
図２８は、図２７の逆直交変換部４１４の主な構成例を示すブロック図である。図２８に示されるように、逆直交変換部４１４は、逆セカンダリ変換部４６１および逆プライマリ変換部４６２を有する。

逆セカンダリ変換部４６１は、少なくとも、符号化側（例えば、画像符号化装置２００のセカンダリ変換部２６２）において行われるセカンダリ変換の逆処理である逆セカンダリ変換に関する処理を行うのに必要な構成を有する。例えば、逆セカンダリ変換部４６１は、逆量子化部４１３から供給される変換係数Coeff_IQおよび変換情報Tinfoを入力とする。

逆セカンダリ変換部４６１は、変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆セカンダリ変換を行い、逆セカンダリ変換後の変換係数Coeff_ISを導出する。逆セカンダリ変換部４６１は、その逆セカンダリ変換係数Coeff_ISを逆プライマリ変換部４６２に供給する。

逆プライマリ変換部４６２は、符号化側（例えば、画像符号化装置２００のプライマリ変換部２６１）において行われるプライマリ変換の逆処理である逆プライマリ変換に関する処理を行う。例えば、逆プライマリ変換部４６２は、逆セカンダリ変換後の変換係数Coeff_ISと、変換タイプインデックス（垂直変換タイプインデックスTrTypeVおよび水平変換タイプインデックスTrTypeH）とを入力とする。

逆プライマリ変換部４６２は、水平変換タイプインデックスTrTypeHに対応する変換行列と、垂直変換タイプインデックスTrTypeVに対応する変換行列とを用いて、逆セカンダリ変換後の変換係数Coeff_ISに対する逆プライマリ変換を行い、逆プライマリ変換後の変換係数（つまり、予測残差D'）を導出する。逆プライマリ変換部４６２は、導出した予測残差D'を演算部４１５に供給する。

図２８に示されるように、逆プライマリ変換部４６２は、逆プライマリ垂直変換部４７１および逆プライマリ水平変換部４７２を有する。

逆プライマリ垂直変換部４７１は、垂直方向の逆１次元直交変換である逆プライマリ垂直変換に関する処理を行うように構成される。例えば、逆プライマリ垂直変換部４７１は、変換係数Coeff_ISおよび変換情報Tinfo（垂直変換タイプインデックスTrTypeV等）を入力とする。逆プライマリ垂直変換部４７１は、垂直変換タイプインデックスTrTypeVに対応する変換行列を用いて、変換係数Coeff_ISに対する逆プライマリ垂直変換を行う。逆プライマリ垂直変換部４７１は、逆プライマリ垂直変換後の変換係数を逆プライマリ水平変換部４７２に供給する。

逆プライマリ水平変換部４７２は、水平方向の１次元直交変換であるプライマリ水平変換に関する処理を行うように構成される。例えば、逆プライマリ水平変換部４７２は、逆プライマリ垂直変換後の変換係数および変換情報Tinfo（水平変換タイプインデックスTrTypeH等）を入力とする。逆プライマリ水平変換部４７２は、水平変換タイプインデックスTrTypeHに対応する変換行列を用いて、逆プライマリ垂直変換後の変換係数に対する逆プライマリ水平変換を行う。逆プライマリ水平変換部４７２は、逆プライマリ水平変換後の変換係数（つまり、予測残差D'）を演算部４１５に供給する。

なお、逆直交変換部４１４においては、逆セカンダリ変換部４６１による逆セカンダリ変換、若しくは、逆プライマリ変換部４６２による逆プライマリ変換、またはその両方を、スキップする（省略する）ことができる。また、逆プライマリ垂直変換部４７１による逆プライマリ垂直変換をスキップする（省略する）ことができるようにしてもよい。同様に、逆プライマリ水平変換部４７２による逆プライマリ水平変換をスキップする（省略する）ことができるようにしてもよい。

＜逆プライマリ垂直変換部＞
図２９は、図２８の逆プライマリ垂直変換部４７１の主な構成例を示すブロック図である。図２９に示されるように、逆プライマリ垂直変換部４７１は、変換行列導出部４８１、行列演算部４８２、スケーリング部４８３、およびクリップ部４８４を有する。

変換行列導出部４８１は、垂直変換タイプインデックスTrTypeVと、変換ブロックのサイズに関する情報を入力とし、その垂直変換タイプインデックスTrTypeVに対応する、変換ブロックと同サイズの、逆プライマリ垂直変換用の変換行列T_V（垂直方向の逆１次元直交変換用の変換行列T_V）を導出する。変換行列導出部４８１は、その変換行列T_Vを行列演算部４８２に供給する。

行列演算部４８２は、その変換行列導出部４８１から供給される変換行列T_Vを用いて、入力データX_in（すなわち逆セカンダリ変換後の変換係数Coeff_ISの変換ブロック）に対する垂直方向の逆１次元直交変換を行い、中間データY1を得る。この演算は以下の式（３８）のように行列式で表すことができる。

行列演算部４８２は、その中間データY1をスケーリング部４８３に供給する。

スケーリング部４８３は、その中間データY1の各i行j列成分の係数Y1[i,j]を所定のシフト量S_IVでスケーリングし、中間データY2を得る。このスケーリングは、以下の式（３９）のように表すことができる。

スケーリング部４８３は、その中間データY2をクリップ部４８４に供給する。

クリップ部４８４は、その中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、逆プライマリ垂直変換後の変換係数）を導出する。この処理は、上述の式（２０）のように表すことができる。

クリップ部４８４は、その出力データX_out（逆プライマリ垂直変換後の変換係数）を逆プライマリ垂直変換部４７１の外部に出力する（逆プライマリ水平変換部４７２に供給する）。

＜変換行列導出部＞
図３０は、図２９の変換行列導出部４８１の主な構成例を示すブロック図である。図３０に示されるように、変換行列導出部４８１は、変換行列LUT４９１、フリップ部４９２、および転置部４９３を有する。なお、図３０においては、データの授受を示す矢印を省略しているが、変換行列導出部４８１は、任意の処理部（処理ブロック）間で任意のデータを授受することができる。

変換行列LUT４９１は、垂直変換タイプインデックスTrTypeVおよび変換ブロックのサイズNに対応する変換行列を保持（格納）するためのルックアップテーブルである。変換行列LUT４９１は、垂直変換タイプインデックスTrTypeVおよび変換ブロックのサイズNが指定されると、それらに対応する変換行列を選択し、出力する。この導出例の場合、変換行列LUT４９１は、その変換行列をベース変換行列T_baseとしてフリップ部４９２若しくは転置部４９３、または両方に供給する。

フリップ部４９２は、入力されるN行N列の変換行列Tをフリップし、フリップ後の変換行列T_flipを出力する。この導出例の場合、フリップ部４９２は、変換行列LUT４９１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを行方向（水平方向）にフリップして、フリップ後の変換行列T_flipを、変換行列T_Vとして、変換行列導出部４８１の外部に出力する（行列演算部４８２に供給する）。

転置部４９３は、入力されるN行N列の変換行列Tを転置し、転置後の変換行列T_transposeを出力する。この導出例の場合、転置部４９３は、変換行列LUT４９１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを転置して、転置後の変換行列T_transposeを、変換行列T_Vとして、変換行列導出部４８１の外部に出力する（行列演算部４８２に供給する）。

＜逆プライマリ水平変換部＞
図３１は、図２８の逆プライマリ水平変換部４７２の主な構成例を示すブロック図である。図３１に示されるように、逆プライマリ水平変換部４７２は、変換行列導出部５０１、行列演算部５０２、スケーリング部５０３、およびクリップ部５０４を有する。

変換行列導出部５０１は、水平変換タイプインデックスTrTypeHと、変換ブロックのサイズに関する情報を入力とし、その水平変換タイプインデックスTrTypeHに対応する、変換ブロックと同サイズの、水平変換用の変換行列T_H（水平方向の逆１次元直交変換用の変換行列T_H）を導出する。変換行列導出部５０１は、その変換行列T_Hを行列演算部５０２に供給する。

行列演算部５０２は、その変換行列導出部５０１から供給される変換行列T_Hを用いて、入力データX_in（すなわち逆プライマリ垂直変換後の変換係数の変換ブロック）に対する水平方向の逆１次元直交変換を行い、中間データY1を得る。この演算は以下の式（４０）のように行列式で表すことができる。

行列演算部５０２は、その中間データY1をスケーリング部５０３に供給する。

スケーリング部５０３は、その中間データY1の各i行j列成分の係数Y1[i,j]を所定のシフト量S_IHでスケーリングし、中間データY2を得る。このスケーリングは、以下の式（３３）のように表すことができる。

スケーリング部５０３は、その中間データY2をクリップ部５０４に供給する。

クリップ部５０４は、その中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、逆プライマリ水平変換後の変換係数）を導出する。この処理は、上述の式（１５）のように表すことができる。

クリップ部５０４は、その出力データX_out（逆プライマリ水平変換後の変換係数（逆プライマリ変換後の変換係数Coeff_IP））を、予測残差D'として、逆プライマリ水平変換部４７２の外部に出力する（演算部４１５に供給する）。

＜変換行列導出部＞
図３２は、図３１の変換行列導出部５０１の主な構成例を示すブロック図である。図３２に示されるように、変換行列導出部５０１は、変換行列LUT５１１、フリップ部５１２、および転置部５１３を有する。なお、図３２においては、データの授受を示す矢印を省略しているが、変換行列導出部５０１は、任意の処理部（処理ブロック）間で任意のデータを授受することができる。

変換行列LUT５１１は、水平変換タイプインデックスTrTypeIdxHおよび変換ブロックのサイズNに対応する変換行列を保持（格納）するためのルックアップテーブルである。変換行列LUT５１１は、水平変換タイプインデックスTrTypeIdxHおよび変換ブロックのサイズNが指定されると、それらに対応する変換行列を選択し、出力する。この導出例の場合、変換行列LUT５１１は、その変換行列をベース変換行列T_baseとしてフリップ部５１２若しくは転置部５１３、または両方に供給する。

フリップ部５１２は、入力されるN行N列の変換行列Tをフリップし、フリップ後の変換行列T_flipを出力する。この導出例の場合、フリップ部５１２は、変換行列LUT５１１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを行方向（水平方向）にフリップして、フリップ後の変換行列T_flipを、変換行列T_Hとして、変換行列導出部５０１の外部に出力する（行列演算部５０２に供給する）。

転置部５１３は、入力されるN行N列の変換行列Tを転置し、転置後の変換行列T_transposeを出力する。この導出例の場合、転置部５１３は、変換行列LUT５１１から供給されるN行N列のベース変換行列T_baseを入力とし、そのベース変換行列T_baseを転置して、転置後の変換行列T_transposeを、変換行列T_Hとして、変換行列導出部５０１の外部に出力する（行列演算部５０２に供給する）。

＜画像復号処理の流れ＞
次に、以上のような構成の画像復号装置４００により実行される各処理の流れについて説明する。最初に、図３３のフローチャートを参照して、画像符号化処理の流れの例を説明する。

画像復号処理が開始されると、蓄積バッファ４１１は、ステップＳ４０１において、画像復号装置４００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。

ステップＳ４０２において、復号部４１２は、その符号化データ（ビットストリーム）を復号し、量子化変換係数レベルlevelを得る。また、復号部４１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。

ステップＳ４０３において、復号部４１２は、符号化パラメータに応じて逆直交変換のタイプを制御する逆直交変換制御処理を行う。

ステップＳ４０４において、逆量子化部４１３は、ステップＳ４０２の処理により得られた量子化変換係数レベルlevelに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数Coeff_IQを得る。

ステップＳ４０５において、逆直交変換部４１４は、ステップＳ４０３の制御に従って、ステップＳ４０４において得られた変換係数Coeff_IQに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差D'を得る。

ステップＳ４０６において、予測部４１９は、ステップＳ４０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ４１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。

ステップＳ４０７において、演算部４１５は、ステップＳ４０５において得られた予測残差D'と、ステップＳ４０６において得られた予測画像Pとを加算し、局所復号画像R_localを導出する。

ステップＳ４０８において、インループフィルタ部４１６は、ステップＳ４０７の処理により得られた局所復号画像R_localに対して、インループフィルタ処理を行う。

ステップＳ４０９において、並べ替えバッファ４１７は、ステップＳ４０８の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置４００の外部に出力される。

また、ステップＳ４１０において、フレームメモリ４１８は、ステップＳ４０７の処理により得られた局所復号画像R_local、および、ステップＳ４０８の処理により得られたフィルタ処理後の局所復号画像R_localの内、少なくとも一方を記憶する。

ステップＳ４１０の処理が終了すると、画像復号処理が終了する。

＜逆直交変換の処理の流れ＞
次に、図３３のステップＳ４０５において実行される逆直交変換処理の流れの例を、図３４のフローチャートを参照して説明する。逆直交変換処理が開始されると、逆直交変換部４１４は、ステップＳ４４１において、変換スキップフラグts_flagが2D_TS（２次元変換スキップのモード）（例えば１（真））である、または、変換量子化バイパスフラグtransquant_bypass_flagが１（真）である、か否かを判定する。変換スキップ識別子ts_idxが2D_TSである、または、変換量子化バイパスフラグが１（真）であると判定された場合、逆直交変換処理が終了し、処理は図３３に戻る。この場合、逆直交変換処理（逆プライマリ変換や逆セカンダリ変換）が省略され、変換係数Coeff_IQが予測残差D'とされる。

また、ステップＳ４４１において、変換スキップ識別子ts_idxが2D_TSでない（２次元変換スキップ以外のモード）（例えば０（偽））であり、かつ、変換量子化バイパスフラグが０（偽）である、と判定された場合、処理はステップＳ４４２に進む。この場合、逆セカンダリ変換処理および逆プライマリ変換処理が行われる。

ステップＳ４４２において、逆セカンダリ変換部４６１は、変換係数Coeff_IQに対して、セカンダリ変換識別子st_idxに基づいて逆セカンダリ変換処理を行い、変換係数Coeff_ISを導出し、出力する。

ステップＳ４４３において、逆プライマリ変換部４６２は、変換係数Coeff_ISに対して逆プライマリ変換処理を行い、逆プライマリ変換後の変換係数（予測残差D'）を導出する。

ステップＳ４４３の処理が終了すると逆直交変換処理が終了し、処理は図３０に戻る。

＜逆プライマリ変換処理の流れ＞
次に、図３４のステップＳ４４３において実行される逆プライマリ変換処理の流れの例を、図３５のフローチャートを参照して説明する。

逆プライマリ変換処理が開始されると、逆プライマリ変換部４６２の逆プライマリ垂直変換部４７１は、ステップＳ４５１において、逆セカンダリ変換後の変換係数Coeff_ISに対して逆プライマリ垂直変換処理を行い、逆プライマリ垂直変換後の変換係数を導出する。

ステップＳ４５２において、逆プライマリ水平変換部４７２は、その逆プライマリ垂直変換後の変換係数に対して逆プライマリ水平変換処理を行い、逆プライマリ水平変換後の変換係数（すなわち、予測残差D'）を導出する。

ステップＳ４５２の処理が終了すると、逆プライマリ変換処理が終了し、処理は図３２に戻る。

＜逆プライマリ垂直変換処理の流れ＞
次に、図３５のステップＳ４５１において実行される逆プライマリ垂直変換処理の流れの例を、図３６のフローチャートを参照して説明する。

逆プライマリ垂直変換処理が開始されると、逆プライマリ垂直変換部４７１の変換行列導出部４８１は、ステップＳ４６１において、変換行列導出処理を実行し、垂直変換タイプインデックスTrTypeVに対応する変換行列T_Vを導出する。

この場合の変換行列導出処理は、図２５のフローチャートを参照して説明したプライマリ水平変換の場合と同様の流れで行われる。したがって、その説明を省略する。例えば、水平変換タイプインデックスTrTypeHを垂直変換タイプインデックスTrTypeVに置き換えたり、導出されるプライマリ水平変換用の変換行列T_Hを、逆プライマリ垂直変換用の変換行列T_Vに置き換えたりすることにより、図２５を参照して行った説明を、この場合の変換行列導出処理の説明として適用することができる。

ステップＳ４６２において、行列演算部４８２は、その導出された変換行列T_Vを用いて入力データX_in（つまり、逆セカンダリ変換後の変換係数Coeff_IS）に対して垂直方向の逆１次元直交変換を行い、中間データY1を得る。この処理を行列式として表現すると、上述の式（３０）のように表すことができる。

ステップＳ４６３において、スケーリング部４８３は、ステップＳ４６２の処理により導出された中間データY1の各i行j列成分の係数Y1[i,j]をシフト量S_IVでスケーリングし、中間データY2を導出する。このスケーリングは、上述の式（３９）のように表すことができる。

ステップＳ４６４において、クリップ部４８４は、ステップＳ４６３の処理により導出された中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、逆プライマリ垂直変換後の変換係数）を得る。この処理は、上述の式（２０）のように表すことができる。

ステップＳ４６４の処理が終了すると、逆プライマリ垂直変換処理が終了し、処理は図３５に戻る。

＜逆プライマリ水平変換処理の流れ＞
次に、図３５のステップＳ４５２において実行される逆プライマリ水平変換処理の流れについて、図３７のフローチャートを参照して説明する。

逆プライマリ水平変換処理が開始されると、逆プライマリ水平変換部４７２の変換行列導出部５０１は、ステップＳ４７１において、変換行列導出処理を実行し、水平変換タイプインデックスTrTypeHに対応する変換行列T_Hを導出する。

この場合の変換行列導出処理は、図２５のフローチャートを参照して説明したプライマリ水平変換の場合と同様の流れで行われる。したがって、その説明を省略する。例えば、プライマリ水平変換を逆プライマリ水平変換に置き換える等すれば、図２５を参照して行った説明を、この場合の変換行列導出処理の説明として適用することができる。

ステップＳ４７２において、行列演算部５０２は、その導出された変換行列T_Hを用いて入力データX_in（つまり、逆プライマリ垂直変換後の変換係数）に対して水平方向の逆１次元直交変換を行い、中間データY1を得る。この処理を行列式として表現すると、上述の式（３２）のように表すことができる。

ステップＳ４７３において、スケーリング部５０３は、ステップＳ４７２の処理により導出された中間データY1の各i行j列成分の係数Y1[i,j]をシフト量S_IHでスケーリングし、中間データY2を導出する。このスケーリングは、上述の式（３３）のように表すことができる。

ステップＳ４７４において、クリップ部５０４は、ステップＳ４７３の処理により導出された中間データY2の各i行j列成分の係数Y2[i,j]の値をクリップし、出力データX_out（つまり、予測残差D'）を得る。この処理は、上述の式（１２）のように表すことができる。

ステップＳ４７４の処理が終了すると、逆プライマリ水平変換処理が終了し、処理は図３５に戻る。

＜本技術の適用＞
以上のような構成の画像復号装置４００において、復号部４１２は、上述した本技術を適用した処理を行う。つまり、復号部４１２は、変換タイプ導出装置１００と同様の構成を有し、第１の実施の形態乃至第４の実施の形態において説明したような処理を行うことができる。

＜方法＃１の適用＞
例えば、復号部４１２が、図２に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃１を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、カレントブロックのブロックサイズに応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、ビットストリームに含まれて伝送される。画像復号装置４００は、そのようなビットストリームを取得する。復号部４１２は、そのビットストリームを復号して、これらの各種情報を抽出し、変換タイプ導出部に供給する。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、逆直交変換部４１４に供給される。より具体的には、変換タイプtrTypeVは、逆プライマリ変換部４６２の逆プライマリ垂直変換部４７１に供給され、変換タイプtrTypeHは、逆プライマリ水平変換部４７２に供給される。より具体的には、変換タイプtrTypeVは、変換行列導出部４８１に供給され、変換行列T_Vの導出に利用される。また、変換タイプtrTypeHは、変換行列導出部５０１に供給され、変換行列T_Hの導出に利用される。

画像復号処理においては、ステップＳ４０３（図３３）において、逆直交変換制御処理の１つとして、図４のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図３６のステップＳ４６１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。また、図３７のステップＳ４７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。

このようにすることにより、画像復号装置４００は、第１の実施の形態において説明したように、符号化効率を向上させることができる。また、ブロックサイズに基づいて変換タイプ候補テーブルを選択するので、画像復号装置４００は、より容易に符号化効率を向上させることができる。さらに、画像復号装置４００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT４９１や変換行列LUT５１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部４８２や行列演算部５０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃２の適用＞
例えば、復号部４１２が、図９に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃２を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlag、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、ビットストリームに含まれて伝送される。画像復号装置４００は、そのようなビットストリームを取得する。復号部４１２は、そのビットストリームを復号して、これらの各種情報を抽出し、変換タイプ導出部に供給する。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、逆直交変換部４１４に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

画像復号処理においては、ステップＳ４０３（図３３）において、逆直交変換制御処理の１つとして、図１０のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図３６のステップＳ４６１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。また、図３７のステップＳ４７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。

このようにすることにより、画像復号装置４００は、第２の実施の形態において説明したように、符号化側から伝送される変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて変換タイプ候補テーブルを選択することができ、符号化効率を向上させることができる。また、変換タイプ候補テーブル切り替えフラグuseAltTrCandFlagに基づいて変換タイプ候補テーブルを選択するので、画像復号装置４００は、より容易に符号化効率を向上させることができる。

＜方法＃３の適用＞
例えば、復号部４１２が、図１１に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃３を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、インター予測モードに応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、インター予測モード、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、ビットストリームに含まれて伝送される。画像復号装置４００は、そのようなビットストリームを取得する。復号部４１２は、そのビットストリームを復号して、これらの各種情報を抽出し、変換タイプ導出部に供給する。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、逆直交変換部４１４に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

画像復号処理においては、ステップＳ４０３（図３３）において、直交変換制御処理の１つとして、図１２のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図３６のステップＳ４６１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図３７のステップＳ４７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像復号装置４００は、第３の実施の形態において説明したように、符号化効率を向上させることができる。また、インター予測モードに基づいて変換タイプ候補テーブルを選択するので、画像復号装置４００は、より容易に符号化効率を向上させることができる。さらに、画像復号装置４００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT４９１や変換行列LUT５１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部４８２や行列演算部５０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜方法＃４の適用＞
例えば、復号部４１２が、図１３に示されるような変換タイプ導出装置１００と同等の機能を有する処理部（変換タイプ導出部とも称する）を有し、その変換タイプ導出部が方法＃４を適用して変換タイプを導出するようにしてもよい。つまり、その変換タイプ導出部が、動きベクトルの画素精度に応じて変換タイプ候補テーブルを選択し、その選択した変換タイプ候補テーブルを用いて変換タイプを導出するようにしてもよい。

その場合、変換フラグEmtflag、モード情報、ブロックサイズ、色識別子、動きベクトルの画素精度、変換インデックスEmtIdx、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flag等の各種情報は、ビットストリームに含まれて伝送される。画像復号装置４００は、そのようなビットストリームを取得する。復号部４１２は、そのビットストリームを復号して、これらの各種情報を抽出し、変換タイプ導出部に供給する。

また、その変換タイプ導出部の変換タイプ設定部１０４により設定される変換タイプtrTypeHおよびtrTypeVは、逆直交変換部４１４に供給され、上述した方法＃１を適用する場合と同様に、変換行列の導出に利用される。

画像復号処理においては、ステップＳ４０３（図３３）において、直交変換制御処理の１つとして、図１４のフローチャートを参照して説明した変換タイプ設定処理が行われ、変換タイプtrTypeHおよびtrTypeVが設定される。そして、図３６のステップＳ４６１において行われる変換行列T_Vの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeHを用いて行われる。また、図３７のステップＳ４７１において行われる変換行列T_Hの導出は、その変換タイプ設定処理により導出された変換タイプtrTypeVを用いて行われる。

このようにすることにより、画像復号装置４００は、第４の実施の形態において説明したように、符号化効率を向上させることができる。また、動きベクトルの画素精度に基づいて変換タイプ候補テーブルを選択するので、画像復号装置４００は、より容易に符号化効率を向上させることができる。さらに、画像復号装置４００は、ある変換行列から他の変換行列を導出することができるので、変換行列LUT４９１や変換行列LUT５１１のサイズの増大を抑制することができる（サイズを低減させることができる）。また、行列演算を行う演算回路を共通化することができるので、行列演算部４８２や行列演算部５０２の回路規模の増大を抑制することができる（回路規模を低減させることができる）。

＜１０．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図３８に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

＜情報・処理の単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。

＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。

また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。

さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。

上述した実施の形態に係る画像処理装置、画像符号化装置、および画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

１００ 変換タイプ導出装置， １０１ Emt制御部， １０２ 変換セット識別子設定部, １０３ 変換タイプ候補テーブル選択部， １０４ 変換タイプ設定部， １１１ 変換タイプ候補テーブルＡ， １１２ 変換タイプ候補テーブルＢ， １２１ RDコスト算出部， １２２ 変換タイプ候補テーブル切り替えフラグ設定部， ２００ 画像符号化装置， ２０１ 制御部, ２１３ 直交変換部， ２１５ 符号化部， ２１８ 逆直交変換部， ２６１ プライマリ変換部， ２６２ セカンダリ変換部， ２７１ プライマリ水平変換部， ２７２ プライマリ垂直変換部， ２８１ 変換行列導出部， ２８２ 行列演算部， ２９１ 変換行列LUT， ２９２ フリップ部， ２９３ 転置部， ３０１ 変換行列導出部， ３０２ 行列演算部， ３１１ 変換行列LUT， ３１２ フリップ部， ３１３ 転置部， ４００ 画像復号装置， ４１２ 復号部， ４１４ 逆直交変換部， ４６１ 逆セカンダリ変換部， ４６２ 逆プライマリ変換部， ４７１ 逆プライマリ垂直変換部， ４７２ 逆プライマリ水平変換部， ４８１ 変換行列導出部， ４８２ 行列演算部， ４９１ 変換行列LUT， ４９２ フリップ部， ４９３ 転置部， ５０１ 変換行列導出部， ５０２ 行列演算部， ５１１ 変換行列LUT， ５１２ フリップ部， ５１３ 転置部

Claims (20)

1. ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成する復号部と、
   要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択する選択部と、
   前記選択部により選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する設定部と、
   前記設定部により設定された変換タイプの変換行列を用いて、前記復号部により生成された前記カレントブロックの前記係数データを逆直交変換する逆直交変換部と
   を備える画像処理装置。
2. 前記符号化パラメータは前記カレントブロックのブロックサイズであり、
   前記選択部は、前記ブロックサイズに基づいて変換タイプ候補テーブルを選択する
   請求項１に記載の画像処理装置。
3. 前記符号化パラメータは、符号化の際に選択された変換タイプ候補テーブルを識別する識別情報であり、
   前記選択部は、前記識別情報に対応する変換タイプ候補テーブルを選択する
   請求項１に記載の画像処理装置。
4. 前記符号化パラメータはインター予測モードであり、
   前記選択部は、インター予測モードが単予測であるか双予測であるかに基づいて変換タイプ候補テーブルを選択する
   請求項１に記載の画像処理装置。
5. 前記符号化パラメータは動きベクトルの画素精度であり、
   前記選択部は、前記動きベクトルの指し示す位置が整数画素位置であるかに基づいて変換タイプ候補テーブルを選択する
   請求項１に記載の画像処理装置。
6. 前記候補の周波数特性が互いに異なる前記複数の変換タイプ候補テーブルは、一方の変換タイプ候補テーブルが他方の変換タイプ候補テーブルに比べて低次基底ベクトルがハイパスの特性を有する２つの変換タイプ候補テーブルである
   請求項１に記載の画像処理装置。
7. 前記一方の変換タイプ候補テーブルは、前記候補として、DST4、DCT4、およびDST2の内の少なくともいずれか１つの変換タイプを含み、
   前記他方の変換タイプ候補テーブルは、前記候補として、DST7、DCT8、およびDST1の内の少なくともいずれか１つの変換タイプを含む
   請求項６に記載の画像処理装置。
8. 前記設定部は、変換インデックスに基づいて、前記選択部により選択された変換タイプ候補テーブルから変換タイプを選択し、前記カレントブロックに適用する変換タイプとして設定する
   請求項１に記載の画像処理装置。
9. 前記設定部は、前記カレントブロックに対する水平方向および垂直方向の逆１次元直交変換の変換タイプをそれぞれ設定する
   請求項１に記載の画像処理装置。
10. ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、
    要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、
    選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定し、
    設定された変換タイプの変換行列を用いて、前記ビットストリームを復号して生成された前記カレントブロックの前記係数データを逆直交変換する
    画像処理方法。
11. 要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択する選択部と、
    前記選択部により選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定する設定部と、
    前記設定部により設定された変換タイプの変換行列を用いて、画像の予測残差を直交変換し、係数データを生成する直交変換部と、
    前記直交変換部により前記予測残差が直交変換されて生成された前記係数データを符号化し、ビットストリームを生成する符号化部と
    を備える画像処理装置。
12. 前記符号化パラメータは前記カレントブロックのブロックサイズであり、
    前記選択部は、前記ブロックサイズに基づいて変換タイプ候補テーブルを選択する
    請求項１１に記載の画像処理装置。
13. 前記符号化パラメータは、RDコストであり、
    前記選択部は、前記RDコストに基づいて変換タイプ候補テーブルを選択し、
    前記選択部が選択した変換タイプ候補テーブルを識別する識別情報を生成する生成部をさらに備え、
    前記符号化部は、前記生成部により生成された前記識別情報を含む前記ビットストリームを生成する
    請求項１１に記載の画像処理装置。
14. 前記符号化パラメータはインター予測モードであり、
    前記選択部は、インター予測モードが単予測であるか双予測であるかに基づいて変換タイプ候補テーブルを選択する
    請求項１１に記載の画像処理装置。
15. 前記符号化パラメータは動きベクトルの画素精度であり、
    前記選択部は、前記動きベクトルの指し示す位置が整数画素位置であるかに基づいて変換タイプ候補テーブルを選択する
    請求項１１に記載の画像処理装置。
16. 前記候補の周波数特性が互いに異なる前記複数の変換タイプ候補テーブルは、一方の変換タイプ候補テーブルが他方の変換タイプ候補テーブルに比べて低次基底ベクトルがハイパスの特性を有する２つの変換タイプ候補テーブルである
    請求項１１に記載の画像処理装置。
17. 前記一方の変換タイプ候補テーブルは、前記候補として、DST4、DCT4、およびDST2の内の少なくともいずれか１つの変換タイプを含み、
    前記他方の変換タイプ候補テーブルは、前記候補として、DST7、DCT8、およびDST1の内の少なくともいずれか１つの変換タイプを含む
    請求項１６に記載の画像処理装置。
18. 前記設定部は、変換インデックスに基づいて、前記選択部により選択された変換タイプ候補テーブルから変換タイプを選択し、前記カレントブロックに適用する変換タイプとして設定する
    請求項１１に記載の画像処理装置。
19. 前記設定部は、前記カレントブロックに対する水平方向および垂直方向の１次元直交変換の変換タイプをそれぞれ設定する
    請求項１１に記載の画像処理装置。
20. 要素とする変換タイプの候補の周波数特性が互いに異なる複数の変換タイプ候補テーブルの中から、符号化パラメータに対応する変換タイプ候補テーブルを選択し、
    選択された変換タイプ候補テーブルを用いて、カレントブロックに適用する変換タイプを設定し、
    設定された変換タイプの変換行列を用いて、画像の予測残差を直交変換し、係数データを生成し、
    前記予測残差が直交変換されて生成された前記係数データを符号化し、ビットストリームを生成する
    画像処理方法。

Images