JP2021141348A

JP2021141348A - 画像処理装置および方法

Info

Publication number: JP2021141348A
Application number: JP2018106463A
Authority: JP
Inventors: 健史筑波; Kenji Tsukuba
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2018-06-01
Filing date: 2018-06-01
Publication date: 2021-09-16
Also published as: WO2019230444A1

Abstract

【課題】適応直交変換のコストの増大を抑制することができるようにする。【解決手段】ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、ベース変換行列とそのベース変換行列に対応するスパース行列とを用いて、その生成された係数データに対して、そのベース変換行列と異なる変換タイプに対応する逆直交変換を適用する。本開示は、例えば、画像処理装置、画像符号化装置、または画像復号装置等に適用することができる。【選択図】図１

Description

本開示は、画像処理装置および方法に関し、特に、適応直交変換のコストの増大を抑制することができるようにした画像処理装置および方法に関する。

従来、輝度について、TU（Transform Unit）単位毎の、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT: Adaptive Multiple Core Transforms）が開示されている（例えば、非特許文献１参照）。

この非特許文献１で提案されているAMTの変換(DCT5/DCT8/DST1/DST7)を、DCT2とその派生変換（フリップ、転置、符号反転でえられる）DCT3/DST2/DST3の変換行列をそれぞれベース変換行列として、前処理・後処理でスパース行列ADJ-X(X=1,2,3,4)と行列演算することで、近似することが提案されている（例えば、非特許文献２参照）。

Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 Amir Said, Hilmi Egilmez, Vadim Seregin, Marta Karczewicz, "Complexity Reduction for Adaptive Multiple Transforms (AMTs) using Adjustment Stages", JVET-J0066, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018

しかしながら、非特許文献２に記載の方法の場合、DCT2/DCT3/DST2/DST3に対応する変換/逆変換のモジュールを用意する必要があり、回路規模が増大するおそれがあった。また、フリップ/転置/符号反転の処理は遅延が増えるおそれがあった。これらにより、適応直交変換のコストが増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、適応直交変換のコストの増大を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成する復号部と、ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、前記復号部により生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する逆直交変換部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する画像処理方法である。

本技術の他の側面の画像処理装置は、ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成する直交変換部と、前記直交変換部により生成された前記係数データを符号化して、ビットストリームを生成する符号化部とを備える画像処理装置である。

本技術の他の側面の画像処理方法は、ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成し、生成された前記係数データを符号化して、ビットストリームを生成する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、ビットストリームが復号されて、画像の予測残差が直交変換された係数データが生成され、ベース変換行列とそのベース変換行列に対応するスパース行列とが用いられて、その生成された係数データに対して、そのベース変換行列と異なる変換タイプに対応する逆直交変換が適用される。

本技術の他の側面の画像処理装置および方法においては、ベース変換行列とそのベース変換行列に対応するスパース行列とが用いられて、画像の予測残差に対して、そのベース変換行列と異なる変換タイプに対応する直交変換が適用されて、係数データが生成され、その生成された係数データが符号化されて、ビットストリームが生成される。

本開示によれば、画像を処理することができる。特に、適応直交変換のコストの増大を抑制することができる。なお、上述の効果は必ずしも限定的なものではなく、上述の効果と共に、または上述の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本技術を適用した適応直交変換の方法の主な例を示す図である。周波数領域のパワーシフトについて説明する図である。空間領域のパワーシフトについて説明する図である。変換タイプ別の適用例を説明する図である。スパース行列の例を示す図である。スパース行列の例を示す図である。画像処理装置の主な構成例を示すブロック図である。ブロックサイズが大きい場合の変換タイプ別の設定例を説明する図である。ブロックサイズが小さい場合の変換タイプ別の設定例を説明する図である。ブロックサイズが大きい場合の変換タイプ別の他の設定例を説明する図である。ブロックサイズが小さい場合の変換タイプ別の他の設定例を説明する図である。画像処理の流れの例を説明するフローチャートである。設定処理の流れの例を説明するフローチャートである。変換処理の流れの例を説明するフローチャートである。画像処理装置の主な構成例を示すブロック図である。画像処理の流れの例を説明するフローチャートである。逆変換処理の流れの例を説明するフローチャートである。画像処理装置の主な構成例を示すブロック図である。変換処理の流れの例を説明するフローチャートである。画像処理装置の主な構成例を示すブロック図である。逆変換処理の流れの例を説明するフローチャートである。画像符号化装置の主な構成例を示すブロック図である。直交変換部の主な構成例を示すブロック図である。プライマリ水平変換部の主な構成例を示すブロック図である。プライマリ垂直変換部の主な構成例を示すブロック図である。画像符号化処理の流れの例を説明するフローチャートである。直交変換処理の流れの例を説明するフローチャートである。プライマリ水平変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。プライマリ垂直変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。画像復号装置の主な構成例を示すブロック図である。逆直交変換部の主な構成例を示すブロック図である。逆プライマリ垂直変換部の主な構成例を示すブロック図である。逆プライマリ水平変換部の主な構成例を示すブロック図である。画像復号処理の流れの例を説明するフローチャートである。逆直交変換処理の流れの例を説明するフローチャートである。逆プライマリ垂直変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。逆プライマリ水平変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。プライマリ水平変換部の主な構成例を示すブロック図である。プライマリ垂直変換部の主な構成例を示すブロック図である。プライマリ水平変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。プライマリ垂直変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。逆プライマリ垂直変換部の主な構成例を示すブロック図である。逆プライマリ水平変換部の主な構成例を示すブロック図である。逆プライマリ垂直変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。逆プライマリ水平変換処理の流れの例を説明するフローチャートである。パワーシフト処理の流れの例を説明するフローチャートである。コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．適応直交変換
２．第１の実施の形態（画像処理装置（方法＃１））
３．第２の実施の形態（画像処理装置（方法＃１））
４．第３の実施の形態（画像処理装置（方法＃２））
５．第４の実施の形態（画像処理装置（方法＃２））
６．第５の実施の形態（画像符号化装置（方法＃１））
７．第６の実施の形態（画像復号装置（方法＃１））
８．第７の実施の形態（画像符号化装置（方法＃２））
９．第８の実施の形態（画像復号装置（方法＃２））
１０．付記

＜１．適応直交変換＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献５： B. Bross, "Versatile Video Coding (Draft 1) ", JVET-J1001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018
非特許文献６： Jiane Chen, Elena Alshina, "Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)" , JVET-J1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献４に記載されているQuad-Tree Block Structure、非特許文献１に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structure、非特許文献５乃至６に記載されているMulti-type (binary/ternay/quaternary) tree Block Strcture(BT/TT/QT coding block structureとも呼ぶ)が実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献１、非特許文献３、非特許文献４、非特許文献５、および非特許文献６に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。

また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。

＜適応直交変換＞
非特許文献１に記載のテストモデル（JEM4（Joint Exploration Test Model 4））においては、輝度の変換ブロックについて、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）、および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる１次元直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT（Adaptive Multiple core Transforms））が開示されている。なお、AMTは、EMT（Explicit Multiple core Transforms）とも称する。

非特許文献１では、プライマリ変換の候補として、DCT-II（DCT2）, DST-VII（DST7）, DCT-VIII（DCT8）, DST-I（DST1）, DCT-V（DCT5）の５つの１次元直交変換が提案されている。なお、それらに加えて、さらに、DST-IV（DST4）およびIDT（Identity Transform：１次元変換スキップ）の２つの１次元直交変換が追加され、計７つの１次元直交変換をプライマリ変換の候補とすることも提案されている。

また、非特許文献２においては、この非特許文献１において提案されている適応直交変換の変換(DCT5/DCT8/DST1/DST7)を、DCT2とその派生変換（フリップ、転置、符号反転でえられる）DCT3/DST2/DST3の変換行列をそれぞれベース変換行列として、前処理・後処理でスパース行列ADJ-X(X=1,2,3,4)と行列演算することで、近似することが開示されている。

しかしながら、非特許文献２に記載の方法の場合、DCT2/DCT3/DST2/DST3に対応する変換/逆変換のモジュールを用意する必要があり、回路規模が増大するおそれがあった。また、派生行列をフリップ/転置/符号反転の処理によって得る場合は遅延が増えるおそれがあった。これらにより、適応直交変換のコストが増大するおそれがあった。

＜変換行列の近似＞
そこで、変換タイプｘのNxNの変換行列T_N,xをNxNのベース変換行列T_N,base（例えば変換タイプDCT2のNxNのベース変換行列T_N,DCT2）とNxNのスパース行列IntA_N,xとによって近似する（図１）。

その際、周波数領域のパワーシフトを行うようにする（方法＃１）。例えば、図２のグラフに示されるように、周波数領域において、入力信号ｘを直交変換してえられる周波数成分のパワー（点線）を、補正後の周波数成分のパワー（実線）に変換する。その際、係数データのL2ノルムが補正前と後とで変化しないように、かつ、より低域に係数が集中するように、パワーの交換を行う。このようにすることにより、エナジーコンパクションを向上させ、符号化効率を向上させることができる。

より具体的には、例えば順方向の１次元変換の場合、入力信号Xをベース変換行列T_N,DCT2を用いて１次元変換し、１次元変換後の信号をスパース行列IntA_N,xを用いてパワーシフトする。また、例えば逆方向の１次元変換の場合、入力信号Xをスパース行列IntA_N,xを用いてパワーシフトし、パワーシフト後の信号をベース変換行列T_N,DCT2を用いて逆１次元変換する。

また、空間領域のパワーシフトを行うようにしてもよい（方法＃２）。例えば、DST7は、残差信号xiのパワーが図３のグラフの右側に集中している信号をより効率的に圧縮する特性がある。そこで、図３のグラフに示されるように、空間領域において、残差信号xiのパワー（点線）を、補正後の残差信号のパワー（実線）に変換する。その際、残差信号のL2ノルムが補正前と後とで変化しないように、かつ、より右側に係数が集中するように、パワーの交換を行う。すなわち、DST7で効率よく圧縮可能な残差信号へ補正することで、DST7で直交変換したときに、より低域の方へ信号が集まるようにすることができる。このようにすることにより、エナジーコンパクションを向上させ、符号化効率を向上させることができる。

より具体的には、例えば順方向の１次元変換の場合、入力信号Xをスパース行列IntA_N,xを用いてパワーシフトし、パワーシフト後の信号をベース変換行列T_N,DCT2を用いて１次元変換する。また、例えば逆方向の１次元変換の場合、入力信号Xをベース変換行列T_N,DCT2を用いて逆１次元変換し、逆１次元変換後の信号をスパース行列IntA_N,xを用いてパワーシフトする。

以上のようにすることにより、対象変換タイプと同等のエナジーコンパクションを実現することができる。また、符号化効率を維持しつつ、適応直交変換の実装コストを低減させることができる。また、演算量の削減、変換行列の保持に要するメモリサイズを削減することができる。また、ベース変換行列T_N,DCT2とある行列Aとの行列の積の演算を、バタフライ演算等の高速アルゴリズムにより実現すること可能となる。また、スパース行列IntA_N,Xとある行列Bとの行列の積の演算において、非ゼロ要素に限定して演算を行うことで、演算量削減が可能となる。

例えば、図４の表に示されるように、変換タイプDST7の変換行列T_N,DST7は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DST7とを用いて近似する。このように、変換タイプDST7のサイズNxNの変換行列（N-pt DST7）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DST7）の実装コストを削減することができる。

また、例えば、図４の表に示されるように、変換タイプDCT8の変換行列T_N,DCT8は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DCT8とを用いて近似する。このように、変換タイプDCT8のサイズNxNの変換行列（N-pt DCT8）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DCT8）の実装コストを削減することができる。

また、例えば、図４の表に示されるように、変換タイプDST1の変換行列T_N,DST1は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DST1とを用いて近似する。このように、変換タイプDST1のサイズNxNの変換行列（N-pt DST1）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DST1）の実装コストを削減することができる。

また、例えば、図４の表に示されるように、変換タイプDCT5の変換行列T_N,DCT5は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DCT5とを用いて近似する。このように、変換タイプDCT5のサイズNxNの変換行列（N-pt DCT5）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DCT5）の実装コストを削減することができる。

また、例えば、図４の表に示されるように、変換タイプDCT4の変換行列T_N,DCT4は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DCT4とを用いて近似する。このように、変換タイプDCT4のサイズNxNの変換行列（N-pt DCT4）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DCT4）の実装コストを削減することができる。

また、例えば、図４の表に示されるように、変換タイプDST4の変換行列T_N,DST4は、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DST4とを用いて近似する。このように、変換タイプDST4のサイズNxNの変換行列（N-pt DST4）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DST4）の実装コストを削減することができる。

近似することができる変換タイプは任意であり、上述の例に限定されない。つまり、図４の表に示されるように、ｘをCまはたSとし、ｙを任意の値とすると、変換タイプDxTyの変換行列T_N,DxTyは、変換タイプDCT2のベース変換行列T_N,DCT2と、スパース行列IntA_N,DxTyとを用いて近似することができる。このように、変換タイプDxTyのサイズNxNの変換行列（N-pt DxTy）を、変換タイプDCT2のサイズNxNの変換行列（N-pt DCT2）とスパース行列との組み合わせにより表現する（近似する）ことにより、符号効率を維持しつつ、変換行列（N-pt DxTy）の実装コストを削減することができる。

以上のように、係数変換（例えば直交変換）に用いられる全ての変換タイプの変換行列を、変換タイプDCT2のベース変換行列とスパース行列を用いて近似する。なお、このベース変換行列の変換タイプは任意でありDCT2に限定されない。つまり、係数変換（例えば直交変換）に用いられる全ての変換タイプの変換行列を、１つの変換タイプのベース変換行列とスパース行列を用いて近似するようにする。したがって、実装コストの増大を抑制することができる。

＜行列演算（方法＃１）＞
次に、上述の方法＃１（周波数領域におけるパワーシフトを伴う方法）により、DCT2の変換行列とスパース行列とを用いてその他の変換タイプの変換行列を近似するための行列演算の例について説明する。近似対象である変換タイプtgtのサイズNxNの変換行列（対象変換行列とも称する）をT_N,tgtとし、変換タイプDCT2のサイズNxNの変換行列をT_N,DCT2とする。このとき、対象変換行列T_N,tgtは、あるサイズNxNのスパース行列A_Nと、変換タイプDCT2のサイズNxNの変換行列T_N,DCT2によって、以下の式（１）のように表すことができる。

この式（１）に、変換行列T_N,DCT2の逆変換(T_N,DCT2)^-1（＝(T_N,DCT2)^t）を両辺に（右側から）かけることで、以下の式（２）のように、スパース行列A_N,tgtを求めることができる。

すなわち、スパース行列A_Nは、対象変換行列T_N,tgtと変換行列T_N,DCT2の転置行列との行列の積によって表現される。換言するに、スパース行列A_Nは、対象変換行列T_N,tgtの右側から変換行列T_N,DCT2の転置行列を作用させることで得られる。実装上は、スパース行列A_Nを、整数精度に近似するため、上述の式（２）は、以下の式（３）のように変形される。式（３）において、スパース行列IntA_Nは、整数精度のスパース行列A_Nを示し、例えば、スパース行列A_Nに所定のスケーリング係数S（=2^s）を乗算し、その乗算結果に対してround関数を適用して小数点以下を四捨五入することで得ることができる。

実数精度のスパース行列A_N,tgtは、以下の式（４）に示されるように、整数精度のスパース行列IntA_N,tgtとシフト演算によって近似される。

従って、式（１）に、式（４）を代入すると、以下の式（５）のように、対象変換行列T_N,tgtを、整数精度のスパース行列IntA_N,tgt、変換タイプDCT2の変換行列T_N,DCT2、およびシフト演算により近似することができる。

＜スパース行列＞
例えば、S = 2^s, where s=2, N=8として、上述の手法によって求めた8-pt DCT2の変換行列から、8-pt DCT5/DCT8/DST1/DST7の変換行列を近似するs-bit整数精度のスパース行列IntA_N,tgtの例を図５に示す。図５のＡに8-pt DST7の変換行列を近似するためのスパース行列IntA_N,DST7の一例を示す。図５のＢに8-pt DCT8の変換行列を近似するためのスパース行列IntA_N,DCT8の一例を示す。図５のＣに8-pt DST1の変換行列を近似するためのスパース行列IntA_N,DST1の一例を示す。図５のＤに8-pt DCT5の変換行列を近似するためのスパース行列IntA_N,DCT5の一例を示す。

図５に示されるように、スパース行列IntA_N,tgtは、複数の（多数の）ゼロ要素を含み、非ゼロ要素は、主に対角成分とその周辺に位置するという特徴を有する。従って、スパース行列IntA_N,tgtと行列Xとの行列の積に関する演算は、スパース行列IntA_N,tgtの非ゼロ要素に関するものを行えばよい（ゼロ要素に関する演算は省略することができる）ので、その処理量（演算量）を低減させることができる。つまり、この演算に関するCPUやメモリ等の負荷の増大を抑制することができる。また、DCT2はバタフライ演算等の高速アルゴリズムが存在する。したがって、DCT5/DCT8/DST1/DST7の変換行列を、上述のようにスパース行列とDCT2の変換行列に分解することで、より高速に行列演算を行うことが可能となる。

同様に、8-pt DCT4/DST4を近似するスパース行列の一例を図６に示す。図６のＡに8-pt DCT4の変換行列を近似するためのスパース行列IntA_N,DCT4の一例を示す。図６のＢに8-pt DST4の変換行列を近似するためのスパース行列IntA_N,DST4の一例を示す。なお、DCT4/DST4を近似するためのスパース行列は、疎ではあるが、図５の各例に比べてゼロ係数の要素が少ないため、演算量削減効果は図５の各例の方が大きい。

なお、式（２）で得られたスパース行列A_N,tgtに対して、各行ベクトル毎に、各要素の値(非ゼロ)の絶対値の大きい順に上位n個(0<n<N)の要素のみを残し、それ以外の要素の値を０へ置き換える操作（疑似コード (Ａ１)）をしてもよい。この操作を加えることで、各行ベクトルの非ゼロ要素の数をn個に明示的に制限したスパース行列A^* _N,tgtを得ることができる。得られた各行ベクトルの非ゼロ要素の数がn個に制限されたスパース行列A^* _N,tgtを式（３）に代入して、整数近似されたスパース行列を取得してもよい。なお、疑似コード(A1)に限定されず、OMP(Orthogornal Matching Persuit)によりスパース行列を導出してもよい。こうすることで、各行ベクトルの非ゼロ要素の数をn個へ制限した、より精度の高いスパース行列を導出することが可能となる。

/** 疑似コード(A1) 開始 **/
入力:
srcMat: 入力行列 (NxN)
K: 非ゼロ要素の数
出力:
dstMat: 出力行列 (NxN)
処理:
// 入力行列(NxN)と同じサイズのすべての要素がゼロの出力行列(NxN)を確保
dstMat = np.zeros( [N, N] )

// 各行ベクトル毎の処理
for colIdx in range(0, N, 1):
// 第colIdx行の行ベクトルをtgt_vecへ設定する
tgt_vec = srcMat[colIdx,:]

// 行ベクトルtgt_vecから要素の絶対値の大きい順で上位K個の要素
//のインデックスを取得する
indices = np.argpartition(-np.abs(tgt_vec)), K)[:K]

//絶対値の大きい順でK番目の非ゼロ要素の絶対値を閾値threshへ設定する
thresh = np.min (np.abs(tgt_vec)[indices])

//非ゼロ要素の絶対値が閾値thresh未満の要素をゼロにする
tgt_vec[ np.abs(tgt_vec) < thresh ] = 0

// 出力行列の第colIdx行の行ベクトルへ非ゼロ要素の数を制限した
// 行ベクトル tgt_vecを設定する
dstMat[colIdx,:] = tgt_vec
/** 疑似コード終わり **/

例えば、S=2^s, where s=6, N=8として、疑似コード(A1)を、上述の手法の式（２）乃至式（３）の間へ追加して、非ゼロ要素の数n=3へ制限された、8-pt DCT2の変換行列から、8-pt DCT5/DCT8/DST1/DST7の変換行列を近似するs-bit整数精度のスパース行列IntA_N,tgtを導出した場合、図５と比較して、各行ベクトルの非ゼロ要素の数をn個へ制限した、より精度の高いスパース行列を導出することが可能となる。

同様に、同手法による8-pt DCT4/DST4を近似するスパース行列を導出した場合、図６と比較して、各行ベクトルの非ゼロ要素の数をn個へ制限した、より精度の高いスパース行列を導出することが可能となる。

なお、N-pt DCT4の変換行列は、2N-pt DCT2をODD/EVEN分解して、ODD行列（低次）を取り出すことでも得られる。また、N-pt DST4の変換行列は、そのように得られたN-pt DCT4を適宜、フリップ、符号反転をすることで得ることもできる。

＜行列演算（方法＃２）＞
次に、上述の方法＃２（空間領域におけるパワーシフトを伴う方法）により、DCT2の変換行列とスパース行列とを用いてその他の変換タイプの変換行列を近似するための行列演算の例について説明する。

対象変換行列TN,tgtは、上述の式（１）の例以外にも、例えば、以下の式（６）のように、DCT2の変換行列T_N,DCT2の右側からスパース行列A_Nを作用させることによっても表すことができる。

従って、この式（６）に、変換行列T_N,DCT2の逆変換(T_N,DCT2)^-1（=(T_N,DCT2)^t）を両辺に（左側から）かけることで、以下の式（７）のように、スパース行列A_N,tgtを求めることができる。

すなわち、スパース行列A_Nは、変換行列T_N,DCT2の転置行列と対象変換行列T_N,tgtとの行列の積によって表現される。換言するに、スパース行列A_Nは、対象変換行列T_N,tgtの左側から変換行列T_N,DCT2の転置行列を作用させることで得られる。スパース行列A_Nを、整数精度に近似するため、上述の式（７）は、以下の式（８）のように変形される。式（８）において、スパース行列IntA_Nは、整数精度のスパース行列A_Nを示し、例えば、そのスパース行列A_Nに所定のスケーリング係数S（= 2^s）を乗算し、その乗算結果に対してround関数を適用して小数点以下を四捨五入することにより得られる。なお、式（７）で得られたスパース行スパース行列A_N,tgtに対して、列ベクトル毎に、各要素の値(非ゼロ)の絶対値の大きい順に上位n個(0<n<N)の要素のみを残し、それ以外の要素の値を０へ置き換える操作(疑似コード(A1)の操作を、行ベクトルを対象とした部分を、列ベクトルへ修正すればよい)を行ってから、式（８）により整数精度のスパース行列を導出してもよい。こうすることで、各列ベクトルの非ゼロ要素の数をn個へ制限した、より精度の高いスパース行列を導出することが可能となる。

実数精度のスパース行列A_N,tgtは、上述の式（４）のように整数精度のスパース行列IntA_N,tgtとシフト演算によって近似される。従って、上述の式（６）にその式（４）を代入すると、以下の式（９）のように、対象変換行列T_N,tgtを、整数精度のスパース行列IntA_N,tgt、DCT2の変換行列T_N,DCT2、およびシフト演算により近似することができる。

＜２．第１の実施の形態＞
＜画像処理装置＞
次に、以上のような変換行列の近似（方法＃１）を適用した順方向の係数変換を実現するための構成や処理について説明する。図７は、本技術を適用した画像処理装置の主な構成の一例を示すブロック図である。図７に示される画像処理装置１００は、画像データを係数データに変換する係数変換を行う装置である。

図７に示されるように、画像処理装置１００は、変換行列設定部１０１および変換部１０２を有する。変換行列設定部１０１は、変換部１０２による係数変換に用いられる変換行列の設定に関する処理を行う。例えば、変換行列設定部１０１は、変換タイプやブロックサイズに基づいて、係数変換に用いられるベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列に対応するシフト量S_IntAxを設定する。変換行列設定部１０１は、設定したそれらのパラメータを変換部１０２に供給する。

変換部１０２は、画像データを順方向に１次元変換し、係数データを生成する。変換部１０２は、変換行列設定部１０１により設定された（変換行列設定部１０１から供給された）ベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列に対応するシフト量S_IntAxを用いてその１次元変換を行う。

変換行列設定部１０１は、サイズ判定部１１１、ベース変換行列設定部１１２、フラグ設定部１１３、スパース行列設定部１１４、ベース変換行列LUT（Look Up Table）１２１、およびスパース行列LUT１２２を有する。

サイズ判定部１１１は、外部より供給されるブロックサイズを示す情報を取得し、その情報に基づいて、１次元変換の処理対象ブロックのブロックサイズを閾値判定する。つまり、サイズ判定部１１１は、処理対象ブロックが予め定められた所定の閾値より大きいか否かを判定する。サイズ判定部１１１は、その判定結果をベース変換行列設定部１１２乃至スパース行列設定部１１４に供給する。

ベース変換行列設定部１１２は、サイズ判定部１１１から供給される処理対象ブロックのブロックサイズの判定結果と、外部より供給される１次元変換の変換タイプの識別子TrTypeIdxに基づいて、１次元変換に用いるベース変換行列T_X（１次元変換の変換タイプの変換行列の近似に用いるベース変換行列T_X）を設定し、そのベース変換行列T_Xをベース変換行列LUT１２１より取得する。ベース変換行列設定部１１２は、その取得したベース変換行列T_Xを変換部１０２（係数変換部１３１）に供給する。

フラグ設定部１１３は、サイズ判定部１１１から供給される処理対象ブロックのブロックサイズの判定結果と、外部より供給される１次元変換の変換タイプの識別子TrTypeIdxに基づいて、スパース行列有無フラグsparsePresentFlagを設定する。スパース行列有無フラグsparsePresentFlagは、１次元変換の変換タイプの変換行列の近似にスパース行列を用いるか否か（適用可能なスパース行列が存在するか否か）を示すフラグ情報である。フラグ設定部１１３は、設定したスパース行列有無フラグsparsePresentFlagを変換部１０２（スイッチ１３２）に供給する。

スパース行列設定部１１４は、サイズ判定部１１１から供給される処理対象ブロックのブロックサイズの判定結果と、外部より供給される１次元変換の変換タイプの識別子TrTypeIdxに基づいて、１次元変換に用いるスパース行列IntA_X（１次元変換の変換タイプの変換行列の近似に用いるスパース行列IntA_X）を設定し、そのスパース行列IntA_Xをスパース行列LUT１２２より取得する。また、スパース行列設定部１１４は、その設定したスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。スパース行列設定部１１４は、その取得したベース変換行列T_Xと、設定したシフト量S_IntAxとを変換部１０２（パワーシフト部１３３）に供給する。

ベース変換行列設定部１１２乃至スパース行列設定部１１４は、例えば図８および図９に示されるようなテーブル情報DRV_TRANSMAT_TBLを予め有しており、そのテーブル情報DRV_TRANSMAT_TBLに基づいて上述のパラメータを設定する。

図８および図９は、変換タイプDCT2,DST7,DCT8,DST1,DCT5の変換行列を近似する場合のテーブル情報DRV_TRANSMAT_TBLの例を示している。図８は、ブロックサイズが閾値以上の場合に参照されるテーブル情報DRV_TRANSMAT_TBLの例を示し、図９は、ブロックサイズが閾値より小さい場合に参照されるテーブル情報DRV_TRANSMAT_TBLの例を示している。

例えば、サイズ判定部１１１により処理対象ブロックのサイズが閾値以上であると判定された場合、ベース変換行列設定部１１２は、図８のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応するベース変換行列T_Xを設定する。また、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagを、図８のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応する値に設定する。さらに、スパース行列設定部１１４は、図８のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応するスパース行列IntA_Xを設定し、その設定したスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。

例えば、TrTypeIdxが「１」の場合、ベース変換行列設定部１１２は、ベース変換行列T_N,DCT2を設定し、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagをTrueに設定し、スパース行列設定部１１４は、スパース行列IntA_N,DST7を設定する。他の変換タイプの場合も同様である。

なお、DCT8は、DST7のフリップしたFlipDST7等に置き換えてもよい。

これに対して例えば、サイズ判定部１１１により処理対象ブロックのサイズが閾値未満であると判定された場合、ベース変換行列設定部１１２は、同様に、図９のテーブル情報DRV_TRANSMAT_TBLに基づいてベース変換行列T_Xを設定する。また、フラグ設定部１１３も、同様に、図９のテーブル情報DRV_TRANSMAT_TBLに基づいてスパース行列有無フラグsparsePresentFlagの値を設定する。さらに、スパース行列設定部１１４も、同様に、図９のテーブル情報DRV_TRANSMAT_TBLに基づいてスパース行列IntA_Xを設定し、その設定したスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。

例えば、TrTypeIdxが「１」の場合、ベース変換行列設定部１１２は、ベース変換行列T_N,DST7を設定し、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagをFalseに設定し、スパース行列設定部１１４は、スパース行列を設定しない（N/A）。他の変換タイプの場合も同様である。

なお、DCT8は、DST7をフリップしたFlipDST7等に置き換えてもよい。また、DCT5は、DCT2に置き換えてもよい。さらに、DST1は、DST2に置き換えてもよい。

テーブル情報DRV_TRANSMAT_TBLは任意であり、上述の図８および図９の例に限定されない。図１０および図１１は、テーブル情報DRV_TRANSMAT_TBLの他の例を示す。図１０および図１１に示されるテーブル情報DRV_TRANSMAT_TBLは、変換タイプDCT2,DST7,DCT8,DCT4,DST4,DST1の変換行列を近似する場合の例を示している。図１０は、ブロックサイズが閾値以上の場合に参照されるテーブル情報DRV_TRANSMAT_TBLの例を示し、図１１は、ブロックサイズが閾値より小さい場合に参照されるテーブル情報DRV_TRANSMAT_TBLの例を示している。

例えば、サイズ判定部１１１により処理対象ブロックのサイズが閾値以上であると判定された場合、ベース変換行列設定部１１２は、図１０のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応するベース変換行列T_Xを設定する。また、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagを、図１０のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応する値に設定する。さらに、スパース行列設定部１１４は、図１０のテーブル情報DRV_TRANSMAT_TBLにおいて変換タイプの識別子TrTypeIdxに対応するスパース行列IntA_Xを設定し、その設定したスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。

例えば、TrTypeIdxが「４」の場合、ベース変換行列設定部１１２は、ベース変換行列T_N,DCT2を設定し、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagをTrueに設定し、スパース行列設定部１１４は、スパース行列IntA_N,DCT4を設定する。他の変換タイプの場合も同様である。

なお、DCT8は、DST7をフリップしたFlipDST7等に置き換えてもよい。また、DST4は、DCT4をフリップしたFlipDCT4等に置き換えてもよい。

これに対して例えば、サイズ判定部１１１により処理対象ブロックのサイズが閾値未満であると判定された場合、ベース変換行列設定部１１２は、同様に、図１１のテーブル情報DRV_TRANSMAT_TBLに基づいてベース変換行列T_Xを設定する。また、フラグ設定部１１３も、同様に、図１１のテーブル情報DRV_TRANSMAT_TBLに基づいてスパース行列有無フラグsparsePresentFlagの値を設定する。さらに、スパース行列設定部１１４も、同様に、図１１のテーブル情報DRV_TRANSMAT_TBLに基づいてスパース行列IntA_Xを設定し、その設定したスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。

例えば、TrTypeIdxが「４」の場合、ベース変換行列設定部１１２は、ベース変換行列T_N,DCT4を設定し、フラグ設定部１１３は、スパース行列有無フラグsparsePresentFlagをFalseに設定し、スパース行列設定部１１４は、スパース行列を設定しない（N/A）。他の変換タイプの場合も同様である。

なお、DCT8は、DST7のフリップしたFlipDST7等に置き換えてもよい。また、DST4は、FlipDCT4に置き換えてもよい。さらに、DST1は、DST2に置き換えてもよい。

以上のように、処理対象ブロックのサイズに応じて参照するテーブル情報DRV_TRANSMAT_TBLを使い分けることにより、処理対象ブロックが所定の閾値よりも大きい場合のみ、ベース変換行列とスパース行列とを用いた変換行列の近似を適用するようにすることができる。もちろん、全てのブロックサイズの処理対象ブロックに対して、ベース変換行列とスパース行列とを用いた変換行列の近似を適用するようにしてもよい。その場合、処理対象ブロックのサイズに関わらず、同一のテーブル情報DRV_TRANSMAT_TBL（例えば図８または図１０のテーブル情報DRV_TRANSMAT_TBL）が参照されるようにすればよい。

図７に戻り、ベース変換行列LUT１２１は、ハードディスクまたは半導体メモリ等の任意の記憶媒体を有しており、その記憶媒体に、候補となるベース変換行列T_Xを記憶する。ベース変換行列LUT１２１は、要求されたベース変換行列T_Xを、その要求元のベース変換行列設定部１１２に供給する。

スパース行列LUT１２２は、ハードディスクまたは半導体メモリ等の任意の記憶媒体を有しており、その記憶媒体に、候補となるスパース行列IntA_Xを記憶する。スパース行列LUT１２２は、要求されたスパース行列IntA_Xを、その要求元のスパース行列設定部１１４に供給する。

図７に示されるように、変換部１０２は、係数変換部１３１、スイッチ１３２、パワーシフト部１３３、および出力部１３４を有する。

係数変換部１３１は、変換行列設定部１０１（ベース変換行列設定部１１２）から供給されるベース変換行列T_Xを取得し、そのベース変換行列T_Xを用いて、入力される空間領域の画像データを順方向に１次元変換し、周波数領域の係数データを生成する。係数変換部１３１は、生成した係数データをスイッチ１３２に供給する。

スイッチ１３２は、変換行列設定部１０１（フラグ設定部１１３）から供給されるスパース行列有無フラグsparsePresentFlagを取得し、そのスパース行列有無フラグsparsePresentFlagに基づいて、係数変換部１３１から供給された係数データの供給先を制御する。例えば、スパース行列有無フラグsparsePresentFlagの値がTrueの場合、スイッチ１３２は、その係数データをパワーシフト部１３３に供給する。また、例えば、スパース行列有無フラグsparsePresentFlagの値がFalseの場合、スイッチ１３２は、その係数データを出力部１３４に供給する。つまり、スイッチ１３２は、スパース行列有無フラグsparsePresentFlagの値に応じて、周波数領域におけるパワーシフトを行うか否かを制御する。

パワーシフト部１３３は、変換行列設定部１０１（スパース行列設定部１１４）から供給されるスパース行列IntA_Xとシフト量S_IntAxとを取得し、それらに基づいて、スイッチ１３２から供給される係数データのパワーシフト（すなわち、周波数領域におけるパワーシフト）を行う。パワーシフト部１３３は、パワーシフトが行われた係数データを出力部１３４に供給する。

出力部１３４は、スイッチ１３２から供給される係数データ、または、パワーシフト部１３３から供給されるパワーシフトされた係数データを出力する。

＜画像処理の流れ＞
図７の画像処理装置１００により実行される画像処理の流れの例を、図１２のフローチャートを参照して説明する。画像処理が開始されると、変換行列設定部１０１は、ステップＳ１０１において、ベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。ステップＳ１０２において、変換部１０２は、ステップＳ１０１において設定されたベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列IntA_Xに対応するシフト量S_IntAxを用いて、空間領域の画像データを順方向に１次元変換し、周波数領域の係数データを生成する。ステップＳ１０２の処理が終了すると画像処理が終了する。

＜設定処理の流れ＞
次に、図１３のフローチャートを参照して、図１２のステップＳ１０１において実行される設定処理の流れの例を説明する。設定処理が開始されると、サイズ判定部１１１は、ステップＳ１１１において、処理対象ブロックのサイズを示す情報に基づいて、処理対象ブロックのサイズを判定する。

ステップＳ１１２において、ベース変換行列設定部１１２は、処理対象ブロックのブロックサイズを示す情報、および、変換タイプの識別情報TrTypeIdxに基づいて、それらに対応するベース変換行列T_Xを設定する。

ステップＳ１１３において、フラグ設定部１１３は、処理対象ブロックのブロックサイズを示す情報、および、変換タイプの識別情報TrTypeIdxに基づいて、それらに対応するスパース行列有無フラグsparsePresentFlagの値を設定する。

ステップＳ１１４において、スパース行列設定部１１４は、処理対象ブロックのブロックサイズを示す情報、および、変換タイプの識別情報TrTypeIdxに基づいて、スパース行列IntA_Xが存在するか否かを判定する。スパース行列IntA_Xが存在すると判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５において、スパース行列設定部１１４は、処理対象ブロックのブロックサイズを示す情報、および、変換タイプの識別情報TrTypeIdxに基づいて、それらに対応するスパース行列IntA_Xを設定する。

ステップＳ１１６において、スパース行列設定部１１４は、ステップＳ１１５において設定されたスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。ステップＳ１１６の処理が終了すると、処理はステップＳ１１８に進む。

また、ステップＳ１１４において、スパース行列が存在しないと判定された場合、処理はステップＳ１１７に進む。ステップＳ１１７において、スパース行列設定部１１４は、スパース行列としてNULLを設定する。ステップＳ１１７の処理が終了すると処理はステップＳ１１８に進む。

ステップＳ１１８において、ベース変換行列設定部１１２は、設定したベース変換行列T_Xを係数変換部１３１に出力する。また、フラグ設定部１１３は、設定したスパース行列有無フラグsparsePresentFlagをスイッチ１３２に出力する。さらに、スパース行列設定部１１４は、設定したスパース行列IntA_Xおよびシフト量S_IntAxをパワーシフト部１３３に出力する。なお、この処理は、設定されていないパラメータについては省略される。ステップＳ１１８の処理が終了すると設定処理が終了し、処理は図１２に戻る。

＜変換処理の流れ＞
次に、図１２のステップＳ１０２において実行される変換処理の流れの例を、図１４のフローチャートを参照して説明する。変換処理が開始されると、係数変換部１３１は、ステップＳ１３１において、ベース変換行列設定部１１２により設定されたベース変換行列T_Xを用いて、空間領域の画像データを順方向に１次元変換し、周波数領域の係数データを得る。

ステップＳ１３２において、スイッチ１３２は、フラグ設定部１１３により設定されたスパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ１３３に進む。

ステップＳ１３３において、パワーシフト部１３３は、スパース行列IntA_Xおよびシフト量S_IntAxを用いて、ステップＳ１３１において生成された係数データをパワーシフト（周波数領域におけるパワーシフト）する。ステップＳ１３３の処理が終了すると処理はステップＳ１３４に進む。

また、ステップＳ１３２において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ１３３の処理が省略され、処理はステップＳ１３４に進む。

ステップＳ１３４において、出力部１３４は、ステップＳ１３１において生成された係数データ、または、ステップＳ１３３においてパワーシフトされた係数データを出力する。ステップＳ１３４の処理が終了すると変換処理が終了し、処理は図１２に戻る。

以上のようにすることにより、画像処理装置１００は、順方向の１次元変換に用いられる変換行列を、ベース変換行列T_X、スパース行列IntA_X、およびシフト量S_IntAxを用いて近似することができる。したがって、対象変換タイプと同等のエナジーコンパクションを実現し、符号化効率を維持しながら、適応直交変換のコストの増大を抑制することができる。

＜３．第２の実施の形態＞
＜画像処理装置＞
次に、以上のような変換行列の近似（方法＃１）を適用した逆方向の係数変換を実現するための構成や処理について説明する。図１５は、本技術を適用した画像処理装置の主な構成の一例を示すブロック図である。図１５に示される画像処理装置１５０は、係数データを画像データに変換する係数逆変換を行う装置である。

図１５に示されるように、画像処理装置１５０は、変換行列設定部１０１および逆変換部１５２を有する。変換行列設定部１０１は、画像処理装置１００の場合と同様に、ベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列に対応するシフト量S_IntAxを設定し、それらを逆変換部１５２に供給する。

逆変換部１５２は、変換部１０２が行う係数変換の逆処理（逆変換）を行う。より具体的には、逆変換部１５２は、画像データが順方向に１次元変換されて生成される係数データを逆方向に１次元変換し、画像データを生成（復元）する。逆変換部１５２は、変換行列設定部１０１により設定された（変換行列設定部１０１から供給された）ベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列に対応するシフト量S_IntAxを用いてその１次元変換を行う。

逆変換部１５２は、スイッチ１６１、パワーシフト部１６２、係数逆変換部１６３、および出力部１６４を有する。

スイッチ１６１は、変換行列設定部１０１（フラグ設定部１１３）から供給されるスパース行列有無フラグsparsePresentFlagを取得し、そのスパース行列有無フラグsparsePresentFlagに基づいて、入力される周波数領域の係数データの供給先を制御する。例えば、スパース行列有無フラグsparsePresentFlagの値がTrueの場合、スイッチ１６１は、その係数データをパワーシフト部１６２に供給する。また、例えば、スパース行列有無フラグsparsePresentFlagの値がFalseの場合、スイッチ１６１は、その係数データを係数逆変換部１６３に供給する。つまり、スイッチ１６１は、スパース行列有無フラグsparsePresentFlagの値に応じて、周波数領域におけるパワーシフトを行うか否かを制御する。

パワーシフト部１６２は、変換行列設定部１０１（スパース行列設定部１１４）から供給されるスパース行列IntA_Xとシフト量S_IntAxとを取得し、それらに基づいて、スイッチ１６１から供給される係数データのパワーシフト（すなわち、周波数領域におけるパワーシフト）を行う。パワーシフト部１６２は、パワーシフトが行われた係数データを係数逆変換部１６３に供給する。

係数逆変換部１６３は、変換行列設定部１０１（ベース変換行列設定部１１２）から供給されるベース変換行列T_Xを取得し、そのベース変換行列T_Xを用いて、スイッチ１６１から供給される係数データ、または、パワーシフト部１６２から供給されるパワーシフトされた係数データを逆方向に１次元変換し、空間領域の画像データを生成する。係数逆変換部１６３は、生成した画像データを出力部１６４に供給する。

出力部１６４は、係数逆変換部１６３から供給された画像データを出力する。

＜画像処理の流れ＞
図１５の画像処理装置１５０により実行される画像処理の流れの例を、図１６のフローチャートを参照して説明する。画像処理が開始されると、変換行列設定部１０１は、ステップＳ１５１において、ベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。ステップＳ１５２において、逆変換部１５２は、ステップＳ１５１において設定されたベース変換行列T_X、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、およびそのスパース行列IntA_Xに対応するシフト量S_IntAxを用いて、係数データを逆方向に１次元変換し、画像データを生成する。ステップＳ１５２の処理が終了すると画像処理が終了する。

＜逆変換処理の流れ＞
図１６のステップＳ１５１において実行される設定処理は、図１３のフローチャートと同様の流れで行われる。次に、図１６のステップＳ１５２において実行される逆変換処理の流れの例を、図１７のフローチャートを参照して説明する。逆変換処理が開始されると、スイッチ１６１は、ステップＳ１６１において、フラグ設定部１１３により設定されたスパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ１６２に進む。

ステップＳ１６２において、パワーシフト部１６２は、スパース行列IntA_Xおよびシフト量S_IntAxを用いて、周波数領域の係数データをパワーシフト（周波数領域におけるパワーシフト）する。ステップＳ１６２の処理が終了すると処理はステップＳ１６３に進む。また、ステップＳ１６１において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ１６２の処理が省略され、処理はステップＳ１６３に進む。

ステップＳ１６３において、係数逆変換部１６３は、ベース変換行列設定部１１２により設定されたベース変換行列T_Xを用いて、周波数領域の係数データ（スイッチ１６１から供給された係数データ）を逆方向に１次元変換し、空間領域の画像データを得る。

ステップＳ１６４において、出力部１６４は、ステップＳ１６３において生成された画像データを出力する。ステップＳ１６４の処理が終了すると逆変換処理が終了し、処理は図１６に戻る。

以上のようにすることにより、画像処理装置１５０は、逆方向の１次元変換に用いられる変換行列を、ベース変換行列T_X、スパース行列IntA_X、およびシフト量S_IntAxを用いて、上述の方法＃１により近似することができる。したがって、対象変換タイプと同等のエナジーコンパクションを実現し、符号化効率を維持しながら、適応直交変換のコストの増大を抑制することができる。

＜４．第３の実施の形態＞
＜画像処理装置＞
次に、以上のような変換行列の近似（方法＃２）を適用した順方向の係数変換を実現するための構成や処理について説明する。この場合の画像処理装置１００の主な構成例を図１８に示す。

図１８に示されるように、この場合、変換部１０２のスイッチ１３２は、変換行列設定部１０１（フラグ設定部１１３）から供給されるスパース行列有無フラグsparsePresentFlagを取得し、そのスパース行列有無フラグsparsePresentFlagに基づいて、入力される空間領域の画像データの供給先を制御する。例えば、スパース行列有無フラグsparsePresentFlagの値がTrueの場合、スイッチ１３２は、その画像データをパワーシフト部１３３に供給する。また、例えば、スパース行列有無フラグsparsePresentFlagの値がFalseの場合、スイッチ１３２は、その画像データを係数変換部１３１に供給する。つまり、スイッチ１３２は、スパース行列有無フラグsparsePresentFlagの値に応じて、空間領域におけるパワーシフトを行うか否かを制御する。

パワーシフト部１３３は、変換行列設定部１０１（スパース行列設定部１１４）から供給されるスパース行列IntA_Xとシフト量S_IntAxとを取得し、それらに基づいて、画像データのパワーシフト（空間領域におけるパワーシフト）を行う。パワーシフト部１３３は、パワーシフトが行われた画像データを係数変換部１３１に供給する。

係数変換部１３１は、変換行列設定部１０１（ベース変換行列設定部１１２）から供給されるベース変換行列T_Xを取得し、そのベース変換行列T_Xを用いて、スイッチ１３２から供給される画像データ、または、パワーシフト部１３３から供給されるパワーシフトされた画像データを、順方向に１次元変換し、周波数領域の係数データを生成する。係数変換部１３１は、生成した係数データを出力部１３４に供給する。

出力部１３４は、係数変換部１３１から供給される係数データを出力する。

＜変換処理の流れ＞
この場合、画像処理は、図１２のフローチャートの場合と同様の流れで行われる。また、設定処理は、図１３のフローチャートの場合と同様の流れで行われる。

次に、図１８の場合の画像処理装置１００により図１２のステップＳ１０２において実行される変換処理の流れの例を、図１９のフローチャートを参照して説明する。変換処理が開始されると、スイッチ１３２は、ステップＳ１７１において、フラグ設定部１１３により設定されたスパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ１７２に進む。

ステップＳ１７２において、パワーシフト部１３３は、スパース行列IntA_Xおよびシフト量S_IntAxを用いて、空間領域の画像データをパワーシフト（空間領域におけるパワーシフト）する。ステップＳ１７２の処理が終了すると処理はステップＳ１７３に進む。また、ステップＳ１７１において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ１７２の処理が省略され、処理はステップＳ１７３に進む。

ステップＳ１７３において、係数変換部１３１は、ベース変換行列T_Xを用いて、画像データを順方向に１次元変換し、周波数領域の係数データを得る。

ステップＳ１７４において、出力部１３４は、ステップＳ１７３において生成された係数データを出力する。ステップＳ１７４の処理が終了すると変換処理が終了し、処理は図１２に戻る。

以上のようにすることにより、画像処理装置１００は、順方向の１次元変換に用いられる変換行列を、ベース変換行列T_X、スパース行列IntA_X、およびシフト量S_IntAxを用いて、上述の方法＃２により近似することができる。したがって、対象変換タイプと同等のエナジーコンパクションを実現し、符号化効率を維持しながら、適応直交変換のコストの増大を抑制することができる。

＜５．第４の実施の形態＞
＜画像処理装置＞
次に、以上のような変換行列の近似（方法＃２）を適用した逆方向の係数変換を実現するための構成や処理について説明する。この場合の画像処理装置１５０の主な構成の一例を図２０に示す。

図２０に示されるように、この場合、逆変換部１５２の係数逆変換部１６３は、変換行列設定部１０１（ベース変換行列設定部１１２）から供給されるベース変換行列T_Xを取得し、そのベース変換行列T_Xを用いて、入力される周波数領域の係数データを逆方向に１次元変換し、空間領域の画像データを生成する。係数逆変換部１６３は、生成した画像データをスイッチ１６１に供給する。

スイッチ１６１は、変換行列設定部１０１（フラグ設定部１１３）から供給されるスパース行列有無フラグsparsePresentFlagを取得し、そのスパース行列有無フラグsparsePresentFlagに基づいて、係数逆変換部１６３から供給される画像データの供給先を制御する。例えば、スパース行列有無フラグsparsePresentFlagの値がTrueの場合、スイッチ１６１は、その画像データをパワーシフト部１６２に供給する。また、例えば、スパース行列有無フラグsparsePresentFlagの値がFalseの場合、スイッチ１６１は、その画像データを出力部１６４に供給する。つまり、スイッチ１６１は、スパース行列有無フラグsparsePresentFlagの値に応じて、空間領域におけるパワーシフトを行うか否かを制御する。

パワーシフト部１６２は、変換行列設定部１０１（スパース行列設定部１１４）から供給されるスパース行列IntA_Xとシフト量S_IntAxとを取得し、それらに基づいて、スイッチ１６１から供給される画像データのパワーシフト（すなわち、空間領域におけるパワーシフト）を行う。パワーシフト部１６２は、パワーシフトが行われた画像データを出力部１６４に供給する。

出力部１６４は、スイッチ１６１から供給される画像データ、または、パワーシフト部１６２から供給されるパワーシフトされた画像データを出力する。

＜逆変換処理の流れ＞
この場合、画像処理は、図１６のフローチャートの場合と同様の流れで行われる。また、設定処理は、図１３のフローチャートの場合と同様の流れで行われる。

次に、図２０の場合の画像処理装置１５０により図１６のステップＳ１５２において実行される逆変換処理の流れの例を、図２１のフローチャートを参照して説明する。

逆変換処理が開始されると、係数逆変換部１６３は、ステップＳ１８１において、ベース変換行列設定部１１２により設定されたベース変換行列T_Xを用いて、入力された周波数領域の係数データを逆方向に１次元変換し、空間領域の画像データを得る。

ステップＳ１８２において、スイッチ１６１は、フラグ設定部１１３により設定されたスパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ１８３に進む。

ステップＳ１８３において、パワーシフト部１６２は、スパース行列IntA_Xおよびシフト量S_IntAxを用いて、ステップＳ１８１において生成された画像データをパワーシフト（空間領域におけるパワーシフト）する。ステップＳ１８３の処理が終了すると処理はステップＳ１８４に進む。また、ステップＳ１８２において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ１８３の処理が省略され、処理はステップＳ１８４に進む。

ステップＳ１８４において、出力部１６４は、ステップＳ１８１において生成された画像データ、またはステップＳ１８３においてパワーシフトされた画像データを出力する。ステップＳ１８４の処理が終了すると逆変換処理が終了し、処理は図１６に戻る。

以上のようにすることにより、画像処理装置１５０は、逆方向の１次元変換に用いられる変換行列を、ベース変換行列T_X、スパース行列IntA_X、およびシフト量S_IntAxを用いて、上述の方法＃２により近似することができる。したがって、対象変換タイプと同等のエナジーコンパクションを実現し、符号化効率を維持しながら、適応直交変換のコストの増大を抑制することができる。

＜６．第５の実施の形態＞
＜画像符号化装置＞
以上に説明した本技術は、任意の装置やデバイス等に適用することができる。例えば、画像データを符号化する画像符号化装置に、上述した本技術（変換行列の近似（方法＃１））を適用することができる。

図２２は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図２２に示される画像符号化装置３００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置３００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。

なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、画像符号化装置３００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像符号化装置３００内の処理部等を説明する他の図においても同様である。

図２２に示されるように画像符号化装置３００は、制御部３０１、並べ替えバッファ３１１、演算部３１２、直交変換部３１３、量子化部３１４、符号化部３１５、蓄積バッファ３１６、逆量子化部３１７、逆直交変換部３１８、演算部３１９、インループフィルタ部３２０、フレームメモリ３２１、予測部３２２、およびレート制御部３２３を有する。

＜制御部＞
制御部３０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ３１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部３０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。

これらの符号化パラメータの詳細については後述する。制御部３０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。

ヘッダ情報Hinfoは、各ブロックに供給される。
予測モード情報Pinfoは、符号化部３１５と予測部３２２とに供給される。
変換情報Tinfoは、符号化部３１５、直交変換部３１３、量子化部３１４、逆量子化部３１７、および逆直交変換部３１８に供給される。
フィルタ情報Finfoは、インループフィルタ部３２０に供給される。

＜並べ替えバッファ＞
画像符号化装置３００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ３１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ３１１は、制御部３０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ３１１は、処理後の各入力画像を演算部３１２に供給する。また、並べ替えバッファ３１１は、その各入力画像（元画像）を、予測部３２２やインループフィルタ部３２０にも供給する。

＜演算部＞
演算部３１２は、処理単位のブロックに対応する画像I、および予測部３２２より供給される予測画像Pを入力とし、画像recから予測画像Pを以下の式（１０）に示されるように減算して、予測残差resiを導出し、それを直交変換部３１３に供給する。

resi = rec - P ・・・（１０）

＜直交変換部＞
直交変換部３１３は、演算部３１２から供給される予測残差resiと、制御部３０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差resiに対して直交変換を行い、係数データcoefを導出する。直交変換部３１３は、その得られた係数データcoefを量子化部３１４に供給する。

＜量子化部＞
量子化部３１４は、直交変換部３１３から供給される係数データcoefと、制御部３０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、係数データcoefをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部３２３により制御される。量子化部３１４は、このような量子化により得られた量子化後の係数データ、すなわち量子化変換係数qcoefを、符号化部３１５および逆量子化部３１７に供給する。

＜符号化部＞
符号化部３１５は、量子化部３１４から供給された量子化変換係数qcoefと、制御部３０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部３２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部３２２から供給される最適な予測モードに関する情報とを入力とする。符号化部３１５は、量子化変換係数qcoefを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。

また、符号化部３１５は、その量子化変換係数qcoefから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。

さらに、符号化部３１５は、インループフィルタ部３２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部３２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部３１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。

また、符号化部３１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部３１５は、その符号化データを蓄積バッファ３１６に供給する。

＜蓄積バッファ＞
蓄積バッファ３１６は、符号化部３１５において得られた符号化データを、一時的に保持する。蓄積バッファ３１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置３００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ３１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。

＜逆量子化部＞
逆量子化部３１７は、逆量子化に関する処理を行う。例えば、逆量子化部３１７は、量子化部３１４から供給される量子化変換係数qcoefと、制御部３０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化変換係数qcoefの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部３１４において行われる量子化の逆処理である。逆量子化部３１７は、このような逆量子化により得られた係数データcoefIを、逆直交変換部３１８に供給する。

＜逆直交変換部＞
逆直交変換部３１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部３１８は、逆量子化部３１７から供給される係数データcoefIと、制御部３０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、係数データcoefIに対して逆直交変換を行い、残差データresiIを導出する。なお、この逆直交変換は、直交変換部３１３において行われる直交変換の逆処理である。逆直交変換部３１８は、このような逆直交変換により得られた残差データresiIを演算部３１９に供給する。なお、逆直交変換部３１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部３１８については、復号側について行う説明（後述する）を適用することができる。

＜演算部＞
演算部３１９は、逆直交変換部３１８から供給される残差データresiIと、予測部３２２から供給される予測画像Pとを入力とする。演算部３１９は、その残差データresiIと、その残差データresiIに対応する予測画像Pとを加算し、局所復号画像R_localを導出する。演算部３１９は、導出した局所復号画像R_localをインループフィルタ部３２０およびフレームメモリ３２１に供給する。

＜インループフィルタ部＞
インループフィルタ部３２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部３２０は、演算部３１９から供給される局所復号画像R_localと、制御部３０１から供給されるフィルタ情報Finfoと、並べ替えバッファ３１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部３２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部３２０に入力されるようにしてもよい。

インループフィルタ部３２０は、そのフィルタ情報Finfoに基づいて、局所復号画像R_localに対して適宜フィルタ処理を行う。インループフィルタ部３２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。

例えば、インループフィルタ部３２０は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

もちろん、インループフィルタ部３２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部３２０がウィーナーフィルタ等を適用するようにしてもよい。

インループフィルタ部３２０は、フィルタ処理された局所復号画像R_localをフレームメモリ３２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部３２０は、そのフィルタに関する情報を符号化部３１５に供給する。

＜フレームメモリ＞
フレームメモリ３２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ３２１は、演算部３１９から供給される局所復号画像R_localや、インループフィルタ部３２０から供給されるフィルタ処理された局所復号画像R_localを入力とし、それを保持（記憶）する。また、フレームメモリ３２１は、その局所復号画像R_localを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ３２１内のバッファへ格納する）。フレームメモリ３２１は、予測部３２２の要求に応じて、その復号画像R（またはその一部）を予測部３２２に供給する。

＜予測部＞
予測部３２２は、予測画像の生成に関する処理を行う。例えば、予測部３２２は、制御部３０１から供給される予測モード情報Pinfoと、並べ替えバッファ３１１から供給される入力画像（元画像）と、フレームメモリ３２１から読み出す復号画像R（またはその一部）を入力とする。予測部３２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部３２２は、生成した予測画像Pを演算部３１２および演算部３１９に供給する。また、予測部３２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部３１５に供給する。

＜レート制御部＞
レート制御部３２３は、レート制御に関する処理を行う。例えば、レート制御部３２３は、蓄積バッファ３１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部３１４の量子化動作のレートを制御する。

以上のような構成の画像符号化装置３００において、直交変換部３１３および逆直交変換部３１８は、上述した本技術を適用した処理を行う。

＜直交変換部＞
図２３は、図２２の直交変換部３１３の主な構成例を示すブロック図である。図２３に示されるように、直交変換部３１３は、プライマリ変換部３４１およびセカンダリ変換部３４２を有する。

プライマリ変換部３４１は、例えば直交変換等の所定の変換処理であるプライマリ変換に関する処理を行う。例えば、プライマリ変換部３４１は、予測残差resi、変換情報Tinfo、および予測モード情報PInfo（図示せず）等を入力とし、その予測残差resiに対してプライマリ変換を行い、得られた係数データcoefPをセカンダリ変換部３４２に供給する。例えば、プライマリ変換部３４１は、変換タイプ識別子trTypeIdxHおよびtrTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、並びに、シーケンスビット深度channelBitDepth等の情報を用いて、そのプライマリ変換を行う。

セカンダリ変換部３４２は、例えば直交変換等の所定の変換処理であるセカンダリ変換に関する処理を行う。例えばセカンダリ変換部３４２は、係数データcoefP、変換情報Tinfo（図示せず）、および予測モード情報PInfo（図示せず）等を入力とし、その係数データcoefPに対してセカンダリ変換を行い、得られた係数データcoefを量子化部３１４に供給する。

図２３に示されるように、プライマリ変換部３４１は、プライマリ水平変換部３５１およびプライマリ垂直変換部３５２を有する。

プライマリ水平変換部３５１は、水平方向の１次元変換であるプライマリ水平変換に関する処理を行う。例えば、プライマリ水平変換部３５１は、予測残差resi、変換情報Tinfo、および予測モード情報PInfo（図示せず）等を入力とし、その予測残差resiに対してプライマリ水平変換を行い、得られた係数データcoefH（= tmp）をプライマリ垂直変換部３５２に供給する。

例えば、プライマリ水平変換部３５１は、プライマリ水平変換の変換タイプ識別子trTypeIdxH、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、およびシーケンスビット深度channelBitDepth等の情報を用いて、そのプライマリ水平変換を行う。

プライマリ垂直変換部３５２は、垂直方向の１次元変換であるプライマリ垂直変換に関する処理を行う。例えば、プライマリ垂直変換部３５２は、係数データcoefH（= tmp）、変換情報Tinfo、および予測モード情報PInfo（図示せず）等を入力とし、その係数データcoefHに対してプライマリ垂直変換を行い、得られた係数データcoefPをセカンダリ変換部３４２に供給する。

例えば、プライマリ垂直変換部３５２は、プライマリ垂直変換の変換タイプ識別子trTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、および変換ブロックの垂直方向のサイズlog2TrHeight等の情報を用いて、そのプライマリ垂直変換を行う。

なお、これらのプライマリ変換部３４１、セカンダリ変換部３４２、プライマリ水平変換部３５１、およびプライマリ垂直変換部３５２は、それぞれ、自身の処理をスキップ（省略）することができる。

＜プライマリ変換の行列式＞
プライマリ変換部３４１（プライマリ水平変換部３５１およびプライマリ垂直変換部３５２）は、プライマリ変換（プライマリ水平変換およびプライマリ垂直変換）において、ベース変換行列とスパース行列とを用いた変換行列の近似を適用する。この近似を用いたプライマリ変換を、行列式を用いて説明する。

プライマリ水平変換部３５１が行うプライマリ水平変換を行列式で表すと以下の式（１１）のようになる。なお、式（１１）において、Ｙは、変換後の係数データを示し、Ｘは、変換前の係数データを示し、(T_N,tgt)^tは、変換行列T_N,tgtの転置行列を示す。

この式（１１）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（１２）のように表現することができる。

また、プライマリ垂直変換部３５２が行うプライマリ垂直変換を行列式で表すと以下の式（１３）のようになる。なお、式（１３）において、Ｙは、変換後の係数データを示し、Ｘは、変換前の係数データを示し、T_N,tgtは、変換行列を示す。

この式（１３）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（１４）のように表現することができる。

このような近似を行うことにより、＜１．適応直交変換＞等において上述したように、適応直交変換のコストの増大を抑制することができる。なお、ベース変換行列は任意であり、DCT2に限定されない。例えば、DCT2の高速アルゴリズムと同程度の処理量で演算可能な変換行列に置き換えても、DCT2の場合と同様に適応直交変換のコストの増大を抑制することができる。

なお、これらのような順方向の直交変換では、式（１２）や式（１４）に示されるように、周波数ドメインにおいて、ある方向（水平または垂直）に対して、係数データの可逆なパワーの交換（パワーシフト）が行なわれる（周波数領域パワーシフトとも称する）。すなわち、このような順方向の直交変換は、セカンダリ変換の１次元係数変換とみなすこともできる。また、このような順方向の直交変換は、係数データの補正処理ともみなすことができる。

＜プライマリ水平変換部＞
図２４は、プライマリ水平変換部３５１の主な構成例を示すブロック図である。図２４に示されるように、プライマリ水平変換部３５１は、パラメータ導出部３６１、行列演算部３６２、正規化部３６３、スイッチ３６４、パワーシフト部３６５、およびクリップ部３６６を有する。

パラメータ導出部３６１は、変換タイプ識別子trTypeIdxH、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、およびシーケンスビット深度channelBitDepth等の情報を入力とし、それらの情報に基づいて、プライマリ水平変換処理に用いられるパラメータを導出する。

例えば、パラメータ導出部３６１は、上述した変換行列設定部１０１と同様の機能を有しており、水平方向の１次元変換用のベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部３６１は、シーケンス毎に設定されるプライマリ水平変換における有効桁数のシフト量であるプライマリ水平変換シフト量fwdShift1を導出する。なお、プライマリ水平変換シフト量fwdShift1が導出済みの場合、この処理は省略することができる。また、パラメータ導出部３６１は、係数の最小値coefMinと最大値coefMaxとを導出する。

パラメータ導出部３６１は、導出したパラメータを各処理部に供給する。例えば、パラメータ導出部３６１は、導出したベース変換行列T_Hを行列演算部３６２に供給する。また、パラメータ導出部３６１は、導出したプライマリ水平変換シフト量fwdShift1を正規化部３６３に供給する。さらに、パラメータ導出部３６１は、導出したスパース行列有無フラグsparsePresentFlagをスイッチ３６４に供給する。また、パラメータ導出部３６１は、導出したスパース行列IntA_Xをパワーシフト部３６５（行列演算部３７１）に供給する。さらに、パラメータ導出部３６１は、導出したシフト量S_IntAxをパワーシフト部３６５（正規化部３７２）に供給する。また、パラメータ導出部３６１は、導出した係数の最小値coefMinおよび最大値coefMaxをクリップ部３６６に供給する。

行列演算部３６２は、予測残差resiおよびベース変換行列T_Hを入力とし、行列演算に関する処理を行う。例えば、行列演算部３６２は、予測残差resiに対して右側からベース変換行列T_Hの転置行列(T_H)^tをかけて水平方向の１次元直交変換を行い、中間データtmp1を導出する（tmp1 = resi × (T_H)^t）。行列演算部３６２は、その中間データtmp1を正規化部３６３に供給する。

正規化部３６３は、その中間データtmp1とプライマリ水平変換シフト量fwdShift1とを入力とし、正規化に関する処理を行う。例えば、正規化部３６３は、中間データtmp1をプライマリ水平変換シフト量fwdShift1で右ビットシフトして正規化し、中間データtmp2を導出する（tmp2 = tmp1 >> fwdShift1）。つまり、正規化部３６３は、中間データtmp1の有効桁数を制御する。正規化部３６３は、その中間データtmp2をスイッチ３６４に供給する。

スイッチ３６４は、その中間データtmp2とスパース行列有無フラグsparsePresentFlagとを入力とし、周波数領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ３６４は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、周波数領域におけるパワーシフトが行われるように、中間データtmp2をパワーシフト部３６５（行列演算部３７１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ３６４は、周波数領域におけるパワーシフトを省略するように、中間データtmp2をクリップ部３６６に供給する。

パワーシフト部３６５は、その中間データtmp2、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、周波数領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部３６５は、中間データtmp2に対して周波数領域におけるパワーシフトを行い、処理後の中間データtmp2をクリップ部３６６に供給する。パワーシフト部３６５は、行列演算部３７１および正規化部３７２を有する。

行列演算部３７１は、中間データtmp2およびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部３７１は、スイッチ３６４から供給された中間データtmp2に対して右側からスパース行列IntA_Xの転置行列をかけて、中間データtmp2'を導出する（tmp2' = tmp2 × (IntA_X)^t）。行列演算部３７１は、その中間データtmp2'を正規化部３７２に供給する。

正規化部３７２は、その中間データtmp2'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部３７２は、中間データtmp2'をシフト量S_IntAxで右ビットシフトして正規化し、中間データtmp2を導出する（tmp2 = tmp2' >> S_IntAx）。つまり、正規化部３７２は、中間データtmp2'の有効桁数を制御する。正規化部３７２は、その周波数領域におけるパワーシフトが行われた中間データtmp2をクリップ部３６６に供給する。

クリップ部３６６は、スイッチ３６４またはパワーシフト部３６５（正規化部３７２）から供給された中間データtmp2と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。クリップ処理とは、所定の最小値以下の値をその最小値に変換し、所定の最大値以上の値をその最大値に変換する処理である。例えば、クリップ部３６６は、中間データtmp2の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部３６６は、中間データtmp2がクリップされて得られた係数データcoefH（=tmp）をプライマリ垂直変換部３５２に供給する。なお、クリップ部３６６は、省略してもよい。

＜プライマリ垂直変換部＞
図２５は、プライマリ垂直変換部３５２の主な構成例を示すブロック図である。図２５に示されるように、プライマリ垂直変換部３５２は、パラメータ導出部３８１、行列演算部３８２、正規化部３８３、スイッチ３８４、パワーシフト部３８５、およびクリップ部３８６を有する。

パラメータ導出部３８１は、変換タイプ識別子trTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、および変換ブロックの垂直方向のサイズlog2TrHeight等の情報を入力とし、それらの情報に基づいて、プライマリ垂直変換処理に用いられるパラメータを導出する。

例えば、パラメータ導出部３８１は、上述した変換行列設定部１０１と同様の機能を有しており、垂直方向の１次元変換用のベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部３８１は、シーケンス毎に設定されるプライマリ垂直変換における有効桁数のシフト量であるプライマリ垂直変換シフト量fwdShift2を導出する。なお、プライマリ垂直変換シフト量fwdShift2が導出済みの場合、この処理は省略することができる。また、パラメータ導出部３８１は、係数の最小値coefMinと最大値coefMaxとを導出する。

パラメータ導出部３８１は、導出したパラメータを各処理部に供給する。例えば、パラメータ導出部３８１は、導出したベース変換行列T_Vを行列演算部３８２に供給する。また、パラメータ導出部３８１は、導出したプライマリ垂直変換シフト量fwdShift2を正規化部３８３に供給する。さらに、パラメータ導出部３８１は、導出したスパース行列有無フラグsparsePresentFlagをスイッチ３８４に供給する。また、パラメータ導出部３８１は、導出したスパース行列IntA_Xをパワーシフト部３８５（行列演算部３９１）に供給する。さらに、パラメータ導出部３８１は、導出したシフト量S_IntAxをパワーシフト部３８５（正規化部３９２）に供給する。また、パラメータ導出部３８１は、導出した係数の最小値coefMinおよび最大値coefMaxをクリップ部３８６に供給する。

行列演算部３８２は、係数データcoefH（= tmp）およびベース変換行列T_Vを入力とし、行列演算に関する処理を行う。例えば、行列演算部３８２は、係数データcoefHに対して左側からベース変換行列T_Vをかけて垂直方向の１次元直交変換を行い、中間データtmp3を導出する（tmp3 = T_V × coefH）。行列演算部３８２は、その中間データtmp3を正規化部３８３に供給する。

正規化部３８３は、その中間データtmp3とプライマリ垂直変換シフト量fwdShift2とを入力とし、正規化に関する処理を行う。例えば、正規化部３８３は、中間データtmp3をプライマリ垂直変換シフト量fwdShift2で右ビットシフトして正規化し、中間データtmp4を導出する（tmp4 = tmp3 >> fwdShift2）。つまり、正規化部３８３は、中間データtmp3の有効桁数を制御する。正規化部３８３は、その中間データtmp4をスイッチ３８４に供給する。

スイッチ３８４は、その中間データtmp4とスパース行列有無フラグsparsePresentFlagとを入力とし、周波数領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ３８４は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、周波数領域におけるパワーシフトが行われるように、中間データtmp4をパワーシフト部３８５（行列演算部３９１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ３８４は、周波数領域におけるパワーシフトを省略するように、中間データtmp4をクリップ部３８６に供給する。

パワーシフト部３８５は、その中間データtmp4、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、周波数領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部３８５は、中間データtmp4に対して周波数領域におけるパワーシフトを行い、処理後の中間データtmp4をクリップ部３８６に供給する。パワーシフト部３８５は、行列演算部３９１および正規化部３９２を有する。

行列演算部３９１は、中間データtmp4およびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部３９１は、スイッチ３８４から供給された中間データtmp4に対して左側からスパース行列IntA_Xをかけて、中間データtmp4'を導出する（tmp4' = IntA_X × tmp4）。行列演算部３９１は、その中間データtmp4'を正規化部３９２に供給する。

正規化部３９２は、その中間データtmp4'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部３９２は、中間データtmp4'をシフト量S_IntAxで右ビットシフトして正規化し、中間データtmp4を導出する（tmp4 = tmp4' >> S_IntAx）。つまり、正規化部３９２は、中間データtmp4'の有効桁数を制御する。正規化部３９２は、その周波数領域におけるパワーシフトが行われた中間データtmp4をクリップ部３８６に供給する。

クリップ部３８６は、スイッチ３８４またはパワーシフト部３８５（正規化部３９２）から供給された中間データtmp4と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。例えば、クリップ部３８６は、中間データtmp4の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部３８６は、中間データtmp4がクリップされて得られた係数データcoefPをセカンダリ変換部３４２に供給する。なお、クリップ部３８６は、省略してもよい。

以上のような構成を有することにより、画像符号化装置３００は、上述した本技術を適用した処理を行い、適応直交変換のコストの増大を抑制することができる。

＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置３００により実行される各処理の流れについて説明する。最初に、図２６のフローチャートを参照して、画像符号化処理の流れの例を説明する。

画像符号化処理が開始されると、ステップＳ３０１において、並べ替えバッファ３１１は、制御部３０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。

ステップＳ３０２において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。

ステップＳ３０３において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像についての符号化パラメータを決定（設定）する。

ステップＳ３０４において、予測部３２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部３２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。

ステップＳ３０５において、演算部３１２は、入力画像と、ステップＳ３０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部３１２は、入力画像と予測画像との予測残差resiを生成する。このようにして求められた予測残差resiは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ３０６において、直交変換部３１３は、ステップＳ３０５の処理により生成された予測残差resiに対して直交変換処理を行い、係数データcoefを導出する。

ステップＳ３０７において、量子化部３１４は、制御部３０１により算出された量子化パラメータを用いる等して、ステップＳ３０６の処理により得られた係数データcoefを量子化し、量子化変換係数qcoefを導出する。

ステップＳ３０８において、逆量子化部３１７は、ステップＳ３０７の処理により生成された量子化変換係数qcoefを、そのステップＳ３０７の量子化の特性に対応する特性で逆量子化し、係数データcoefIを導出する。なお、この逆量子化処理は、復号側において行われる逆量子化処理（後述する）と同様であるので、このステップＳ３０８の逆量子化処理については、復号側について行う説明（後述する）を適用することができる。

ステップＳ３０９において、逆直交変換部３１８は、ステップＳ３０８の処理により得られた係数データcoefIを、ステップＳ３０６の直交変換処理に対応する方法で逆直交変換し、残差データresiIを導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理（後述する）と同様であるので、このステップＳ３０９の逆直交変換処理については、復号側について行う説明（後述する）を適用することができる。

ステップＳ３１０において、演算部３１９は、ステップＳ３０９の処理により導出された残差データresiIに、ステップＳ３０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。

ステップＳ３１１において、インループフィルタ部３２０は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。

ステップＳ３１２において、フレームメモリ３２１は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像や、ステップＳ３１２においてフィルタ処理された、局所的に復号された復号画像を記憶する。

ステップＳ３１３において、符号化部３１５は、ステップＳ３０７の処理により得られた量子化変換係数qcoefを符号化する。例えば、符号化部３１５は、画像に関する情報である量子化変換係数qcoefを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部３１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo等）を符号化する。さらに、符号化部３１５は、量子化変換係数qcoefから残差情報RInfoを導出し、その残差情報RInfoを符号化する。

ステップＳ３１４において、蓄積バッファ３１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置３００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部３２３は、必要に応じてレート制御を行う。

ステップＳ３１４の処理が終了すると、画像符号化処理が終了する。

以上のような流れの画像符号化処理において、ステップＳ３０６およびステップＳ３０９の処理として、上述した本技術を適用した処理が行われる。したがって、この画像符号化処理を実行することにより、適応直交変換のコストの増大を抑制することができる。

＜直交変換処理の流れ＞
図２６のステップＳ３０６の処理において実行される直交変換処理の流れの例を、図２７のフローチャートを参照して説明する。

直交変換処理が開始されると、直交変換部３１３のプライマリ水平変換部３５１は、ステップＳ３２１において、プライマリ水平変換処理を行う。

ステップＳ３２２において、プライマリ垂直変換部３５２は、プライマリ垂直変換処理を行う。

ステップＳ３２３において、セカンダリ変換部３４２は、セカンダリ変換処理を行う。

ステップＳ３２３の処理が終了すると、直交変換処理が終了し、処理は図２６に戻る。

以上のような直交変換処理において、ステップＳ３２１やステップＳ３２２の処理として、上述した本技術を適用した処理が行われる。したがって、この直交変換処理を実行することにより、適応直交変換のコストの増大を抑制することができる。

なお、この直交変換処理の各ステップ（ステップＳ３２１乃至ステップＳ３２３）は、それぞれ、スキップ（省略）することができる。

＜プライマリ水平変換処理の流れ＞
図２７のステップＳ３２１において実行されるプライマリ水平変換処理の流れの例を、図２８のフローチャートを参照して説明する。

プライマリ水平変換処理が開始されると、プライマリ水平変換部３５１のパラメータ導出部３６１は、ステップＳ３３１において、ベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部３６１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ３３２において、パラメータ導出部３６１は、プライマリ水平変換シフト量fwdShift1を導出する。例えば、パラメータ導出部３６１は、シーケンス毎のプライマリ水平変換シフト量fwdShift1を、以下の式（１５）のように、変換ブロックのサイズに関する情報（log2TrWidth）、シーケンスビット深度channelBitDepth、ステップＳ３３１において導出したベース変換行列T_Hの整数近似精度を表すパラメータtrMatShift、および係数のレンジに関するパラメータlog2TransformRangeに基づいて導出する。なお、パラメータtrMatShiftは、例えば、8の値をとる。さらに、パラメータ導出部３６１は、係数の最小値coefMinと最大値coefMaxも導出する。

fwdShift1 = log2TrWidth + channelBitDepth + trMatShift - log2TransformDynamicRange
・・・（１５）

ステップＳ３３３において、行列演算部３６２は、例えば以下の式（１６）のように、予測残差resiの水平方向へベース変換行列T_Hを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp1を導出する。つまり、行列演算部３６２は、予測残差resiに対して右側から水平方向のベース変換行列T_Hの転置行列T_H ^Tをかけて、中間データtmp1を導出する。

tmp = resi × T_H ^T ・・・（１６）

ステップＳ３３４において、正規化部３６３は、例えば以下の式（１７）のように、中間データtmp1の各係数をプライマリ水平変換シフト量fwdShift1で正規化する。

tmp2 = (tmp1 + offsetFwdShift1) >> fwdShift1 ・・・（１７）
offsetFwdShift1 = 1<<(fwdShift1-1)

ステップＳ３３５において、スイッチ３６４は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ３３６に進む。つまり、この場合、スイッチ３６４は、中間データtmp2をパワーシフト部３６５に供給する。

ステップＳ３３６において、パワーシフト部３６５は、パワーシフト処理を実行し、中間データtmp2を周波数領域においてパワーシフトする。ステップＳ３３６の処理が終了すると処理はステップＳ３３７に進む。また、ステップＳ３３５において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ３３６の処理が省略され、処理はステップＳ３３７に進む。つまり、この場合、スイッチ３６４は、中間データtmp2をクリップ部３６６に供給する。

ステップＳ３３７において、クリップ部３６６は、例えば以下の式（１８）に示されるように、中間データtmp2の値を、係数の最小値coefMinVal乃至係数の最大値coefMaxValの範囲になるようクリップし、クリップ後の係数データcoefHを導出する。

coefH = Clip3(coefMinVal, coefMaxVal, tmp2) ・・・（１８）

ここで、Clip3(a_min, a_max, val)は、valがa_minより小さいとき、a_minを返し、valがa_maxより大きいとき、a_maxを返し、それ以外の場合（a_min乃至a_maxの範囲にある場合）、valを返すクリップ演算子である。

ステップＳ３３７の処理が終了すると、処理は図２７に戻る。

以上のようにプライマリ水平変換処理を行うことにより、プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができるので、適応直交変換のコストの増大を抑制することができる。

なお、ステップＳ３３７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図２９のフローチャートを参照して図２８のステップＳ３３６において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部３７１は、ステップＳ３４１において、例えば以下の式（１９）のように、中間データtmp2とスパース行列IntA_Xの転置行列IntA_X ^Tとの行列演算を行い、中間データtmp2'を得る。つまり、行列演算部３７１は、中間データtmp2の右側からスパース行列IntA_Xの転置行列IntA_X ^Tをかけて、中間データtmp2'を導出する。

tmp2' = tmp2 × IntA_X ^T ・・・（１９）

ステップＳ３４２において、正規化部３７２は、例えば以下の式（２０）のように、ステップＳ３４１の処理により導出された中間データtmp2'をスパース行列IntA_Xに対応するシフト量SIntAxで正規化する。

coefH = tmp2 = (tmp2' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（２０）

ステップＳ３４２の処理が終了するとパワーシフト処理が終了し、処理は図２８に戻る。

このように周波数領域におけるパワーシフトを行うことにより、プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜プライマリ垂直変換処理の流れ＞
図２７のステップＳ３２２において実行されるプライマリ垂直変換処理の流れの例を、図３０のフローチャートを参照して説明する。

プライマリ垂直変換処理が開始されると、プライマリ垂直変換部３５２のパラメータ導出部３８１は、ステップＳ３５１において、ベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部３８１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ３５２において、パラメータ導出部３８１は、プライマリ垂直変換シフト量fwdShift2を導出する。パラメータ導出部３８１は、例えば、シーケンス毎のプライマリ垂直変換シフト量fwdShift2を、例えば以下の式（２１）のように、変換ブロックのサイズに関する情報(log2TrHeight)と変換行列T_Vの整数近似精度を表すパラメータtrMatShiftに基づいて導出する。なお、パラメータtrMatShiftは、例えば、8の値をとる。その場合、変換行列T_Vの整数近似精度は、8bitであることを意味する。さらに、パラメータ導出部３８１は、係数の最小値coefMinと最大値coefMaxも導出する。

fwdShift2 = log2TrHeight + trMatShift ・・・（２１）

ステップＳ３５３において、行列演算部３８２は、例えば以下の式（２２）のように、係数データcoefHの垂直方向へベース変換行列T_Vを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp3を導出する。つまり、行列演算部３８２は、係数データcoefHに対して左側から垂直方向のベース変換行列T_Vをかけて、中間データtmp3を導出する。

tmp3 = T_V × coefH ・・・（２２）

ステップＳ３５４において、正規化部３８３は、例えば以下の式（２３）のように、中間データtmp3の各係数をプライマリ垂直変換シフト量fwdShift2で正規化する。

tmp4 = (tmp3 + offsetFwdShift2) >> fwdShift2 ・・・（２３）
offsetFwdShift2 = 1<<(fwdShift2-1)

ステップＳ３５５において、スイッチ３８４は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ３５６に進む。つまり、この場合、スイッチ３８４は、中間データtmp4をパワーシフト部３８５に供給する。

ステップＳ３５６において、パワーシフト部３８５は、パワーシフト処理を実行し、中間データtmp4を周波数領域においてパワーシフトする。ステップＳ３５６の処理が終了すると処理はステップＳ３５７に進む。また、ステップＳ３５５において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ３５６の処理が省略され、処理はステップＳ３５７に進む。つまり、この場合、スイッチ３８４は、中間データtmp4をクリップ部３８６に供給する。

ステップＳ３５７において、クリップ部３８６は、例えば以下の式（２４）に示されるように、中間データtmp4の値を、係数の最小値coefMinVal乃至係数の最大値coefMaxValの範囲になるようクリップし、クリップ後の係数データcoefPを導出する。

coefP = Clip3(coefMinVal, coefMaxVal, tmp4) ・・・（２４）

ステップＳ３５７の処理が終了すると、処理は図２７に戻る。

以上のようにプライマリ垂直変換処理を行うことにより、プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができるので、適応直交変換のコストの増大を抑制することができる。

なお、ステップＳ３５７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図３１のフローチャートを参照して図３０のステップＳ３５６において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部３９１は、ステップＳ３６１において、例えば以下の式（２５）のように、スパース行列IntA_Xと中間データtmp4との行列演算を行い、中間データtmp4'を得る。つまり、行列演算部３９１は、中間データtmp4の左側からスパース行列IntA_Xをかけて、中間データtmp4'を導出する。

tmp4' = IntA_X × tmp4 ・・・（２５）

ステップＳ３６２において、正規化部３９２は、例えば以下の式（２６）のように、ステップＳ３６１の処理により導出された中間データtmp4'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

coefP = tmp4 = (tmp4' + (1 << (SIntAx - 1))) >> SIntAx ・・・（２６）

ステップＳ３６２の処理が終了するとパワーシフト処理が終了し、処理は図３０に戻る。

このように周波数領域におけるパワーシフトを行うことにより、プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜７．第６の実施の形態＞
＜画像復号装置＞
また、本技術（変換行列の近似（方法＃１））は、例えば、画像データの符号化データを復号する画像復号装置にも適用することができる。

図３２は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図３２に示される画像復号装置４００は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置４００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置４００は、上述の画像符号化装置３００により生成された符号化データ（ビットストリーム）を復号する。

なお、図３２においては、処理部やデータの流れ等の主なものを示しており、図３２に示されるものが全てとは限らない。つまり、画像復号装置４００において、図３２においてブロックとして示されていない処理部が存在したり、図３２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像復号装置４００内の処理部等を説明する他の図においても同様である。

図３２において、画像復号装置４００は、蓄積バッファ４１１、復号部４１２、逆量子化部４１３、逆直交変換部４１４、演算部４１５、インループフィルタ部４１６、並べ替えバッファ４１７、フレームメモリ４１８、および予測部４１９を備えている。なお、予測部４１９は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置４００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。

＜蓄積バッファ＞
蓄積バッファ４１１は、画像復号装置４００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ４１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部４１２に供給する。

＜復号部＞
復号部４１２は、画像の復号に関する処理を行う。例えば、復号部４１２は、蓄積バッファ４１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。

シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部４１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。

＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。

例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。

コンポーネント間予測有効フラグ（ccp_enabled_flag）は、コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。

＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。

イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。

また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。

コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。

多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。

色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式（２７）のような割り当て方となる。

chroma_sample_loc_type_idx == 0：Type2
chroma_sample_loc_type_idx == 1：Type3
chroma_sample_loc_type_idx == 2：Type1
chroma_sample_loc_type_idx == 3：Type0
・・・（２７）

なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。

色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。

動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。

もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize（または、２を底とする各TBWSize（または、TrWidth）、TBHSize（または、TrHeight）の対数値log2TBWSize（または、log2TrWidth）、log2TBHSize（または、log2TrHeight）であってもよい。）
変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））

＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。

cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ（GR1フラグとも呼ぶ）
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル（非ゼロ係数残余レベルとも呼ぶ）

もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。

デブロッキングフィルタ(DBF)に関する制御情報
画素適応オフセット(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報

より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。

復号部４１２の説明に戻り、復号部４１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数qcoefを導出する。復号部４１２は、その量子化変換係数qcoefを、逆量子化部４１３に供給する。

また、復号部４１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数qcoef、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。

ヘッダ情報Hinfoは、逆量子化部４１３、逆直交変換部４１４、予測部４１９、インループフィルタ部４１６に供給される。
予測モード情報Pinfoは、逆量子化部４１３および予測部４１９に供給される。
変換情報Tinfoは、逆量子化部４１３および逆直交変換部４１４に供給される。
フィルタ情報Finfoは、インループフィルタ部４１６に供給される。

もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。

＜逆量子化部＞
逆量子化部４１３は、逆量子化に関する処理を行う。例えば、逆量子化部４１３は、復号部４１２から供給される変換情報Tinfoおよび量子化変換係数qcoefを入力とし、その変換情報Tinfoに基づいて、量子化変換係数qcoefの値をスケーリング（逆量子化）し、逆量子化後の係数データcoefIを導出する。

なお、この逆量子化は、量子化部３１４による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部３１７による逆量子化と同様の処理である。つまり、逆量子化部３１７は、逆量子化部４１３と同様の処理（逆量子化）を行う。

逆量子化部４１３は、導出した係数データcoefIを逆直交変換部４１４に供給する。

＜逆直交変換部＞
逆直交変換部４１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部４１４は、逆量子化部４１３から供給される係数データcoefI、および、復号部４１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、係数データcoefIに対して逆直交変換処理を行い、残差データresiIを導出する。

なお、この逆直交変換は、直交変換部３１３による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部３１８による逆直交変換と同様の処理である。つまり、逆直交変換部３１８は、逆直交変換部４１４と同様の処理（逆直交変換）を行う。

逆直交変換部４１４は、導出した残差データresiI'を演算部４１５に供給する。

＜演算部＞
演算部４１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部４１５は、逆直交変換部４１４から供給される残差データresiIと、予測部４１９から供給される予測画像Pとを入力とする。演算部４１５は、例えば以下の式（２８）に示されるように、残差データresiIとその残差データresiIに対応する予測画像P（予測信号）とを加算し、局所復号画像R_localを導出する。

R_local = resiI + P ・・・（２８）

演算部４１５は、導出した局所復号画像R_localを、インループフィルタ部４１６およびフレームメモリ４１８に供給する。

＜インループフィルタ部＞
インループフィルタ部４１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部４１６は、演算部４１５から供給される局所復号画像R_localと、復号部４１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部４１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。

インループフィルタ部４１６は、そのフィルタ情報Finfoに基づいて、局所復号画像R_localに対して適宜フィルタ処理を行う。

例えば、インループフィルタ部４１６は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。

インループフィルタ部４１６は、符号化側（例えば画像符号化装置３００のインループフィルタ部３２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部４１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部４１６がウィーナーフィルタ等を適用するようにしてもよい。

インループフィルタ部４１６は、フィルタ処理された局所復号画像R_localを並べ替えバッファ４１７およびフレームメモリ４１８に供給する。

＜並べ替えバッファ＞
並べ替えバッファ４１７は、インループフィルタ部４１６から供給された局所復号画像R_localを入力とし、それを保持（記憶）する。並べ替えバッファ４１７は、その局所復号画像R_localを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ４１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ４１７は、並べ替えた復号画像R群を動画像データとして画像復号装置４００の外部に出力する。

＜フレームメモリ＞
フレームメモリ４１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ４１８は、演算部４１５より供給される局所復号画像R_localを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ４１８内のバッファへ格納する。

また、フレームメモリ４１８は、インループフィルタ部４１６から供給される、インループフィルタ処理された局所復号画像R_localを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ４１８内のバッファへ格納する。フレームメモリ４１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部４１９に供給する。

なお、フレームメモリ４１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。

＜予測部＞
予測部４１９は、予測画像の生成に関する処理を行う。例えば、予測部４１９は、復号部４１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部４１９は、その予測モード情報Pinfoによって指定される、フレームメモリ４１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部４１９は、導出した予測画像Pを、演算部４１５に供給する。

以上のような構成の画像復号装置４００において、逆直交変換部４１４は、上述した本技術を適用した処理を行う。

＜逆直交変換部の詳細＞
図３３は、図３２の逆直交変換部４１４の主な構成例を示すブロック図である。図３３に示されるように、逆直交変換部４１４は、逆セカンダリ変換部４３１および逆プライマリ変換部４３２を有する。

逆セカンダリ変換部４３１は、例えば逆直交変換等の所定の変換処理である逆セカンダリ変換に関する処理を行う。例えば逆セカンダリ変換部４３１は、係数データcoefIおよび変換情報Tinfo（図示せず）等を入力とし、その係数データcoefIに対して逆セカンダリ変換を行い、得られた係数データcoefIPを逆プライマリ変換部４３２に供給する。

逆プライマリ変換部４３２は、例えば逆直交変換等の所定の変換処理である逆プライマリ変換に関する処理を行う。例えば、逆プライマリ変換部４３２は、係数データcoefIPや変換情報Tinfo等を入力とし、その係数データcoefIPに対して逆プライマリ変換を行い、得られた残差データresiIを演算部４１５に供給する。例えば、逆プライマリ変換部４３２は、変換タイプ識別子trTypeIdxHおよびtrTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、並びに、シーケンスビット深度channelBitDepth等の情報を用いて、その逆プライマリ変換を行う。

図３３に示されるように、逆プライマリ変換部４３２は、逆プライマリ垂直変換部４４１および逆プライマリ水平変換部４４２を有する。

逆プライマリ垂直変換部４４１は、垂直方向の逆１次元直交変換である逆プライマリ垂直変換に関する処理を行う。例えば、逆プライマリ垂直変換部４４１は、係数データcoefIPや変換情報Tinfo等を入力とし、その係数データcoefIPに対して逆プライマリ垂直変換を行い、得られた係数データcoefIV（= tmp）を逆プライマリ水平変換部４４２に供給する。

例えば、逆プライマリ垂直変換部４４１は、逆プライマリ垂直変換の変換タイプ識別子trTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、および変換ブロックの垂直方向のサイズlog2TrHeight等の情報を用いて、その逆プライマリ垂直変換を行う。

逆プライマリ水平変換部４４２は、水平方向の逆１次元直交変換である逆プライマリ水平変換に関する処理を行う。例えば、逆プライマリ水平変換部４４２は、係数データcoefIV（= tmp）や変換情報Tinfo等を入力とし、その係数データcoefIVに対して逆プライマリ水平変換を行い、得られた残差データresiIを演算部４１５に供給する。

例えば、逆プライマリ水平変換部４４２は、逆プライマリ水平変換の変換タイプ識別子trTypeIdxH、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、およびシーケンスビット深度channelBitDepth等の情報を用いて、その逆プライマリ水平変換を行う。

なお、これらの逆セカンダリ変換部４３１、逆プライマリ変換部４３２、逆プライマリ垂直変換部４４１、および逆プライマリ水平変換部４４２は、それぞれ、自身の処理をスキップ（省略）することができる。

＜逆プライマリ変換の行列式＞
逆プライマリ変換部４３２（逆プライマリ垂直変換部４４１および逆プライマリ水平変換部４４２）は、逆プライマリ変換（逆プライマリ垂直変換および逆プライマリ水平変換）において、ベース変換行列とスパース行列とを用いた変換行列の近似を適用する。この近似を用いた逆プライマリ変換を、行列式を用いて説明する。

逆プライマリ垂直変換部４４１が行う逆プライマリ垂直変換を行列式で表すと以下の式（２９）のようになる。なお、式（２９）において、Ｙは、変換後の係数データを示し、Ｘは、変換前の係数データを示し、(T_N,tgt)^tは、変換行列T_N,tgtの転置行列を示す。

この式（２９）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（３０）のように表現することができる。

また、逆プライマリ水平変換部４４２が行う逆プライマリ水平変換を行列式で表すと以下の式（３１）のようになる。なお、式（３１）において、Ｙは、変換後の係数データを示し、Ｘは、変換前の係数データを示し、T_N,tgtは、変換行列を示す。

この式（３１）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（３２）のように表現することができる。

＜逆プライマリ垂直変換部＞
図３４は、逆プライマリ垂直変換部４４１の主な構成例を示すブロック図である。図３４に示されるように、逆プライマリ垂直変換部４４１は、パラメータ導出部４５１、スイッチ４５２、パワーシフト部４５３、行列演算部４５４、正規化部４５５、およびクリップ部４５６を有する。

パラメータ導出部４５１は、変換タイプ識別子trTypeIdxV、変換ブロックの水平方向のサイズlog2TrWidth、および変換ブロックの垂直方向のサイズlog2TrHeight等の情報を入力とし、それらの情報に基づいて、逆プライマリ垂直変換処理に用いられるパラメータを導出する。

例えば、パラメータ導出部４５１は、上述した変換行列設定部１０１と同様の機能を有しており、垂直方向の１次元変換用のベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部４５１は、シーケンス毎に設定される逆プライマリ垂直変換における有効桁数のシフト量である逆プライマリ垂直変換シフト量invShift1を導出する。なお、逆プライマリ垂直変換シフト量invShift1が導出済みの場合、この処理は省略することができる。また、パラメータ導出部４５１は、係数の最小値coefMinと最大値coefMaxとを導出する。

パラメータ導出部４５１は、導出したパラメータを各処理部に供給する。例えば、パラメータ導出部４５１は、導出したベース変換行列T_Vを行列演算部４５４に供給する。また、パラメータ導出部４５１は、導出した逆プライマリ垂直変換シフト量invShift1を正規化部４５５に供給する。さらに、パラメータ導出部４５１は、導出したスパース行列有無フラグsparsePresentFlagをスイッチ４５２に供給する。また、パラメータ導出部４５１は、導出したスパース行列IntA_Xをパワーシフト部４５３（行列演算部４６１）に供給する。さらに、パラメータ導出部４５１は、導出したシフト量S_IntAxをパワーシフト部４５３（正規化部４６２）に供給する。また、パラメータ導出部４５１は、導出した係数の最小値coefMinおよび最大値coefMaxをクリップ部４５６に供給する。

スイッチ４５２は、係数データcoefIPとスパース行列有無フラグsparsePresentFlagとを入力とし、周波数領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ４５２は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、周波数領域におけるパワーシフトが行われるように、係数データcoefIPをパワーシフト部４５３（行列演算部４６１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ４５２は、周波数領域におけるパワーシフトを省略するように、係数データcoefIPをクリップ部４５６に供給する。

パワーシフト部４５３は、その係数データcoefIP、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、周波数領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部４５３は、係数データcoefIPに対して周波数領域におけるパワーシフトを行い、処理後の係数データcoefIPを行列演算部４５４に供給する。パワーシフト部４５３は、行列演算部４６１および正規化部４６２を有する。

行列演算部４６１は、係数データcoefIPおよびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部４６１は、スイッチ４５２から供給された係数データcoefIPに対して左側からスパース行列IntA_Xの転置行列をかけて、中間データcoefIP'を導出する（coefIP' = (IntA_x)^t × coefIP）。行列演算部４６１は、その中間データcoefIP'を正規化部４６２に供給する。

正規化部４６２は、その中間データcoefIP'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部４６２は、中間データcoefIP'をシフト量S_IntAxで右ビットシフトして正規化し、係数データcoefIPを導出する（coefIP = coefIP' >> S_IntAx）。つまり、正規化部４６２は、中間データcoefIP'の有効桁数を制御する。正規化部４６２は、その周波数領域におけるパワーシフトが行われた係数データcoefIPを行列演算部４５４に供給する。

行列演算部４５４は、スイッチ４５２またはパワーシフト部４５３（正規化部４６２）から供給された係数データcoefIPおよびベース変換行列T_Vを入力とし、行列演算に関する処理を行う。例えば、行列演算部４５４は、係数データcoefIPに対して左側からベース変換行列T_Vの転置行列(T_V)^tをかけて垂直方向の１次元逆直交変換を行い、中間データtmp5を導出する（tmp5 = (T_V)^t × coefIP）。行列演算部４５４は、その中間データtmp5を正規化部４５５に供給する。

正規化部４５５は、その中間データtmp5と逆プライマリ垂直変換シフト量invShift1とを入力とし、正規化に関する処理を行う。例えば、正規化部４５５は、中間データtmp5を、シーケンスレベルの逆プライマリ垂直変換シフト量invShift1で右ビットシフトして正規化し、中間データtmp6を導出する（tmp6 = tmp5 >> invShift1）。つまり、正規化部４５５は、中間データtmp5の有効桁数を制御する。正規化部４５５は、その中間データtmp6をクリップ部４５６に供給する。

クリップ部４５６は、その中間データtmp6と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。例えば、クリップ部４５６は、中間データtmp6の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部４５６は、中間データtmp6がクリップされて得られた係数データcoefIVを逆プライマリ水平変換部４４２に供給する。なお、クリップ部４５６は、省略してもよい。

＜逆プライマリ水平変換部＞
図３５は、逆プライマリ水平変換部４４２の主な構成例を示すブロック図である。図３５に示されるように、逆プライマリ水平変換部４４２は、パラメータ導出部４７１、スイッチ４７２、パワーシフト部４７３、行列演算部４７４、正規化部４７５、およびクリップ部４７６を有する。

パラメータ導出部４７１は、変換タイプ識別子trTypeIdxH、変換ブロックの水平方向のサイズlog2TrWidth、変換ブロックの垂直方向のサイズlog2TrHeight、およびシーケンスビット深度channelBitDepth等の情報を入力とし、それらの情報に基づいて、逆プライマリ水平変換処理に用いられるパラメータを導出する。

例えば、パラメータ導出部４７１は、上述した変換行列設定部１０１と同様の機能を有しており、水平方向の１次元変換用のベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部４７１は、シーケンス毎に設定される逆プライマリ水平変換における有効桁数のシフト量である逆プライマリ水平変換シフト量invShift2を導出する。なお、逆プライマリ水平変換シフト量invShift2が導出済みの場合、この処理は省略することができる。また、パラメータ導出部４７１は、係数の最小値coefMinと最大値coefMaxとを導出する。

パラメータ導出部４７１は、導出したパラメータを各処理部に供給する。例えば、パラメータ導出部４７１は、導出したベース変換行列T_Hを行列演算部４７４に供給する。また、パラメータ導出部４７１は、導出した逆プライマリ水平変換シフト量invShift2を正規化部４７５に供給する。さらに、パラメータ導出部４７１は、導出したスパース行列有無フラグsparsePresentFlagをスイッチ４７２に供給する。また、パラメータ導出部４７１は、導出したスパース行列IntA_Xをパワーシフト部４７３（行列演算部４８１）に供給する。さらに、パラメータ導出部４７１は、導出したシフト量S_IntAxをパワーシフト部４７３（正規化部４８２）に供給する。さらに、例えば、パラメータ導出部４７１は、導出した残差データの最小値coefMinおよび最大値coefMaxをクリップ部４７６に供給する。

スイッチ４７２は、係数データcoefIVとスパース行列有無フラグsparsePresentFlagとを入力とし、周波数領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ４７２は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、周波数領域におけるパワーシフトが行われるように、係数データcoefIVをパワーシフト部４７３（行列演算部４８１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ４７２は、周波数領域におけるパワーシフトを省略するように、係数データcoefIVを行列演算部４７４に供給する。

パワーシフト部４７３は、その係数データcoefIV、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、周波数領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部４７３は、係数データcoefIVに対して周波数領域におけるパワーシフトを行い、処理後の係数データcoefIVを行列演算部４７４に供給する。パワーシフト部４７３は、行列演算部４８１および正規化部４８２を有する。

行列演算部４８１は、係数データcoefIVおよびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部４８１は、スイッチ４７２から供給された係数データcoefIVに対して右側からスパース行列IntA_Xをかけて、中間データcoefIV'を導出する（coefIV' = coefIV × IntA_x）。行列演算部４８１は、その中間データcoefIV'を正規化部４８２に供給する。

正規化部４８２は、その中間データcoefIV'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部４８２は、中間データcoefIV'をシフト量S_IntAxで右ビットシフトして正規化し、係数データcoefIVを導出する（coefIV = coefIV' >> S_IntAx）。つまり、正規化部４８２は、中間データcoefIV'の有効桁数を制御する。正規化部４８２は、その周波数領域におけるパワーシフトが行われた係数データcoefIVを行列演算部４７４に供給する。

行列演算部４７４は、スイッチ４７２またはパワーシフト部４７３（正規化部４８２）から供給された係数データcoefIVおよびベース変換行列T_Hを入力とし、行列演算に関する処理を行う。例えば、行列演算部４７４は、係数データcoefIVに対して右側からベース変換行列T_Hをかけて水平方向の１次元逆直交変換を行い、中間データtmp7を導出する（tmp7 = coefIV × T_H）。行列演算部４７４は、その中間データtmp7を正規化部４７５に供給する。

正規化部４７５は、その中間データtmp7と逆プライマリ水平変換シフト量invShift2とを入力とし、正規化に関する処理を行う。例えば、正規化部４７５は、中間データtmp7を、シーケンスレベルの逆プライマリ水平変換シフト量invShift2で右ビットシフトして正規化し、中間データtmp8を導出する（tmp8 = tmp7 >> invShift2）。つまり、正規化部４７５は、中間データtmp7の有効桁数を制御する。正規化部４７５は、その中間データtmp8をクリップ部４７６に供給する。

クリップ部４７６は、その中間データtmp8と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。例えば、クリップ部４７６は、中間データtmp8の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部４７６は、中間データtmp8がクリップされて得られた残差データresiIを演算部４１５に供給する。なお、クリップ部４７６は、省略してもよい。

以上のような構成を有することにより、画像復号装置４００は、上述した本技術を適用した処理を行い、適応直交変換のコストの増大を抑制することができる。

＜画像復号処理の流れ＞
次に、以上のような画像復号装置４００により実行される各処理の流れについて説明する。最初に、図３６のフローチャートを参照して、画像復号処理の流れの例を説明する。

画像復号処理が開始されると、蓄積バッファ４１１は、ステップＳ４０１において、画像復号装置４００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。

ステップＳ４０２において、復号部４１２は、その符号化データ（ビットストリーム）を復号し、量子化変換係数qcoefを得る。また、復号部４１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。

ステップＳ４０３において、逆量子化部４１３は、ステップＳ４０２の処理により得られた量子化変換係数qcoefに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、係数データcoefIを得る。

ステップＳ４０４において、逆直交変換部４１４は、ステップＳ４０３の処理により得られた係数データcoefIに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、残差データresiIを得る。

ステップＳ４０５において、予測部４１９は、ステップＳ４０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ４１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。

ステップＳ４０６において、演算部４１５は、ステップＳ４０４の処理により得られた残差データresiIと、ステップＳ４０５の処理により得られた予測画像Pとを加算し、局所復号画像R_localを導出する。

ステップＳ４０７において、インループフィルタ部４１６は、ステップＳ４０６の処理により得られた局所復号画像R_localに対して、インループフィルタ処理を行う。

また、ステップＳ４０８において、フレームメモリ４１８は、ステップＳ４０６の処理により得られた局所復号画像R_local、および、ステップＳ４０７の処理により得られたフィルタ処理後の局所復号画像R_localの内、少なくとも一方を記憶する。

ステップＳ４０９において、並べ替えバッファ４１７は、ステップＳ４０７の処理により得られたフィルタ処理された局所復号画像R_localを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。

ステップＳ４１０において、並べ替えバッファ４１７は、再生順に並べ替えた復号画像R群を、動画像として画像復号装置４００の外部に出力する。

ステップＳ４１０の処理が終了すると、画像復号処理が終了する。

以上のような流れの画像復号処理において、ステップＳ４０４の処理として、上述した本技術を適用した処理が行われる。したがって、この画像復号処理を実行することにより、適応直交変換のコストの増大を抑制することができる。

＜逆直交変換処理の流れ＞
図３６のステップＳ４０４の処理において実行される逆直交変換処理の流れの例を、図３７のフローチャートを参照して説明する。

逆直交変換処理が開始されると、逆直交変換部４１４の逆セカンダリ変換部４３１は、ステップＳ４２１において、逆セカンダリ変換処理を行う。

ステップＳ４２２において、逆プライマリ垂直変換部４４１は、逆プライマリ垂直変換処理を行う。

ステップＳ４２３において、逆プライマリ水平変換部４４２は、逆プライマリ水平変換処理を行う。

ステップＳ４２３の処理が終了すると、逆直交変換処理が終了し、処理は図３６に戻る。

以上のような逆直交変換処理において、ステップＳ４２２やステップＳ４２３の処理として、上述した本技術を適用した処理が行われる。したがって、この逆直交変換処理を実行することにより、適応直交変換のコストの増大を抑制することができる。

なお、この逆直交変換処理の各ステップ（ステップＳ４２１乃至ステップＳ４２３）は、それぞれ、スキップ（省略）することができる。

＜逆プライマリ垂直変換処理の流れ＞
図３７のステップＳ４２２において実行される逆プライマリ垂直変換処理の流れの例を、図３８のフローチャートを参照して説明する。

逆プライマリ垂直変換処理が開始されると、逆プライマリ垂直変換部４４１のパラメータ導出部４５１は、ステップＳ４３１において、ベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部４５１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ４３２において、パラメータ導出部４５１は、逆プライマリ垂直変換シフト量invShift1を導出する。例えば、パラメータ導出部４５１は、シーケンス毎の逆プライマリ垂直変換シフト量invShift1を、以下の式（３３）のように、ステップＳ４３１において導出したベース変換行列T_Vの整数近似精度を表すパラメータtrMatShiftに基づいて導出する。なお、パラメータtrMatShiftは、例えば、8の値をとる。さらに、パラメータ導出部４５１は、係数の最小値coefMinと最大値coefMaxも導出する。

invShift1 = trMatShift + 1 ・・・（３３）

ステップＳ４３３において、スイッチ４５２は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ４３４に進む。つまり、この場合、スイッチ４５２は、係数データcoefIPをパワーシフト部４５３に供給する。

ステップＳ４３４において、パワーシフト部４５３は、パワーシフト処理を実行し、係数データcoefIPを周波数領域においてパワーシフトする。ステップＳ４３４の処理が終了すると処理はステップＳ４３５に進む。また、ステップＳ４３３において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ４３４の処理が省略され、処理はステップＳ４３５に進む。つまり、この場合、スイッチ４５２は、係数データcoefIPを行列演算部４５４に供給する。

ステップＳ４３５において、行列演算部４５４は、例えば以下の式（３４）のように、係数データcoefIPの垂直方向へベース変換行列TVを用いて逆１次元変換（逆１Ｄ変換）を実行し、中間データtmp5を導出する。つまり、行列演算部４５４は、係数データcoefIPに対して左側から垂直方向のベース変換行列T_Vの転置行列T_V ^Tをかけて、中間データtmp5を導出する。

tmp5 = T_V ^T×coefIP ・・・（３４）

ステップＳ４３６において、正規化部４５５は、例えば以下の式（３５）に示されるように、中間データtmp5の各係数を逆プライマリ垂直変換シフト量invShift1で正規化する。

tmp6 = ( tmp5 + offsetInvShift1 ) >> invShift1 ・・・（３５）
offsetInvShift1 = 1<<(offsetInvShift1-1)

ステップＳ４３７において、クリップ部４５６は、例えば以下の式（３６）に示されるように、中間データtmp6の値を、係数の最小値coefMin乃至係数の最大値coefMaxの範囲になるようクリップし、クリップ後の係数データcoefIV（=tmp）を導出する。

coefIV = Clip3(coefMinVal, coefMaxVal, tmp6) ・・・（３６）

ステップＳ４３７の処理が終了すると、逆プライマリ垂直変換処理が終了し、処理は図３７に戻る。

以上のように、逆プライマリ垂直変換処理を行うことにより、逆プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができるので、適応直交変換のコストの増大を抑制することができる。

なお、ステップＳ４３７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図３９のフローチャートを参照して図３８のステップＳ４３４において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部４６１は、ステップＳ４４１において、例えば以下の式（３７）のように、スパース行列IntA_Xの転置行列と係数データcoefIPとの行列演算を行い、中間データcoefIP'を得る。つまり、行列演算部４６１は、係数データcoefIPの左側からスパース行列IntA_Xの転置行列IntA_X ^Tをかけて、中間データcoefIP'を導出する。

coefIP' = IntA_X ^T × coefIP ・・・（３７）

ステップＳ４４２において、正規化部４６２は、例えば以下の式（３８）のように、ステップＳ４４１の処理により導出された中間データcoefIP'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

coefIP = (coefIP' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（３８）

ステップＳ４４２の処理が終了するとパワーシフト処理が終了し、処理は図３８に戻る。

このように周波数領域におけるパワーシフトを行うことにより、逆プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜逆プライマリ水平変換処理の流れ＞
図３７のステップＳ４２３において実行される逆プライマリ水平変換処理の流れの例を、図４０のフローチャートを参照して説明する。

逆プライマリ水平変換処理が開始されると、逆プライマリ水平変換部４４２のパラメータ導出部４７１は、ステップＳ４５１において、ベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部４７１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ４５２において、パラメータ導出部４７１は、シーケンス毎の逆プライマリ水平変換シフト量invShift2を導出する。例えば、パラメータ導出部４７１は、シーケンス毎の逆プライマリ水平変換シフト量invShift2を、以下の式（３９）のように、ベース変換行列T_Hの整数近似精度を表すパラメータtrMatShift、係数データのレンジに関するパラメータlog2TransformRange、およびシーケンスビット深度channelBitDepthに基づいて導出する。なお、パラメータtrMatShiftは、例えば、8の値をとる。さらに、パラメータ導出部４７１は、係数の最小値coefMinと最大値coefMaxも導出する。

invShift2 = trMatShift + log2TransformDynamicRange - 1 - channelBitDepth
・・・（３９）

ステップＳ４５３において、スイッチ４７２は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ４５４に進む。つまり、この場合、スイッチ４７２は、係数データcoefIVをパワーシフト部４７３に供給する。

ステップＳ４５４において、パワーシフト部４７３は、パワーシフト処理を実行し、係数データcoefIVを周波数領域においてパワーシフトする。ステップＳ４５４の処理が終了すると処理はステップＳ４５５に進む。また、ステップＳ４５３において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ４５４の処理が省略され、処理はステップＳ４５５に進む。つまり、この場合、スイッチ４７２は、係数データcoefIVを行列演算部４７４に供給する。

ステップＳ４５５において、行列演算部４７４は、例えば以下の式（４０）のように、係数データcoefIVの水平方向へベース変換行列T_Hを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp7を導出する。つまり、行列演算部４７４は、係数データcoefIVに対して右側から水平方向のベース変換行列T_Hをかけて、中間データtmp7を導出する。

tmp7 = coefIV×T_H ・・・（４０）

ステップＳ４５６において、正規化部４７５は、例えば以下の式（４１）のように、中間データtmp7の各係数を逆プライマリ水平変換シフト量invShift2で正規化する。つまり、正規化部４７５は、中間データtmp7（にオフセットoffsetInvShift2を加えた値）を逆プライマリ水平変換シフト量invShift2の分だけ右方向にビットシフトする。

tmp8 = (tmp7 + offsetInvShift2) >> invShift2 ・・・（４１）
offsetInvShift2 = 1<<(invShift2-1)

ステップＳ４５７において、クリップ部４７６は、例えば以下の式（４２）のように、中間データtmp8の値を、係数の最小値coefMin乃至係数の最大値coefMaxの範囲になるようクリップし、クリップ後の残差データresiIを導出する。

resiI = Clip3(coefMinVal, coefMaxVal, tmp8) ・・・（４２）

ステップＳ４５７の処理が終了すると、逆プライマリ水平変換処理が終了し、処理は図３７に戻る。

以上のように、逆プライマリ水平変換処理を行うことにより、逆プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができるので、適応直交変換のコストの増大を抑制することができる。

なお、ステップＳ４０５の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図４１のフローチャートを参照して図４０のステップＳ４５４において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部４８１は、ステップＳ４５１において、例えば以下の式（４３）のように、係数データcoefIVとスパース行列IntA_Xとの行列演算を行い、中間データcoefIV'を得る。つまり、行列演算部４８１は、係数データcoefIVの右側からスパース行列IntA_Xをかけて、中間データcoefIV'を導出する。

coefIV' = coefIV × IntA_X ・・・（４３）

ステップＳ４６２において、正規化部４８２は、例えば以下の式（４４）のように、ステップＳ４６１の処理により導出された中間データcoefIV'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

coefIV = (coefIV' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（４４）

ステップＳ４６２の処理が終了するとパワーシフト処理が終了し、処理は図４０に戻る。

このように周波数領域におけるパワーシフトを行うことにより、逆プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜８．第７の実施の形態＞
＜画像符号化装置＞
また、本技術（変換行列の近似（方法＃２））を、画像符号化装置に適用することもできる。この場合の画像符号化装置３００の構成は、図２２を参照して説明した場合と同様である。また、この場合の直交変換部３１３の構成は、図２３を参照して説明した場合と同様である。

プライマリ水平変換部３５１が行うプライマリ水平変換を行列式で表すと上述した式（１１）のようになる。方法＃２の場合、この式（１１）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（４５）のように表現することができる。

また、プライマリ垂直変換部３５２が行うプライマリ垂直変換を行列式で表すと上述の式（１３）のようになる。方法＃２の場合、この式（１３）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（４６）のように表現することができる。

なお、これらのような順方向の直交変換では、式（４５）や式（４６）に示されるように、空間ドメインにおいて、ある方向（水平または垂直）に対して、係数データの可逆なパワーの交換（パワーシフト）が行なわれる（空間領域パワーシフトとも称する）。すなわち、このような順方向の直交変換は、予測残差の補正処理ともみなすことができる。

＜プライマリ水平変換部＞
図４２は、この場合のプライマリ水平変換部３５１の主な構成例を示すブロック図である。図４２に示されるように、この場合もプライマリ水平変換部３５１は、図２４の場合と同様に、パラメータ導出部３６１乃至クリップ部３６６を有する。

そして、パラメータ導出部３６１は、この場合も図２４の場合と同様に、水平方向の１次元変換用のベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出し、それらを各処理部に供給する。

ただし、スイッチ３６４は、予測残差resiとスパース行列有無フラグsparsePresentFlagとを入力とし、空間領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ３６４は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、空間領域におけるパワーシフトが行われるように、予測残差resiをパワーシフト部３６５（行列演算部３７１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ３６４は、空間領域におけるパワーシフトを省略するように、予測残差resiを行列演算部３６２に供給する。

パワーシフト部３６５は、予測残差resi、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、空間領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部３６５は、予測残差resiに対して空間領域におけるパワーシフトを行い、処理後の予測残差resiを行列演算部３６２に供給する。

行列演算部３７１は、予測残差resiおよびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部３７１は、スイッチ３６４から供給された予測残差resiに対して右側からスパース行列IntA_Xの転置行列をかけて、中間データresi'を導出する（resi' = resi × (IntA_X)^t）。行列演算部３７１は、その中間データresi'を正規化部３７２に供給する。

正規化部３７２は、その中間データresi'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部３７２は、中間データresi'をシフト量S_IntAxで右ビットシフトして正規化し、予測残差resiを導出する（resi = resi' >> S_IntAx）。つまり、正規化部３７２は、中間データresi'の有効桁数を制御する。正規化部３７２は、その空間領域におけるパワーシフトが行われた予測残差resiを行列演算部３６２に供給する。

行列演算部３６２は、スイッチ３６４またはパワーシフト部３６５（正規化部３７２）から供給される予測残差resiとベース変換行列T_Hとを入力とし、行列演算に関する処理を行う。例えば、行列演算部３６２は、予測残差resiに対して右側からベース変換行列THの転置行列(T_H)^tをかけて水平方向の１次元直交変換を行い、中間データtmp1を導出する（tmp1 = resi × (T_H)^t）。行列演算部３６２は、その中間データtmp1を正規化部３６３に供給する。

正規化部３６３は、その中間データtmp1とプライマリ水平変換シフト量fwdShift1とを入力とし、正規化に関する処理を行う。例えば、正規化部３６３は、中間データtmp1をプライマリ水平変換シフト量fwdShift1で右ビットシフトして正規化し、中間データtmp2を導出する（tmp2 = tmp1 >> fwdShift1）。つまり、正規化部３６３は、中間データtmp1の有効桁数を制御する。正規化部３６３は、その中間データtmp2をクリップ部３６６に供給する。

クリップ部３６６は、正規化部３６３から供給された中間データtmp2と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。例えば、クリップ部３６６は、中間データtmp2の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部３６６は、中間データtmp2がクリップされて得られた係数データcoefH（=tmp）をプライマリ垂直変換部３５２に供給する。なお、クリップ部３６６は、省略してもよい。

＜プライマリ垂直変換部＞
図４３は、この場合のプライマリ垂直変換部３５２の主な構成例を示すブロック図である。図２５に示されるように、プライマリ垂直変換部３５２は、この場合もパラメータ導出部３８１乃至クリップ部３８６を有する。

そして、パラメータ導出部３８１は、この場合も図２５の場合と同様に、垂直方向の１次元変換用のベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出し、それらを各処理部に供給する。

ただし、スイッチ３８４は、係数データcoefHとスパース行列有無フラグsparsePresentFlagとを入力とし、空間領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ３８４は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、空間領域におけるパワーシフトが行われるように、係数データcoefHをパワーシフト部３８５（行列演算部３９１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ３８４は、空間領域におけるパワーシフトを省略するように、係数データcoefHを行列演算部３８２に供給する。

パワーシフト部３８５は、その係数データcoefH、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、空間領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部３８５は、係数データcoefHに対して空間領域におけるパワーシフトを行い、処理後の係数データcoefHを行列演算部３８２に供給する。

行列演算部３９１は、係数データcoefHおよびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部３９１は、スイッチ３８４から供給された係数データcoefHに対して左側からスパース行列IntA_Xをかけて、中間データcoefH'を導出する（coefH' = IntA_X × coefH）。行列演算部３９１は、その中間データcoefH'を正規化部３９２に供給する。

正規化部３９２は、その中間データcoefH'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部３９２は、中間データcoefH'をシフト量S_IntAxで右ビットシフトして正規化し、係数データcoefHを導出する（coefH = coefH' >> S_IntAx）。つまり、正規化部３９２は、中間データcoefH'の有効桁数を制御する。正規化部３９２は、その空間領域におけるパワーシフトが行われた係数データcoefHを行列演算部３８２に供給する。

正規化部３８３は、その中間データtmp3とプライマリ垂直変換シフト量fwdShift2とを入力とし、正規化に関する処理を行う。例えば、正規化部３８３は、中間データtmp3をプライマリ垂直変換シフト量fwdShift2で右ビットシフトして正規化し、中間データtmp4を導出する（tmp4 = tmp3 >> fwdShift2）。つまり、正規化部３８３は、中間データtmp3の有効桁数を制御する。正規化部３８３は、その中間データtmp4をクリップ部３８６に供給する。

クリップ部３８６は、正規化部３８３から供給された中間データtmp4と、係数の最小値coefMinおよび最大値coefMaxとを入力とし、クリップ処理に関する処理を行う。例えば、クリップ部３８６は、中間データtmp4の値を、係数の最小値coefMinおよび最大値coefMaxの範囲内にクリップする。クリップ部３８６は、中間データtmp4がクリップされて得られた係数データcoefPをセカンダリ変換部３４２に供給する。なお、クリップ部３８６は、省略してもよい。

＜画像符号化処理等の流れ＞
次に、この場合の画像符号化装置３００により実行される各処理の流れについて説明する。この場合も画像符号化処理は、図２６のフローチャートと同様の流れで行われる。また、この場合も直交変換処理は、図２７のフローチャートと同様の流れで行われる。

＜プライマリ水平変換処理の流れ＞
この場合の、図２７のステップＳ３２１において実行されるプライマリ水平変換処理の流れの例を、図４４のフローチャートを参照して説明する。

プライマリ水平変換処理が開始されると、プライマリ水平変換部３５１のパラメータ導出部３６１は、ステップＳ５０１において、ベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部３６１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ５０２において、パラメータ導出部３６１は、プライマリ水平変換シフト量fwdShift1を導出する。また、パラメータ導出部３６１は、係数の最小値coefMinと最大値coefMaxも導出する。

ステップＳ５０３において、スイッチ３６４は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ５０４に進む。つまり、この場合、スイッチ３６４は、予測残差resiをパワーシフト部３６５に供給する。

ステップＳ５０４において、パワーシフト部３６５は、パワーシフト処理を実行し、予測残差resiを空間領域においてパワーシフトする。ステップＳ５０４の処理が終了すると処理はステップＳ５０５に進む。また、ステップＳ５０３において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ５０４の処理が省略され、処理はステップＳ５０５に進む。つまり、この場合、スイッチ３６４は、予測残差resiを行列演算部３６２に供給する。

ステップＳ５０５において、行列演算部３６２は、例えば上述の式（１６）のように、予測残差resiの水平方向へベース変換行列T_Hを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp1を導出する。つまり、行列演算部３６２は、予測残差resiに対して右側から水平方向のベース変換行列T_Hの転置行列T_H ^Tをかけて、中間データtmp1を導出する。

ステップＳ５０６において、正規化部３６３は、例えば上述の式（１７）のように、中間データtmp1の各係数をプライマリ水平変換シフト量fwdShift1で正規化する。

ステップＳ５０７において、クリップ部３６６は、例えば上述の式（１８）のように、中間データtmp2の値を、係数の最小値coefMinVal乃至係数の最大値coefMaxValの範囲になるようクリップし、クリップ後の係数データcoefHを導出する。

ステップＳ５０７の処理が終了すると、処理は図２７に戻る。

なお、ステップＳ５０７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図４５のフローチャートを参照して、図４４のステップＳ５０４において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部３７１は、ステップＳ５２１において、例えば以下の式（４７）のように、予測残差resiとスパース行列IntA_Xの転置行列IntA_X ^Tとの行列演算を行い、中間データresi'を得る。つまり、行列演算部３７１は、予測残差resiの右側からスパース行列IntA_Xの転置行列IntA_X ^Tをかけて、中間データresi'を導出する。

resi' = resi × IntA_X ^T ・・・（４７）

ステップＳ５２２において、正規化部３７２は、例えば以下の式（４８）のように、ステップＳ５２１の処理により導出された中間データresi'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

resi = (resi' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（４８）

ステップＳ５２２の処理が終了するとパワーシフト処理が終了し、処理は図４４に戻る。

このように空間領域におけるパワーシフトを行うことにより、プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜プライマリ垂直変換処理の流れ＞
この場合の、図２７のステップＳ３２２において実行されるプライマリ垂直変換処理の流れの例を、図４６のフローチャートを参照して説明する。

プライマリ垂直変換処理が開始されると、プライマリ垂直変換部３５２のパラメータ導出部３８１は、ステップＳ５４１において、ベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部３８１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ５４２において、パラメータ導出部３８１は、プライマリ垂直変換シフト量fwdShift2を導出する。また、パラメータ導出部３８１は、係数の最小値coefMinと最大値coefMaxも導出する。

ステップＳ５４３において、スイッチ３８４は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ５４４に進む。つまり、この場合、スイッチ３８４は、係数データcoefHをパワーシフト部３８５に供給する。

ステップＳ５４４において、パワーシフト部３８５は、パワーシフト処理を実行し、係数データcoefHを空間領域においてパワーシフトする。ステップＳ５４４の処理が終了すると処理はステップＳ５４５に進む。また、ステップＳ５４３において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ５４４の処理が省略され、処理はステップＳ５４５に進む。つまり、この場合、スイッチ３８４は、係数データcoefHを行列演算部３８２に供給する。

ステップＳ５４５において、行列演算部３８２は、例えば上述の式（２２）のように、係数データcoefHの垂直方向へベース変換行列T_Vを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp3を導出する。つまり、行列演算部３８２は、係数データcoefHに対して左側から垂直方向のベース変換行列T_Vをかけて、中間データtmp3を導出する。

ステップＳ５４６において、正規化部３８３は、例えば上述の式（２３）のように、中間データtmp3の各係数をプライマリ垂直変換シフト量fwdShift2で正規化する。

ステップＳ５４７において、クリップ部３８６は、例えば上述の式（２４）に示されるように、中間データtmp4の値を、係数の最小値coefMinVal乃至係数の最大値coefMaxValの範囲になるようクリップし、クリップ後の係数データcoefPを導出する。

ステップＳ５４７の処理が終了すると、処理は図２７に戻る。

なお、ステップＳ５４７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図４６のステップＳ５４４において実行されるパワーシフト処理の流れの例を、図４７のフローチャートを参照して説明する。

パワーシフト処理が開始されると、行列演算部３９１は、ステップＳ５６１において、例えば以下の式（４９）のように、スパース行列IntA_Xと係数データcoefHとの行列演算を行い、中間データcoefH'を得る。つまり、行列演算部３９１は、係数データcoefHの左側からスパース行列IntA_Xをかけて、中間データcoefH'を導出する。

coefH' = IntA_X × coefH ・・・（４９）

ステップＳ５６２において、正規化部３９２は、例えば以下の式（５０）のように、ステップＳ５６１の処理により導出された中間データcoefH'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

coefH = (coefH' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（５０）

ステップＳ５６２の処理が終了するとパワーシフト処理が終了し、処理は図４６に戻る。

このように空間領域におけるパワーシフトを行うことにより、プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜９．第８の実施の形態＞
＜画像復号装置＞
また、本技術（変換行列の近似（方法＃２））を、画像復号装置に適用することもできる。この場合の画像復号装置４００の構成は、図３２を参照して説明した場合と同様である。また、この場合の逆直交変換部４１４の構成は、図３３を参照して説明した場合と同様である。

逆プライマリ垂直変換部４４１が行う逆プライマリ垂直変換を行列式で表すと上述した式（２９）のようになる。方法＃２の場合、この式（２９）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（５１）のように表現することができる。

また、逆プライマリ水平変換部４４２が行う逆プライマリ水平変換を行列式で表すと上述の式（１３）のようになる。方法＃２の場合、この式（１３）は、整数精度のスパース行列IntA_N,tgtとベース変換行列T_N,base（ここでは、base=DCT2）とを用いて、以下の式（５２）のように表現することができる。

＜逆プライマリ垂直変換部＞
図４８は、この場合の逆プライマリ垂直変換部４４１の主な構成例を示すブロック図である。図４８に示されるように、この場合も逆プライマリ垂直変換部４４１は、図３４の場合と同様に、パラメータ導出部４５１乃至クリップ部４５６を有する。

そして、パラメータ導出部４５１は、この場合も図３４の場合と同様に、垂直方向の１次元変換用のベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部４５１は、シーケンス毎に設定される逆プライマリ垂直変換における有効桁数のシフト量である逆プライマリ垂直変換シフト量invShift1を導出する。なお、逆プライマリ垂直変換シフト量invShift1が導出済みの場合、この処理は省略することができる。さらに、パラメータ導出部４５１は、係数の最小値coefMinと最大値coefMaxとを導出する。パラメータ導出部４５１は、この場合も図３４の場合と同様に、導出したこれらのパラメータを各処理部に供給する。

ただし、行列演算部４５４は、係数データcoefIPおよびベース変換行列T_Vを入力とし、行列演算に関する処理を行う。例えば、行列演算部４５４は、係数データcoefIPに対して左側からベース変換行列T_Vの転置行列(T_V)^tをかけて垂直方向の１次元逆直交変換を行い、中間データtmp5を導出する（tmp5 = (T_V)^t × coefIP）。行列演算部４５４は、その中間データtmp5を正規化部４５５に供給する。

正規化部４５５は、その中間データtmp5と逆プライマリ垂直変換シフト量invShift1とを入力とし、正規化に関する処理を行う。例えば、正規化部４５５は、中間データtmp5を、シーケンスレベルの逆プライマリ垂直変換シフト量invShift1で右ビットシフトして正規化し、中間データtmp6を導出する（tmp6 = tmp5 >> invShift1）。つまり、正規化部４５５は、中間データtmp5の有効桁数を制御する。正規化部４５５は、その中間データtmp6をスイッチ４５２に供給する。

スイッチ４５２は、係数データcoefIPとスパース行列有無フラグsparsePresentFlagとを入力とし、空間領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ４５２は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、空間領域におけるパワーシフトが行われるように、中間データtmp6をパワーシフト部４５３（行列演算部４６１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ４５２は、空間領域におけるパワーシフトを省略するように、中間データtmp6をクリップ部４５６に供給する。

パワーシフト部４５３は、その中間データtmp6、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、空間領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部４５３は、中間データtmp6に対して空間領域におけるパワーシフトを行い、処理後の中間データtmp6をクリップ部４５６に供給する。

行列演算部４６１は、中間データtmp6およびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部４６１は、スイッチ４５２から供給された中間データtmp6に対して左側からスパース行列IntA_Xの転置行列IntA_X ^Tをかけて、中間データtmp6'を導出する（tmp6' = (IntA_X)^t × tmp6）。行列演算部４６１は、その中間データtmp6'を正規化部４６２に供給する。

正規化部４６２は、その中間データtmp6'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部４６２は、中間データtmp6'をシフト量S_IntAxで右ビットシフトして正規化し、中間データtmp6を導出する（tmp6= tmp6' >> S_IntAx）。つまり、正規化部４６２は、中間データtmp6'の有効桁数を制御する。正規化部４６２は、その空間領域におけるパワーシフトが行われた中間データtmp6をクリップ部４５６に供給する。

＜逆プライマリ水平変換部＞
図４９は、この場合の逆プライマリ水平変換部４４２の主な構成例を示すブロック図である。図４９に示されるように、逆プライマリ水平変換部４４２は、この場合もパラメータ導出部４７１乃至クリップ部４７６を有する。

そして、パラメータ導出部４７１は、この場合も図３５の場合と同様に、水平方向の１次元変換用のベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを導出する。また、パラメータ導出部４７１は、シーケンス毎に設定される逆プライマリ水平変換における有効桁数のシフト量である逆プライマリ水平変換シフト量invShift2を導出する。なお、逆プライマリ水平変換シフト量invShift2が導出済みの場合、この処理は省略することができる。さらに、パラメータ導出部４７１は、係数の最小値coefMinと最大値coefMaxとを導出する。パラメータ導出部４７１は、この場合も図３５の場合と同様に、導出したこれらのパラメータを各処理部に供給する。

ただし、行列演算部４７４は、係数データcoefIVおよびベース変換行列T_Hを入力とし、行列演算に関する処理を行う。例えば、行列演算部４７４は、係数データcoefIVに対して右側からベース変換行列T_Hをかけて水平方向の１次元逆直交変換を行い、中間データtmp7を導出する（tmp7 = coefIV × T_H）。行列演算部４７４は、その中間データtmp7を正規化部４７５に供給する。

正規化部４７５は、その中間データtmp7と逆プライマリ水平変換シフト量invShift2とを入力とし、正規化に関する処理を行う。例えば、正規化部４７５は、中間データtmp7を、シーケンスレベルの逆プライマリ水平変換シフト量invShift2で右ビットシフトして正規化し、中間データtmp8を導出する（tmp8 = tmp7 >> invShift2）。つまり、正規化部４７５は、中間データtmp7の有効桁数を制御する。正規化部４７５は、その中間データtmp8をスイッチ４７２に供給する。

スイッチ４７２は、中間データtmp8とスパース行列有無フラグsparsePresentFlagとを入力とし、空間領域におけるパワーシフトの実行制御に関する処理を行う。例えば、スイッチ４７２は、スパース行列有無フラグsparsePresentFlagが真（true）の場合、空間領域におけるパワーシフトが行われるように、中間データtmp8をパワーシフト部４７３（行列演算部４８１）に供給する。また、スパース行列有無フラグsparsePresentFlagが偽（False）の場合、スイッチ４７２は、空間領域におけるパワーシフトを省略するように、中間データtmp8をクリップ部４７６に供給する。

パワーシフト部４７３は、その中間データtmp8、スパース行列IntA_X、およびシフト量S_IntAxを入力とし、空間領域におけるパワーシフトに関する処理を行う。例えば、パワーシフト部４７３は、中間データtmp8に対して空間領域におけるパワーシフトを行い、処理後の中間データtmp8をクリップ部４７６に供給する。

行列演算部４８１は、中間データtmp8およびスパース行列IntA_Xを入力とし、行列演算に関する処理を行う。例えば、行列演算部４８１は、スイッチ４７２から供給された中間データtmp8に対して右側からスパース行列IntA_Xをかけて、中間データtmp8'を導出する（tmp8' = tmp8 × IntA_x）。行列演算部４８１は、その中間データtmp8'を正規化部４８２に供給する。

正規化部４８２は、その中間データtmp8'およびシフト量S_IntAxを入力とし、正規化に関する処理を行う。例えば、正規化部４８２は、中間データtmp8'をシフト量S_IntAxで右ビットシフトして正規化し、中間データtmp8を導出する（tmp8 = tmp8' >> S_IntAx）。つまり、正規化部４８２は、中間データtmp8'の有効桁数を制御する。正規化部４８２は、その空間領域におけるパワーシフトが行われた中間データtmp8をクリップ部４７６に供給する。

＜画像復号処理等の流れ＞
次に、この場合の画像復号装置４００により実行される各処理の流れについて説明する。この場合も画像復号処理は、図３６のフローチャートと同様の流れで行われる。また、この場合も逆直交変換処理は、図３７のフローチャートと同様の流れで行われる。

＜逆プライマリ垂直変換処理の流れ＞
この場合の、図３７のステップＳ４２２において実行される逆プライマリ垂直変換処理の流れの例を、図５０のフローチャートを参照して説明する。

逆プライマリ垂直変換処理が開始されると、逆プライマリ垂直変換部４４１のパラメータ導出部４５１は、ステップＳ６０１において、ベース変換行列T_V、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部４５１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ６０２において、パラメータ導出部４５１は、逆プライマリ垂直変換シフト量invShift1を導出する。また、パラメータ導出部４５１は、係数の最小値coefMinと最大値coefMaxも導出する。

ステップＳ６０３において、行列演算部４５４は、例えば上述の式（３４）のように、係数データcoefIPの垂直方向へベース変換行列T_Vを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp5を導出する。つまり、行列演算部４５４は、係数データcoefIPに対して左側から垂直方向のベース変換行列T_Vの転置行列T_V ^Tをかけて、中間データtmp5を導出する。

ステップＳ６０４において、正規化部４５５は、例えば上述の式（３５）のように、中間データtmp5の各係数を逆プライマリ垂直変換シフト量invShift1で正規化し、中間データtmp6を導出する。

ステップＳ６０５において、スイッチ４５２は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ６０６に進む。つまり、この場合、スイッチ４５２は、中間データtmp6をパワーシフト部４５３に供給する。

ステップＳ６０６において、パワーシフト部４５３は、パワーシフト処理を実行し、中間データtmp6を空間領域においてパワーシフトする。ステップＳ６０６の処理が終了すると処理はステップＳ６０７に進む。また、ステップＳ６０５において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ６０６の処理が省略され、処理はステップＳ６０７に進む。つまり、この場合、スイッチ４５２は、中間データtmp6をクリップ部４５６に供給する。

ステップＳ６０７において、クリップ部４５６は、例えば上述の式（３６）に示されるように、中間データtmp6の値を、係数の最小値coefMinVal乃至係数の最大値coefMaxValの範囲になるようクリップし、クリップ後の係数データcoefIVを導出する。

ステップＳ６０７の処理が終了すると、処理は図３７に戻る。

以上のように逆プライマリ垂直変換処理を行うことにより、逆プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができるので、適応直交変換のコストの増大を抑制することができる。

なお、ステップＳ６０７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図５１のフローチャートを参照して図５０のステップＳ６０６において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部４６１は、ステップＳ６２１において、例えば以下の式（５３）のように、スパース行列IntA_Xの転置行列IntA_X ^Tと中間データtmp6との行列演算を行い、中間データtmp6'を得る。つまり、行列演算部４６１は、中間データtmp6の左側からスパース行列IntA_Xの転置行列IntA_X ^Tをかけて、中間データtmp6'を導出する。

tmp6' = IntA_X ^T × coefIP ・・・（５３）

ステップＳ６２２において、正規化部４６２は、例えば以下の式（５４）のように、ステップＳ６２１の処理により導出された中間データtmp6'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化する。

coefIV = tmp6 = (tmp6' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（５４）

ステップＳ６２２の処理が終了するとパワーシフト処理が終了し、処理は図５０に戻る。

このように空間領域におけるパワーシフトを行うことにより、逆プライマリ垂直変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜逆プライマリ水平変換処理の流れ＞
また、この場合の、図３７のステップＳ４２３において実行される逆プライマリ水平変換処理の流れの例を、図５２のフローチャートを参照して説明する。

逆プライマリ水平変換処理が開始されると、逆プライマリ水平変換部４４２のパラメータ導出部４７１は、ステップＳ６４１において、ベース変換行列T_H、スパース行列有無フラグsparsePresentFlag、スパース行列IntA_X、および、そのスパース行列IntA_Xに対応するシフト量S_IntAxを設定する。例えば、パラメータ導出部４７１（の変換行列設定部１０１）は、図１３のフローチャートを参照して説明した設定処理を実行し、これらのパラメータを設定する。

ステップＳ６４２において、パラメータ導出部４７１は、シーケンス毎の逆プライマリ水平変換シフト量invShift2を導出する。さらに、パラメータ導出部４７１は、係数の最小値coefMinと最大値coefMaxも導出する。

ステップＳ６４３において、行列演算部４７４は、例えば上述の式（４０）のように、係数データcoefIVの水平方向へベース変換行列T_Hを用いて１次元変換（１Ｄ変換）を実行し、中間データtmp7を導出する。

ステップＳ６４４において、正規化部４７５は、例えば上述の式（４１）のように、中間データtmp7の各係数を逆プライマリ水平変換シフト量invShift2で正規化し、中間データtmp8を導出する。

ステップＳ６４５において、スイッチ４７２は、スパース行列有無フラグsparsePresentFlagが真（True）であるか否かを判定する。真（True）であると判定された場合、処理はステップＳ６４６に進む。つまり、この場合、スイッチ４７２は、中間データtmp8をパワーシフト部４７３に供給する。

ステップＳ６４６において、パワーシフト部４７３は、パワーシフト処理を実行し、中間データtmp8を空間領域においてパワーシフトする。ステップＳ６４６の処理が終了すると処理はステップＳ６４７に進む。また、ステップＳ６４５において、スパース行列有無フラグsparsePresentFlagが偽（False）であると判定された場合、ステップＳ６４６の処理が省略され、処理はステップＳ６４７に進む。つまり、この場合、スイッチ４７２は、中間データtmp8をクリップ部４７６に供給する。

ステップＳ６４７において、クリップ部４７６は、例えば上述の式（４２）のように、中間データtmp8の値を、係数の最小値coefMin乃至係数の最大値coefMaxの範囲になるようクリップし、クリップ後の残差データresiIを導出する。

ステップＳ６４７の処理が終了すると、逆プライマリ水平変換処理が終了し、処理は図３７に戻る。

なお、ステップＳ６４７の処理は省略するようにしてもよい。

＜パワーシフト処理の流れ＞
次に、図５３のフローチャートを参照して図５２のステップＳ６４６において実行されるパワーシフト処理の流れの例を説明する。

パワーシフト処理が開始されると、行列演算部４８１は、ステップＳ６６１において、例えば以下の式（５５）のように、中間データtmp8とスパース行列IntA_Xとの行列演算を行い、中間データtmp8'を得る。つまり、行列演算部４８１は、中間データtmp8の右側からスパース行列IntA_Xをかけて、中間データtmp8'を導出する。

tmp8' = tmp8 × IntA_X ・・・（５５）

ステップＳ６６２において、正規化部４８２は、例えば以下の式（５６）のように、ステップＳ６６１の処理により導出された中間データtmp8'をスパース行列IntA_Xに対応するシフト量S_IntAxで正規化し、残差データresiIを導出する。

resiI = tmp8 = (tmp8' + (1 << (S_IntAx - 1))) >> S_IntAx ・・・（５６）

ステップＳ６６２の処理が終了するとパワーシフト処理が終了し、処理は図５２に戻る。

このように空間領域におけるパワーシフトを行うことにより、逆プライマリ水平変換の変換行列を所定のベース変換行列とスパース行列とを用いて近似することができる。したがって、適応直交変換のコストの増大を抑制することができる。

＜１０．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図５４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図５４に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

＜情報・処理の単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。

＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。

また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。

さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。

上述した実施の形態に係る画像処理装置、画像符号化装置、および画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１）ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成する復号部と、
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、前記復号部により生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する逆直交変換部と
を備える画像処理装置。
（２）前記ベース変換行列の変換タイプの数は１つである
（１）に記載の画像処理装置。
（３）前記ベース変換行列は、DCT2である
（２）に記載の画像処理装置。
（４）前記異なる変換タイプは、前記直交変換に設定される全ての変換タイプである
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記逆直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、垂直方向の逆プライマリ変換を適用する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記逆直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、水平方向の逆プライマリ変換を適用する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記逆直交変換部は、
前記復号部により生成された前記係数データに対して、前記スパース行列を用いて周波数領域のパワーシフトを行い、
前記パワーシフトが行われた前記係数データに対して、前記ベース変換行列を用いて逆直交変換を行う
（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記逆直交変換部は、
前記スパース行列の転置行列と入力信号との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行い、
前記ベース変換行列の転置行列と前記シフト演算の結果との行列の積を求める行列演算を行うことにより、
垂直方向の逆プライマリ変換を適用する
（７）に記載の画像処理装置。
（９）前記逆直交変換部は、
入力信号と前記スパース行列との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行い、
前記シフト演算の結果と前記ベース変換行列との行列の積を求める行列演算を行うことにより、
水平方向の逆プライマリ変換を適用する
（７）または（８）に記載の画像処理装置。
（１０）前記逆直交変換部は、
前記復号部により生成された前記係数データに対して、前記ベース変換行列を用いて逆直交変換を行い、
前記逆直交変換が行われて得られた予測残差に対して、前記スパース行列を用いて空間領域のパワーシフトを行う
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）前記逆直交変換部は、
前記ベース変換行列の転置行列と入力信号との行列の積を求める行列演算を行い、
前記スパース行列の転置行列と前記行列演算の結果との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行うことにより、
垂直方向の逆プライマリ変換を適用する
（１０）に記載の画像処理装置。
（１２）前記逆直交変換部は、
入力信号と前記ベース変換行列との行列の積を求める行列演算を行い、
前記行列演算の結果と前記スパース行列との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行うことにより、
水平方向の逆プライマリ変換を適用する
（１０）または（１１）に記載の画像処理装置。
（１３）ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する
画像処理方法。

（１４）ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成する直交変換部と、
前記直交変換部により生成された前記係数データを符号化して、ビットストリームを生成する符号化部と
を備える画像処理装置。
（１５）前記ベース変換行列は、DCT2である
（１４）に記載の画像処理装置。
（１６）前記直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、水平方向のプライマリ変換を適用する
（１４）または（１５）に記載の画像処理装置。
（１７）前記直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、垂直方向のプライマリ変換を適用する
（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１８）前記直交変換部は、
前記予測残差に対して、前記ベース変換行列を用いて直交変換を行い、
前記直交変換が行われて得られた係数データに対して、前記スパース行列を用いて周波数領域のパワーシフトを行う
（１４）乃至（１７）のいずれかに記載の画像処理装置。
（１９）前記直交変換部は、
前記予測残差に対して、前記スパース行列を用いて空間領域のパワーシフトを行い、
前記パワーシフトが行われた前記予測残差に対して、前記ベース変換行列を用いて直交変換を行う
（１４）乃至（１８）のいずれかに記載の画像処理装置。
（２０）ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成し、
生成された前記係数データを符号化して、ビットストリームを生成する
画像処理方法。

１００画像処理装置，１０１変換行列設定部，１０２変換部，１１１サイズ判定部，１１２ベース変換行列設定部，１１３フラグ設定部，１１４スパース行列設定部，１２１ベース変換行列LUT，１２２スパース行列LUT，１３１係数変換部，１３２スイッチ，１３３パワーシフト部，１３４出力部，１５０画像処理装置，１５２逆変換部, １６１スイッチ，１６２パワーシフト部，１６３係数逆変換部，１６４出力部，３００画像符号化装置，３０１制御部，３１３直交変換部，３１８逆直交変換部，３４１プライマリ変換部，３４２セカンダリ変換部，３５１プライマリ水平変換部，３５２プライマリ垂直変換部，３６１パラメータ導出部，３６２行列演算部，３６３正規化部，３６４スイッチ，３６５パワーシフト部，３６６クリップ部，３７１行列演算部，３７２正規化部，３８１パラメータ導出部，３８２行列演算部，３８３正規化部，３８４スイッチ，３８５パワーシフト部，３８６クリップ部，３９１行列演算部，３９２正規化部，４００画像復号装置，４１４逆直交変換部，４３１逆セカンダリ変換部，４３２逆プライマリ変換部，４４１逆プライマリ垂直変換部，４４２逆プライマリ水平変換部，４５１パラメータ導出部，４５２スイッチ，４５３パワーシフト部，４５４行列演算部，４５５正規化部，４５６クリップ部，４６１行列演算部，４６２正規化部，４７１パラメータ導出部，４７２スイッチ，４７３パワーシフト部，４７４行列演算部，４７５正規化部，４７６クリップ部，４８１パワーシフト部，４８２正規化部

Claims

ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成する復号部と、
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、前記復号部により生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する逆直交変換部と
を備える画像処理装置。
前記ベース変換行列の変換タイプの数は１つである
請求項１に記載の画像処理装置。
前記ベース変換行列は、DCT2である
請求項２に記載の画像処理装置。
前記異なる変換タイプは、前記直交変換に設定される全ての変換タイプである
請求項１に記載の画像処理装置。
前記逆直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、垂直方向の逆プライマリ変換を適用する
請求項１に記載の画像処理装置。
前記逆直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、水平方向の逆プライマリ変換を適用する
請求項１に記載の画像処理装置。
前記逆直交変換部は、
前記復号部により生成された前記係数データに対して、前記スパース行列を用いて周波数領域のパワーシフトを行い、
前記パワーシフトが行われた前記係数データに対して、前記ベース変換行列を用いて逆直交変換を行う
請求項１に記載の画像処理装置。
前記逆直交変換部は、
前記スパース行列の転置行列と入力信号との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行い、
前記ベース変換行列の転置行列と前記シフト演算の結果との行列の積を求める行列演算を行うことにより、
垂直方向の逆プライマリ変換を適用する
請求項７に記載の画像処理装置。
前記逆直交変換部は、
入力信号と前記スパース行列との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行い、
前記シフト演算の結果と前記ベース変換行列との行列の積を求める行列演算を行うことにより、
水平方向の逆プライマリ変換を適用する
請求項７に記載の画像処理装置。
前記逆直交変換部は、
前記復号部により生成された前記係数データに対して、前記ベース変換行列を用いて逆直交変換を行い、
前記逆直交変換が行われて得られた予測残差に対して、前記スパース行列を用いて空間領域のパワーシフトを行う
請求項１に記載の画像処理装置。
前記逆直交変換部は、
前記ベース変換行列の転置行列と入力信号との行列の積を求める行列演算を行い、
前記スパース行列の転置行列と前記行列演算の結果との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行うことにより、
垂直方向の逆プライマリ変換を適用する
請求項１０に記載の画像処理装置。
前記逆直交変換部は、
入力信号と前記ベース変換行列との行列の積を求める行列演算を行い、
前記行列演算の結果と前記スパース行列との行列の積を求める行列演算を行い、前記行列演算の結果に対してシフト演算を行うことにより、
水平方向の逆プライマリ変換を適用する
請求項１０に記載の画像処理装置。
ビットストリームを復号して、画像の予測残差が直交変換された係数データを生成し、
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、生成された前記係数データに対して、前記ベース変換行列と異なる変換タイプに対応する逆直交変換を適用する
画像処理方法。
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成する直交変換部と、
前記直交変換部により生成された前記係数データを符号化して、ビットストリームを生成する符号化部と
を備える画像処理装置。
前記ベース変換行列は、DCT2である
請求項１４に記載の画像処理装置。
前記直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、水平方向のプライマリ変換を適用する
請求項１４に記載の画像処理装置。
前記直交変換部は、前記ベース変換行列と前記スパース行列とを用いて、垂直方向のプライマリ変換を適用する
請求項１４に記載の画像処理装置。
前記直交変換部は、
前記予測残差に対して、前記ベース変換行列を用いて直交変換を行い、
前記直交変換が行われて得られた係数データに対して、前記スパース行列を用いて周波数領域のパワーシフトを行う
請求項１４に記載の画像処理装置。
前記直交変換部は、
前記予測残差に対して、前記スパース行列を用いて空間領域のパワーシフトを行い、
前記パワーシフトが行われた前記予測残差に対して、前記ベース変換行列を用いて直交変換を行う
請求項１４に記載の画像処理装置。
ベース変換行列と前記ベース変換行列に対応するスパース行列とを用いて、画像の予測残差に対して、前記ベース変換行列と異なる変換タイプに対応する直交変換を適用して、係数データを生成し、
生成された前記係数データを符号化して、ビットストリームを生成する
画像処理方法。