JP2014197890A - 動画像符号化装置及び動画像復号化装置 - Google Patents

Abstract

【課題】直交変換係数の係数密集度を高める技術を提供する。
【解決手段】符号化データから変換係数を取得する取得部と、各予測方向に対して予め定められたスキャン順のうち、対象ブロックの予測方向に対応するスキャン順に従って、変換係数を並び替える係数順制御部と、対象ブロックの処理モードを、第１モードまたは第２モードに分類する分類部と、処理モードが第１モードに分類された場合に、予測方向に依らず共通の第１変換基底を用い、並べ替えられた変換係数を逆直交変換する第１逆直交変換部と、処理モードが第２モードに分類された場合に、第１変換基底とは異なる１つの第２変換基底を用い、並べ替えられた変換係数を逆直交変換する第２逆直交変換部と、予測誤差信号を用いて復号画像信号を生成する復号画像信号生成部と、を具備し、係数順制御部は、対象ブロックの予測方向が垂直方向である場合、水平方向のスキャン順に従って変換係数を並び替える。
【選択図】図１

Description

本発明は、動画像符号化装置及び動画像復号化装置に関する。

近年、大幅に符号化効率を向上させた動画像符号化手法がＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同で、ＩＴＵ−Ｔ ＲＥＣ． Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０（以下、「Ｈ．２６４」という。）として勧告されている。Ｈ．２６４では、予測処理手法に依存せず、離散コサイン変換を用いた直交変換・逆直交変換処理が行われる。

例えば、特許文献１及び非特許文献１ではＨ．２６４の直交変換・逆直交変換を拡張し、イントラ予測モードとして定められている９種類の予測方向毎に、発生した予測誤差を直交変換した際に、変換後の係数集密度が高くなるような変換基底を所持し、直交変換・逆直交変換を行うことによって符号化効率を高める手法が開示されている。

国際公開番号ＷＯ２００８１５７４３１号パンフレット

M. Karczewicz, "Improved intra coding", ITU-T SG16/Q.6, VCEG Document, VCEG-AF15, April 2007.

しかしながら、上記特許文献１及び非特許文献１に記載の手法では、イントラ予測モード毎に異なる直交変換処理が必要であり、ハードウェアでの実現を考慮した場合、Ｈ．２６４で必要な離散コサイン変換・逆離散コサイン変換用の専用ハードウェアに加えて、追加で８種類の異なる直交変換・逆直交変換を行う専用ハードウェアを構成しなければならず、回路規模が増大する。

本発明は、直交変換後の係数集密度を高めるとともに、直交変換及び逆直交変換におけるハードウェア実現時の回路規模を削減することが可能な動画像符号化装置及び動画像復号化装置を提供することを目的とする。

本発明の一側面に係る動画像符号化装置は、複数のイントラ予測モードのうちの選択モードに従ったイントラ予測を用いて、符号化対象の予測誤差信号を求める予測部と、前記選択モードを、予測方向を持ったイントラ予測であることを示す第１予測モードと、予測方向を持たないイントラ予測であることを示す第２予測モードとに分類するイントラ予測分類部と、前記選択モードが前記第１予測モードに分類された場合に、変換後の係数集密度が変換前よりも高くなるように予め設定された第１変換基底を用いて、前記予測誤差信号を直交変換して変換係数を得る第１直交変換部と、前記選択モードが前記第２予測モードに分類された場合に、前記予測誤差信号を直交変換して変換係数を得る第２直交変換部と、前記複数のイントラ予測モードのそれぞれに対して予め定められたスキャン順のうち、前記選択モードに対応するスキャン順に従って、前記変換係数を並び替える係数順制御部と、前記選択モードを示す情報と前記並べ替えられた変換係数とを符号化するエントロピー符号化部と、を具備することを特徴とする。

本発明の一側面に係る動画像復号化装置は、符号化データから予測モードと変換係数とを取得するエントロピー復号部と、前記予測モードに従って予測画像信号を生成するイントラ予測画像生成部と、前記予測モードを、予測方向を持ったイントラ予測であることを示す第１予測モードと、予測方向を持たないイントラ予測であることを示す第２予測モードに分類するイントラ予測分類部と、複数のイントラ予測モードのそれぞれに対して予め定められたスキャン順のうち、前記予測モードに対応するスキャン順に従って、前記変換係数を並び替える係数順制御部と、前記予測モードが前記第１予測モードに分類された場合に、前記第１予測モードに対応する第１変換基底を用いて、前記並べ替えられた変換係数を逆直交変換し予測誤差信号を得る第１逆直交変換部と、前記予測モードが前記第２予測モードに分類された場合に、前記並べ替えられた変換係数を逆直交変換し前記第２予測モードの予測誤差信号を得る第２逆直交変換部と、前記予測誤差信号と前記予測画像信号とを加算して復号画像信号を生成する加算器と、を具備することを特徴とする。

第１、第２及び第３の実施の形態の動画像符号化装置のブロック図 符号化又は復号化の対象となる画素ブロックと符号化処理方向を表す図 符号化又は復号化の処理ブロック単位を意味する１６ｘ１６画素ブロックを表す図 イントラ予測の予測モードと予測方向を表す図 参照画素と符号化対象画素の配置を表す図 水平予測の場合の予測例を表す図 垂直予測の場合の予測例を表す図 係数順制御部でのジグザグスキャンを用いた２Ｄ−１Ｄ変換を示す際の２Ｄデータの位置とスキャン順を示す図 係数順制御部でのジグザグスキャンを用いて２Ｄ−１Ｄ変換を行った際の１Ｄデータを示す図 係数順制御部でのジグザグスキャンを、２種類のインデックスを用いて表す図 第１及び第２の実施の形態の直交変換部のブロック図 第１、第２、第５及び第６の実施の形態の逆直交変換部のブロック図 イントラ予測モードと直交変換番号との対応を示す図 直交変換番号と名称を説明する図 係数順制御部のブロック図 係数順制御部でのイントラ予測の予測方向毎に異なるスキャン順を、２種類のインデックスを用いて表す図 第１の実施の形態の符号化対象画素ブロックを符号化するときの処理の流れを表すフローチャートを示す図 図１０Ａの続きを表すフローチャートを示す図 第１から第８の実施の形態におけるシンタクス構造を示す図 第１から第８の実施の形態におけるスライスヘッダーシンタクスに含まれる情報を示す図 第１から第８の実施の形態におけるマクロブロックレイヤーシンタクスに含まれる情報を示す図 第２及び第６の実施の形態でのイントラ予測画像生成部のブロック図 第２及び第６の実施の形態での双方向イントラ予測と単方向の予測モード番号、及び変換番号との関係を示す図 第２及び第６の実施の形態でのスライスヘッダーシンタクスに含まれる情報を示す図 第２及び第６の実施の形態でのマクロブロックレイヤーシンタクスに含まれる情報を示す図 第３の実施の形態での直交変換部のブロックを表す図 第３及び第７の実施の形態での予測モード番号と変換番号との関係を表す図 第３及び第７の実施の形態での変換番号と名称を表す図 第３及び第７の実施の形態での逆直交変換のブロック図 第５から第８の実施の形態での動画像復号化装置のブロック図 第５から第８の実施の形態での係数順制御部のブロック図 第４の実施の形態での直交変換部のブロック図 第４及び第８の実施の形態での逆直交変換部のブロック図 第４及び第８の実施の形態での予測モード番号と変換番号との関係を表す図 第４及び第８の実施の形態での変換番号と名称を表す図 第４及び第８の実施の形態での１次元の変換番号と２次元の変換番号を表す図 第４及び第８の実施の形態での垂直方向における１次元の変換番号と行列の名称を表す図 第４及び第８の実施の形態での水平方向における１次元の変換番号と行列の名称を表す図

以下、図面を参照しながら本発明の実施の形態に係る動画像符号化装置及び動画像復号化装置について詳細に説明する。なお、以下の実施の形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
以下、第１の実施の形態から第８の実施の形態を図面に基づき説明する。第１の実施の形態、第２の実施の形態、第３の実施の形態及び第４の実施の形態は動画像符号化装置による実施の形態であり、第５の実施の形態、第６の実施の形態、第７の実施の形態及び第８の実施の形態は動画像復号化装置による実施の形態である。

以下の実施の形態で説明する動画像符号化装置は、入力画像信号を構成する各々のフレームを複数の画素ブロックに分割し、これら分割した画素ブロックに対して符号化処理を行って圧縮符号化し、符号列を出力する装置である。
先ず、動画像符号化装置に関する第１から第４の実施の形態について述べる。

［第１の実施の形態］
本実施の形態を用いる符号化手法を実現する動画像符号化装置１００について図１を参照して説明する。
図１の動画像符号化装置１００は、符号化制御部１１６から入力される符号化パラメータに基づいて、入力画像信号１１８に対するイントラ予測（画面内予測、又はフレーム内予測）或いはインター予測（画面間予測、又はフレーム間予測）符号化処理を行い、予測画像信号１２７を生成し、入力画像信号１１８と予測画像信号１２７との差分信号を直交変換・量子化し、エントロピー符号化を行って符号化データ１３０を出力する。

動画像符号化装置１００は、動画像又は静止画像の入力画像信号１１８を、画素ブロック単位、例えばマクロブロック単位に分割して入力する。入力画像信号１１８は、フレーム及びフィールドの両方を含む１つの符号化の処理単位である。なお、本実施の形態では、フレームを１つの符号化の処理単位とする例について説明する。

動画像符号化装置１００は、ブロックサイズや予測画像信号１２７の生成手法の異なる複数の予測モードによる符号化を行う。予測画像信号１２７の生成手法は、具体的には大きく分けて符号化対象のフレーム内だけで予測画像を生成するイントラ予測（フレーム内予測又は画面内予測）と、時間的に異なる複数の参照フレームを用いて予測を行うインター予測（フレーム間予測又は画面間予測）とがある。本実施の形態では、イントラ予測を用いて予測画像信号を生成する例について詳細に説明する。

第１の実施の形態から第４の実施の形態では、説明を簡単にするために図２Ａに示されているように左上から右下に向かって符号化処理がなされていくものとする。図２Ａでは、符号化処理をされている符号化フレームｆにおいて、符号化対象となるブロックｃよりも左及び上に位置するブロックが、符号化済みブロックｐである。

第１の実施の形態から第４の実施の形態では、マクロブロックを符号化処理の基本的な処理ブロックサイズとする。マクロブロックは、典型的に例えば図２Ｂに示す１６×１６画素ブロックであるが、３２×３２画素ブロック単位であっても８×８画素ブロック単位であってもよい。またマクロブロックの形状は必ずしも正方格子である必要はない。以下、入力画像信号１１８の符号化対象ブロックもしくはマクロブロックを単に「予測対象ブロック」という。

動画像符号化装置１００は、減算器１０１、直交変換部１０２、量子化部１０３、逆量子化部１０４、逆直交変換部１０５、加算器１０６、参照画像メモリ１０７、イントラ予測画像生成部１０８、インター予測画像生成部１０９、予測選択部１１０、予測選択スイッチ１１１、イントラ予測分類部１１２、係数順制御部１１３、エントロピー符号化部１１４を有する。動画像符号化装置１００は、符号化制御部１１６に接続されている。

次に、動画像符号化装置１００における符号化の流れを説明する。
まず、入力画像信号１１８が、減算器１０１へ入力される。減算器１０１には、予測選択スイッチ１１１から出力された各々の予測モードに応じた予測画像信号１２７が更に入力される。減算器１０１は、入力画像信号１１８から予測画像信号１２７を減算した予測誤差信号１１９を算出する。予測誤差信号１１９は直交変換部１０２へと入力される。

直交変換部１０２は、予測誤差信号１１９に対して、例えば離散コサイン変換（ＤＣＴ）のような直交変換を施す機能を有する。イントラ予測分類部１１２から入力された変換基底選択情報１２９に従って直交変換を行い、変換係数１２０を生成する。生成された変換係数１２０は量子化部１０３へと入力される。ここではＤＣＴを用いる例を示したが、アダマール変換や後述するカルーネン・レーベ変換、離散サイン変換などの直交変換を使ってもよい。量子化部１０３では、符号化制御部１１６によって与えられる量子化の細かさを示す量子化パラメータ、量子化の細かさを変換係数の成分毎に重み付けする量子化マトリクス等に代表される量子化情報に従って変換係数１２０を量子化する。量子化部１０３は、量子化変換係数１２１を、係数順制御部１１３に出力し、更に逆量子化部１０４に出力する。

係数順制御部１１３は、予測選択部１１０から出力される予測情報１２６に含まれる予測モード１２８を基に量子化変換係数１２１の２次元データを１次元データに変換する機能を有する。代表的なスキャン順として例えば、ジグザグスキャンなどが挙げられる。１次元データに変換された量子化変換係数１２１は、量子化変換係数列１１７となり、エントロピー符号化部１１４へと入力される。

エントロピー符号化部１１４は、量子化変換係数列１１７に対してエントロピー符号化、例えばハフマン符号化や算術符号化などを行う。エントロピー符号化部１１４は、更に、予測選択部１１０から出力される予測情報１２６や、符号化制御部１１６から出力された量子化情報、対象ブロックを符号化したときに用いた様々な符号化パラメータに対してエントロピー符号化を行う。これにより、符号化データ１３０が生成される。

なお、符号化パラメータとは、予測情報、変換係数に関する情報、量子化に関する情報等の復号の際に必要となるパラメータである。なお、予測対象ブロックの符号化パラメータは、符号化制御部１１６が持つ内部メモリ（図示せず）に保持され、予測対象ブロックが他の画素ブロックの隣接ブロックとして用いられる際に利用される。

エントロピー符号化部１１４により生成された符号化データ１３０は、動画像符号化装置１００から出力され、多重化などを経て出力バッファ１１５に一旦蓄積された後、符号化制御部１１６が管理する適切な出力タイミングに従って符号化データ１３０として出力される。符号化データ１３０は、例えば、図示しない蓄積系（蓄積メディア）又は伝送系（通信回線）へ送出される。

逆量子化部１０４は、量子化部１０３から出力された量子化変換係数１２１に対して逆量子化処理が行われる。ここでは、量子化部１０３で使用された量子化情報に対応する量子化情報が、符号化制御部１１６の内部メモリからロードされて逆量子化処理が行われる。なお、量子化情報は、例えば、上記の量子化パラメータ、上記の量子化マトリクス等に代表されるパラメータである。逆量子化処理が施された量子化変換係数１２１は、逆量子化変換係数１２２となり、逆直交変換部１０５へと入力される。

逆直交変換部１０５では、逆量子化変換係数１２２に対し、イントラ予測分類部１１２から入力された変換基底選択情報１２９に従って、逆直交変換が施されることによって、復元予測誤差信号１２３が再生される。逆直交変換部１０５は、例えば、直交変換部１０２でＤＣＴが行われている場合、逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を施す。ここではＩＤＣＴを用いる例を示したが、直交変換部１０２でアダマール変換、後述するカルーネン・レーベ変換、離散サイン変換などの直交変換が使われている場合、これらの直交変換基底を用いて逆変換を行う。

復元予測誤差信号１２３は、加算器１０６に入力される。加算器１０６では、復元予測誤差信号１２３と予測選択スイッチ１１１から出力された予測画像信号１２７とが加算されることにより、復号画像信号１２４が生成される。復号画像信号１２４は局所復号画像信号である。復号画像信号１２４は、参照画像メモリ１０７に参照画像信号１２５として蓄積される。参照画像メモリ１０７に蓄積された参照画像信号１２５は、イントラ予測画像生成部１０８、インター予測画像生成部１０９等に出力され予測の際などに参照される。

参照画像メモリ１０７に蓄えられている参照画像信号１２５は、イントラ予測画像生成部１０８へと出力される。イントラ予測画像生成部１０８では、入力された参照画像信号１２５を利用して、イントラ予測を行う機能を有する。例えば、Ｈ．２６４では、予測対象ブロックに隣接する既に符号化済みの参照画素値を利用して、垂直方向、水平方向などの予測方向に順じて画素補填を行うことによって予測画像を生成する。図３ＡにＨ．２６４におけるイントラ予測の予測方向を示す。また、図３ＢにＨ．２６４における参照画素と符号化対象画素の配置を示す。更に図３Ｃ及び図３Ｄに水平予測及び直交右下予測の予測例を示す。更に図７Ａ及び図７ＢにＨ．２６４における予測モードと予測名称の関係を示す。なお、予め定められた補間手法を用いて画素値を補間した後に、予め定められた予測方向に補間画素値をコピーしてもよい。

インター予測画像生成部１０９では、予測対象ブロックと参照画像信号１２５を基にブロックマッチング処理を行って動きのズレ量（動きベクトル）を算出し、この動きベクトルを基に補間処理を行って予測画像信号を作成する機能を有する。Ｈ．２６４では、１／４画素精度までの補間画像処理が可能である。算出した動きベクトルは予測情報１２６としてエントロピー符号化される。

予測選択スイッチ１１１は、イントラ予測画像生成部１０８の出力端とインター予測画像生成部１０９の出力端を、予測情報１２６に従って選択する機能を有する。予測情報１２６に示される情報がイントラ予測である場合はスイッチをイントラ予測画像生成部１０８へと接続する。一方、予測情報１２６がインター予測である場合はスイッチをインター予測画像生成部１０９へと接続する。なお、予測情報１２６の例は後述する。

作成された予測画像信号１２７は、予測選択スイッチ１１１へと出力される。また、予測画像信号１２７を生成した際に利用した予測モード１２８は符号化制御部１１６が制御している。例えば、イントラ予測画像生成部１０８で、イントラ予測が行われる際には、符号化制御部１１６から、予測モード１２８がイントラ予測画像生成部１０８へと与えられ、この値に従って予測画像信号１２７が生成される。例えば、イントラ予測を行う際に、符号化制御部１１６は、予測モード１２８の番号が小さい方から、順にイントラ予測を行ってもよいし、大きい方から予測してもよいし、入力画像の特性に従って予測モードを限定してもよい。また、全ての予測モードに対して予測画像信号１２７を生成する必要はなく、入力画像の特性に従って予測モードを限定してもよいし、符号化対象ブロックに対して少なくとも１つの予測画像信号１２７を生成すればよい。

予測選択部１１０は、符号化制御部１１６が制御する予測モードに従って、予測情報１２６を設定する機能を有する。予測モードとして、イントラ予測やインター予測が選択可能であり、それぞれに対して複数のモードが存在してもよい。予測モードの判定について、より具体的に説明すると、次式のようなコストを用いて予測情報１２６（或いは予測モード１２８）を決定する。この予測モード１２８を選択した際に必要となる予測情報１２６に関する符号量（例えば動きベクトルの符号量や予測ブロックサイズの符号量など）をＯＨ、入力画像信号１１８と予測画像信号１２７の差分絶対和（予測誤差信号１１９の絶対累積和を意味する）をＳＡＤとすると、以下の判定式を用いる。

ここでＫはコスト、λは定数をそれぞれ表す。λは量子化パラメータの値に基づいて決められるラグランジュ未定乗数である。本判定式では、コストＫが最も小さい値を与えるモードが最適な予測モードとして選択される。

式（１）に代えて（ａ）予測情報のみ、（ｂ）ＳＡＤのみ、を用いて予測情報１２６を決定してもよいし、（ｂ）にアダマール変換などを施した値、又はそれに近似した値を利用してもよい。

更に別の例として、仮符号化ユニットを用意し、仮符号化ユニットによりある予測モードで生成された予測誤差信号１１９を実際に符号化した場合の符号量と、入力画像信号１１８と復号画像信号１２４との間の二乗誤差を用いて予測情報１２６を決定してもよい。この場合の判定式は、以下のようになる。

ここで、Ｊは符号化コスト、Ｄは入力画像信号１１８と復号画像信号１２４との間の二乗誤差を表す符号化歪みである。一方、Ｒは仮符号化によって見積もられた符号量を表している。

式（２）の符号化コストＪを用いると、予測モード毎に仮符号化と局部復号処理が必要となるため、回路規模又は演算量は増大する。反面、より正確な符号量と符号化歪みを用いるため、高い符号化効率を維持することができる。式（２）に代えてＲのみ、又はＤのみを用いてコストを算出してもよいし、Ｒ又はＤを近似した値を用いてコスト関数を作成してもよい。
イントラ予測分類部１１２は、入力されてきた予測モード１２８を基に直交変換で用いる変換基底選択情報１２９を生成する機能を有する。

以上が、本発明の本実施の形態における動画像符号化装置１００の概略である。続いて、図５、図６を用いて直交変換部１０２と逆直交変換部１０５の詳細説明を行い、図７を用いてイントラ予測分類部１１２の詳細説明を行う。更に図８を用いて係数順制御部１１３について詳細説明を行う。

図５の直交変換部１０２は、第一直交変換部５０１及び第二直交変換部５０２と、基底選択スイッチ５０３とを有する。図５は、動画像符号化装置１００が有する直交変換部１０２のブロック図である。
先ず、基底選択スイッチ５０３について説明する。基底選択スイッチ５０３は、減算器１０１の出力端を、入力された変換基底選択情報１２９に従って選択する機能を有する。変換基底選択情報１２９が第一直交変換である場合は、基底選択スイッチ５０３はスイッチを第一直交変換部５０１に接続する。一方、変換基底選択情報１２９が第二直交変換である場合は、基底選択スイッチ５０３は出力端を第二直交変換部５０２に接続する。なお、変換基底選択情報１２９の例は後述する図７Ｂに示されている。

次に第一直交変換部５０１の処理について具体的に説明する。Ｈ．２６４などで用いられているイントラ予測は、符号化対象ブロックに隣接する参照画素を予測方向にコピーするため、生成された予測誤差信号１１９には、方向依存性が生じる。本実施の形態によれば、予測モード毎に予測方向が決まっているため、予測方向毎に発生する予測誤差を直交変換した際の変換後の係数集密度が変換前よりも高くなるように、予め変換基底を設計することで、変換効率を高めることが可能である。

例えば、二次元の分離型直交変換は次式で表される。

Ａ、Ｂ^Ｔはそれぞれ行列を表す変換行列であり、Ｔは転置行列を意味する。Ｘは変換前の入力行列、Ｙは変換後の出力行列である。画像信号をＮｘＮの行列とすると、Ａ、Ｂ^ＴはそれぞれＮｘＮの変換行列となる。

ここで、直交変換を整数精度で行うために変換行列の整数化を行ってもよい。この場合の直交変換は次式となる。

ここでＣ、Ｄ^Ｔは整数化された変換行列であり、Ｓはスケーリングのために用いられる正規化行列である。ここで下記の記号は、行列の要素同士の乗算を行う演算子である。

例えば、符号化対象ブロックを水平予測（モード１）として、予測画像信号１２７を生成し、作成された予測誤差信号１１９を入力サンプルとして変換行列Ａを設計した場合、この変換行列を用いて、同じ入力サンプルを直交変換したときの係数集密度は、ＤＣＴなどと比較して高くなる。第一直交変換部５０１では、入力された予測誤差信号１１９に対して、例えば水平方向（モード１）で設計した変換行列を用いて直交変換を行う。予測誤差信号１１９は第一直交変換部５０１で直交変換されて変換係数１２０となり、量子化部１０３へと入力される。この手法で設計された直交変換を用いる手法を方向考慮型直交変換と呼ぶ。

次に、第二直交変換部５０２について説明する。第二直交変換部５０２は、例えばＤＣＴを用いて直交変換を行う。予測誤差信号１１９は直交変換されて変換係数１２０となり、量子化部１０３へと入力される。また、垂直予測（モード０）などを用いて設計した変換基底を用いて直交変換を行ってもよい。

図６の逆直交変換部１０５は、第一逆直交変換部６０１と第二逆直交変換部６０２、基底選択スイッチ６０３を有する。先ず、基底選択スイッチ６０３について説明する。基底選択スイッチ６０３は、逆量子化部１０４の出力端を、入力された変換基底選択情報１２９に従って選択する機能を有する。変換基底選択情報１２９が第一直交変換である場合は、スイッチを第一逆直交変換部６０１に接続する。一方、変換基底選択情報１２９が第二直交変換である場合は、出力端を第二逆直交変換部６０２に接続する。

次に第一逆直交変換部６０１の処理について具体的に説明する。例えば、二次元の分離型逆直交変換は次式で表される。

ここで、逆直交変換を整数精度で行うために変換行列の整数化を行ってもよい。この場合の逆直交変換は次式となる。

第一逆直交変換部６０１では、第一直交変換部５０１で利用した変換行列を用いて、逆量子化変換係数１２２に対し、式（６）或いは式（７）を用いて逆直交変換処理を行う。例えば、水平予測（モード１）を用いて設計した変換行列を用いて逆直交変換処理を行う。逆直交変換を施された逆量子化変換係数１２２は、復元予測誤差信号１２３となって、加算器１０６へ入力される。

次に、第二逆直交変換部６０２を説明する。第二逆直交変換部６０２では、第二直交変換部５０２で利用した変換行列を用いて、逆量子化変換係数１２２に対し、式（６）或いは式（７）を用いて逆直交変換処理を行う。この逆直交変換は例えばＩＤＣＴであってもよい。また、第二直交変換部５０２で、垂直予測（モード０）などを用いて設計した変換行列を用いて直交変換を行っている場合、第二逆直交変換部６０２でも同じ変換行列を用いる。

次に、イントラ予測分類部１１２を説明する。イントラ予測分類部１１２は、入力されてきた予測モード１２８を基に直交変換で用いる変換基底選択情報１２９を生成する機能を有する。イントラ予測分類部１１２では、予測選択部１１０から出力された予測情報１２６に含まれる予測モード１２８を基に変換基底選択情報１２９を生成する。ここでは、図７Ａ及び図７Ｂに示される分類テーブルを用いて予測モードを２つに分類し、分類した予測モード毎にＴｒａｓｎｆｏｒｍＩｄｘで現される変換基底選択情報１２９を設定する。なお、図７Ａ及び図７Ｂは、動画像符号化装置１００が有するイントラ予測分類部１１２の分類手法を示す図である。ここで、表中に示されるＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘは、予測モード１２８を示している。また、Ｎはブロックサイズを示すインデックスであり、４ｘ４画素ブロックでは４、８ｘ８画素ブロックでは８、１６ｘ１６画素ブロックでは１６を意味する。また、それ以外のブロックサイズでも同様である。ここでは、ＮｘＮで示される正方ブロックについての例を示したが、ＭｘＮとして矩形ブロックに拡張することも容易である。

ＴｒａｓｎｆｏｒｍＩｄｘが０を示す場合、第一直交変換及び第一逆直交変換を用いることを意味する。一方、ＴｒａｓｎｆｏｒｍＩｄｘが１を示す場合、第二直交変換及び第二逆直交変換が用いられることを意味する。ここで、画素ブロックがＭｘＮで表現される矩形ブロックである場合、直交変換を行うブロックサイズとしてＭｘＮを用いてもよい。
ここでは、ＤＣ予測（予測モード２に対応）にのみＴｒａｓｎｆｏｒｍＩｄｘを１とし、それ以外の空間予測方向を持つ予測モードに対してＴｒａｓｎｆｏｒｍＩｄｘを０としている。

次に、係数順制御部１１３を説明する。図８の係数順制御部１１３は、予測モード選択スイッチ８０１と９種類の２Ｄ−１Ｄ変換部８０２〜８１０を有する。予測モード選択スイッチ８０１は、図７Ａの左側に示される予測モードのモードインデックス番号に応じて、量子化部１０３からの出力端を２Ｄ−１Ｄ変換部へと接続する。例えば、予測モード０が入力された場合、予測モード選択スイッチ８０１は出力端を垂直２Ｄ−１Ｄ変換部８０２へと接続する。予測モードと２Ｄ−１Ｄ変換部は１対１に対応しており、予測モードに対応する２Ｄ−１Ｄ変換部に常に接続される。予測モードと９種類の２Ｄ−１Ｄ変換部８０２〜８１０は１対１に対応しており、予測モード毎に出力端が選択される。

９種類の２Ｄ−１Ｄ変換部８０２〜８１０は、量子化部１０３で量子化処理された量子化変換係数１２１の２次元データを１次元データへと変換する機能を有する。例えば、Ｈ．２６４では、ジグザグスキャンを用いて２次元データを１次元データへと変換している。

４ｘ４ブロックの２次元データをジグザグスキャンによって１次元データに変換する例が図４Ａ及び図４Ｂに示されている。ここで４ｘ４サイズのブロックに含まれる量子化変換係数１２１をジグザグスキャンによって１次元データに変換する例が示されている。図４Ａ及び図４Ｂ中の量子化変換係数１２１の成分をcijで表すと、ジグザグスキャンを用いる２Ｄ−１Ｄ変換は図４Ｃで表される。ここでidxは２Ｄ−１Ｄ変換後の１次元データのインデックスである。

ここで、９種類の２Ｄ−１Ｄ変換部８０２〜８１０は、予測モード１２８毎に異なるスキャン順を用いる。図９に４ｘ４画素ブロックにおける予測モードとスキャン順の関係を示す。図７ＡのＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘの番号に応じて、異なるスキャン順が選択される。ここでは、４ｘ４画素ブロックにおける例を示したが、８ｘ８画素ブロックや１６ｘ１６画素ブロックに対しても同様に、予測モード毎に異なるスキャン順が選択できる。また、画素ブロックがＭｘＮで表現される矩形ブロックである場合、２Ｄ−１Ｄ変換を行うブロックサイズとしてＭｘＮを用いてもよい。この場合は、矩形ブロックに対応して、予測モード毎に図９に示されるようなスキャン順テーブルを用意すればよい。以上が本実施の形態における動画像符号化装置１００の概要である。

図１０Ａ及び図１０Ｂは、動画像符号化装置１００の符号化対象ブロック（マクロブロック）の処理を示すフロー図である。図１０Ａ及び図１０Ｂ中に示す各処理のうち、同じインデックスを与えている処理は同じ処理内容を示す。
符号化対象ブロックの入力画像が入力されると、画素ブロックの符号化処理が開始される（Ｓ１００１）。先ず、参照画像メモリ１０７に保持されている参照画像信号１２５を用いて、イントラ予測画像生成部１０８及びインター予測画像生成部１０９にて予測画像信号１２７が生成される（Ｓ１００２）。いずれかの予測画像生成部で予測画像が生成されたかに従って、符号化制御部１１６は予測情報１２６（予測モード１２８を含む）を生成し予測選択部１１０に設定するとともに、予測選択部１１０は、予測情報１２６を予測選択スイッチ１１１に出力すると共に、エントロピー符号化部１１４へと出力する（Ｓ１００３）。予測選択スイッチ１１１は、予測情報１２６がイントラ予測かどうかを判断し（Ｓ１００４）、係る情報がイントラ予測である場合（ＹＥＳ）、スイッチの出力端をイントラ予測画像生成部１０８へと接続する。一方、係る情報がインター予測である場合（ＮＯ）、スイッチの出力端をインター予測画像生成部１０９へと接続する。

予測情報１２６がイントラ予測である場合について、先ず説明する。イントラ予測画像生成部１０８で生成された予測画像信号１２７は、減算器１０１にて入力画像信号と引き算され、予測誤差信号１１９を生成する（Ｓ１００５）。同時に予測選択部１１０は、符号化制御部１１６により設定された予測情報１２６をエントロピー符号化部１１４へと出力すると共に、予測情報１２６に含まれる予測モード１２８をイントラ予測分類部１１２へと出力する（Ｓ１００６）。イントラ予測分類部１１２では、入力された予測モード１２８を基に、予測分類テーブル（図７Ａ）に示されるテーブルから変換基底選択情報１２９を生成する（Ｓ１００７）。生成された変換基底選択情報１２９は、直交変換部１０２へと入力され、基底選択スイッチ５０３は、この情報を基にスイッチの出力端をどこに接続するかを判断する（Ｓ１００８）。係る情報がＹＥＳ（ＴｒａｓｎｆｏｒｍＩｄｘが１）の場合、基底選択スイッチ５０３は、出力端を第二直交変換部５０２へと接続する（Ｓ１００９）。係る情報がＮＯの場合（ＴｒａｓｎｆｏｒｍＩｄｘが０）、基底選択スイッチ５０３は、出力端を第一直交変換部５０１へと接続する（Ｓ１０１０）。

予測誤差信号１１９は、直交変換部１０２へと入力され、接続された出力端を通って第一直交変換部５０１若しくは第二直交変換部５０２にて、直交変換処理が行われ、変換係数１２０を生成する（Ｓ１０１１）。直交変換後の変換係数１２０は、量子化部１０３へと入力される。量子化部１０３では量子化処理が行われ、量子化変換係数１２１が生成される（Ｓ１０１２）。量子化変換係数１２１は、係数順制御部１１３へと入力される。係数順制御部１１３では、入力された予測モード１２８を基に、図７Ａに従って予測モード選択スイッチ８０１の出力端を、２Ｄ−１Ｄ変換部８０２〜８１０のいずれかに接続する（Ｓ１０１３）。

２Ｄ−１Ｄ変換部８０２〜８１０では、予測モード毎に図９で示されるテーブルを用いて２Ｄ−１Ｄ変換処理を行い、量子化変換係数列１１７を生成する（Ｓ１０１４）。量子化変換係数列１１７は、エントロピー符号化部１１４へと入力され、エントロピー符号化が施された後、符号化制御部１１６が管理する適切なタイミングで動画像符号化装置１００外に出力される（Ｓ１０１５）。一方、量子化変換係数１２１は、逆量子化部１０４へと入力され、逆量子化処理が行われて、逆量子化変換係数１２２が生成される（Ｓ１０１６）。

逆直交変換部１０５は、変換基底選択情報１２９を基に、基底選択スイッチ６０３の出力端をどこに接続するかを判断する（Ｓ１０１７）。係る情報がＹＥＳ（ＴｒａｓｎｆｏｒｍＩｄｘが１）の場合、基底選択スイッチ６０３は、出力端を第二逆直交変換部６０２へと接続する（Ｓ１０１８）。係る情報がＮＯの場合（ＴｒａｓｎｆｏｒｍＩｄｘが０）、基底選択スイッチ６０３は、出力端を第一逆直交変換部６０１へと接続する（Ｓ１０１９）。逆量子化変換係数１２２が逆直交変換部１０５へと入力され、接続された出力端を通って第一逆直交変換部６０１若しくは第二逆直交変換部６０２にて、逆直交変換処理が行われ、復元予測誤差信号１２３を生成する（Ｓ１０２０）。復元予測誤差信号１２３は、イントラ予測画像生成部１０８で生成された予測画像信号１２７と加算器１０６で加算され、復号画像信号１２４となって参照画像メモリ１０７へと入力され、保存される（Ｓ１０２１）。以上の処理によって１つの符号化対象画素ブロックがイントラ符号化される（Ｓ１０２２）。

次に、予測情報１２６がインター予測である場合について説明する。インター予測画像生成部１０９で生成された予測画像信号１２７は、減算器１０１にて入力画像と引き算され、予測誤差信号１１９を生成する（Ｓ１００５）。予測誤差信号１１９は、直交変換部１０２へと入力される。ここで、予測手法がインター予測である場合、直交変換部１０２の基底選択スイッチ５０３は、スイッチの出力端を常に第二直交変換部５０２へと接続する。入力された予測誤差信号１１９は、第二直交変換部５０２で直交変換（例えばＤＣＴ）され、変換係数１２０が生成される（Ｓ１０１１）。

直交変換後の変換係数１２０は、量子化部１０３へと入力される。量子化部１０３では量子化処理が行われ、量子化変換係数１２１が生成される（Ｓ１０１２）。量子化変換係数１２１は、係数順制御部１１３へと入力される。係数順制御部１１３では、予測手法がインター予測である場合、予測モード選択スイッチ８０１の出力端を常にＤＣＴ用２Ｄ−１Ｄ変換部８０４へと接続する。２Ｄ−１Ｄ変換部８０４では、図４Ｃで示されるジグザグスキャン若しくは、図９のＩｎｔｒａ＿ＮｘＮ＿ＤＣに示されるスキャン順のいずれかを用いて２Ｄ−１Ｄ変換処理を行い、量子化変換係数列１１７を生成する（Ｓ１０１４）。量子化変換係数列１１７は、エントロピー符号化部１１４へと入力され、エントロピー符号化が施された後、符号化制御部１１６が管理する適切なタイミングで動画像符号化装置１００外に出力される（Ｓ１０１５）。

一方、量子化変換係数１２１は、逆量子化部１０４へと入力され、逆量子化処理が行われて、逆量子化変換係数１２２が生成される（Ｓ１０１６）。逆量子化変換係数１２２は、逆直交変換部１０５へと入力される。ここで、予測手法がインター予測である場合、逆直交変換部１０５の基底選択スイッチ６０３は、スイッチの出力端を常に第二逆直交変換部６０２へと接続する。逆量子化変換係数１２２が逆直交変換部１０５へと入力され、接続された出力端を通って第二逆直交変換部６０２にて、逆直交変換処理（例えばＩＤＣＴ）が行われ、復元予測誤差信号１２３を生成する（Ｓ１０２０）。復元予測誤差信号１２３は、インター予測画像生成部１０９で生成された予測画像信号１２７と加算器１０６で加算され、復号画像信号１２４となって参照画像メモリ１０７へと入力され、保存される（Ｓ１０２１）。以上の処理によって１つの符号化対象画素ブロックがインター符号化される（Ｓ１０２２）。
以上が本発明の本実施の形態における動画像符号化装置１００の処理フローチャートである。

一般に、式（３）、（４）に示す直交変換行列は固定行列であるため、ハードウェアでの実装を考慮した場合、乗算器を用いずにハードワイヤードロジックで構成することが多い。例えば、Ｈ．２６４で規定されている９種類の予測モード毎に、予測方向を考慮した直交変換を用意することも可能である。しかし、９種類の予測モード毎に固定係数セットが異なるため、Ｈ．２６４で必要なＤＣＴ用の専用ハードウェアに加えて、追加で８種類の専用ハードウェアを構成しなければならず、回路規模が増大する。

また、動画像符号化装置で用いる信号は２次元の画像データであるため、式（３）、式（４）で示される通り、２次元の直交変換が施される。ここでは、垂直方向と水平方向の相関を除去するために、２種類の分離型の直交変換基底を用意すると、追加で１６種類の１次元の直交変換行列が必要となり、ハードウェア実現時の回路規模が増大する。

一方、本実施の形態では、直交変換部としてイントラ予測の予測方向を考慮した第一直交変換と、例えばＤＣＴのような第二直交変換の２種類の直交変換部のみを持つように構成できるため、回路規模の増加を防ぐことが可能となる。

予測方向を考慮した直交変換を用いる場合、直交変換を施した変換係数１２０に量子化処理を施した量子化変換係数１２１は、ブロック内の非ゼロとなる変換係数の発生傾向が偏る性質を持つ。この非ゼロ変換係数の発生傾向は、イントラ予測の予測方向毎に異なる性質がある。しかし、異なる映像を符号化した際に同じ予測方向における非ゼロ変換係数の発生傾向は似る性質を持つ。２Ｄ−１Ｄ変換の際、非ゼロ変換係数の発生確率が高い位置の変換係数から優先的にエントロピー符号化することで、変換係数の符号化する情報を削減することが可能である。そこで、予測方向を示す予測モード１２８に応じて、予め非ゼロ変換係数の発生確率を学習し、９種類の２Ｄ−１Ｄ変換手法を定めることによって、例えばＨ．２６４と比較して演算量の増加を引き起こすことなく、変換係数の符号量を削減することが可能となる。

また、本発明の本実施の形態のように、直交変換部としてイントラ予測の予測方向を考慮した第一直交変換と、例えばＤＣＴのような第二直交変換の２種類の直交変換部に分類した場合、ＤＣ予測以外の予測方向を強制的に第一直交変換に割り当てるため、Ｈ．２６４で用いられるジグザグスキャン順を用いた場合の電力集中度は必ずしも高くならない。そこで、非ゼロ変換係数の発生傾向が予測モード毎に似る性質を利用して、２Ｄ−１Ｄ変換の際、非ゼロ変換係数の発生確率が高い位置の変換係数から優先的にエントロピー符号化することで、変換係数の符号化する情報を削減することが可能である。

次に式（３）及び式（４）における直交変換行列の設計手法について説明する。Ｈ．２６４の４ｘ４画素ブロック及び８ｘ８画素ブロックでは、それぞれ９種類の予測モードが定義されており、１６ｘ１６画素ブロックでは４種類の予測モードが定義されている。この内、ＤＣ予測を除いた予測モードに対して予測方向を考慮した方向変換行列を設計する。複数の訓練画像を用意し、それぞれの予測モードで予測した時の予測誤差信号１１９を作成する。これを予測モード毎に累積したＫ個の訓練ベクトルを生成する。例えば４ｘ４画素ブロックの訓練ベクトルは、４ｘ４サイズの訓練ベクトルがＫ個存在することになる。この訓練ベクトルに対して特異値分解を行い、行と列を示す正規直交基底を生成する。

ここで、ＭがＮｘＮサイズの訓練ベクトル、ＵはＮ行Ｎ列のユニタリ行列、行列ΣはＮ行Ｎ列で対角成分以外が０となり、対角成分は非負である特異値行列を表す。Ｖ^ＴはＮ行Ｎ列のユニタリ行列Ｖの随伴行列（複素共役かつ転置行列）となる。ここで、擬似逆行列は次式で定義される。

Ｍ’は、擬似逆変換後の出力ベクトルを表し、Σ’はΣの対角成分の逆数を成分とする行列の転置である。Ｋ個の訓練ベクトルに対し、式（８）と式（９）で示す直交変換前後の二乗誤差が最小となるような行列Ｕと行列Ｖを、線形最小二乗法を用いて設計する。このように設計された行列Ｕ及びＶ^Ｔが式（３）における変換行列として用いられる。なお、設計後の行列Ｕ及びＶ^Ｔの各要素は、実数となるので整数化を行うことで式（４）における変換行列として用いることが可能である。ここでは、４ｘ４画素ブロックにおける設計例を示したが、８ｘ８画素ブロック、及び１６ｘ１６画素ブロックの変換行列の設計も同様に行うことが可能である。

次に図９に示す係数スキャン順の設計手法について説明する。係数スキャン順は、量子化部１０３で生成された量子化変換係数１２１に基づいて設計される。例えば、４ｘ４画素ブロックにおける係数スキャン順の設計では、複数の訓練画像を用意し、９種類の予測モードで予測した後の予測誤差信号１１９を作成する。この予測誤差信号１１９に対して、式（３）又は式（４）で示す直交変換を行い、変換係数１２０を量子化処理する。量子化後の量子化変換係数１２１に対して、４ｘ４画素ブロック内の各要素の非ゼロ変換係数を累積加算する。これを全ての訓練画像に対して行い、４ｘ４画素ブロックの１６個の要素毎に非ゼロ変換係数のヒストグラムを作成する。このヒストグラムを基に、発生頻度の高い要素から昇順にインデックス０〜１５を与える。このようにして与えられたインデックスが１Ｄにおけるスキャン順に相当する。予測モード毎に上記のインデックスを設計することで、係数スキャン順が設計できる。ここでは、４ｘ４画素ブロックにおける設計例を示したが、８ｘ８画素ブロック、及び１６ｘ１６画素ブロックの係数スキャン順設計も同様に行うことが可能である。

次に、動画像符号化装置１００におけるシンタクス構造について説明する。図１１は、シンタクス１１００の構成を示す図である。シンタクスは、動画像データを符号化する際の符号化データの構造を表している。この符号化データを復号する際には、同じシンタクス構造を持つ復号装置でシンタクス解釈を行う。図１１に示すとおり、シンタクス１１００は主に３つのパートを有する。ハイレベルシンタクス１１０１は、フレーム又はフィールドに含まれる矩形領域若しくは連続領域を現すスライスに対して、これより上位レイヤのシンタクス情報を有する。スライスレベルシンタクス１１０２は、スライス毎に復号に必要な情報を有し、マクロブロックレベルシンタクス１１０３は、マクロブロック毎に復号に必要とされる情報を有する。

各パートは、更に詳細なシンタクスで構成されている。ハイレベルシンタクス１１０１は、シーケンスパラメータセットシンタクス１１０４とピクチャパラメータセットシンタクス１１０５などの、シーケンス及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス１１０２は、スライスヘッダーシンタクス１１０６、スライスデータシンタクス１１０７等を含む。マクロブロックレベルシンタクス１１０３は、マクロブロックレイヤーシンタクス１１０８、マクロブロックプレディクションシンタクス１１０９等を含む。

図１２は、本発明の本実施の形態に関わるスライスヘッダーシンタクス１１０６の例を示す図である。図１２中に示されるｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該スライスに方向考慮型直交変換を適用するかどうかを示すシンタクス要素である。ｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが０である場合、直交変換部１０２及び逆直交変換部１０５では、第一直交変換部５０１及び第一逆直交変換部６０１を利用することができない。この場合、基底選択スイッチ５０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二直交変換部５０２へ接続するとともに、基底選択スイッチ６０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二逆直交変換部６０２へ接続する。また、この場合、係数順制御部１１３では、ＤＣＴ用２Ｄ−１Ｄ変換部８０４以外を用いることができない。この場合、予測モード選択スイッチ８０１は、予測モード１２８に関わらずスイッチの出力端をＤＣＴ用２Ｄ−１Ｄ変換部８０４へ接続する。

一方、ｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１である場合、図１０Ａ及び図１０Ｂで説明した符号化フローチャートに従って、符号化処理が行われる。つまり、直交変換部１０２及び逆直交変換部１０５では、変換基底選択情報１２９に従って、第一直交変換部５０１と第二直交変換部５０２を選択するとともに、変換基底選択情報１２９に従って、第一逆直交変換部６０１と第二逆直交変換部６０２を選択できる。また、予測モード選択スイッチ８０１は、予測モード１２８に従ってスイッチの出力端を２Ｄ−１Ｄ変換部８０２〜８１０へ接続することが可能である。

別の実施の形態として、図１３は、本発明の別の実施の形態に関わるマクロブロックレイヤーシンタクス１１０８の例を示す。図１３中に示すｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該マクロブロックで方向考慮型直交変換を適用するかどうかを示すシンタクス要素である。また、図１３中に示すｍｂ＿ｔｙｐｅは当該符号化マクロブロックの符号化タイプを示している。Ｉ＿ＮｘＮは、符号化タイプがイントラ予測符号化されており、予測ブロックサイズがＮｘＮサイズであることを示す。Ｎには４，８，１６を始め、３２，６４などが含まれる。ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇはｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１でマクロブロックの符号化タイプがイントラ予測の時のみ符号化される。ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが０である場合、直交変換部１０２及び逆直交変換部１０５では、第一直交変換部５０１及び第一逆直交変換部６０１を利用することができない。この場合、基底選択スイッチ５０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二直交変換部５０２へ接続するとともに、基底選択スイッチ６０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二逆直交変換部６０２へ接続する。また、この場合、係数順制御部１１３では、ＤＣＴ用２Ｄ−１Ｄ変換部８０４以外を用いることができない。この場合、予測モード選択スイッチ８０１は、予測モード１２８に関わらずスイッチの出力端をＤＣＴ用２Ｄ−１Ｄ変換部８０４へ接続する。

一方、ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１である場合、図１０Ａ及び図１０Ｂで説明した符号化フローチャートに従って、符号化処理が行われる。つまり、直交変換部１０２及び逆直交変換部１０５では、変換基底選択情報１２９に従って、第一直交変換部５０１と第二直交変換部５０２を選択するとともに、変換基底選択情報１２９に従って、第一逆直交変換部６０１と第二逆直交変換部６０２を選択できる。また、予測モード選択スイッチ８０１は、予測モード１２８に従ってスイッチの出力端を２Ｄ−１Ｄ変換部８０２〜８１０へ接続することが可能である。

マクロブロックレイヤーで上記方向考慮型直交変換を適用するかどうかを示すフラグを符号化することによって、変換の選択に関わる情報量は増えるが、画像の局所領域毎に最適な直交変換を施すことが可能となる。

なお、図１２ないし図１３に示すシンタクスの表中の行間には、本実施の形態において規定していないシンタクス要素が挿入されてもよく、その他の条件分岐に関する記述が含まれていてもよい。また、シンタクステーブルを複数のテーブルに分割し、又は複数のシンタクステーブルを統合してもよい。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更してもよい。

以上の第１の実施の形態によれば、イントラ予測モードの予測方向を予測誤差の相関に応じて分類して直交変換・逆直交変換を施すことにより、変換後の係数集密度が変換前よりも高めるとともに、ハードウェア実現時の回路規模を削減することが可能になる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。第２の実施の形態に係る動画像符号化装置の構成は、第１の実施の形態と同一であるが、イントラ予測画像生成部１０８の内部構造が異なる。なお、第１の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。ここでは、図１４を用いてイントラ予測画像生成部１０８を説明する。図１４は、イントラ予測画像生成部１０８を示すブロック図である。本実施の形態に関わるイントラ予測画像生成部１０８は、単方向イントラ予測画像生成部１４０１、双方向イントラ予測画像生成部１４０２、予測モード生成部１４０３、予測選択スイッチ１４０４、を有する。

第１の実施の形態におけるイントラ予測画像生成部１０８では、図１４のうち、双方向イントラ予測画像生成部１４０２と予測選択スイッチ１４０４が存在しない。ここで、単方向イントラ予測画像生成部１４０１は、既に図３、図４及び第１の実施の形態で、処理内容を述べているため、説明を省略する。

双方向イントラ予測画像生成部１４０２では、２つの単方向のイントラ予測画像信号を生成し、これらに対して重み付き平均を施すことによって予測画像信号１２７を生成する。例えば、図３Ｃ及び図３Ｄに示される水平予測と直交右下予測を用いた双方向予測を説明する。先ず、それぞれ単方向の予測画像信号を生成する。ここで水平予測をＰ１［ｘ，ｙ］、直交右下予測をＰ２［ｘ，ｙ］とすると双方向予測の予測画像信号Ｐ［ｘ，ｙ］は次式で表される。

ここで、Ｗ［ｘ，ｙ］は重み付きテーブルを示し、０〜１２８の値を取る行列である。双方向イントラ予測の予測番号と、２つの単方向の組み合わせと、変換基底情報を図１５に示す。
ここで、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０は、双方向イントラ予測における第一単方向イントラ予測のモード番号を示し、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１は、双方向イントラ予測における第二単方向イントラ予測のモード番号を示す。それぞれはＬ０、Ｌ１が付記されているが、図３Ａに対応する予測モードである。ＩｎｔｒａＮｘＮＢｉＰｒｅｄＭｏｄｅＩｎｄｅｘは、双方向イントラ予測のモード番号を示す。また、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇは、双方向イントラ予測を適用するかどうかを示すシンタクス要素であり後述する。

次に、予測モード生成部１４０３の機能を説明する。双方向イントラ予測画像生成部１４０２で、符号化制御部１１６から入力された情報に基づいて双方向イントラ予測による予測画像信号が生成された場合、予測モード生成部１４０３は、図１５に示すテーブルに従って予測モード１２８を導出し、出力する。つまり、予測モード１２８には、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇ、ＩｎｔｒａＮｘＮＢｉＰｒｅｄＭｏｄｅＩｎｄｅｘ、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１が含まれる。

予測選択スイッチ１４０４は、入力されてきた予測モード１２８に従ってスイッチの出力端と２つのイントラ予測画像生成部１４０１、１４０２のいずれかの出力端を接続する。ここで、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０の場合、スイッチは出力端を単方向イントラ予測画像生成部１４０１へと接続する。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１の場合、スイッチは出力端を双方向イントラ予測画像生成部１４０２へと出力する。

式（１０）に示す双方向予測を用いることにより、単純な単方向予測と比較して予測方向に線形に変化を加えることが可能となり、自然画像などにおけるグラデーションなどの輝度変化に対応した予測画像信号を生成することにより、より入力画像に近い予測が可能となる。

ここでは、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１に対してＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０が必ず小さくなるようにテーブルを作成する例を示した。一般には、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘに示される番号は、選択確率の高い予測モードに小さい番号を与えている。そこで、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０に示す予測モードに従ってＴｒａｎｓｆｏｒｍＩｄｘを設計することにより、変換効率を高めることができる。一方、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０とＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１を入れ替えてもよい。この場合も、ＴｒａｎｓｆｏｒｍＩｄｘは、番号の小さい方に従って設定される。

また、図１５のテーブルでは、９種類の単方向予測モードに加えて、１８種類の双方向予測の組み合わせを追加する例を示したが、組み合わせ数を増減してもよく、同じルールを用いてＴｒａｎｓｆｏｒｍＩｄｘを設定すればよい。

以上が、本発明の本実施の形態に関わるイントラ予測画像生成部１０８の説明である。

次に、イントラ予測分類部１１２を説明する。イントラ予測分類部１１２は、入力されてきた予測モード１２８を基に直交変換で用いる変換基底選択情報１２９を生成する機能を有する。イントラ予測分類部１１２では、入力された予測モード１２８を基に変換基底選択情報１２９を生成する。ここでは、図７Ａ及び図１５に示される分類テーブルを用いて予測モードを２つに分類し、分類した予測モード毎にＴｒａｓｎｆｏｒｍＩｄｘで現される変換基底選択情報１２９を設定する。図１５では、２つのイントラ予測モードのうち、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０で示されるイントラ予測モードが２（ＤＣ予測）となる場合にＴｒａｎｓｆｏｒｍＩｄｘを１とし、それ以外の方向予測の場合は０としている。例えば、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１で示されるイントラ予測モードが２の場合に、ＴｒａｎｓｆｏｒｍＩｄｘを１としてもよいし、それぞれの方向予測で生成される予測画像信号の生成方向によって場合分けをしてもよい。より具体的に説明すると、例えば、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０が０、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ１が１の場合、２つの予測方向が成す角度は９０度となる。このように予測方向の成す角があまりにも大きい場合にＴｒａｎｓｆｏｒｍＩｄｘを１とする、という組み合わせを用意することも可能である。

次に、係数順制御部１１３を説明する。入力された予測モード１２８のうち、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０に示されるモード番号に従ってＴｒａｎｓｆｏｒｍＩｄｘが定められている。ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０は、単方向のイントラ予測モードを示し、９種類の予測モードが与えられている。

ここで、９種類の２Ｄ−１Ｄ変換部８０２〜８１０は、予測モード１２８毎に異なるスキャン順を用いる。図９は４ｘ４画素ブロックにおける予測モードとスキャン順の関係を示す。図１５のＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘＬ０の番号に応じて、異なるスキャン順が選択される。ここでは、４ｘ４画素ブロックにおける例を示したが、８ｘ８画素ブロックや１６ｘ１６画素ブロックに対しても同様に、予測モード毎に異なるスキャン順が選択できる。また、画素ブロックがＭｘＮで表現される矩形ブロックである場合、２Ｄ−１Ｄ変換を行うブロックサイズとしてＭｘＮを用いてもよい。この場合は、矩形ブロックに対応して、予測モード毎に図９に示されるようなスキャン順テーブルを用意すればよい。

以上が本発明の本実施の形態における動画像符号化装置１００の概要である。

次に、本発明の本実施の形態における動画像符号化装置１００におけるシンタクス構造について説明する。
図１６は、本発明の本実施の形態に関わるスライスヘッダーシンタクス１１０６の例を示す図である。図中に示されるｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該スライスに方向考慮型直交変換を適用するかどうかを示すシンタクス要素であり、第１の実施の形態と同一のため説明を省略する。

図１６中に示されるsｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇは、当該スライスに双方向イントラ予測を適用するかどうかを示すシンタクス要素である。sｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０である場合、イントラ予測画像生成部１０８では、双方向イントラ予測画像生成部１４０２を利用することができない。この場合、予測選択スイッチ１４０４は、予測モード１２８に関わらずスイッチの出力端を単方向イントラ予測画像生成部１４０１へ接続する。

一方、sｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１である場合、イントラ予測画像生成部１０８内の予測選択スイッチ１４０４では、予測モード１２８に従って、単方向イントラ予測画像生成部１４０１と双方向イントラ予測画像生成部１４０２を選択することが可能となる。

図１７は、本発明の実施の形態に関わるマクロブロックレイヤーシンタクス１１０８の例を示す。図中に示すｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇは、当該マクロブロックで双方向イントラ予測を適用するかどうかを示すシンタクス要素である。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇはｓｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１でマクロブロックの符号化タイプがイントラ予測の時のみ符号化される。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０の場合、当該マクロブロックのイントラ予測画像生成部１０８では、双方向イントラ予測画像生成部１４０２を利用することができない。この場合、予測選択スイッチ１４０４は、予測モード１２８に関わらずスイッチの出力端を単方向イントラ予測画像生成部１４０１へ接続する。

一方、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１である場合、当該マクロブロックにおけるイントラ予測画像生成部１０８内の予測選択スイッチ１４０４では、予測モード１２８に従って、単方向イントラ予測画像生成部１４０１と双方向イントラ予測画像生成部１４０２を選択することが可能となる。

以上の第２の実施の形態によれば、第１の実施の形態の効果に加え、双方向予測を用いることにより、単純な単方向予測と比較して予測方向に線形に変化を加えることが可能となり、自然画像などにおけるグラデーションなどの輝度変化に対応した予測画像信号を生成することにより、より入力画像に近い予測が可能となる。

［第３の実施の形態］
次に、第３の実施の形態について説明する。第３の実施の形態に係る動画像符号化装置の構成は、第１の実施の形態と同一であるが、直交変換部１０２及び逆直交変換部１０５の内部構造が異なる。なお、第１の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。

ここでは、図１８、図２０を用いて直交変換部１０２と逆直交変換部１０５を説明する。図１８は、直交変換部１０２を示すブロック図である。本実施の形態に関わる直交変換部１０２は、図５で示される各処理ブロックに加え、第三直交変換部１８０１を有する。ここで、第一直交変換部５０１と第二直交変換部１８０２は、式（３）、式（４）で示されるような予測方向を考慮した直交変換を行う。一方、第三直交変換部１８０１は例えばＤＣＴを行う。この場合の変換基底選択情報１２９は図１９Ａ、図１９Ｂに示される。ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ５０３はスイッチの出力端を第一直交変換部５０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ５０３はスイッチの出力端を第二直交変換部１８０２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ５０３はスイッチの出力端を第三直交変換部１８０１へと接続する。

ここでは、例として、第一直交変換部５０１の直交変換基底が垂直方向の予測モード（図３Ａにおけるモード０）に対して設計されており、第二直交変換部１８０２の直交変換基底が水平方向（図３Ａにおけるモード１）の予測モードに対して設計されていることを仮定している。ここで、垂直方向の予測モードを第１の基準方向としたとき、垂直方向の予測モードに対して予測方向のなす角が小さい予測モードとして、モード６、モード８に対してＴｒａｎｓｆｏｒｍＩｄｘを０としている。また、水平方向の予測モードを、第２の基準方向としたとき、水平方向の予測モードに対して予測方向のなす角が小さい予測モードとして、モード５、モード７に対してＴｒａｎｓｆｏｒｍＩｄｘを１としている。２つの基準方向に対してなす角が等しいモード３、モード４と予測方向が定義できないモード２（ＤＣ予測）に対してＴｒａｎｓｆｏｒｍＩｄｘを２としている。

イントラ予測分類部１１２は、イントラ予測モードの予測方向と第１の基準方向（垂直方向）とのなす第１角度と、イントラ予測モードの予測方向と第２の基準方向（水平方向）とのなす第２角度とを比較し、第１角度が第２角度以下である場合には予測モードを垂直方向の予測モードに分類し、第１角度が第２角度よりも大きい場合には予測モードを水平方向の予測モードに分類する。

また、図２０は、逆直交変換部１０５を示すブロック図である。本実施の形態に関わる逆直交変換部１０５は、図６で示される各処理ブロックに加え、第三逆直交変換部２００１を有する。ここで、第一逆直交変換部６０１と第二逆直交変換部２００２は、式（６）、式（７）で示されるような予測方向を考慮した直交変換を行う。一方、第三逆直交変換部２００１は例えばＩＤＣＴを行う。この場合の変換基底選択情報１２９は図１９Ａ、図１９Ｂに示される。ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ６０３はスイッチの出力端を第一逆直交変換部６０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ６０３はスイッチの出力端を第二逆直交変換部２００２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ６０３はスイッチの出力端を第三逆直交変換部２００１へと接続する。

本実施の形態では、３つの直交変換を用いる。このうち第一直交変換部と第二直交変換部では方向考慮型の直交変換基底を用いて直交変換を行う。予測モードの基準方向として、９０度の角度をなす垂直予測モードと水平予測モードを用意し、それぞれとのなす角が４５度未満の予測モードを同一の直交変換を用いるクラスに分類している。このように、空間方向相関を用いて直交変換を分類することにより、方向考慮型直交変換の係数集密度を高めた符号化が可能となる。

なお、本発明の本実施の形態では、ここまで、第一直交変換、第二直交変換、第三直交変換の３種類の直交変換と、第一逆直交変換、第二逆直交変換、第三逆直交変換の３種類の逆直交変換を、それぞれ分類された予測モード毎に切り替える方式を説明したが、これらの数を増やすことも可能である。この場合、異なる直交変換・逆直交変換別にハードウェアなどが必要となるが、回路規模と符号化効率のバランスを取った組み合わせを選択すればよい。
また、第２の実施の形態と第３の実施の形態を組み合わせた動画像符号化装置の構成も可能である。

以上の第３の実施の形態によれば、第１の実施の形態の効果に加え、予測モードの基準方向として、９０度の角度をなす垂直予測モードと水平予測モードを用意し、それぞれとのなす角が４５度未満の予測モードを同一の直交変換を用いるクラスに分類している。このように、空間方向相関を用いて直交変換を分類することにより、方向考慮型直交変換の係数集密度を高めた符号化が可能となる。

［第４の実施の形態］
次に、第４の実施の形態について説明する。第４の実施の形態に係る動画像符号化装置の構成は、第１の実施の形態と同一であるが、直交変換部１０２及び逆直交変換部１０５の内部構造が異なる。なお、第１の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。

ここでは、図２３、図２４を用いて直交変換部１０２と逆直交変換部１０５を説明する。図２３は、直交変換部１０２を示すブロック図である。本実施の形態に関わる直交変換部１０２は、図５で示される各処理ブロックに対し、第一直交変換部２３０１、第二直交変換部２３０２が変更されており、第三直交変換部２３０３、第四直交変換部２３０４を有する。ここで、第一直交変換部２３０１〜第四直交変換部２３０４は式（３）、式（４）で示されるような予測方向に応じて生成される予測誤差を考慮した直交変換を行う。ここでは、これら第一直交変換部２３０１〜第四直交変換部２３０４のいずれかがＤＣＴなどに置き換えられてもよい。この場合の変換基底選択情報１２９は図２５Ａ、図２５Ｂに示される。図２５Ａのテーブルは、予測方向に応じて生成される予測誤差の傾向に応じて、分類されている。この際、イントラ予測で参照される画素ラインによって、予測モードを４種類に分類している。例えば、予測方向が定義できないＤＣ予測（予測モード２）をＴｒａｎｓｆｏｒｍＩｄｘ＝３、縦方向の参照画素ラインのみを使う予測モード０、３，７をＴｒａｎｓｆｏｒｍＩｄｘ＝１、横方向の参照画素ラインのみを使う予測モード１、８をＴｒａｎｓｆｏｒｍＩｄｘ＝２、縦と横の２つの参照画素ラインを使う予測モード４、５、６をＴｒａｎｓｆｏｒｍＩｄｘ＝０と定義している。

ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ５０３はスイッチの出力端を第一直交変換部２３０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ５０３はスイッチの出力端を第二直交変換部２３０２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ５０３はスイッチの出力端を第三直交変換部２３０３へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが３の場合、基底選択スイッチ５０３はスイッチの出力端を第四直交変換部２３０４へと接続する。

ここでは、分類した予測モード４、５、６の予測誤差からＴｒａｎｓｆｏｒｍＩｄｘ＝０の直交変換基底を設計し、予測モード０、３、７の予測残差からＴｒａｎｓｆｏｒｍＩｄｘ＝１の直交変換基底を設計し、予測モード１、８の予測残差からＴｒａｎｓｆｏｒｍＩｄｘ＝２の直交変換基底を設計し、ＤＣ予測（予測モード２）の予測残差からＴｒａｎｓｆｏｒｍＩｄｘ＝３の直交変換基底を設計する。なお、ここでは、ＴｒａｎｓｆｏｒｍＩｄｘ＝３に対応する第四直交変換部２３０４がＤＣＴに基づいた直交変換を行う例を示している。

また、図２４は、逆直交変換部１０５を示すブロック図である。本実施の形態に関わる逆直交変換部１０５は、図６で示される各処理ブロックに対し、第一逆直交変換部２４０１、第二逆直交変換部２４０２が変更されており、第三逆直交変換部２４０３、第四逆直交変換部２４０４を有する。ここで、第一逆直交変換部２４０１〜第四逆直交変換部２４０４は、式（６）、式（７）で示されるような予測方向に応じて生成される予測誤差を考慮した直交変換を行う。ここでは、これら第一逆直交変換部２４０１〜第四逆直交変換部２４０４のいずれかがＩＤＣＴなどに置き換えられてもよい。

この場合の変換基底選択情報１２９は図２５Ａ、図２５Ｂに示される。ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ６０３はスイッチの出力端を第一逆直交変換部２４０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ６０３はスイッチの出力端を第二逆直交変換部２４０２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ６０３はスイッチの出力端を第三逆直交変換部２４０３へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが３の場合、基底選択スイッチ６０３はスイッチの出力端を第四逆直交変換部２４０４へと接続する。

本実施の形態では、４つの直交変換を用いる。このうち第一直交変換部と第四直交変換部では予測方向に応じて生成された予測誤差の相関を考慮した直交変換基底を用いて直交変換を行う。この際に、予測画素が生成される参照画素ラインに応じて直交変換を分類することにより、直交変換の変換係数の集密度を高めた符号化が可能となる。

なお、本発明の本実施の形態では、第一直交変換、第二直交変換、第三直交変換、第四直交変換の４種類の直交変換と、第一逆直交変換、第二逆直交変換、第三逆直交変換、第四逆直交変換の４種類の逆直交変換を、それぞれ分類された予測モード毎に切り替える方式を説明したが、これらの数を減らしてもよいし増やしてもよい。この場合、異なる直交変換・逆直交変換別にハードウェアなどが必要となるが、回路規模と符号化効率のバランスを取った組み合わせを選択すればよい。また、第２の実施の形態と第４の実施の形態を組み合わせた動画像符号化装置の構成も可能である。

また、本発明の第４の実施の形態では、４種類の直交変換と、４種類の逆直交変換を、それぞれ分類された予測モード毎に切り替える方式を説明したが、この変換・逆変換を行う際の直交変換行列を共有化することにより、ハードウェア実現時の回路規模を更に削減することが可能である。例えば、式（３）、式（４）で示される２次元の分離型の変換における行列Ａ、Ｂ若しくは行列Ｃ、Ｄを予測モード別に使いまわすことも可能である。この一例が図２６Ａ、図２６Ｂ、図２６Ｃに示されている。ここでは、式（３）における行列Ａに対応する１次元変換と行列Ｂに対応する１次元変換の組み合わせが明記されている（式（４）における行列Ｃに対応する１次元変換と行列Ｄに対応する１次元変換でも同様）。例えば、ＴｒａｎｓｆｏｒｍＩｄｘ＝０の場合、式（３）の行列Ａ、Ｂには、共通の１Ｄ Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ αが使われることを意味する。このような変換行列の共有化を行うことにより、直交変換部或いは逆直交変換部毎に２種類必要であった変換行列数が削減できる。例えば、本発明の本実施の形態では、４種類の（逆）直交変換部を保持しているため、８種類の変換行列が必要であったが、２種類の変換行列だけで４種類の（逆）直交変換が可能となる。なお、式（６）、（７）の逆変換においても同様の共有化が可能である。

以上の第４の実施の形態によれば、第１の実施の形態の効果に加え、予測方向に応じて生成された予測誤差の相関を考慮した４種類の直交変換基底を用いることにより、係数集密度を更に高めつつ、ハードウェア実現時の回路規模を削減した直交変換・逆直交変換が可能となる。

また、本発明の本実施の形態のように、直交変換部としてイントラ予測の予測方向を考慮して４種類の直交変換を用いる場合、例えば予測モード４、５、６を強制的にＴｒａｎｓｆｏｒｍＩｄｘ＝０に割り当てるため、Ｈ．２６４で用いられるジグザグスキャン順を用いた場合の電力集中度は必ずしも高くならない。そこで、非ゼロ変換係数の発生傾向が予測モード毎に似る性質を利用して、２Ｄ−１Ｄ変換の際、非ゼロ変換係数の発生確率が高い位置の変換係数から優先的にエントロピー符号化することで、変換係数の符号化する情報を削減することが可能である。

次に、動画像復号化装置に関する第５から第８の実施の形態について述べる。
［第５の実施の形態］
図２１は、第５の実施の形態に従う動画像復号化装置を示している。図２１の動画像復号化装置２１００は、例えば、第１の実施の形態に従う動画像符号化装置により生成される符号化データを復号する。

図２１の動画像復号化装置２１００は、入力バッファ２１０１に蓄えられる符号化データ２１１４を復号し、復号画像信号２１１９を出力バッファ２１１２に出力する。符号化データ２１１４は、例えば、動画像符号化装置１００などから送出され、図示しない蓄積系又は伝送系を経て送られ、入力バッファ２１０１に一度蓄えられ、多重化された符号化データである。

動画像復号化装置２１００は、エントロピー復号部２１０２、係数順制御部２１０３、逆量子化部２１０４、逆直交変換部２１０５、加算器２１０６、参照画像メモリ２１０７、イントラ予測画像生成部２１０８、インター予測画像生成部２１０９、予測選択スイッチ２１１０、及びイントラ予測分類部２１１１を有する。動画像復号化装置２１００は、また、入力バッファ２１０１、出力バッファ２１１２、及び、復号化制御部２１１３と接続される。

エントロピー復号部２１０２は、符号化データ２１１４を１フレーム又は１フィールド毎にシンタクスに基づいて構文解析による解読を行う。エントロピー復号部２１０２は、順次各シンタクスの符号列をエントロピー復号化し、予測情報２１２４、量子化変換係数列２１１５、及び、符号化対象ブロックの符号化パラメータ等を再生する。符号化パラメータとは、予測に関する情報、量子化に関する情報等の復号の際に必要になるパラメータ全てを含む。

エントロピー復号部２１０２で解読が行われた量子化変換係数列２１１５は、係数順制御部２１０３へ入力される。また、予測情報２１２４に含まれる予測モード２１２１が係数順制御部２１０３へ入力される。係数順制御部２１０３は、１次元データである量子化変換係数列２１１５を２次元データに変換する機能を有する。係数順制御部２１０３で変換された量子化変換係数列２１１５は、量子化変換係数２１１６となって逆量子化部２１０４へと入力される。逆量子化部２１０４では、解読された量子化に関する情報を基に逆量子化を行って変換係数を復元する。逆量子化部２１０４で復元された量子化変換係数２１１６は、逆量子化変換係数２１１７となって、逆直交変換部２１０５へと入力される。逆直交変換部２１０５の機能は後述するが、イントラ予測分類部２１１１から入力された変換基底選択情報２１２２に基づいて、例えば逆離散コサイン変換（ＩＤＣＴ）が行われる。

逆直交変換部２１０５によって逆直交変換が施され、生成された復元予測誤差信号２１１８は加算器２１０６へと入力される。加算器２１０６は、復元予測誤差信号２１１８と、後述する予測選択スイッチ２１１０から出力された予測画像信号２１２３とを加算し、復号画像信号２１１９を生成する。

生成された復号画像信号２１１９は、参照画像メモリ２１０７に入力される。参照画像メモリ２１０７では、入力されてきた復号画像信号２１１９を出力バッファ２１１２に出力すると共に、復号画像信号２１１９を参照画像信号２１２０として内部メモリに保持し、以後の予測画像信号生成処理に利用する。参照画像メモリ２１０７から出力された復号画像信号２１１９は、動画像復号化装置２１００から出力されて、出力バッファ２１１２に一旦蓄積された後、復号化制御部２１１３が管理する出力タイミングに従って出力される。

参照画像信号２１２０は参照画像メモリ２１０７から、順次フレーム毎或いはフィールド毎に読み出され、イントラ予測画像生成部２１０８或いはインター予測画像生成部２１０９へと入力される。

なお、図２１のイントラ予測画像生成部２１０８は、図１で示した動画像符号化装置１００中のイントラ予測画像生成部１０８に示す同名の各部と同一の機能及び構成を有する。よって本部分の説明は省略する。

なお、図２１のインター予測画像生成部２１０９は、図１で示したインター予測画像生成部１０９に示す同名の各部と同一の機能及び構成を有する。よって本部分の説明は省略する。

次に、係数順制御部２１０３の詳細について説明する。図２２に係数順制御部２１０３のブロック図を示す。図２２の係数順制御部２１０３は、予測モード選択スイッチ２２０１と９種類の１Ｄ−２Ｄ変換部２２０２〜２２１０を有する。予測モード選択スイッチ２２０１は、図７Ａの左側に示される予測モードのモード番号に応じて、スイッチの出力端を１Ｄ−２Ｄ変換部へと接続する。例えば、予測モード０が入力された場合、予測モード選択スイッチ２２０１は出力端を垂直１Ｄ−２Ｄ変換部２２０２へと接続する。予測モードと１Ｄ−２Ｄ変換部は１対１に対応しており、予測モードに対応する１Ｄ−２Ｄ変換部に常に接続される。予測モードと９種類の１Ｄ−２Ｄ変換部２２０２〜２２１０は１対１に対応しており、予測モード毎に出力端が選択される。

９種類の１Ｄ−２Ｄ変換部２２０２〜２２１０は、復号された量子化変換係数列２１１５の１次元データを２次元データへと変換する機能を有する。例えば、Ｈ．２６４では、逆ジグザグスキャンを用いて１次元データを２次元データへと変換している。

４ｘ４ブロックの１次元データを逆ジグザグスキャンによって２次元データに変換する例が図４Ｂ及び図４Ａに示されている。ここで解読された量子化変換係数列２１１５（図４Ｂに対応）を逆ジグザグスキャンすることによって２次元データ（図４Ａに対応）に変換する例が示されている。図中の量子化変換係数２１１６の成分をcijで表すと、逆ジグザグスキャンを用いる１Ｄ−２Ｄ変換は図４Ｃで表される。ここでidxは１Ｄ−２Ｄ変換前の１次元データのインデックスである。

ここで、９種類の１Ｄ−２Ｄ変換部２２０２〜２２１０は、予測モード２１２１毎に異なるスキャン順を用いる。図９は４ｘ４画素ブロックにおける予測モードとスキャン順の関係を示す。図７ＡのＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘの番号に応じて、異なるスキャン順が選択される。ここでは、４ｘ４画素ブロックにおける例を示したが、８ｘ８画素ブロックや１６ｘ１６画素ブロックに対しても同様に、予測モード毎に異なるスキャン順が選択できる。また、画素ブロックがＭｘＮで表現される矩形ブロックである場合、１Ｄ−２Ｄ変換を行うブロックサイズとしてＭｘＮを用いてもよい。この場合は、矩形ブロックに対応して、予測モード毎に図９に示されるようなスキャン順テーブルを用意すればよい。次に、イントラ予測分類部２１１１を説明する。イントラ予測分類部２１１１は、エントロピー復号部２１０２で解読された予測情報２１２４に含まれる予測モード２１２１を基に逆直交変換で用いる変換基底選択情報２１２２を生成する機能を有する。ここでは、図７Ａ及び図７Ｂに示される分類テーブルを用いて予測モードを２つに分類し、分類した予測モード毎にＴｒａｓｎｆｏｒｍＩｄｘで現される変換基底選択情報２１２２を設定する。ここで、表中に示されるＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘは、予測モード２１２１を示している。また、Ｎはブロックサイズを示すインデックスであり、４ｘ４画素ブロックでは４、８ｘ８画素ブロックでは８、１６ｘ１６画素ブロックでは１６を意味する。また、それ以外のブロックサイズでも同様である。ここでは、ＮｘＮで示される正方ブロックについての例を示したが、ＭｘＮとして矩形ブロックに拡張することも容易である。

ＴｒａｓｎｆｏｒｍＩｄｘが０を示す場合、第一逆直交変換を用いることを意味する。一方、ＴｒａｓｎｆｏｒｍＩｄｘが１を示す場合、第二逆直交変換が用いられることを意味する。ここで、画素ブロックがＭｘＮで表現される矩形ブロックである場合、逆直交変換を行うブロックサイズとしてＭｘＮを用いてもよい。
ここでは、ＤＣ予測（予測モード２に対応）にのみＴｒａｓｎｆｏｒｍＩｄｘを１とし、それ以外の空間予測方向を持つ予測モードに対してＴｒａｓｎｆｏｒｍＩｄｘを０としている。

逆直交変換部２１０５は図６の逆直交変換部１０５と同様の機能を有する。ここで、図６における逆量子化変換係数１２２、変換基底選択情報１２９、復元予測誤差信号１２３は、図２１において、それぞれ、逆量子化変換係数２１１７、変換基底選択情報２１２２、復元予測誤差信号２１１８に対応している。図６に示す逆直交変換部１０５と図２１に示す逆直交変換部２１０５は同機能のため、ここでは詳細説明を省略する。

逆直交変換部２１０５の第一逆直交変換部では、逆量子化変換係数２１１７に対し、式（６）、或いは式（７）を用いて逆直交変換処理を行う。例えば、水平予測（モード１）を用いて設計した変換行列を用いて逆直交変換処理を行う。逆直交変換部２１０５の第二逆直交変換部では、逆量子化変換係数２１１７に対し、式（６）、或いは式（７）を用いて逆直交変換処理を行う。この逆直交変換は例えばＩＤＣＴであってもよい。いずれにしても、第１の実施の形態で用いた直交変換に対応した変換行列を用いて、逆直交変換が行われる。

以上が、第５の実施の形態で示す動画像復号化装置２１００の処理の概要である。

次に、動画像復号化装置２１００が復号する符号化データのシンタクス構造について説明する。動画像復号化装置２１００が復号する符号化データ２１１４は、動画像符号化装置１００と同一のシンタクス構造を有するとよい。ここでは、図１２ないし図１３と同一のシンタクスを用いることとし、詳細な説明を省略する。

図１２は、本発明の本実施の形態に関わるスライスヘッダーシンタクス１１０６の例を示す図である。図１２中に示されるｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該スライスに方向考慮型直交変換を適用するかどうかを示すシンタクス要素である。ｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが０である場合、直交変換部１０２及び逆直交変換部１０５では、第一直交変換部５０１及び第一逆直交変換部６０１を利用することができない。この場合、基底選択スイッチ５０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二直交変換部５０２へ接続するとともに、基底選択スイッチ６０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二逆直交変換部６０２へ接続する。また、この場合、係数順制御部１１３では、ＤＣＴ用２Ｄ−１Ｄ変換部８０４以外を用いることができない。この場合、予測モード選択スイッチ８０１は、予測モード１２８に関わらずスイッチの出力端をＤＣＴ用２Ｄ−１Ｄ変換部８０４へ接続する。

一方、ｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１である場合、図１０Ａ及び図１０Ｂで説明した符号化フローチャートに従って、符号化処理が行われる。つまり、直交変換部１０２及び逆直交変換部１０５では、変換基底選択情報１２９に従って、第一直交変換部５０１と第二直交変換部５０２を選択するとともに、変換基底選択情報１２９に従って、第一逆直交変換部６０１と第二逆直交変換部６０２を選択できる。また、予測モード選択スイッチ８０１は、予測モード１２８に従ってスイッチの出力端を２Ｄ−１Ｄ変換部８０２〜８１０へ接続することが可能である。

別の実施の形態として、図１３は、本発明の別の実施の形態に関わるマクロブロックレイヤーシンタクス１１０８の例を示す。図１３中に示すｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該マクロブロックで方向考慮型直交変換を適用するかどうかを示すシンタクス要素である。また、図１３中に示すｍｂ＿ｔｙｐｅは当該符号化マクロブロックの符号化タイプを示している。Ｉ＿ＮｘＮは、符号化タイプがイントラ予測符号化されており、予測ブロックサイズがＮｘＮサイズであることを示す。Ｎには４，８，１６を始め、３２，６４などが含まれる。ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇはｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１でマクロブロックの符号化タイプがイントラ予測の時のみ符号化される。ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが０である場合、直交変換部１０２及び逆直交変換部１０５では、第一直交変換部５０１及び第一逆直交変換部６０１を利用することができない。この場合、基底選択スイッチ５０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二直交変換部５０２へ接続するとともに、基底選択スイッチ６０３は、変換基底選択情報１２９に関わらずスイッチの出力端を第二逆直交変換部６０２へ接続する。また、この場合、係数順制御部１１３では、ＤＣＴ用２Ｄ−１Ｄ変換部８０４以外を用いることができない。この場合、予測モード選択スイッチ８０１は、予測モード１２８に関わらずスイッチの出力端をＤＣＴ用２Ｄ−１Ｄ変換部８０４へ接続する。

一方、ｍｂ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇが１である場合、図１０Ａ及び図１０Ｂで説明した符号化フローチャートに従って、符号化処理が行われる。つまり、直交変換部１０２及び逆直交変換部１０５では、変換基底選択情報１２９に従って、第一直交変換部５０１と第二直交変換部５０２を選択するとともに、変換基底選択情報１２９に従って、第一逆直交変換部６０１と第二逆直交変換部６０２を選択できる。また、予測モード選択スイッチ８０１は、予測モード１２８に従ってスイッチの出力端を２Ｄ−１Ｄ変換部８０２〜８１０へ接続することが可能である。

マクロブロックレイヤーで上記方向考慮型直交変換を適用するかどうかを示すフラグを符号化することによって、変換の選択に関わる情報量は増えるが、画像の局所領域毎に最適な直交変換を施すことが可能となる。

なお、図１２ないし図１３に示すシンタクスの表中の行間には、本実施の形態において規定していないシンタクス要素が挿入されてもよく、その他の条件分岐に関する記述が含まれていてもよい。また、シンタクステーブルを複数のテーブルに分割し、又は複数のシンタクステーブルを統合してもよい。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更してもよい。

以上の第５の実施の形態によれば、イントラ予測モードの予測方向を予測誤差の相関に応じて分類して逆直交変換を施すことにより、変換後の係数集密度を高めるとともに、ハードウェア実現時の回路規模を削減することが可能になる。

［第６の実施の形態］
次に、第６の実施の形態について説明する。第６の実施の形態に係る動画像復号化装置の構成は、第５の実施の形態と同一である。第６の実施の形態に従う動画像復号化装置２１００は、例えば、第２の実施の形態に従う動画像符号化装置により生成される符号化データを復号する。なお、第５の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。第６の実施の形態では、イントラ予測画像生成部２１０８の内部構造のみが第５の実施の形態と異なる。

ここでは、図１４を用いてイントラ予測画像生成部２１０８を説明する。図１４は、イントラ予測画像生成部２１０８（１０８）を示すブロック図である。図１４における予測モード１２８、予測画像信号１２７、参照画像信号１２５は、図２１における予測モード２１２１、予測画像信号２１２３、参照画像信号２１２０にそれぞれ対応している。

本実施の形態に関わるイントラ予測画像生成部２１０８（１０８）は、単方向イントラ予測画像生成部１４０１、双方向イントラ予測画像生成部１４０２、予測モード生成部１４０３、予測選択スイッチ１４０４を有する。

第１の実施の形態におけるイントラ予測画像生成部１０８では、図１４のうち、双方向イントラ予測画像生成部１４０２と予測選択スイッチ１４０４が存在しない。ここで、単方向イントラ予測画像生成部１４０１は、既に図３、図４及び第１の実施の形態で、処理内容を述べているため、説明を省略する。

双方向イントラ予測画像生成部１４０２では、２つの単方向のイントラ予測画像信号を生成し、これらに対して重み付き平均を施すことによって予測画像信号１２７を生成する。例えば、図３Ｃ及び図３Ｄに示される水平予測と直交右下予測を用いた双方向予測を説明する。先ず、それぞれ単方向の予測画像信号を生成する。ここで水平予測をＰ１［ｘ，ｙ］、直交右下予測をＰ２［ｘ，ｙ］とすると双方向予測の予測画像信号Ｐ［ｘ，ｙ］は式（１０）で表される。双方向イントラ予測の予測番号と、２つの単方向の組み合わせと、変換基底情報を図１５に示す。

次に、予測モード生成部１４０３の機能を説明する。エントロピー復号部２１０２で解読された予測情報２１２４は、復号化制御部２１１３に保持され、制御されている。ここでは、予測情報２１２４に含まれる予測情報として、双方向イントラ予測が選択されている場合、予測モード生成部１４０３は、図１５に示すテーブルに従って双方向イントラ予測における予測モード２１２１を導出し、出力する。予測選択スイッチ１４０４は、入力されてきた予測モード２１２１に従ってスイッチの出力端と２つのイントラ予測画像生成部１４０１、１４０２の出力端を接続する。ここで、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０の場合、スイッチは出力端を単方向イントラ予測画像生成部１４０１へと接続する。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１の場合、スイッチは出力端を双方向イントラ予測画像生成部１４０２へと出力する。

以上が、本発明の本実施の形態に関わるイントラ予測画像生成部２１０８（１０８）の説明である。

次に、イントラ予測分類部２１１１を説明する。図２１のイントラ予測分類部２１１１は、第２の実施の形態に関わるイントラ予測分類部１１２と同一機能を有する。入力されてきた予測モード２１２１を基に逆直交変換で用いる変換基底選択情報２１２２を生成する機能を有する。イントラ予測分類部２１１１では、イントラ予測画像生成部２１０８から入力された予測モード２１２１を基に変換基底選択情報２１２２を生成する。ここでは、図７Ａ及び図１５に示される分類テーブルを用いて予測モードを２つに分類し、分類した予測モード毎にＴｒａｓｎｆｏｒｍＩｄｘで現される変換基底選択情報１２９を設定する。

次に、係数順制御部２１０３を説明する。入力された予測モード２１２１のうち、ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０に示されるモード番号に従ってＴｒａｎｓｆｏｒｍＩｄｘが定められている。ＩｎｔｒａＮｘＮＰｒｅｄＭｏｄｅＩｎｄｅｘＬ０は、単方向のイントラ予測モードを示し、９種類の予測モードが与えられている。

ここで、９種類の１Ｄ−２Ｄ変換部２２０２〜２２１０は、予測モード２１２１毎に異なるスキャン順を用いる。図９に４ｘ４画素ブロックにおける予測モードとスキャン順の関係を示す。図１５のＩｎｔｒａＮｘＮＰｒｅｄＭｄｅＩｎｄｅｘＬ０の番号に応じて、異なるスキャン順が選択される。ここでは、４ｘ４画素ブロックにおける例を示したが、８ｘ８画素ブロックや１６ｘ１６画素ブロックに対しても同様に、予測モード毎に異なるスキャン順が選択できる。また、画素ブロックがＭｘＮで表現される矩形ブロックである場合、２Ｄ−１Ｄ変換を行うブロックサイズとしてＭｘＮを用いてもよい。この場合は、矩形ブロックに対応して、予測モード毎に図９に示されるようなスキャン順テーブルを用意すればよい。

図１６は、本発明の本実施の形態に関わるスライスヘッダーシンタクス１１０６の例を示す図である。図中に示されるｓｌｉｃｅ＿ｕｎｉ＿ｄｉｒｅｃｔｉｏｎａｌ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇは、当該スライスに方向考慮型直交変換を適用するかどうかを示すシンタクス要素であり、第１の実施の形態と同一のため説明を省略する。

図１６中に示されるsｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇは、当該スライスに双方向イントラ予測を適用するかどうかを示すシンタクス要素である。sｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０である場合、イントラ予測画像生成部１０８では、双方向イントラ予測画像生成部１４０２を利用することができない。この場合、予測選択スイッチ１４０４は、予測モード１２８に関わらずスイッチの出力端を単方向イントラ予測画像生成部１４０１へ接続する。

一方、sｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１である場合、イントラ予測画像生成部１０８内の予測選択スイッチ１４０４では、予測モード１２８に従って、単方向イントラ予測画像生成部１４０１と双方向イントラ予測画像生成部１４０２を選択することが可能となる。

図１７は、本発明の実施の形態に関わるマクロブロックレイヤーシンタクス１１０８の例を示す。図中に示すｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇは、当該マクロブロックで双方向イントラ予測を適用するかどうかを示すシンタクス要素である。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇはｓｌｉｃｅ＿ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１でマクロブロックの符号化タイプがイントラ予測の時のみ符号化される。ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが０の場合、当該マクロブロックのイントラ予測画像生成部１０８では、双方向イントラ予測画像生成部１４０２を利用することができない。この場合、予測選択スイッチ１４０４は、予測モード１２８に関わらずスイッチの出力端を単方向イントラ予測画像生成部１４０１へ接続する。

一方、ｂｉｐｒｅｄ＿ｉｎｔｒａ＿ｆｌａｇが１である場合、当該マクロブロックにおけるイントラ予測画像生成部１０８内の予測選択スイッチ１４０４では、予測モード１２８に従って、単方向イントラ予測画像生成部１４０１と双方向イントラ予測画像生成部１４０２を選択することが可能となる。

以上の第６の実施の形態によれば、第５の実施の形態の効果に加え、第２の実施の形態に従う動画像符号化装置により生成される符号化データを復号することができる。

［第７の実施の形態］
次に、第７の実施の形態について説明する。第７の実施の形態に係る動画像復号化装置の構成は、第５の実施の形態と同一である。第７の実施の形態に従う動画像復号化装置２１００は、例えば、第３の実施の形態に従う動画像符号化装置により生成される符号化データを復号する。なお、第５の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。第７の実施の形態では、逆直交変換部２１０５の内部構造のみが第５の実施の形態と異なる。

ここでは、図２０を用いて逆直交変換部２１０５を説明する。図２０における逆直交変換部１０５は、図２１における逆直交変換部２１０５と同一機能を有する。図２０において、逆量子化変換係数１２２、変換基底選択情報１２９、復元予測誤差信号１２３は、図２１における逆量子化変換係数２１１７、変換基底選択情報２１２２、復元予測誤差信号２１１８に、それぞれ対応している。

図２０は、逆直交変換部２１０５（１０５）を示すブロック図である。本実施の形態に関わる逆直交変換部２１０５（１０５）は、図６で示される各処理ブロックに加え、第三逆直交変換部２００１を有する。ここで、第一逆直交変換部６０１と第二逆直交変換部６０２は、式（６）、式（７）で示されるような予測方向を考慮した逆直交変換を行う。一方、第三逆直交変換部２００１は例えばＩＤＣＴを行う。この場合の変換基底選択情報２１２２は図１９Ａ、図１９Ｂに示される。ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ６０３はスイッチの出力端を第一逆直交変換部６０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ６０３はスイッチの出力端を第二逆直交変換部６０２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ６０３はスイッチの出力端を第三逆直交変換部２００１へと接続する。
なお、第６の実施の形態と第７の実施の形態を組み合わせた動画像復号化装置の構成も可能である。

以上の第７の実施の形態によれば、第５の実施の形態の効果に加え、第３の実施の形態に従う動画像符号化装置により生成される符号化データを復号することができる。

［第８の実施の形態］
次に、第８の実施の形態について説明する。第８の実施の形態に係る動画像復号化装置の構成は、第５の実施の形態と同一である。第８の実施の形態に従う動画像復号化装置２１００は、例えば、第４の実施の形態に従う動画像符号化装置により生成される符号化データを復号する。なお、第５の実施の形態と同じ機能を持つブロック、シンタクスには同一の符号を付し、ここでは説明を省略する。第８の実施の形態では、逆直交変換部２１０５の内部構造のみが第５の実施の形態と異なる。

ここでは、図２４を用いて逆直交変換部２１０５を説明する。図２４における逆直交変換部１０５は、図２１における逆直交変換部２１０５と同一機能を有する。図２０において、逆量子化変換係数１２２、変換基底選択情報１２９、復元予測誤差信号１２３は、図２１における逆量子化変換係数２１１７、変換基底選択情報２１２２、復元予測誤差信号２１１８に、それぞれ対応している。

図２４は、逆直交変換部２１０５（１０５）を示すブロック図である。本実施の形態に関わる逆直交変換部２１０５（１０５）は、図６で示される各処理ブロックに加え、第一逆直交変換部２４０１、第二逆直交変換部２４０２が変更されており、第三逆直交変換部２４０３、第四逆直交変換部２４０４を有する。ここで、第一逆直交変換部２４０１〜第四逆直交変換部２４０４は、式（６）、式（７）で示されるような予測方向に応じて生成される予測誤差を考慮した逆直交変換を行う。ここでは、これら第一逆直交変換部２４０１〜第四逆直交変換部２４０４のいずれかがＩＤＣＴなどに置き換えられてもよい。

この場合の変換基底選択情報１２９は図２５Ａ、図２５Ｂに示される。ＴｒａｎｓｆｏｒｍＩｄｘが０の場合、基底選択スイッチ６０３はスイッチの出力端を第一逆直交変換部２４０１へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが１の場合、基底選択スイッチ６０３はスイッチの出力端を第二逆直交変換部２４０２へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが２の場合、基底選択スイッチ６０３はスイッチの出力端を第三逆直交変換部２４０３へと接続する。ＴｒａｎｓｆｏｒｍＩｄｘが３の場合、基底選択スイッチ６０３はスイッチの出力端を第四逆直交変換部２４０４へと接続する。

本実施の形態では、４つの逆直交変換を用いる。このうち第一逆直交変換部と第四逆直交変換部では予測方向に応じて生成された予測誤差の相関を考慮した直交変換基底を用いて逆直交変換を行う。この際に、予測画素が生成される参照画素ラインに応じて逆直交変換を分類することにより、変換係数の集密度を高めた符号化が可能となる。

なお、本発明の本実施の形態では、第一逆直交変換、第二逆直交変換、第三逆直交変換、第四逆直交変換の４種類の逆直交変換を、それぞれ分類された予測モード毎に切り替える方式を説明したが、これらの数を増やすことも可能である。この場合、異なる逆直交変換別にハードウェアなどが必要となるが、回路規模と符号化時の符号化効率のバランスを取った組み合わせを選択すればよい。また、第６の実施の形態と第８の実施の形態を組み合わせた動画像復号化装置の構成も可能である。

また、本発明の第８の実施の形態では、４種類の逆直交変換を、それぞれ分類された予測モード毎に切り替える方式を説明したが、この逆変換を行う際の直交変換行列を共有化することにより、ハードウェア実現時の回路規模を更に削減することが可能である。例えば、式（６）、式（７）で示される２次元の分離型の逆変換における行列Ａ、Ｂ若しくは行列Ｃ、Ｄを予測モード別に使いまわすことも可能である。この一例が図２６Ａ、図２６Ｂ、図２６Ｃに示されている。ここでは、式（６）における行列Ａに対応する１次元変換と行列Ｂに対応する１次元変換の組み合わせが明記されている（式（７）における行列Ｃに対応する１次元変換と行列Ｄに対応する１次元変換でも同様）。例えば、ＴｒａｎｓｆｏｒｍＩｄｘ＝０の場合、式（６）の行列Ａ、Ｂには、共通の１Ｄ Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ αが使われることを意味する。このような変換行列の共有化を行うことにより、逆直交変換部毎に２種類必要であった変換行列数が削減できる。例えば、本発明の本実施の形態では、４種類の逆直交変換部を保持しているため、８種類の変換行列が必要であったが、２種類の変換行列だけで４種類の逆直交変換が可能となる。

以上の第８の実施の形態によれば、第５の実施の形態の効果に加え、第４の実施の形態に従う動画像符号化装置により生成される符号化データを復号することができる。

（第１から第８の実施の形態の変形例）
（１）図１２、図１３、図１６、図１７に示すシンタクスの表中の行間には、本実施の形態において規定していないシンタクス要素が挿入されてもよく、その他の条件分岐に関する記述が含まれていてもよい。また、シンタクステーブルを複数のテーブルに分割し、又は複数のシンタクステーブルを統合してもよい。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更してもよい。

（２）第１から第８の実施の形態においては、処理対象フレームを１６×１６画素サイズなどの短形ブロックに分割し、図２Ａに示したように画面左上のブロックから右下に向かって順に符号化／復号化する場合について説明しているが、符号化順序及び復号化順序はこれに限られない。例えば、右下から左上に向かって順に符号化及び復号化を行ってもよいし、画面中央から渦巻状に向かって順に符号化及び復号化を行ってもよい。更に、右上から左下に向かって順に符号化及び復号化を行ってもよいし、画面の周辺部から中心部に向かって順に符号化及び復号化を行ってもよい。

（３）第１から第８の実施の形態においては、ブロックサイズを４×４画素ブロック、８×８画素ブロック、１６×１６画素ブロックとして説明を行ったが、予測対象ブロックは均一なブロック形状にする必要なく、１６×８画素ブロック、８×１６画素ブロック、８×４画素ブロック、４×８画素ブロックなどの何れのブロックサイズであってもよい。また、１つのマクロブロック内でも全てのブロックを同一にする必要はなく、異なるサイズのブロックを混在させてもよい。この場合、分割数が増えると分割情報を符号化又は復号化するための符号量が増加する。そこで、変換係数の符号量と局部復号画像又は復号画像とのバランスを考慮して、ブロックサイズを選択すればよい。

（４）第１から第８の実施の形態においては、輝度信号と色差信号を分割せず、一方の色信号成分に限定した例として記述した。しかし、予測処理が輝度信号と色差信号で異なる場合、それぞれ異なる予測手法を用いてもよいし、同一の予測手法を用いてもよい。異なる予測手法を用いる場合は、色差信号に対して選択した予測手法を輝度信号と同様の手法で符号化又は復号化する。

（５）第１から第８の実施の形態においては、輝度信号と色差信号を分割せず、一方の色信号成分に限定した例として記述した。しかし、直交変換処理が輝度信号と色差信号で異なる場合、それぞれ異なる直交変換手法を用いてもよいし、同一の直交変換手法を用いてもよい。異なる直交変換手法を用いる場合は、色差信号に対して選択した直交変換手法を輝度信号と同様の手法で符号化又は復号化する。

以上の実施の形態によれば、イントラ予測符号化における直交変換後の係数集密度を高めるとともに、ハードウェア実現時の回路規模を削減する。つまり、直交変換をハードウェアで実現する際に、予測方向に対応した専用ハードウェアを用いることによる回路規模を大幅に増加させずに、直交変換後の係数集密度を高めることによって、符号化効率を向上させると共に主観画質も向上するという効果を奏する。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の動画像符号化装置及び動画像復号化装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置及び動画像復号化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…動画像符号化装置、１０１…減算器、１０２…直交変換部、１０３…量子化部、１０４…逆量子化部、１０５…逆直交変換部、１０６…加算器、１０７…参照画像メモリ、１０８…イントラ予測画像生成部、１０９…インター予測画像生成部、１１０…予測選択部、１１１…予測選択スイッチ、１１２…イントラ予測分類部、１１３…係数順制御部、１１４…エントロピー符号化部、１１５…出力バッファ、１１６…符号化制御部、１１７…量子化変換係数列、１１８…入力画像信号、１１９…予測誤差信号、１２０…変換係数、１２１…量子化変換係数、１２２…逆量子化変換係数、１２３…復元予測誤差信号、１２４…復号画像信号、１２５…参照画像信号、１２６…予測情報、１２７…予測画像信号、１２８…予測モード、１２９…変換基底選択情報、１３０…符号化データ、５０１…第一直交変換部、５０２…第二直交変換部、５０３…基底選択スイッチ、６０１…第一逆直交変換部、６０２…第二逆直交変換部、６０３…基底選択スイッチ、８０１…予測モード選択スイッチ、８０２〜８１０…２Ｄ−１Ｄ変換部、１１００…シンタクス、１１０１…ハイレベルシンタクス、１１０２…スライスレベルシンタクス、１１０３…マクロブロックレベルシンタクス、１１０４…シーケンスパラメータセットシンタクス、１１０５…ピクチャパラメータセットシンタクス、１１０６…スライスヘッダーシンタクス、１１０７…スライスデータシンタクス、１１０８…マクロブロックレイヤーシンタクス、１１０９…マクロブロックプレディクションシンタクス、１４０１…単方向イントラ予測画像生成部、１４０２…双方向イントラ予測画像生成部、１４０３…予測モード生成部、１４０４…予測選択スイッチ、１８０１…第三直交変換部、１８０２…第二直交変換部、２００１…第三逆直交変換部、２００２…第二逆直交変換部、２１００…動画像復号化装置、２１０１…入力バッファ、２１０２…エントロピー復号部、２１０３…係数順制御部、２１０４…逆量子化部、２１０５…逆直交変換部、２１０６…加算器、２１０７…参照画像メモリ、２１０８…イントラ予測画像生成部、２１０９…インター予測画像生成部、２１１０…予測選択スイッチ、２１１１…イントラ予測分類部、２１１２…出力バッファ、２１１３…復号化制御部、２１１４…符号化データ、２１１５…量子化変換係数列、２１１６
…量子化変換係数、２１１７…逆量子化変換係数、２１１８…復元予測誤差信号、２１１９…復号画像信号、２１２０…参照画像信号、２１２１…予測モード、２１２２…変換基底選択情報、２１２３…予測画像信号、２１２４…予測情報、２２０１…予測モード選択スイッチ、２２０２〜２２１０…１Ｄ−２Ｄ変換部、２３０１…第一直交変換部、２３０２…第二直交変換部、２３０３…第三直交変換部、２３０４…第四直交変換部、２４０１…第一逆直交変換部、２４０２…第二逆直交変換部、２４０３…第三逆直交変換部、２４０４…第四逆直交変換部。

Claims (10)

1. コンピュータを、
   ある装置から送出され通信回線を介して一時記憶メモリに入力された、複数の予測方向の何れかに従った符号化処理により得られた符号化データを取得するデータ取得手段と、
   前記符号化データから変換係数を取得する取得手段と、
   前記複数の予測方向のそれぞれに対して予め定められたスキャン順のうち、対象ブロックの予測方向に対応するスキャン順に従って、前記変換係数を並び替える係数順制御手段と、
   前記対象ブロックに適用する処理モードを、予め定められた第１モードまたは第２モードに分類する分類手段と、
   前記処理モードが前記第１モードに分類された場合に、共通の第１変換基底を用い、前記並べ替えられた変換係数に第１の逆直交変換を施し予測誤差信号を得、前記処理モードが前記第２モードに分類された場合に、前記第１変換基底とは異なる１つの第２変換基底に基づいて、前記並べ替えられた変換係数に第２の逆直交変換を施し予測誤差信号を得る逆直交変換手段と、
   前記予測誤差信号を用いて復号画像信号を生成する復号画像信号生成手段として機能させるプログラムであって、
   前記逆直交変換手段は、
   前記第１の逆直交変換において、垂直方向の変換と水平方向の変換とに前記第１変換基底を用いた変換を適用し、前記第２の逆直交変換において、垂直方向の変換と水平方向の変換とに前記第２変換基底に基づいた変換を適用し、
   前記第１変換基底及び前記第２変換基底のうちの少なくとも１つを、インター予測により符号化された対象ブロックにより符号化された対象ブロックと、イントラ予測により符号化された対象ブロックにより符号化された対象ブロックと、の両方に適用し、
   輝度の対象ブロックと色差の対象ブロックとで異なる変換を適用する、
   動画像復号化プログラム。
2. コンピュータを、
   ある装置から送出され通信回線を介して一時記憶メモリに入力された、複数のイントラ予測モードの何れかに従った符号化処理により得られた符号化データを取得するデータ取得手段と、
   前記符号化データから変換係数を取得する取得手段と、
   前記複数のイントラ予測モードのそれぞれに対して予め定められたスキャン順のうち、対象ブロックのイントラ予測モードに対応するスキャン順に従って、前記変換係数を並び替える係数順制御手段と、
   前記対象ブロックに適用する処理モードを、予め定められた第１モードまたは第２モードに分類する分類手段と、
   前記処理モードが前記第１モードに分類された場合に、共通の第１変換基底を用い、前記並べ替えられた変換係数に第１の逆直交変換を施し予測誤差信号を得、前記処理モードが前記第２モードに分類された場合に、前記第１変換基底とは異なる１つの第２変換基底に基づいて、前記並べ替えられた変換係数に第２の逆直交変換を施し予測誤差信号を得る逆直交変換手段と、
   前記予測誤差信号を用いて復号画像信号を生成する復号画像信号生成手段として機能させるプログラムであって、
   前記逆直交変換手段は、
   前記第１の逆直交変換において、垂直方向の変換と水平方向の変換とに前記第１変換基底を用いた変換を適用し、前記第２の逆直交変換において、垂直方向の変換と水平方向の変換とに前記第２変換基底に基づいた変換を適用し、
   前記第１変換基底及び前記第２変換基底のうちの少なくとも１つを、インター予測により符号化された対象ブロックにより符号化された対象ブロックと、イントラ予測により符号化された対象ブロックにより符号化された対象ブロックと、の両方に適用し、
   輝度の対象ブロックと色差の対象ブロックとで異なる変換を適用する、
   動画像復号化プログラム。
3. コンピュータに所定動作を実行させるための第１のプログラム及び第２のプログラムであって、
   前記第１のプログラムは、請求項１のプログラムであり、
   前記第２のプログラムは、
   入力された映像信号に符号化処理を施して蓄積媒体に保存させるプログラムである、
   第１のプログラム及び第２のプログラム。
4. コンピュータに所定動作を実行させるための第１のプログラム及び第２のプログラムであって、
   前記第１のプログラムは、請求項２のプログラムであり、
   前記第２のプログラムは、
   入力された映像信号に符号化処理を施して蓄積媒体に保存させるプログラムである、
   第１のプログラム及び第２のプログラム。
5. 前記第２のプログラムは、
   請求項１に対応するエンコードプログラムである、
   請求項３または請求項４に記載の第１のプログラム及び第２のプログラム。
6. 前記第２のプログラムは、
   請求項２に対応するエンコードプログラムである、
   請求項３または請求項４に記載の第１のプログラム及び第２のプログラム。
7. 前記第２のプログラムの符号化処理は、入力した映像信号のブロックに対する予測処理により得られる予測誤差信号に直交変換処理を施して変換係数を得、ジグザグスキャンを用いて変換係数を並び換える処理を含む、
   請求項３または請求項４に記載の第１のプログラム及び第２のプログラム。
8. 前記第２のプログラムの符号化処理は、入力した映像信号のブロックに対する予測処理により得られる予測誤差信号に直交変換処理を施して変換係数を得、ジグザグスキャンを用いて変換係数を並び換える処理を含む、
   請求項３または請求項４に記載の第１のプログラム及び第２のプログラム。
9. コンピュータに所定動作を実行させるための第１のプログラム及び第２のプログラムであって、
   前記第１のプログラムは、請求項１のプログラムで、
   前記第２のプログラムは、
   入力された映像信号のブロックに対する予測処理により得られる予測誤差信号に直交変換処理を施して変換係数を得、ジグザグスキャンを用いて変換係数を並び換える処理を含む符号化処理により、入力映像信号を符号化する、
   第１のプログラム及び第２のプログラム。
10. コンピュータに所定動作を実行させるための第１のプログラム及び第２のプログラムであって、
    前記第１のプログラムは、請求項２のプログラムで、
    前記第２のプログラムは、
    入力された映像信号のブロックに対する予測処理により得られる予測誤差信号に直交変換処理を施して変換係数を得、ジグザグスキャンを用いて変換係数を並び換える処理を含む符号化処理により、入力映像信号を符号化する、
    第１のプログラム及び第２のプログラム。

Images