JP2013168913A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

【課題】コンテキスト値を算出する際の並列度を高めることができるようにする。
【解決手段】係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に係数パラメータのコンテキスト値を算出する並列コンテキスト値算出部６４を設け、サブブロック符号化部６６が、並列コンテキスト値算出部６４からスキャン順でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリ６５から上記コンテキスト値に対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを算術符号化する。
【選択図】図１

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

例えば、以下の非特許文献１に記載されている従来の動画像符号化装置では、入力された画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数を算術符号化することで高い圧縮率を達成している。

従来の動画像符号化装置では、変換係数の算術符号化において、変換ブロックのサイズが８×８サイズより大きい場合、例えば、図２１に示すように、変換ブロックを４×４サイズのサブブロックに分割し、次のように符号化を行う。
（１）図２１に示す斜めスキャン順にサブブロックを走査するとともに、斜めスキャン順にサブブロック内の変換係数を走査し、斜めスキャン順で最も後ろにある非零の変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）ＰｏｓＬａｓｔを含むサブブロックから逆斜めスキャン順（上記の斜めスキャンと逆順であり、図２２の矢印が示す順番）に、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術符号化する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（４）〜（８）の処理を行う。

（４）逆斜めスキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを算術符号化する。
（５）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術符号化する。
（６）逆斜めスキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術符号化する。
（７）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
（８）逆斜めスキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数については、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術符号化する。
（９）最後のサブブロックに至るまで（３）を繰り返し実施する。

ここで、significant＿coeff＿flagの算術符号化に用いる生起確率を格納する確率状態メモリ領域は、図２３に示すように、近傍の周波数成分位置における変換係数のsignificant＿coeff＿flagの値の合計値を加算した値であるコンテキスト値ctxIdx及び変換ブロックサイズの値に応じて切り替えるようにしている。
これにより、最適な生起確率に基づく算術符号化が実施されるため、圧縮効率が向上する。

具体的には、例えば、図２３（ｂ）で、斜線が施されているサブブロックでは、左上隅の周波数成分位置の変換係数と、右下隅の一つ上の周波数成分位置の変換係数においては、図２３（ａ）に示すように、当該周波数成分位置の１つ右側の周波数成分位置、２つ右側の周波数成分位置、右下側の周波数成分位置及び２つ下側の周波数成分位置における変換係数のsignificant＿coeff＿flagの値の合計値を加算し、その加算結果をコンテキスト値ctxIdxとしている。ただし、変換ブロック外を参照する場合には、参照された値は０であるとして動作する。

符号化ブロックの分割状況を示すブロック分割情報、動き情報などを含む他の符号化パラメータについても、生起確率を格納する確率状態メモリ領域を切り替えることにより、最適な生起確率に基づく算術符号化が実施される。
なお、各確率状態メモリ領域の初期値は、異なる複数種類の初期値テーブルのいずれかを用いて、スライスまたはピクチャの先頭で初期化される。

B. Bross，W.−J. Han，J.−R. Ohm，G. J. Sullivan and T. Wiegand，"WD5：Working Draft 5 of High−Efficiency Video Coding"，doc. JCTVC−G1103，Joint Collaborative Team on Video Coding（JCT−VC）of ITU−T SG16 WP3 and ISO／IEC JTC1／SC29／WG11，7th Meeting，2011

従来の動画像符号化装置は以上のように構成されているので、変換係数のコンテキスト値ctxIdxを算出する際、斜めに隣接している周波数成分位置における変換係数のsignificant＿coeff＿flagの値を互いに参照しない（例えば、図２３（ｃ）に示すサブブロック内の周波数成分位置７，８，９では、変換係数のsignificant＿coeff＿flagの値を互いに参照しない）ため、並列処理で算出することが可能である。
また、例えば、サブブロックの右下隅と１つ上側の周波数成分位置における変換係数のsignificant＿coeff＿flagの値を互いに参照しない（例えば、図２３（ｃ）に示すサブブロック内の周波数成分位置０，１では、変換係数のsignificant＿coeff＿flagの値を互いに参照しない）ため、並列処理で算出することが可能である。
しかしながら、サブブロック内の各周波数成分位置における変換係数のコンテキスト値ctxIdxをできる限り並列処理で算出するように構成しても、周波数成分位置の並列処理の組合せとしては、図２３（ｃ）に示すように、（０，１）、（２，３）、（４，５，６）、（７，８，９）、（１０，１１，１２）、（１３，１４）、（１５）のように最小でも７種類となり、２倍程度の並列度しか達成できない（同一グループ内の周波数成分位置における変換係数のコンテキスト値は並列に算出することができるが、或るグループにおいて、変換係数のコンテキスト値を算出している間は、他のグループにおける変換係数のコンテキスト値を算出することができない。このため、各グループ間では、変換係数のコンテキスト値をシーケンシャルに算出する必要があるため、２倍程度の並列度しか達成できない）という課題があった。

この発明は上記のような課題を解決するためになされたもので、サブブロック内の各周波数成分位置における変換係数のコンテキスト値を算出する際の並列度を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、可変長符号化手段が、画像圧縮手段から出力された圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン手段と、係数スキャン手段から出力された係数パラメータを参照して、その圧縮データ系列の中で、その変換係数のスキャン順で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化手段と、係数スキャン手段から出力された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出手段と、コンテキスト値に対応する生起確率を格納している生起確率格納用メモリと、コンテキスト値算出手段から上記スキャン順で上記最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを可変長符号化するとともに、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する第１の可変長符号化手段と、符号化制御手段により選択された符号化モードを含む符号化パラメータを可変長符号化する第２の可変長符号化手段とから構成されているようにしたものである。

この発明によれば、可変長符号化手段が、画像圧縮手段から出力された圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン手段と、係数スキャン手段から出力された係数パラメータを参照して、その圧縮データ系列の中で、その変換係数のスキャン順で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化手段と、係数スキャン手段から出力された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出手段と、コンテキスト値に対応する生起確率を格納している生起確率格納用メモリと、コンテキスト値算出手段から上記スキャン順で上記最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを可変長符号化するとともに、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する第１の可変長符号化手段と、符号化制御手段により選択された符号化モードを含む符号化パラメータを可変長符号化する第２の可変長符号化手段とから構成されているので、サブブロック内の各周波数成分位置における変換係数のコンテキスト値を算出する際の並列度を高めることができるようになり、処理速度の高速化を図ることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。 この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。 この発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置の可変長符号化部１３を示す構成図である。 図７の可変長符号化部１３における変換係数可変長符号化部５１を示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の可変長復号部４１を示す構成図である。 図１１の可変長復号部４１における変換係数可変長復号部７１を示す構成図である。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 符号化ブロックＢⁿに属するパーティションＰ_i ⁿを示す説明図である。 分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢⁿに属する各パーティションＰ_i ⁿにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_i ⁿ＝ｍ_i ⁿ＝４の場合において、パーティションＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 色差信号の予測ブロックと復号済輝度信号などを示す説明図である。 縮小輝度参照画素Ｒｅｃ’_Lの生成方法を示す説明図である。 １６×１６直交変換係数のスキャン順を示す説明図である。 スキャン順で最も後ろにある非零の変換係数の位置（ＰｏｓＬａｓｔ）を示す説明図である。 周波数成分位置の並列処理の組合せなどを示す説明図である。 コンテキスト値を算出する際の参照係数などを示す説明図である。 ｓｌｏｐｅｓのテーブルを示す説明図である。 イントラスライス用の初期化テーブル及び非イントラスライス用の初期化テーブルの一例を示す説明図である。 イントラスライス用の生起確率の初期値及び非イントラスライス用の生起確率の初期値の一例を示す説明図である。 確率状態及び２値化シンボルの値が１になる確率の一例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。

ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。

ここで、変換ブロックサイズは、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。

例えば、予測ブロックの形状が正方形である予測モードが、符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが、符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。

ブロック分割部２は入力画像（カレントピクチャ）を示す画像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。

動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。

変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データを可変長符号化するとともに、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化して、その圧縮データ及び符号化パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図３はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。

切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。

色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。

図４はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Lを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’_Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’_Lを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図６はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。

図７はこの発明の実施の形態１による動画像符号化装置の可変長符号化部１３を示す構成図である。
図７において、変換係数可変長符号化部５１は変換・量子化部７から出力された圧縮データを可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部５２は符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部５１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部５２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
なお、符号化パラメータ可変長符号化部５２は第２の可変長符号化手段を構成している。

図８は図７の可変長符号化部１３における変換係数可変長符号化部５１を示す構成図である。
図８において、変換ブロックスキャン部６１は変換・量子化部７から出力された圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータであるsignificant＿coeff＿flagを出力する処理を実施する。なお、変換ブロックスキャン部６１は係数スキャン手段を構成している。

ＰｏｓＬａｓｔ符号化部６２は変換ブロックスキャン部６１から出力された係数パラメータであるsignificant＿coeff＿flagを参照して、その圧縮データ系列の中で、スキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示すＰｏｓＬａｓｔ（最後位置情報）をサブブロック符号化部６６に出力するとともに、そのＰｏｓＬａｓｔを可変長符号化する処理を実施する。なお、ＰｏｓＬａｓｔ符号化部６２は最後位置情報符号化手段を構成している。
係数パラメータ格納用メモリ６３は変換ブロックスキャン部６１から出力された係数パラメータであるsignificant＿coeff＿flagを格納するＲＡＭなどの記録媒体である。

並列コンテキスト値算出部６４は係数パラメータ格納用メモリ６３により格納された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に係数パラメータのコンテキスト値ctxIdxを算出する処理を実施する。
なお、係数パラメータ格納用メモリ６３及び並列コンテキスト値算出部６４からコンテキスト値算出手段が構成されている。

生起確率格納用メモリ６５はコンテキスト値ctxIdxに対応する生起確率（算術符号化に用いる生起確率）を格納するＲＡＭなどの記録媒体である。
サブブロック符号化部６６は並列コンテキスト値算出部６４からスキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ６５から上記コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを算術符号化する処理を実施する。
また、サブブロック符号化部６６は、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する処理を実施する。この場合、生起確率格納用メモリ６５と異なる生起確率格納用メモリ（変換係数の絶対値等を算術符号化するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。
なお、サブブロック符号化部６６は第１の可変長符号化手段を構成している。

図９はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図９において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。

切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。

動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。

逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された画像信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。

加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図９では、動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１０はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

図１１はこの発明の実施の形態１による動画像復号装置の可変長復号部４１を示す構成図である。
図１１において、変換係数可変長復号部７１はビットストリームに多重化された符号化データから圧縮データである変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部７２はビットストリームに多重化された符号化データから符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。なお、符号化パラメータ可変長復号部７２は第２の可変長復号手段を構成している。

図１２は図１１の可変長復号部４１における変換係数可変長復号部７１を示す構成図である。
図１２において、ＰｏｓＬａｓｔ復号部８１はビットストリームに多重化された符号化データからＰｏｓＬａｓｔ（最後位置情報）を可変長復号する処理を実施する。なお、ＰｏｓＬａｓｔ復号部８１は最後位置情報復号手段を構成している。
係数パラメータ格納用メモリ８２はサブブロック復号部により可変長復号された係数パラメータを格納するＲＡＭなどの記録媒体である。

並列コンテキスト値算出部８３は係数パラメータ格納用メモリ８２により格納された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値ctxIdxを算出する処理を実施する。
なお、係数パラメータ格納用メモリ８２及び並列コンテキスト値算出部８３からコンテキスト値算出手段が構成されている。
生起確率格納用メモリ８４はコンテキスト値ctxIdxに対応する生起確率（算術復号に用いる生起確率）を格納するＲＡＭなどの記録媒体である。

サブブロック復号部８５は並列コンテキスト値算出部８３からＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ８４から上記コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいてビットストリームに多重化された符号化データから係数パラメータを算術復号する処理を実施する。
また、サブブロック復号部８５は、その係数パラメータが非零である旨を示していれば、ビットストリームに多重化された符号化データから、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する処理を実施する。この場合、生起確率格納用メモリ８４と異なる生起確率格納用メモリ（変換係数の絶対値等を算術復号するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。なお、サブブロック復号部８５は第１の可変長復号手段を構成している。
変換係数逆スキャン部８６はサブブロック復号部８５により算術復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を逆スキャンして圧縮データを生成する処理を実施する。なお、変換係数逆スキャン部８６は変換係数逆スキャン手段を構成している。

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行う。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。

時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。

ブロック分割部２は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図１３は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図１３の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ⁰であり、輝度成分で（Ｌ⁰，Ｍ⁰）のサイズを有している。
また、図１３の例では、最大サイズの符号化ブロックＢ⁰を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢⁿを得ている。

深さｎにおいては、符号化ブロックＢⁿはサイズ（Ｌⁿ，Ｍⁿ）の画像領域である。
ただし、ＬⁿとＭⁿは同じであってもよいし異なっていてもよいが、図１３の例ではＬⁿ＝Ｍⁿのケースを示している。
以降、符号化ブロックＢⁿのサイズは、符号化ブロックＢⁿの輝度成分におけるサイズ（Ｌⁿ，Ｍⁿ）と定義する。

ブロック分割部２では、４分木分割を行うため、常に（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌⁿ，Ｍⁿ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌⁿ／２，Ｍⁿ／２）である。
以降、第ｎ階層の符号化ブロックＢⁿで選択しうる符号化モードをｍ（Ｂⁿ）と表記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂⁿ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂⁿ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢⁿに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢⁿは、図１３に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢⁿに属するパーティションをＰ_i ⁿ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１４は符号化ブロックＢⁿに属するパーティションＰ_i ⁿを示す説明図である。
符号化ブロックＢⁿに属するパーティションＰ_i ⁿの分割がどのようになされているかは符号化モードｍ（Ｂⁿ）の中に情報として含まれる。
パーティションＰ_i ⁿは、すべて符号化モードｍ（Ｂⁿ）に従って予測処理が行われるが、パーティションＰ_i ⁿ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１５に示すようなブロック分割状態を生成して、符号化ブロックＢⁿを特定する。
図１５（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１５（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示している。
図１５（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂⁿ）が割り当てられたノード（符号化ブロックＢⁿ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。

切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂⁿ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢⁿに属するパーティションＰ_i ⁿをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂⁿ）∈ＩＮＴＥＲ）、その符号化ブロックＢⁿに属するパーティションＰ_i ⁿを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢⁿに属するパーティションＰ_i ⁿを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰ_i ⁿに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_i ⁿ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐ_i ⁿはパーティションを示し、（Ｐ_i ⁿ）はパーティションＰ_i ⁿの予測画像を示すものとする。

イントラ予測画像（Ｐ_i ⁿ）の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像（Ｐ_i ⁿ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢⁿに属するパーティションＰ_i ⁿを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰ_i ⁿに対するインター予測処理を実施することにより、インター予測画像（Ｐ_i ⁿ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_i ⁿ）を生成する。
インター予測画像（Ｐ_i ⁿ）の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像（Ｐ_i ⁿ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。

減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐ_i ⁿ）を受けると、ブロック分割部２により分割された符号化ブロックＢⁿに属するパーティションＰ_i ⁿから、その予測画像（Ｐ_i ⁿ）を減算することで、その差分画像を示す予測差分信号ｅ_i ⁿを生成する（ステップＳＴ７）。

変換・量子化部７は、減算部６が予測差分信号ｅ_i ⁿを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅ_i ⁿに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅ_i ⁿの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅ_i ⁿを生成すると、予測差分信号ｅ_i ⁿに対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐ_i ⁿ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。

ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。

ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢⁿに属するパーティションＰ_i ⁿに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３の処理内容の詳細は後述する。

次に、イントラ予測部４の処理内容を具体的に説明する。
図１６は符号化ブロックＢⁿに属する各パーティションＰ_i ⁿにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１６の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰ_i ⁿの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰ_i ⁿのサイズをｌ_i ⁿ×ｍ_i ⁿ画素とする。

図１７はｌ_i ⁿ＝ｍ_i ⁿ＝４の場合において、パーティションＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１７の例では、パーティションＰ_i ⁿに隣接している符号化済みの上パーティションの画素（（２×ｌ_i ⁿ＋１）個の画素）と、左パーティションの画素（（２×ｍ_i ⁿ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１７に示す画素より多くても少なくてもよい。
また、図１７の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。

輝度信号イントラ予測部２１は、例えば、パーティションＰ_i ⁿに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_i ⁿ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_p＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_i ⁿ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰ_i ⁿ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

ただし、ｋは正のスカラ値である。

参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１７の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

輝度信号イントラ予測部２１は、同様の手順で、パーティションＰ_i ⁿ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_i ⁿ）を出力する。
イントラ予測画像（Ｐ_i ⁿ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。

イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。

ここで、図１８は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１８の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。

色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰ_i ⁿに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。

輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰ_i ⁿに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰ_i ⁿ内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰ_i ⁿのイントラ予測画像（Ｐ_i ⁿ）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。

輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰ_i ⁿを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰ_i ⁿのイントラ予測画像（Ｐ_i ⁿ）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Lを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１９に示すように、パーティションＰ_i ⁿ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Lを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’_Lは、図２０に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素Ｒｅｃ_Lに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。

輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’_Lを生成すると、その縮小輝度参照画素Ｒｅｃ’_Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Cとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。

式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。

色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’_Lを用いて、下記の式（３）に示すように、色差予測画像Ｐｒｅｄ_Cを生成する（ステップＳＴ３３）。

なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。

可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。

以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図７に示すように、変換係数可変長符号化部５１及び符号化パラメータ可変長符号化部５２から構成されており、符号化パラメータ可変長符号化部５２は、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ、動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する。
また、変換係数可変長符号化部５１は、変換・量子化部７から出力された圧縮データを可変長符号化する。

即ち、変換係数可変長符号化部５１の変換ブロックスキャン部６１は、変換・量子化部７から圧縮データを受けると、その圧縮データである変換係数をサブブロックに分割し、図２１に示す斜めスキャン順に、各々のサブブロックの変換係数を整列することで圧縮データ系列を生成し、その圧縮データ系列をサブブロック符号化部６６に出力する。
また、変換ブロックスキャン部６１は、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータであるsignificant＿coeff＿flagをＰｏｓＬａｓｔ符号化部６２に出力するとともに、significant＿coeff＿flagを係数パラメータ格納用メモリ６３に格納する。

ＰｏｓＬａｓｔ符号化部６２は、変換ブロックスキャン部６１から係数パラメータであるsignificant＿coeff＿flagを受けると、significant＿coeff＿flagを参照して、その圧縮データ系列の中で、スキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示すＰｏｓＬａｓｔをサブブロック符号化部６６に出力する。
また、ＰｏｓＬａｓｔ符号化部６２は、その変換係数の位置を示すＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹとを算術符号化し、その符号化結果をＰｏｓＬａｓｔ符号化データとして出力する。

並列コンテキスト値算出部６４は、係数パラメータ格納用メモリ６３により格納された係数パラメータであるsignificant＿coeff＿flagをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に係数パラメータのコンテキスト値ctxIdxを算出する。
即ち、並列コンテキスト値算出部６４は、係数パラメータであるsignificant＿coeff＿flagの算術符号化に用いる生起確率に対応するコンテキスト値ctxIdxを、図２４に示すように、周波数成分位置毎に、近傍のsignificant＿coeff＿flagが互いに参照しないような形状で、近傍周波数成分位置のsignificant＿coeff＿flagの値の合計値を加算することによって算出する。
図２４の例では、係数パラメータであるsignificant＿coeff＿flagをサブブロック内の周波数成分の位置の組合せとして、４つのグループ（（０，１，２，３）、（４，５，６，７）、（８，９，１０，１１）、（１２，１３，１４，１５）のグループ）に分類し、グループ内における他の周波数成分位置のsignificant＿coeff＿flagを参照することなく、グループ単位で、各グループ内の４つのコンテキスト値を並列に算出する。この場合、４倍の並列度でコンテキスト値ctxIdxの算出処理を実現することができる。

例えば、グループ（０，１，２，３）の場合、周波数成分位置０、周波数成分位置１、周波数成分位置２、周波数成分位置３のコンテキスト値ctxIdxを並列に算出することができ、グループ（４，５，６，７）の場合、周波数成分位置４、周波数成分位置５、周波数成分位置６、周波数成分位置７のコンテキスト値ctxIdxを並列に算出することができる。
なお、図２４の場合には、例えば、周波数成分位置０のコンテキスト値ctxIdxは、Ａに示す位置のsignificant＿coeff＿flagを参照して、コンテキスト値ctxIdxを算出し、周波数成分位置１のコンテキスト値ctxIdxは、Ｂに示す位置のsignificant＿coeff＿flagを参照して、コンテキスト値ctxIdxを算出し、周波数成分位置２のコンテキスト値ctxIdxは、Ｃに示す位置のsignificant＿coeff＿flagを参照して、コンテキスト値ctxIdxを算出する。
また、周波数成分位置３のコンテキスト値ctxIdxは、Ｄに示す位置のsignificant＿coeff＿flagを参照して、コンテキスト値ctxIdxを算出する。

サブブロック符号化部６６は、並列コンテキスト値算出部６４が係数パラメータのコンテキスト値ctxIdxを算出すると、並列コンテキスト値算出部６４からスキャン順（変換ブロックスキャン部６１による変換係数のスキャン順）でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ６５から上記コンテキスト値ctxIdxに対応する生起確率を取得する。
サブブロック符号化部６６は、生起確率格納用メモリ６５からコンテキスト値ctxIdxに対応する生起確率を取得すると、その生起確率に基づいて、その係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）であるsignificant＿coeff＿flagを算術符号化する。
また、サブブロック符号化部６６は、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。
この場合、生起確率格納用メモリ６５と異なる生起確率格納用メモリ（変換係数の絶対値等を算術符号化するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する。

以下、サブブロック符号化部６６の処理内容を具体的に説明する。
サブブロック符号化部６６は、例えば、図２１に示すように、４×４サイズのサブブロック単位に、サブブロックの変換係数を次にように算術符号化する。

（１）図２１に示す斜めスキャンと逆順である逆斜めスキャン順（図２２に例示）に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術符号化する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（２）〜（６）の処理を行う。
（２）逆斜めスキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを、並列コンテキスト値算出部６４により算出されたコンテキスト値ctxIdxに対応する生起確率（生起確率格納用メモリ６５により格納されている生起確率のうち、当該コンテキスト値ctxIdxによって指定されるメモリ領域に格納されている生起確率）に基づいて算術符号化する。

（３）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術符号化する。
（４）逆斜めスキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術符号化する。
（５）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の正負の符号を示すcoeff＿sign＿flagを算術符号化する。
（６）逆斜めスキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数については、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術符号化する。

ここでは、変換係数可変長符号化部５１が、圧縮データである変換係数を最適な生起確率に基づいて算術符号化を行うものを示したが、符号化パラメータ可変長符号化部５２が、生起確率を格納する生起確率格納用メモリ領域を切り替えることで、符号化パラメータ（符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又インター予測パラメータ、動き情報、ブロック分割情報など）についても、最適な生起確率に基づいて算術符号化を行うように構成してもよい。

なお、各生起確率格納用メモリ領域の初期値は、異なる複数種類の初期値テーブルのいずれかを用いて、スライスまたはピクチャの先頭で初期化されるように構成する。
具体的には、例えば、各生起確率格納用メモリ領域の初期値を算出するためのパラメータInitValueをテーブルとして保持し、量子化パラメータｑｐの値に応じた変化率ｍを、パラメータInitValを４ビット右シフトした値をインデックスとして、図２５記載のｓｌｏｐｅｓのテーブルから得る。また、量子化パラメータに依存しない加算値ｎをパラメータInitValのＬＳＢ側４ビットの値として得る。即ち、以下の式によってパラメータInitValue、図２５記載のｓｌｏｐｅｓのテーブルからｍ値とｎ値を得る。
m ＝ slopes［initValue〉〉4］
n ＝ initValue & 15；
そして、量子化パラメータｑｐ、変化率ｍ、加算値ｎ、および図２５記載のsegOffset及びaccumulatedSegOffsetのテーブルを用いて、以下の手順で生起確率の状態を表す確率状態ucStateを得るように構成してもよい。
val ＝ max（ 0, min（ 3839, （n〈〈8） ＋ m * （qp−26） ＋ 128 ） ）−1920
valMps ＝ val 〉＝ 0
segmentIdx ＝ （（ val ＾ （val〉〉11） ） ＋ 128） 〉〉 8
ucState ＝ （（accumulatedSegOffset［segmentIdx］ ＋ （ （val&255） * segOffset［segmentIdx］ 〉〉 8））〈〈1） ＋ valMps
したがって、異なる複数種類のパラメータInitValueの組み合わせを初期値テーブルとして保持し、そのいずれかを用いて、スライスまたはピクチャの先頭で初期化されるように構成する。動画像符号化装置における可変長符号化部１３は、スライスヘッダあるいはピクチャヘッダにいずれの初期値テーブルを用いたかを示す初期値テーブル番号を可変長符号化して多重化する。動画像復号装置における可変長復号部４１は、前記初期値テーブル番号を可変長復号することによって、動画像符号化装置と同じ初期値で生起確率を初期化することができる。

あるいは、スライスまたはピクチャの符号化終了時点で、生起確率をすべて生起確率保存メモリに格納し、次に同じタイプのスライスまたはピクチャを符号化する際に、上記生起確率保存メモリに格納された生起確率を初期値として用いるように構成してもよい。
このようにすれば、スライスまたはピクチャ符号化時に最適な確率に更新された生起確率を初期値として適用することができるため、圧縮効率を向上させることができる。
また、生起確率保存メモリに格納された生起確率を初期値として使うか否かを示す確率引継ぎフラグを上位ヘッダでシグナリングするように構成してもよい。
このように構成すれば、更新された生起確率が、処理対象のスライスまたはピクチャに適している場合には、上記確率引継ぎフラグをＯＮにして、上記生起確率保存メモリに格納された生起確率を初期値として適用し、更新された生起確率が、処理対象のスライスまたはピクチャに適していない場合には、上記確率引継ぎフラグをＯＦＦにして、予め設定された初期値テーブルを用いることにより、より適切に生起確率の初期値を設定することができ、符号化効率を向上させることができる。

また、異なる初期値テーブルのいずれかを用いて、各生起確率格納用メモリ領域の初期値を、スライスまたはピクチャの先頭で初期化する構成に限るものではなく、例えば、初期値テーブルに格納された初期値から算出される変化率ｍに対して、重みパラメータｗとオフセット値ｃを用いて修正された変化率ｍ’を用いるように構成してもよい。即ち、例えば
m’＝ c＋（m・w）〉〉7
によって表されるように変化率ｍに修正を加えるように構成してもよい。また、この初期値の修正は全ての初期値ではなく、予め選択された符号化効率に影響が大きい一部分の初期値に対してだけ実施し、その他の初期値については、修正を施さないように構成してもよい。

重みパラメータｗとオフセット値ｃは、スライスまたはピクチャヘッダに多重化することにより、復号側では、重みパラメータｗとオフセット値ｃを復号することができ、適切な初期値の生起確率で算術符号化や算術復号を行うことができる。
このように構成すれば、生起確率をすべて記憶するためのメモリを持たなくても、画像の状態に合わせて適切な初期値を設定することができるため、少ないメモリ量で符号化効率を向上させることができる。
同様に、動画像符号化装置では、予め選択された符号化効率に影響が大きい一部分の初期値については、確率状態Stateの値そのものを確率状態初期値として、スライスまたはピクチャヘッダにて可変長符号化し、動画像復号装置では、前記確率状態初期値として可変長復号するように構成してもよい。このようにしても同様に生起確率をすべて記憶するためのメモリを持たなくても、画像の状態に合わせて適切な初期値を設定することができるため、少ないメモリ量で符号化効率を向上させることができる。

次に、図９の動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１０のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１の動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。

例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。

可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢⁿに属するパーティションＰ_i ⁿの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰ_i ⁿに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰ_i ⁿに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。

例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。

なお、可変長復号部４１は、図１１に示すように、変換係数可変長復号部７１と符号化パラメータ可変長復号部７２から構成されており、変換係数可変長復号部７１は、ビットストリームに多重化された符号化データから圧縮データである変換係数を可変長復号し、符号化パラメータ可変長復号部７２は、ビットストリームに多重化された符号化データから符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号するものであるが、変換係数可変長復号部７１の処理内容の詳細は後述する。

切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢⁿに属するパーティションＰ_i ⁿの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。

イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰ_i ⁿに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_i ⁿ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰ_i ⁿに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_i ⁿ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_p＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_i ⁿ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰ_i ⁿ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_i ⁿ）を出力する。

動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰ_i ⁿに対するインター予測処理を実施することにより、インター予測画像（Ｐ_i ⁿ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰ_i ⁿに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_i ⁿ）を生成する。

逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。

加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐ_i ⁿ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。

ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減
することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので
、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理
するよう構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢⁿに属するパーティションＰ_i ⁿに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。

以下、可変長復号部４１における変換係数可変長復号部７１の処理内容を具体的に説明する。
ＰｏｓＬａｓｔ復号部８１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されたＰｏｓＬａｓｔ符号化データ（ＰｏｓＬａｓｔ符号化部６２により可変長符号化された符号化データ）を算術復号して、ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹとを得ることにより、圧縮データ系列のスキャン順で最後の非零係数の位置を示すＰｏｓＬａｓｔを算出し、ＰｏｓＬａｓｔをサブブロック復号部８５に出力する。

並列コンテキスト値算出部８３は、動画像符号化装置の並列コンテキスト値算出部６４と同様に、係数パラメータ格納用メモリ８２により格納された復号済みの係数パラメータであるsignificant＿coeff＿flagをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値ctxIdxを算出する。
即ち、並列コンテキスト値算出部８３は、係数パラメータであるsignificant＿coeff＿flagの算術復号に用いる生起確率に対応するコンテキスト値ctxIdxを、図２４に示すように、周波数成分位置毎に、近傍のsignificant＿coeff＿flagが互いに参照しないような形状で、近傍周波数成分位置のsignificant＿coeff＿flagの値の合計値を加算することによって算出する。
図２４の例では、係数パラメータであるsignificant＿coeff＿flagをサブブロック内の周波数成分の位置の組合せとして、４つのグループ（（０，１，２，３）、（４，５，６，７）、（８，９，１０，１１）、（１２，１３，１４，１５）のグループ）に分類し、グループ内における他の周波数成分位置のsignificant＿coeff＿flagを参照することなく、グループ単位で、各グループ内の４つのコンテキスト値を並列に算出する。この場合、４倍の並列度でコンテキスト値ctxIdxの算出処理を実現することができる。

サブブロック復号部８５は、並列コンテキスト値算出部８３が係数パラメータのコンテキスト値ctxIdxを算出すると、並列コンテキスト値算出部８３から、ＰｏｓＬａｓｔ復号部８１より出力されたＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータ（ＰｏｓＬａｓｔが示す位置にある係数パラメータと、ＰｏｓＬａｓｔが示す位置より前にある係数パラメータ）のコンテキスト値ctxIdxを取得して、生起確率格納用メモリ８４から上記コンテキスト値ctxIdxに対応する生起確率を取得する。
サブブロック復号部８５は、生起確率格納用メモリ８４からコンテキスト値ctxIdxに対応する生起確率を取得すると、その生起確率に基づいてビットストリームに多重化された符号化データ（サブブロック符号化部６６により算術符号化された符号化データ）から係数パラメータを算術復号する。
また、サブブロック復号部８５は、その係数パラメータが非零である旨を示していれば、ビットストリームに多重化された符号化データから、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。
この場合、生起確率格納用メモリ８４と異なる生起確率格納用メモリ（変換係数の絶対値等を算術復号するために、コンテキスト値ctxIdxに対応する生起確率を格納しているメモリ）から、コンテキスト値ctxIdxに対応する生起確率を取得し、その生起確率に基づいて、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術復号する。

以下、サブブロック復号部８５の処理内容を具体的に説明する。
サブブロック復号部８５は、例えば、図２１に示すように、４×４サイズのサブブロック単位に、ビットストリームに多重化された符号化データを算術復号する。

（１）図２１に示す斜めスキャンと逆順である逆斜めスキャン順（図２２に例示）に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の変換係数が含まれている旨を示している場合、以下の（２）〜（６）の処理を行う。
（２）逆斜めスキャン順に、当該サブブロック内の変換係数（各周波数成分の位置にある変換係数）が非零であるか否かを示すsignificant＿coeff＿flagを、並列コンテキスト値算出部８３により算出されたコンテキスト値ctxIdxに対応する生起確率（生起確率格納用メモリ８４により格納されている生起確率のうち、当該コンテキスト値ctxIdxによって指定されるメモリ領域に格納されている生起確率）に基づいて算術復号する。

（３）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が１より大きいか否かを示すcoeff＿abs＿level＿greater1＿flagを算術復号する。
coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の変換係数の絶対値として１を出力する。
（４）スキャン順に、coeff＿abs＿level＿greater1＿flagが、変換係数の絶対値が１より大きい旨を示している周波数成分位置の変換係数については、その変換係数の絶対値が２より大きいか否かを示すcoeff＿abs＿level＿greater2＿flagを算術復号する。
coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の変換係数の絶対値として２を出力する。

（５）逆斜めスキャン順に、significant＿coeff＿flagが非零である旨を示している周波数成分位置の変換係数については、その変換係数の正負の符号を示すcoeff＿sign＿flagを算術復号し、当該周波数成分位置の変換係数の絶対値に対する正負の符号を決定する。
（６）逆斜めスキャン順に、coeff＿abs＿level＿greater2＿flagが、変換係数の絶対値が２より大きい旨を示している周波数成分位置の変換係数については、変換係数の絶対値から３を減じた値であるcoeff＿abs＿level＿minus3を算術復号する。
当該周波数成分位置の変換係数の絶対値をcoeff＿abs＿level＿minus3の値に３を加えた値とし、coeff＿sign＿flagにより当該周波数成分位置の変換係数の絶対値に対する正負の符号を決定する。

変換係数逆スキャン部８６は、処理対象となる変換ブロックにおいて、サブブロック復号部８５により算術復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を図２２に示す逆スキャン順に整列して圧縮データを生成し、その圧縮データを出力する。

ここでは、変換係数可変長復号部７１が、圧縮データである変換係数を最適な生起確率に基づいて算術復号を行うものを示したが、符号化パラメータ可変長復号部７２が、生起確率を格納する生起確率格納用メモリ領域を切り替えることで、符号化パラメータ（符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又インター予測パラメータ、動き情報、ブロック分割情報など）についても、最適な生起確率に基づいて算術復号を行うように構成してもよい。
なお、各確率状態メモリ領域の初期値は、異なる複数種類の初期値テーブルのいずれかを用いて、スライスまたはピクチャの先頭で初期化される。

以上で明らかなように、この実施の形態１によれば、可変長符号化部１３が、変換・量子化部７から出力された圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する変換ブロックスキャン部６１と、変換ブロックスキャン部６１から出力された係数パラメータを参照して、その圧縮データ系列の中で、その変換係数のスキャン順で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示すＰｏｓＬａｓｔを可変長符号化するＰｏｓＬａｓｔ符号化部６２と、変換ブロックスキャン部６１から出力された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出する並列コンテキスト値算出部６４と、コンテキスト値に対応する生起確率を格納している生起確率格納用メモリ６５と、並列コンテキスト値算出部６４から上記スキャン順でＰｏｓＬａｓｔが示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリ６５から上記コンテキスト値に対応する生起確率を取得し、その生起確率に基づいて上記係数パラメータを算術符号化するとともに、その係数パラメータが非零である旨を示していれば、その係数パラメータに係る変換係数の絶対値及び正負の符号を算術符号化する変換係数可変長符号化部５１と、符号化制御部１により選択された符号化モードを含む符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部５２とから構成されているので、サブブロック内の各周波数成分位置における変換係数のコンテキスト値を算出する際の並列度を高めることができるようになり、処理速度の高速化を図ることができる効果を奏する。

実施の形態２．
上記実施の形態１の動画像符号化装置及び動画像復号装置では、生起確率格納用メモリ６５，８４が格納しているコンテキスト値ctxIdxに対応する生起確率（算術符号化に用いる生起確率）の初期値として、異なる複数種類の初期化テーブルのいずれかを用いて、スライスまたはピクチャの先頭で初期化されるものを示したが、この実施の形態２の動画像符号化装置及び動画像復号装置では、以下のようにして、初期化を行うものとする。

動画像符号化装置は、可変長符号化部１３が、予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備えている。
また、動画像復号装置は、可変長復号部４１が、予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備えている。

動画像符号化装置の可変長符号化部１３は、イントラスライスを符号化する際には、イントラスライス用の初期化テーブルを用いて、変換・量子化部７から出力された圧縮データである変換係数の可変長符号化に用いる生起確率の初期値（生起確率格納用メモリ６５に格納される初期値）を初期化する。
一方、非イントラスライスを符号化する際には、イントラスライス用の初期化テーブル又は非イントラスライス用の初期化テーブルを用いて、変換・量子化部７から出力された圧縮データである変換係数の可変長符号化に用いる生起確率の初期値（生起確率格納用メモリ６５に格納される初期値）を初期化する。

例えば、シーンチェンジが検出された場合、あるいは、処理対象のスライスの直前の非イントラスライスにおいて、イントラ予測モードを適用する符号化ブロックの割合が予め設定された閾値以上である場合、処理対象のスライスが非イントラスライスであれば、スライス内にイントラ予測モードを適用する符号化ブロックが多数発生することが想定されるため、イントラスライス用の初期化テーブルを用いる。それ以外の場合には、非イントラスライス用の初期化テーブルを用いる。
これにより、イントラ予測モードを適用するブロックが多数発生するスライスでは、イントラスライス用の初期化テーブルで生起確率格納用メモリ６５の初期値を初期化することができる一方、イントラ予測モードを適用するブロックが多数発生しないスライスでは、非イントラスライス用の初期化テーブルで生起確率格納用メモリ６５の初期値を初期化することができるため、効率よく符号化することができる。

動画像符号化装置の可変長符号化部１３は、非イントラスライスを符号化する際には、イントラスライス用の初期化テーブル又は非イントラスライス用の初期化テーブルのどちらを用いているかを示すフラグcabac＿init＿flagを可変長符号化して、そのフラグcabac＿init＿flagの符号化データをビットストリームに多重化する。
例えば、イントラスライス用の初期化テーブルを用いて、生起確率格納用メモリ６５の初期値を初期化する場合、cabac＿init＿flag＝0とし、非イントラスライス用の初期化テーブルを用いて、生起確率格納用メモリ６５の初期値を初期化する場合、cabac＿init＿flag＝1とする。
ただし、cabac＿init＿flagの値をどの初期化テーブルに割り当てるかは、本質的な課題ではないため、いかなる組み合わせであってもよい。

動画像復号装置の可変長復号部４１は、フレーム内符号化を行うイントラスライスを復号する際には、イントラスライス用の初期化テーブルを用いて、圧縮データである変換係数の可変長復号に用いる生起確率の初期値（生起確率格納用メモリ８４に格納される初期値）を初期化する。
一方、非イントラスライスを復号する際には、ビットストリームに多重化された符号化データからフラグcabac＿init＿flagを可変長復号する。
このときcabac＿init＿flag＝0であれば、イントラスライス用の初期化テーブルを用いて、生起確率格納用メモリ８４の初期値を初期化し、cabac＿init＿flag＝1であれば、非イントラスライス用の初期化テーブルを用いて、生起確率格納用メモリ８４の初期値を初期化する。
これにより、動画像符号化装置で符号化された符号化データを好適に復号することができる。

以下、生起確率格納用メモリ６５，８４の初期値の初期化を具体的に説明する。
可変長符号化部１３及び可変長復号部４１は、例えば、生起確率格納用メモリ６５，８４の初期値を算出するためのパラメータInitValueをテーブルとして保持している。
可変長符号化部１３及び可変長復号部４１は、下記の式に示すように、パラメータInitValueに基づいて、スライスの先頭での量子化パラメータ値qpに応じた変化率mを算出する。
また、下記の式に示すように、パラメータInitValueに基づいて、量子化パラメータ値qpに依存しない加算値nを算出する。
m ＝ （initValue〉〉4） * 5 − 45
n ＝ （（initValue&15）〈〈3） − 16

可変長符号化部１３及び可変長復号部４１は、変化率m及び加算値nを算出すると、その変化率m及び加算値nを用いて、以下の手順で生起確率の状態を表す確率状態ucStateを算出する。
val ＝ Clip3（ 1, 126, （（m * Clip3（0, 51, qp）） 〉〉 4 ） ＋ n ）
valMps ＝ （val 〈＝ 63 ） ？ 0 ： 1
ucState ＝ valMps ？ （ val − 64 ） ： （ 63 − val ）

可変長符号化部１３及び可変長復号部４１では、異なる複数種類のパラメータInitValueの組み合わせを初期化テーブルとして保持し、いずれかの初期化テーブルを用いて、スライスまたはピクチャの先頭で初期化されるように構成する。
可変長符号化部１３では、スライスヘッダあるいはピクチャヘッダに、いずれの初期化テーブルを用いたかを示す初期化テーブル番号を可変長符号化して多重化する。可変長復号部４１では、スライスヘッダあるいはピクチャヘッダに多重化されている初期化テーブル番号を可変長復号することによって、動画像符号化装置と同じ初期値で生起確率を初期化することができる。

一例としては、図２６に示すように、直交変換係数の絶対値の先頭から４ビット分のイントラスライス用の初期化テーブル及び非イントラスライス用の初期化テーブルを保持するよう構成する。
例えば、量子化パラメータ値qpが３２の場合、生起確率格納用メモリ６５，８４の初期値は図２７のようになる。
例えば、図２８に示すように、符号化対象となる２値化シンボルの値が１になる確率が、確率状態ucStateの値が小さいほど、高くなるよう構成されているとすると、イントラスライス用の初期化テーブルでは、非イントラスライス用の初期化テーブルと比べて、１になる確率が高くなる。

通常、イントラスライスでは、予測が当り難く、非イントラスライスと比べて、直交変換係数が０でない確率が高くなる傾向があるため、直交変換係数の先頭の２値化シンボルは０でない確率が高くなる。
従って、このように初期化テーブルを構成し、０でない直交変換係数の発生確率に応じて、イントラスライス用の初期化テーブルと、非イントラスライス用の初期化テーブルとを切り替えることによって、効率よく符号化することができる。また、いずれの初期化テーブルを適用したかをシグナリングすることにより、動画像復号装置側でも好適に復号することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 輝度信号イントラ予測部、２２ 切替スイッチ、２３ 色差信号方向性イントラ予測部、２４ 輝度相関利用色差信号予測部、３１ 平滑化輝度参照画素縮小部、３２ 相関算出部、３３ 色差予測画像生成部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ、５１ 変換係数可変長符号化部、５２ 符号化パラメータ可変長符号化部（第２の可変長符号化手段）、６１ 変換ブロックスキャン部（係数スキャン手段）、６２ ＰｏｓＬａｓｔ符号化部（最後位置情報符号化手段）、６３ 係数パラメータ格納用メモリ（コンテキスト値算出手段）、６４ 並列コンテキスト値算出部（コンテキスト値算出手段）、６５ 生起確率格納用メモリ、６６ サブブロック符号化部（第１の可変長符号化手段）、７１ 変換係数可変長復号部、７２ 符号化パラメータ可変長復号部（第２の可変長復号手段）、８１ ＰｏｓＬａｓｔ復号部（最後位置情報復号手段）、８２ 係数パラメータ格納用メモリ（コンテキスト値算出手段）、８３ 並列コンテキスト値算出部（コンテキスト値算出手段）、８４ 生起確率格納用メモリ、８５ サブブロック復号部（第１の可変長復号手段）、８６ 変換係数逆スキャン部（変換係数逆スキャン手段）。

Claims (12)

1. 入力画像の圧縮データを可変長符号化して、上記圧縮データの符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、
   上記可変長符号化手段は、上記圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン手段と、上記係数スキャン手段から出力された係数パラメータを参照して、上記圧縮データ系列の中で、その変換係数のスキャン順で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化手段と、上記係数スキャン手段から出力された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出手段と、コンテキスト値に対応する生起確率を格納している生起確率格納用メモリと、上記コンテキスト値算出手段から上記スキャン順で上記最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、上記生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、上記生起確率に基づいて上記係数パラメータを可変長符号化するとともに、上記係数パラメータが非零である旨を示していれば、上記係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する第１の可変長符号化手段と、上記符号化制御手段により選択された符号化モードを含む符号化パラメータを可変長符号化する第２の可変長符号化手段とから構成されていることを特徴とする動画像符号化装置。
2. 入力画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮手段とを備え、
   可変長符号化手段は、上記画像圧縮手段から出力された圧縮データを可変長符号化するとともに、上記符号化制御手段により選択された符号化モードを含む符号化パラメータを可変長符号化して、上記圧縮データ及び上記符号化パラメータの符号化データが多重化されたビットストリームを生成することを特徴とする請求項１記載の動画像符号化装置。
3. ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号する可変長復号手段を備え、
   上記可変長復号手段は、上記ビットストリームに多重化された符号化データから最後位置情報を可変長復号する最後位置情報復号手段と、サブブロックの変換係数が非零であるか否かを示す復号済みの係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出手段と、コンテキスト値に対応する生起確率を格納している生起確率格納用メモリと、上記コンテキスト値算出手段から上記最後位置情報復号手段により可変長復号された最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、上記生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、上記生起確率に基づいて上記ビットストリームに多重化された符号化データから係数パラメータを可変長復号するとともに、上記係数パラメータが非零である旨を示していれば、上記ビットストリームに多重化された符号化データから上記係数パラメータに係る変換係数の絶対値及び正負の符号を可変長復号する第１の可変長復号手段と、上記第１の可変長復号手段により可変長復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を逆スキャンして圧縮データを生成する変換係数逆スキャン手段と、上記ビットストリームに多重化された符号化データから符号化モードを含む符号化パラメータを可変長復号する第２の可変長復号手段とから構成されていることを特徴とする動画像復号装置。
4. 可変長復号手段は、ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号するとともに、符号化モードを含む符号化パラメータを可変長復号し、
   上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えていることを特徴とする請求項３記載の動画像復号装置。
5. 可変長符号化手段が、入力画像の圧縮データを可変長符号化して、上記圧縮データの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップを備え、
   上記可変長符号化処理ステップは、上記圧縮データである変換係数をサブブロックに分割し、各々のサブブロックの変換係数をスキャンして圧縮データ系列を生成するとともに、各々のサブブロックの変換係数が非零であるか否かを示す係数パラメータを出力する係数スキャン処理ステップと、上記係数スキャン処理ステップで出力された係数パラメータを参照して、上記圧縮データ系列の中で、その変換係数のスキャン順で最も後ろにある非零の変換係数を特定し、その変換係数の位置を示す最後位置情報を可変長符号化する最後位置情報符号化処理ステップと、上記係数スキャン処理ステップで出力された係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出処理ステップと、上記コンテキスト値算出処理ステップで算出されたコンテキスト値の中から、上記スキャン順で上記最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、上記生起確率に基づいて上記係数パラメータを可変長符号化するとともに、上記係数パラメータが非零である旨を示していれば、上記係数パラメータに係る変換係数の絶対値及び正負の符号を可変長符号化する第１の可変長符号化処理ステップと、上記符号化制御処理ステップで選択された符号化モードを含む符号化パラメータを可変長符号化する第２の可変長符号化処理ステップとから構成されていることを特徴とする動画像符号化方法。
6. 可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号する可変長復号処理ステップを備え、
   上記可変長復号処理ステップは、上記ビットストリームに多重化された符号化データから最後位置情報を可変長復号する最後位置情報復号処理ステップと、サブブロックの変換係数が非零であるか否かを示す復号済みの係数パラメータをサブブロック内の周波数成分の位置の組み合わせに応じてグループ分けし、グループ単位で並列に上記係数パラメータのコンテキスト値を算出するコンテキスト値算出処理ステップと、コンテキスト値算出処理ステップで算出されたコンテキスト値の中から、スキャン順で上記最後位置情報が示す位置より後ろにある係数パラメータ以外の係数パラメータのコンテキスト値を取得して、生起確率格納用メモリから上記コンテキスト値に対応する生起確率を取得し、上記生起確率に基づいて上記ビットストリームに多重化された符号化データから係数パラメータを可変長復号するとともに、上記係数パラメータが非零である旨を示していれば、上記ビットストリームに多重化された符号化データから上記係数パラメータに係る変換係数の絶対値及び正負の符号を可変長復号する第１の可変長復号処理ステップと、上記第１の可変長復号処理ステップで可変長復号された係数パラメータ、絶対値及び正負の符号からなる変換係数を逆スキャンして圧縮データを生成する変換係数逆スキャン処理ステップと、上記ビットストリームに多重化された符号化データから符号化モードを含む符号化パラメータを可変長復号する第２の可変長復号処理ステップとから構成されていることを特徴とする動画像復号方法。
7. 入力画像の各スライスが分割された符号化ブロックに対する予測処理が実施されて生成された予測画像と上記符号化ブロックとの差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、
   上記可変長符号化手段は、上記予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、上記予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備え、
   イントラスライスを符号化する際には、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長符号化に用いる生起確率の初期値を初期化する一方、非イントラスライスを符号化する際には、上記イントラスライス用の初期化テーブル又は上記非イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長符号化に用いる生起確率の初期値を初期化するとともに、どちらの初期化テーブルを用いているかを示すフラグを可変長符号化して、上記フラグの符号化データを上記ビットストリームに多重化することを特徴とする動画像符号化装置。
8. 可変長符号化手段は、非イントラスライスを符号化する際、上記非イントラスライスの直前の非イントラスライスにおいて、イントラ予測モードを適用する符号化ブロックの割合が所定の閾値以上である場合、イントラスライス用の初期化テーブルを用い、上記割合が所定の閾値未満である場合、非イントラスライス用の初期化テーブルを用いることを特徴とする請求項７記載の動画像符号化装置。
9. 可変長符号化手段は、非イントラスライスを符号化する際、シーンチェンジが検出された場合、イントラスライス用の初期化テーブルを用い、シーンチェンジが検出されなければ、非イントラスライス用の初期化テーブルを用いることを特徴とする請求項７記載の動画像符号化装置。
10. ビットストリームに多重化された符号化データから、入力画像の各スライスが分割された符号化ブロックに対する予測処理が実施されて生成された予測画像と上記符号化ブロックとの差分画像の変換係数を可変長復号する可変長復号手段を備え、
    上記可変長復号手段は、上記予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、上記予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備え、
    イントラスライスを復号する際には、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化する一方、非イントラスライスを復号する際には、上記ビットストリームに多重化された符号化データからフラグを可変長復号し、上記フラグが上記イントラスライス用の初期化テーブルを用いる旨を示していれば、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化し、上記フラグが上記非イントラスライス用の初期化テーブルを用いる旨を示していれば、上記非イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化することを特徴とする動画像復号装置。
11. 可変長符号化手段が、入力画像の各スライスが分割された符号化ブロックに対する予測処理が実施されて生成された予測画像と上記符号化ブロックとの差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップを備え、
    上記可変長符号化手段は、上記予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、上記予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備え、
    上記可変長符号化処理ステップで、イントラスライスを符号化する際には、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長符号化に用いる生起確率の初期値を初期化する一方、非イントラスライスを符号化する際には、上記イントラスライス用の初期化テーブル又は上記非イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長符号化に用いる生起確率の初期値を初期化するとともに、どちらの初期化テーブルを用いているかを示すフラグを可変長符号化して、上記フラグの符号化データを上記ビットストリームに多重化することを特徴とする動画像符号化方法。
12. 可変長復号手段が、ビットストリームに多重化された符号化データから、入力画像の各スライスが分割された符号化ブロックに対する予測処理が実施されて生成された予測画像と上記符号化ブロックとの差分画像の変換係数を可変長復号する可変長復号処理ステップを備え、
    上記可変長復号手段は、上記予測処理としてフレーム内予測符号化を行う際に用いるイントラスライス用の初期化テーブルと、上記予測処理としてフレーム間予測符号化を行う際に用いる非イントラスライス用の初期化テーブルとを備え、
    上記可変長復号処理ステップで、イントラスライスを復号する際には、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化する一方、非イントラスライスを復号する際には、上記ビットストリームに多重化された符号化データからフラグを可変長復号し、上記フラグが上記イントラスライス用の初期化テーブルを用いる旨を示していれば、上記イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化し、上記フラグが上記非イントラスライス用の初期化テーブルを用いる旨を示していれば、上記非イントラスライス用の初期化テーブルを用いて、上記変換係数の可変長復号に用いる生起確率の初期値を初期化することを特徴とする動画像復号方法。

Images