JP2012023613A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

【課題】高周波成分では絶対値が小さい係数が連続して発生する確率が高いことを利用して、２値化方法を適応的に切り替えることで高い符号化効率を得ることができるようにする。
【解決手段】可変長符号化部１３が、１次元に配列された複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値（ＮｕｍＣｏｅｆｆ）をエントロピー符号化するとともに、１次元に配列された量子化係数が非ゼロであるか否かを示す１ビットシンボル（ＳＩＧ）をエントロピー符号化するシンボル符号化ステップなどを実行する。
【選択図】図１

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

動画像を高効率で符号化を行う動画像符号化装置の符号化方式、即ち、異なるブロックサイズの周波数変換を有する動画像符号化における変換係数の可変長符号化方式として、例えば、以下の特許文献１には、コンテキスト適応型２値算術符号化方式（以下、「ＣＡＢＡＣ方式」と称する）が開示されている。
以下、ＣＡＢＡＣ方式において、ブロック内の各係数が有意係数であるか否かを示すビットおよび各有意係数の係数値を符号化する方法について説明する。

図１９はブロック内の係数が所定の走査順序で並べ替えられているものを示す説明図である。
ここでは、低周波数成分から高周波数成分に対して、ジグザグ順に走査する方法が用いられるものとする。
この際、各係数が有意係数であるか否かは、ＳＩＧビット及びＬＡＳＴビットと呼ばれるビットにより表現されて、これらのビットを算術符号化する。
ＳＩＧビットは、有意係数の場合には“１”、有意係数でない場合には“０”となる。
また、ＬＡＳＴビットは、有意係数に対してのみ割り振られ、その有意係数がブロック内の最後の係数である場合には“１”、最後の係数でない場合には“０”となる。
ＳＩＧビット及びＬＡＳＴビットを算術符号化する際の確率テーブルは、ブロックのサイズ及び種類別（例えば、画面内予測輝度信号ブロック、ピクチャ間予測輝度信号ブロック、画面内予測色差信号ブロック、ピクチャ間予測色差信号ブロックなど）に用意され、さらに、各ブロックの種類に対して、係数位置（走査順での位置）毎に用意される。

以下の特許文献２によれば、有意係数の係数値は、その絶対値であるＡＢＳと正負符号であるＳＩＧＮビットとして符号化される。
ＡＢＳは、図１４に示すように、単項２値化（ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部は、ＡＢＳの値に応じた個数の数字１から成り、接尾部は、ゼロ次の指数ゴロム符号から成る。
このようにして得られるＡＢＳの２値化シンボルに対して、１ビット毎に算術符号化が行われ、続いて、ＳＩＧＮビットが算術符号化されることにより、周波数変換ブロックが符号化される。

一般に、動画像の符号化において、周波数変換ブロックにおける有意係数の絶対値は、低周波成分が大きく、高周波成分が小さい傾向があることが知られている。
特に大きい周波数変換ブロックにおいては、有意係数の個数も多くなるため、その高周波成分では、絶対値が小さい係数が連続して発生する確率が高い。

特許第４２３０１８８号 特許第４３１３７５７号

従来の動画像符号化装置は以上のように構成されているので、周波数変換ブロックにおける高周波成分では、絶対値が小さい係数が連続して発生する確率が高いにも関わらず、ＣＡＢＡＣ方式では、ＡＢＳの２値化方法が周波数成分によらず固定されている。このため、十分な符号化効率が得られないことがある課題があった。

この発明は上記のような課題を解決するためになされたもので、高周波成分では絶対値が小さい係数が連続して発生する確率が高いことを利用して、２値化方法を適応的に切り替えることで高い符号化効率を得ることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、可変長符号化手段が、量子化手段から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー符号化するとともに、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するようにしたものである。

この発明によれば、可変長符号化手段が、量子化手段から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー符号化するとともに、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するように構成したので、高周波成分における２値化シンボルの発生数を抑制して、高い符号化効率を得ることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 可変長符号化部１３における圧縮データである量子化係数（変換係数ブロック）のエントロピー符号化方法の基本原理を示す説明図である。 ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビット及びＡＢＳビット数の一例を示す説明図である。 ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビット及びＡＢＳビット数の一例を示す説明図である。 “１”から“ＴＨ−１”までに限定されたシンボル化の一例を示す説明図である。 ゴロム符号による２値化テーブルの一例を示す説明図である。 ブロックタイプ、係数の値及びカテゴリの一例を示す説明図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。 ＡＢＳの２値化シンボルを示す説明図である。 この発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。 この発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。 この発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。 この発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。 ブロック内の係数が所定の走査順序で並べ替えられているものを示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部１から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４はイントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、切換スイッチ３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償予測部５は切換スイッチ３から出力された符号化対象ブロックと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３、イントラ予測部４、動き補償予測部５、イントラ予測用メモリ１０及び動き補償予測フレームメモリ１２から予測画像生成手段が構成されている。

減算部６はブロック分割部１より出力された符号化対象ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
ただし、可変長符号化部１３は変換・量子化部７から出力された圧縮データである量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示すＳＩＧビット（第１の１ビットシンボル）と、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビット（第２の１ビットシンボル）と、その配列変換ステップで１次元に配列された量子化係数が非ゼロであり、走査順で当該量子化係数より後方に配置されている量子化係数の絶対値が全て前記所定の閾値以下である場合に、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロである量子化係数があるか否かを示すＬＡＳＴビット（第３の１ビットシンボル）と、をエントロピー符号化するシンボル符号化ステップ（シンボル符号化ステップによりＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットがエントロピー符号化されることで、所定の閾値より大きい絶対値を有する量子化係数及び非ゼロの量子化係数の当該符号化対象ブロック内での位置を示す有意性マッピングが符号化される）と、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図１１はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図１１において、可変長復号部３１は動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
ただし、可変長復号部３１はビットストリームから圧縮データである量子化係数を可変長復号する際、１次元に配列されている量子化係数が非ゼロであるか否かを示すＳＩＧビット（第１の１ビットシンボル）と、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビット（第２の１ビットシンボル）と、走査順で非ゼロの量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示すＬＡＳＴビット（第３の１ビットシンボル）とをエントロピー復号するシンボル復号ステップと、そのシンボル復号ステップでエントロピー復号されたＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行する。
なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は逆量子化手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４はイントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
動き補償部３５は動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３３、イントラ予測部３４、動き補償部３５、イントラ予測用メモリ３７及び動き補償予測フレームメモリ３９から予測画像生成手段が構成されている。

加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１のブロック分割部１から出力された符号化対象ブロックに相当する復号画像を算出する処理を実施する。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。

図１１の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１２はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測に用いるパラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。

ブロック分割部１は、入力画像の映像信号を入力すると、符号化制御部２により決定された最大符号化ブロックサイズで、入力画像のピクチャに分割し、分割後の各ピクチャを出力する。
また、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ２）。

ここで、図３は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図３において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図３では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化対象ブロックをＢ^ｎで表し、符号化対象ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（ＩＮＴＲＡ）と、１つないし複数のインター符号化モード（ＩＮＴＥＲ）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢ^ｎに対する符号化効率が最も高い符号化モードを選択する。

さらに、符号化対象ブロックＢ^ｎは、図３に示すように、ブロック分割部１によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢ^ｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図４に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図４（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図４（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図４（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化対象ブロック）である。
符号化制御部２は、例えば、ブロックを分割した場合と分割しない場合の符号量Ｒと、画質劣化度Ｄを元にＤ＋λＲ（λは予め決定された値）が小さい値となる方を最適な階層分割モードであると判定し、これを階層毎に繰り返すことにより適切な階層分割を行うことができる。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化対象ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化対象ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４及び動き補償予測部５における予測には、例えば、動画像符号化国際標準規格であるＨ．２６４のイントラ予測や動き補償予測など、いかなる手法であっても本発明に適用可能である。

減算部６は、ブロック分割部１から符号化対象ブロックＢ^ｎを受けると、その符号化対象ブロックＢ^ｎ内のパーティションＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１から出力された符号化対象ブロックＢ^ｎに相当する局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像が入力された後に１画面分まとめて行ってもよい。

可変長符号化部１３は、全ての符号化対象ブロックＢ^ｎに対するステップＳＴ３〜ＳＴ９の処理が完了すると（ステップＳＴ１１、ＳＴ１２）、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された符号化モードｍ（Ｂ^ｎ）と、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。

図５は可変長符号化部１３における圧縮データである量子化係数（変換係数ブロック）のエントロピー符号化方法の基本原理を示す説明図である。
最初に、変換係数ブロックに対して、１ビットシンボルＣＢＦ（Ｃｏｄｅｄ＿Ｂｌｏｃｋ＿Ｆｌａｇ）を符号化する。
例えばＣＢＦビットは、当該ブロックに有意変換係数が存在する場合に“１”、有意変換係数が存在しない場合に“０”とするよう構成できる。当然、さらに上位階層のシンタックスが当該ブロックに有意変換係数が無いことを示している場合は、この限りではない。
ＣＢＦビットが“０”である場合、当該ブロックについての符号化を終了する。

一方、ＣＢＦビットが、有意変換係数が存在することを示している場合、次のようなシンボル化が行われる。
まず、有意変換係数が２次元配列されている変換係数ブロックは、所定の走査順（例えば、ジグザグスキャンなど）に従って１次元配列に変換される。
次に、図６に示すように、走査順に有意変換係数の位置を示す情報がＳＩＧビットとしてシンボル化される。例えば、有意変換係数が存在する場合には、ＳＩＧビットとして“１”がシンボル化され、有意変換係数が存在しない場合には、ＳＩＧビットとして“０”がシンボル化される。

ＳＩＧビットとして“１”がシンボル化された場合に限り、有意変換係数の絶対値が予め設定された所定の閾値ＴＨ（例えば、“２”）以上となるものが、走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグをＬＡＳＴ２ビットとしてシンボル化する。
即ち、走査順で当該位置より後ろに、閾値ＴＨ以上の絶対値を有する有意変換係数が存在しない場合には“１”をシンボル化し、存在する場合には“０”をシンボル化する。
そのＬＡＳＴ２ビットが“１”となる位置以降では、有意変換係数が走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグをＬＡＳＴビットとしてシンボル化する。
即ち、走査順で当該位置より後ろに有意変換係数が存在しない場合には“１”をシンボル化し、存在する場合には“０”をシンボル化する。
なお、一度、ＬＡＳＴ２ビットとして“１”がシンボル化されれば、ＬＡＳＴ２ビットのシンボル化は終了し、ＬＡＳＴビットのみをシンボル化する。
このようにして走査順に閾値ＴＨ以上の絶対値を有する有意変換係数が存在する位置と、絶対値が閾値ＴＨ未満の絶対値を有する有意変換係数が存在する位置とが特定される。

続いて、有意変換係数の係数値をシンボル化する。係数値は、その絶対値であるＡＢＳと正負の符号であるＳＩＧＮビットから構成される。ＳＩＧＮビットは正の数の場合には“０”、負の数の場合には“１”としてシンボル化される。
走査順で最初の有意係数については、ＡＢＳから“１”を引いた値がシンボル化される。

走査順で最初ではない有意係数については、ＬＡＳＴ２ビットが“０”である場合には、ＡＢＳから“１”を引いた値がシンボル化され、ＬＡＳＴ２ビットが“１”である場合には、ＡＢＳから閾値ＴＨを引いた値がシンボル化される。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合には、ＡＢＳから“１”を引いた値がシンボル化される。
ＡＢＳについては、例えばＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で符号化を行うよう構成する。

ＡＢＳのシンボル化は、例えば、図１４に示すように単項２値化（ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部はＡＢＳの値に応じた個数の数字から成り、接尾部はゼロ次の指数ゴロム符号から成る。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合については、ＡＢＳ−１のシンボル化において、ＡＢＳの最大値が閾値ＴＨ−１であるため、図８に示すように、“１”から“ＴＨ−１”までに限定されたシンボル化が行われる。特殊なケースとして、ＴＨ＝２の場合には、ＡＢＳの値が“１”であることが自明であるため、ＡＢＳの符号化を行う必要はない。
例えば、図６に示すような系列があった場合、ＴＨ＝３の場合、従来手法と比べて本手法では、発生するシンボル数を３個削減することができる。また、ＴＨ＝２の場合、従来手法と比べて本手法では、発生するシンボル数を７個削減することができる。

このようにして得られる各２値化シンボルに対してエントロピー符号化が行われることにより周波数変換ブロックが符号化される。
ここでのエントロピー符号化としては、２値化シンボルに対する算術符号化を行ってもよいし、２値化シンボルを１つまたは複数まとめたものに対してハフマン符号を割り当てることにより可変長符号化してもよい。
２値化シンボルに対して算術符号化や可変長符号化を行う際には、それぞれのシンボルについて生起確率に基づいて符号化を行うことにより高能率符号化を行うことができる。
各２値化シンボルに対して、それぞれ確率テーブルを割り当て、確率テーブルを実際のシンボルの生起履歴に基づいて更新することにより、更なる符号化効率の向上を図ることができる。
さらに、条件（コンテキスト）に応じて確率テーブルを切り替えることにより、より高能率な符号化を実現することができる。以下、コンテキストに応じた確率テーブルの切り替えの一例について記する。

ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを符号化するために、各ブロックカテゴリ（図１０を参照）毎に、ｍａｘ＿ｃｏｅｆｆ−１個の異なる確率テーブルが使用されるように構成する。
どの確率テーブルを使用するかを特定するためのコンテキスト番号は、常に当該係数の対応する係数走査位置によって示される。
ｉ番目の係数として走査された係数ｃｏｅｆｆ［ｉ］のコンテキスト番号は、
ｃｔｘ＿ＩＤ＿ＳＩＧ（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ２（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ（ｃｏｅｆｆ［ｉ］）
＝ｉ
となる。

また、ＡＢＳの符号化に用いる確率テーブルのコンテキスト番号としては、２つの異なるモデルを用いる。１つ目のコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎはＡＢＳの２値化シンボルの先頭ビットに対して適用され、もう１つのコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎｓは残りの２値化シンボルに対して適用される。
ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で符号化された場合、コンテキスト番号として“４”を割り当て、ＡＢＳ＝１の係数がブロック内で３個より多く符号化された場合、コンテキスト番号として３を割り当てる。
それ以外の場合には、ＡＢＳ＝１の係数がブロック内で符号化された個数をコンテキスト番号として割り当てる。

このように、発生したＡＢＳ＝１の係数数及びＡＢＳ＞１の稀有数数に応じてコンテキストを切り替えることにより、ＡＢＳ＞１の係数が符号化されていない場合、ＡＢＳ＞１が発生する確率は、有意係数が発生するごとに高くなる。
ＡＢＳ＞１の係数が一度発生した場合、ＡＢＳ＞１の係数が発生する確率はさらに高くなる。
このため、条件に応じて適切な確率テーブルを割り当てることができ、高い符号化効率で符号化することができる。

また、ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で４個より多く符号化された場合、コンテキスト番号として“４”を割り当て、それ以外の場合、ＡＢＳ＞１を有する係数がブロック内で発生した数をコンテキスト番号として割り当てる。
このように、発生したＡＢＳ＞１の係数数に応じてコンテキストを切り替えることにより、ＡＢＳ＞１の係数が発生するごとにＡＢＳ＞１の係数が発生する確率が高くなるため、条件に応じて適切な確率テーブルを割り当てることができ、高い符号化効率で符号化することができる。

次に、図１１の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１２のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズを復号する。

即ち、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズに基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図３で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部３１は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号対象ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号対象ブロックをさらに１つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する。

可変長復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、その復号対象ブロックに含まれている予測処理単位となる１つ以上のパーティション毎にイントラ予測パラメータを復号する。

予測処理単位となるパーティションは、更に予測差分符号化パラメータに含まれている変換ブロックサイズ情報に基づいて、変換処理単位となる１つないし複数のパーティションに分割されて、変換処理単位となるパーティション毎に、圧縮データ（量子化後の変換係数）を復号する（ステップＳＴ２４）。
可変長復号部３１は、更に、それぞれのパーティションにおける残差信号成分を変換係数ブロック毎に復号する。

図１３は可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
最初に、変換係数ブロックに対して、１ビットシンボルＣＢＦを復号する。
ＣＢＦビットが“１”である場合、当該ブロックに有意変換係数が存在することを示し、ＣＢＦビットが“０”である場合、当該ブロックに有意変換係数が存在しないことを示している。当然、更に上位階層のシンタックスが当該ブロックに有意変換係数が無いことを既に示している場合は、ＣＢＦ以下の復号処理は行われない。
ＣＢＦビットが“０”である場合、当該ブロックについての復号を終了し、変換ブロック内の全ての変換係数が“０”であるとして処理が進められる。

ＣＢＦビットが“１”である場合、次のような復号処理が行われる。
まず、走査順に有意変換係数の位置を示す情報がＳＩＧビットとして復号される。
ＳＩＧビットが“１”である場合には、有意変換係数が存在することを示し、ＳＩＧビットが“０”である場合には、有意変換係数が存在しないことを示している。
ＳＩＧビットとして“１”が復号された場合に限り、有意変換係数の絶対値が予め設定された所定の閾値ＴＨ（例えば、“２”）以上となるものが、走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグであるＬＡＳＴ２ビットが復号される。
即ち、ＬＡＳＴ２ビットが“１”である場合には、走査順で当該位置より後ろに閾値ＴＨ以上の絶対値を有する有意変換係数が存在しないことを示し、ＬＡＳＴ２ビットが“０”である場合には、走査順で当該位置より後ろに閾値ＴＨ以上の絶対値を有する有意変換係数が存在していることを示している。

ＬＡＳＴ２ビットが“１”となる位置以降では、有意変換係数が走査順で当該位置より後ろ（高周波成分側）に存在しているか否かを示すフラグであるＬＡＳＴビットが復号される。
即ち、ＬＡＳＴビットが“１”である場合には、走査順で当該位置より後ろに有意変換係数が存在しないことを示し、ＬＡＳＴビットが“０”である場合には、走査順で当該位置より後ろに有意変換係数が存在していることを示している。
ただし、一度、ＬＡＳＴ２ビットとして“１”が復号されれば、ＬＡＳＴ２ビットの復号は終了し、ＬＡＳＴビットのみを復号する。

このようにして、走査順に閾値ＴＨ以上の絶対値を有する有意変換係数が存在する位置と、絶対値が閾値ＴＨ未満の絶対値を有する有意変換係数が存在する位置とが特定される。
続いて、有意変換係数の係数値を復号する。
係数値は、その絶対値であるＡＢＳと、正負の符号であるＳＩＧＮビットから構成される。ＳＩＧＮビットは正の数の場合は“０”、負の数の場合は“１”として復号される。

走査順で最初の有意係数については、ＡＢＳから“１”を引いた値が復号される。
走査順で最初ではない有意係数については、ＬＡＳＴ２ビットが“０”である場合、ＡＢＳから“１”を引いた値が復号され、ＬＡＳＴ２ビットが“１”である場合、ＡＢＳから閾値ＴＨを引いた値が復号される。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合には、ＡＢＳから“１”を引いた値が復号される。
ＡＢＳについては、例えばＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で復号を行うよう構成する。

ＡＢＳは、例えば、図１４に示すように、単項２値化（ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）のシンボル、あるいは、接頭部と接尾部を備えた２値化シンボルで示され、この接頭部は、ＡＢＳの値に応じた個数の数字１から成り、接尾部は、ゼロ次の指数ゴロム符号から成る。
ＬＡＳＴ２ビットが存在せず、ＬＡＳＴビットのみが存在する場合については、ＡＢＳ−１の復号において、ＡＢＳの最大値が閾値ＴＨ−１であるため、図８に示すように、“１”から“ＴＨ−１”までに限定された２値化シンボルとして復号される。特殊なケースとして、ＴＨ＝２の場合には、ＡＢＳの値が“１”であることが自明であるため、ＡＢＳの復号を行う必要はない。

このようにして得られる各２値化シンボルがエントロピー復号されることにより、周波数変換係数が１次元配列として復号される。
ここで、図１の動画像符号化装置における走査の逆処理である所定の逆走査（例えば、逆ジグザグスキャンなど）を行うことによって、１次元配列を２次元ブロックに変換することで、周波数変換ブロックを復号することができる。
ただし、ここでのエントロピー復号は、図１の動画像符号化装置におけるエントロピー符号化に対応する手法である必要がある。

ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットを復号するために、各ブロックカテゴリ（図１０を参照）毎に、ｍａｘ＿ｃｏｅｆｆ−１個の異なる確率テーブルが使用されるように構成する。
どの確率テーブルを使用するかを特定するためのコンテキスト番号は、常に当該係数の対応する係数走査位置によって示される。
ｉ番目の係数として走査された係数ｃｏｅｆｆ［ｉ］のコンテキスト番号は、
ｃｔｘ＿ＩＤ＿ＳＩＧ（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ２（ｃｏｅｆｆ［ｉ］）
＝ｃｔｘ＿ＩＤ＿ＬＡＳＴ（ｃｏｅｆｆ［ｉ］）
＝ｉ
となる。

また、ＡＢＳの復号に用いる確率テーブルのコンテキスト番号としては、２つの異なるモデルを用いる。１つ目のコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎはＡＢＳの２値化シンボルの先頭ビットに対して適用され、もう１つのコンテキスト番号ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎｓは残りの２値化シンボルに対して適用される。
ｃｔｘ＿ＩＤ＿ＡＢＳ＿１ｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で復号された場合、コンテキスト番号として“４”を割り当て、ＡＢＳ＝１の係数がブロック内で３個より多く復号された場合、コンテキスト番号として３を割り当てる。
それ以外の場合には、ＡＢＳ＝１の係数がブロック内で復号された個数をコンテキスト番号として割り当てる。

このように、発生したＡＢＳ＝１の係数数及びＡＢＳ＞１の稀有数数に応じてコンテキストを切り替えることにより、条件に応じて符号化の際に選択された確率テーブルを割り当てることができ、好適に復号することができる。
また、ｃｔｘ＿ＩＤ＿ＡＢＳ＿ｒｂｉｎは、例えば、ＡＢＳ＞１を有する係数がブロック内で４個より多く復号された場合、コンテキスト番号として“４”を割り当て、それ以外の場合、ＡＢＳ＞１を有する係数がブロック内で発生した数をコンテキスト番号として割り当てる。
このように、発生したＡＢＳ＞１の係数数に応じてコンテキストを切り替えることにより、条件に応じて符号化の際に選択された確率テーブルを割り当てることができ、好適に復号することができる。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３３からイントラ予測パラメータを受けると（ステップＳＴ２５）、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている局所復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ２５）、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、全ての復号対象ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置の可変長符号化部１３が、変換・量子化部７から出力された量子化係数を可変長符号化する際、符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、その配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示すＳＩＧビットと、その配列変換ステップで１次元に配列された量子化係数が非ゼロである場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、所定の閾値より大きい絶対値を有する量子化係数があるか否かを示すＬＡＳＴ２ビットと、走査順で当該量子化係数より後方に配置されている量子化係数の中に、その閾値より大きい絶対値を有する量子化係数がない場合、走査順で当該量子化係数より後方に配置されている量子化係数の中に、非ゼロの量子化係数があるか否かを示すＬＡＳＴビットとをエントロピー符号化するシンボル符号化ステップと、当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行するように構成したので、高周波成分における２値化シンボルの発生数を抑制して、高い符号化効率を得ることができる効果を奏する。

実施の形態２．
上記実施の形態１では、ＬＡＳＴ２ビットやＬＡＳＴビットの符号化を行う際、ＳＩＧビットが“１”である走査位置について、ＬＡＳＴ２ビット又はＬＡＳＴビットを１ビット符号化するようにしている。
しかし、特に周波数変換ブロックサイズが大きい場合には、ＬＡＳＴ２ビットやＬＡＳＴビットとして“０”が連続する個数が多くなる。
そこで、この実施の形態２では、ＬＡＳＴ２ビットやＬＡＳＴビットとして“０”が連続する個数が多くなる場合の符号化効率を高める工夫を施している。

図１５はこの発明の実施の形態２における可変長符号化部１３における変換係数ブロックのエントロピー符号化方法の基本原理を示す説明図である。
これ以外の部分については、上記実施の形態１における動画像符号化装置と同じであるため説明を割愛する。
この実施の形態２では、可変長符号化部１３は、周波数変換ブロックの符号化処理でＬＡＳＴ２ビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ２）やＬＡＳＴビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ）を符号化することにより、２値化シンボル数を削減して、高い符号化効率を得るように構成している。

例えば、図９に示すようなゴロム符号による２値化テーブルを用いて、２値化シンボル化することにより、図６の従来手法については、ＬＡＳＴ２ビット及びＬＡＳＴビットのシンボル数が６個、ＴＨ＝３の場合には４個、ＴＨ＝２の場合には２個削減することができる。
当然、２値化テーブルとしてゴロム符号でなくとも、例えば、接頭部が単項２値化、接尾部がゴロム符号となっているものなど、全て単項２値化するより短いシンボルに変換できるものであれば、同様の効果を得ることができる。

図１６はこの発明の実施の形態２の可変長復号部３１における変換係数ブロックのエントロピー復号方法の基本原理を示す説明図である。
この実施の形態２の可変長復号部３１においても同様に、ＬＡＳＴ２ビットやＬＡＳＴビットを連続する“０”の個数として、例えば、図９に示すテーブルを用いて復号することにより、好適に復号することが可能である。
ここでは、ＬＡＳＴ２ビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ２）と、ＬＡＳＴビットの連続する“０”の個数（ＮｕｍＣｏｅｆｆ）として復号するものを示したが、いずれか一方のみを連続する“０”の個数として復号し、残りの一方は従来と同様にＳＩＧビットに対して１ビットずつシンボル化するようにしてもよい。

また、図１７及び図１８に示すように、ＬＡＳＴ２ビットを用いずに、ＬＡＳＴビットのみを用いる従来手法に対しても、ＬＡＳＴビットを連続する“０”の個数（ＮｕｍＣｏｅｆｆ）として、符号化／復号を行うよう構成してもよい。
この場合には、ＬＡＳＴビットの連続する“０”の個数は、ブロック内の有意係数の個数から“１”を引いた値を符号化／復号することと同義である。
なお、実施の形態１，２で説明したＣＢＦビット、ＳＩＧビット、ＬＡＳＴ２ビット、ＬＡＳＴビットおよびＳＩＧＮビットのそれぞれの意味に対して“１”と“０”の割り当ては一例を示しただけであり、これに限定されるものではなく、異なる割り当てをしても同様の効果が得られる。
また、ＡＢＳのシンボル化においては接頭部として単項２値化シンボル、接尾部としてゼロ次の指数ゴロム符号を一例として挙げたが、これに限らず、ＡＢＳがより大きい値である場合に、よりシンボル長の長い符号を割り当てる手法であれば、本発明の効果を得ることができる。
また、ＡＢＳの符号化・復号については、ＳＩＧビット、ＬＡＳＴ２ビット及びＬＡＳＴビットの走査順と逆方向の順序で処理を行うよう構成したが、当然走査順と同方向の順序で処理を行うよう構成してもよい。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部、３ 切換スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（量子化手段）、７ 変換・量子化部（量子化手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ（予測画像生成手段）、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ（予測画像生成手段）、１３ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（逆量子化手段）、３３ 切換スイッチ（予測画像生成手段）、３４ イントラ予測部（予測画像生成手段）、３５ 動き補償部（予測画像生成手段）、３６ 加算部、３７ イントラ予測用メモリ（予測画像生成手段）、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ（予測画像生成手段）。

Claims (6)

1. 入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割手段と、上記ブロック分割手段から出力された符号化対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記ブロック分割手段から出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数を可変長符号化してビットストリームを生成する可変長符号化手段とを備え、
   上記可変長符号化手段は、上記量子化手段から出力された量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、
   上記配列変換ステップで１次元に配列された複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー符号化するとともに、上記配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー符号化するシンボル符号化ステップと、
   当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行することを特徴とする動画像符号化装置。
2. シンボル符号化ステップでは、各量子化係数の走査位置に依存するコンテキスト番号に基づく確率テーブルを用いて、１ビットシンボルをエントロピー符号化することを特徴とする請求項１記載の動画像符号化装置。
3. ビットストリームから量子化係数を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された量子化係数を逆量子化する逆量子化手段と、復号対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆量子化結果が示す差分画像を加算して復号画像を得る画像加算手段とを備え、
   上記可変長復号手段は、ビットストリームから量子化係数を可変長復号する際、１次元に配列されている複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー復号するとともに、１次元に配列されている量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー復号するシンボル復号ステップと、
   上記シンボル復号ステップでエントロピー復号された非ゼロの量子化係数の個数から１を減じている値及び１ビットシンボルを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、
   当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行することを特徴とする動画像復号装置。
4. シンボル復号ステップでは、各量子化係数の走査位置に依存するコンテキスト番号に基づく確率テーブルを用いて、１ビットシンボルをエントロピー復号することを特徴とする請求項３記載の動画像復号装置。
5. ブロック分割手段が、入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップによって出力された符号化対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、量子化手段が、上記予測画像生成処理ステップで生成された予測画像と上記ブロック分割処理ステップによって出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が、上記量子化処理ステップによって出力された量子化係数を可変長符号化してビットストリームを生成する可変長符号化処理ステップとを備え、
   上記可変長符号化手段は、上記量子化手段から出力された量子化係数を可変長符号化する際、当該符号化対象ブロックの中に２次元に配列されている複数の量子化係数を走査して、複数の量子化係数を１次元に配列する配列変換ステップと、
   上記配列変換ステップで１次元に配列された複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー符号化するとともに、上記配列変換ステップで１次元に配列された量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー符号化するシンボル符号化ステップと、
   当該符号化対象ブロック内の非ゼロの量子化係数の値をエントロピー符号化する量子化係数値符号化ステップとを実行することを特徴とする動画像符号化方法。
6. 可変長復号手段が、ビットストリームから量子化係数を可変長復号する可変長復号処理ステップと、逆量子化手段が、上記可変長復号処理ステップで可変長復号された量子化係数を逆量子化する逆量子化処理ステップと、予測画像生成手段が、復号対象ブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、画像加算手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆量子化結果が示す差分画像を加算して復号画像を得る画像加算処理ステップとを備え、
   上記可変長復号手段は、ビットストリームから量子化係数を可変長復号する際、１次元に配列されている複数の量子化係数の中で、非ゼロの量子化係数の個数から１を減じている値をエントロピー復号するとともに、１次元に配列されている量子化係数が非ゼロであるか否かを示す１ビットシンボルをエントロピー復号するシンボル復号ステップと、
   上記シンボル復号ステップでエントロピー復号された非ゼロの量子化係数の個数から１を減じている値及び１ビットシンボルを参照して、復号対象ブロック内の非ゼロの量子化係数の位置を特定し、当該復号対象ブロック内の非ゼロの量子化係数の値をエントロピー復号する量子化係数値復号ステップと、
   当該復号対象ブロックの中に１次元に配列されている複数の量子化係数を逆走査して、複数の量子化係数を２次元に配列する配列変換ステップとを実行することを特徴とする動画像復号方法。

Images