JP2013009165A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

【課題】符号化対象のブロックの中に、動きは異なるが連続している領域が含まれているような場合に、インター予測パラメータに係る情報の符号量を削減することができるようにする。
【解決手段】ブロック分割部１から出力された符号化対象ブロックＢ_nのサイズが所定サイズ以下である場合、符号化制御部２が、符号化対象ブロックＢ_nに属する全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、そのインター予測モード及び参照画像指示インデックスを含むインター予測パラメータを動き補償予測部５及び可変長符号化部１３に出力する。
【選択図】図１

Description

この発明は、イントラ予測処理又はインター予測処理を実施して予測符号化を実施する動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。

例えば、ＡＶＣ／Ｈ．２６４などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位またはマクロブロックをさらに４分割したサブマクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャと称する。

国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、Ｂピクチャのマクロブロック（以下、「Ｂマクロブロック」と称する) 、または、Ｂピクチャのサブマクロブロック（以下、「Ｂサブマクロブロック」と称する）は、１つないし複数の予測処理単位（パーティション）に分割され、パーティション単位に１枚のピクチャのみを参照して、画面間予測符号化を行うか、同時に２枚のピクチャを参照して画面間予測符号化を行うかを示す予測モードを切り替えて符号化することができる。

なお、予測画像の生成に用いる参照画像は、参照画像リストとして管理されている。
Ｂピクチャの場合には、２つの参照画像リストが管理されており、それぞれリスト０、リスト１と称される。通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。
Ｂマクロブロック又はＢサブマクロブロック内のパーティションがリスト０に含まれる１枚の参照画像を参照して画面間予測符号化を行うモードを「Ｐｒｅｄ＿Ｌ０」と称し、リスト１に含まれる１枚の参照画像を参照して画面間予測符号化を行うモードを「Ｐｒｅｄ＿Ｌ１」と称する。また、リスト０からの１枚の参照画像とリスト１からの１枚の参照画像を同時に参照して画面間予測符号化を行うモードを「Ｐｒｅｄ＿Ｂｉ」と称する。

パーティション毎に、Ｐｒｅｄ＿Ｌ０／Ｐｒｅｄ＿Ｌ１／Ｐｒｅｄ＿Ｂｉのいずれの予測モードを適用したかを表す情報は、マクロブロックタイプ、サブマクロブロックタイプに含まれて可変長符号化され、ビットストリームに多重化される。
なお、マクロブロック内のパーティションに対しては、パーティション毎に、Ｐｒｅｄ＿Ｌ０／Ｐｒｅｄ＿Ｌ１／Ｐｒｅｄ＿Ｂｉのいずれかの予測モードを適用できるようになっているが、サブマクロブロック内のパーティションに対しては、すべてのパーティションに対して、Ｐｒｅｄ＿Ｌ０／Ｐｒｅｄ＿Ｌ１／Ｐｒｅｄ＿Ｂｉのいずれかの予測モードを共通に適用するようになっている。

リスト０又はリスト１に２枚以上の参照画像を含む場合には、２枚以上の参照画像の中から予測画像の生成に用いるために選択された参照画像の情報は、リスト毎の参照画像指示インデックスとして、パーティション単位に可変長符号化され、ビットストリームに多重化される。
なお、サブマクロブロック内のパーティションに対しては、すべてのパーティションに対して、同じ参照画像指示インデックスを適用するようになっている。

国際公開第２００８／１２３２５４号公報

従来の動画像符号化装置は以上のように構成されているので、サブマクロブロックの中に、動きは異なるが連続している領域が含まれているような場合、サブマクロブロックを複数のパーティションに分割して、サブマクロブロックに属するパーティション毎に動きベクトルを決定しているが、サブマクロブロックに属する全てのパーティションに対して、共通の予測モードと共通の参照画像指示インデックスを決定することで、インター予測パラメータに関わる情報の符号量を抑えて、効率的に符号化することができるようにしている。しかしながら、マクロブロックやサブマクロブロックのサイズが固定であるため、サブマクロブロックよりも大きな単位で、動きは異なるが連続している領域を含むような場合に、マクロブロックに属する全てのパーティションに対して、同じ予測モードと同じ参照画像指示インデックスが適用されても、マクロブロックに属するパーティション毎に、予測モードと参照画像指示インデックスを符号化しなければならず、インター予測パラメータに係る情報の符号量が増加してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、符号化対象のブロックの中に、動きは異なるが連続している領域が含まれているような場合に、インター予測パラメータに係る情報の符号量を削減することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、符号量が削減されているインター予測パラメータを正しく復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、入力画像を階層的に予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割手段と、ブロック分割手段から出力される符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する符号化制御手段と、符号化制御手段により決定されたインター予測パラメータに含まれている参照画像指示インデックスが示す参照画像とブロック分割手段から出力された符号化対象ブロックから動きベクトルを生成し、その動きベクトルを用いて、上記符号化対象ブロックに対するインター予測処理を実施することで予測画像を生成する予測画像生成手段と、予測画像生成手段により生成された予測画像とブロック分割手段から出力された符号化対象ブロックの差分画像を変換・量子化し、その差分画像の量子化係数を出力する量子化手段と、量子化手段から出力された量子化係数、符号化制御手段により決定されたインター予測パラメータ及び予測画像生成手段により生成された動きベクトルを可変長符号化して、その量子化係数、インター予測パラメータ及び動きベクトルの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、ブロック分割手段から出力された符号化対象ブロックのサイズが所定サイズ以下である場合、符号化制御手段が、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、そのインター予測モード及び参照画像指示インデックスを含むインター予測パラメータを予測画像生成手段及び可変長符号化手段に出力し、予測画像生成手段が、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像を用いて、ブロック分割手段から出力された符号化対象ブロックに属するパーティション毎に動きベクトルを生成し、その動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成するとともに、その動きベクトルを可変長符号化手段に出力するようにしたものである。

この発明によれば、ブロック分割手段から出力された符号化対象ブロックのサイズが所定サイズ以下である場合、符号化制御手段が、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、そのインター予測モード及び参照画像指示インデックスを含むインター予測パラメータを予測画像生成手段及び可変長符号化手段に出力し、予測画像生成手段が、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像を用いて、ブロック分割手段から出力された符号化対象ブロックに属するパーティション毎に動きベクトルを生成し、その動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成するとともに、その動きベクトルを可変長符号化手段に出力するように構成したので、符号化対象ブロックの中に、動きは異なるが連続している領域が含まれているような場合に、インター予測パラメータに係る情報の符号量を削減することができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の動き補償予測部５の内部を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションに対して最適な参照画像指示インデックスを決定する処理を示すフローチャートである。 符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティション毎に最適な参照画像指示インデックスを決定する処理を示すフローチャートである。 符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションに対して最適な参照画像指示インデックスを決定する処理を示すフローチャートである。 符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティション毎に最適な参照画像指示インデックスを決定する処理を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は符号化対象ブロックのサイズである符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部１から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。

ただし、符号化制御部２は符号化効率が最も高い符号化モードがインター符号化モードである場合、符号化ブロックサイズが所定サイズ以下であれば、符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、そのインター予測モード及び参照画像指示インデックスを含むインター予測パラメータを動き補償予測部５及び可変長符号化部１３に出力する処理を実施する。
さらに、符号化制御部２は変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４はイントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、切換スイッチ３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。

動き補償予測部５は切換スイッチ３から出力された符号化対象ブロックと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
ただし、動き補償予測部５は符号化制御部２により符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定された場合、その参照画像指示インデックスが示す全てのパーティションで共通の参照画像と、符号化対象ブロックに属する各々のパーティションとを比較して、パーティション毎に動きベクトルを探索し、その動きベクトルと上記インター予測パラメータを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成するとともに、その動きベクトルを可変長符号化部１３に出力する処理を実施する。
なお、動き補償予測部５は予測画像生成手段を構成している。

減算部６はブロック分割部１より出力された符号化対象ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図２はこの発明の実施の形態１による動画像符号化装置の動き補償予測部５の内部を示す構成図である。
図２において、動きベクトル探索部２１は切換スイッチ３から出力された符号化対象ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像を参照しながら、インター符号化モードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２２に出力する処理を実施する。
ただし、動きベクトル探索部２１は符号化制御部２により符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定された場合、その参照画像指示インデックスが示す全てのパーティションで共通の参照画像と、符号化対象ブロックに属する各々のパーティションとを比較して、パーティション毎に動きベクトルを探索し、その動きベクトルを動き補償処理部２２及び可変長符号化部１３に出力する。

動き補償処理部２２は動きベクトル探索部２１により探索された動きベクトルと動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像を用いて、符号化制御部２から出力されたインター予測パラメータに基づいてインター予測処理（動き補償予測処理）を実施することで、インター予測画像を生成する処理を実施する。
ただし、動き補償処理部２２は符号化制御部２により符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定された場合、動きベクトル探索部２１により探索された動きベクトルと参照画像指示インデックスが示す全てのパーティションで共通の参照画像を用いて、符号化制御部２から出力されたインター予測パラメータに基づいて、当該パーティションに対するインター予測処理を実施することで、インター予測画像を生成する処理を実施する。

図１０はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図１０において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されている符号化データから予測処理単位のブロックである復号対象ブロック（符号化対象ブロック）に係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
なお、可変長復号部３１は符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定されている場合、共通のインター予測モードと共通の参照画像指示インデックスを含んでいるインター予測パラメータを可変長復号するとともに、符号化対象ブロックに属するパーティション毎の動きベクトルを可変長復号する。
可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は逆量子化手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
イントラ予測部３４はイントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。

動き補償部３５は動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像（予測画像）を生成する処理を実施する。
ただし、動き補償部３５は復号対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定されている場合、その参照画像指示インデックスが示す全てのパーティションで共通の参照画像と、パーティション毎の動きベクトルとを用いて、当該パーティションに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
なお、動き補償部３５は予測画像生成手段を構成している。

加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、復号画像を算出する処理を実施する。
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。

図１０の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１１はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図３のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。

ブロック分割部１は、入力画像の映像信号を入力すると、符号化制御部２により決定された最大符号化ブロックサイズで、入力画像のピクチャに分割し、分割後の各ピクチャを出力する。
また、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ２）。

ここで、図４は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図４において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ⁰，Ｍ⁰）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌⁿ，Ｍⁿ）の画像領域である。
ただし、ＬⁿとＭⁿは、同じであってもよいし、異なっていてもよいが、図４では、Ｌⁿ＝Ｍⁿのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌⁿ，Ｍⁿ）と定義する。
４分木分割を行うため、常に、（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌⁿ，Ｍⁿ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌⁿ／２，Ｍⁿ／２）になる。

以降、第ｎ階層の符号化対象ブロックをＢⁿで表し、符号化対象ブロックＢⁿで選択可能な符号化モードをｍ（Ｂⁿ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂⁿ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化モードｍ（Ｂⁿ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢⁿに対する符号化効率が最も高い符号化モードを選択する。

さらに、符号化対象ブロックＢⁿは、図４に示すように、ブロック分割部１によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢⁿに属するパーティションをＰ_i ⁿ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢⁿのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂⁿ）の中に情報として含まれる。
パーティションＰ_i ⁿは、すべて符号化モードｍ（Ｂⁿ）に従って予測処理が行われるが、符号化対象ブロックＢⁿないしパーティションＰ_i ⁿ毎に、予測パラメータが選択される。

符号化制御部２は、最大符号化ブロックに対して、例えば、図５に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図５（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図５（ｂ）は階層分割によって符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示している。
図５（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂⁿ）が割り当てられたノード（符号化対象ブロック）である。
符号化制御部２における階層分割・符号化モード判定の詳細な処理は後述する。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がイントラ符号化モードである場合（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化対象ブロックＢⁿをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がインター符号化モードである場合（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化対象ブロックＢⁿを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がイントラ符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化対象ブロックＢⁿを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢⁿ内の各パーティションＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_INTRAi ⁿを生成する（ステップＳＴ４）。
なお、画像復号装置がイントラ予測画像Ｐ_INTRAi ⁿと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_INTRAi ⁿの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がインター符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化対象ブロックＢⁿを受けると（ステップＳＴ３）、その符号化対象ブロックＢⁿ内の各パーティションＰ_i ⁿと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢⁿ内の各パーティションＰ_i ⁿに対するインター予測処理を実施して、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ５）。
動き補償予測部５の具体的な処理内容は後述する。

なお、図１０の動画像復号装置がインター予測画像Ｐ_INTERi ⁿと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_INTERi ⁿの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
インター予測画像の生成に用いられたインター予測パラメータには、下記の情報が含まれている。
（１）パーティションＰ_i ⁿに空間方向または時間方向に隣接する１以上のパーティションのいずれか１つのパーティションのインター予測モード指示情報と参照画像指示インデックス情報および動きベクトルをパーティションＰ_i ⁿに対して適用するかどうかを示すフラグ(マージフラグ)
（２）マージフラグが１の場合（隣接するパーティションのインター予測モード指示情報と参照画像指示インデックス情報及び動きベクトルを用いて、パーティションＰ_i ⁿのインター予測画像を生成する場合）に、空間方向または時間方向に隣接する１以上のパーティションの中から、どのパーティションのインター予測モード指示情報と参照画像指示インデックス情報及び動きベクトルを適用するかを指示するインデックス（マージインデックス）
マージフラグが１ではない場合には、インター予測パラメータには以下の(３)から(５)の情報が含まれる。
（３）動き補償予測フレームメモリ１２内に含まれている複数の参照画像のうち、１フレームの参照画像と、１つの動きベクトルとを用いて生成される予測画像をインター予測画像Ｐ_INTERi ⁿとするか（単一予測モード）、あるいは、２フレームの参照画像と、それぞれの参照画像に対して１つの動きベクトルとを用いて生成される２つの予測画像を補間して生成される補間画像をインター予測画像Ｐ_INTERi ⁿとするか（双予測モード）を示すインター予測モード指示情報
（４）動き補償予測フレームメモリ１２内に２フレーム以上の参照画像を含む構成の場合、予測画像の生成に用いた参照画像を示す参照画像指示インデックス情報
（５）複数の動きベクトルの予測値候補がある場合に、いずれの動きベクトルの予測値を選択して使用するかを示すインデックス情報

減算部６は、ブロック分割部１から符号化対象ブロックＢⁿを受けると、その符号化対象ブロックＢⁿ内のパーティションＰ_i ⁿから、イントラ予測部４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償予測部５により生成されたインター予測画像Ｐ_INTERi ⁿを減算して、その減算結果である予測差分信号ｅ_i ⁿを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_i ⁿを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_i ⁿに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、その変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_i ⁿに相当する局所復号予測差分信号を算出する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償予測部５により生成されたインター予測画像Ｐ_INTERi ⁿとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１から出力された符号化対象ブロックＢⁿに相当する局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロック、あるいは、個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像が入力された後に１画面分まとめて行ってもよい。

可変長符号化部１３は、全ての符号化対象ブロックＢⁿに対するステップＳＴ３〜ＳＴ９の処理が完了すると（ステップＳＴ１１、ＳＴ１２）、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された符号化モードｍ（Ｂⁿ）と、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３の具体的な処理内容は後述する。

次に、動き補償予測部５の処理内容を具体的に説明する。ただし、符号化制御部２により符号化対象ブロックＢⁿに属する全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定される場合の処理内容は後述する。
動き補償予測部５は、符号化制御部２から指示されるインター予測パラメータに含まれるマージフラグが１の場合、動きベクトル探索部をスキップし、符号化制御部２から指示されるインター予測パラメータに含まれるマージインデックスが指示する隣接パーティションのインター予測モード指示情報と参照画像指示インデックス情報および動きベクトルを動き補償処理部２２に出力する。
動き補償予測部５は、符号化制御部２から指示されるインター予測パラメータに含まれるマージフラグが０の場合、動き補償予測部５の動きベクトル探索部２１は、インター符号化モードが選択された符号化対象ブロックＢⁿ内のパーティションＰ_i ⁿを受けとると、そのパーティションＰ_i ⁿと符号化制御部２から指示されるインター予測パラメータ（インター予測モードと参照画像指示インデックスの情報）に基づき、動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像を参照しながら、そのインター予測パラメータに対し最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２２に出力する。
ここで、符号化制御部２から指示されるインター予測パラメータに対して、最適な動きベクトルを探索する処理の一例を説明する。

まず、予測画像の生成に用いる参照画像は、参照に用いる動きベクトル毎に、参照画像リストとして管理されている。
インター予測モードが単一予測モードを示している場合には、１つの参照画像リストが管理され、参照画像リストには、動き補償予測フレーム１２に格納されている参照画像の中の１フレーム以上の参照画像に対応付けられる参照画像指示インデックスが管理されている。
例えば、参照画像リストに含まれている参照画像指示インデックスは、符号化画像に対して、時間的に近い参照画像から順番に番号付けされている。なお、参照画像リストに含まれている参照画像指示インデックスは時間的に近い順に並んでいなくてもよい。

インター予測モードが双予測モードを示している場合には、２つの参照画像リストが管理されている。２つの参照画像リストは、参照画像リスト０、参照画像リスト１と称される。
参照画像リスト０に含まれている参照画像指示インデックスは、例えば、符号化画像に対して、時間的に後方向にある参照画像が時間的に近い順に番号付けされて管理されている。
参照画像リスト１に含まれている参照画像指示インデックスは、例えば、符号化画像に対して、時間的に前方向にある参照画像が時間的に近い順に番号付けされて管理されている。
ただし、参照ピクチャリスト０が後方向にある参照画像を示していてもよいし、前方向にある参照画像と後方向にある参照画像を示していてもよいし、時間的に近い順に並んでいなくてもよい。参照画像リスト１に対しても同様である。
また、参照画像リスト０に含まれている参照画像指示インデックスと、参照画像リスト１に含まれている参照画像指示インデックスが同じ参照画像を示していてもよい。

符号化制御部２から指示されるインター予測モードが単一予測モードを示している場合には、符号化制御部２から指示される参照画像指示インデックスで示される参照画像内を探索して、最適な動きベクトルを決定する。
符号化制御部２から指示されるインター予測モードが双予測モードを示している場合には、符号化制御部２から指示される参照画像リスト０の参照画像指示インデックスで示される参照画像内を探索するとともに、参照画像リスト１の参照画像指示インデックスで示される参照画像内を探索し、参照画像リスト０の参照画像に対する動きベクトル０と、参照画像リスト１の参照画像に対する動きベクトル１との最適な組み合わせを決定する。
なお、動きベクトルの探索処理自体は公知の技術であるため詳細な説明を省略する。

動き補償予測部５の動き補償処理部２２は、動きベクトル探索部２１から動きベクトルを受けると、その動きベクトルと動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像を用いて、符号化制御部２から出力されるインター予測パラメータに基づいて、インター予測処理を実施することで予測画像を生成する。
インター予測モードが単一予測モードを示している場合には、符号化制御部２から指示される参照画像リストの参照画像指示インデックスで示される参照画像と、動きベクトル探索部２１から出力される１つの動きベクトルとを用いて、インター予測処理を実施してインター予測画像を生成する。

インター予測モードが双予測モードを示している場合には、符号化制御部２から出力される参照画像リスト０の参照画像指示インデックスで示される参照画像と、動きベクトル探索部２１から出力される参照画像リスト０に対する動きベクトル０を用いて生成される予測画像０と、符号化制御部２から出力される参照画像リスト１の参照画像指示インデックスで示される参照画像と、動きベクトル探索部２１から出力される参照画像リスト１に対する動きベクトル１を用いて生成される予測画像１とを補間して生成される補間画像をインター予測画像として出力する。
なお、動き補償処理部２２の動き補償予測処理は公知の技術であるため詳細な説明を省略する。

次に、符号化制御部２におけるインター予測パラメータ決定の処理内容を具体的に説明する。
まず、符号化制御部２は、各インター予測モードに対して、最適な参照画像を決定する処理を実施する。
最初に、インター予測モードが単一モードの場合について説明する。

符号化制御部２は、符号化対象ブロックの階層（ｎ）に応じて、その符号化対象ブロックＢ_n内のパーティションＰ_i ⁿに対して有効な参照画像指示インデックスを決定する。
階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）内のパーティションＰ_i ⁿ（ブロックサイズが所定のサイズより小さいパーティションＰ_i ⁿ）に対しては、全てのパーティションＰ_i ⁿに対しマージフラグを０とし、全てのパーティションが共通の参照画像指示インデックスで示される参照画像を用いることとする。
全てのパーティションに適用される参照画像指示インデックスの有効範囲は、０からＫの範囲とし、この範囲の中から、全てのパーティションに最適な参照画像指示インデックスを１つ決定する。

一方、階層ｎが所定の階層（Ｎ）より小さい符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティションＰ_i ⁿ（ブロックサイズが所定のサイズより大きいパーティションＰ_i ⁿ）に対しては、パーティション毎にマージフラグ０または１を指示し、マージフラグ０が指示されたパーティション毎に有効な参照画像指示インデックスの中から最適な参照画像指示インデックスを決定できるようにする。
各パーティションに適用される参照画像指示インデックスの有効範囲は、０からＫの範囲とする。

所定の階層（Ｎの値）は、例えば、符号化制御部２で決定された分割階層数の上限に設定される。
この場合には、一番小さいサイズの符号化対象ブロック内のパーティションのみ、共通のインター予測モードと共通の参照画像指示インデックスが適用される。
別の例では、所定の階層（Ｎの値）を、符号化対象ブロックを複数まとめた単位であるスライス単位やフレーム単位、複数フレームをまとめたシーケンス単位に切り替えるようにし、それぞれのヘッダ情報にＮの値を符号化して、ビットストリームに多重化するようにしてもよい。
また、別の例では、ビットストリームの符号化条件（解像度の上限や使う符号化ツールのセットなど）を表すプロファイルやレベル毎に定めておき、プロファイルやレベルに応じて切り替えるようにしてもよい。
この場合、プロファイルやレベルに応じて、Ｎの値が一意に決められるため、Ｎの値を符号化してビットストリームに多重化する必要がない。

符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションＰ_i ⁿに対して最適な参照画像指示インデックスを決定する処理について説明する。
図６は符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションＰ_i ⁿに対して最適な参照画像指示インデックスを決定する処理を示すフローチャートである。
符号化制御部２は、参照画像リスト内の有効な参照画像指示インデックス（ｒｅｆＩｄｘ）を動き補償予測部５に指示する（ステップＳＴ２１，ＳＴ２２）。

動き補償予測部５は、符号化制御部２から参照画像リスト内の有効な参照画像指示インデックス（ｒｅｆＩｄｘ）を受けると、符号化対象ブロックＢ_nの各パーティションＰ_i ⁿに対し、以下の処理を実施する。
即ち、動き補償予測部５は、参照画像指示インデックス（ｒｅｆＩｄｘ）で示される参照画像に対して、最適な動きベクトルを決定する（ステップＳＴ２３）。
次に、動き補償予測部５は、参照画像指示インデックス（ｒｅｆＩｄｘ）で示される参照画像と最適な動きベクトルを用いて、当該パーティションＰ_i ⁿに対する動き補償予測処理を実施することで、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ２４）。
動き補償予測部５は、インター予測画像Ｐ_INTERi ⁿを生成すると、そのインター予測画像Ｐ_INTERi ⁿを用いて、パーティションＰ_i ⁿ毎に動き補償予測コストを算出する（ステップＳＴ２５）。

動き補償予測コストには、例えば、インター予測画像と原画像の画素の差分絶対値和（ＳＡＤ）や、インター予測画像と原画像の画素の差分二乗和（ＳＳＥ）、インター予測画像と原画像の差分信号をアダマール変換などにより直交変換して得られる変換差分信号の画素の差分絶対値和（ＳＡＤ）などの予測誤差コストを用いる。
または、これらの予測誤差コストに動きベクトルや参照画像指示インデックスの符号量を加味したコストを用いてもよい。または、差分信号を変換・量子化したのち、逆量子化・逆変換して局所復号予測差分信号を生成し、インター予測画像と加算して局所復号画像を生成し、局所復号画像と原画像の差分二乗和に予測差分信号やインター予測パラメータの符号量を加味した符号量歪みコストを用いてもよい。

符号化制御部２は、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、動き補償予測部５が参照画像指示インデックス（ｒｅｆＩｄｘ）に対する動き補償予測コストを算出すると（ステップＳＴ２６）、全てのパーティションＰ_i ⁿの動き補償予測コストを加算して、その参照画像指示インデックス（ｒｅｆＩｄｘ）に対する符号化対象ブロックＢ_nの動き補償予測コストを算出する（ステップＳＴ２７）。
有効な全ての参照画像指示インデックスに対して、以上の処理（ステップＳＴ２３〜ＳＴ２８）を繰り返し実施する。

符号化制御部２は、参照画像リスト内の有効な全ての参照画像指示インデックスに対する符号化対象ブロックＢ_nの動き補償予測コストを算出すると（ステップＳＴ２２）、それらの動き補償予測コストを比較して、最小の動き補償予測コストを特定し、動き補償予測コストが最小の参照画像指示インデックス（ｒｅｆＩｄｘ）を符号化対象ブロックＢ_nの最適な参照画像指示インデックスに決定する（ステップＳＴ２９）。
これにより、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿで用いられる共通の参照画像が、最適な参照画像指示インデックスで示される参照画像になる。

符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティション毎に最適な参照画像指示インデックスを決定する処理について説明する。
図７は符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティション毎に最適な参照画像指示インデックスを決定する処理を示すフローチャートである。
符号化制御部２は、参照画像リスト内の有効な参照画像指示インデックス（ｒｅｆＩｄｘ）を動き補償予測部５に指示する（ステップＳＴ３１，ＳＴ３２）。

動き補償予測部５は、符号化制御部２から参照画像リスト内の有効な参照画像指示インデックス（ｒｅｆＩｄｘ）を受けると、符号化対象ブロックＢ_nの各パーティションＰ_i ⁿに対し、以下の処理を実施する。
即ち、動き補償予測部５は、参照画像指示インデックス（ｒｅｆＩｄｘ）で示される参照画像に対して、最適な動きベクトルを決定する（ステップＳＴ３３）。
次に、動き補償予測部５は、参照画像指示インデックス（ｒｅｆＩｄｘ）で示される参照画像と最適な動きベクトルを用いて、当該パーティションＰ_i ⁿに対する動き補償予測処理を実施することで、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ３４）。
動き補償予測部５は、インター予測画像Ｐ_INTERi ⁿを生成すると、そのインター予測画像Ｐ_INTERi ⁿを用いて、パーティションＰ_i ⁿ毎に動き補償予測コストを算出する（ステップＳＴ３５）。パーティションＰ_i ⁿ毎に算出する動き補償予測コストは、ｎ≧Ｎの場合と同様である。
有効な全ての参照画像指示インデックスに対して、以上の処理（ステップＳＴ３３〜ＳＴ３６）を繰り返し実施する。

符号化制御部２は、動き補償予測部５が有効な全ての参照画像指示インデックス（ｒｅｆＩｄｘ）に対する動き補償予測コストを算出すると、パーティションＰ_i ⁿ毎に、最小の動き補償予測コストを特定し、動き補償予測コストが最小の参照画像指示インデックス（ｒｅｆＩｄｘ）をパーティションＰ_i ⁿの最適な参照画像指示インデックスに決定する（ステップＳＴ３７）。
符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、以上の処理（ステップＳＴ３１〜ＳＴ３７）を繰り返し実施して、パーティションＰ_i ⁿ毎に最適な参照画像指示インデックスを決定する（ステップＳＴ３８）。

次に、インター予測モードが双予測モードの場合について説明する。
符号化制御部２は、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）内のパーティションＰ_i ⁿ（ブロックサイズが所定のサイズより小さいパーティションＰ_i ⁿ）に対しては、全てのパーティションＰ_i ⁿが、同じ参照画像リスト０の参照画像指示インデックスを適用するとともに、同じ参照画像リスト１の参照画像指示インデックスを適用する。
全てのパーティションＰ_i ⁿに適用される参照画像リスト０の参照画像指示インデックスの有効範囲は０からＫ₀の範囲とし、この範囲の中から、全てのパーティションＰ_i ⁿに最適な参照画像リスト０の参照画像指示インデックスを１つ決定する。参照画像リスト１に対しても同様に、参照画像リスト１の参照画像指示インデックスの有効範囲は０からＫ₁の範囲とし、この範囲の中から、全てのパーティションＰ_i ⁿに最適な参照画像リスト１の参照画像指示インデックスを１つ決定する。

一方、階層ｎが所定の階層（Ｎ）より小さい符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティションＰ_i ⁿ（ブロックサイズが所定のサイズより大きいパーティションＰ_i ⁿ）に対しては、パーティションＰ_i ⁿ毎に有効な参照画像指示インデックスの中から最適な参照画像指示インデックスを決定できるようにする。
各パーティションＰ_i ⁿに適用される参照画像リスト０の参照画像指示インデックスの有効範囲は０からＫ₀の範囲とし、参照画像リスト１の参照画像指示インデックスの有効範囲は０からＫ₁の範囲とする。

符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションＰ_i ⁿに対して最適な参照画像指示インデックスを決定する処理について説明する。
図８は符号化対象ブロックＢ_n（ｎ≧Ｎ）内の全てのパーティションＰ_i ⁿに対して最適な参照画像指示インデックスを決定する処理を示すフローチャートである。
符号化制御部２は、参照画像リスト０内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と、参照画像リスト１内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを動き補償予測部５に指示する（ステップＳＴ４１，ＳＴ４２）。

動き補償予測部５は、符号化制御部２から参照画像リスト０内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と、参照画像リスト１内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを受けると、参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）で示される参照画像に対する動きベクトル０と、参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）で示される参照画像に対する動きベクトル１との最適な組み合わせを決定する（ステップＳＴ４３）。

次に、動き補償予測部５は、参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）で示される参照画像と、参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）で示される参照画像と、それぞれの参照画像に対する動きベクトル０，１とを用いて、当該パーティションＰ_i ⁿに対する動き補償予測処理を実施することで、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ４４）。
動き補償予測部５は、インター予測画像Ｐ_INTERi ⁿを生成すると、単一予測モードの場合と同様に、そのインター予測画像Ｐ_INTERi ⁿを用いて、パーティションＰ_i ⁿ毎に動き補償予測コストを算出する（ステップＳＴ４５）。

符号化制御部２は、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、動き補償予測部５が参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）に対する動き補償予測コストと、参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）に対する動き補償予測コストとを算出すると（ステップＳＴ４６）、全てのパーティションＰ_i ⁿの動き補償予測コストを加算して、参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とに対する符号化対象ブロックＢ_nの動き補償予測コストを算出する（ステップＳＴ４７）。
参照画像リスト０内の有効な全ての参照画像指示インデックスと参照画像リスト１内の有効な全ての参照画像指示インデックスとに対して、以上の処理（ステップＳＴ４３〜ＳＴ４８）を繰り返し実施する。

符号化制御部２は、参照画像リスト０内の有効な全ての参照画像指示インデックスと参照画像リスト１内の有効な全ての参照画像指示インデックスとに対する符号化対象ブロックＢ_nの動き補償予測コストを算出すると（ステップＳＴ４２）、符号化対象ブロックＢ_nの動き補償予測コストを最小とする参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを特定する。
そして、符号化対象ブロックＢ_nの動き補償予測コストを最小とする参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを符号化対象ブロックＢ_nの最適な参照画像指示インデックスに決定する（ステップＳＴ４９）。
これにより、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿで用いられる共通の参照画像が、参照画像リスト０の最適な参照画像指示インデックスで示される参照画像と、参照画像リスト１の最適な参照画像指示インデックスで示される参照画像とになる。

符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティションＰ_i ⁿ毎に最適な参照画像指示インデックスを決定する処理について説明する。
図９は符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティション毎に最適な参照画像指示インデックスを決定する処理を示すフローチャートである。
符号化制御部２は、参照画像リスト０内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と、参照画像リスト１内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを動き補償予測部５に指示する（ステップＳＴ５１，ＳＴ５２）。

動き補償予測部５は、符号化制御部２から参照画像リスト０内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と、参照画像リスト１内の有効な参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを受けると、参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）で示される参照画像に対する動きベクトル０と、参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）で示される参照画像に対する動きベクトル１との最適な組み合わせを決定する（ステップＳＴ５３）。
次に、動き補償予測部５は、参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）で示される参照画像と、参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）で示される参照画像と、それぞれの参照画像に対する動きベクトル０，１とを用いて、当該パーティションＰ_i ⁿに対する動き補償予測処理を実施することで、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ５４）。

動き補償予測部５は、インター予測画像Ｐ_INTERi ⁿを生成すると、単一予測モードの場合と同様に、そのインター予測画像Ｐ_INTERi ⁿを用いて、パーティションＰ_i ⁿ毎に動き補償予測コストを算出する（ステップＳＴ５５）。パーティションＰ_i ⁿ毎に算出する動き補償予測コストは、ｎ≧Ｎの場合と同様である。
参照画像リスト０内の有効な全ての参照画像指示インデックスと参照画像リスト１内の有効な全ての参照画像指示インデックスに対して、以上の処理（ステップＳＴ５３〜ＳＴ５６）を繰り返し実施する。

符号化制御部２は、動き補償予測部５が参照画像リスト０内の有効な全ての参照画像指示インデックス（ｒｅｆＩｄｘＬ０）に対する動き補償予測コストと、参照画像リスト１内の有効な全ての参照画像指示インデックス（ｒｅｆＩｄｘＬ１）に対する動き補償予測コストとを算出すると、パーティションＰ_i ⁿの動き補償予測コストを最小とする参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とを特定する。
そして、パーティションＰ_i ⁿの動き補償予測コストを最小とする参照画像リスト０の参照画像指示インデックス（ｒｅｆＩｄｘＬ０）と参照画像リスト１の参照画像指示インデックス（ｒｅｆＩｄｘＬ１）とをパーティションＰ_i ⁿの最適な参照画像指示インデックスに決定する（ステップＳＴ５７）。
符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、以上の処理（ステップＳＴ５１〜ＳＴ５７）を繰り返し実施して、パーティションＰ_i ⁿ毎に最適な参照画像指示インデックスを決定する（ステップＳＴ５８）。

符号化制御部２は、上記のようにして、最適な参照画像指示インデックスを決定すると、参照画像指示インデックスと同様に、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）内のパーティションＰ_i ⁿに対しては、全てのパーティションＰ_i ⁿに共通のインター予測モードを決定する。
一方、階層ｎが所定の階層（Ｎ）より小さい符号化対象ブロックＢ_n（ｎ＜Ｎ）内のパーティションＰ_i ⁿに対しては、パーティションＰ_i ⁿ毎にインター予測モードを決定する。
即ち、符号化制御部２は、符号化対象ブロックあるいはパーティション単位に、各インター予測モードに対して決定された動きベクトルと参照画像指示インデックスを用いて生成されるインター予測画像の動き補償予測コストを算出する。
そして、符号化対象ブロックあるいはパーティション単位に算出された動き補償予測コストを比較し、最小の動き補償予測コストを与えるインター予測モードを符号化対象ブロックＢ_nあるいはパーティションＰ_i ⁿの最適なインター予測モードに決定する。
なお、動き補償予測コストは、参照画像の決定処理と同様に、予測誤差コストに動きベクトル、参照画像指示インデックスやインター予測モードなどの符号量を加味したコストを用いる。または、参照画像の決定処理と同様に、符号量歪みコストを用いてもよい。

次に、可変長符号化部１３が符号化制御部２から出力されたインター予測パラメータと動き補償予測部５から出力された動きベクトルを可変長符号化する処理内容を具体的に説明する。
可変長符号化部１３は、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）については、符号化制御部２が、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと参照画像指示インデックスを動き補償予測部５に指示しているので、符号化対象ブロックＢ_n毎に１つのインター予測モードと参照画像指示インデックスを含むインター予測パラメータを可変長符号化して、ビットストリームに多重化する。
動きベクトルについては、動き補償予測部５が符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に生成しているので、符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に動きベクトルを可変長符号化して、ビットストリームに多重化する。

可変長符号化部１３は、階層ｎが所定の階層（Ｎ）より小さい符号化対象ブロックＢ_n（ｎ＜Ｎ）については、符号化制御部２が、符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に１つのインター予測モードと参照画像指示インデックスを動き補償予測部５に指示しているので、符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に１つのインター予測モードと参照画像指示インデックスを含むインター予測パラメータを可変長符号化して、ビットストリームに多重化する。
動きベクトルについても、動き補償予測部５が符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に生成しているので、符号化対象ブロックＢ_n内のパーティションＰ_i ⁿ毎に動きベクトルを可変長符号化して、ビットストリームに多重化する。

以上で明らかなように、この実施の形態１によれば、ブロック分割部１から出力された符号化対象ブロックＢ_nのサイズが所定サイズ以下である場合、符号化制御部２が、符号化対象ブロックＢ_nに属する全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、そのインター予測モード及び参照画像指示インデックスを含むインター予測パラメータを動き補償予測部５及び可変長符号化部１３に出力し、動き補償予測部５が、その参照画像指示インデックスが示す全てのパーティションＰ_i ⁿで共通の参照画像を用いて、ブロック分割部１から出力された符号化対象ブロックＢ_nに属するパーティションＰ_i ⁿ毎に動きベクトルを生成し、その動きベクトルを用いて、当該パーティションＰ_i ⁿに対するインター予測処理を実施することでインター予測画像Ｐ_INTERi ⁿを生成するとともに、その動きベクトルを可変長符号化部１３に出力するように構成したので、符号化対象ブロックＢ_nの中に、動きは異なるが連続している領域が含まれているような場合に、インター予測パラメータに係る情報の符号量を削減することができる効果を奏する。

即ち、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）については、符号化制御部２が、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスを動き補償予測部５に指示し、動き補償予測部５が、全てのパーティションＰ_i ⁿで共通の参照画像を用いて、パーティションＰ_i ⁿ毎に動きベクトルを生成して、インター予測画像Ｐ_INTERi ⁿを生成するようにしているので、パーティションＰ_i ⁿ毎に異なる参照画像へのメモリアクセスが不要になり、メモリアクセスを効率化することができる。
また、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）については、可変長符号化部１３が、全てのパーティションＰ_i ⁿで共通のインター予測モードと参照画像指示インデックスを含むインター予測パラメータを符号化対象ブロックＢ_n毎に可変長符号化して、ビットストリームに多重化するようにしているので、インター予測パラメータに係る情報の符号量を削減することができる。

なお、この実施の形態１では、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）に対しては、全てのパーティションＰ_i ⁿに対して共通のインター予測モードと共通の参照画像指示インデックスを適用して、そのインター予測モードと参照画像指示インデックスを含むインター予測パラメータを可変長符号化するようにしているが、全てのパーティションＰ_i ⁿに対して、予め定められたインター予測モードと参照画像指示インデックスを適用することで、そのインター予測モードと参照画像指示インデックスを含むインター予測パラメータを符号化する必要がないようにしてもよい。
例えば、インター予測モードは、単一予測モードあるいは双予測モードのいずれか一方に固定し、参照画像指示インデックスは、固定値０に設定してもよい。また、所定の手順で、周囲の符号化済みの符号化対象ブロックから符号化対象ブロックＢ_nの参照画像指示インデックスを推定し、その推定した値を設定するようにしてもよい。

なお、この実施の形態１では、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）に対しては、全てのパーティションＰ_i ⁿのマージフラグが常に０であるとし、全てのパーティションＰ_i ⁿに対して共通のインター予測モードと共通の参照画像指示インデックスを適用するようにしたので、階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックＢ_n（ｎ≧Ｎ）に対しては、マージフラグを可変長符号化する必要がなく、マージフラグに係る情報の符号量を削減することができる。
また、階層ｎが所定の階層（Ｎ）以上のＢ_n（ｎ≧Ｎ）に対しては、マージフラグが１であることを禁止し、符号化制御部２が、符号化対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスを動き補償予測部５に指示し、動き補償予測部５が、全てのパーティションＰ_i ⁿで共通の参照画像を用いて、パーティションＰ_i ⁿ毎に動きベクトルを生成して、インター予測画像Ｐ_INTERi ⁿを生成するようにしているので、パーティションＰ_i ⁿ毎に異なる参照画像へのメモリアクセスが不要になり、メモリアクセスを効率化することができる。

次に、図１０の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１１のステップＳＴ６１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。

即ち、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を図１の動画像符号化装置と同様の手順で決定する（ステップＳＴ６２）。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図４で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。

可変長復号部３１は、最大符号化ブロックサイズ及び分割階層数の上限を決定すると、最大符号化ブロックに割り当てられている符号化モードを復号し、その符号化モードに含まれている最大符号化ブロックの分割状態を示す情報を復号する。
そして、可変長復号部３１は、最大符号化ブロックの分割状態に基づいて、階層的に分割されている復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ６３）。

次に、可変長復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードを復号し、その符号化モードに含まれている復号対象ブロックの分割状態を示す情報を復号する。
そして、可変長復号部３１は、復号対象ブロックの分割状態に基づいて、その復号対象ブロックを更に１つないし複数の予測処理単位に分割し、符号化対象ブロック単位または予測処理単位に割り当てられている予測パラメータを復号する（ステップＳＴ６４）。

可変長復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、その復号対象ブロックに含まれている１つ以上のパーティション毎にイントラ予測パラメータを復号する。
一方、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがインター符号化モードである場合、復号対象ブロック毎、あるいは、その復号対象ブロックに含まれている１つ以上のパーティション毎にインター予測パラメータを復号する。

インター予測パラメータの復号は、復号対象ブロック（符号化対象ブロック）の階層ｎが所定の階層（Ｎ）以上であれば、復号対象ブロック毎に、１つのインター予測モードと、各参照画像リストに１つの参照画像指示インデックスを可変長復号する。
そして、復号対象ブロック内の全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを設定する。動きベクトルについては、復号対象ブロック内のパーティション毎に可変長復号する。
一方、復号対象ブロック（符号化対象ブロック）の階層ｎが所定の階層（Ｎ）より小さければ、復号対象ブロック内のパーティション毎に、マージフラグを復号し、マージフラグが０の場合にはインター予測モードと、各参照画像リストに対する参照画像指示インデックスと、動きベクトルとを可変長復号する。マージフラグが１の場合には、マージインデックスを復号し、マージインデックスで示される隣接パーティションに適用されたインター予測パラメータ（インター予測モード指示情報、参照画像指示インデックス）と動きベクトルを動き補償部３５に出力する。

所定の階層（Ｎの値）は、図１の動画像符号化装置に設定されている値と同じ値が用いられる。
所定の階層（Ｎの値）が動画像符号化装置側で分割階層数の上限に設定されている場合には、可変長復号部３１で決定された分割階層数の上限に設定される。
この場合、一番小さいサイズの復号対象ブロック（符号化対象ブロック）内のパーティションのみが、共通のインター予測モードと共通の参照画像指示インデックスが適用される。

別の例では、動画像符号化装置側で、所定の階層（Ｎの値）を、符号化対象ブロックを複数まとめた単位であるスライス単位やフレーム単位、あるいは、複数のフレームをまとめたシーケンス単位に切り替えるようにし、それぞれのヘッダ情報にＮの値を符号化して、ビットストリームに多重化しているような場合には、ヘッダ情報から復号した値に設定される。
また、別の例では、動画像符号化装置側で、ビットストリームの符号化条件（解像度の上限や使う符号化ツールのセットなど）を表すプロファイルやレベル毎に定められた値に設定している場合には、動画像符号化装置と同様に、プロファイルやレベル毎に定められた値に設定される。
なお、動画像符号化装置側で、符号化対象ブロックの階層ｎが所定の階層（Ｎ）以上の符号化対象ブロックに含まれる全てのパーティションに対し、固定のインター予測モードや参照画像指示インデックスを適用している場合には、動画像符号化装置と同様の手順で、復号対象ブロック内の全てのパーティションに対して、固定のインター予測モードや参照画像指示インデックスを設定する。

可変長復号部３１は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数のパーティションに分割し、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ６４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がイントラ符号化モードであれば（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がインター符号化モードであれば（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がイントラ符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、切換スイッチ３３からイントラ予測パラメータを受けると（ステップＳＴ６５）、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている局所復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢⁿ内の各パーティションＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_INTRAi ⁿを生成する（ステップＳＴ６６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がインター符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、切換スイッチ３３からインター予測パラメータ及び動きベクトルを受けると（ステップＳＴ６５）、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックＢⁿ又はパーティションＰ_i ⁿに対するインター予測処理を実施してインター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ６７）。
ただし、動き補償部３５は、復号対象ブロックＢⁿ内の全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスが決定されている場合、その参照画像指示インデックスが示す全てのパーティションＰ_i ⁿで共通の参照画像と、パーティションＰ_i ⁿ毎の動きベクトルとを用いて、当該パーティションＰ_i ⁿに対するイントラ予測処理を実施してイントラ予測画像Ｐ_INTERi ⁿを生成する。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ６８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償部３５により生成されたインター予測画像Ｐ_INTERi ⁿとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ６９）。
この復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、全ての復号対象ブロックＢⁿに対するステップＳＴ６３〜ＳＴ６９の処理が完了すると（ステップＳＴ７０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ７１）。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

この実施の形態１の動画像復号装置では、階層ｎが所定の階層（Ｎ）以上の復号対象ブロック（符号化対象ブロック）Ｂ_n（ｎ≧Ｎ）については、可変長復号部３１が、復号対象ブロックＢ_n単位のインター予測パラメータに含まれているインター予測モードと参照画像指示インデックスを可変長復号し、復号対象ブロックＢ_n内の全てのパーティションＰ_i ⁿに対して、共通のインター予測モードと共通の参照画像指示インデックスを設定するようにしているので、符号量を削減して符号化されたインター予測パラメータを正しく復号することができる。
また、階層ｎが所定の階層（Ｎ）以上の復号対象ブロックＢ_n（ｎ≧Ｎ）については、全てのパーティションＰ_i ⁿでマージフラグを０とし、動き補償部３５が、全てのパーティションＰ_i ⁿで共通の参照画像と、パーティションＰ_i ⁿ毎の動きベクトルとを用いて、インター予測画像Ｐ_INTERi ⁿを生成するようにしているので、パーティションＰ_i ⁿ毎に異なる参照画像へのメモリアクセスが不要になり、メモリアクセスを効率化することができる。

本実施の形態１では、符号化器と復号器の両方に制約をつけるものとして示したが、これはプロファイルなどで規定される、符号化器に課される制約条件として位置づけてもよい。メモリアクセスが制限されている場合などのための制約条件とすることで、性能と処理量のバランスをとることができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ、４ イントラ予測部、５ 動き補償予測部（予測画像生成手段）、６ 減算部（量子化手段）、７ 変換・量子化部（量子化手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 動きベクトル探索部、２２ 動き補償処理部、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（逆量子化手段）、３３ 切換スイッチ、３４ イントラ予測部、３５ 動き補償部（予測画像生成手段）、３６ 加算部、３７ イントラ予測用メモリ、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ。

Claims (4)

1. 入力画像を階層的に予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割手段と、上記ブロック分割手段から出力される符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する符号化制御手段と、上記符号化制御手段により決定されたインター予測パラメータに含まれている参照画像指示インデックスが示す参照画像と上記ブロック分割手段から出力された符号化対象ブロックから動きベクトルを生成し、上記動きベクトルを用いて、上記符号化対象ブロックに対するインター予測処理を実施することで予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記ブロック分割手段から出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数、上記符号化制御手段により決定されたインター予測パラメータ及び上記予測画像生成手段により生成された動きベクトルを可変長符号化して、上記量子化係数、上記インター予測パラメータ及び上記動きベクトルの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
   上記符号化制御手段は、上記ブロック分割手段から出力された符号化対象ブロックのサイズが所定サイズ以下である場合、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、上記インター予測モード及び上記参照画像指示インデックスを含むインター予測パラメータを上記予測画像生成手段及び上記可変長符号化手段に出力し、
   上記予測画像生成手段は、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像を用いて、上記ブロック分割手段から出力された符号化対象ブロックに属するパーティション毎に動きベクトルを生成し、上記動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成するとともに、上記動きベクトルを上記可変長符号化手段に出力することを特徴とする動画像符号化装置。
2. ビットストリームに多重化されている符号化データから予測処理単位のブロックである符号化対象ブロックに係る量子化係数、インター予測パラメータ及び動きベクトルを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化対象ブロックに係るインター予測パラメータに含まれている参照画像指示インデックスが示す参照画像及び当該符号化対象ブロックに係る動きベクトルを用いて、上記符号化対象ブロックに対するインター予測処理を実施することで予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化対象ブロックに係る量子化係数を逆量子化して、量子化前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
   上記可変長復号手段は、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを含んでいるインター予測パラメータを可変長復号するとともに、上記符号化対象ブロックに属するパーティション毎の動きベクトルを可変長復号して、上記インター予測パラメータ及び上記動きベクトルを上記予測画像生成手段に出力し、
   上記予測画像生成手段は、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像とパーティション毎の動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成することを特徴とする動画像復号装置。
3. ブロック分割手段が、入力画像を階層的に予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割処理ステップと、符号化制御手段が、上記ブロック分割処理ステップで出力される符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する符号化制御処理ステップと、予測画像生成手段が、上記符号化制御処理ステップで決定されたインター予測パラメータに含まれている参照画像指示インデックスが示す参照画像と上記ブロック分割処理ステップで出力された符号化対象ブロックから動きベクトルを生成し、上記動きベクトルを用いて、上記符号化対象ブロックに対するインター予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、量子化手段が、上記予測画像生成処理ステップで生成された予測画像と上記ブロック分割処理ステップで出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が、上記量子化処理ステップで出力された量子化係数、上記符号化制御処理ステップで決定されたインター予測パラメータ及び上記予測画像生成処理ステップで生成された動きベクトルを可変長符号化して、上記量子化係数、上記インター予測パラメータ及び上記動きベクトルの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
   上記符号化制御処理ステップでは、上記ブロック分割処理ステップで出力された符号化対象ブロックのサイズが所定サイズ以下である場合、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを決定して、上記インター予測モード及び上記参照画像指示インデックスを含むインター予測パラメータを上記予測画像生成処理ステップ及び上記可変長符号化処理ステップに与え、
   上記予測画像生成処理ステップでは、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像を用いて、上記ブロック分割処理ステップで出力された符号化対象ブロックに属するパーティション毎に動きベクトルを生成し、上記動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成するとともに、上記動きベクトルを上記可変長符号化処理ステップに与えることを特徴とする動画像符号化方法。
4. 可変長復号手段が、ビットストリームに多重化されている符号化データから予測処理単位のブロックである符号化対象ブロックに係る量子化係数、インター予測パラメータ及び動きベクトルを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化対象ブロックに係るインター予測パラメータに含まれている参照画像指示インデックスが示す参照画像及び当該符号化対象ブロックに係る動きベクトルを用いて、上記符号化対象ブロックに対するインター予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化対象ブロックに係る量子化係数を逆量子化して、量子化前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
   上記可変長復号処理ステップでは、上記符号化対象ブロックに属する全てのパーティションに対して、共通のインター予測モードと共通の参照画像指示インデックスを含んでいるインター予測パラメータを可変長復号するとともに、上記符号化対象ブロックに属するパーティション毎の動きベクトルを可変長復号して、上記インター予測パラメータ及び上記動きベクトルを上記予測画像生成処理ステップに与え、
   上記予測画像生成処理ステップでは、上記参照画像指示インデックスが示す全てのパーティションで共通の参照画像とパーティション毎の動きベクトルを用いて、当該パーティションに対するインター予測処理を実施することで予測画像を生成することを特徴とする動画像復号方法。

Images