JP2017017736A - 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造 - Google Patents

Abstract

【課題】局所的に発生する予測誤差を低減して、画像品質の高い画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を生成することができる画像復号装置及び画像復号方法を得る。
【解決手段】画像復号装置は、符号化ブロックの符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段を備えている。イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、ブロックのサイズに応じて中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるものであり、フィルタ処理はブロックの特定の位置の画素のみに対し行われる。
【選択図】図２

Description

この発明は、動画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法と、符号化データのデータ構造とに関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化対象ブロック）に分割し、その符号化対象ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化対象ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。

例えば、国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１０は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１０において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。

図１０では、イントラ予測モードとして、９個のモード０〜モード８が用意されているが、モード２は平均値予測を行うモードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測する。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで予測画像を生成する。例えば、横縞模様のときにはモード１が選択される。
モード３〜モード８は、上または左のブロックの隣接画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成する。

イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素の場合と同様に９個のイントラ予測モードが規定されている。
１６×１６画素の場合には、４個のイントラ予測モード（平均値予測、垂直方向予測、水平方向予測、平面予測）が規定されている。
平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

ブロックサイズが４×４画素または８×８画素の場合の方向性予測モードは、例えば、４５度など、モードによって予め定められた方向で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致する場合、予測効率が高くなって符号量を削減することができる。
しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで（揺らぐ、曲がる等）いたりするだけで、局所的に大きな予測誤差が発生してしまって、予測効率が極端に低下することがある。
このような予測効率の低下を防ぐために、８×８画素の方向性予測では、符号化済みの隣接画素に平滑化フィルタを施したものを予測画像の生成時に用いる参照画像とすることで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像符号化装置は以上のように構成されているので、フィルタ処理を実施して、平滑化された予測画像を生成すれば、予測方向の僅かなずれや、エッジに僅かな歪みが生じても、発生する予測誤差を低減することができる。しかし、非特許文献１では、８×８画素のブロック以外にはフィルタ処理を実施しておらず、８×８画素のブロックに用いるフィルタも一通りしかない。実際には、８×８画素以外のサイズのブロックでも同様に、予測画像と符号化対象画像の絵柄が似ていても、エッジの僅かなミスマッチによって、局所的に大きな予測誤差が発生して、予測効率の大幅な低下が生じることがある課題があった。
また、同一サイズのブロックにおいても、予測誤差信号を量子化する際に用いる量子化パラメータや、ブロック内の画素の位置などが異なると、局所的な予測誤差を低減するのに適しているフィルタが異なるが、一通りのフィルタしか用意されておらず、予測誤差を十分に低減することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、局所的に発生する予測誤差を低減して、画像品質の高い画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を生成することができる画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造を得ることを目的とする。

この発明に係る画像復号装置は、符号化ブロックの符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、ブロックのサイズに応じて中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるものであり、フィルタ処理はブロックの特定の位置の画素のみに対し行われるものである。

この発明によれば、符号化ブロックの符号化モードがイントラ符号化モードである場合、符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、ブロックのサイズに応じて中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるものであり、フィルタ処理はブロックの特定の位置の画素のみに対し行われるように構成した。
これにより、局所的に発生する予測誤差を低減して、画像品質の高い画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を画像復号装置側でも生成することができる効果を奏する。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢⁿ内の各パーティションＰ_i ⁿにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_i ⁿ＝ｍ_i ⁿ＝４のとき、パーティションＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 Ｎ＝５の場合の参照画素配置の一例を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、符号化済みの近傍画素からのイントラ予測処理または近接フレーム間で動き補償予測処理を実施することで予測画像を生成し、その予測画像とフレーム画像の差分画像である予測誤差信号に対して、直交変換・量子化による圧縮処理を施した後に、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測誤差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測誤差信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測誤差信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測誤差の符号化処理を実施するようにしている。

この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測誤差符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。

ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
ただし、イントラ予測部４は上記の予測画像を生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を減算部６及び加算部９に出力する。
上記のフィルタは、次の４個のパラメータのうちの少なくとも１つ以上のパラメータを考慮して選択する。
・パラメータ（１）
上記の予測画像のブロックサイズ
・パラメータ（２）
符号化制御部１により決定された量子化パラメータ
・パラメータ（３）
予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
符号化制御部１により決定されたイントラ予測パラメータ
なお、切替スイッチ３及びイントラ予測部４からイントラ予測手段が構成されている。

動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測誤差信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算器９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図２はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図２において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測誤差符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。

切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。

イントラ予測部５３はフレーム内の復号済みの画像信号を用いて、切替スイッチ５２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
ただし、イントラ予測部５３は上記の予測画像を生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を加算部５６に出力する。
上記のフィルタは、次の４個のパラメータのうちの少なくとも１つ以上のパラメータを考慮して選択する。
・パラメータ（１）
上記の予測画像のブロックサイズ
・パラメータ（２）
可変長復号部５１により可変長復号された量子化パラメータ
・パラメータ（３）
予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
可変長復号部５１により可変長復号されたイントラ予測パラメータ
なお、切替スイッチ５２及びイントラ予測部５３からイントラ予測手段が構成されている。

動き補償予測部５４は動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ５２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。

逆量子化・逆変換部５５は可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部５５は差分画像生成手段を構成している。

加算部５６は逆量子化・逆変換部５５から出力された復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部５６は復号画像生成手段を構成している。
イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部５８は加算器５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図２では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図３のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測誤差符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測誤差符号化パラメータを必要に応じてイントラ予測部４に出力する。

ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ⁰であり、輝度成分で（Ｌ⁰，Ｍ⁰）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ⁰を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢⁿを得ている。

深さｎにおいては、符号化ブロックＢⁿはサイズ（Ｌⁿ，Ｍⁿ）の画像領域である。
ただし、ＬⁿとＭⁿは同じであってもよいし異なっていてもよいが、図５の例ではＬⁿ＝Ｍⁿのケースを示している。
以降、符号化ブロックＢⁿのサイズは、符号化ブロックＢⁿの輝度成分におけるサイズ（Ｌⁿ，Ｍⁿ）と定義する。

ブロック分割部２は、４分木分割を行うため、常に（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌⁿ，Ｍⁿ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌⁿ／２，Ｍⁿ／２）である。
以降、第ｎ階層の符号化ブロックＢⁿで選択しうる符号化モードをｍ（Ｂⁿ）と記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂⁿ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂⁿ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢⁿに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢⁿは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢⁿに属するパーティションをＰ_i ⁿ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢⁿに属するパーティションＰ_i ⁿの分割がどのようになされているかは符号化モードｍ（Ｂⁿ）の中に情報として含まれる。
パーティションＰ_i ⁿは、すべて符号化モードｍ（Ｂⁿ）に従って予測処理が行われるが、パーティションＰ_i ⁿ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢⁿを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂⁿ）が割り当てられたノード（符号化ブロックＢⁿ）を示している。

切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢⁿのパーティションＰ_i ⁿに対して最適な符号化モードｍ（Ｂⁿ）を選択すると、その符号化モードｍ（Ｂⁿ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂⁿ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢⁿのパーティションＰ_i ⁿを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックＢⁿのパーティションＰ_i ⁿに対するフレーム内予測処理を実施することで、イントラ予測画像Ｐ_i ⁿを生成する（ステップＳＴ４）。
ただし、イントラ予測部４は、上記のイントラ予測画像Ｐ_i ⁿを生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐ_i ⁿに対するフィルタ処理を実施する。
イントラ予測部４は、イントラ予測画像Ｐ_i ⁿに対するフィルタ処理を実施すると、フィルタ処理後のイントラ予測画像Ｐ_i ⁿを減算部６及び加算部９に出力するが、図２の動画像復号装置でも同じイントラ予測画像Ｐ_i ⁿを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
イントラ予測部４の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢⁿのパーティションＰ_i ⁿを受けると、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックＢⁿのパーティションＰ_i ⁿに対する動き補償予測処理を実施することでインター予測画像Ｐ_i ⁿを生成する（ステップＳＴ５）。
なお、動き補償予測処理を実施することで予測画像を生成する技術は公知の技術であるため詳細な説明を省略する。

減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を生成すると、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を減算することで差分画像を生成し、その差分画像を示す予測誤差信号ｅ_i ⁿを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から差分画像を示す予測誤差信号ｅ_i ⁿを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号ｅ_i ⁿハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測誤差信号ｅ_i ⁿハットを受けると、その局所復号予測誤差信号ｅ_i ⁿハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を示す予測信号を加算することで、局所復号パーティション画像Ｐ_i ⁿハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢⁿに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢⁿに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。

ループフィルタ部１１は、加算器９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算器９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、複数の最大符号化ブロックをまとめた単位で行ったり、１ピクチャ分の局所復号画像信号が出力された後に１ピクチャ分まとめて行ったりしてもよい。

次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢⁿ内の各パーティションＰ_i ⁿにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図７の例では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを表しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計している。

イントラ予測部４は、パーティションＰ_i ⁿに対するイントラ予測パラメータや、イントラ予測画像Ｐ_i ⁿの生成に使用するフィルタの選択パラメータに基づいて、パーティションＰ_i ⁿに対するイントラ予測処理を実施する。
以下、パーティションＰ_i ⁿの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。

ここでは、パーティションＰ_i ⁿのサイズをｌ_i ⁿ×ｍ_i ⁿ画素とする。
図８はｌ_i ⁿ＝ｍ_i ⁿ＝４のとき、パーティションＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、パーティションＰ_i ⁿに隣接する符号化済みの上パーティションの画素（２×ｌ_i ⁿ＋１）個と左パーティションの画素（２×ｍ_i ⁿ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素よりも、多くても少なくてもよい。
また、図８では、隣接する１行または１列分の画素を予測に用いているが、２行または２列、あるいはそれ以上の画素を予測に用いてもよい。

パーティションＰ_i ⁿに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_i ⁿ内の画素の予測値として中間予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_p＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_i ⁿ内の画素の予測値を生成する。
ただし、予測値を生成する画素（予測対象画素）のパーティションＰ_i ⁿ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とする。
予測に用いる参照画素の位置は、下記に示すＡと隣接画素の交点となる。

参照画素が整数画素位置にある場合は、その整数画素を予測対象画素の予測値とする。
一方、参照画素が整数画素位置にない場合は、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素から内挿して予測値を算出する。ただし、予測値は隣接する２画素に限るものではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

次に、上記の手順によって生成された中間予測画像（予測値）に対してフィルタ処理を行うことで最終的な予測画像を取得する。
以下、具体的なフィルタ処理について説明する。

予め用意されている少なくとも一つ以上のフィルタの中から、使用するフィルタを後述する手法で選択し、中間予測画像の各画素に対して、下記の式（１）に従ってフィルタ処理を行う。

式（１）において、ａ_n（ｎ＝０，１，・・・，Ｎ）は、参照画素にかかる係数（ａ₀，ａ₁，・・・，ａ_N-1）とオフセット係数ａ_Nから構成されるフィルタ係数である。
ｐ_n（ｎ＝０，１，・・・，Ｎ−１）は、フィルタ処理対象画素ｐ₀を含むフィルタの参照画素を表している。
ｓ（ｐ_n）は各参照画素の輝度値、ｓハット（ｐ₀）はフィルタ処理対象画素ｐ₀におけるフィルタ処理後の輝度値を示している。
ただし、フィルタ係数はオフセット係数ａ_Nがないものとして構成してもよい。また、Ｎは任意の参照画素数である。
図９はＮ＝５の場合の参照画素配置の一例を示す説明図である。

上記のフィルタ処理を行う際、パーティションＰ_i ⁿのサイズ（ｌ_i ⁿ×ｍ_i ⁿ）が大きい程、入力画像に非直線的なエッジ等が存在し易くなり、中間予測画像の予測方向とのずれが生じ易いため、中間予測画像を平滑化する方が好ましい。
さらに、予測誤差の量子化値が大きい程、復号画像に生じる量子化歪みが大きくなり、パーティションＰ_i ⁿに隣接している符号化済み画素から生成された中間予測画像の予測精度が低くなるため、パーティションＰ_i ⁿを大まかに表現するような平滑化した予測画像を用意する方が好ましい。
さらに、同じパーティションＰ_i ⁿ内の画素でも、中間予測画像の生成に用いるパーティションＰ_i ⁿに隣接する符号化済み画素から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易いため、予測画像を平滑化して、ずれが生じたときの急激な予測誤差の増加を抑制するようにした方がよい。
また、フィルタの強度だけではなく、フィルタの参照画素配置についても、中間予測画像の予測方向に応じて参照画素を適切に配置して、中間予測画像のエッジ等の絵柄が不自然に歪んでしまわないようにする必要がある。

したがって、フィルタ選択処理では、下記の４つのパラメータ（１）〜（４）を考慮して、フィルタを選択するように構成する。
（１）パーティションＰ_i ⁿのサイズ（ｌ_i ⁿ×ｍ_i ⁿ）
（２）予測誤差符号化パラメータに含まれている量子化パラメータ
（３）中間予測画像の生成時に使用する符号化済み画素（図８に示す“予測に用いる画素”）群とフィルタ処理対象画素との距離
（４）中間予測画像を生成した際のイントラ予測モードのインデックス値

具体的には、パーティションＰ_i ⁿのサイズ（ｌ_i ⁿ×ｍ_i ⁿ）が大きい程、量子化パラメータによって決まる量子化値が大きい程、フィルタ処理対象画素がパーティションＰ_i ⁿの左及び上にある中間予測画像の生成時に使用する符号化済み画素群との距離が離れる程、平滑化の強度の強いフィルタを用いるように、また、イントラ予測モードの予測方向を考慮したフィルタ強度及び参照画素配置となるように構成する。即ち、上記のパラメータの組み合わせのそれぞれに対して、予め用意したフィルタ群の中から適切なフィルタの対応付けをしておくことで、上記のパラメータに応じたフィルタの適応選択を実現する。
ただし、フィルタ強度の種類は2種類以上であればいくつでも良く、フィルタの強度の表現として、最も弱いフィルタをフィルタ処理なしと等価な処理として定義してもよい。したがって、中間予測画像内の特定の画素のみフィルタ処理が行われ、それ以外の画素は最も弱いフィルタ処理即ちフィルタ処理なしとするようなフィルタ処理を構成してもよい。
なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義して用いてもよい。

さらに、上記の説明では、４つのパラメータ（１）〜（４）を考慮して、フィルタを選択するように構成するものを示したが、４つのパラメータ（１）〜（４）のうち、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成してもよい。一例としては、上記４つのパラメータの内（３）と（４）を考慮する場合、イントラ予測モードの予測方向に応じて各フィルタ処理対象画素の予測に用いた画素からの距離（図８の例では、ブロックの上端に隣接する“参照画素”との距離）が離れる程、強度の強いフィルタが選択されるような構成が挙げられる。
また、４つのパラメータ（１）〜（４）は動画像復号装置側でも既知のパラメータであるため、上記のフィルタ処理を行うことによる符号化すべき付加情報は一切発生しない。

同様の手順で、パーティションＰ_i ⁿ内の輝度信号のすべての画素に対する予測画素を生成し、生成したイントラ予測画像Ｐ_i ⁿを出力する。
イントラ予測画像Ｐ_i ⁿの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力する。
パーティションＰ_i ⁿ内の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号のイントラ予測については上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。

次に、図２の動画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズの情報を復号する（図４のステップＳＴ２１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズ情報に基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。

ビットストリームに多重化されている最大サイズの符号化ブロックＢ⁰の符号化モードｍ（Ｂ⁰）には、最大サイズの符号化ブロックＢ⁰の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ⁰の符号化モードｍ（Ｂ⁰）を復号して、階層的に分割されている各々の符号化ブロックＢⁿを特定する（ステップＳＴ２３）。
可変長復号部５１は、各々の符号化ブロックＢⁿを特定すると、その符号化ブロックＢⁿの符号化モードｍ（Ｂⁿ）を復号し、その符号化モードｍ（Ｂⁿ）に属しているパーティションＰ_i ⁿの情報に基づいて、符号化ブロックＢⁿに属しているパーティションＰ_i ⁿを特定する。
可変長復号部５１は、符号化ブロックＢⁿに属しているパーティションＰ_i ⁿを特定すると、パーティションＰ_i ⁿ毎に、圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。

即ち、符号化ブロックＢⁿに割り当てられた符号化モードｍ（Ｂⁿ）がイントラ符号化モードである場合、符号化ブロックに属しているパーティションＰ_i ⁿ毎にイントラ予測パラメータを復号する。
符号化ブロックＢⁿに割り当てられた符号化モードｍ（Ｂⁿ）がインター符号化モードである場合、符号化ブロックに属しているパーティションＰ_i ⁿ毎にインター予測パラメータを復号する。
予測処理単位となるパーティションは、さらに予測誤差符号化パラメータに含まれる変換ブロックサイズ情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する。

切替スイッチ５２は、可変長復号部５１から符号化ブロックＢⁿに属しているパーティションＰ_i ⁿの符号化モードｍ（Ｂⁿ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰ_i ⁿの符号化モードｍ（Ｂⁿ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。

イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、フレーム内の復号済みの画像信号を用いて、そのイントラ予測パラメータに基づいて、符号化ブロックＢⁿのパーティションＰ_i ⁿに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_i ⁿを生成する（ステップＳＴ２６）。
ただし、イントラ予測部５３は、イントラ予測画像Ｐ_i ⁿを生成する際、図１のイントラ予測部４と同一の手法で予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐ_i ⁿに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像Ｐ_i ⁿを最終的なイントラ予測画像としている。
なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、図１のイントラ予測部４がフィルタ選択に用いるパラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義している場合、イントラ予測部５３も同様に上記フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義するように構成してもよい。

動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢⁿのパーティションＰ_i ⁿに対する動き補償予測処理を実施することでインター予測画像Ｐ_i ⁿを生成する（ステップＳＴ２７）。

逆量子化・逆変換部５５は、可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。

加算部５６は、逆量子化・逆変換部５５から復号予測誤差信号を受けると、その復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。

ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢⁿに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部５８は、加算部５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
ループフィルタ部５８によるフィルタリング処理は、加算部５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果を奏する。

また、この実施の形態１によれば、イントラ予測部４が、（１）パーティションＰ_i ⁿのサイズ（ｌ_i ⁿ×ｍ_i ⁿ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、符号化対象画像と相関の高い中間予測画像に対して、符号化対象画像のエッジの方向と予測方向との間に僅かにずれが生じたり、エッジに僅かな歪みが存在したりしている場合に生じる局所的な予測誤差を抑制する効果が得られ、予測効率を改善することができる効果を奏する。

この実施の形態１によれば、動画像復号装置のイントラ予測部５３がフレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。

また、この実施の形態１によれば、イントラ予測部５３が、（１）パーティションＰ_i ⁿのサイズ（ｌ_i ⁿ×ｍ_i ⁿ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、符号化対象画像と相関の高い中間予測画像に対して、符号化対象画像のエッジの方向と予測方向との間に僅かにずれが生じたり、エッジに僅かな歪みが存在したりしている場合に生じる局所的な予測誤差を抑制する効果が得られ、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。

実施の形態２．
上記実施の形態１では、イントラ予測部４が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するものについて示したが、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するようにしてもよい。
以下、具体的に処理内容を説明する。

上記実施の形態１では、イントラ予測部４，５３が、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択するようにしている。しかし、４つのパラメータ（１）〜（４）を考慮して、フィルタを選択する場合、選択候補の中から適切なフィルタを選択することは可能であるが、選択候補以外に最適なフィルタが存在する場合には“最適なフィルタ処理”を行うことができない。
この実施の形態２では、ピクチャ単位に動画像符号化装置側で、最適なフィルタを設計してフィルタ処理を実施するとともに、そのフィルタのフィルタ係数等を符号化し、動画像復号装置側で、そのフィルタ係数等を復号することで、当該フィルタを用いたフィルタ処理を実施するようにしていることを特徴とする。

動画像符号化装置のイントラ予測部４は、上記実施の形態１と同様に、符号化ブロックＢⁿのパーティションＰ_i ⁿに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_i ⁿを生成する。
また、イントラ予測部４は、上記実施の形態１と同様の方法で、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、このフィルタを用いてイントラ予測画像Ｐ_i ⁿにフィルタ処理を行う。
イントラ予測部４は、ピクチャ内の全ての符号化ブロックＢⁿでイントラ予測パラメータが決定した後、ピクチャ内で同じフィルタが用いられた領域（同一のフィルタインデックスを持つ領域）毎に、その領域内の入力画像とイントラ予測画像の二乗誤差和（対象領域内の平均二乗誤差）が最小となるウィーナ・フィルタを設計する。

ウィーナ・フィルタは、中間予測画像信号ｓ’の自己相関行列Ｒ_s’s’と、入力画像信号ｓと中間予測画像信号ｓ’の相互相関行列Ｒ_ss’とによって、下記の式（４）からフィルタ係数ｗを求めることができる。行列Ｒ_s’s’，Ｒ_ss’の大きさは、求められるフィルタタップ数に対応する。

イントラ予測部４は、ウィーナ・フィルタを設計すると、そのウィーナ・フィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ１、そのウィーナ・フィルタに係る情報（例えば、フィルタ係数）を符号化した際の符号量をＲ１、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ２として、下記の式（５）が成立するか否かを確認する。
Ｄ１＋λ・Ｒ１ ＜ Ｄ２ （５）
ただし、λは定数である。

イントラ予測部４は、式（５）が成立する場合、上記実施の形態１と同様の方法で選択しているフィルタの代わりに、そのウィーナ・フィルタを用いてフィルタ処理を実施する。
一方、式（５）が成立しない場合、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施する。
ここでは、２乗誤差和Ｄ１，Ｄ２を用いて評価しているが、これに限るものではなく、２乗誤差和Ｄ１，Ｄ２の代わりに、誤差の絶対値和等の他の予測の歪みを表す尺度を用いて評価するようにしてもよい。

イントラ予測部４は、ウィーナ・フィルタを用いてフィルタ処理を実施する場合、そのウィーナ・フィルタのフィルタ係数や、どのインデックスのフィルタを、ウィーナ・フィルタに置き換えているかを示すフィルタ更新情報が必要になる。
具体的には、フィルタ選択パラメータを用いたフィルタ処理によって選択可能なフィルタの数をＬとし、各フィルタに０〜Ｌ−１のインデックスを割り振る場合、それぞれのインデックスに対して、設計したウィーナ・フィルタを用いる場合には“１”、予め用意されているフィルタを用いる場合には“０”の値を、フィルタ更新情報として符号化する必要がある。
可変長符号化部１３は、イントラ予測部４から出力されたフィルタ更新情報を可変長符号化して、そのフィルタ更新情報の符号化データをビットストリームに多重化する。

ここでは、ピクチャ内で同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するものを示したが、ピクチャ単位ではない他の特定の領域単位に、同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するように構成してもよいし、ある特定のピクチャのみ、フィルタ設計を行うようにしたり、特定の条件に該当する場合（例えば、シーンチェンジ検出機能を付加し、シーンチェンジが検出されたピクチャの場合）に限り、上記のフィルタ設計を行うようにしたりしてもよい。

動画像復号装置の可変長復号部５１は、ビットストリームに多重化されている符号化データからフィルタ更新情報を可変長復号する。
イントラ予測部５３は、上記実施の形態１と同様に、符号化ブロックＢⁿのパーティションＰ_i ⁿに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_i ⁿを生成する。
イントラ予測部５３は、可変長復号部５１からフィルタ更新情報を受けると、そのフィルタ更新情報を参照して、該当するインデックスのフィルタでの更新の有無を確認する。

イントラ予測部５３は、その確認の結果、ある領域のフィルタが、ウィーナ・フィルタに置き換えられている場合、そのフィルタ更新情報に含まれているウィーナ・フィルタのフィルタ係数を読み出して、そのウィーナ・フィルタを特定し、そのウィーナ・フィルタを用いて、イントラ予測画像Ｐ_i ⁿのフィルタ処理を実施する。
一方、ウィーナ・フィルタに置き換えられていない領域では、上記実施の形態１と同様の方法でフィルタを選択し、そのフィルタを用いて、イントラ予測画像Ｐ_i ⁿのフィルタ処理を実施する。

以上で明らかなように、この実施の形態２によれば、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、そのウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、そのウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、上記実施の形態１よりも更に局所的に発生する予測誤差を低減することができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（イントラ予測手段、動き補償予測手段）、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、５１ 可変長復号部（可変長復号手段）、５２ 切替スイッチ（イントラ予測手段、動き補償予測手段）、５３ イントラ予測部（イントラ予測手段）、５４ 動き補償予測部（動き補償予測手段）、５５ 逆量子化・逆変換部（差分画像生成手段）、５６ 加算部（復号画像生成手段）、５７ イントラ予測用メモリ、５８ ループフィルタ部、５９ 動き補償予測フレームメモリ。

Claims (5)

1. 符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段を備え、
   上記イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、上記ブロックのサイズに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるものであり、
   上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像復号装置。
2. 符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するステップと、
   イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成するステップと、
   上記ブロックのサイズに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるステップと、を備え、
   上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像復号方法。
3. 入力画像を分割して得られる符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するイントラ予測手段を備え、
   上記イントラ予測手段は、イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成し、上記ブロックのサイズに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるものであり、
   上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像符号化装置。
4. 入力画像を分割して得られる符号化ブロックの符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理単位であるブロックの各々にフレーム内予測処理を行うことによりイントラ予測画像を生成するステップと、
   イントラ予測の種類を示すイントラ予測パラメータに応じて参照画素から中間予測値を生成するステップと、
   上記ブロックのサイズに応じて上記中間予測値に対するフィルタ処理を行うことにより最終的な予測値を求めるステップと、を備え
   上記フィルタ処理は上記ブロックの特定の位置の画素のみに対し行われることを特徴とする画像符号化方法。
5. 符号化ブロックまたは当該符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎に予測処理を実施して生成される符号化データのデータ構造であって、
   上記符号化データは、
   上記符号化ブロックの符号化モードと、
   上記符号化モードがイントラ符号化モードである場合、イントラ予測の種類を示すイントラ予測パラメータと、
   上記処理ブロックのサイズを示すブロックサイズと、
   上記処理ブロックの画像と当該処理ブロックに予測処理を実施して生成される予測画像との差分に圧縮処理を行って生成される圧縮データと、を備え、
   上記予測画像は、上記符号化モードがイントラ符号化モードである場合、上記イントラ予測パラメータに応じて参照画素から中間予測値を算出し、上記ブロックサイズに応じて上記中間予測値にフィルタ処理を行うことで生成されるものであり、
   上記フィルタ処理は、上記ブロックの特定の位置の画素のみに対し行われることを特徴とする符号化データのデータ構造。

Images