JP2014135552A - 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 - Google Patents

Abstract

【課題】インタレース信号を時間階層符号化する際に、インタレース信号のフィールドピクチャにエラーが発生した場合であっても、符号化効率の低下を抑えることができる動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法を得る。
【解決手段】動き補償予測部は、トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行う。
【選択図】図１

Description

この発明は、動画像を高効率で符号化する動画像符号化装置および動画像符号化方法、並びに高効率で符号化されている動画像を復号する動画像復号装置および動画像復号方法に関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、符号化済みの複数の参照フレームを参照して予測符号化することができ、予測の参照関係を階層的に構成する時間階層符号化を行うことができる（例えば、非特許文献１参照）。

以下、図１４を参照しながら、時間階層符号化された映像データについて説明する。図１４において、矢印は、フレーム間予測符号化の際に参照されるフレームを示している。最初に復号されるフレーム（Ｉ０）は、フレーム内の画素値のみを使って予測されるフレームであり、他のフレームを参照しない。

続いて復号されるフレーム（Ｐ１）は、復号済みのＩ０フレームを参照して予測画像が生成され、生成された予測画像との差分画像が符号化されている。次に復号されるフレーム（Ｂ２）は、復号済みのＩ０フレームおよびＰ１フレームの２フレームを参照して予測画像が生成され、生成された予測画像との差分画像が符号化されている。以下、同様である。

ここで、図１４において、Ｉ０フレームおよびＰ１フレームを基本階層フレーム（Ｔ０）、Ｂ２フレームを第１階層フレーム（Ｔ１）、Ｂ３フレームおよびＢ４フレームを第２階層フレーム（Ｔ２）、Ｂ５フレーム、Ｂ６フレーム、Ｂ７フレームおよびＢ８フレームを第３階層フレーム（Ｔ３）と称する。

このとき、基本階層フレーム（Ｔ０）は、同じ階層に属するフレームのみを参照して復号され、第１階層フレーム（Ｔ１）は、同じ階層または基本階層フレーム（Ｔ０）に属するフレームのみを参照して復号され、以下同様にして、同じ階層またはそれ以下の階層フレームに属するフレームのみを参照して復号される。

続いて、図１５を参照しながら、プログレッシブ信号およびインタレース信号について説明する。図１５において、インタレース信号とは、奇数列の画素から構成されるピクチャと偶数列の画素から構成されるピクチャとに分かれた信号フォーマットである。キャプチャされたフレームは、奇数列の画素（トップフィールド）と偶数列の画素（ボトムフィールド）とに分けられる。

なお、プログレッシブ信号とは、奇数フィールドおよび偶数フィールドに分けることなく、フレーム単位で扱う信号フォーマットである。一方、インタレース信号は、ある時刻において片方のフィールドから構成される信号であり、一般的にはトップフィールドとボトムフィールドとが交互に現れる。

ここで、インタレース信号を符号化して伝送する際に、トップフィールドおよびボトムフィールドで相互に参照して符号化された場合には、片方のフィールドピクチャのみにエラーが発生したときであっても、これを参照する他のフィールドピクチャにエラーが拡散されるという問題があった。

そこで、トップフィールドとボトムフィールドとの間で相互参照せずに、それぞれのフィールドを独立して符号化する方法が提案されている（例えば、特許文献１参照）。

特開２００７−２０１８７号公報

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

しかしながら、従来技術には、以下のような課題がある。
特許文献１に示されたように、それぞれのフィールドを独立して符号化した場合には、例えばトップフィールドを符号化する際に、時間的に近いボトムフィールドピクチャを参照することができないので、動きの大きいシーンにおいて予測効率が低下し、符号化効率が低下するという問題がある。

この発明は、上記のような課題を解決するためになされたものであり、インタレース信号を時間階層符号化する際に、インタレース信号のフィールドピクチャにエラーが発生した場合であっても、符号化効率の低下を抑えることができる動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、符号化制御部の制御下で、シーケンス内の複数のピクチャを階層分けして符号化する際に、各階層のピクチャを、符号化対象のピクチャ内の符号化済み画素値のみを参照して符号化するか、または同じ階層およびそれ以下の階層に属する符号化済みのピクチャのみを参照して予測符号化する動き補償予測部を備えた動画像符号化装置であって、シーケンス内の各ピクチャは、インタレース信号の各フィールド画像であり、動き補償予測部は、トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行うものである。

この発明に係る動画像符号化装置によれば、動き補償予測部は、トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行う。
そのため、インタレース信号を時間階層符号化する際に、インタレース信号のフィールドピクチャにエラーが発生した場合であっても、符号化効率の低下を抑えることができる。

この発明の実施の形態１に係る動画像符号化装置を示すブロック構成図である。 この発明の実施の形態１に係る動画像符号化装置において、複数のフィルタ処理を用いる場合のループフィルタ部の一例を示すブロック構成図である。 この発明の実施の形態１に係る動画像復号装置を示すブロック構成図である。 この発明の実施の形態１に係る動画像復号装置において、複数のフィルタ処理を用いる場合のループフィルタ部の一例を示すブロック構成図である。 この発明の実施の形態１に係る動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１に係る動画像符号化装置で、インタレース信号を時間階層符号化する場合における符号化処理を示す説明図である。 この発明の実施の形態１に係る動画像符号化装置で、インタレース信号を時間階層符号化する場合における符号化処理を示す説明図である。 この発明の実施の形態１に係る動画像符号化装置で、インタレース信号を時間階層符号化する場合における符号化処理を示す説明図である。 この発明の実施の形態１に係る動画像符号化装置で、最大符号化ブロックが階層的に複数の符号化ブロックに分割される処理を示す説明図である。 （ａ）、（ｂ）は、この発明の実施の形態１に係る動画像符号化装置で、最大符号化ブロックが階層的に複数の符号化ブロックに分割される処理を示す説明図である。 この発明の実施の形態１に係る動画像符号化装置のイントラ予測部の処理内容を示す説明図である。 この発明の実施の形態１に係る動画像符号化装置のイントラ予測部の処理内容を示す説明図である。 この発明の実施の形態１に係る動画像復号装置の処理内容を示すフローチャートである。 時間階層符号化された映像データの一例を示す説明図である。 プログレッシブ信号およびインタレース信号の一例を示す説明図である。

以下、この発明に係る動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法の好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。

実施の形態１．
この発明の実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測または近接フレーム間での動き補償予測を実施し、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する動画像符号化装置、およびその動画像符号化装置から出力される符号化ビットストリームを復号する動画像復号装置について説明する。

この発明の実施１に係る動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割し、フレーム内・フレーム間適応符号化を行うことを特徴としている。

一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば空や壁等のような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画等、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。

また、時間的に見ても、空や壁は、局所的に時間方向の絵柄の変化が小さいが、一方、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするので、時間的な変化が大きい。

また、符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成することにより、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用することができれば、当該パラメータの符号量を小さくすることができる。

一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうので、予測差分信号の符号量が増加してしまう。

したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減することが望ましい。

そこで、この発明の実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うために、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割して、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成としている。

また、この発明の実施１に係る動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号とからなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号の他、モノクロ画像信号や赤外線画像信号等、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。ここで、各画素の階調は、８ビットでもよいし、１０ビットや１２ビット等の階調であってもよい。

なお、以下の説明においては、便宜上、特に断らない限り、入力画像の映像信号は、ＹＵＶ信号であるものとし、かつ２つの色差成分Ｕ，Ｖが、輝度成分Ｙに対してサブサンプルされた４：２：０フォーマットの信号であるものとする。

また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。また、この発明の実施の形態１では、映像信号をインタレース信号とし、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号である。一方、映像信号がプログレッシブ信号である場合には、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号である。

まず、この発明の実施の形態１に係る動画像符号化装置の構成について説明する。
図１は、この発明の実施の形態１に係る動画像符号化装置１００を示すブロック構成図である。図１において、動画像符号化装置１００は、符号化制御部１、スライス分割部２、ブロック分割部３、切り換えスイッチ４、イントラ予測部５、動き補償予測部６、減算部７、変換・量子化部８、逆量子化・逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、動き補償予測フレームメモリ１３および可変長符号化部１４を備えている。

ここで、符号化制御部１は符号化制御手段を構成し、スライス分割部２はスライス分割手段を構成し、ブロック分割部３はブロック分割手段を構成し、イントラ予測部５、イントラ予測用メモリ１１、動き補償予測部６および動き補償予測フレームメモリ１３は予測手段を構成する。

また、減算部７は差分画像生成手段を構成し、変換・量子化部８は画像圧縮手段を構成し、逆量子化・逆変換部９および加算部１０は局所復号画像生成手段を構成し、ループフィルタ部１２はフィルタリング手段を構成し、可変長符号化部１４は可変長符号化手段を構成する。

以下、動画像符号化装置１００の各部の機能について説明する。
符号化制御部１は、スライス分割部２におけるスライス分割情報を決定する処理を実施する。

また、符号化制御部１は、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズ（符号化ブロックサイズ）を決定する処理を実施する。

また、符号化制御部１は、選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズ等が異なる１以上のイントラ符号化モード、および予測ブロックのサイズ等が異なる１以上のインター符号化モード）の中から、ブロック分割部３から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。

なお、選択方法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部３から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する方法がある。

また、符号化制御部１は、符号化効率が最も高い符号化モードがイントラ符号化モードである場合には、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを、上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。

これに対して、符号化制御部１は、符号化効率が最も高い符号化モードがインター符号化モードである場合には、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを、上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。

さらに、符号化制御部１は、変換・量子化部８および逆量子化・逆変換部９に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる直交変換ブロックの分割情報を示す直交変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータ等が含まれる。

スライス分割部２は、入力画像として映像信号が入力されると、符号化制御部１により決定されたスライス分割情報に従って、その入力画像を１以上の「スライス」という部分画像に分割する処理を実施する。なお、スライスの分割単位は、符号化ブロック単位まで細かくすることができる。

ブロック分割部３は、スライス分割部２により分割されたスライスが入力される毎に、そのスライスを、符号化制御部１により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割する。また、ブロック分割部３は、符号化制御部１により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。

すなわち、ブロック分割部３は、符号化制御部１により決定された符号化ブロックサイズに応じてスライスを各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは、予測処理単位となる１つまたは複数の予測ブロックに分割される。

切り換えスイッチ４は、符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部３から出力された符号化ブロックをイントラ予測部５に出力する。一方、切り換えスイッチ４は、符号化制御部１により決定された符号化モードがインター符号化モードであれば、ブロック分割部３から出力された符号化ブロックを動き補償予測部６に出力する処理を実施する。

イントラ予測部５は、切り換えスイッチ４から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりイントラ符号化モードが選択された場合には、イントラ予測処理（フレーム内予測処理）を実施して、イントラ予測画像を生成する処理を実施する。

具体的には、イントラ予測部５は、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１１に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する。

動き補償予測部６は、切り換えスイッチ４から出力された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合には、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施して、インター予測画像を生成する処理を実施する。

具体的には、動き補償予測部６は、符号化ブロックと動き補償予測フレームメモリ１３に格納されている１フレーム以上の局所復号画像とを、予測処理単位である予測ブロック単位に比較して動きベクトルを探索する。また、動き補償予測部６は、その動きベクトルと符号化制御部１により決定された参照するフレーム番号等のインター予測パラメータとを用いて、その符号化ブロックに対するインター予測処理を、予測ブロック単位に実施してインター予測画像を生成する。

減算部７は、ブロック分割部３により出力された符号化ブロックから、イントラ予測部５により生成されたイントラ予測画像、または動き補償予測部６により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部８に出力する処理を実施する。

変換・量子化部８は、符号化制御部１により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、減算部７から出力された予測差分信号に対する直交変換処理を、直交変換ブロック単位に実施して変換係数を算出する。

なお、直交変換処理として、例えば離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、あらかじめ特定の学習系列に対して基底設計がなされているＫＬ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換等の直交変換処理が挙げられる。

また、変換・量子化部８は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部９および可変長符号化部１４に出力する処理を実施する。

なお、変換・量子化部８は、変換係数を量子化する際に、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。

ここで、量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができる。すなわち、初期値としてあらかじめ動画像符号化装置および動画像復号装置で共通に用意されている量子化マトリクスや、既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。

したがって、変換・量子化部８は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を、符号化すべき量子化マトリクスパラメータに設定する。その後、変換・量子化部８は、設定した量子化マトリクスパラメータを適応パラメータセットの一部として可変長符号化部１４に出力する。

逆量子化・逆変換部９は、符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータおよび直交変換ブロック分割情報を参照して、直交変換ブロック単位に変換・量子化部８から出力された圧縮データを逆量子化する。また、逆量子化・逆変換部９は、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部７から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。

なお、変換・量子化部８が、量子化マトリクスを用いて量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。

加算部１０は、逆量子化・逆変換部９により算出された局所復号予測差分信号と、イントラ予測部５により生成されたイントラ予測画像、または動き補償予測部６により生成されたインター予測画像とを加算して、ブロック分割部３から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１１は、加算部１０により算出された局所復号画像を格納する記録媒体である。

ループフィルタ部１２は、加算部１０により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。具体的には、ループフィルタ部１２は、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理や、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理等を行う。

ここで、ループフィルタ部１２は、上記のデブロッキングフィルタ処理、画素適応オフセット処理および適応フィルタ処理のそれぞれについて、処理を行うか否かを決定する。また、ループフィルタ部１２は、各処理の有効フラグを、符号化すべき適応パラメータセットの一部およびスライスレベルヘッダの一部として可変長符号化部１４に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。

一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。すなわち、画像品質と処理負荷とは、トレードオフの関係にある。また、各フィルタ処理の画像品質改善効果は、フィルタ処理対象画像の特性によって異なる。したがって、動画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって、使用するフィルタ処理を決めればよい。

図２は、この発明の実施の形態１に係る動画像符号化装置１００において、複数のフィルタ処理を用いる場合のループフィルタ部１２の一例を示すブロック構成図である。図２において、ループフィルタ部１２は、デブロッキングフィルタ処理１２１、画素適応オフセット処理１２２および適応フィルタ処理１２３を有している。

デブロッキングフィルタ処理１２１では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを、初期値から変更することができる。変更する場合には、デブロッキングフィルタ処理１２１では、そのパラメータを、符号化すべき適応パラメータセットの一部として可変長符号化部１４に出力する。

画素適応オフセット処理１２２では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類方法の１つとして定義して、あらかじめ用意されている複数のクラス分類方法の中から、１つのクラス分類方法を選択する。

次に、画素適応オフセット処理１２２では、選択したクラス分類方法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。最後に、画素適応オフセット処理１２２では、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。

したがって、画素適応オフセット処理１２２では、ブロック分割情報、各ブロックのクラス分類方法を示すインデックス、およびブロック単位の各クラスのオフセット値を特定するオフセット情報を、符号化すべき適応パラメータセットの一部として可変長符号化部１４に出力する。

なお、画素適応オフセット処理１２２において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割し、そのブロック毎にクラス分類方法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合には、上記のブロック分割情報が不要になるので、ブロック分割情報に要する符号量分だけ符号量を削減することができる。

適応フィルタ処理１２３では、局所復号画像を所定の方法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。

また、適応フィルタ処理１２３では、クラス毎に設計したフィルタを、符号化すべき適応パラメータセットの一部として可変長符号化部１４に出力する。ここで、クラス分類方法としては、画像を空間的に等間隔に区切る簡易な方法や、ブロック単位に画像の局所的な特性（分散等）に応じて分類する方法がある。

また、適応フィルタ処理１２３で使用するクラス数は、あらかじめ動画像符号化装置および動画像復号装置に共通の値として設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。このとき、前者と比較して後者の方が、使用するクラス数を自由に設定することができるので、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

さらに、適応フィルタ処理１２３では、適応フィルタ処理のクラス分類およびフィルタ設計・処理を画像全体に対してではなく、例えば最大符号化ブロックといった固定サイズのブロック毎にフィルタ処理を行ってもよい。

すなわち、固定サイズのブロック内を分割した複数の小ブロック単位に画像の局所的な特性（分散等）に応じてクラス分類し、クラス毎にフィルタ設計およびフィルタ処理を行うようにして、固定サイズのブロック毎に、各クラスのフィルタを適応パラメータセットの一部として符号化するようにしてもよい。

このようにすることで、画像全体に対してクラス分類およびフィルタ設計・処理を実施する場合よりも、局所的な性質に応じた高精度なフィルタ処理を実現することができる。なお、画素適応オフセット処理および適応フィルタ処理を行う場合には、映像信号をループフィルタ部１２で参照する必要があるので、映像信号がループフィルタ部１２に入力されるように、図１の動画像符号化装置１００を変更する必要がある。

動き補償予測フレームメモリ１３は、ループフィルタ部１２のフィルタ処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１４は、変換・量子化部８から出力された圧縮データと、符号化制御部１の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータまたはインター予測パラメータ）と、動き補償予測部６から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、符号化データを生成する。

また、可変長符号化部１４は、符号化ビットストリームのヘッダ情報として、ビデオパラメータセット、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータとともに符号化ビットストリームを生成する。ここで、ピクチャデータは、１以上のスライスデータから構成され、各スライスデータは、スライスレベルヘッダと当該スライス内にある上記符号化データとをまとめたものである。

また、シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１２における各フィルタ処理（デブロッキングフィルタ処理１２１、画素適応オフセット処理１２２および適応フィルタ処理１２３）の有効フラグ情報、量子化マトリクスの有効フラグ情報等、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。

また、ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等、ピクチャ単位で設定するヘッダ情報をまとめたものである。

また、スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化等）、当該スライスで使用する適応パラメータセットのインデックスおよび上記インデックスが示す適応パラメータセットを用いたループフィルタ部１２における各フィルタ処理（デブロッキングフィルタ処理１２１、画素適応オフセット処理１２２および適応フィルタ処理１２３）を行うか否かを示すフラグ情報等のスライス単位のパラメータをまとめたものである。

また、適応パラメータセットは、デブロッキングフィルタ処理、画素適応オフセット処理および適応フィルタ処理に関わるパラメータ（フィルタパラメータ）並びに量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）が存在するか否かのフラグをそれぞれ有し、上記フラグが「有効」であるパラメータのみ対応するパラメータを有するパラメータセットである。さらに、適応パラメータセットは、符号化ビットストリームに多重化されている複数の適応パラメータセットを識別するためのインデックス（ａｐｓ＿ｉｄ）も有する。

なお、図１の動画像符号化装置１００では、符号化制御部１、スライス分割部２、ブロック分割部３、切り換えスイッチ４、イントラ予測部５、動き補償予測部６、減算部７、変換・量子化部８、逆量子化・逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、動き補償予測フレームメモリ１３および可変長符号化部１４のそれぞれが、専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン等）で構成されているものを想定している。

これに対して、動画像符号化装置がコンピュータで構成される場合には、符号化制御部１、スライス分割部２、ブロック分割部３、切り換えスイッチ４、イントラ予測部５、動き補償予測部６、減算部７、変換・量子化部８、逆量子化・逆変換部９、加算部１０、ループフィルタ部１２および可変長符号化部１４の処理内容が記述されたプログラムを、コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に、この発明の実施の形態１に係る動画像復号装置の構成について説明する。
図３は、この発明の実施の形態１に係る動画像復号装置２００を示すブロック構成図である。図３において、動画像復号装置２００は、可変長復号部２１、逆量子化・逆変換部２２、切り換えスイッチ２３、イントラ予測部２４、動き補償部２５、加算部２６、イントラ予測用メモリ２７、ループフィルタ部２８、動き補償予測フレームメモリ２９およびエラーコンシールメント処理部３０を備えている。

ここで、可変長復号部２１は可変長復号手段を構成し、逆量子化・逆変換部２２は差分画像生成手段を構成し、イントラ予測部２４、イントラ予測用メモリ２７、動き補償部２５および動き補償予測フレームメモリ２９は予測手段を構成する。また、加算部２６は復号画像生成手段を構成し、ループフィルタ部２８はフィルタリング手段を構成し、エラーコンシールメント処理部３０はエラーコンシールメント手段を構成する。

以下、動画像復号装置２００の各部の機能について説明する。
可変長復号部２１は、図１の動画像符号化装置１００により生成された符号化ビットストリームが入力されると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセット、スライスレベルヘッダ等の各ヘッダ情報を復号する。また、可変長復号部２１は、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。

このとき、可変長復号部２１によって可変長復号された適応パラメータセット内の量子化マトリクスパラメータから、当該適応パラメータセットの量子化マトリクスが特定される。

具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが、初期値としてあらかじめ動画像符号化装置および動画像復号装置で共通に用意されている量子化マトリクス、または既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合には、上記適応パラメータセットに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して、量子化マトリクスが特定される。

また、量子化マトリクスパラメータが、新しい量子化マトリクスを用いることを示す場合には、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定される。

また、可変長復号部２１は、各ヘッダ情報を参照して、スライスデータに含まれる最大復号ブロック（図１の動画像符号化装置１００の「最大符号化ブロック」に相当するブロック）を特定し、ブロック分割情報を参照して、最大復号ブロックを階層的に分割して復号処理を行う単位である復号ブロック（図１の動画像符号化装置１００の「符号化ブロック」に相当するブロック）を特定する。

その後、可変長復号部２１は、各々の復号ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータおよび動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。

また、可変長復号部２１は、各ヘッダ情報の復号中または各復号ブロックの復号中にエラーを検出した場合には、復号処理を正常に再開できる同期ポイントまでビットストリームを読み飛ばす処理を行う。なお、エラーを検出した後、復号処理を再開するまで読み飛ばしたデータに相当するピクチャについては、後述するエラーコンシールメント処理を行う。

逆量子化・逆変換部２２は、可変長復号部２１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータおよび直交変換ブロック分割情報を参照して、可変長復号部２１により可変長復号された圧縮データを直交変換ブロック単位に逆量子化する。また、逆量子化・逆変換部２２は、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部９から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。

ここで、可変長復号部２１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合には、逆量子化・逆変換部２２は、量子化マトリクスを用いて逆量子化処理を行う。具体的には、逆量子化・逆変換部２２は、各ヘッダ情報から特定される、当該スライスで参照する適応パラメータセットの量子化マトリクスを用いて、逆量子化処理を行う。

切り換えスイッチ２３は、可変長復号部２１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部２１により可変長復号されたイントラ予測パラメータを、イントラ予測部２４に出力する処理を実施する。一方、切り換えスイッチ２３は、可変長復号部２１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部２１により可変長復号されたインター予測パラメータおよび動きベクトルを、動き補償部２５に出力する処理を実施する。

イントラ予測部２４は、可変長復号部２１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがイントラ符号化モードである場合には、イントラ予測処理（フレーム内予測処理）を実施して、イントラ予測画像を生成する処理を実施する。

具体的には、イントラ予測部２４は、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ２７に格納されている復号画像を参照しながら、切り換えスイッチ２３から出力されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する。

動き補償部２５は可変長復号部２１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合には、インター予測処理（動き補償予測処理）を実施して、インター予測画像を生成する処理を実施する。

具体的には、動き補償部２５は、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ２９に格納されている復号画像を参照しながら、切り換えスイッチ２３から出力された動きベクトルとインター予測パラメータとを用いたインター予測処理を実施して、インター予測画像を生成する。

加算部２６は、逆量子化・逆変換部２２により算出された復号予測差分信号と、イントラ予測部２４により生成されたイントラ予測画像、または動き補償部２５により生成されたインター予測画像とを加算して、図１の加算部１０から出力された局所復号画像と同一の復号画像を算出する処理を実施する。

イントラ予測用メモリ２７は、加算部２６により算出された復号画像を格納する記録媒体である。

ループフィルタ部２８は、加算部２６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。具体的には、ループフィルタ部２８は、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理や、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理等を行う。

ここで、ループフィルタ部２８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理および適応フィルタ処理のそれぞれについて、可変長復号部２１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。

なお、図１の動画像符号化装置１００において、ループフィルタ部２８で使用するフィルタパラメータを、ヘッダ情報の１つである適応パラメータセットの一部として符号化するのではなく、スライス単位に使用するフィルタパラメータをそれぞれ直接スライスデータで符号化している場合には、可変長復号部２１は、スライスデータからループフィルタ部２８で使用するフィルタパラメータを復号する。

このとき、２つ以上のフィルタ処理を行う場合において、動画像符号化装置のループフィルタ部１２が図２のように構成されていれば、図４に示されるようにループフィルタ部２８が構成される。

図４は、この発明の実施の形態１に係る動画像復号装置２００において、複数のフィルタ処理を用いる場合のループフィルタ部２８一例を示すブロック構成図である。図４において、ループフィルタ部２８は、デブロッキングフィルタ処理２８１、画素適応オフセット処理２８２および適応フィルタ処理２８３を有している。

デブロッキングフィルタ処理２８１では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。なお、変更情報がない場合には、あらかじめ定められた方法に従って行う。

画素適応オフセット処理２８２では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて復号画像を分割する。

その後、画素適応オフセット処理２８２では、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類方法を示すインデックスを参照して、そのインデックスが「オフセット処理を行わない」ことを示すインデックスでない場合には、ブロック単位にブロック内の各画素を、上記インデックスが示すクラス分類方法に従ってクラス分類する。

なお、クラス分類方法の候補として、図１のループフィルタ部１２の画素適応オフセット処理１２２のクラス分類方法の候補と同一のものがあらかじめ用意されている。その後、画素適応オフセット処理２８２では、ブロック単位の各クラスのオフセット値を特定するオフセット情報（適応パラメータセットに含まれているオフセット情報）を参照して、復号画像の輝度値にオフセットを加算する処理を行う。

ここで、図１のループフィルタ部１２の画素適応オフセット処理１２２において、ブロック分割情報を符号化せず、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類方法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合には、ループフィルタ部２８においても、ループフィルタ部１２と同一の固定サイズのブロック単位に、画素適応オフセット処理を実施する。

適応フィルタ処理２８３では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置１００と同一の方法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。このループフィルタ部２８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

なお、図１のループフィルタ部１２の適応フィルタ処理１２３において、上記のクラス分類およびフィルタ設計・処理を、画像全体に対してではなく、例えば最大符号化ブロックといった固定サイズのブロック毎に行うように構成されている場合、ループフィルタ部２８においても、ループフィルタ部１２と同一の固定サイズのブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類およびフィルタ処理を行う。

動き補償予測フレームメモリ２９は、ループフィルタ部２８のフィルタ処理後の復号画像を格納する記録媒体である。

エラーコンシールメント処理部３０は、可変長復号部２１からエラー検出の通知を受け取ると、可変長復号部２１で読み飛ばしたデータに相当するピクチャのコンシールメント処理を実施する。

また、エラーコンシールメント処理部３０は、コンシールメント処理を行った画像が参照ピクチャである場合には、以降の復号処理においてエラーが伝播するので、コンシールメント処理を行ったピクチャであることを示すエラーピクチャ通知とともに、コンシールメント処理を行った画像を、動き補償予測フレームメモリ２９に格納する。

なお、図３の動画像復号装置２００では、可変長復号部２１、逆量子化・逆変換部２２、切り換えスイッチ２３、イントラ予測部２４、動き補償部２５、加算部２６、イントラ予測用メモリ２７、ループフィルタ部２８、動き補償予測フレームメモリ２９およびエラーコンシールメント処理部３０のそれぞれが、専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン等）で構成されているものを想定している。

これに対して、動画像復号装置がコンピュータで構成される場合には、可変長復号部２１、逆量子化・逆変換部２２、切り換えスイッチ２３、イントラ予測部２４、動き補償部２５、加算部２６、ループフィルタ部２８およびエラーコンシールメント処理部３０の処理内容が記述されたプログラムを、コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

続いて、この発明の実施の形態１に係る動画像符号化装置１００および動画像復号装置２００の動作について説明する。
最初に、図５のフローチャートを参照しながら、この発明の実施の形態１に係る動画像符号化装置１００の処理内容（動画像符号化方法）について説明する。

まず、符号化制御部１は、シーケンス内のピクチャのピクチャタイプ、符号化順、予測に使うピクチャの参照関係等のＧＯＰ構造を決定する（ステップＳＴ１）。ここで、例えば図６に示されるようなＧＯＰ構造でインタレース信号を時間階層符号化する場合における符号化処理の内容について説明する。

図６において、符号化制御部１は、最初のトップフィールドピクチャのピクチャタイプをＩピクチャ（Ｉ０ピクチャ）とし、次に符号化するボトムフィールドピクチャのピクチャタイプをＢピクチャ（Ｂ１ピクチャ）として、Ｂ１ピクチャを、Ｉ０ピクチャのみを参照して予測符号化する。

また、符号化制御部１は、Ｂ１ピクチャの次に符号化するトップフィールドピクチャのピクチャタイプをＢピクチャ（Ｂ２ピクチャ）として、Ｂ２ピクチャを、Ｉ０ピクチャのみを参照して予測符号化する。

また、符号化制御部１は、Ｂ２ピクチャの次に符号化するボトムフィールドピクチャのピクチャタイプをＢピクチャ（Ｂ３ピクチャ）として、Ｂ３ピクチャを、Ｂ２ピクチャおよびＢ１ピクチャを参照して予測符号化する。

ここで、Ｉ０ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャおよびＢ３ピクチャは、第１階層に属するピクチャとする。なお、第１階層において、ボトムフィールドピクチャは、時間的に近いトップフィールドピクチャを参照して予測するように構成されているが、トップフィールドピクチャは、トップフィールドピクチャのみを参照して予測するように構成されている。

また、符号化制御部１は、Ｂ３ピクチャの次に符号化するトップフィールドピクチャのピクチャタイプをＢピクチャ（Ｂ４ピクチャ）として、Ｂ４ピクチャを、第１階層のＩ０ピクチャおよびＢ２ピクチャを参照して予測符号化する。

また、符号化制御部１は、Ｂ４ピクチャの次に符号化するボトムフィールドピクチャのピクチャタイプをＢピクチャ（Ｂ５ピクチャ）として、Ｂ５ピクチャを、Ｂ４ピクチャ並びに第１階層のＢ１ピクチャおよびＢ３ピクチャを参照して予測符号化する。

ここで、Ｂ４ピクチャおよびＢ５ピクチャは、第２階層に属するピクチャとする。なお、第２階層において、ボトムフィールドピクチャは、時間的に近いトップフィールドピクチャを参照して予測するように構成されているが、トップフィールドピクチャは、トップフィールドピクチャのみを参照して予測するように構成されている。符号化制御部１は、これ以降、第３階層のピクチャについても同様に予測符号化を行う。

以上のようなＧＯＰ構造で時間階層符号化する場合には、図７に示されるように、動画像復号装置側で、例えば第３階層に属するピクチャでエラーが発生し、正常復号ができなかった場合において、第２階層および第１階層に属するピクチャのみを正しく復号することができる。また、第３階層のボトムフィールドピクチャでエラーが発生し、正常復号ができなかった場合においても、第３階層のトップフィールドピクチャは、正常に復号することができる。

なお、第３階層のトップフィールドピクチャでエラーが発生した場合には、第３階層のボトムフィールドは、トップフィールドを参照しているので、以降の第３階層のボトムフィールド、トップフィールドピクチャともにエラーが伝播し、正常に復号することができない。この場合には、正常に復号された第１階層および第２階層のピクチャを使って、エラー発生およびエラーが伝播したピクチャのコンシールメントを実施する。

また、別の例として、動きが（所定値よりも）大きいシーンでは、ボトムフィールドの符号化時に時間的に近いトップフィールドを参照して予測符号化するように構成し、動きが（所定値よりも）小さいシーンでは、ボトムフィールドを符号化するときにもトップフィールドを参照せず、ボトムフィールドのみを参照して予測符号化するようにして、シーンの動きの特徴に応じて予測の参照関係を切り替えて符号化するようにしてもよい。

また、ＧＯＰ構造の別の例として、図８に示されるように、ボトムフィールドをすべて最上位階層のピクチャとして符号化し、トップフィールドのピクチャのみを参照して符号化するようにしてもよい。このような構成とすることにより、トップフィールドのピクチャのみを正常に復号することができるので、ボトムフィールドでエラーが発生しても、トップフィールドおよび以降のボトムフィールドを正常に復号することができ、エラーの伝播を抑えることができる。

ここで、分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい（大きい）場合に、階層数を深くしてより細かい動きが検出できるように設定し、動きが少ない（小さい）場合に、階層数を抑えるように設定する方法等がある。

なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダ等に符号化してもよいし、符号化せずに動画像復号装置側も同一の決定処理を行うようにしてもよい。

前者は、ヘッダ情報の符号量が増加するものの、動画像復号装置側で上記決定処理を行わずに済むので、動画像復号装置の処理負荷を抑えることができる上、動画像符号化装置側で最適な値を探索して送ることができる。これに対して、後者は、動画像復号装置側で上記決定処理を行うので、動画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。

図５に戻って、符号化制御部１は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。すなわち、符号化制御部１は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。

符号化モードには、１つまたは複数のイントラ符号化モード（「ＩＮＴＲＡ」と総称する）と、１つまたは複数のインター符号化モード（「ＩＮＴＥＲ」と総称する）とがあり、符号化制御部１は、当該ピクチャで利用可能な全ての符号化モード、またはそのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ここで、後述するブロック分割部３により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つまたは複数の予測ブロックに分割され、予測ブロックの分割状態も、符号化モードの中に情報として含まれる。すなわち、符号化モードは、どのような予測ブロック分割を有するイントラまたはインター符号化モードかを識別するインデックスである。

なお、符号化制御部１による符号化モードの選択方法は、公知の技術なので、詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法等がある。

また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータおよび直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータまたはインター予測パラメータ）を決定する。

ここで、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合には、予測ブロック毎に予測パラメータ（イントラ予測パラメータまたはインター予測パラメータ）を選択することができる。

また、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるので、選択可能な変換ブロックサイズは、予測ブロックのサイズ以下に制限される。

このとき、符号化制御部１は、量子化パラメータおよび変換ブロックサイズを含む予測差分符号化パラメータを、変換・量子化部８、逆量子化・逆変換部９および可変長符号化部１４に出力する。また、符号化制御部１は、イントラ予測パラメータを、必要に応じてイントラ予測部５に出力する。さらに、符号化制御部１は、インター予測パラメータを、必要に応じて動き補償予測部６に出力する。

また、スライス分割部２は、入力画像として映像信号が入力されると、符号化制御部１により決定されたスライス分割情報に従って、その入力画像を１以上の部分画像であるスライスに分割する。

また、ブロック分割部３は、スライス分割部２から各スライスが入力される毎に、そのスライスを、符号化制御部１により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを、符号化制御部１により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図９を参照しながら、この発明の実施の形態１に係る動画像符号化装置１００において、最大符号化ブロックが階層的に複数の符号化ブロックに分割される処理について説明する。

図９において、最大符号化ブロックは、「第０階層」と記されている、輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって、符号化ブロックを得るようにしている。

また、深さｎにおいては、符号化ブロックは、サイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。ここで、Ｌ^ｎとＭ^ｎとは、同じであってもよいし、異なっていてもよいが、図９では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

これ以降、符号化制御部１により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。また、４分木分割を行うために、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。

なお、ＲＧＢ信号等、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合には、対応する色差成分の符号化ブロックサイズは、（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

これ以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対して共通のモードを用いるように構成されてもよい。また、これ以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図９に示されるように、ブロック分割部３によって、予測処理単位を表す１つまたは複数の予測ブロックに分割される。これ以降、符号化ブロックＢ^ｎに属する予測ブロックを、Ｐ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。ここで、図９には、Ｐ_０ ^０およびＰ_１ ^０の例が示されている。

符号化ブロックＢ^ｎ内の予測ブロックの分割がどのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。また、予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータまたはインター予測パラメータ）を選択することができる。

符号化制御部１は、最大符号化ブロックに対して、例えば、図１０に示されるようなブロック分割状態を生成して、符号化ブロックを特定する。図１０（ａ）において、点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。

また、図１０（ｂ）は、図１０（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を、４分木グラフで示したものである。図１０（ｂ）の□（四角）で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。この４分木グラフの情報は、符号化モードｍ（Ｂ^ｎ）とともに符号化制御部１から可変長符号化部１４に出力されて、ビットストリームに多重化される。

切り換えスイッチ４は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）には、ブロック分割部３から出力された符号化ブロックＢ^ｎを、イントラ予測部５に出力する。

一方、切り換えスイッチ４は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）には、ブロック分割部３から出力された符号化ブロックＢ^ｎを、動き補償予測部６に出力する。

図５に戻って、イントラ予測部５は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）（ステップＳＴ３においてＹｅｓ）には、イントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。

具体的には、イントラ予測部５は、切り換えスイッチ４から符号化ブロックＢ^ｎを受けると、イントラ予測用メモリ１１に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。

なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるので、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部１から可変長符号化部１４に出力されて、ビットストリームに多重化される。また、イントラ予測部５の処理内容の詳細は、後述する。

一方、動き補償予測部６は、符号化制御部１により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）（ステップＳＴ３においてＮｏ）には、インター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。

具体的には、動き補償予測部６は、切り換えスイッチ４から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１３に格納されているフィルタ処理後の局所復号画像とを比較して、動きベクトルを探索する。また、動き補償予測部６は、その動きベクトルと符号化制御部１により決定されたインター予測パラメータとを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する。

なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるので、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部１から可変長符号化部１４に出力されて、ビットストリームに多重化される。また、動き補償予測部６により探索された動きベクトルも、可変長符号化部１４に出力されて、ビットストリームに多重化される。

続いて、減算部７は、ブロック分割部３から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部５により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、および動き補償予測部６により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの何れか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅ_ｉ ^ｎを、変換・量子化部８に出力する（ステップＳＴ６）。

変換・量子化部８は、減算部７から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理を直交変換ブロック単位に実施して、変換係数を算出する。

なお、直交変換処理として、例えば離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、あらかじめ特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理が挙げられる。

また、変換・量子化部８は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部９および可変長符号化部１４に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。

逆量子化・逆変換部９は、変換・量子化部８から圧縮データを受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれる量子化パラメータおよび直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。

また、逆量子化・逆変換部９は、直交変換ブロック単位に、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換等）を実施して、減算部７から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出し、加算部１０に出力する（ステップＳＴ８）。

なお、変換・量子化部８が、量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。

続いて、加算部１０は、逆量子化・逆変換部９から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部５により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎおよび動き補償予測部６により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの何れか一方とを加算することで、局所復号画像を算出する（ステップＳＴ９）。

また、加算部１０は、その局所復号画像をループフィルタ部１２に出力するとともに、その局所復号画像をイントラ予測用メモリ１１に格納する。この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

次に、ループフィルタ部１２は、加算部１０から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施し、フィルタ処理後の局所復号画像を、動き補償予測フレームメモリ１３に格納する（ステップＳＴ１０）。ループフィルタ部１２の構成および機能は、上述したとおりである。

ここで、ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１、ＳＴ１２）。

可変長符号化部１４は、変換・量子化部８から出力された圧縮データ、符号化制御部１から出力された最大符号化ブロック内のブロック分割情報（図１０（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）、予測差分符号化パラメータ、符号化制御部１から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）またはインター予測パラメータ（符号化モードがインター符号化モードである場合）、および動き補償予測部６から出力された動きベクトル（符号化モードがインター符号化モードである場合）を可変長符号化して、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。

また、可変長符号化部１４は、上述したように、符号化ビットストリームのヘッダ情報として、ビデオパラメータセット、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータとともに符号化ビットストリームを生成する。

ここで、適応パラメータセットは、符号化ビットストリームに多重化されている複数の適応パラメータセットを識別するためのインデックス（ａｐｓ＿ｉｄ）を有する。また、各適応パラメータセットは、デブロッキングフィルタ処理、画素適応オフセット処理および適応フィルタ処理に関わるそれぞれのフィルタパラメータと、量子化マトリクスパラメータとがそれぞれ存在しているか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を有しており、各存在フラグが「有効」の場合には、それに対応するパラメータを有している。

したがって、適応パラメータセットは、各パラメータがあるか否かを自由に設定することができる。また、各スライスは、スライスレベルヘッダ内に、スライスの復号処理時に参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を少なくとも１つ以上有しており、対応する適応パラメータセットを参照して、量子化処理・逆量子化処理やループフィルタ処理を実施する。

また、適応パラメータセットを符号化して符号化ビットストリームに多重化する際、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に符号化ビットストリームに存在する場合には、そのインデックスを持つ適応パラメータセットが、上記の符号化対象の適応パラメータセットに置き換えられる。

したがって、新しい適応パラメータセットを符号化する際、既に符号化された適応パラメータセットが不要の場合には、その不要な適応パラメータセットのインデックスで符号化することにより、適応パラメータセットの上書き更新が可能になり、保存しなければならない適応パラメータセットの数を増やさずに済むので、使用するメモリの容量を抑えることができる。

次に、図１１および図１２を参照しながら、イントラ予測部５の処理内容を詳細に説明する。図１１は、符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示している。なお、Ｎ_Ｉはイントラ予測モード数を表している。

図１１では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルとを示しており、図１１の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

また、イントラ予測部５は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施し、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

まず、予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。ここで、図１２は、ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。

図１２では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個とを予測に用いる画素としているが、予測に用いる画素は、図１２に示される画素より多くても少なくてもよい。また、図１２では、予測ブロックＰ_ｉ ^ｎの近傍の１行または１列分の画素を予測に用いているが、２行もしくは２列、または、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）である場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素とを用いて、これらの画素と予測ブロックＰ_ｉ ^ｎ内の予測対象画素との距離に応じて、内挿した値を予測値として予測画像を生成する。

また、予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値（ＤＣ）予測）である場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素との平均値を、予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。

また、イントラ予測モードのインデックス値が０（平面予測）または２（平均値予測）以外である場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。

図１２に示されるように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。

図１２の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

ここで、補間処理に用いる画素を多くすることで、補間画素の補間精度を向上させることができるものの、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。

以上に述べた処理によって、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。また、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために、可変長符号化部１４に出力される。

なお、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に、参照画像に対して施される平滑化処理と同様に、イントラ予測部５において、予測ブロックＰ_ｉ ^ｎの中間予測画像を生成する際の参照画素を、予測ブロックＰ_ｉ ^ｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。

また、予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１４に出力する。

ここで、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は、輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合には、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して、解像度を水平方向および垂直方向ともに１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易である。そのため、選択可能なイントラ予測パラメータは、輝度信号よりも少ない数として、イントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。

次に、図１３のフローチャートを参照しながら、この発明の実施の形態１に係る動画像復号装置２００の処理内容（動画像復号方法）について説明する。

まず、可変長復号部２１は、図１の動画像符号化装置１００により生成された符号化ビットストリームが入力されると、そのビットストリームに対する可変長復号処理を実施する（ステップＳＴ２１）。

具体的には、可変長復号部２１は、フレームサイズの情報等の１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）やピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、および適応パラメータセットとして符号化されたループフィルタ部２８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。

続いて、可変長復号部２１は、図１の符号化制御部１により決定された最大符号化ブロックサイズおよび分割階層数の上限を、動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。

例えば、最大符号化ブロックサイズや分割階層数の上限が、映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で、最大符号化ブロックサイズを決定する。

また、最大符号化ブロックサイズおよび分割階層数の上限が、動画像符号化装置側でシーケンスレベルヘッダ等に多重化されている場合には、上記ヘッダから復号した値を用いる。これ以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。

次に、可変長復号部２１は、決定された最大復号ブロック単位に、図１０で示されるような最大復号ブロックの分割状態を復号する。また、可変長復号部２１は、復号された分割状態に基づいて、階層的に復号ブロック（図１の動画像符号化装置１００の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

続いて、可変長復号部２１は、復号ブロックに割り当てられている符号化モードを復号する。また、可変長復号部２１は、復号した符号化モードに含まれる情報に基づいて、復号ブロックを、さらに１つまたは複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

すなわち、可変長復号部２１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合には、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。

一方、可変長復号部２１は、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合には、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータおよび動きベクトルを復号する（ステップＳＴ２４）。

さらに、可変長復号部２１は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づいて、直交変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

ここで、可変長復号部２１は、入力ビットストリームに対する可変長復号処理中にエラーを検出した場合には、可変長復号処理を正常に再開できる同期ポイントまでビットストリームを読み飛ばす処理を行う。図７に示されたＧＯＰ構造で符号化されたビットストリームにおいて、Ｂ７ピクチャの符号化データの可変長復号処理中にエラーを検出した場合を例に挙げて説明する。

ビットストリームが算術符号化されているような場合には、正常に再開できる同期ポイントは、スライスの先頭等になるので、次のスライスの先頭までビットストリームを読み飛ばす。図７の例において、１ピクチャの符号化データが１スライスに含まれるとすると、次のスライスはＢ８ピクチャになるので、Ｂ８ピクチャから復号処理を再開できることになる。

この場合、Ｂ７ピクチャは正常に復号されなかったので、コンシールメント処理を実施して、欠損したデータに相当する画素の補填処理を行う必要がある。そこで、コンシールメント処理が必要なピクチャの画素位置を、エラーコンシールメント処理部３０に通知する。

エラーコンシールメント処理部３０は、可変長復号部からエラー検出の通知とコンシールメント処理が必要なピクチャの画素位置とを受け取ると、指定された位置の画素の補填処理を行う。図７に示されたＧＯＰ構造で符号化されたビットストリームにおいて、Ｂ７ピクチャ（ボトムフィールド）の符号化データの可変長復号処理中にエラーを検出した場合を例に挙げて説明する。

まず、表示順でＢ７ピクチャに隣接するＢ４ピクチャ（トップフィールド）およびＢ６ピクチャ（トップフィールド）は、すでに正常に復号されているので、これらのピクチャを使ってコンシールメント処理を行う。

また、正常に復号されたＢ４ピクチャやＢ６ピクチャの動きベクトルの大きさからＢ７ピクチャの動きの大きさを推定し、Ｂ７ピクチャの動きが大きいと推定された場合には、表示順で近い位置あるＢ６ピクチャやＢ４ピクチャを使って、欠損したデータに相当する画素の補填処理を行う。

これに対して、Ｂ７ピクチャの動きが小さいと推定された場合には、Ｂ７ピクチャと同じボトムフィールドピクチャであるＢ４ピクチャを使って、画素の補填処理を行う。なお、図８の例では、Ｂ７ピクチャは、参照ピクチャとして以降のピクチャの動き補償予測処理に用いられるので、コンシールメント処理を行ったピクチャであることを示すエラーピクチャ通知とともに、動き補償予測フレームメモリに格納される。

ここで、切り換えスイッチ２３は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）には、可変長復号部２１により可変長復号された予測ブロック単位のイントラ予測パラメータを、イントラ予測部２４に出力する。

一方、切り換えスイッチ２３は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）には、可変長復号部２１により可変長復号された予測ブロック単位のインター予測パラメータおよび動きベクトルを、動き補償部２５に出力する。

次に、イントラ予測部２４は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）（ステップＳＴ２５においてＹｅｓ）には、イントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

具体的には、イントラ予測部２４は、切り換えスイッチ２３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部５と同様の手順で、イントラ予測用メモリ２７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する。

一方、動き補償部２５は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）（ステップＳＴ２５において、Ｎｏ）には、インター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

具体的には、動き補償部２５は、切り換えスイッチ２３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ２９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータとを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する。

なお、参照に使う画像がコンシールメント処理を行ったピクチャである場合には、インター予測画像が正しく生成されないので、現復号中のピクチャも正しく復号することができない。したがって、符号化データでエラーを検出したときと同様に、コンシールメント処理部にて現ピクチャのコンシールメント処理を行う。

また、逆量子化・逆変換部２２は、可変長復号部２１から圧縮データおよび予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部９と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータおよび直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。

ここで、可変長復号部２１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合には、量子化マトリクスを用いて逆量子化処理を行う。

このとき、可変長復号部２１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に使用する量子化マトリクスを特定する。具体的には、スライスレベルヘッダから特定される当該スライスで参照する適応パラメータセットの量子化マトリクスを、当該スライスで使用する量子化マトリクスに設定する。

続いて、逆量子化・逆変換部２２は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部９から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

次に、加算部２６は、逆量子化・逆変換部２２により算出された復号予測差分信号と、イントラ予測部２４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎおよび動き補償部２５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの何れか一方とを加算して復号画像を算出する。また、加算部２６は、その復号画像をループフィルタ部２８に出力するとともに、その復号画像をイントラ予測用メモリ２７に格納する（ステップＳＴ２９）。この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

続いて、ループフィルタ部２８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部２６から出力された復号画像に対して、所定のフィルタ処理を実施し、フィルタ処理後の復号画像を、動き補償予測フレームメモリ２９に格納する（ステップＳＴ３１）。ループフィルタ部２８の構成および機能は、上述したとおりである。

このように、符号化制御部１は、ボトムフィールドピクチャを予測する場合には、時間的に近いトップフィールドピクチャを参照して予測するように構成されているが、トップフィールドピクチャを予測する場合には、トップフィールドピクチャのみを参照して、ＧＯＰ構造を構成して符号化するので、符号化効率の低減を抑えつつ、エラーの伝播を抑えて符号化することができる。

以上のように、実施の形態１によれば、動き補償予測部は、トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行い、ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行う。
そのため、インタレース信号を時間階層符号化する際に、インタレース信号のフィールドピクチャにエラーが発生した場合であっても、符号化効率の低下を抑えることができる。すなわち、エラー復帰やエラーコンシールメントに効果的な映像符号化および映像復号化装置を得ることができる。

１ 符号化制御部（符号化制御手段）、２ スライス分割部（スライス分割手段）、３ ブロック分割部（ブロック分割手段）、４ 切り換えスイッチ、５ イントラ予測部（予測手段）、６ 動き補償予測部（予測手段）、７ 減算部（差分画像生成手段）、８ 変換・量子化部（画像圧縮手段）、９ 逆量子化・逆変換部（局所復号画像生成手段）、１０ 加算部（局所復号画像生成手段）、１１ イントラ予測用メモリ（予測手段）、１２ ループフィルタ部（フィルタリング手段）、１３ 動き補償予測フレームメモリ（予測手段）、１４ 可変長符号化部（可変長符号化手段）、２１ 可変長復号部（可変長復号手段）、２２ 逆量子化・逆変換部（差分画像生成手段）、２３ 切り換えスイッチ、２４ イントラ予測部（予測手段）、２５ 動き補償部（予測手段）、２６ 加算部（復号画像生成手段）、２７ イントラ予測用メモリ（予測手段）、２８ ループフィルタ部（フィルタリング手段）、２９ 動き補償予測フレームメモリ（予測手段）、３０ エラーコンシールメント処理部（エラーコンシールメント手段）、１００ 動画像符号化装置、１２１ デブロッキングフィルタ処理、１２２ 画素適応オフセット処理、１２３ 適応フィルタ処理、２００ 動画像復号装置、２８１ デブロッキングフィルタ処理、２８２ 画素適応オフセット処理、２８３ 適応フィルタ処理。

Claims (4)

1. 符号化制御部の制御下で、シーケンス内の複数のピクチャを階層分けして符号化する際に、各階層のピクチャを、符号化対象のピクチャ内の符号化済み画素値のみを参照して符号化するか、または同じ階層およびそれ以下の階層に属する符号化済みのピクチャのみを参照して予測符号化する動き補償予測部を備えた動画像符号化装置であって、
   前記シーケンス内の各ピクチャは、インタレース信号の各フィールド画像であり、
   前記動き補償予測部は、
   トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行い、
   前記ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行い、
   前記ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行う
   動画像符号化装置。
2. ビットストリームから、各ヘッダ情報または各復号ブロックに係る圧縮データを可変長復号する可変長復号部であって、前記各ヘッダ情報の復号中または前記各復号ブロックの復号中にエラーを検出した場合に、復号処理を正常に再開できる同期ポイントまでビットストリームを読み飛ばす処理を行う可変長復号部と、
   前記可変長復号部でエラーが検出された場合に、読み飛ばしたデータに相当する正常に復号されなかったピクチャに対してコンシールメント処理を行うエラーコンシールメント処理部と、
   を備えた動画像復号装置であって、
   前記エラーコンシールメント処理部は、
   正常に復号されたピクチャの動きベクトルの大きさから、前記正常に復号されなかったピクチャの動きの大きさを推定し、
   前記ピクチャの動きが所定値よりも大きい場合には、隣接するトップフィールドピクチャおよびボトムフィールドピクチャを用いてコンシールメント処理を実施し、
   前記ピクチャの動きが所定値よりも小さい場合には、隣接するボトムフィールドピクチャのみを用いてコンシールメント処理を実施する
   動画像復号装置。
3. 符号化制御部の制御下で、シーケンス内の複数のピクチャを階層分けして符号化する際に、各階層のピクチャを、符号化対象のピクチャ内の符号化済み画素値のみを参照して符号化するか、または同じ階層およびそれ以下の階層に属する符号化済みのピクチャのみを参照して予測符号化する動き補償予測部を備えた動画像符号化装置によって実行される動画像符号化方法であって、
   前記シーケンス内の各ピクチャは、インタレース信号の各フィールド画像であり、
   トップフィールドピクチャに対して、符号化済みのトップフィールドピクチャのみを参照ピクチャとして予測符号化を行うステップと、
   前記ピクチャの動きが所定値よりも大きい場合には、ボトムフィールドピクチャに対して、符号化済みで隣接する１つのトップフィールドピクチャと符号化済みのボトムフィールドピクチャとを参照ピクチャとして予測符号化を行うステップと、
   前記ピクチャの動きが所定値よりも小さい場合には、ボトムフィールドピクチャに対して、符号化済みのボトムフィールドピクチャのみを参照ピクチャとして予測符号化を行うステップと、
   を有する動画像符号化方法。
4. ビットストリームから、各ヘッダ情報または各復号ブロックに係る圧縮データを可変長復号する可変長復号部であって、前記各ヘッダ情報の復号中または前記各復号ブロックの復号中にエラーを検出した場合に、復号処理を正常に再開できる同期ポイントまでビットストリームを読み飛ばす処理を行う可変長復号部と、
   前記可変長復号部でエラーが検出された場合に、読み飛ばしたデータに相当する正常に復号されなかったピクチャに対してコンシールメント処理を行うエラーコンシールメント処理部と、
   を備えた動画像復号装置によって実行される動画像復号方法であって、
   正常に復号されたピクチャの動きベクトルの大きさから、前記正常に復号されなかったピクチャの動きの大きさを推定するステップと、
   前記ピクチャの動きが所定値よりも大きい場合には、隣接するトップフィールドピクチャおよびボトムフィールドピクチャを用いてコンシールメント処理を実施するステップと、
   前記ピクチャの動きが所定値よりも小さい場合には、隣接するボトムフィールドピクチャのみを用いてコンシールメント処理を実施するステップと、
   を有する動画像復号方法。

Images