JP2011199685A - 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム - Google Patents

Abstract

【課題】動画像の符号化の効率を向上させる。
【解決手段】選択部１０６は、予測誤差信号５５から符号化情報５６を生成する生成規則として、予測誤差信号５５が符号化されたときの情報量が最も小さくなることが複数の動き補償信号５３から推定される生成規則を選択する。符号化情報生成部５６は、選択された生成規則に従って、予測誤差信号５５を符号化して符号化情報５６を生成する。再生予測誤差信号生成部１０８は、選択された生成規則に従って符号化された信号を再生するための再生規則に従って符号化情報５６から予測誤差信号５５の再生を行い、得られた信号を再生予測誤差信号５７として出力する。更新部１１１は、符号化情報生成部１０５が符号化情報５６の生成において従っていた生成規則を、再生予測誤差信号５７に基づき、符号化情報５６の情報量が小さくなるように更新する。
【選択図】図６

Description

本明細書で議論される実施態様は、動画像の符号化及びその復号の技術に関する。

動画像データは、一般にデータ量が多いため、送信装置から受信装置への伝送を行う際や、記憶装置に記憶する際などには、高能率符号化が行われる。「高能率符号化」とは、あるデータ列を他のデータ列に変換して、そのデータ量を削減する符号化処理をいう。

動画像データの高能率符号化方法のひとつとして、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像を構成する各フレーム（１枚の画像情報）には空間方向に相関性が高いという特徴があることを利用する。この符号化方法を用いた場合における画像の復元では、自らのピクチャ（符号化される画像）の情報のみを利用して画像の復元が可能であり、他のピクチャの情報は不要である。

また、動画像データの高能率符号化方法の他のひとつとして、ピクチャ間予測（インター予測）符号化方法も知られている。この符号化方法は、動画像データには時間方向に相関性が高いという特徴があること、すなわち、動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いという性質があることを利用して画像を符号化する。

ピクチャ間予測符号化では、一般に、原画像を複数のブロックに分割した上で、各ブロックについて符号化を行う。符号化装置は、このブロック毎に、一旦符号化した後のフレームの復号画像から、原画像のブロックと類似している領域を選択し、この類似領域と原画像のブロックとの差分を計算することで、時間的な冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報とを符号化する。ピクチャ間予測符号化は、このようにして、高い圧縮率を実現している。

例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置は、まず、前ピクチャから符号化対象ピクチャへの「動き」を表す動きベクトルデータ、及び、符号化対象ピクチャの予測画像と符号化対象ピクチャの実際の画像との差分データを生成する。そして、生成した、動きベクトルデータ及び差分データを受信装置に送出する。ここで、予測画像は、前ピクチャと動きベクトルデータとを用いて作成される。一方、受信装置は、受信した動きベクトルデータ及び差分データから符号化対象ピクチャを再生する。

広く知られている動画像符号化方式のうちの代表的なものとして、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）とが共同で策定したＭＰＥＧ（Moving Picture Experts Group）規格を挙げることができる。

ＭＰＥＧ規格のひとつとして知られているＭＰＥＧ−２では、Ｉピクチャ、Ｐピクチャ、及びＢピクチャと称されている、３つのピクチャが規定されている。このうち、Ｉピクチャは、１フレーム内の情報のみを符号化して得られるピクチャである。また、Ｐピクチャは、過去のピクチャから順方向のピクチャ間予測を行ったときの予測誤差を符号化して得られるピクチャである。そして、Ｂピクチャは、過去及び未来のピクチャから双方向のピクチャ間予測を行ったときの予測誤差を符号化して得られるピクチャである。

動画像の符号化においては、効率の良い（すなわち、圧縮率が高い）方式が好ましい。この効率を高めるための技術が幾つか提案されている。このひとつに、符号化対象信号と相関のある信号を参照信号として取得し、変換規則の基礎となる変換基底を取得された参照信号の特性に基づいて導出し、導出された変換基底に基づいた変換規則に従って符号化対象信号を変換して符号化するという技術がある。

また、この他の背景技術として、双方向予測復号に用いる参照画像の劣化を検出して復号画像の劣化を抑制するという予測復号の技術が提案されている。

特開２００２−３１４４２８号公報 特開２０００−５９７８５号公報

前述したように、動画像の符号化においては効率の良い方式が望まれているが、既存の技術には改善の余地がある。
本発明は、以上の事情に鑑みてなされたものであり、その解決しようとする課題は、動画像の符号化の効率を向上させることである。

本明細書で後述する動画像符号化装置に、動き補償信号生成部と、予測信号生成部と、予測誤差信号生成部と、選択部と、符号化情報生成部と、再生予測誤差信号生成部と、復号画像生成部と、復号画像蓄積部と、を有するというものがある。ここで、動き補償信号生成部は、符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する。なお、符号化対象信号とは、動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す信号である。予測信号生成部は、該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する。予測誤差信号生成部は、該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する。選択部は、該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う。符号化情報生成部は、該選択部により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する。再生予測誤差信号生成部は、再生規則に従って、該符号化情報生成部が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する。なお、この再生規則とは、該選択部により選択された生成規則に予め対応付けられている規則であって、該生成規則に従って符号化された信号を再生するための規則である。復号画像生成部は、該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する。復号画像蓄積部は、該復号画像生成部が出力した復号画像を蓄積する。なお、このうちの動き補償信号生成部は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる。

また、本明細書で後述する動画像復号装置に、上述した動画像符号化装置から送られてくる、該符号化情報と該画像の動きを表している動きベクトル情報とに基づいて該符号化対象画像の復号画像を復号するというものがある。この装置は、復号装置側復号画像蓄積部と、復号装置側動き補償信号生成部と、復号装置側予測信号生成部と、復号装置側選択部と、復号装置側再生予測誤差信号生成部と、復号装置側復号画像生成部と、を有する。ここで、復号装置側復号画像蓄積部は、該符号化対象画像の復号画像を蓄積する。復号装置側動き補償信号生成部は、該復号装置側復号画像蓄積部から読み出した複数の該復号画像を複数の参照画像として用い、該複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する。復号装置側予測信号生成部は、該予測信号を、該復号装置側動き補償信号生成部が生成した複数の動き補償信号から生成する。復号装置側選択部は、該符号化情報生成部が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則を選択する。復号装置側再生予測誤差信号生成部は、該選択部により選択された生成規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する。復号装置側復号画像生成部は、該復号装置側予測信号生成部が生成した予測信号と該復号装置側再生予測誤差信号生成部が出力した再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する。なお、このうちの該復号装置側復号画像蓄積部は、該復号装置側復号画像生成部が出力した該符号化対象画像の復号画像を蓄積する。

また、本明細書で後述する動画像符号化方法には、以下のようにして動画像の符号化を行うものがある。すなわち、この方法では、まず、符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する。なお、符号化対象信号とは、動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す信号である。そして、該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する。そして、該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する。そして、該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う。そして、該選択により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する。そして、該選択により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該生成した符号化情報から該予測誤差信号の再生を行う。そして、この再生により得られた信号を再生予測誤差信号として出力する。そして、該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する。そして、該出力された復号画像を復号画像蓄積部で蓄積する。なお、このうちの該動き補償信号の生成では、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる。

また、本明細書で後述する動画像符号化プログラムに、動画像の符号化をコンピュータに行わせるためのものがある。このプログラムは、動き補償信号生成処理と、予測信号生成処理と、予測誤差信号生成処理と、選択処理と、符号化情報生成処理と、再生予測誤差信号生成処理と、復号画像生成処理と、復号画像蓄積処理と、を該コンピュータに行わせるというものである。ここで、動き補償信号生成処理は、符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する処理である。なお、ここで、符号化対象信号は、動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す信号である。予測信号生成処理は、該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する処理である。

予測誤差信号生成処理は、該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する処理である。選択処理は、該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う処理である。符号化情報生成処理は、該選択処理により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する処理である。再生予測誤差信号生成処理は、再生規則に従って、該符号化情報生成処理が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する処理である。なお、この再生規則は、該選択処理により選択された生成規則に予め対応付けられている規則であって該生成規則に従って符号化された信号を再生するための規則である。復号画像生成処理は、該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する処理である。復号画像蓄積処理は、該復号画像生成処理が出力した復号画像を復号画像蓄積部に蓄積する処理である。なお、このうちの動き補償信号生成処理は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる。

本明細書で後述する動画像符号化装置は、高い効率で動画像の符号化を行うことができ、また、この符号化により得られるビットストリームを、本明細書で後述する動画像復号装置で復号して動画像を復元することができる。

動画像符号化装置の全体構成図である。 動画像復号装置の全体構成図である。 双方向予測の一般的な手法の説明図である。 予測誤差信号と動き補償信号間差分信号との相関についての説明図である。 ジグザグスキャンのスキャンパターンの一例の説明図である。 動画像符号化装置の詳細構成図である。 動画像符号化装置の動作の説明図である。 生成規則の選択手法の第一の例の説明図である。 生成規則の選択手法の第二の例の説明図（その１）である。 生成規則の選択手法の第二の例の説明図（その２）である。 生成規則の選択手法の第二の例の説明図（その３）である。 生成規則の選択手法の第二の例の説明図（その４）である。 直交変換基底及び逆直交変換基底の更新の手法の説明図である。 動画像復号装置の詳細構成図である。 動画像復号装置の動作の説明図である。 動画像符号化処理の処理内容を図解したフローチャートである。 動画像復号処理の処理内容を図解したフローチャートである。 コンピュータのハードウェア構成図である。

まず図１について説明する。図１には、本実施形態に係る動画像符号化装置の全体の構成が図解されている。
この動画像符号化装置１は、まず、予測誤差信号生成部１１が、動画像符号化装置１に入力された原画の信号と、予測信号生成部２１から出力される予測信号との差分を計算して予測誤差信号を生成する。そして、この予測誤差信号に対し、直交変換部１２、量子化部１３、ジグザグスキャン部１４、及びエントロピー符号化部１５が各種の処理を施すことでデータストリームを生成し、この動画像符号化装置１の出力とする。なお、予測信号は、量子化部１３の出力信号に対し、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償信号生成部２０、予測信号生成部２１が各種の処理を施すことによって生成される。

なお、動画像符号化装置１は、動画像の各フレームを複数のブロックに分割し、各画像ブロックについて符号化を行う。このときの画像ブロックのサイズは、固定されていてもよいし、可変サイズであってもよい。

予測誤差信号生成部１１には、現ピクチャ（符号化対象ピクチャ）を分割することによって得られる各画像ブロック（符号化対象ブロック）の画像を表しているブロックデータ（符号化対象ブロックデータ）が順番に入力される。画像ブロックのサイズは、例えば、１６×１６画素のブロック（マクロブロック）である。予測誤差信号生成部１１は、符号化対象ブロックデータと、予測信号生成部２１から供給される予測ピクチャのブロックデータ（予測信号）との差分を計算することにより、予測誤差信号を生成する。

直交変換部１２は、予測誤差信号生成部１１により生成された予測誤差信号に対して直交変換処理を行う。この直交変換処理によって、予測誤差信号を水平方向及び垂直方向の周波数成分に分離した周波数領域信号が生成される。本実施形態においては、直交変換の方式として、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）を用いることとする。

量子化部１３は、直交変換部１２の出力信号を量子化する。この量子化によって動画像データの符号量が削減される。量子化部１３の出力信号は、ジグザグスキャン部１４および逆量子化部１６に供給される。

ジグザグスキャン部１４は、予め定められているスキャンパターンで量子化部１３の出力信号（複数の係数）をスキャンして、ラン・レベル情報を生成する。ラン・レベル情報は、量子化部１３の出力信号をスキャン順に並べた係数列から得られる、ゼロでない係数の値を表す情報（level）、及び、ゼロである係数が連続する長さを表す情報（run）などを含む情報である。

エントロピー符号化部１５は、ジグザグスキャン部１４から出力されるラン・レベル情報と、動き補償信号生成部２０で算出される後述の動きベクトルを表す動きベクトル情報とをエントロピー符号化（可変長符号化）する。エントロピー符号化は、シンボルの出現頻度に応じて異なる長さの符号を割り当てる符号化であり、出現頻度の高いシンボルほど短い長さの符号を割り当てることで、量子化部１３の出力信号の符号量を削減する。

逆量子化部１６は、量子化部１３の出力信号を逆量子化する。逆直交変換部１７は、逆量子化部１６の出力信号を逆直交変換する。逆量子化部１６及び逆直交変換部１７での処理は、それぞれ、量子化部１３及び直交変換部１２の処理と対の処理である。すなわち、逆量子化部１６及び逆直交変換部１７により予測誤差信号の復号処理が行われて、当該予測誤差信号と類似する信号（以下、「再生予測誤差信号」と称することとする）が得られる。

復号画像生成部１８は、予測信号生成部２１によって生成される予測画像のブロックデータと、逆直交変換部１７から出力される再生予測誤差信号とを加算して、前述したブロック毎の復号画像（局部復号画像）を生成する。

復号画像記憶部１９は、復号画像生成部１８により生成された局部復号画像を表しているデータを、新たな参照画像のデータとして格納し記憶しておく。
動き補償信号生成部２０は、まず、原ピクチャの符号化対象ブロックのブロックデータと、復号画像記憶部１９に格納されている参照画像のブロックデータとを用いて、符号化対象ブロックの動きベクトルを計算により算出する。ここで、動きベクトルとは、原ピクチャと参照画像との間での空間的なずれを表す値である。動き補償信号生成部２０は、例えば、参照画像において現ピクチャの符号化対象ブロックに最も類似しているブロックの位置を探索するブロックマッチング技術を用いる。そして、符号化対象ブロックと探索により見出した類似ブロックとの位置のずれを計算することで、動きベクトルを算出する。また、動き補償信号生成部２０は、算出した動きベクトルで参照画像の動き補償を行って、動き補償された参照画像のブロックデータを生成する。

予測信号生成部２１は、動き補償信号生成部２０によって生成された、動き補償された参照画像のブロックデータに基づいて、符号化対象信号の予測信号を生成する。この予測信号は、前述したように、予測誤差信号生成部１１に供給される。

次に図２について説明する。図２には動画像復号装置の全体の構成が図解されている。
この動画像復号装置２は、図１に図解した構成を備えている動画像符号化装置１で生成された符号化情報を復号して画像を再生するものである。この動画像復号装置２は、エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４、動き補償信号生成部３５、予測信号生成部３６、復号画像生成部３７、及び復号画像記憶部３８を備えている。

エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、及び、逆直交変換部３４は、それぞれ、図１の動画像符号化装置１におけるエントロピー符号化部１５、ジグザグスキャン部１４、量子化部１３、及び直交変換部１２の逆の処理を実行する。これにより、動画像符号化装置１より送られてきたデータストリームから、再生予測誤差信号が得られる。

動き補償信号生成部３５は、復号画像記憶部３８に格納されている参照画像と、動画像符号化装置１から通知されてエントロピー復号部３１から出力される動きベクトルとを利用して動き補償信号を生成する。そして、予測信号生成部３６は、動き補償信号生成部３５が生成した動き補償信号に基づいて、復号画像の予測値を表す予測信号を生成する。この、動き補償信号生成部３５及び予測信号生成部３６は、基本的に、図１の動画像符号化装置１における動き補償信号生成部２０及び予測信号生成部２１と同一の処理を行って、予測信号の生成を行う。

復号画像生成部３７は、予測信号生成部３６により生成される予測信号と、逆直交変換部３４から出力される再生予測誤差信号とを加算することによって、復号画像を生成する。なお、生成された復号画像は、以降の復号処理において利用される参照画像として復号画像記憶部３８に格納される。

動画像復号装置２は、以上のようにして、図１に図解した構成を備えている動画像符号化装置１で生成された符号化情報を復号し、復号画像を再生する。
次に、図１の動画像符号化装置１での符号化において行う双方向予測について説明する。

まず、双方向予測の一般的な手法について、図３を用いて説明する。
符号化対象画像４０の符号化を、双方向予測（Bidirectional prediction / Bipredictive ）を用いて行う場合には、前方向参照画像４１及び後方向参照画像４２が使用される。ここで、前方向参照画像４１（前方向動き補償画像）は、一般的に符号化対象画像４０よりも前の時刻に表示される複数の参照画像の中から選択される。また、後方向参照画像４２（後方向動き補償画像）は、一般的に符号化対象画像４０よりも後の時刻に表示される複数の参照画像の中から選択される。

前方向予測ブロック４１−１は、前方向参照画像４１において、符号化対象画像４０を分割して得た画像ブロックのひとつである符号化対象ブロック４０−１と最も類似している画像ブロックである。また、前方向動きベクトルは、符号化対象ブロック４０−１と前方向予測ブロック４１−１との間の「動き」を表す。そして、前方向予測ブロック４１−１の画像を表す前方向動き補償信号４１−３が生成される。

同様に、後方向予測ブロック４２−１は、後方向参照画像４２において、符号化対象ブロック４０−１と最も類似している画像ブロックである。また、後方向動きベクトル４２−２は、符号化対象ブロック４０−１と後方向予測ブロック４２−１との間の「動き」を表す。そして、後方向予測ブロック４２−１の画像を表す後方向動き補償信号４２−３が生成される。

符号化対象ブロック４０−１の画像を表す符号化対象信号４０−２についての予測信号４０−３は、前方向動き補償信号４１−３と後方向動き補償信号４２−３との加算平均を加算器４３が計算することで生成される。そして、減算器４４により計算される符号化対象信号４０−２と予測信号４０−３との差分を表す予測誤差信号４０−４と、前方向動きベクトル４１−２の情報及び後方向動きベクトル４２−２の情報とが符号化される。

なお、図３においては、前方向動き補償信号４１−３と後方向動き補償信号４２−３とを加算する加算器４３が描かれているが、実際には、その加算値が「２」で除算される。また、前述したＭＰＥＧ規格のひとつとしても知られている、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）勧告のＨ．２６４規格（ＭＰＥＧ−４ ＡＶＣ）では、２枚の参照画像が任意の複数の参照画像から生成される。そして、それらを重み付けして加算した値が、Ｂピクチャ（双方向予測符号化画像）として使用される。

次に、予測誤差信号と動き補償信号間差分信号との相関について、図４を用いて説明する。
図４の画像例は、正方形の物体Ｘが時計方向に回転している動画像を想定している。ここでは、時刻ｔの符号化対象画像４０が、時刻ｔ−１の前方向参照画像４１−１および時刻ｔ＋１の後方向参照画像４２−１を用いて符号化されるものとする。なお、この例では、前方向動きベクトル４１−２および後方向動きベクトル４２−２は、どちらもゼロであるとする。また、物体Ｘが存在する領域の画素値は１００であるとし、背景領域の画素値はゼロであるものとする。なお、画素値は、特に限定されるものではないが、例えば輝度レベルである。

前方向予測ブロック４１−１としては、符号化対象ブロック４０−１と最も差分の小さい領域が選択される。図４の画像例では、物体Ｘが回転しているので、前方向参照画像４１から符号化対象ブロック４０−１と全く同じ画像ブロックが検出されることはない。すなわち、前方向参照画像４１において、符号化対象ブロック４０−１と最も類似しているが、少しだけ差異のある画像ブロックが、前方向予測ブロック４１−１として抽出される。同様に、後方向参照画像４２においても、符号化対象ブロック４０−１と最も類似しているが、少しだけ差異のある画像ブロックが、後方向予測ブロック４２−１として抽出される。

図３を用いて前述したように、予測信号４０−３は、加算器４３により、前方向動き補償信号４１−３と後方向動き補償信号４２−３との加算平均を画素毎に計算することにより生成される。このようにして生成される予測信号４０−３が示している、画像ブロックの各画素の画素値に注目する。

この画素値は、前方向動き補償信号４１−３と後方向動き補償信号４２−３とのどちらにも物体Ｘが存在する領域のものについては「１００」である。これに対し、前方向動き補償信号４１−３と後方向動き補償信号４２−３とのうちの一方にのみ物体Ｘが存在する領域では、各画素の画素値が「５０」となる。そして、前方向動き補償信号４１−３と後方向動き補償信号４２−３とのどちらもが背景である領域（すなわち物体Ｘが存在しない領域）では、各画素の画素値が「０」となる。

このような予測信号４０−３に基づいて予測誤差信号４０−４が算出される。図３を用いて説明したように、予測誤差信号４０−４は、減算器４４により、符号化対象信号４０−２と予測信号４０−３との差分を画素毎に計算することにより生成される。次に、このようにして生成される予測誤差信号４０−４が示している、画像ブロックの各画素の画素値に注目する。

この予測誤差信号４０−４についての画素値は、図４に図解されているように、符号化対象ブロック４０−１上における物体Ｘと背景との境界の周辺に、「５０」となる領域と「−５０」となる領域とが現れる。

ここで、前方向動き補償信号４１−３と後方向動き補償信号４２−３との差分に注目する。
図４に描かれている、動き補償信号間差分信号４６（または、予測間差分信号）は、動き補償信号間差分信号算出器４５が、前方向動き補償信号４１−３と後方向動き補償信号４２−３との差分の絶対値を画素毎に算出して得るものである。従って、このようにして得られる動き補償信号間差分信号４６が示している、画像ブロックの各画素の画素値は、図４に図解したように、符号化対象ブロック４０−１上における物体Ｘと背景との境界の周辺に、「１００」となる領域が現れる。

ここで、予測誤差信号４０−４と動き補償信号間差分信号４６とがそれぞれ示している、画像ブロックの各画素の画素値を対比する。すると、この両者において、画素値がゼロでない領域の形状がほぼ一致する。このことは図４の画像例からも分かる。以上のことから、予測誤差が発生する領域は、前方向動き補償信号４１−３と後方向動き補償信号４２−３との画素値が異なる領域であり、予測誤差信号４０−１の画素値の分布と動き補償信号間差分信号４６の画素値の分布とは、高い相関を示しているといえる。

ところで、図１の動画像符号化装置１において、予測誤差信号生成部１１により生成された信号（すなわち予測誤差信号４０−４）は、直交変換部１２によって直交変換された後に、エントロピー符号化部１５によってエントロピー符号化が行われる。このときの直交変換により得られる複数の係数は、ジグザグスキャン部１４によって、図５に例示するようなスキャンパターンでジグザグスキャンされ、更にラン・レベル情報に変換されて、エントロピー符号化部１５に送られる。

このとき、直交変換により得られる複数の係数が、例えば、低周波数成分側に集まっていれば、エントロピー符号化後の符号化データの情報量は小さくなる。他方、予測誤差信号生成部１１により生成された信号を直交変換して得られる係数の周波数分布は、その信号（すなわち予測誤差信号４０−４）の画素値の分布に依存する。従って、予測誤差信号４０−４の画素値の分布を検出し、その分布に応じた直交変換方法を適切に選択すれば、符号化データの情報量を小さくすることができる。

そこで、本実施形態では、図４を用いて前述した、予測誤差信号４０−４の画素値の分布と動き補償信号間差分信号４６の画素値の分布とが呈する高い相関を利用して、符号化データの情報量の削減を図る。すなわち、本実施形態では、予測誤差信号４０−４の画素値の分布の代わりに、動き補償信号間差分信号４６の画素値の分布に基づいて、予測誤差信号４０−４を直交変換する際の変換方法を適切に選択する。更に、本実施形態では、選択された直交変換に使用される変換基底を、動き補償信号間差分信号４６と、逆量子化部１６及び逆直交変換部１７により生成される再生予測誤差信号とに基づいて更新することで、符号化データの情報量の更なる削減を図る。

次に図６について説明する。図６は、動画像符号化装置１の詳細構成図である。
前述したように、動画像符号化装置１は、動画像の各フレームを複数の画像ブロックに分割し、各画像ブロックについて符号化を行う。なお、図６において、動画像符号化装置１に入力されている符号化対象信号５１は、符号化対象画像における符号化対象ブロックの画像を表している信号である。

動き推定部１０１は、動画像符号化装置１に入力されている符号化対象信号５１と、後述の参照画像蓄積部１１０に蓄積されている複数の参照画像とに基づいて、１又は複数の動きベクトル５２を生成する。また、動き補償信号生成部１０２は、動き推定部１０１が生成した動きベクトル５２と、参照画像蓄積部１１０に蓄積されている複数の参照画像とに基づいて、１又は複数の動き補償信号５３を生成する。例えば、双方向予測においては、動き推定部１０１は前方向と後方向との動きベクトル５２を生成し、動き補償信号生成部１０２は前方向と後方向との動き補償信号５３を生成する。なお、図１における動き補償信号生成部２０は、この動き推定部１０１と動き補償信号生成部１０２とを含むものである。

予測信号生成部１０３は、動き補償信号生成部１０２が生成した動き補償信号５３を用いて、動画像符号化装置１に入力されている符号化対象信号５１についての予測値を表す予測信号５４を生成する。予測信号生成部１０３が行う予測信号５４の生成には、既知の手法が用いられる。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなどの各種のＭＰＥＧ規格等で用いられているインター予測や双方向予測（Ｂピクチャ）、又はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ等で採用されているイントラ予測等の手法が用いられる。なお、予測信号生成部１０３での予測信号５４の生成に使用する手法を指示する予測モード（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのイントラ予測モードや、インター予測のベクトル等）の決定手法についても、既知の予測モード決定アルゴリズムが使用される。この予測モードの決定手法としては、例えば、イントラ予測モード決定手法や、ベクトル推定手法などを挙げることができる。なお、図１における予測信号生成部２１は、この予測信号生成部１０３に対応するものである。

予測誤差信号生成部１０４は、図３における減算器４４が行っていた計算を行うものであり、動画像符号化装置１に入力されている符号化対象信号５１と、予測信号生成部１０３が生成した予測信号５４との差分を表す予測誤差信号５５を生成する。なお、図１における予測誤差信号生成部１１は、この予測誤差信号生成部１０４に対応するものである。

符号化情報生成部１０５は、予測誤差信号生成部１０４が生成した予測誤差信号５５から符号化情報５６を生成する。なお、符号化情報生成部１０５の各々に付されている「＃１」〜「＃Ｎ」の記号は、互いに異なる生成規則＃１〜＃Ｎを表しており、符号化情報生成部１０５は、それぞれの生成規則＃１〜＃Ｎに従って、予測誤差信号５５から符号化情報５６を生成する。なお、符号化情報生成部１０５は、図１における直交変換部１２及び量子化部１３に対応する。

なお、符号化情報生成部１０５による符号化情報５６の生成では、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなどのＭＰＥＧ規格等で用いられる直交変換処理と量子化処理との組合せが用いられる。このようにする場合には、符号化情報５６は、直交変換処理により得られた各係数を量子化した結果に相当する。また、符号化情報生成部１０５による符号化情報５６の生成では、ＪＰＥＧ（Joint Photographic Experts Group）が規格化したＪＰＥＧ ２０００等で採用されているウェーブレット変換や、ＤＰＣＭ（差分パルス符号変調）、ベクトル量子化等を用いてもよい。

前述したように、双方向予測においては、画像ブロック内において、符号化対象信号５１と予測信号５４との差分を表す予測誤差が大きい位置では、その予測信号５４の生成に使用される複数の動き補償信号５３間の差分も大きい。すなわち、予測誤差信号５５の画素値の分布と、動き補償信号５３間の差分画素値の分布との間には高い相関がある。例えば、符号化対象ブロックの右上領域の予測誤差が大きい場合には、対応する領域の動き補償信号５３間の差分も大きい。そこで、本実施形態では、この高い相関を利用し、予測信号５４を生成するために使用される複数の動き補償信号５３間の差分の分布に基づいて、符号化情報生成部１０５の選択、すなわち、符号化情報５６を生成するための生成規則＃１〜＃Ｎの選択を行う。

選択部１０６は、上記の選択を行うものであり、予測誤差信号５５から符号化情報５６を生成するための生成規則（符号化情報生成部＃１〜＃Ｎ）を、動き補償信号５３間の差分の分布に基づいて選択する。

すなわち、選択部１０６は、図４に図解したように、まず、前方向動き補償信号４１−３と後方向動き補償信号４２−３との差分を計算することにより、動き補償信号間差分信号４６を生成する。そして、選択部１０６は、この動き補償信号間差分信号４６に基づき、予測誤差信号４０−４（図６では予測誤差信号５５）を符号化したときの情報量が最も小さくなると推定される生成規則での符号化を行う符号化情報生成部１０５を選択する。そうすると、符号化情報生成部１０５は、予測誤差信号５５からの符号化情報の生成を、選択部１０６により選択された生成規則で行う。

エントロピー符号化部１０７は、符号化情報生成部１０５により生成された符号化情報５６に対してエントロピー符号化を施して、エントロピー符号化情報を生成する。このエントロピー符号化部１０７で行われるエントロピー符号化は、符号化情報５６を符号化したときの情報量が最も小さくなると推定される符号化規則が用いられている。従って、本実施形態の動画像符号化装置１で生成されるビットストリーム５９（符号化データストリーム）の情報量は小さくなる。なお、エントロピー符号化部１０７は、動き推定部１０１が生成した動きベクトル５２を表す動きベクトル情報の符号化も併せて行う。なお、エントロピー符号化部１０７は、図１におけるエントロピー符号化部１５に対応しており、図６では、図１におけるジグザグスキャン部１４を省略している。

再生予測誤差信号生成部１０８は、符号化情報生成部１０５が生成した符号化情報５６から再生予測誤差信号５７を生成する。なお、再生予測誤差信号生成部１０８の各々に付されている「＃１」〜「＃Ｎ」の記号は、互いに異なる再生規則＃１〜再生規則＃Ｎを表しており、これらは、前述した生成規則＃１〜生成規則＃Ｎに対応している。再生予測誤差信号生成部１０８は、それぞれの再生規則＃１〜再生規則＃Ｎに従って、符号化情報５６から再生予測誤差信号５７を生成する。なお、符号化情報生成部１０５は、図１における逆量子化部１６及び逆直交変換部１７に対応する。

選択部１０６は、動き補償信号５３間の差分の分布に基づいて、再生予測誤差信号５７を生成するための再生規則（＃１〜＃Ｎ）を選択する。このとき、選択部１０６は、符号化情報５６を生成する生成規則の選択内容に対応する再生規則を選択する。図６においては、例として、符号化情報生成部＃２と再生予測誤差信号生成部＃２とを選択部１０６が選択した場合を図解している。

局部復号画像生成部１０９は、符号化対象信号５１が表していた符号化対象ブロックの画像の復号画像である局部復号画像５８を、予測信号生成部１０３が生成した予測信号５４と再生予測誤差信号生成部１０８が生成した再生予測誤差信号５７とから生成する。つまり、局部復号画像は、符号化対象ブロックの画像を表している符号化対象信号５１を一旦符号化した後に復号することで得られる。

参照画像蓄積部１１０は、局部復号画像生成部１０９が生成した局部復号画像を格納して記憶しておく。この局部復号画像は、後の符号化処理において参照画像として使用される。なお、参照画像蓄積部１１０は、図１における復号画像記憶部１９に対応する。

更新部１１１は、選択部１０６により選択されて符号化情報生成部１０５及び再生予測誤差信号生成部１０８の各々においてそれぞれ用いられている符号化方式及び復号方式を更新する。この更新は、動き補償信号生成部１０２より生成される複数の動き補償信号５３間の差分と再生予測誤差信号生成部１０８により生成される再生予測誤差信号５７とに基づいて行われる。

このように、本実施形態では、符号化情報生成部１０５及び再生予測誤差信号生成部１０８は、それぞれ、画像ブロック内で局在している予測誤差の位置に応じ、予測誤差信号５５から生成する符号化情報５６の情報量が最も小さくなるように選択される。このとき、符号化情報生成部１０５及び再生予測誤差信号生成部１０８は、それぞれ、例えば、予測誤差が局在しているブロック内の位置に対応付けられている複数種類の直交変換基底及び逆直交変換基底を用意して構成しておく。そして、選択部１０６は、この複数種類の直交変換基底及び逆直交変換基底からそれぞれ１つずつの選択を行う。なお、直交変換は、本実施形態においては、カルーネン・レーベ変換を用いる。

なお、上述のようにする代わりに、例えば、画像ブロック内において予測誤差が大きい領域と小さい領域とを検出し、検出した２つの領域に対して互いに異なる直交変換／逆直交変換を行うようにしてもよい。あるいは、符号化情報の生成において、検出した２つの領域のうち、予測誤差が大きい領域に対してはＤＰＣＭによる符号化を行い、予測誤差が小さい領域に対しては直交変換による符号化を行うようにしてもよい。

また、本実施形態では、更新部１１１は、画像ブロック内で局在している予測誤差の位置と、再生予測誤差信号生成部１０８により生成される再生予測誤差信号とに応じて、選択部１０６により選択された符号化方式及び復号方式を更新する。この更新では、例えば、画像ブロック内で局在している予測誤差の位置に対応する複数種類の直交変換基底及び逆直交変換基底を、再生予測誤信号から計算し、その計算結果を基にして、選択部１０６により選択された直交変換基底及び逆直交変換基底の更新を行う。なお、更新部１１１を取り除いても、動画像符号化装置１による動画像の符号化は可能である。

次に、上述した構成を有する動画像符号化装置１の動作について、図７を用いて更に詳細に説明する。
なお、図７の例では、符号化情報生成部１０５には、生成規則＃０〜＃１５の計１６種類の生成規則が予め用意されており、再生予測誤差信号生成部１０８には、これに対応する再生規則＃０〜＃１５の計１６種類の再生規則が予め用意されている。なお、再生規則＃０〜＃１５は、それぞれ生成規則＃０〜＃１５による処理の逆処理を実行するものとする。

また、以下の説明では、符号化対象信号５１により表されている符号化対象ブロックの右下領域に丸形状のテクスチャが存在するものとする。また、予測信号生成部１０３での予測信号の生成に使用する手法を指示する予測モードとしては、双方向予測が選択されているものとする。

図７において、動き補償信号生成部１０２は、まず、符号化対象信号５１と参照画像蓄積部１１０に蓄積されている複数の参照画像１２３とに基づいて前方向と後方向との動きベクトルを生成する。そして、生成した動きベクトルに基づいて、前方向動き補償信号５３−１と後方向動き補償信号５３−２とを生成する。

なお、図７の例において、動き補償信号生成部１０２により生成される前方向動き補償信号５３−１と後方向動き補償信号５３−２とによって表される各画像ブロックには、それぞれ、符号化対象ブロックに類似した、丸形状のテクスチャが存在する。但し、この３枚の画像ブロックに存在するテクスチャの位置及び／又は形状は、互いに一致しているとは限らない。

なお、図６の説明においては、動きベクトルの生成は動き推定部１０１が行い、動き補償信号の生成は動き補償信号生成部１０２が行うとして説明した。これに対し、図７のように、動き推定部１０１を動き補償信号生成部１０２が備えるように構成し、動きベクトルの生成と動き補償信号の生成との両者を動き補償信号生成部１０２が行うようにしてもよい。

予測信号生成部１０３は、前方向動き補償信号５３−１及び後方向動き補償信号５３−２の加算平均を計算することによって予測信号５４を生成する。そして、予測誤差信号生成部１０４は、符号化対象信号５１と予測信号５４との差分を計算することによって予測誤差信号５５を生成する。そして、この予測誤差信号５５は、符号化情報生成部１０５に送られる。

一方、差分計算部１２１は、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分を表す動き補償信号間差分信号１２２を生成する。
ここで、前方向動き補償信号５３−１と後方向動き補償信号５３−２とによってそれぞれ表される画像ブロックを比較すると、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域には差異が存在する。このため、動き補償信号間差分信号１２２により表される画像ブロックにおいて、テクスチャが存在する領域（ここでは、右下領域）では画素値の差分値は大きい。

なお、符号化対象信号５１と予測信号生成部１０３が生成した予測信号５４とによってそれぞれ表される画像ブロックを比較すると、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域には差異が存在することは明らかである。従って、予測誤差信号５５により表されるブロックにおいても、テクスチャが存在する領域（ここでは、右下領域）では誤差が大きくなる。このように、予測誤差信号５５と動き補償信号間差分信号１２２との間には高い相関を示す。

なお、図６の説明においては、差分計算部１２１が行う計算を選択部１０６が行うとして説明した。このように、差分計算部１２１を選択部１０６が備えるように構成してもよい。

選択部１０６は、符号化情報生成部１０５に用意されている生成規則＃０〜＃１５の中から、動き補償信号間差分信号１２２により表される画像ブロックの特徴（差分の分布）に対応する生成規則（ここでは、＃１）を選択する。図７の例では、画像ブロック内の右下領域の成分が大きい偏りパターンが検出され、この偏りパターンに対応する符号化情報生成部＃１が選択されている。そして、符号化情報生成部１０５は、符号化情報生成部＃１を利用して予測誤差信号５５から符号化情報５６を生成する。

更に、選択部１０６は、再生予測誤差信号生成部１０８に用意されている再生規則＃０〜＃１５の中から、符号化情報生成部１０５において選択した生成規則に対応する再生規則を選択する。図７の例では、符号化情報生成部１０５において生成規則＃１が選択されているので、再生予測誤差信号生成部１０８においては、生成規則＃１に対応する再生規則＃１が選択されている。

なお、再生規則＃１は、生成規則＃１が選択された符号化情報生成部１０５により行われる処理の逆処理を再生予測誤差信号生成部１０８に行わせるものである。例えば、生成規則＃１が選択された符号化情報生成部１０５が直交変換処理を行う場合には、再生予測誤差信号生成部１０８は、再生規則＃１が選択されることによって、その直交変換処理の逆処理である逆直交変換処理を行う。

再生予測誤差信号生成部１０８は、選択部１０６によってこのようにして選択された再生規則＃１に従った処理を行って、符号化情報５６から再生予測誤差信号５７を生成する。その後の、局部復号画像生成部１０９による再生予測誤差信号５７からの局部復号画像５８の生成と、参照画像蓄積部１１０に対する局部復号画像５８の格納及び参照画像１２３としての読み出しについては、図６についての説明と同様である。

更新部１１１は、まず、動き補償信号間差分信号１２２により表されている画像ブロックの特徴（差分の分布の偏り）に応じて、再生予測誤差信号５７を、選択部１０６による前述した生成規則及び再生規則の選択結果に対応するグループに分類する。図７の例では、生成規則及び再生規則は計１６種類用意されているので、再生予測誤差信号５７が分類されるグループも、＃０〜＃１５の計１６グループ用意されている。そして、それぞれのグループにおいて、再生予測誤差信号５７に基づき、その予測誤差が小さくなる直交変換基底と逆直交変換基底とを新たに計算する。そして、新たに求められた直交変換基底及び逆直交変換基底を、それぞれ符号化情報生成部１０５及び再生予測誤差信号生成部１０８に与えて、選択されている生成規則及び再生規則で使用される直交変換基底及び逆直交変換基底を更新する。なお、更新部１１１が直交変換基底及び逆直交変換基底の計算に用いる再生予測誤差信号５７を前ピクチャについてのもののみとする代わりに、複数のピクチャの再生予測誤差信号５７を蓄積して用いるようにしてもよい。

次に、選択部１０６による生成規則の選択手法について、更に詳しく説明する。
まず、この選択手法の第一の例について、図８を用いて説明する。
図８において、前方向動き補償ブロック６１、後方向動き補償ブロック６２、及び差分信号ブロック６３は、それぞれ、前方向動き補償信号５３−１、後方向動き補償信号５３−２、及び動き補償信号間差分信号１２２の各々により表されている画像ブロックである。この図８の例では、これらの前方向動き補償ブロック６１、後方向動き補償ブロック６２、及び差分信号ブロック６３は、いずれも４つの領域Ａ〜Ｄに分割されるものとしている。例えば、画像ブロックのサイズが８×８画素である場合、領域Ａ〜Ｄはそれぞれ４×４画素となる。

前述したように、動き補償信号間差分信号１２２は、前方向動き補償信号５３−１の各画素の画素値（例えば、輝度レベル）と、後方向動き補償信号５３−２の対応する画素の画素値との間の差分を表す信号である。この選択手法の第一の例では、選択部１０６は、まず、この動き補償信号間差分信号１２２により表される画像ブロックの左上の領域Ａ、右上の領域Ｂ、左下の領域Ｃ、及び右下の領域Ｄの各領域について、差分値の絶対値和を算出する。すなわち、選択部１０６は、領域Ａ〜Ｄについて、それぞれ差分値絶対値和Ｓ_A 〜Ｓ_D を計算する。

続いて、選択部１０６は、差分値絶対値和Ｓ_A 〜Ｓ_D をそれぞれ閾値Ｔｈと比較する。この閾値Ｔｈは、例えば、予め定めておいた固定値とする。但し、この閾値Ｔｈを、符号化処理を実行しながら適応的に変化する値としてもよい。すると、各差分値絶対値和Ｓ_A 〜Ｓ_D についての閾値判定の結果の組合せパターンが得られる。

選択部１０６には、この閾値判定の結果の組合せパターンに対し、それぞれ対応する基底＃０〜＃１５を予め定めておく。「基底」は、この例では、直交変換のための変換規則に相当するものとしている。すなわち、選択部１０６には、互いに異なる１６個の基底＃０〜＃１５が予め定義されている。

なお、図８に表示されている表において、基底番号「０」〜「１５」には、４つの閾値判定の結果に対応する４ビットデータを対応付けている。この場合、閾値判定の結果が「Ｙｅｓ」である場合は「１」を表し、閾値判定の結果が「Ｎｏ」である場合は「０」を表している。

例えば、基底＃１（すなわちビットデータ「０００１」）は、画像ブロック内の右下の領域Ｄのみの予測誤差が大きいときに、その予測誤差信号を基底＃１で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなるような基底である。また、基底＃２（すなわちビットデータ「００１０」）は、画像ブロック内の左下の領域Ｃのみの予測誤差が大きいときに、その予測誤差信号を基底＃２で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなるような基底である。以下同様に、基底＃０〜＃１５は、それぞれ、画像ブロックにおいて誤差の大きい画素が分布する領域に応じて、符号化情報の情報量を小さくする基底である。なお、各基底＃０〜＃１５の具体的な値は、それぞれ、例えば、予め実験又はシミュレーションにより最適なものが設定されている。

図８の例で差分信号ブロック６３に注目すると、領域Ｄの差分が大きいことが分かる。この場合には、差分値絶対値和Ｓ_D のみが閾値Ｔｈよりも大きくなる結果、選択部１０６は、基底＃１を選択する。

図８の例では、各基底＃０〜＃１５は、符号化対象ブロックのサイズに対応する行列により表される。例えば、符号化対象ブロックが８×８画素であるときは、各基底＃０〜＃１５は、６４の要素を有する８行×８列の行列で表される。

符号化情報生成部１０５には、基底＃０〜＃１５が予め用意されている。ここで、基底＃０〜＃１５は、図７における生成規則＃０〜＃１５に相当する。そして、符号化情報生成部１０５は、選択部１０６により選択された基底を利用して、予測誤差信号５５に対して直交変換を行う。上述の例では、符号化情報生成部１０５は、基底＃１を利用して、予測誤差信号５５に対して直交変換を行う。ここで、直交変換は、予測誤差信号５５を表す行列に、基底を表す行列を乗算することにより実現される。そして、この直交変換によって得られた信号に対して、必要に応じて量子化が実行されて、符号化情報５６として出力される。

このように、第一の例では、動き補償信号間差分信号１２２により表されている差分信号ブロック６３における差分値の分布の偏りパターンに対してそれぞれ直交変換の基底が設けられている。そして、予測誤差信号５５は、この偏りパターンに対応する基底で直交変換される。このときに用いられる基底は、直交変換によって得られる符号化情報５６の情報量が小さくなるようなものが選択される。従って、本実施形態の符号化方法によれば、符号化情報５６の情報量が小さくなる。

次に、選択部１０６による生成規則の選択手法の第二の例について、図９Ａ、図９Ｂ、図１０Ａ、及び図１０Ｂの各図を用いて説明する。
なお、この第二の例においては、前方向動き補償ブロック６１、後方向動き補償ブロック６２、及び差分信号ブロック６３は、いずれも４行×４列の計１６の領域に分割されるものとしている。

この第二の例においても、まず、前方向動き補償信号５３−１の各画素の画素値と、後方向動き補償信号５３−２の対応する画素の画素値との間の差分が計算されて、動き補償信号間差分信号１２２が生成される。次に、この第二の例では、動き補償信号間差分信号１２２により表される差分信号ブロック６３の各行について、差分値の分布パターンが検出される。

例えば、図９Ａに図解されている行０の各領域に含まれる各画素の差分値絶対値和Ｓ_A 〜Ｓ_D が計算される。そして、図９Ｂに図解されているように、「行０」の各領域の差分値絶対値和Ｓ_A 〜Ｓ_D がそれぞれ閾値Ｔｈと比較される。また、図９Ａに図解されている「行１」、「行２」、及び「行３」の各行に含まれる領域についても同様の比較が行われる。

図９Ａの例において、例えば、「行３」は、４つの領域のうちの右から２番目の領域についての画素の差分値絶対値和Ｓ_C のみが閾値Ｔｈよりも大きく、他の３つの領域についての画素の差分値絶対値和Ｓ_A 、Ｓ_B 、及びＳ_D は、いずれも閾値Ｔｈよりも小さい。この場合には、図９Ｂの表に基づき、「行３」に対して分布パターン＃２が検出される。同様に、この図９Ａの例では、「行０」、「行１」、及び「行２」の各行に対して、それぞれ、分布パターン＃９、＃４、及び＃１１が検出される。

図９Ｂの表における各分布パターン＃０〜＃１５に対しては、それぞれ、基底＃０〜＃１５が対応付けられている。この基底＃０〜＃１５は、それぞれ、画像ブロックにおいて対応する分布パターンを持った行が存在する場合に、その予測誤差信号をその基底で変換を行うと、変換後の行においての第１主成分にエネルギーが集中するように決定されている基底である。

選択部１０６は、まず、以上のようにして、各行に対する基底を選択する。そして、符号化情報生成部１０５は、予測誤差信号５５の各行を、選択部１０６が選択した各行に対する基底を用いて変換する。上述の例では、「行０」は基底＃９で変換され、「行１」、「行２」、及び「行３」は、それぞれ基底＃４、基底＃１１、基底＃２で変換される。そして、予測誤差信号５５の各行がそれぞれ上述のようにして選択された基底で変換されると、変換後の各行においては、第１主成分にエネルギーが集中するようになる。

この行方向の変換に用いることのできる基底＃０〜＃１５の例を以下に示す。なお、この直交基底の各列は、それぞれ固有ベクトルを表しており、左側から順番に第１列、第２列、第３列、及び第４列の各列が、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、及び第４主成分を表している。

直交基底＃０（水平方向分布パターン＃０に関連付けられた基底）
0.496, 0.654, 0.504, 0.268
0.504, 0.268, -0.496, -0.654
0.504, -0.268, -0.496, 0.654
0.496, -0.654, 0.504, -0.268
直交基底＃１
0.397, 0.626, 0.518, 0.426
0.450, 0.412, -0.214, -0.763
0.526, -0.070, -0.705, 0.470
0.603, -0.658, 0.434, -0.122
直交基底＃２
0.431, 0.634, 0.500, 0.403
0.498, 0.363, -0.304, -0.726
0.554, -0.228, -0.609, 0.520
0.509, -0.644, 0.536, -0.197
直交基底＃３
0.400, 0.621, 0.502, 0.450
0.470, 0.408, -0.201, -0.756
0.553, -0.132, -0.686, 0.455
0.560, -0.657, 0.487, -0.135
直交基底＃４
0.509, 0.644, 0.536, 0.197
0.554, 0.228, -0.609, -0.520
0.498, -0.363, -0.304, 0.726
0.431, -0.634, 0.500, -0.403
直交基底＃５
0.445, 0.631, 0.526, 0.358
0.504, 0.349, -0.371, -0.697
0.529, -0.220, -0.579, 0.580
0.518, -0.657, 0.501, -0.221
直交基底＃６
0.461, 0.633, 0.536, 0.315
0.536, 0.315, -0.461, -0.633
0.536, -0.315, -0.461, 0.633
0.461, -0.633, 0.536, -0.315
直交基底＃７
0.429, 0.617, 0.534, 0.388
0.510, 0.374, -0.335, -0.698
0.536, -0.213, -0.593, 0.562
0.518, -0.659, 0.501, -0.215
直交基底＃８
0.603, 0.658, 0.434, 0.122
0.526, 0.070, -0.705, -0.470
0.450, -0.412, -0.214, 0.763
0.397, -0.626, 0.518, -0.426
直交基底＃９
0.500, 0.656, 0.500, 0.263
0.500, 0.263, -0.500, -0.656
0.500, -0.263, -0.500, 0.656
0.500, -0.656, 0.500, -0.263
直交基底＃１０
0.518, 0.657, 0.501, 0.221
0.529, 0.220, -0.579, -0.580
0.504, -0.349, -0.371, 0.697
0.445, -0.631, 0.526, -0.358
直交基底＃１１
0.494, 0.655, 0.502, 0.275
0.509, 0.268, -0.493, -0.653
0.513, -0.286, -0.485, 0.648
0.484, -0.646, 0.520, -0.280
直交基底＃１２
0.560, 0.657, 0.487, 0.135
0.553, 0.132, -0.686, -0.455
0.470, -0.408, -0.201, 0.756
0.400, -0.621, 0.502, -0.450
直交基底＃１３
0.484, 0.646, 0.520, 0.280
0.513, 0.286, -0.485, -0.648
0.509, -0.268, -0.493, 0.653
0.494, -0.655, 0.502, -0.275
直交基底＃１４
0.518, 0.659, 0.501, 0.215
0.536, 0.213, -0.593, -0.562
0.510, -0.374, -0.335, 0.698
0.429, -0.617, 0.534, -0.388
直交基底＃１５
0.486, 0.649, 0.514, 0.281
0.514, 0.281, -0.486, -0.649
0.514, -0.281, -0.486, 0.649
0.486, -0.649, 0.514, -0.281

次に、選択部１０６は、各列に対する基底を選択する。このために、まず、動き補償信号間差分信号１２２により表される差分信号ブロック６３の各行の全ての領域に含まれる各画素の差分値絶対値和Ｓ_E 〜Ｓ_H が計算される。ここで、Ｓ_E は、差分信号ブロック６３の「行０」における各画素の差分値の絶対値の和である。同様に、Ｓ_F 、Ｓ_G 、及びＳ_H は、それぞれ、差分信号ブロック６３の「行１」、「行２」、及び「行３」の各行における各画素の差分値の絶対値の和である。そして、この差分値絶対値和Ｓ_E 〜Ｓ_H が、それぞれ閾値Ｔｈと比較される。

このとき、例えば、図１０Ａの例のように、Ｓ_E とＳ_F とはそれぞれ閾値Ｔｈよりも小さく、Ｓ_G とＳ_H とはそれぞれ閾値Ｔｈよりも大きかったとする。すると、この場合には、図１０Ｂの表に基づき、基底パターン＃３が選択される。

１０Ｂの表における各基底パターン＃０〜＃１５に対しては、それぞれ、基底セット＃０〜＃１５が対応付けられている。この基底セット＃０〜＃１５は、それぞれ、４つの基底（第１〜第４主成分用直交基底）を有する。この第１〜第４主成分用直交基底は、図９Ａ及び図９Ｂを用いて説明した、予測誤差信号５５の各行に対する行方向の基底変換を実行することにより得られる、４×４基底変換行列の第１〜第４成分にそれぞれ対応して作成される。

例えば、図１０Ａ及び図１０Ｂの例では、前述したように基底セット＃３が選択される。すると、この場合には、４×４基底変換行列の第１成分は、基底セット＃３の第１主成分用直交基底を用いて変換される。同様に、４×４基底変換行列の第２〜第４成分は、それぞれ、基底セット＃３の第２〜第４主成分用直交基底を用いて変換される。

各基底セット＃０〜＃１５の各基底は、それぞれ、対応する基底パターンを持った列に対して使用されると、変換後の列においての第１要素にエネルギーが集中するよう決定されている。従って、予測誤差信号５５の各行に対して前述した行方向の変換を施した後の各列が、更に、上述のようにして選択された基底セットでそれぞれ変換されると、変換後の各列においては、第１要素にエネルギーが集中するようになる。すなわち、以上のようにして、予測誤差信号５５に対し行方向及び列方向についての直交変換を行うことで、得られる符号化情報５６は、低周波数成分領域にエネルギーが集中するようになる。従って、この後にエントロピー符号化部１０７による符号化を行うことで、エントロピー符号化後の符号化データの情報量が小さくなる。

以上の列方向の変換に用いることのできる基底セット＃０〜＃１５の例を以下に示す。なお、この直交基底の各列は、それぞれ固有ベクトルを表しており、左側から順番に第１列、第２列、第３列、及び第４列の各列が、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、第４主成分を表している。

なお、直交変換を行うと、一般的に、変換後の行列は、第１主成分の値が最も大きく、第２〜第４主成分の値は順番に小さくなる傾向がある。このとき、実空間の符号化対象信号５１の各行に対し水平方向に直交変換を行い、全ての行で主成分の並びを統一するようにしてもよい。なお、この基底セットは、この主成分毎に、垂直方向の基底を有している。

基底セット＃０（垂直方向の基底パターン＃０に関連付けられた基底セット）
第１主成分用直交基底
0.500, 0.656, 0.500, 0.263
0.500, 0.263, -0.500, -0.656
0.500, -0.263, -0.500, 0.656
0.500, -0.656, 0.500, -0.263
第２主成分用直交基底
0.500, 0.656, 0.500, 0.263
0.500, 0.263, -0.500, -0.656
0.500, -0.263, -0.500, 0.656
0.500, -0.656, 0.500, -0.263
第３主成分用直交基底
0.500, 0.656, 0.500, 0.263
0.500, 0.263, -0.500, -0.656
0.500, -0.263, -0.500, 0.656
0.500, -0.656, 0.500, -0.263
第４主成分用直交基底
0.500, 0.656, 0.500, 0.263
0.500, 0.263, -0.500, -0.656
0.500, -0.263, -0.500, 0.656
0.500, -0.656, 0.500, -0.263

基底セット＃１
第１主成分用直交基底
0.375, 0.616, 0.522, 0.455
0.435, 0.438, -0.157, -0.771
0.525, -0.020, -0.732, 0.434
0.628, -0.655, 0.409, -0.101
第２主成分用直交基底
0.375, 0.616, 0.522, 0.455
0.435, 0.438, -0.157, -0.771
0.525, -0.020, -0.732, 0.434
0.628, -0.655, 0.409, -0.101
第３主成分用直交基底
0.375, 0.616, 0.522, 0.455
0.435, 0.438, -0.157, -0.771
0.525, -0.020, -0.732, 0.434
0.628, -0.655, 0.409, -0.101
第４主成分用直交基底
0.375, 0.616, 0.522, 0.455
0.435, 0.438, -0.157, -0.771
0.525, -0.020, -0.732, 0.434
0.628, -0.655, 0.409, -0.101

基底セット＃２
第１主成分用直交基底
0.407, 0.625, 0.475, 0.467
0.494, 0.396, -0.213, -0.744
0.581, -0.226, -0.641, 0.448
0.503, -0.634, 0.564, -0.165
第２主成分用直交基底
0.407, 0.625, 0.475, 0.467
0.494, 0.396, -0.213, -0.744
0.581, -0.226, -0.641, 0.448
0.503, -0.634, 0.564, -0.165
第３主成分用直交基底
0.407, 0.625, 0.475, 0.467
0.494, 0.396, -0.213, -0.744
0.581, -0.226, -0.641, 0.448
0.503, -0.634, 0.564, -0.165
第４主成分用直交基底
0.407, 0.625, 0.475, 0.467
0.494, 0.396, -0.213, -0.744
0.581, -0.226, -0.641, 0.448
0.503, -0.634, 0.564, -0.165

基底セット＃３
第１主成分用直交基底
0.391, 0.613, 0.504, 0.467
0.467, 0.422, -0.173, -0.757
0.554, -0.113, -0.699, 0.439
0.567, -0.659, 0.478, -0.126
第２主成分用直交基底
0.391, 0.613, 0.504, 0.467
0.467, 0.422, -0.173, -0.757
0.554, -0.113, -0.699, 0.439
0.567, -0.659, 0.478, -0.126
第３主成分用直交基底
0.391, 0.613, 0.504, 0.467
0.467, 0.422, -0.173, -0.757
0.554, -0.113, -0.699, 0.439
0.567, -0.659, 0.478, -0.126
第４主成分用直交基底
0.391, 0.613, 0.504, 0.467
0.467, 0.422, -0.173, -0.757
0.554, -0.113, -0.699, 0.439
0.567, -0.659, 0.478, -0.126

基底セット＃４
第１主成分用直交基底
0.503, 0.634, 0.564, 0.165
0.581, 0.226, -0.641, -0.448
0.494, -0.396, -0.213, 0.744
0.407, -0.625, 0.475, -0.467
第２主成分用直交基底
0.503, 0.634, 0.564, 0.165
0.581, 0.226, -0.641, -0.448
0.494, -0.396, -0.213, 0.744
0.407, -0.625, 0.475, -0.467
第３主成分用直交基底
0.503, 0.634, 0.564, 0.165
0.581, 0.226, -0.641, -0.448
0.494, -0.396, -0.213, 0.744
0.407, -0.625, 0.475, -0.467
第４主成分用直交基底
0.503, 0.634, 0.564, 0.165
0.581, 0.226, -0.641, -0.448
0.494, -0.396, -0.213, 0.744
0.407, -0.625, 0.475, -0.467

基底セット＃５
第１主成分用直交基底
0.434, 0.622, 0.536, 0.371
0.503, 0.368, -0.348, -0.700
0.526, -0.194, -0.598, 0.573
0.532, -0.664, 0.483, -0.208
第２主成分用直交基底
0.434, 0.622, 0.536, 0.371
0.503, 0.368, -0.348, -0.700
0.526, -0.194, -0.598, 0.573
0.532, -0.664, 0.483, -0.208
第３主成分用直交基底
0.434, 0.622, 0.536, 0.371
0.503, 0.368, -0.348, -0.700
0.526, -0.194, -0.598, 0.573
0.532, -0.664, 0.483, -0.208
第４主成分用直交基底
0.434, 0.622, 0.536, 0.371
0.503, 0.368, -0.348, -0.700
0.526, -0.194, -0.598, 0.573
0.532, -0.664, 0.483, -0.208

基底セット＃６
第１主成分用直交基底
0.449, 0.624, 0.546, 0.332
0.546, 0.332, -0.449, -0.624
0.546, -0.332, -0.449, 0.624
0.449, -0.624, 0.546, -0.332
第２主成分用直交基底
0.449, 0.624, 0.546, 0.332
0.546, 0.332, -0.449, -0.624
0.546, -0.332, -0.449, 0.624
0.449, -0.624, 0.546, -0.332
第３主成分用直交基底
0.449, 0.624, 0.546, 0.332
0.546, 0.332, -0.449, -0.624
0.546, -0.332, -0.449, 0.624
0.449, -0.624, 0.546, -0.332
第４主成分用直交基底
0.449, 0.624, 0.546, 0.332
0.546, 0.332, -0.449, -0.624
0.546, -0.332, -0.449, 0.624
0.449, -0.624, 0.546, -0.332

基底セット＃７
第１主成分用直交基底
0.425, 0.617, 0.527, 0.401
0.507, 0.379, -0.314, -0.708
0.541, -0.209, -0.606, 0.544
0.519, -0.657, 0.507, -0.205
第２主成分用直交基底
0.425, 0.617, 0.527, 0.401
0.507, 0.379, -0.314, -0.708
0.541, -0.209, -0.606, 0.544
0.519, -0.657, 0.507, -0.205
第３主成分用直交基底
0.425, 0.617, 0.527, 0.401
0.507, 0.379, -0.314, -0.708
0.541, -0.209, -0.606, 0.544
0.519, -0.657, 0.507, -0.205
第４主成分用直交基底
0.425, 0.617, 0.527, 0.401
0.507, 0.379, -0.314, -0.708
0.541, -0.209, -0.606, 0.544
0.519, -0.657, 0.507, -0.205

基底セット＃８
第１主成分用直交基底
0.628, 0.655, 0.409, 0.101
0.525, 0.020, -0.732, -0.434
0.435, -0.438, -0.157, 0.771
0.375, -0.616, 0.522, -0.455
第２主成分用直交基底
0.628, 0.655, 0.409, 0.101
0.525, 0.020, -0.732, -0.434
0.435, -0.438, -0.157, 0.771
0.375, -0.616, 0.522, -0.455
第３主成分用直交基底
0.628, 0.655, 0.409, 0.101
0.525, 0.020, -0.732, -0.434
0.435, -0.438, -0.157, 0.771
0.375, -0.616, 0.522, -0.455
第４主成分用直交基底
0.628, 0.655, 0.409, 0.101
0.525, 0.020, -0.732, -0.434
0.435, -0.438, -0.157, 0.771
0.375, -0.616, 0.522, -0.455

基底セット＃９
第１主成分用直交基底
0.501, 0.657, 0.499, 0.261
0.499, 0.261, -0.501, -0.657
0.499, -0.261, -0.501, 0.657
0.501, -0.657, 0.499, -0.261
第２主成分用直交基底
0.501, 0.657, 0.499, 0.261
0.499, 0.261, -0.501, -0.657
0.499, -0.261, -0.501, 0.657
0.501, -0.657, 0.499, -0.261
第３主成分用直交基底
0.501, 0.657, 0.499, 0.261
0.499, 0.261, -0.501, -0.657
0.499, -0.261, -0.501, 0.657
0.501, -0.657, 0.499, -0.261
第４主成分用直交基底
0.501, 0.657, 0.499, 0.261
0.499, 0.261, -0.501, -0.657
0.499, -0.261, -0.501, 0.657
0.501, -0.657, 0.499, -0.261

基底セット＃１０
第１主成分用直交基底
0.532, 0.664, 0.483, 0.208
0.526, 0.194, -0.598, -0.573
0.503, -0.368, -0.348, 0.700
0.434, -0.622, 0.536, -0.371
第２主成分用直交基底
0.532, 0.664, 0.483, 0.208
0.526, 0.194, -0.598, -0.573
0.503, -0.368, -0.348, 0.700
0.434, -0.622, 0.536, -0.371
第３主成分用直交基底
0.532, 0.664, 0.483, 0.208
0.526, 0.194, -0.598, -0.573
0.503, -0.368, -0.348, 0.700
0.434, -0.622, 0.536, -0.371
第４主成分用直交基底
0.532, 0.664, 0.483, 0.208
0.526, 0.194, -0.598, -0.573
0.503, -0.368, -0.348, 0.700
0.434, -0.622, 0.536, -0.371

基底セット１１
第１主成分用直交基底
0.485, 0.655, 0.499, 0.295
0.502, 0.283, -0.459, -0.676
0.519, -0.270, -0.518, 0.624
0.494, -0.647, 0.522, -0.257
第２主成分用直交基底
0.485, 0.655, 0.499, 0.295
0.502, 0.283, -0.459, -0.676
0.519, -0.270, -0.518, 0.624
0.494, -0.647, 0.522, -0.257
第３主成分用直交基底
0.485, 0.655, 0.499, 0.295
0.502, 0.283, -0.459, -0.676
0.519, -0.270, -0.518, 0.624
0.494, -0.647, 0.522, -0.257
第４主成分用直交基底
0.485, 0.655, 0.499, 0.295
0.502, 0.283, -0.459, -0.676
0.519, -0.270, -0.518, 0.624
0.494, -0.647, 0.522, -0.257

基底セット＃１２
第１主成分用直交基底
0.567, 0.659, 0.478, 0.126
0.554, 0.113, -0.699, -0.439
0.467, -0.422, -0.173, 0.757
0.391, -0.613, 0.504, -0.467
第２主成分用直交基底
0.567, 0.659, 0.478, 0.126
0.554, 0.113, -0.699, -0.439
0.467, -0.422, -0.173, 0.757
0.391, -0.613, 0.504, -0.467
第３主成分用直交基底
0.567, 0.659, 0.478, 0.126
0.554, 0.113, -0.699, -0.439
0.467, -0.422, -0.173, 0.757
0.391, -0.613, 0.504, -0.467
第４主成分用直交基底
0.567, 0.659, 0.478, 0.126
0.554, 0.113, -0.699, -0.439
0.467, -0.422, -0.173, 0.757
0.391, -0.613, 0.504, -0.467

基底セット＃１３
第１主成分用直交基底
0.494, 0.647, 0.522, 0.257
0.519, 0.270, -0.518, -0.624
0.502, -0.283, -0.459, 0.676
0.485, -0.655, 0.499, -0.295
第２主成分用直交基底
0.494, 0.647, 0.522, 0.257
0.519, 0.270, -0.518, -0.624
0.502, -0.283, -0.459, 0.676
0.485, -0.655, 0.499, -0.295
第３主成分用直交基底
0.494, 0.647, 0.522, 0.257
0.519, 0.270, -0.518, -0.624
0.502, -0.283, -0.459, 0.676
0.485, -0.655, 0.499, -0.295
第４主成分用直交基底
0.494, 0.647, 0.522, 0.257
0.519, 0.270, -0.518, -0.624
0.502, -0.283, -0.459, 0.676
0.485, -0.655, 0.499, -0.295

基底セット＃１４
第１主成分用直交基底
0.519, 0.657, 0.507, 0.205
0.541, 0.209, -0.606, -0.544
0.507, -0.379, -0.314, 0.708
0.425, -0.617, 0.527, -0.401
第２主成分用直交基底
0.519, 0.657, 0.507, 0.205
0.541, 0.209, -0.606, -0.544
0.507, -0.379, -0.314, 0.708
0.425, -0.617, 0.527, -0.401
第３主成分用直交基底
0.519, 0.657, 0.507, 0.205
0.541, 0.209, -0.606, -0.544
0.507, -0.379, -0.314, 0.708
0.425, -0.617, 0.527, -0.401
第４主成分用直交基底
0.519, 0.657, 0.507, 0.205
0.541, 0.209, -0.606, -0.544
0.507, -0.379, -0.314, 0.708
0.425, -0.617, 0.527, -0.401

基底セット＃１５
第１主成分用直交基底
0.485, 0.648, 0.515, 0.282
0.515, 0.282, -0.485, -0.648
0.515, -0.282, -0.485, 0.648
0.485, -0.648, 0.515, -0.282
第２主成分用直交基底
0.485, 0.648, 0.515, 0.282
0.515, 0.282, -0.485, -0.648
0.515, -0.282, -0.485, 0.648
0.485, -0.648, 0.515, -0.282
第３主成分用直交基底
0.485, 0.648, 0.515, 0.282
0.515, 0.282, -0.485, -0.648
0.515, -0.282, -0.485, 0.648
0.485, -0.648, 0.515, -0.282
第４主成分用直交基底
0.485, 0.648, 0.515, 0.282
0.515, 0.282, -0.485, -0.648
0.515, -0.282, -0.485, 0.648
0.485, -0.648, 0.515, -0.282

なお、上述した生成規則の選択手法の第二の例の説明では、行方向の処理において分布パターンの選択と予測誤差信号５５の変換とを行い、その後に、列方向の処理において分布パターンの選択と予測誤差信号５５の変換とを行う旨を説明した。この代わりに、例えば、行方向のパターン選択処理および列方向のパターン選択処理をまとめて行い、その後に、行方向の変換処理および列方向の変換処理を一括して行うようにしてもよい。

以上のように、選択部１０６による生成規則の選択手法の第二の例によれば、行方向及び列方向それぞれについて変換を行うことで、離散コサイン変換と同様に低周波成分にエネルギーを集中させることができる。更に、動き補償信号間差分信号１２２の差分値の分布に応じて基底を適切に選択するので、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等で使用されている離散コサイン変換を実施した場合と比較して、空間的冗長性をより小さくすることが可能である。

次に、更新部１１１による、動き補償信号間差分信号１２２と再生予測誤差信号５７とに基づいた直交変換基底及び逆直交変換基底の更新の手法について、図１１を用いて説明する。なお、ここではひとつのピクチャが符号化された後に更新を行う場合を考える。また、ここでは、選択部１０６は、前述した第二の例の選択手法に従って、生成規則の選択を行うものとする。

まず、更新部１１１は、１つのピクチャを符号化した後に、符号化対象ブロック単位に、その動き補償信号間差分信号１２２のパターンに応じて、再生予測誤差信号５７を分類する。本実施形態において、この分類は、選択部１０６が生成規則を選択するために用いる差分値の分布パターンに従って行う。つまり、動き補償信号間差分信号１２２のパターンが、図９Ａ、図９Ｂ、図１０Ａ、及び図１０Ｂを用いて説明した分布パターンのいずれに該当するかによって分類されてグループ化される。

更新部１１１は、この後の処理をグループ毎に行う。
まず、更新部１１１は、所定の更新単位の分だけ、再生予測誤差信号５７を蓄積する。なお、本実施形態では、この更新単位をピクチャ単位とする。

次に、更新部１１１は、蓄積された再生予測誤差信号５７に対してカルーネン・レーベ変換を行って直交基底及び逆直交基底の計算を行う。そして、得られた直交基底及び逆直交基底を、それまで符号化情報生成部１０５及び再生予測誤差信号生成部１０８で用いられたものと置換する。このようにすることで、動画像のシーンに応じたより適切な直交基底を用いた符号化を符号化情報生成部１０５に行わせることができるので、符号化情報５６の情報量の更なる削減が期待できる。また、予測誤差信号５５の直交変換後の第１主成分の値がなるべく大きくなるように直交基底を更新すれば、エントロピー符号化による情報量の圧縮効果を高めることができる。

なお、上述した説明では、再生予測誤差信号５７の蓄積をピクチャ単位で行うが、この代わりに、例えば、ＭＰＥＧ規格等で規定されている、１枚のピクチャを分割した単位であるスライスのような、より小さな符号化単位としてもよい。但し、有意な統計量を得るためには、できる限り多くの（例えば複数のピクチャの）動き補償信号間差分信号１２２と、それに対応する再生予測誤差信号５７とを含むような単位とすることが望ましい。

次に図１２について説明する。図１２は、動画像復号装置２の詳細構成図である。
この動画像復号装置２は、図６に詳細な構成を図解した動画像符号化装置１から出力される符号化データ（ビットストリーム５９）を復号して、画像の出力を行うものである。なお、このビットストリーム５９は、動画像符号化装置１の符号化情報生成部１０５が生成した符号化情報５６と、動き推定部１０１が生成した動きベクトル５２の情報とを含んでおり、更に、参照画像のインデックスも含んでいる。なお、符号化情報５６は、この動画像復号装置２においては、復号対象ブロックを表す復号対象信号７０として処理される。

動画像復号装置２は、基本的には、動画像符号化装置１により行われる処理の逆処理を行う。また、動画像復号装置２は、前述した画像ブロック毎に復号処理を行う。
エントロピー復号部１５１は、ビットストリーム５９に対してエントロピー復号を行い、符号化情報５６や動きベクトル５２の情報等を再生する。なお、エントロピー復号部１５１は、図２におけるエントロピー復号部３１に対応しており、図１２では、図２における逆ジグザグスキャン部３２を省略している。

動き補償信号生成部１５２は、動画像符号化装置１から受信した動きベクトル５２の情報と複数の参照画像とに基づいて複数の動き補償信号５３を生成する。ここでは、図３及び図４を用いて前に説明したように、前方向動き補償信号４１−３及び後方向動き補償信号４２−３が生成される。ここで、参照画像は、先に復号されて参照画像蓄積部１５７に格納されている画像であり、動画像符号化装置１において参照画像蓄積部１１０から読み出される参照画像と同一のものである。よって、動画像符号化装置１と動画像復号装置２とにおいて、同一の動き補償信号５３が生成される。なお、動き補償信号生成部１５２は、図２における動き補償信号生成部３５に対応するものである。

予測信号生成部１５３は、動き補償信号生成部１５２が生成した複数の動き補償信号５３を利用して復号画像７１の予測値を表す予測信号５４を生成する。すなわち、予測信号生成部１５３は、前方向動き補償信号４１−３と後方向動き補償信号４２−３との加算平均を計算して、予測信号５４を生成する。なお、予測信号生成部１５３は、図２における予測信号生成部３６に対応するものである。

選択部１５４は、復号対象信号７０から再生予測誤差信号５７を生成するため再生規則を、動き補償信号生成部１５２が生成した複数の動き補償信号５３に基づいて選択する。この例では、前方向動き補償信号と後方向動き補償信号との差分に基づいて、再生規則が選択される。

再生予測誤差信号生成部１５５は、復号対象信号７０から再生予測誤差信号５７を生成する。なお、再生予測誤差信号生成部１５５の各々に付されている「＃１」〜「＃Ｎ」の記号は、互いに異なる再生規則＃１〜＃Ｎを表している。これらは、動画像符号化装置１の符号化情報生成部１０５で使用される前述の生成規則＃１〜＃Ｎに対応しており、生成規則＃１〜＃Ｎに従った処理の逆処理を再生予測誤差信号生成部１５５に行わせるものである。なお、再生予測誤差信号生成部１５５は、図２における逆量子化部３３及び逆直交変換部３４に対応する。

復号画像生成部１５６は、再生予測誤差信号５７と予測信号５４とから復号画像７１を生成して出力する。なお、復号画像生成部１５６は、図２における復号画像生成部３７に対応する。

参照画像蓄積部１５７は、復号画像生成部１５６が生成した復号画像７１を格納して記憶しておく。この復号画像７１は、後の符号化処理において参照画像として使用される。なお、参照画像蓄積部１５７は、図２における復号画像記憶部３８に対応する。

更新部１５８は、選択部１５４により選択されて再生予測誤差信号生成部１５５において用いられている復号方式を更新する。この更新は、動き補償信号生成部１５２より生成される複数の動き補償信号５３間の差分と再生予測誤差信号生成部１５５により生成される再生予測誤差信号５７とに基づいて行われる。なお、動画像符号化装置１が更新部１１１を備えていない場合には、動画像復号装置２に更新部１５８は不要である。

動き補償信号生成部１５２、予測信号生成部１５３、選択部１５４、再生予測誤差信号生成部１５５、及び更新部１５８の構成は、動き補償信号生成部１０２、予測信号生成部１０３、選択部１０６、再生予測誤差信号生成部１０８、及び更新部１１１と同一である。また、これらの動作も同一である。すなわち、動画像符号化装置１と動画像復号装置２との双方において、同一の参照画像から同一の動き補償信号５３が生成される。従って、動画像符号化装置１と動画像復号装置２とにおいて、動き補償信号５３間の差分の分布から行う予測誤差信号５５の分布の推定を同一のものとすることができる。つまり、この差分の分布に応じて動画像符号化装置１が符号化方法を切り替えれば、動画像復号装置２でも、同一の差分の分布に応じることで、使用された符号化方法に対応する復号方法を、動画像符号化装置１からの特別の通知を受けることなく選択できる。

次に、上述した構成を有する動画像復号装置２の動作について、図１３を用いて更に説明する。
動画像復号装置２の動作は、基本的に、図７を用いて説明した動画像符号化装置１の動作と同じである。すなわち、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分を差分計算部１５９が計算することにより、動き補償信号間差分信号１２２が生成される。

なお、図１２の説明においては、差分計算部１５９が行う計算を選択部１５４が行うとして説明した。このように、差分計算部１５９を選択部１５４が備えるように構成してもよい。

選択部１５４は、動き補償信号間差分信号１２２により表される画像ブロックにおける画素差分値の分布パターンを検出する。なお、図１３の例では、画像ブロック内の右下領域の差分値が大きくなっている。そして、選択部１５４は、再生予測誤差信号生成部１５５に予め用意されている複数の基底（再生規則＃０〜＃１５）の中から、この分布パターンに対応する基底を選択する。なお、分布パターンに応じた基底の選択手法は、動画像符号化装置１と同一のものであり、ここでは、図８を用いて説明した第一の例、若しくは図９Ａ、図９Ｂ、図１０Ａ、及び図１０Ｂを用いて説明した第二の例が用いられる。

再生予測誤差信号生成部１５５は、選択部１５４により選択された基底を用いて、復号対象信号７０（符号化情報５６）を直交変換して再生予測誤差信号５７を生成する。このとき、動画像符号化装置１の符号化情報生成部１０５において実行される直交変換の逆変換が再生予測誤差信号生成部１５５によって実行される。この後、再生予測誤差信号５７と予測信号５４とを用いて、復号画像生成部１５６により復号画像が生成される。

更新部１５８は、動き補償信号生成部１５２により生成される複数の動き補償信号５３間の差分と、再生予測誤差信号５７とに基づいて、再生予測誤差信号生成部１５５において用いられる、選択部１５４が選択した復号方式を更新する。なお、復号方式の更新の手法は、動画像符号化装置１と同一のものが用いられる。

次に図１４について説明する。図１４は、動画像符号化処理の処理内容を図解したフローチャートである。この動画像符号化処理は、図６に図解した動画像符号化装置１により実行される。

動画像符号化装置１は、動画像の各フレームを複数の画像ブロックに分割したときの画像ブロック毎に、この動画像符号化処理を施す。
図１４の処理が開始されると、まず、ステップＳ１０１において、動き推定部１０１が、双方向予測における動きベクトル５２を探索する処理を行う。この処理により、前方向動きベクトルと後方向動きベクトルとの検出が行われる。

次に、ステップＳ１０２において、動き補償信号生成部１０２が、ステップＳ１０１の処理により検出された前方向動きベクトルと後方向動きベクトルとに基づき、動き補償信号５３を生成する処理を行う。この処理により、前方向動き補償信号５３−１と後方向動き補償信号５３−２とが生成される。

次に、ステップＳ１０３において、選択部１０６（図７においては差分計算部１２１）が、動き補償信号５３間の差分を計算する処理を行う。この処理により、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分を表す動き補償信号間差分信号１２２が生成される。

次に、ステップＳ１０４において、選択部１０６が、生成規則（直交変換基底）及び再生規則（逆直交変換基底）を選択する処理を行う。なお、この選択は、動き補償信号間差分信号１２２（すなわち、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分の分布）に基づいて行われる。

次に、ステップＳ１０５において、予測信号生成部１０３が、前方向動き補償信号５３−１及び後方向動き補償信号５３−２から予測信号５４を生成する処理を行う。
次に、ステップＳ１０６において、予測誤差信号生成部１０４が、符号化対象信号５１と予測信号５４との誤差を表す予測誤差信号５５を生成する処理を行う。

次に、ステップＳ１０７において、符号化情報生成部１０５が、ステップＳ１０４の処理により選択部１０６が選択した直交変換基底を用いて、予測誤差信号５５を変換する処理を行う。

次に、ステップＳ１０８において、予測誤差信号５５の変換後の信号を符号化情報生成部１０５が量子化し符号化情報５６を生成する処理を行い、エントロピー符号化部１０７が符号化情報５６をエントロピー変換しビットストリーム５９を生成する処理を行う。

次に、ステップＳ１０９において、符号化情報５６を再生予測誤差信号生成部１０８が逆量子化する処理を行う。この処理により、符号化情報５６から、予測誤差信号５５に直交変換が施された形の信号までの復号がなされる。

次に、ステップＳ１１０において、再生予測誤差信号生成部１０８が、ステップＳ１０４の処理により選択部１０６が選択した逆直交変換基底を用いて、予測誤差信号５５に直交変換が施された形の信号から、再生予測誤差信号５７を生成する処理を行う。

次に、ステップＳ１１１において、更新部１１１が、復号された再生予測誤差信号５７と、動き補償信号間差分信号１２２とに基づき、直交変換基底及び逆直交変換基底を計算して生成する処理を行う。

次に、ステップＳ１１２において、更新部１１１が、符号化情報生成部１０５が用いている直交変換基底と再生予測誤差信号生成部１０８が用いている逆直交変換基底とを、ステップＳ１１１の処理により生成したものに更新する処理を行う。その後は、この動画像符号化処理が終了する。

なお、この図１４のフローチャートにおいて、例えば、ステップＳ１０５及びＳ１０６の処理を、ステップＳ１０３の処理の前に実行するようにしてもよい。また、ステップＳ１０３及びＳ１０４の処理とステップＳ１０５及びＳ１０６の処理とを並行して実行するようにしてもよい。更に、ステップＳ０１１及びＳ０１２の処理を、複数のピクチャに跨って実行するようにしてもよい。

次に図１５について説明する。図１５は、動画像復号処理の処理内容を図解したフローチャートである。この動画像復号処理は、図１２に図解した動画像復号装置２により実行される。

動画像復号装置２は、動画像の各フレームを複数の画像ブロックに分割したときの画像ブロック毎に、この動画像復号処理を施す。
図１５の処理が開始されると、まず、ステップＳ２０１において、エントロピー復号部１５１が、ビットストリーム５９に対してエントロピー復号処理を行って復号対象信号７０（符号化情報５６）を復元する処理を行う。更に、この復号対象信号７０に対し、再生予測誤差信号生成部１５５が逆量子化する処理を行う。この処理により、符号化情報５６から、予測誤差信号５５に直交変換が施された形の信号までの復号がなされる。

次に、ステップＳ２０２において、動き補償信号生成部１５２が、ステップＳ１０１の処理によりエントロピー復号部１５１が復号対象信号７０と共に復元した動きベクトル５２の情報に基づき、動き補償信号５３を生成する処理を行う。

次に、ステップＳ２０３において、選択部１５４（図１３においては差分計算部１５９）が、動き補償信号５３間の差分を計算する処理を行う。この処理により、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分を表す動き補償信号間差分信号１２２が生成される。

なお、上述したステップＳ２０２及びＳ２０３の処理は、それぞれ、動画像符号化装置１で実行される、図１４のステップＳ１０２及びＳ１０３の処理と基本的には同一である。

次に、ステップＳ２０４において、選択部１５４は、動き補償信号間差分信号１２２（すなわち、前方向動き補償信号５３−１と後方向動き補償信号５３−２との差分の分布）に基づいて、再生規則（逆直交変換基底）を選択する処理を行う。

次に、ステップＳ２０５において、予測信号生成部１５３が、前方向動き補償信号５３−１及び後方向動き補償信号５３−２から予測信号５４を生成する処理を行う。
次に、ステップＳ２０６において、再生予測誤差信号生成部１５５が、ステップＳ２０４の処理により選択部１５４が選択した逆直交変換基底を用いて、予測誤差信号５５に直交変換が施された形の信号から、再生予測誤差信号５７を生成する処理を行う。

次に、ステップＳ２０７において、復号画像生成部１５６が、予測信号５４と再生予測誤差信号５７とを加算して復号画像７１を生成する処理を行う。
次に、ステップＳ２０８において、更新部１５８が、復号された再生予測誤差信号５７と、動き補償信号間差分信号１２２とに基づき、逆直交変換基底を計算して生成する処理を行う。

次に、ステップＳ２０９において、更新部１５８が、再生予測誤差信号生成部１５５が用いている逆直交変換基底を、ステップＳ２０８の処理により生成したものに更新する処理を行う。その後は、この動画像復号処理が終了する。

なお、図１４に示すフローチャートにおいて、例えば、ステップＳ２０５の処理を、ステップＳ２０３の処理の前に実行するようにしてもよい。また、ステップＳ２０３及びＳ２０４の処理とステップＳ２０５の処理とを並行して実行するようにしてもよい。更に、ステップＳ２０８及びＳ２０９の処理を、複数のピクチャに跨って実行するようにしてもよい。

このように、本実施形態に係る動画像符号化・復号では、複数の動き補償信号５３間の差分値の分布と、予測誤差信号５５の分布との間に相関があることを利用する。すなわち、動き補償信号５３間の差分値の分布に基づいて、予測誤差信号５５を符号化・復号するための規則の選択がされる。この選択が適切になされることによって、予測誤差の空間的な冗長性が効率的に削減され、結果として、符号化情報の情報量が小さくなる。更に、動き補償信号５３間の差分値の分布に基づいて、再生予測誤差信号５７を分類し、その分類に従って直交変換基底及び逆直交変換基底を算出することで、動画像のシーンに応じて直交基底及び逆直交変換基底を適応的に変更することができる。

また、動画像符号化装置１と動画像復号装置２とは、実質的に同一の動き補償信号５３を生成する。従って、動画像符号化装置１から動画像復号装置２へ符号化方法を指示する情報を伝送することなく、動画像復号装置２が正しい復号方法を選択できる。

更に、動画像符号化装置１は、画像の性質に応じて適切な符号化方法（変換規則）を選択して符号化を行う。従って、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量は小さくて済む。

なお、上述の実施形態では、前方向動き補償信号５３−１と後方向動き補償信号５３−２との間の差分の分布に応じて予測誤差信号５５の変換規則・再生規則を選択し、また、この差分の分布と再生予測誤差信号５７とに基づいて変換規則・再生規則を更新している。この代わりに、例えば、前方向動き補償信号５３−１と後方向動き補償信号５３−２との間の相関の分布を求め、変換規則・再生規則の選択については、この相関の分布に応じて行うようにしてもよい。

また、上述の実施形態では、選択部１０６が、予測誤差信号５５を直交変換する変換規則の選択を行う。この代わりに、その直交変換後に行われる量子化演算の規則を、動き補償信号に応じて選択部１０６が選択するようにしてもよい。

次に図１６について説明する。図１６は、動画像符号化装置１として、また、動画像復号装置２として機能させることのできるコンピュータのハードウェア構成を図解したものである。

図１６において、ＣＰＵ１００１は、メモリ１００３を作業用記憶領域として利用して動画像符号化プログラム・動画像復号プログラムを実行する演算処理装置である。
記憶装置１００２は、ＣＰＵ１００１により実行される符号化プログラム・復号プログラムを予め格納しておく例えばハードディスク装置である。なお、記憶装置１００２は、このコンピュータについての外部記憶装置であってもよい。

メモリ１００３は、例えば半導体メモリであり、ＲＡＭ（Random Access Memory）としての領域とＲＯＭ（Read Only Memory）としての領域とを含んで構成される。
読み取り装置１００４は、ＣＰＵ１００１の指示に従って可搬型記録媒体１００５にアクセスする。

可搬型記録媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。
通信インタフェース１００６は、ＣＰＵ１００１の指示に従って、通信ネットワークを介して各種のデータを送受信する。

入出力装置１００７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。
なお、動画像符号化プログラム及び動画像復号プログラムは、それぞれ、図１４に図解した動画像符号化処理、及び図１５に図解した動画像復号処理を図１６のコンピュータに行わせるものである。この動画像符号化プログラム及び動画像復号プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１００２に予めインストールされている。
（２）可搬型記録媒体１００５により提供される。
（３）プログラムサーバ１０１０からダウンロードする。

そして、上記構成のコンピュータで動画像符号化プログラムを実行することによって、図６に図解した動画像符号化装置１の各構成要素が有する機能がコンピュータにより提供されて、動画像符号化装置１が実現される。また、上記構成のコンピュータで動画像復号プログラムを実行することによって、図１２に図解した動画像復号装置２の各構成要素が有する機能がコンピュータにより提供されて、動画像復号装置２が実現される。

なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成部と、
該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成部と、
該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成部と、
該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う選択部と、
該選択部により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成部と、
該選択部により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該符号化情報生成部が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成部と、
該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号画像生成部と、
該復号画像生成部が出力した復号画像を蓄積する復号画像蓄積部と、
を有しており、
該動き補償信号生成部は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
ことを特徴とする動画像符号化装置。
（付記２）
付記１に記載の動画像符号化装置であって、
該符号化情報生成部が該符号化情報の生成において従っていた生成規則を、該再生予測誤差信号生成部が出力する再生予測誤差信号に基づき、該符号化情報の情報量が小さくなるように更新する更新部を更に有することを特徴とする動画像符号化装置。
（付記３）
付記１又は２に記載の動画像符号化装置であって、
該動き補償信号生成部は、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で前の参照画像とから第一の動き補償信号を生成すると共に、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で後の参照画像とから第二の動き補償信号を生成し、
該選択部は、該第一の動き補償信号と該第二の動き補償信号との差分に基づいて、該生成規則の選択を行う、
ことを特徴とする動画像符号化装置。
（付記４）
付記２に記載の動画像符号化装置であって、
該動き補償信号生成部は、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で前の参照画像とから第一の動き補償信号を生成すると共に、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で後の参照画像とから第二の動き補償信号を生成し、
該選択部は、該第一の動き補償信号と該第二の動き補償信号との差分に基づいて、該生成規則の選択を行い、
該更新部は、該再生予測誤差信号に基づくと共に、該第一の動き補償信号と該第二の動き補償信号との差分にも基づいて、該符号化情報生成部が該符号化情報の生成において従っていた生成規則を更新する、
ことを特徴とする動画像符号化装置。
（付記５）
付記３又は４に記載の動画像符号化装置であって、
該選択部は、該第一の動き補償信号で表される画像を構成する画素の画素値と、該第二の動き補償信号で表される画像において該画素に対応する位置の画素値との差分の各画素についての分布を、該第一の動き補償信号と該第二の動き補償信号との差分の信号から得て、該分布に予め対応付けられている生成規則を選択することを特徴とする動画像符号化装置。
（付記６）
付記４に記載の動画像符号化装置であって、
該選択部は、該第一の動き補償信号で表される画像を構成する画素の画素値と、該第二の動き補償信号で表される画像において該画素に対応する位置の画素値との差分の各画素についての分布を、該第一の動き補償信号と該第二の動き補償信号との差分の信号から得て、該分布に予め対応付けられている生成規則を選択し、
該更新部は、該第一の動き補償信号で表される画像を構成する画素の画素値と、該第二の動き補償信号で表される画像において該画素に対応する位置の画素値との差分の各画素についての分布を、該第一の動き補償信号と該第二の動き補償信号との差分の信号から得て、該分布に予め対応付けられている生成規則を更新する、
ことを特徴とする動画像符号化装置。
（付記７）
付記１から６のうちのいずれか一項に記載の動画像符号化装置であって、
該符号化情報をエントロピー符号化するエントロピー符号化部を更に有し、
該選択部は、該エントロピー符号化部によりエントロピー符号化された後の符号化情報の情報量が最も小さくなることが推定される生成規則を選択する、
ことを特徴とする動画像符号化装置。
（付記８）
付記２、４、及び６のうちのいずれか一項に記載の動画像符号化装置であって、
該符号化情報をエントロピー符号化するエントロピー符号化部を更に有し、
該選択部は、該エントロピー符号化部によりエントロピー符号化された後の符号化情報の情報量が最も小さくなることが推定される生成規則を選択し、
該更新部は、該符号化情報生成部が該符号化情報の生成において従っていた生成規則を、該エントロピー符号化部によりエントロピー符号化された後の符号化情報の情報量が最も小さくなるように更新する、
ことを特徴とする動画像符号化装置。
（付記９）
付記１に記載の動画像符号化装置から送られてくる、該符号化情報と該画像の動きを表している動きベクトル情報とに基づいて該符号化対象画像の復号画像を復号する動画像復号装置であって、
該符号化対象画像の復号画像を蓄積する復号装置側復号画像蓄積部と、
該復号装置側復号画像蓄積部から読み出した複数の該復号画像を複数の参照画像として用い、該複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する復号装置側動き補償信号生成部と、
該予測信号を、該復号装置側動き補償信号生成部が生成した複数の動き補償信号から生成する復号装置側予測信号生成部と、
該符号化情報生成部が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則を選択する復号装置側選択部と、
該選択部により選択された生成規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する復号装置側再生予測誤差信号生成部と、
該復号装置側予測信号生成部が生成した予測信号と該復号装置側再生予測誤差信号生成部が出力した再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号装置側復号画像生成部と、
を有しており、
該復号装置側復号画像蓄積部は、該復号装置側復号画像生成部が出力した該符号化対象画像の復号画像を蓄積する、
ことを特徴とする復号装置。
（付記１０）
動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成し、
該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成し、
該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成し、
該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行い、
該選択により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成し、
該選択により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力し、
該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力し、
該出力された復号画像を復号画像蓄積部で蓄積し、
該動き補償信号の生成では、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
ことを特徴とする動画像符号化方法。
（付記１１）
付記１０に記載の動画像符号化方法により得られた該符号化情報と該画像の動きを表している動きベクトル情報とに基づいて該符号化対象画像の復号画像を復号する動画像復号方法であって、
該符号化対象画像の復号画像を復号側復号画像蓄積部が蓄積し、
該復号側復号画像蓄積部から読み出した複数の該復号画像を複数の参照画像として用い、該複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号の生成を復号側で行い、
該予測信号を、該復号側での生成により生成された複数の動き補償信号から復号側で生成し、
該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則の選択を復号側で行い、
該復号側での選択により選択された生成規則に従って、該符号化情報から該予測誤差信号の再生を復号側で行い、得られた信号を再生予測誤差信号とし、
該復号側での生成により生成された予測信号と該復号側での再生により得られた再生予測誤差信号とを用いて画像を生成し、生成された画像を復号側での該符号化対象画像の復号画像とし、
該復号装置側復号画像蓄積部には、該復号側での該符号化対象画像の復号画像を蓄積する、
ことを特徴とする動画像復号方法。
（付記１２）
動画像の符号化をコンピュータに行わせるためのプログラムであって、
動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成処理と、
該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成処理と、
該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成処理と、
該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う選択処理と、
該選択処理により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成処理と、
該選択処理により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該符号化情報生成処理が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成処理と、
該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号画像生成処理と、
該復号画像生成処理が出力した復号画像を復号画像蓄積部に蓄積する復号画像蓄積処理と、
を該コンピュータに行わせ、
該動き補償信号生成処理は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
ことを特徴とする動画像符号化プログラム。
（付記１３）
付記１に記載の動画像符号化装置から送られてくる、該符号化情報と該画像の動きを表している動きベクトル情報とに基づいて該符号化対象画像の復号画像を復号する処理コンピュータに行わせるためのプログラムであって、
該符号化対象画像の復号画像を復号装置側復号画像蓄積部に蓄積する復号装置側復号画像蓄積処理と、
該復号装置側復号画像蓄積部から読み出した複数の該復号画像を複数の参照画像として用い、該複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する復号装置側動き補償信号生成処理と、
該予測信号を、該復号装置側動き補償信号生成処理が生成した複数の動き補償信号から生成する復号装置側予測信号生成処理と、
該符号化情報生成処理が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則を選択する復号装置側選択処理と、
該選択処理により選択された生成規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する復号装置側再生予測誤差信号生成処理と、
該復号装置側予測信号生成処理が生成した予測信号と該復号装置側再生予測誤差信号生成処理が出力した再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号装置側復号画像生成処理と、
をコンピュータに行わせ、
該復号装置側復号画像蓄積処理は、該復号装置側復号画像生成処理が出力した該符号化対象画像の復号画像を該復号装置側復号画像蓄積部に蓄積する、
ことを特徴とする動画像復号プログラム。
（付記１４）
動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成部と、
該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成部と、
該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成部と、
該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが推定される生成規則を該複数の動き補償信号を基に選択する選択部と、
該選択部により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成部と、
を有することを特徴とする動画像符号化装置。
（付記１５）
付記１４に記載の動画像符号化装置にて符号化された該符号化情報と該画像の動きを表す動きベクトル情報とを入力し、復号する動画像復号装置であって、
該復号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する動き補償信号生成部と、
該動き補償信号生成部が生成した複数の動き補償信号から予測信号を生成する予測信号生成部と、
該符号化情報生成部が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するための該再生規則を選択する復号装置側選択部と、
該選択部により選択された再生規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成部と、
該予測信号生成部が生成した予測信号と該再生予測誤差信号生成部が出力した再生予測誤差信号とを用いて画像を再生し復号画像として出力する復号画像生成部と、
を有する
ことを特徴とする復号装置。

１ 動画像符号化装置
２ 動画像復号装置
１１、１０４ 予測誤差信号生成部
１２ 直交変換部
１３ 量子化部
１４ ジグザグスキャン部
１５、１０７ エントロピー符号化部
１６、３３ 逆量子化部
１７、３４ 逆直交変換部
１８、３７、１５６ 復号画像生成部
１９、３８ 復号画像記憶部
２０、３５、１０２、１５２ 動き補償信号生成部
２１、３６、１０３、１５３ 予測信号生成部
３１、１５１ エントロピー復号部
３２ 逆ジグザグスキャン部
４０ 符号化対象画像
４０−１ 符号化対象ブロック
４０−２、５１ 符号化対象信号
４０−３、５４ 予測信号
４０−４、５５ 予測誤差信号
４１ 前方向参照画像
４１−１ 前方向予測ブロック
４１−２ 前方向動きベクトル
４１−３、５３−１ 前方向動き補償信号
４２ 後方向参照画像
４２−１ 後方向予測ブロック
４２−２ 後方向動きベクトル
４２−３、５３−２ 後方向動き補償信号
４３ 加算器
４４ 減算器
４５ 動き補償信号間差分信号算出器
４６、１２２ 動き補償信号間差分信号
５２ 動きベクトル
５３ 動き補償信号
５６ 符号化情報
５７ 再生予測誤差信号
５８ 局部復号画像
５９ ビットストリーム
６１ 前方向動き補償ブロック
６２ 後方向動き補償ブロック
６３ 差分信号ブロック
７０ 復号対象信号
７１ 復号画像
１０１ 動き推定部
１０５ 符号化情報生成部
１０６、１５４ 選択部
１０８、１５５ 再生予測誤差信号生成部
１０９ 局部復号画像生成部
１１０、１５７ 参照画像蓄積部
１１１、１５８ 更新部
１２１、１５９ 差分計算部
１２３ 参照画像
１００１ ＣＰＵ
１００２ 記憶装置
１００３ メモリ
１００４ 読み取り装置
１００５ 可搬型記録媒体
１００６ 通信インタフェース
１００７ 入出力装置
１０１０ プログラムサーバ

Claims (10)

1. 動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成部と、
   該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成部と、
   該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成部と、
   該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う選択部と、
   該選択部により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成部と、
   該選択部により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該符号化情報生成部が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成部と、
   該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号画像生成部と、
   該復号画像生成部が出力した復号画像を蓄積する復号画像蓄積部と、
   を有しており、
   該動き補償信号生成部は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
   ことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置であって、
   該符号化情報生成部が該符号化情報の生成において従っていた生成規則を、該再生予測誤差信号生成部が出力する再生予測誤差信号に基づき、該符号化情報の情報量が小さくなるように更新する更新部を更に有することを特徴とする動画像符号化装置。
3. 請求項２に記載の動画像符号化装置であって、
   該動き補償信号生成部は、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で前の参照画像とから第一の動き補償信号を生成すると共に、該符号化対象画像と該複数の画像のうち該符号化対象画像に対し時間軸上で後の参照画像とから第二の動き補償信号を生成し、
   該選択部は、該第一の動き補償信号と該第二の動き補償信号との差分に基づいて、該生成規則の選択を行い、
   該更新部は、該再生予測誤差信号に基づくと共に、該第一の動き補償信号と該第二の動き補償信号との差分にも基づいて、該符号化情報生成部が該符号化情報の生成において従っていた生成規則を更新する、
   ことを特徴とする動画像符号化装置。
4. 請求項３に記載の動画像符号化装置であって、
   該選択部は、該第一の動き補償信号で表される画像を構成する画素の画素値と、該第二の動き補償信号で表される画像において該画素に対応する位置の画素値との差分の各画素についての分布を、該第一の動き補償信号と該第二の動き補償信号との差分の信号から得て、該分布に予め対応付けられている生成規則を選択し、
   該更新部は、該第一の動き補償信号で表される画像を構成する画素の画素値と、該第二の動き補償信号で表される画像において該画素に対応する位置の画素値との差分の各画素についての分布を、該第一の動き補償信号と該第二の動き補償信号との差分の信号から得て、該分布に予め対応付けられている生成規則を更新する、
   ことを特徴とする動画像符号化装置。
5. 請求項２から４のうちのいずれか一項に記載の動画像符号化装置であって、
   該符号化情報をエントロピー符号化するエントロピー符号化部を更に有し、
   該選択部は、該エントロピー符号化部によりエントロピー符号化された後の符号化情報の情報量が最も小さくなることが推定される生成規則を選択し、
   該更新部は、該符号化情報生成部が該符号化情報の生成において従っていた生成規則を、該エントロピー符号化部によりエントロピー符号化された後の符号化情報の情報量が最も小さくなるように更新する、
   ことを特徴とする動画像符号化装置。
6. 請求項１に記載の動画像符号化装置から送られてくる、該符号化情報と該画像の動きを表している動きベクトル情報とに基づいて該符号化対象画像の復号画像を復号する動画像復号装置であって、
   該符号化対象画像の復号画像を蓄積する復号装置側復号画像蓄積部と、
   該復号装置側復号画像蓄積部から読み出した複数の該復号画像を複数の参照画像として用い、該複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する復号装置側動き補償信号生成部と、
   該予測信号を、該復号装置側動き補償信号生成部が生成した複数の動き補償信号から生成する復号装置側予測信号生成部と、
   該符号化情報生成部が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則を選択する復号装置側選択部と、
   該選択部により選択された生成規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する復号装置側再生予測誤差信号生成部と、
   該復号装置側予測信号生成部が生成した予測信号と該復号装置側再生予測誤差信号生成部が出力した再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号装置側復号画像生成部と、
   を有しており、
   該復号装置側復号画像蓄積部は、該復号装置側復号画像生成部が出力した該符号化対象画像の復号画像を蓄積する、
   ことを特徴とする復号装置。
7. 動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成し、
   該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成し、
   該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成し、
   該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行い、
   該選択により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成し、
   該選択により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力し、
   該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力し、
   該出力された復号画像を復号画像蓄積部で蓄積し、
   該動き補償信号の生成では、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
   ことを特徴とする動画像符号化方法。
8. 動画像の符号化をコンピュータに行わせるためのプログラムであって、
   動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成処理と、
   該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成処理と、
   該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成処理と、
   該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが該複数の動き補償信号から推定される生成規則の選択を行う選択処理と、
   該選択処理により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成処理と、
   該選択処理により選択された生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するためのものである該再生規則に従って、該符号化情報生成処理が生成した符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成処理と、
   該予測信号と該再生予測誤差信号とを用いて画像を生成し、生成された画像を該符号化対象画像の復号画像として出力する復号画像生成処理と、
   該復号画像生成処理が出力した復号画像を復号画像蓄積部に蓄積する復号画像蓄積処理と、
   を該コンピュータに行わせ、
   該動き補償信号生成処理は、該複数の参照画像として、該復号画像蓄積部に蓄積されている復号画像を用いる、
   ことを特徴とする動画像符号化プログラム。
9. 動画像を構成する複数の画像のうちのひとつである符号化対象画像を表す符号化対象信号と、該複数の画像のうち該符号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像とに基づいて、画像の動きを表している動き補償信号を複数生成する動き補償信号生成部と、
   該複数の参照画像から予測される該符号化対象信号の予測値を表す予測信号を、該複数の動き補償信号から生成する予測信号生成部と、
   該符号化対象信号に対しての該予測信号の誤差を表す予測誤差信号を生成する予測誤差信号生成部と、
   該予測誤差信号から符号化情報を生成するための複数の生成規則から、該予測誤差信号が符号化されたときの情報量が最も小さくなることが推定される生成規則を該複数の動き補償信号を基に選択する選択部と、
   該選択部により選択された生成規則に従って、該予測誤差信号を符号化して符号化情報を生成する符号化情報生成部と、
   を有することを特徴とする動画像符号化装置。
10. 請求項９に記載の動画像符号化装置にて符号化された該符号化情報と該画像の動きを表す動きベクトル情報とを入力し、復号する動画像復号装置であって、
    該復号化対象画像に対し時間軸上で前若しくは後の画像である複数の参照画像と該動きベクトル情報とに基づいて、該複数の動き補償信号を生成する動き補償信号生成部と、
    該動き補償信号生成部が生成した複数の動き補償信号から予測信号を生成する予測信号生成部と、
    該符号化情報生成部が該符号化情報の生成において従っていた生成規則に予め対応付けられている再生規則であって該生成規則に従って符号化された信号を再生するための該再生規則を選択する復号装置側選択部と、
    該選択部により選択された再生規則に従って、該符号化情報から該予測誤差信号の再生を行い、得られた信号を再生予測誤差信号として出力する再生予測誤差信号生成部と、
    該予測信号生成部が生成した予測信号と該再生予測誤差信号生成部が出力した再生予測誤差信号とを用いて画像を再生し復号画像として出力する復号画像生成部と、
    を有する
    ことを特徴とする復号装置。