JP2010098710A - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム - Google Patents

Abstract

【課題】動的テクスチャが含まれる動画像に対して適した予測信号を生成することにより、圧縮された動画像のデータ量を低減すること。
【解決手段】この動画像符号化装置１は、対象画素信号を入力するブロック分割部１０２と、予測信号を生成する予測信号生成部１０３、差分信号を生成する減算器１０５と、符号化差分信号を生成する変換部１０６及び量子化部１０７と、復号差分信号を生成する逆量子化部１０８及び逆変換部１０９と、再生信号を生成する加算器１１０と、再生信号を参照画像として格納するフレームメモリ１０４と、既存参照画像を用いて観測行列Ｃを求め、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５に基づいて新規参照画像ｙ”_ｔ＋５を生成してフレームメモリ１０４に格納する参照画像生成部１１３とを備え、予測信号生成部１０３は新規参照画像ｙ”_ｔ＋５を少なくとも用いて予測信号を生成する。
【選択図】図１

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラムに関し、特に予測符号化及び予測復号における予測信号の生成に関するものである。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。例えば、動画像を対象とした技術としては、ＭＰＥＧ１、２、４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。このような動画像の符号化技術においては、時間軸上で隣接する隣接画像を用いて符号化の対象となる対象画像の予測信号を生成して対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。この手法をフレーム間符号化という。

例えば、Ｈ．２６４で規定された符号化方式では、１フレームの画像を１６ｘ１６画素からなるブロックの領域に分割し、画像をこのブロック単位で符号化処理を行う。フレーム間符号化方式では、符号化対象となる画像の対象ブロックに対し、符号化済で復元された他のフレームを参照して動き補償予測を行うことによって予測信号を生成する。次に、この対象ブロックと該予測信号との差分値を求めて、離散コサイン変換と量子化処理を行ない、符号化データを生成する。

その他、予測信号に含まれる量子化雑音などを低減したり、新たに現れる画像信号を予測したりするために双方向予測の方式が用いられている。双方向予測では、対象ブロックについて２つの動き量を持たせ、第１動き量によって対象ブロックより時間的に前にある第１参照画像から第１予測信号を求め、第２動き量によって対象ブロックより時間的に後にある第２参照画像から第２予測信号を求め、第１と第２の予測信号を平均化することにより予測信号を生成する。また、時間的に前にある２つの参照画像から夫々第１と第２の予測信号を求めた上でそれらの平均によって予測信号を生成することもある。フレーム間符号化の詳細については、例えば特許文献１や非特許文献１に記載されている。

米国特許公報第６２５９７３９号

Iain E. G. Richardson, "H.264 andMPEG-4 Video Compression", JohnWiley & Sons, 2003, pp.170-176, 207-212.

しかし、上述した予測信号生成方法には、次のような課題がある。すなわち、動画像を構成する画像においては、時間と共に画像を構成するテクスチャ（絵柄）が変化するものが含まれる場合がある。このようなテクスチャ信号では、画素ごとに細かい動きを示し、フレームとフレームの間にある同位置の画素は時間と共に変化する。例として、海の波、煙や、そよ風にあたる花壇などがある。このようなテクスチャを「動的テクスチャ」と呼ぶ。なお、上述した従来の技術では符号化の対象となる対象ブロックは、その前後にあるフレームの画素とほとんど変わらないことを前提としている。そのため、動き補償した予測信号が対象信号に類似するといった前提が成立すれば、差分信号を低く抑えることができる。すなわち、フレーム間の信号の相関が高い性質を利用したデータの圧縮を実現する。

しかしながら、対象ブロックの信号に動的テクスチャが含まれる場合、前後のフレームから予測しても画素の値が時間と共に変わり対象ブロックの画素が予測信号の同じ位置にある画素に類似しないため、差分信号が大きくなる。その結果、圧縮データ量が大きくなる場合がある。具体的には、動的テクスチャが含まれる動画像のフレーム間の相関が低く、従来の技術では高い圧縮率を実現することが難しくなる。特に、低いビットレートで符号化する場合では、データ量の大きな差分信号の伝送が難しいため、再生画像中にあるテクスチャ信号がほとんど失われてしまう課題がある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、動的テクスチャが含まれる動画像に対して適した予測信号を生成することにより、圧縮された動画像のデータ量を低減することのできる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラムを提供することを目的とする。

上記課題を解決するため、本発明の動画像符号化装置は、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、対象信号に対する予測信号を生成する予測信号生成手段と、対象信号と予測信号との差分である差分信号を生成する差分生成手段と、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に予測信号を加算して再生信号を生成する加算手段と、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、を備え、予測信号生成手段は、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

或いは、本発明の動画像符号化方法は、入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、予測信号生成手段が、対象信号に対する予測信号を生成する予測信号生成ステップと、差分生成手段が、対象信号と予測信号との差分である差分信号を生成する差分生成ステップと、符号化手段が、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、復号手段が、符号化差分信号を復号して復号差分信号を生成する復号ステップと、加算手段が、復号差分信号に予測信号を加算して再生信号を生成する加算ステップと、格納手段が、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成ステップと、を備え、予測信号生成ステップでは、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

或いは、本発明の動画像符号化プログラムは、コンピュータを、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段、対象信号に対する予測信号を生成する予測信号生成手段、対象信号と予測信号との差分である差分信号を生成する差分生成手段、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段、符号化差分信号を復号して復号差分信号を生成する復号手段、復号差分信号に予測信号を加算して再生信号を生成する加算手段、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段、及び格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段として動作させ、予測信号生成手段は、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

このような動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムによれば、動画像のうちの一部の画像である符号化対象画像の対象信号が入力され、その信号と予測信号との差分信号が符号化されるとともに、符号化差分信号が復号されて予測信号が加算されることにより再生信号が生成されて、その再生信号が予測信号生成用の参照画像として格納される。その際、既生成の既存参照画像を用いて観測行列が求められ、その観測行列を元に新規参照画像が生成され、新規参照画像を少なくとも用いて予測信号が生成されるので、既存参照画像に無い動的テクスチャの性質に合った参照画像を新たに生成することができる。これにより、符号化対象画像にある動的テクスチャにより近い予測信号を生成することができる結果、差分信号が小さく抑えられて圧縮された動画像のデータ量を効果的に低減することができる。

参照画像生成手段は、既存参照画像に基づいて観測行列及び状態ベクトルを求め、観測行列及び状態ベクトルに基づいて新規参照画像を生成する、ことが好ましい。かかる参照画像生成手段を備えれば、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成することができる。

また、符号化手段は、状態ベクトルを更に符号化する、ことも好ましい。この場合、状態ベクトルを復号側に提供することにより復号側で状態ベクトルを生成する処理が不要になるので、効率的な復号処理が実現される。

またさらに、参照画像生成手段は、複数の既存参照画像から構成される行列を対象に特異値分解を実行することにより観測行列を求める、ことも好ましい。かかる構成を採れば、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成することができる。

本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に対する予測信号を生成する予測信号生成手段と、復号差分信号に予測信号を加算して再生信号を生成する加算手段と、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、を備え、予測信号生成手段は、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に対する予測信号を生成する予測信号生成手段と、復号差分信号に予測信号を加算して再生信号を生成する加算手段と、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、を備え、予測信号生成手段は、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、観測行列又は状態ベクトルに基づいて予測信号を生成する、ことを特徴とする。

或いは、本発明の動画像復号方法は、入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、復号手段が、符号化差分信号を復号して復号差分信号を生成する復号ステップと、予測信号生成手段が、復号差分信号に対する予測信号を生成する予測信号生成ステップと、加算手段が、復号差分信号に予測信号を加算して再生信号を生成する加算ステップと、格納手段が、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成ステップと、を備え、予測信号生成ステップでは、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号方法は、入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、復号手段が、符号化差分信号を復号して復号差分信号を生成する復号ステップと、予測信号生成手段が、復号差分信号に対する予測信号を生成する予測信号生成ステップと、加算手段が、復号差分信号に予測信号を加算して再生信号を生成する加算ステップと、格納手段が、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、を備え、予測信号生成ステップでは、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、観測行列又は状態ベクトルに基づいて予測信号を生成する、ことを特徴とする。

或いは、本発明の動画像復号プログラムは、コンピュータを、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段、符号化差分信号を復号して復号差分信号を生成する復号手段、復号差分信号に対する予測信号を生成する予測信号生成手段、復号差分信号に予測信号を加算して再生信号を生成する加算手段、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段、及び格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段として動作させ、予測信号生成手段は、新規参照画像を少なくとも用いて予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号プログラムは、コンピュータを、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段、符号化差分信号を復号して復号差分信号を生成する復号手段、復号差分信号に対する予測信号を生成する予測信号生成手段、復号差分信号に予測信号を加算して再生信号を生成する加算手段、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段として動作させ、予測信号生成手段は、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、観測行列又は状態ベクトルに基づいて予測信号を生成する、ことを特徴とする。

このような動画像復号装置、動画像復号方法、及び動画像復号プログラムによれば、符号化差分信号を含む圧縮データが入力され、その符号化差分信号が復号されて、復号差分信号に予測信号が加算されることにより再生信号が生成されて、その再生信号が予測信号生成用の参照画像として格納される。その際、既生成の既存参照画像を用いて観測行列又は状態ベクトルが求められ、その観測行列又は状態ベクトルを元に予測信号が生成されるので、既存参照画像のみを用いて予測信号を生成するのに比べて、動的テクスチャの性質により適した予測信号を生成することができる。これにより、差分信号が小さく抑えられて圧縮データのデータ量を効果的に低減することができる。

参照画像生成手段は、既存参照画像に基づいて観測行列及び状態ベクトルを求め、観測行列及び状態ベクトルに基づいて新規参照画像を生成する、ことが好ましい。かかる参照画像生成手段を備えれば、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成することができる。

また、圧縮データには状態ベクトルに対応するベクトル圧縮データをさらに含み、復号手段は、ベクトル圧縮データを復元して復号状態ベクトルを生成し、参照画像生成手段は、観測行列及び復号状態ベクトルに基づいて新規参照画像を生成する、ことも好ましい。こうすれば、状態ベクトルが符号化側から提供することにより状態ベクトルを生成する処理が不要になるので、効率的な復号処理が実現される。

さらに、参照画像生成手段は、複数の既存参照画像から構成される行列を対象に特異値分解を実行することにより観測行列を求める、ことも好ましい。この場合、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成することができる。

上記課題を解決するため、本発明の動画像符号化装置は、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、符号化対象画像を複数の領域に分割する分割手段と、複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成手段と、対象領域の対象信号と予測信号との差分である差分信号を生成する差分生成手段と、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算手段と、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を設定する位置設定手段と、少なくとも符号化差分信号及び新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化手段と、を備え、予測信号生成手段は、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新し、予測信号生成手段は、参照画像リストに含まれる参照画像から選択される参照画像を用いて対象領域の予測信号を生成し、エントロピー符号化手段は、対象領域の予測信号の生成に用いた参照画像を示す参照画像番号を符号化する、ことを特徴とする。

また、本発明の動画像符号化装置は、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、符号化対象画像を複数の領域に分割する分割手段と、複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成手段と、対象領域の対象信号と予測信号との差分である差分信号を生成する差分生成手段と、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算手段と、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、少なくとも二つ以上の対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を設定する位置設定手段と、少なくとも符号化差分信号及び大領域についての新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化手段と、を備え、予測信号生成手段は、新規参照画像の挿入位置を示す位置情報に基づいて大領域についての参照画像リストを更新し、予測信号生成手段は、対象領域が属する大領域についての参照画像リストに含まれる参照画像から選択される参照画像を用いて対象領域の予測信号を生成し、エントロピー符号化手段は、対象領域の予測信号の生成に用いた参照画像を示す参照画像番号を符号化する、ことを特徴とする。

或いは、本発明の動画像符号化方法は、入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、分割手段が、符号化対象画像を複数の領域に分割する分割ステップと、予測信号生成手段が、複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成ステップと、差分生成手段が、対象領域の対象信号と予測信号との差分である差分信号を生成する差分生成ステップと、符号化手段が、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、復号手段が、符号化差分信号を復号して復号差分信号を生成する復号ステップと、加算手段が、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算ステップと、格納手段が、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成ステップと、位置設定手段が、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を設定する位置設定ステップと、エントロピー符号化手段が、少なくとも符号化差分信号及び新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化ステップと、を備え、予測信号生成ステップでは、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新し、予測信号生成ステップでは、参照画像リストに含まれる参照画像から選択される参照画像を用いて対象領域の予測信号を生成し、エントロピー符号化ステップでは、対象領域の予測信号の生成に用いた参照画像を示す参照画像番号を符号化する、ことを特徴とする。

また、本発明の動画像符号化方法は、入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、分割手段が、符号化対象画像を複数の領域に分割する分割ステップと、予測信号生成手段が、複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成ステップと、差分生成手段が、対象領域の対象信号と予測信号との差分である差分信号を生成する差分生成ステップと、符号化手段が、差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、復号手段が、符号化差分信号を復号して復号差分信号を生成する復号ステップと、加算手段が、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算ステップと、格納手段が、再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成ステップと、位置設置手段が、少なくとも二つ以上の対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を設定する位置設定ステップと、エントロピー符号化手段が、少なくとも符号化差分信号及び大領域についての新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化ステップと、を備え、予測信号生成ステップでは、新規参照画像の挿入位置を示す位置情報に基づいて大領域についての参照画像リストを更新し、予測信号生成ステップでは、対象領域が属する大領域についての参照画像リストに含まれる参照画像から選択される参照画像を用いて対象領域の予測信号を生成し、エントロピー符号化ステップでは、対象領域の予測信号の生成に用いた参照画像を示す参照画像番号を符号化する、ことを特徴とする。

このような動画像符号化装置、動画像符号化方法、及び当該動画像符号化装置に係る処理をコンピュータに実行させるための動画像符号化プログラムによれば、観測行列を元に新規参照画像を生成しているため、既存参照画像にない動的テクスチャの性質に合った参照画像を新たに生成でき、符号化対象画像にある動的テクスチャに、より近い予測信号を生成できる。その結果、差分信号が小さく抑えられて圧縮された動画像のデータ量を効果的に低減することができる。つまり、動的テクスチャを効率よく符号化することができる。また、上述した動画像符号化装置等では、この新規参照画像や既存参照画像を管理する参照画像リストを用い、この参照画像リストに含まれる参照画像から選択される参照画像を用いて予測信号を生成している。このため、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成でき、差分信号を更に小さく抑えたり、差分信号を符号化しなくても視覚的に対象信号に似ている信号を再生したりするこが可能となる。さらに、上述した動画像符号化装置等では、参照画像リストにおける新規参照画像の挿入位置も符号化しているため、参照画像の選択情報に要する符号量を抑えることが可能となる。

位置設定手段は、参照画像リストに新規参照画像が含まれない場合には、新規参照画像が参照画像リストに含まれないことを示す位置情報を生成し、エントロピー符号化手段は、新規参照画像が参照画像リストに含まれないことを示す位置情報をエントロピー符号化し、予測信号生成手段は、新規参照画像を含まないように参照画像リストを更新する、ことが好ましい。また、新規参照画像の位置設定ステップでは、参照画像リストに新規参照画像が含まれない場合には、新規参照画像が参照画像リストに含まれないことを示す位置情報を生成し、エントロピー符号化ステップでは、新規参照画像が参照画像リストに含まれないことを示す位置情報をエントロピー符号化し、予測信号生成ステップでは、新規参照画像を含まないように参照画像リストを更新する、ことが好ましい。かかる位置設定手段や位置設定ステップを備えれば、参照画像リストの作成や参照画像の選択が広がり自由度を高めることができる。

また、参照画像生成手段は、既存参照画像に基づいて観測行列及び状態ベクトルを求め、観測行列及び状態ベクトルに基づいて新規参照画像を生成する、ことが好ましい。かかる参照画像生成手段を備えれば、符号化対象画像にある動的テクスチャに、より一層近い予測信号を生成することができる。

また、エントロピー符号化手段は、状態ベクトルを更にエントロピー符号化する、ことも好ましい。この場合、状態ベクトルを復号側に提供することにより、復号側で状態ベクトルを生成する処理が不要となるので、効率的な復号処理が実現される。

また、参照画像生成手段は、複数の既存参照画像から構成される行列を対象に特異値分解を実行することにより観測行列及び状態ベクトルの少なくとも一方を求めて新規参照画像を生成する、ことも好ましい。かかる構成を採れば、符号化対象画像にある動的テクスチャにより一層近い予測信号を生成することができる。

本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号手段と、対象領域の符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に対する対象領域の予測信号を生成する予測信号生成手段と、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算手段と、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、を備え、エントロピー復号手段は、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成手段は、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新し、エントロピー復号手段は、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成手段は、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号手段と、対象領域の符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に対する対象領域の予測信号を生成する予測信号生成手段と、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算手段と、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成手段と、を備え、エントロピー復号手段は、少なくとも二つ以上の対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成手段は、新規参照画像の挿入位置を示す位置情報に基づいて大領域についての参照画像リストを更新し、エントロピー復号手段は、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成手段は、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号手段と、対象領域の符号化差分信号を復号して復号差分信号を生成する復号手段と、復号差分信号に対する対象領域の予測信号を生成する予測信号生成手段と、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算手段と、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納手段と、を備え、エントロピー復号手段は、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成手段は、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新すると共に、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納し、エントロピー復号手段は、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成手段は、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

本発明の動画像復号方法は、入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、エントロピー復号手段が、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号ステップと、復号手段が、対象領域の符号化差分信号を復号して復号差分信号を生成する復号ステップと、予測信号生成手段が、復号差分信号に対する対象領域の予測信号を生成する予測信号生成ステップと、加算手段が、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算ステップと、格納手段が、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納する参照画像生成ステップと、を備え、エントロピー復号ステップでは、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成ステップでは、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新し、エントロピー復号ステップでは、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成ステップでは、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号方法は、入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、エントロピー復号手段が、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号ステップと、復号手段が、対象領域の符号化差分信号を復号して復号差分信号を生成する復号ステップと、予測信号生成手段が、復号差分信号に対する対象領域の予測信号を生成する予測信号生成ステップと、加算手段が、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算ステップと、格納手段が、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、参照画像生成手段が、格納ステップに格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納ステップに格納する参照画像生成ステップと、を備え、エントロピー復号ステップでは、少なくとも二つ以上の対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成ステップでは、新規参照画像の挿入位置を示す位置情報に基づいて大領域についての参照画像リストを更新し、エントロピー復号ステップでは、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成ステップでは、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

また、本発明の動画像復号方法は、入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、エントロピー復号手段が、圧縮データから少なくとも復号対象となる対象領域の符号化差分信号を復元するエントロピー復号ステップと、復号手段が、対象領域の符号化差分信号を復号して復号差分信号を生成する復号ステップと、予測信号生成手段が、復号差分信号に対する対象領域の予測信号を生成する予測信号生成ステップと、加算手段が、復号差分信号に予測信号を加算して対象領域の再生信号を生成する加算ステップと、格納手段が、対象領域の再生信号を、予測信号が生成される際に参照される参照画像として格納する格納ステップと、を備え、エントロピー復号ステップでは、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を示す位置情報を圧縮データから復号し、予測信号生成ステップでは、新規参照画像の挿入位置を示す位置情報に基づいて参照画像リストを更新すると共に、格納手段に格納された既生成の参照画像である既存参照画像を用いて観測行列を求め、観測行列に基づいて新たな参照画像である新規参照画像を生成して格納手段に格納し、エントロピー復号ステップでは、更新した参照画像リストに基づいて対象領域の予測信号を生成する際に用いる参照画像を示す参照画像番号を圧縮データから復号し、予測信号生成ステップでは、復号した参照画像番号で示される参照画像を用いて対象領域の予測信号を生成する、ことを特徴とする。

このような動画像復号装置、動画像復号方法、及び当該動画像復号装置に係る処理をコンピュータに実行させるための動画像復号プログラムによれば、観測行列を元に新規参照画像を生成しているため、既存参照画像にない動的テクスチャの性質に合った参照画像を新たに生成でき、動的テクスチャにより近い予測信号を生成できる。その結果、差分信号が小さく抑えられて圧縮された動画像のデータ量を効果的に低減することができる。また、上述した動画像復号装置等では、この新規参照画像や既存参照画像を管理する参照画像リストを用い、この参照画像リストに含まれる参照画像から選択される参照画像を用いて予測信号を生成している。このため、動的テクスチャに、より一層近い予測信号を生成でき、差分信号を更に小さく抑えたりできる。さらに、上述した動画像復号装置等では、参照画像リストにおける新規参照画像の挿入位置も圧縮データから復号して取得するようにしているため、参照画像の選択情報に要する符号量を抑えることが可能となる。

エントロピー復号手段は、新規参照画像が参照画像リストに含まれないことを示す位置情報を復号し、予測信号生成手段は、新規参照画像を含まないように参照画像リストを更新する、ことが好ましい。また、エントロピー復号ステップでは、新規参照画像が参照画像リストに含まれないことを示す位置情報を復号し、予測信号生成ステップでは、新規参照画像を含まないように参照画像リストを更新する、ことが好ましい。かかるエントロピー復号手段やエントロピー復号ステップを備えれば、参照画像リストの作成や参照画像の選択が広がり自由度を高めることができる。

また、参照画像生成手段は、参照画像に基づいて観測行列及び状態ベクトルを求め、観測行列及び状態ベクトルに基づいて新規参照画像を生成する、ことが好ましい。かかる参照画像生成手段を備えれば、符号化対象画像にある動的テクスチャに、より一層近い予測信号を生成することができる。

また、圧縮データには状態ベクトルに対応するベクトル圧縮データをさらに含み、復号手段は、符号化差分信号を復号差分信号に復号する際、ベクトル圧縮データを復元して復号状態ベクトルを生成し、参照画像生成手段は、観測行列及び復号状態ベクトルに基づいて新規参照画像を生成する、ことも好ましい。こうすれば、状態ベクトルが符号化側から提供されることにより、状態ベクトルを生成する処理を不要とすることができ、効率的な復号処理を実現できる。

また、参照画像生成手段は、複数の既存参照画像から構成される行列を対象に特異値分解を実行することにより観測行列及び状態ベクトルの少なくとも一方を求めて新規参照画像を生成する、ことも好ましい。この場合、符号化対象画像にある動的テクスチャに、より一層近い予測信号を生成することができる。

本発明によれば、動的テクスチャが含まれる動画像に対して適した予測信号を生成することにより、圧縮された動画像のデータ量を低減することができる。

本発明の第１実施形態にかかる動画像符号化装置の構成を示すブロック図である。 図１のフレームメモリに格納されている既存参照画像のイメージを示す図である。 図１の動画像符号化装置の動作を示すフローチャートである。 本発明の第１実施形態にかかる動画像復号装置の構成を示すブロック図である。 図４の動画像復号装置の動作を示すフローチャートである。 本発明の変形例である動画像復号装置の動作を示すフローチャートである。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 本発明の第２実施形態にかかる動画像符号化装置の構成を示すブロック図である。 図９の動画像符号化装置の動作を示すフローチャートである。 本発明の第２実施形態にかかる動画像復号装置の構成を示すブロック図である。 図１１の動画像復号装置の動作を示すフローチャートである。 図１１の動画像復号装置の別の動作を示すフローチャートである。 参照画像リストの一例を示す図である。 別の参照画像リストの一例を示す図である。 別の参照画像リストの一例を示す図である。

以下、図面を参照しつつ本発明に係る動画像符号化装置及び動画像復号装置の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
［第１実施形態］

（動画像符号化装置）
図１は、本発明の好適な一実施形態にかかる動画像符号化装置の構成を示すブロック図である。同図に示す動画像符号化装置１は、入力端子（入力手段）１０１と、ブロック分割部１０２と、予測信号生成部（予測信号生成手段）１０３と、フレームメモリ（格納手段）１０４と、減算器（差分生成手段）１０５と、変換部（符号化手段）１０６と、量子化部（符号化手段）１０７と、逆量子化部（復号手段）１０８と、逆変換部（復号手段）１０９と、加算器（加算手段）１１０と、エントロピー符号化部１１１と、出力端子１１２と、参照画像生成部（参照画像生成手段）１１３とを備えて構成されている。以下、動画像符号化装置１の各構成要素について説明する。

ブロック分割部１０２は、入力端子１０１から複数フレーム分の画像から構成される動画像信号が入力され、その動画像信号のうちの符号化の対象である符号化対象画像を複数の領域に分割する。具体的には、ブロック分割部１０２は、画像を１６×１６画素からなるブロック（領域）に分割するが、８×８画素からなるブロックに分割してもよいし、それ以外の任意の大きさ及び形状（例えば非正方形）のブロックに分割してもよい。ブロック分割部１０２は、分割したブロックの画素信号のうち符号化処理の対象となる領域（以下、「対象ブロック」という）の画素信号（以下、「対象画素信号」という）を、ラインＬ１０２を経由して減算器１０５に、ラインＬ１０３を経由して予測信号生成部１０３に出力する。

予測信号生成部１０３は、対象ブロックの対象画素信号に対して、その画像を予測する１６×１６画素からなる予測信号を生成する。すなわち、予測信号生成部１０３は、従来のＭＰＥＧ−２，４、Ｈ．２６４等によって規定された方法を用いて、例えば、フレームメモリ１０４に格納された参照画像をもとに対象ブロックの動き量を検出し、得られた動きベクトル（動き量）及び参照画像をもとに予測信号を算出する。この参照画像は、過去に符号化された後に復元された再生画像である（詳細は、後述する。）。ここでは、予測信号生成部１０３は、ラインＬ１０３経由で入力された対象ブロックの対象画素信号、及びラインＬ１０５経由でフレームメモリ１０４から参照された参照画像に基づいて、動き量の検出を行うことにより予測信号を生成し、その予測信号をラインＬ１０４，Ｌ１０６経由で減算器１０５及び加算器１１０に送る。

減算器１０５は、ブロック分割部１０２から送られた対象画素信号から、予測信号生成部１０３から送られたその対象画素信号に対する予測信号を引き算して、２つの信号の差分である差分信号を生成する。そして、この差分信号はラインＬ１０７経由で変換部１０６に出力され、変換部１０６及び量子化部１０７によって所定の符号化方式で符号化差分信号に変換される。具体的には、変換部１０６は、差分信号を離散コサイン変換して変換係数を生成する。この変換係数は、ラインＬ１０８経由で量子化部１０７に出力され、量子化部１０７が変換係数を量子化して符号化差分信号を生成した後、ラインＬ１０９経由でエントロピー符号化部１１１及び逆量子化部１０８に出力する。

エントロピー符号化部１１１は、符号化差分信号を可変長符号に変換した後、ラインＬ１１０経由で出力端子１１２に出力する。ここで、エントロピー符号化部１１１は、可変長符号の代わりに算術符号化を適用しても良い。同時に、予測信号生成部１０３によって求められる対象ブロックの動きベクトルは、ラインＬ１１１経由でエントロピー符号化部１１１に送られ、エントロピー符号化部１１１がその動きベクトルを可変長符号に変換して、出力端子１１２に出力する。

逆量子化部１０８及び逆変換部１０９は、変換部１０６及び量子化部１０７による符号化方式に対応する復号方式で、符号化差分信号から復号差分信号を再生する。具体的には、逆量子化部１０８は、量子化された変換係数を逆量子化して変換係数に戻し、ラインＬ１１２経由で逆変換部１０９に出力し、逆変換部１０９が変換係数を逆離散コサイン変換することにより差分信号を復元する。そして、逆変換部１０９は、ラインＬ１１３経由で復号差分信号を加算器１１０に送る。

加算器１１０は、復号差分信号にラインＬ１０６経由で入力された予測信号を加算することにより対象ブロックの対象画素信号を再生信号として再生し、ラインＬ１１４経由でフレームメモリ１０４に格納する。フレームメモリ１０４は、このようにして過去に対象ブロックとして処理された複数の対象画素信号（以下、「既存参照画像」と言う。）を保持しており、次に処理される対象ブロックの予測信号を生成する際に参照される。

参照画像生成部１１３は、既にフレームメモリ１０４に格納された既存参照画像とは異なる新規参照画像を生成する。すなわち、参照画像生成部１１３は、ラインＬ１１６経由でフレームメモリ１０４に格納されている既存参照画像を取得する。

図２には、フレームメモリ１０４に格納されている既存参照画像のイメージを示している。図２（ａ）には、動画像信号の表示の順番に沿ってフレームが符号化される場合の既存参照画像を示しており、各フレーム２０１，２０２，２０３，２０４，２０５の再生画像は画素ベクトルｙ_ｔ，ｙ_ｔ＋１，ｙ_ｔ＋２，ｙ_ｔ＋３，ｙ_ｔ＋４（添え字は時刻を示す。）として格納されている。ここでは、フレーム２０１，２０２，…，２０５の順番で符号化処理が行われ、フレーム２０６が対象フレームとして処理されるタイミングでは、フレームメモリ１０４には、フレーム２０１〜２０５の再生画像が既存参照画像として格納されている。図２（ｂ）には、動き量の検出の際に双方向予測を行う場合の既存参照画像を示している。ここでは、フレーム２０７〜２０９、及びフレーム２１１，２１２を符号化した後に、フレーム２１０が符号化されることになり、フレーム２１０が対象フレームとして処理されるタイミングでは、フレームメモリ１０４には、フレーム２０７〜２０９，２１１，２１２の再生画像が既存参照画像として格納されている。

上記のようにフレームメモリ１０４に格納された既存参照画像の一部を用いて、参照画像生成部１１３が新規参照画像を生成する。例えば、参照画像生成部１１３は、フレームメモリ１０４の５つの既存参照画像の画素ベクトルｙ_ｔ，ｙ_ｔ＋１，ｙ_ｔ＋２，ｙ_ｔ＋３，ｙ_ｔ＋４から、下記式（１）を用いて、画素ベクトルｙ_ｔ，ｙ_ｔ＋１，ｙ_ｔ＋２，ｙ_ｔ＋３，ｙ_ｔ＋４から構成される行列Ｙ_ｔ ^ｔ＋４を形成する。

そして、参照画像生成部１１３は、既存参照画像から構成される行列Ｙ_ｔ ^ｔ＋４を対象に特異値分解の処理を施す。このような特異値分解処理としては、下記式（２）で示すようなＱＲ分解を採用することができる。

式（２）中の行列Ｘ_ｔ ^ｔ＋４は、下記式（３）；

によって表される行列である。このようにして、参照画像生成部１１３は、観測行列Ｃ、及び各ベクトルｘ_ｔ，ｘ_ｔ＋１，ｘ_ｔ＋２，ｘ_ｔ＋３，ｘ_ｔ＋４を求める。

さらに、参照画像生成部１１３は、各ベクトルｘ_ｔ，ｘ_ｔ＋１，ｘ_ｔ＋２，ｘ_ｔ＋３，ｘ_ｔ＋４から、下記式（４）；

を用いて状態遷移行列Ａを求める。ここで、行列Ｘ_ｔ＋１ ^ｔ＋４、及びＸ_ｔ ^ｔ＋３は、それぞれ、下記式（５）及び（６）によって与えられる。

また、式（４）中、（・）^＋は、擬似逆行列を示している。

また、参照画像生成部１１３は、このようにして求めた状態遷移行列Ａを用いて、下記式（７）；

を用いて、状態ベクトルｘ_ｔ＋５を求めた上で、下記式（８）；

に示すように、状態ベクトルｘ_ｔ＋５と観測行列Ｃに基づいて、動的テクスチャの性質を持つ新規参照画像ｙ”_ｔ＋５を生成する。この新規参照画像は、ラインＬ１１５を経由してフレームメモリ１０４に格納される。

なお、上記のような新規参照画像の生成においては、式（１）に示すとおり、観測行列Ｃは参照画像ｘ_ｔ，ｘ_ｔ＋１，ｘ_ｔ＋２，ｘ_ｔ＋３，ｘ_ｔ＋４から求められており、フレームメモリ１０４に過去に参照画像生成部１１３によって追加された新規参照画像は用いられていない。但し、新規参照画像の信頼度が高い場合には観測行列Ｃなどの算出にそれを用いてもよい。また、新規参照画像の生成においては、特異値分解以外の方法を用いてもよい。例えば、固有値分解、ＬＵ分解、コレスキ分解が挙げられる。

予測信号生成部１０３は、少なくとも新規参照画像を用いて次フレームの対象ブロックの対象画素信号に対する予測信号を生成する。言い換えれば、予測信号生成部１０３は、既存参照画像及び新規参照画像の両方を用いて予測信号を生成してもよいし、新規参照画像のみを用いて予測信号を生成してもよい。例えば、予測信号生成部１０３は、これらの複数の参照画像を対象にして、対象ブロックの画素信号に最も近い参照ブロックを予測信号として決定する。この予測信号が属する参照画像を識別する識別子や、対象ブロックの位置からの変位である動きベクトルは送信側に送られる（詳細については、文献「Iain E. G. Richardson, “H.264 and MPEG-4 Video Compression”, JohnWiley & Sons,2003」に記載されている。）。なお、予測信号生成部１０３は、フレームメモリ１０４中の既存参照画像又は新規参照画像を特定する際には、既存参照画像又は新規参照画像に付された識別情報を参照することにより行う。ここで、予測信号生成部１０３は、対象フレームの直前のフレームの再生信号がフレームメモリ１０４に格納された後に、該再生画像を含む直近の５フレームの参照画像から新規参照画像を生成するが、これには限定されない。また、予測信号生成部１０３において観測行列Ｃ及び状態ベクトルｘ_ｔ＋５を求めた後、それらを用いて対象画素信号の予測信号を直接生成してもよい。

以下、図３を参照しながら、動画像符号化装置１の動作について詳述するとともに、本実施形態に係る動画像符号化方法について説明する。

まず、ブロック分割部１０２により符号化対象の対象ブロックの対象画素信号が入力される（ステップＳ０１）。次に、予測信号生成部１０３により、フレームメモリ１０４に格納されている参照画像を用いて、対象画素信号に対する予測信号が生成される（ステップＳ０２）。そして、減算器１０５により、対象画素信号と予測信号とに基づいて差分信号が生成される（ステップＳ０３）。その後、その差分信号が変換部１０６および量子化部１０７によって変換および量子化され、符号化差分信号が生成される（ステップＳ０４）。

上記の符号化差分信号は、逆量子化部１０８および逆変換部１０９により逆量子化および逆変換され、復号差分信号に再生される（ステップＳ０５）。さらに、加算器１１０によって、この復号差分信号と予測信号とが加算されて再生信号が生成される（ステップＳ０６）。そして、この再生信号は参照画像としてフレームメモリ１０４に格納される（ステップＳ０７）。このような対象ブロックに対する処理は対象フレームにある全ての対象ブロックに対して繰り返される。

符号化の対象となる１フレームが符号化された後に、参照画像生成部１１３により、フレームメモリ１０４に格納されている一部の既存参照画像を対象に特異値分解処理が施されて、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５が生成される（ステップＳ０８）。次に、参照画像生成部１１３により、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５に基づいて新規参照画像が生成されて、次のフレームを符号化する際の参照画像としてフレームメモリ１０４に格納される（ステップＳ０９）。このような新規参照画像の生成処理は、動画像の全て又は一部のフレームに対して繰り返される。一方、対象フレームの符号化差分信号はエントロピー符号化部１１１を経由して圧縮データに含めて出力される（ステップＳ１０）。

（動画像復号装置）
以下、本実施形態にかかる動画像復号装置の構成について説明する。図４は、本発明の好適な一実施形態にかかる動画像復号装置４０の構成を示すブロック図である。同図に示す動画像復号装置４０は、入力端子（入力手段）４０１と、データ解析部（入力手段）４０２と、逆量子化部（復号手段）４０３と、逆変換部（復号手段）４０４と、加算器（加算手段）４０５と、予測信号生成部（予測信号生成手段）４０７と、フレームメモリ（格納手段）４０６と、参照画像生成部（参照画像生成手段）４０８と、出力端子４０９とを備えて構成されている。以下、動画像復号装置４０の各構成要素について説明する。

データ解析部４０２には、入力端子４０１から符号化差分信号を含む圧縮符号化された圧縮データが入力される。データ解析部４０２は、その圧縮データから、符号化差分信号の他、予測信号を生成するために必要となる動きベクトルや逆量子化を行うための量子化パラメータを解析し抽出する。そして、データ解析部４０２は、抽出した符号化差分信号及び量子化パラメータを、ラインＬ４０２を経由して逆量子化部４０３に出力し、動きベクトルに関する情報をラインＬ４１０経由で予測信号生成部４０７に送出する。この符号化差分信号は、逆量子化部４０３及び逆変換部４０４によって復号されて差分信号に復元される。

逆量子化部４０３は、対象ブロックの符号化差分信号を量子化パラメータに基づいて逆量子化する。逆量子化部４０３は、逆量子化した符号化差分信号をラインＬ４０３経由で逆変換部４０４に出力する。

逆変換部４０４は、逆量子化部４０３から入力された符号化差分信号を逆離散コサイン変換して復号差分信号を生成する。逆変換部４０４は、生成した復号差分信号をラインＬ４０４経由で加算器４０５に出力する。

予測信号生成部４０７は、データ解析部４０２によって抽出された動きベクトル、及びフレームメモリ４０６から参照した参照画像に基づいて、処理対象の復号差分信号に対する予測信号を生成する。生成した予測信号は、ラインＬ４０７を経由して加算器４０５に送られる。

加算器４０５は、逆変換部４０４によって復元された復号差分信号に予測信号を加算することによって対象ブロックの再生信号を生成する。さらに、加算器４０５は、その再生信号をフレームメモリ４０６に参照画像として格納する。また、再生信号は、出力端子４０９経由で外部の画像表示装置（図示せず）に伝送される。

参照画像生成部４０８は、上述した動画像符号化装置１の参照画像生成部１１３と同様にして、フレームメモリ４０６に格納された一部の既存参照画像に基づいて、特異値分解処理により観測行列Ｃ及び状態ベクトルｘ_ｔ＋５を求める。ここでは、フレームメモリ４０６に格納された既存の再生画像を用いて観測行列Ｃを生成しているが、過去に生成した新規参照画像を合わせて観測行列Ｃを生成してもよい。そして、参照画像生成部４０８は、参照画像生成部１１３と同様にして動的テクスチャの性質を持つ新規参照画像ｙ”_ｔ＋５を生成し、ラインＬ４０８ｂ経由でフレームメモリ４０６に格納する。これに対して、予測信号生成部４０７により、少なくとも新規参照画像ｙ”_ｔ＋５をもとに、次フレームの対象ブロックに対する予測信号が生成される。

以下、図５を参照しながら、動画像復号装置４０の動作について詳述するとともに、本実施形態に係る動画像復号方法について説明する。

まず、データ解析部４０２に符号化差分信号を含む圧縮データが入力されると、その圧縮データの中から符号化差分信号、動きベクトル、及び量子化パラメータが抽出される（ステップＳ２１）。次に、この符号化差分信号が逆量子化部４０３及び逆変換部４０４により復号され、復号差分信号が生成される（ステップＳ２２）。そして、予測信号生成部４０７により、動きベクトル、及びフレームメモリ４０６から参照された参照画像に基づいて予測信号が生成される（ステップＳ２３）。その後、加算器４０５により、復号差分信号と予測信号が加算されることにより、再生信号が生成される（ステップＳ２４）。この再生信号は、参照信号としてフレームメモリ４０６に格納される（ステップＳ２５）。

同時に、参照画像生成部４０８により、フレームメモリ４０６に格納されている参照画像を対象に特異値分解を施すことにより、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５が求められる（ステップＳ２６）。そして、参照画像生成部４０８により、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５を用いて新規参照画像ｙ”_ｔ＋５が生成されてフレームメモリ４０６に格納される（ステップＳ２７）。この新規参照画像ｙ”_ｔ＋５の生成は、次のフレームを復号するための参照画像として用いられる。ここまでの処理は、１フレーム分の符号化差分信号に対して繰り返された後、再生画像が出力端子４０９から出力される（ステップＳ２８）。

以上説明した動画像符号化装置１及び動画像復号装置４０によれば、メモリに格納された既生成の既存参照画像を用いて観測行列Ｃ及び状態ベクトルｘ_ｔ＋５が求められ、それらを元に新規参照画像が生成され、新規参照画像を少なくとも用いて対象画素信号に対する予測信号が生成されるので、既存参照画像に無い動的テクスチャの性質に合った参照画像を新たに生成することができる。より詳細には、本実施形態では、動的テクスチャが自己回帰移動平均モデル（ＡＲＭＡ）で表される性質を使用して、当該モデルに用いられる観測行列や状態ベクトルなどを既存参照画像から生成している。従って、既存参照画像にない動的テクスチャの性質に合った参照画像を新たに生成することができる。これにより、符号化対象画像にある動的テクスチャにより近い予測信号を生成することができる結果、差分信号が小さく抑えられて圧縮された動画像のデータ量を効果的に低減することができる。また、既存参照画像に加えて動的テクスチャに合った新規参照画像を含む複数の候補信号から予測信号を生成するため、従来よりも対象画素信号により近い予測信号を決定することができ、差分信号をさらに小さく抑えられる。

以下、コンピュータを動画像符号化装置１及び動画像復号装置４０として動作させる動画像符号化プログラム及び動画像復号プログラムについて説明する。

本発明による動画像符号化プログラム及び動画像復号プログラムは、記録媒体に格納されて提供される。記録媒体としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図７に示すように、コンピュータ３０は、フロッピー（登録商標）ディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像符号化・復号プログラムにアクセス可能になり、当該動画像符号化・復号プログラムによって、本発明による動画像符号化装置・動画像復号装置として動作することが可能になる。

図８に示すように、動画像符号化プログラムもしくは動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４１としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムもしくは動画像復号プログラムをメモリ１６に格納し、当該動画像符号化プログラムもしくは動画像復号プログラムを実行することができる。

なお、本発明は、前述した第１実施形態に限定されるものではない。例えば、動画像符号化装置１及び動画像復号装置４０は、新規参照画像を生成する際に用いる観測行列Ｃ及び状態ベクトルｘ_ｔ＋５の両方、或いはどちらか一方を、圧縮データに含めて動画像符号化装置１から動画像復号装置４０に伝送するように動作してもよい。この場合、復号側で観測行列又は状態ベクトルを生成する処理が不要になるので、効率的な復号処理が実現される。

例えば、状態ベクトルを伝送する場合には、動画像符号化装置１において、参照画像生成部１１３によって生成された状態ベクトルｘ_ｔ＋５がラインＬ１１７経由でエントロピー符号化部１１１に送られ、エントロピー符号化部１１１によって可変長符号化された後に、圧縮データとして出力端子１１２から出力される（図１）。また、図６は、この場合の動画像復号装置４０の動作を示すフローチャートである。圧縮データが入力されてから再生画像をフレームメモリ４０６に格納するまでの処理（ステップＳ３１〜ステップＳ３５）は、図５に示したステップＳ２１〜ステップＳ２５までの処理と同様である。再生画像の格納後、データ解析部４０２によって圧縮データに含まれる状態ベクトルが抽出および可変長復号されることにより、復号状態ベクトルが生成されると同時に、ラインＬ４１１経由で参照画像生成部４０８に送られる（ステップＳ３６）。この場合、状態ベクトルは可変長符号化された場合を想定したが、特定の符号化方法で圧縮した場合は、その符号化方法に対応する復号方法で復号した上で参照画像生成部４０８に送られる。次に、参照画像生成部４０８によって、フレームメモリ４０６が参照されて観測行列Ｃが求められる（ステップＳ３７）。その後、参照画像生成部４０８によって、観測行列Ｃと、データ解析部４０２から送られた復号状態ベクトルｘ_ｔ＋５を用いて新規参照画像が生成される（ステップＳ３８）。最後に、１フレーム分の再生画像が出力端子４０９から出力される（ステップＳ３９）。

また、状態ベクトルｘ_ｔ＋５は、データ量を圧縮するために量子化して伝送されてもよい。この場合、符号化側と復号側との整合性を保つためには、逆量子化した状態ベクトルｘ_ｔ＋５と観測行列Ｃとから新規参照画像を生成する必要がある。

また、新規参照画像の生成に際しては、状態ベクトルｘ_ｔ＋５は、式（７）により算出されたものを用いてもよく、式（８）により算出されたものを用いてもよい。すなわち、符号化の対象となるフレームをｙ”_ｔ＋５とし、これに観測行列Ｃの逆行列をかけることによって、対象フレームｙ_ｔ＋５に最適な状態ベクトルｘ_ｔ＋５を生成することができる。

また、参照画像生成部４０８の処理を全て予測信号生成部４０７によって実行させても良い。具体的には、予測信号生成部４０７がフレームメモリ４０６に格納された既存参照画像を用いて観測行列Ｃ及び状態ベクトルｘ_ｔ＋５を求め、それらに基づいて直接予測信号を生成してもよい。この場合も、観測行列Ｃ及び状態ベクトルｘ_ｔ＋５の一方或いは両方を、符号化側から取得するようにしてもよい。

また、対象フレーム中に動的テクスチャの性質を持つ信号は一部の対象画素信号にしか存在しない場合がある。その場合は、新規参照画像の生成はフレーム全体ではなく、一部の領域に対してのみ選択的に行うようにしてもよい。例えば、再生信号の中に動的テクスチャを有する対象ブロックをブロック番号等で特定し、該当ブロック番号を有する対象ブロックに対して予測信号を生成する際には参照画像生成部１１３をアクティブ（活性化）する等が考えられる。
［第２実施形態］

続いて、本発明の第２実施形態について、図面を参照しつつ説明する。第２実施形態に係る動画像符号化装置及び動画像復号装置は、第１実施形態に係る動画像符号化装置及び動画像復号装置と一部が異なっている。以下、異なる点を中心に説明する。

（動画像符号化装置）
図９は、本発明の第２実施形態にかかる動画像符号化装置の構成を示すブロック図である。同図に示す動画像符号化装置５０は、入力端子（入力手段）１０１と、ブロック分割部（分割手段）１０２と、予測信号生成部（予測信号生成手段）１０３と、フレームメモリ（格納手段）１０４と、減算器（差分生成手段）１０５と、変換部（符号化手段）１０６と、量子化部（符号化手段）１０７と、逆量子化部（復号手段）１０８と、逆変換部（復号手段）１０９と、加算器（加算手段）１１０と、エントロピー符号化部（エントロピー符号化手段）１１１と、出力端子１１２と、参照画像生成部（参照画像生成手段）１１３と、位置設定部（位置設定手段）１１７と、位置選択部１１８とを備えて構成されている。

位置設定部１１７は、複数の参照画像を管理する参照画像リストにおける新規参照画像の挿入位置を設定して、設定された挿入位置を示す位置情報を生成する部分である。この参照画像リストとは、複数の参照画像を参照画像番号に関連付けて管理するリストであって、フレーム２０１〜２０５の再生画像（図２参照）を参照画像とすると、例えば、図１４に示される表９０１のようになる。このような参照画像リストは、例えば、予測信号生成部１０３が備えており、予測信号生成部１０３は、参照画像リストに含まれる参照画像から選択される参照画像を用いて、対象ブロックの対象画素信号に対する予測信号を生成する。参照画像リストでは、参照画像番号によって、予測信号を生成する際に用いられる参照画像が識別できるようになっている。また、参照画像番号は、番号の値が小さくなるにつれて符号化に要する符号量が小さくなる傾向があるため、選択頻度の高い参照画像に対して、より小さい値の参照画像番号を付与しておくと符号化効率が向上する。

位置設定部１１７は、参照画像リストにおける新規参照画像の挿入位置を設定する際、フレームメモリ１０４からラインＬ５０１経由で既存参照画像の情報を、参照画像生成部１１３からラインＬ５０２経由で新規参照画像の情報をそれぞれ入手して、新規参照画像の挿入位置を設定する。新規参照画像を参照画像生成部１１３で生成する方法は第１実施形態と同様であり、ここでは説明を省略する。位置設定部１１７は、参照画像リスト（例えば、図１４の表９０１）における新規参照画像の挿入位置を決定する。位置設定部１１７による挿入位置の決定方法としては、過去のフレームにおける新規参照画像の選択率で決める方法や、画像内に含まれるテクスチャ信号の割合を解析して求める方法が考えられるが、これらに限定されない（後述ではレート歪最適化による手法を説明）。位置設定部１１７は、設定または決定された位置情報を、ラインＬ５０３及びラインＬ５０４経由で、予測信号生成部１０３とエントロピー符号化部１１１に出力する。

予測信号生成部１０３は、ラインＬ５０３経由で新規参照画像の挿入位置を示す位置情報（例えば、参照画像リストにおける参照画像番号）が入力されると、この位置情報に基づいて参照画像リストを更新する。具体的には、図１４の表９０１で示される参照画像リストを備えた予測信号生成部１０３に対して、新規参照画像の挿入位置が参照画像番号４である位置情報が入力されると、予測信号生成部１０３は、図１４の表９０２で示される参照画像リストへと更新する。新規参照画像の挿入に伴い、更新後の参照画像リストからは、符号化順で最も古い既存参照画像であるｙ_ｔが自動的に除外される。なお、図１４の表９０３〜９０６は、新規参照画像の挿入位置が参照画像番号３，２，１，０である位置情報が入力された場合の更新後の参照画像リストである。

なお、双方向予測の場合には、対象ブロックの画素信号に対して２つの予測信号を生成するため、２つの参照画像リストが用意される。図１５に示される参照画像リスト９１１は２番目の参照画像リストの例である。この例では、表示順で符号化対象フレームよりも未来のフレームに小さい参照画像番号０，１を付与している。一方、１番目の参照画像リストとしては、図１４の表９０１を用いてもよいが、この場合、図２（ａ），（ｂ）に示されるように、前（過去）５枚と後（未来）２枚の合計７枚の参照画像をフレームメモリ１０４に格納しておく必要がある。５枚に限定する場合には、１番目の参照画像リストとして、図１６の参照画像リスト９２１のように符号化順で過去の５フレームを参照画像として選ぶようにしてもよい。参照画像の枚数は制限されず、一枚以上であれば自由に設定できる。参照画像の枚数は、符号化側と復号側とで予め定めておいてもよいし、符号化側にて参照画像の枚数をフレーム単位やシーケンス単位で決定して符号化して復号側に送出するようにしてもよい。双方向予測の場合、位置設定部１１７は、２つの参照画像リスト（例えば９１１，９２１）について、それぞれ新規参照画像の挿入位置を示す位置情報を設定する。２つの参照画像リストにおける挿入位置を示す位置情報は、上記同様、予測信号生成部１０３やエントロピー符号化部１１１に出力され、参照画像リストの更新やエントロピー符号化が行われる。

位置設定部１１７は、参照画像リストの更新の際に除外される参照画像を参照画像リスト生成情報として、位置情報と共にラインＬ５０３及びラインＬ５０４経由で、予測信号生成部１０３とエントロピー符号化部１１１に出力して、エントロピー符号化部１１１にて符号化させてもよい。予測信号生成部１０３は、位置情報と参照画像リスト生成情報に基づいて参照画像リストを更新する。この際、符号化対象のフレームの新規参照画像に代えて、過去のフレームの新規参照画像を参照画像リストに含めるように参照画像リスト生成情報を生成して符号化してもよいし、符号化対象のフレームの新規参照画像と過去のフレームの新規参照画像を共に参照画像リストに含めるように符号化してもよい。例えば、参照画像リストの参照画像番号について、フレーム番号と参照画像の種類（既存参照画像か新規参照画像）の組み合わせを符号化することで実現可能である。この方法によれば、新規参照画像のみで参照画像リストを構成することも可能である。

また、参照画像リストが既存参照画像のみで構成され、新規参照画像を含まない場合には、新規参照画像の挿入位置を示す位置情報は、新規参照画像が参照画像リストに含まれないことを示す情報となる。位置情報の例としては、「新規参照画像を参照画像リストに含むか否かを示すフラグ」と「新規参照画像の挿入位置を示す参照画像番号」の組み合わせがあり、フラグが新規参照画像を含まないことを示す場合には、参照画像番号は符号化しない。特に、双方向予測の場合、一方の参照画像リストのみが新規参照画像を含み、他方の参照画像リストが既存参照画像のみで構成するといったように、参照画像の選択肢を広げて、自由度を高めることができる。

予測信号生成部１０３は、参照画像リストの更新後、更新された参照画像リストに基づいて、対象ブロックの予測信号を生成する。また、予測信号生成部１０３は、対象ブロックの予測に用いた参照画像番号や動きベクトルの検出を行い、ラインＬ１１１経由でエントロピー符号化部１１１に出力する。この際、新規参照画像を対象ブロックの予測に用いた場合には、動きベクトルを出力せず、ゼロ動きベクトルとして、対象ブロックの予測信号を生成してもよい。

位置選択部１１８は、参照画像リストにおける新規参照画像の挿入位置をレート歪最適化方法で選択して決定する際に用いられる部分である。位置選択器１１８は、参照画像生成部１１３にて新規参照画像を生成した後、入力端子１０１、ブロック分割部１０２、予測信号生成部１０３、フレームメモリ１０４、減算器１０５、変換部１０６、量子化部１０７、逆量子化部１０８、逆変換部１０９、加算器１１０、エントロピー符号化部１１１、位置設定部１１７を用いて、新規参照画像の挿入位置の候補（例えば、参照画像リスト９０２〜９０６）毎に上述したような位置設定や符号化や局部復号処理を行い、各候補による符号化データをラインＬ１１０経由で取得して、符号量を計算する。位置選択部１１８は、入力端子１０１から符号化対象フレームの入力画像を、加算器１１０から符号化対象フレームの再生画像をそれぞれ入手し、各候補における符号化歪み（平均自乗誤差）を計算する。そして、位置選択部１１８は、量子化精度によって決まる重み係数を掛けた符号量と符号化歪みとの和を候補毎に算出し、その値が最小となる新規参照画像の挿入位置を選択する。位置選択部１１８は、選択した候補の符号化データをラインＬ５０５経由で出力端子１１２に出力すると共に、選択した候補の再生信号のみが有効となるようにフレームメモリ１０４を制御する。すなわち、位置選択部１１８で新規参照画像の挿入位置を決定する。なお、レート歪最適化法でなく、上述したような新規参照画像の選択率で決める方法の場合等、新規参照画像の挿入位置を位置設定部１１７で決定する場合には、位置選択部１１８は不要となる。

以下、図１０を参照しながら、動画像符号化装置５０の動作について詳述するとともに、レート歪最適化方法による動画像符号化方法について説明する。

ここでは、符号化する画像の対象信号が入力される前に、後述するステップＳ４５〜Ｓ５０で行われる処理が、過去の複数の入力画像に対して行われている場合を仮定する。すなわち、符号化の対象信号が入力される以前の別の符号化対象信号について次の処理がなされている。具体的には、予測信号生成部１０３により、フレームメモリ１０４に格納されている複数の参照画像を用いて、対象画素信号に対する予測信号が生成される（後述するステップＳ４５と同様）。そして、減算器１０５により、対象画素信号と予測信号とに基づいて差分信号が生成される（後述するステップＳ４６と同様）。その後、その差分信号が変換部１０６及び量子化部１０７によって周波数領域に変換された上で量子化され、符号化差分信号が生成される（後述するステップＳ４７と同様）。上記の符号化差分信号は、逆量子化部１０８および逆変換部１０９により逆量子化および逆変換され、復号差分信号に再生される（後述するステップＳ４８と同様）。さらに、加算器１１０によって、この復号差分信号と予測信号とが加算されて再生信号が生成される（後述するステップＳ４９と同様）。その後、この再生信号は、参照画像としてフレームメモリ１０４に格納される（後述するステップＳ５０と同様）。

続いて、符号化する画像の対象信号が入力され（ステップＳ４１）、参照画像生成部１１３によりフレームメモリ１０４に格納されている一部の既存参照画像を対象に特異値分解処理が施されて、観測行列Ｃおよび状態ベクトルｘ_ｔ＋５が生成される。そして、参照画像生成部１１３により、観測行列Ｃおよび状態ベクトルｘ_ｔ＋５に基づいて新規参照画像が生成されて、次のフレームを符号化する際の参照画像としてフレームメモリ１０４に格納される（ステップ４３）。このような新規参照画像の生成処理は、動画像の全て又は一部のフレームに対して繰り返される。なお、生成される観測行列Ｃおよび状態ベクトルｘ_ｔ＋５のいずれか一方または両方を、受信側に伝送してもよい。

続いて、ステップＳ４４では、既存の再生画像による参照画像で構成される参照画像リスト（例えば、図１４の表９０１，図１５の表９１１，図１６の表９２１）に対し、位置設定部１１７によって、新規参照画像を挿入する挿入位置を設定するための位置情報が生成され、予測信号生成部１０３に出力される。位置情報が入力された予測信号生成部１０３では、参照画像リストが位置情報に基づいて更新され、更新された参照画像リスト（例えば、図１４の表９０２〜９０６，図１５の表９１１〜９１６，図１６の表９２１〜９２６）が取得される。

続いて、ステップＳ４５では、ステップＳ４４で更新された参照画像リストに基づいて、対象ブロックの予測に用いる参照画像と動きベクトルとが検出される。この際、新規参照画像を選択した場合には、動きベクトルを送らずに、ゼロ動きベクトルとした予測信号が生成されるようにしてもよい。その後、上述したようにステップＳ４６〜Ｓ５０までの処理を行う。その後、ステップＳ５１では、更新した参照画像リストにおける新規参照画像を挿入する位置を決定するため、ステップＳ４４にて新規参照画像を挿入する挿入位置を変えてステップＳ４５〜Ｓ５０までの処理（基本符号化ステップ）を繰り返すように制御される。その後、すべての設定位置（例えば、参照画像番号０〜４）での基本符号化ステップによるテストが終了すると、ステップＳ５２に進み、繰り返された基本符号化ステップごとの符号量と符号化歪み（入力画像と再生画像の平均自乗誤差）を計算し、量子化精度によって決まる重み係数を掛けた符号量と符号化歪みとの和を求める。そして、その値が最小となる新規参照画像の設定位置を選択して決定すると共に、選択した基本符号化ステップの結果のみが有効となるようにフレームメモリ１０４を構成する。

続いて、ステップＳ５３では、ステップＳ５１にて選択した新規参照画像の挿入位置を含んだ符号化データ（新規参照画像の位置情報と各対象ブロックの参照画像番号と動きベクトルおよび符号化差分信号とを含む）を出力端子１１２から出力する。なお、この出力の際、新規参照画像の挿入位置を示す位置情報をフレーム単位で送るが、複数のブロックをグループ化した大領域単位（画面を分割した分割領域単位）で新規参照画像の挿入位置を示す位置情報を決定して、伝送してもよい。

なお、上記実施形態では、参照画像生成部１１３にて新規参照画像を生成しているが、予測信号生成部１０３で観測行列Ｃと状態ベクトルｘ_ｔ＋５を求めた上で予測信号を直接生成してもよい。また、特異値分解の方法で観測行列Ｃと状態ベクトルｘ_ｔ＋５を求めたが、それ以外の方法を用いてもよい。また、更新された参照画像リストが新規参照画像を含まない場合には、そのフレームについては、参照画像生成部１１３での処理を不要としてもよい。

また、上記実施形態では、観測行列Ｃと状態ベクトルｘ_ｔ＋５を符号化して伝送する必要がないため、後に説明するように受信側（復号側）では同じ方法で観測行列Ｃと状態ベクトルｘ_ｔ＋５を求めて新規参照画像を生成することになるが、受信側における処理量を減らすために、状態ベクトルｘ_ｔ＋５を符号化した上で伝送することもできる。この場合、求められた状態ベクトルｘ_ｔ＋５はラインＬ１１７経由でエントロピー符号化器１１１に送り、エントロピー符号化した上で外部に出力伝送する。なお、予測信号生成部１０３にて状態ベクトルｘ_ｔ＋５を求めた場合は、ラインＬ１１１経由で外部に出力伝送する。

また、上記実施形態では、状態ベクトルｘ_ｔ＋５は、式（７）で求めたものを用いてもいいが、式（８）から求めてもよい。すなわち、符号化の対象となるフレームをｙ“_ｔ＋５とし、それに観測行列Ｃの逆行列をかけることによって、対象フレームｙ“_ｔ＋５に最適な状態ベクトルｘ_ｔ＋５を生成することができる。データ量を削減するため状態ベクトルｘ_ｔ＋５を量子化した上で伝送してもよい。この場合、送信側と受信側の整合性を保てるために、逆量子化したｘ_ｔ＋５と観測行列Ｃから新規参照画像を生成する必要がある。なお、状態ベクトルｘ_ｔ＋５を送る形態を説明したが、代わりに観測行列Ｃを送ることもできるし、観測行列Ｃと状態ベクトルｘ_ｔ＋５の両方を送ってもよい。動的テクスチャの性質をもつ信号は、画面内の一部にしか存在しない場合があるが、その場合、上述の新規参照画像の生成はフレーム全体ではなくて、一部の領域に対して行なってもよい。

また、上記実施形態では、新規参照画像の挿入位置を示す情報をフレーム単位で送っているが、複数のブロックをグループ化した大領域単位（画面を分割した分割領域単位）で新規参照画像の挿入位置を示す情報を送っても良い。この場合、位置設定部１１７と予測信号生成部１０３は、大領域毎に更新参照画像リストを作成する。そして、予測信号生成部１０３は、対象ブロックが属する大領域の更新参照画像リストに基づいて参照画像を選択し、参照画像番号をエントロピー符号化器１１１に送る。このような大領域の定義は、符号化側と復号側で予め定めておいても良いし（例えば、画面を４分割して４つの大領域を構成）、大領域の構成を符号化側で決めてエントロピー符号化器１１１にて符号化しても良い。この方法によれば、動的テクスチャを含む大領域の参照画像リストには新規参照画像を追加し、動的テクスチャを含まない大領域では既存参照画像のみで参照画像リストを構成するという処理が可能となる。また、参照画像リストへの新規参照画像の挿入位置を符号化しているが、復号済みの情報から決定しても良い。例えば、過去の符号化済みフレームにおける新規参照画像の選択率に基づいて参照画像リストへの新規参照画像の挿入位置を自動的に決定しても良い。

（動画像復号装置）
以下、第２実施形態にかかる動画像復号装置の構成について説明する。図１０は、第２実施形態にかかる動画像復号装置の構成を示すブロック図である。同図に示す動画像復号装置６０は、入力端子（入力手段）４０１と、エントロピー復号部（エントロピー復号手段）４１０と、逆量子化部（復号手段）４０３と、逆変換部（復号手段）４０４と、加算器（加算手段）４０５と、予測信号生成部（予測信号生成手段）４０７と、フレームメモリ（格納手段）４０６と、参照画像生成部（参照画像生成手段）４０８と、出力端子４０９とを備えて構成されている。

入力端子４０１には、動画像を予測符号化して得られる符号化差分信号を含む圧縮データが入力される。このような圧縮データとしては、例えば、図９の動画像符号化装置５０で処理して得られたデータがある。この圧縮データには、上述したように、符号化差分信号の他、予測信号を生成するために必要な動きベクトル、参照画像を識別する参照画像番号、逆量子化を行うための量子化パラメータ、新規参照画像を生成するための状態ベクトルｘ_ｔ＋５のデータ、新規参照画像の挿入位置を示す位置情報などが含まれている。なお、状態ベクトルｘ_ｔ＋５を動画像復号装置６０で生成する場合には、状態ベクトルｘ_ｔ＋５は含まれていなくてもよい。

エントロピー復号部４１０は、入力された圧縮データを解析してエントロピー復号し、元の数値等に復元し、その圧縮データから、上述した符号化差分信号等を抽出する。そして、エントロピー復号部４１０は、抽出した符号化差分信号及び量子化パラメータを、ラインＬ４０２を経由して逆量子化部４０３に出力し、また、動きベクトルに関する情報をラインＬ４１０経由で予測信号生成部４０７に送出する。この符号化差分信号は、逆量子化部４０３及び逆変換部４０４によって復号されて差分信号に復元される。また、エントロピー復号部４１０は、復元した新規参照画像の挿入位置を示す位置情報をラインＬ４１２経由で予測信号生成部４０７に送出する。

予測信号生成部４０７は、処理対象の復号差分信号に対する予測信号を生成する部分である。予測信号生成部４０７は、エントロピー復号部４１０から新規参照画像の挿入位置を示す位置情報が入力されると、動画像符号化装置５０の予測信号生成部１０３と同様に、参照画像リストを更新する。新規参照画像が含まれていない場合には、参照画像リストは更新されない。なお、圧縮データに参照画像リストを生成するための情報である参照画像リスト生成情報が含まれている場合には、予測信号生成部４０７は、エントロピー復号部４１０にて復号された参照画像リスト生成情報をラインＬ４１２経由で取得して参照画像リストの更新に用いる。このような参照画像リスト生成情報には、上述したように、例えば、参照画像リストから除外された既存参照画像の情報が含まれている。また、参照画像リスト生成情報に、参照画像リストの各参照画像番号について、それぞれのフレーム番号と参照画像の種類（既存参照画像か新規参照画像）の組み合わせが示されている場合には、明示的に参照画像リストを更新することが可能となる。

また、予測信号生成部４０７は、動きベクトルと参照画像番号に基づいて、フレームメモリ４０６にある参照画像にアクセスし、復号対象の対象ブロックの予測信号を生成する。なお、参照画像番号が新規参照画像を示すブロックについて、動きベクトル情報が圧縮データに含まれないように予め決められている場合、ゼロ動きベクトルとして新規参照画像から対象ブロックの予測信号を生成する。このようにして得られた予測信号は、ラインＬ４０７経由で加算器４０５に送られ、復号差分信号に加算され、再生信号が生成される。

参照画像生成部４０８は、上述した動画像符号化装置５０の参照画像生成部１１３と同様にして、フレームメモリ４０６に格納された一部の既存参照画像に基づいて、特異値分解処理によって観測行列Ｃと状態ベクトルｘ_ｔ＋５を求める。なお、状態ベクトルｘ_ｔ＋５が圧縮データに含まれている場合には、ラインＬ４１１経由でエントロピー復号部４１０から状態ベクトルｘ_ｔ＋５を取得して用いる。圧縮データに含まれる状態ベクトルｘ_ｔ＋５は、エントロピー符号化されているが、エントロピー符号化以外の特定の符号化方法で圧縮された場合には、エントロピー復号部４１０から出力された状態ベクトルｘ_ｔ＋５を、その特定の符号化方法に対応する復号処理で復号した上で参照画像生成部４０８に送出する。また、再生画像を用いて観測行列Ｃを求めるが、再生画像に加えて過去に生成した新規参照画像を合わせて観測行列Ｃを求めるようにしてもよい。

参照画像生成部４０８は、第１実施形態と同様、観測行列Ｃと状態ベクトルｘ_ｔ＋５とから式（８）に基づいて、動的テクスチャの性質をもつ新規参照画像ｙ”_ｔ＋５を生成する。生成された新規参照画像ｙ”_ｔ＋５は、ラインＬ４０８ｂ経由でフレームメモリ４０６に格納される。そして、予測信号生成部４０７は、動画像符号化装置５０の予測信号生成部１０３と同様に、既存参照画像および新規参照画像の少なくとも１つに基づいて、次のフレームの対象ブロックの予測信号を生成する。

なお、参照画像生成器４０８の新規参照画像の生成処理機能を予測信号生成器４０７に持たせることもできる。この場合、ラインＬ４１０経由で状態ベクトルｘ_ｔ＋５を予測信号生成器４０７に送り、生成した予測信号を直接に加算器４０５に送る。

また、上記実施形態では、新規参照画像の挿入位置を示す情報をフレーム単位で受信しているが、複数のブロックをグループ化した大領域単位（画面を分割した分割領域単位）で新規参照画像の挿入位置を示す情報を受信するようにしてもよい。この場合、予測信号生成部４０７は、大領域毎に更新参照画像リストを作成および更新する。そして、予測信号生成部４０７は、対象ブロックが属する大領域の更新参照画像リストに基づいて参照画像を選択する。大領域は、符号化側と復号側で予め定めておいても良いし（例えば、画面を４分割して４つの大領域を構成）、エントロピー復号部４１０にて大領域の構成を復号してもよい。また、参照画像リストへの新規参照画像の挿入位置を復号しているが、復号済みの情報から復号側で決定してもよい。例えば、過去の復号済みフレームにおける新規参照画像の選択率に基づいて参照画像リストへの新規参照画像の挿入位置を自動的に決定してもよい。

以下、図１１を参照しながら、動画像復号装置６０の動作について詳述するとともに、状態ベクトルｘ_ｔ＋５が圧縮データに含まれていない場合の動画像復号方法について説明する。

ここでは、復号される画像の復号処理が実施される前に、後述するステップＳ６５〜Ｓ６８が実施され、複数の復号画像が既に復元されている場合を仮定する。具体的には、エントロピー復号部４１０に符号化差分信号を含む圧縮データが入力されると、その圧縮データの中から符号化差分信号、動きベクトル、参照画像番号及び量子化パラメータが抽出される。そして、この符号化差分信号が逆量子化部４０３及び逆変換部４０４により復号され、復号差分信号が生成される（後述するステップＳ６５）。また、復号対象の対象ブロックの予測信号の生成に必要となる動きベクトルと参照画像番号とを復号し、フレームメモリに格納されている参照画像に基づいて予測信号を生成する（後述するステップＳ６６）。その後、加算器４０５により、復号差分信号と予測信号が加算されることにより、再生信号が生成される（後述するステップＳ６７）。この再生信号は、参照信号としてフレームメモリ４０６に格納される（後述するステップＳ６８）。

続いて、復号対象となる符号化差分信号を含む圧縮データが入力される（ステップＳ６１）。ステップＳ６２では、フレームメモリ４０６に格納されている参照画像（再生画像）に対し、特異値分解を実行して観測行列Ｃと状態ベクトルｘ_ｔ＋５を生成する。この一連の処理は、上述の式（１）〜（８）を用い、観測行列Ｃと状態ベクトルｘ_ｔ＋５に基づいて、新規参照画像を生成する。生成された新規参照画像は、フレームメモリ４０６に格納される（ステップＳ６３）。

続いて、ステップＳ６４に進み、既存の再生画像による参照画像にて構成される参照画像リスト（例えば、図１４の表９０１等参照）について、新規参照画像を挿入する位置を示す位置情報を圧縮データから取得し、参照画像リストを更新して、更新後の参照画像リスト（例えば、図１４の表９０２〜９０６等参照）を取得する。その後、ステップＳ６５に進んで、符号化差分信号を復号して復号差分信号を生成する。そして、ステップＳ６６で、参照画像番号と動きベクトルを復号するとともに、更新した参照画像リストに基づいて、復号された参照画像番号で示される参照画像と動きベクトルとから対象ブロックの予測信号を生成する。その後、ステップＳ６７，Ｓ６８を行い、所定の回数（あるいは圧縮データがすべて入力され、復元処理が実施されるまで）、ステップＳ６５〜Ｓ６８を繰り返した後、再生画像を出力端子４０９に出力する（ステップＳ６９）。

次に、図１３を参照しながら、動画像復号方法の変形例について説明する。この変形例は、状態ベクトルｘ_ｔ＋５が圧縮データに含まれて符号化側から伝送される場合に対応する実施形態である。この変形例では、ステップＳ７１，Ｓ７４〜Ｓ８０は、図１２のステップＳ６１，Ｓ６３〜Ｓ６９と同様であり、説明を省略する。

ステップＳ７２では、圧縮データより、状態ベクトルｘ_ｔ＋５を抽出・復号し、復号状態ベクトルを生成する。そして、ステップＳ７３では、フレームメモリ４０６に格納されている参照画像（再生画像）に対し、特異値処理を実行して観測行列Ｃを生成する。その後、図１２のステップＳ６３と同様に、観測行列ＣとステップＳ７２で得られた復号状態ベクトルに基づいて新規参照画像を生成する（ステップＳ７４）。このように生成した新規参照画像は、次のフレームを復号するための参照画像として、フレームメモリ４０６に格納される。

以上説明した動画像符号化装置５０及び動画像復号装置６０によれば、動的テクスチャが自己回帰移動平均モデル（ＡＲＭＡ）で表せる性質を利用して、当該モデルに用いられる観測行列Ｃを既生成の既存参照画像を用いて求め、その観測行列Ｃを元に新規参照画像を生成している。このため、既存参照画像にない動的テクスチャの性質に合った参照画像を新たに生成でき、符号化対象画像にある動的テクスチャに、より近い予測信号を生成できる。その結果、差分信号が小さく抑えられて圧縮された動画像のデータ量を効果的に低減することができる。つまり、動的テクスチャを効率よく符号化することができる。また、上述した動画像符号化装置等では、この新規参照画像や既存参照画像を管理する参照画像リストを用い、この参照画像リストに含まれる参照画像から選択される参照画像を用いて予測信号を生成している。このため、符号化対象画像にある動的テクスチャに、より一層近い予測信号を生成でき、差分信号を更に小さく抑えたり、差分信号を符号化しなくても視覚的に対象信号に似ている信号を再生したりすることが可能となる。さらに、上述した動画像符号化装置等では、参照画像リストにおける新規参照画像の位置も符号化しているため、参照画像の選択情報に要する符号量を抑えることが可能となる。

なお、コンピュータを、上述した動画像符号化装置５０及び動画像復号装置６０として動作させる動画像符号化プログラム及び動画像復号プログラムは、第１実施形態と同様であり、説明を省略する。

１，５０…動画像符号化装置、４０，６０…動画像復号装置、１０１…入力端子（入力手段）、１０２…ブロック分割部、１０３…予測信号生成部（予測信号生成手段）、１０４…フレームメモリ（格納手段）、１０５…減算器（差分生成手段）、１０６…変換部（符号化手段）、１０７…量子化部（符号化手段）、１０８…逆量子化部（復号手段）、１０９…逆変換部（復号手段）、１１０…加算器（加算手段）、１１１…エントロピー符号化部（符号化手段）、１１３…参照画像生成部（参照画像生成手段）、１１７…位置設定部（位置設定手段）、１１８…位置選択部、４０１…入力端子（入力手段）、４０２…データ解析部（入力手段）、４０３…逆量子化部（復号手段）、４０４…逆変換部（復号手段）、４０５…加算器（加算手段）、４０６…フレームメモリ（格納手段）、４０７…予測信号生成部（予測信号生成手段）、４０８…参照画像生成部（参照画像生成手段）４１０…エントロピー復号部（エントロピー復号手段）。

Claims (37)

1. 複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、
   前記対象信号に対する予測信号を生成する予測信号生成手段と、
   前記対象信号と前記予測信号との差分である差分信号を生成する差分生成手段と、
   前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、
   前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
   前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段と、
   前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
   前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、を備え、
   前記予測信号生成手段は、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
   ことを特徴とする動画像符号化装置。
2. 前記参照画像生成手段は、前記既存参照画像に基づいて観測行列及び状態ベクトルを求め、前記観測行列及び前記状態ベクトルに基づいて前記新規参照画像を生成する、
   ことを特徴とする請求項１記載の動画像符号化装置。
3. 前記符号化手段は、前記状態ベクトルを更に符号化する、
   ことを特徴とする請求項１又は２記載の動画像符号化装置。
4. 前記参照画像生成手段は、複数の前記既存参照画像から構成される行列を対象に特異値分解を実行することにより前記観測行列を求める、
   ことを特徴とする請求項１〜３のいずれか一項に記載の動画像符号化装置。
5. 動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、
   前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
   前記復号差分信号に対する予測信号を生成する予測信号生成手段と、
   前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段と、
   前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
   前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、を備え、
   前記予測信号生成手段は、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
   ことを特徴とする動画像復号装置。
6. 前記参照画像生成手段は、前記既存参照画像に基づいて観測行列及び状態ベクトルを求め、前記観測行列及び前記状態ベクトルに基づいて前記新規参照画像を生成する、
   ことを特徴とする請求項５記載の動画像復号装置。
7. 前記圧縮データには状態ベクトルに対応するベクトル圧縮データをさらに含み、
   前記復号手段は、前記ベクトル圧縮データを復元して復号状態ベクトルを生成し、
   前記参照画像生成手段は、前記観測行列及び前記復号状態ベクトルに基づいて前記新規参照画像を生成する、
   ことを特徴とする請求項５記載の動画像復号装置。
8. 前記参照画像生成手段は、複数の前記既存参照画像から構成される行列を対象に特異値分解を実行することにより前記観測行列を求める、
   ことを特徴とする請求項５〜７のいずれか一項に記載の動画像復号装置。
9. 動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、
   前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
   前記復号差分信号に対する予測信号を生成する予測信号生成手段と、
   前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段と、
   前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、を備え、
   前記予測信号生成手段は、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、前記観測行列又は前記状態ベクトルに基づいて予測信号を生成する、
   ことを特徴とする動画像復号装置。
10. 入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、
    予測信号生成手段が、前記対象信号に対する予測信号を生成する予測信号生成ステップと、
    差分生成手段が、前記対象信号と前記予測信号との差分である差分信号を生成する差分生成ステップと、
    符号化手段が、前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、
    復号手段が、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して再生信号を生成する加算ステップと、
    格納手段が、前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成ステップと、を備え、
    前記予測信号生成ステップでは、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
    ことを特徴とする動画像符号化方法。
11. 入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、
    復号手段が、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    予測信号生成手段が、前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して再生信号を生成する加算ステップと、
    格納手段が、前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成ステップと、を備え、
    前記予測信号生成ステップでは、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
    ことを特徴とする動画像復号方法。
12. 入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、
    復号手段が、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    予測信号生成手段が、前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して再生信号を生成する加算ステップと、
    格納手段が、前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、を備え、
    前記予測信号生成ステップでは、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、前記観測行列又は前記状態ベクトルに基づいて予測信号を生成する、
    ことを特徴とする動画像復号方法。
13. コンピュータを、
    複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段、
    前記対象信号に対する予測信号を生成する予測信号生成手段、
    前記対象信号と前記予測信号との差分である差分信号を生成する差分生成手段、
    前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段、
    前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段、
    前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段、及び
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段として動作させ、
    前記予測信号生成手段は、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
    ことを特徴とする動画像符号化プログラム。
14. コンピュータを、
    動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段、
    前記復号差分信号に対する予測信号を生成する予測信号生成手段、
    前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段、
    前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段、及び
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段として動作させ、
    前記予測信号生成手段は、前記新規参照画像を少なくとも用いて前記予測信号を生成する、
    ことを特徴とする動画像復号プログラム。
15. コンピュータを、
    動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段、
    前記復号差分信号に対する予測信号を生成する予測信号生成手段、
    前記復号差分信号に前記予測信号を加算して再生信号を生成する加算手段、
    前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段として動作させ、
    前記予測信号生成手段は、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列及び状態ベクトルの少なくとも一方を求め、前記観測行列又は前記状態ベクトルに基づいて予測信号を生成する、
    ことを特徴とする動画像復号プログラム。
16. 複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、
    前記符号化対象画像を複数の領域に分割する分割手段と、
    前記複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成手段と、
    前記対象領域の対象信号と前記予測信号との差分である差分信号を生成する差分生成手段と、
    前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算手段と、
    前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、
    複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を設定する位置設定手段と、
    少なくとも前記符号化差分信号及び前記新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化手段と、を備え、
    前記予測信号生成手段は、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新し、
    前記予測信号生成手段は、前記参照画像リストに含まれる参照画像から選択される参照画像を用いて前記対象領域の予測信号を生成し、
    前記エントロピー符号化手段は、前記対象領域の予測信号の生成に用いた前記参照画像を示す参照画像番号を符号化する、
    ことを特徴とする動画像符号化装置。
17. 複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力手段と、
    前記符号化対象画像を複数の領域に分割する分割手段と、
    前記複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成手段と、
    前記対象領域の対象信号と前記予測信号との差分である差分信号を生成する差分生成手段と、
    前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算手段と、
    前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、
    少なくとも二つ以上の前記対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を設定する位置設定手段と、
    少なくとも前記符号化差分信号及び前記大領域についての前記新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化手段と、を備え、
    前記予測信号生成手段は、前記新規参照画像の挿入位置を示す位置情報に基づいて前記大領域についての前記参照画像リストを更新し、
    前記予測信号生成手段は、前記対象領域が属する前記大領域についての前記参照画像リストに含まれる参照画像から選択される参照画像を用いて前記対象領域の予測信号を生成し、
    前記エントロピー符号化手段は、前記対象領域の予測信号の生成に用いた前記参照画像を示す参照画像番号を符号化する、
    ことを特徴とする動画像符号化装置。
18. 前記位置設定手段は、前記参照画像リストに前記新規参照画像が含まれない場合には、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報を生成し、
    前記エントロピー符号化手段は、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報をエントロピー符号化し、
    前記予測信号生成手段は、前記新規参照画像を含まないように前記参照画像リストを更新する、
    ことを特徴とする請求項１６又は１７に記載の動画像符号化装置。
19. 前記参照画像生成手段は、前記既存参照画像に基づいて観測行列及び状態ベクトルを求め、前記観測行列及び前記状態ベクトルに基づいて前記新規参照画像を生成する、
    ことを特徴とする請求項１６〜１８のいずれか一項に記載の動画像符号化装置。
20. 前記エントロピー符号化手段は、前記状態ベクトルを更にエントロピー符号化する、
    ことを特徴とする請求項１９記載の動画像符号化装置。
21. 前記参照画像生成手段は、複数の前記既存参照画像から構成される行列を対象に特異値分解を実行することにより前記観測行列及び前記状態ベクトルの少なくとも一方を求めて前記新規参照画像を生成する、
    ことを特徴とする請求項１９又は２０に記載の動画像符号化装置。
22. 動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、
    前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号手段と、
    前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成手段と、
    前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算手段と、
    前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、を備え、
    前記エントロピー復号手段は、複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成手段は、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新し、
    前記エントロピー復号手段は、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成手段は、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号装置。
23. 動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、
    前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号手段と、
    前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成手段と、
    前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算手段と、
    前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、
    前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成手段と、を備え、
    前記エントロピー復号手段は、少なくとも二つ以上の前記対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成手段は、前記新規参照画像の挿入位置を示す位置情報に基づいて前記大領域についての前記参照画像リストを更新し、
    前記エントロピー復号手段は、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成手段は、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号装置。
24. 前記エントロピー復号手段は、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報を復号し、
    前記予測信号生成手段は、前記新規参照画像を含まないように前記参照画像リストを更新する、
    ことを特徴とする請求項２２又は２３に記載の動画像復号装置。
25. 前記参照画像生成手段は、前記既存参照画像に基づいて観測行列及び状態ベクトルを求め、前記観測行列及び前記状態ベクトルに基づいて前記新規参照画像を生成する、
    ことを特徴とする請求項２２〜２４のいずれか一項に記載の動画像復号装置。
26. 前記圧縮データには状態ベクトルに対応するベクトル圧縮データをさらに含み、
    前記復号手段は、前記符号化差分信号を前記復号差分信号に復号する際、前記ベクトル圧縮データを復元して復号状態ベクトルを生成し、
    前記参照画像生成手段は、前記観測行列及び前記復号状態ベクトルに基づいて前記新規参照画像を生成する、
    ことを特徴とする請求項２２〜２４のいずれか一項に記載の動画像復号装置。
27. 前記参照画像生成手段は、複数の前記既存参照画像から構成される行列を対象に特異値分解を実行することにより前記観測行列及び前記状態ベクトルの少なくとも一方を求めて前記新規参照画像を生成する、
    ことを特徴とする請求項２５又２６に記載の動画像復号装置。
28. 動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力手段と、
    前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号手段と、
    前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成手段と、
    前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算手段と、
    前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納手段と、を備え、
    前記エントロピー復号手段は、複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成手段は、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新すると共に、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納し、
    前記エントロピー復号手段は、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成手段は、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号装置。
29. 入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、
    分割手段が、前記符号化対象画像を複数の領域に分割する分割ステップと、
    予測信号生成手段が、前記複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成ステップと、
    差分生成手段が、前記対象領域の対象信号と前記予測信号との差分である差分信号を生成する差分生成ステップと、
    符号化手段が、前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、
    復号手段が、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算ステップと、
    格納手段が、前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成ステップと、
    位置設定手段が、複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を設定する位置設定ステップと、
    エントロピー符号化手段が、少なくとも前記符号化差分信号及び前記新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化ステップと、を備え、
    前記予測信号生成ステップでは、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新し、
    前記予測信号生成ステップでは、前記参照画像リストに含まれる参照画像から選択される参照画像を用いて前記対象領域の予測信号を生成し、
    前記エントロピー符号化ステップでは、前記対象領域の予測信号の生成に用いた前記参照画像を示す参照画像番号を符号化する、
    ことを特徴とする動画像符号化方法。
30. 入力手段が、複数の画像から構成される動画像のうちの符号化対象画像に含まれる対象信号を入力する入力ステップと、
    分割手段が、前記符号化対象画像を複数の領域に分割する分割ステップと、
    予測信号生成手段が、前記複数の領域のうちの対象領域の対象信号に対する予測信号を生成する予測信号生成ステップと、
    差分生成手段が、前記対象領域の対象信号と前記予測信号との差分である差分信号を生成する差分生成ステップと、
    符号化手段が、前記差分信号を所定の方法で符号化して符号化差分信号を生成する符号化ステップと、
    復号手段が、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算ステップと、
    格納手段が、前記再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成ステップと、
    位置設置手段が、少なくとも二つ以上の前記対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を設定する位置設定ステップと、
    エントロピー符号化手段が、少なくとも前記符号化差分信号及び前記大領域についての前記新規参照画像の挿入位置を示す位置情報をエントロピー符号化するエントロピー符号化ステップと、を備え、
    前記予測信号生成ステップでは、前記新規参照画像の挿入位置を示す位置情報に基づいて前記大領域についての前記参照画像リストを更新し、
    前記予測信号生成ステップでは、前記対象領域が属する前記大領域についての前記参照画像リストに含まれる参照画像から選択される参照画像を用いて前記対象領域の予測信号を生成し、
    前記エントロピー符号化ステップでは、前記対象領域の予測信号の生成に用いた前記参照画像を示す参照画像番号を符号化する、
    ことを特徴とする動画像符号化方法。
31. 前記位置設定ステップでは、前記参照画像リストに前記新規参照画像が含まれない場合には、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報を生成し、
    前記エントロピー符号化ステップでは、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報をエントロピー符号化し、
    前記予測信号生成ステップでは、前記新規参照画像を含まないように前記参照画像リストを更新する、
    ことを特徴とする請求項３０又は３１に記載の動画像符号化方法。
32. 入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、
    エントロピー復号手段が、前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号ステップと、
    復号手段が、前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    予測信号生成手段が、前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算ステップと、
    格納手段が、前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納する参照画像生成ステップと、を備え、
    前記エントロピー復号ステップでは、複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成ステップでは、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新し、
    前記エントロピー復号ステップでは、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成ステップでは、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号方法。
33. 入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、
    エントロピー復号手段が、前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号ステップと、
    復号手段が、前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    予測信号生成手段が、前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算ステップと、
    格納手段が、前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、
    参照画像生成手段が、前記格納ステップに格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納ステップに格納する参照画像生成ステップと、を備え、
    前記エントロピー復号ステップでは、少なくとも二つ以上の前記対象領域にて構成される大領域について、複数の参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成ステップでは、前記新規参照画像の挿入位置を示す位置情報に基づいて前記大領域についての前記参照画像リストを更新し、
    前記エントロピー復号ステップでは、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成ステップでは、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号方法。
34. 前記エントロピー復号ステップでは、前記新規参照画像が前記参照画像リストに含まれないことを示す前記位置情報を復号し、
    前記予測信号生成ステップでは、前記新規参照画像を含まないように前記参照画像リストを更新する、
    ことを特徴とする請求項３２又は３３に記載の動画像復号方法。
35. 入力手段が、動画像を予測符号化して得られる符号化差分信号を含む圧縮データを入力する入力ステップと、
    エントロピー復号手段が、前記圧縮データから少なくとも復号対象となる対象領域の前記符号化差分信号を復元するエントロピー復号ステップと、
    復号手段が、前記対象領域の前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    予測信号生成手段が、前記復号差分信号に対する前記対象領域の予測信号を生成する予測信号生成ステップと、
    加算手段が、前記復号差分信号に前記予測信号を加算して前記対象領域の再生信号を生成する加算ステップと、
    格納手段が、前記対象領域の再生信号を、前記予測信号が生成される際に参照される参照画像として格納する格納ステップと、を備え、
    前記エントロピー復号ステップでは、複数の前記参照画像を管理する参照画像リストにおける前記新規参照画像の挿入位置を示す位置情報を前記圧縮データから復号し、
    前記予測信号生成ステップでは、前記新規参照画像の挿入位置を示す位置情報に基づいて前記参照画像リストを更新すると共に、前記格納手段に格納された既生成の前記参照画像である既存参照画像を用いて観測行列を求め、前記観測行列に基づいて新たな前記参照画像である新規参照画像を生成して前記格納手段に格納し、
    前記エントロピー復号ステップでは、更新した前記参照画像リストに基づいて前記対象領域の予測信号を生成する際に用いる前記参照画像を示す参照画像番号を前記圧縮データから復号し、
    前記予測信号生成ステップでは、復号した前記参照画像番号で示される前記参照画像を用いて前記対象領域の予測信号を生成する、
    ことを特徴とする動画像復号方法。
36. 請求項１６〜２１のいずれか一項に記載された動画像符号化装置に係る処理をコンピュータに実行させるための動画像符号化プログラム。
37. 請求項２２〜２８のいずれか一項に記載された動画像復号装置に係る処理をコンピュータに実行させるための動画像復号プログラム。
    

Images