JP2006310955A - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents

Abstract

【課題】ウエーブレット変換を用いたフレーム内符号化を、効率よく行えるようにする。
【解決手段】 ４個のバッファ２１−１乃至２１−４には、ビデオカメラ１による撮像の結果得られたフレームを順次に格納される。合成部１２は、バッファ２１−１から読み出した先頭のフレームＰ１を左上に、バッファ２１−２から読み出したフレームＰ１に続くフレームＰ２を右上に、バッファ２１−３から読み出したフレームＰ２に続くフレームＰ３を左下に、そしてバッファ２１−４から読み出したフレームＰ３に続くフレームＰ４を、右下に、それぞれ配置して、合成画像Ｗを生成する。符号化部１４は、ウエーブレット変換を用いて合成画像Ｗを符号化する。
【選択図】 図１

Description

本発明は、符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、ウエーブレット変換を用いたフレーム内符号化を、効率よく行うことができるようにする、符号化装置および方法、復号装置および方法、並びにプログラムに関する。

動画像圧縮方式として、JPEG（Joint Photographic Experts Group）2000規格などのウエーブレット変換を用いたコーディックが注目されている。

しかしながら、JPEG2000規格では、フレーム内符号化が行われるので、例えばMEPG（Moving Picture Experts Group）４規格などでのフレーム間符号化に比べて、符号化効率が悪いことが知られている。

本発明は、このような状況に鑑みてなされたものであり、ウエーブレット変換を用いたフレーム内符号化を、効率よく行うことができるようにするものである。

本発明の符号化装置は、時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像を生成する生成手段と、生成手段により生成された合成画像に対して、符号化を行う符号化手段とを備えることを特徴とする。

符号化手段により符号化された合成画像の符号化データを記憶する記憶手段をさらに設け、記憶手段には、合成画像の構成に関する情報を符号化データとともに記憶させることができる。

生成手段には、ｎ枚のフレームの一のフレーム、および他のフレームの座標系を一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像を生成させることができる。

本発明の符号化方法は、時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像を生成する生成ステップと、生成ステップの処理で生成された合成画像に対して、符号化を行う符号化ステップとを含むことを特徴とする。

本発明の第１のプログラムは、時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像を生成する生成ステップと、生成ステップの処理で生成された合成画像に対して、符号化を行う符号化ステップとを含むことを特徴とする。

本発明の符号化装置および方法、並びに第１のプログラムにおいては、時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像が生成され、生成された合成画像に対して、符号化が行われる。

本発明の復号装置は、符号化データを復号する復号手段と、復号手段による復号の結果得られた合成画像の画像データを、フレーム毎に分解する分解手段と、分解手段により分解されたフレームを出力する出力手段とを備えることを特徴とする。

符号化データは、時間的に連続するｎ枚のフレームの一のフレーム、および他のフレームの座標系を一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データであり、分解手段により分解されたフレームの座標系を元に戻す変換手段をさらに設けることができる。

本発明の復号方法は、符号化データを復号する復号ステップと、復号ステップでの復号の結果得られた合成画像の画像データを、フレーム毎に分解する分解ステップと、分解ステップの処理で分解されたフレームを出力する出力ステップとを含むことを特徴とする。

本発明の第２のプログラムは、符号化データを復号する復号ステップと、復号ステップでの復号の結果得られた合成画像の画像データを、フレーム毎に分解する分解ステップと、分解ステップの処理で分解されたフレームを出力する出力ステップとを含むことを特徴とする。

本発明の復号装置および方法、並びに第２のプログラムにおいては、符号化データが復号され、復号の結果得られた合成画像の画像データが、フレーム毎に分解され、分解されたフレームが出力される。

本発明によれば、ウエーブレット変換を用いたフレーム内符号化を、効率よく行うことができる。

以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。

請求項１に記載の符号化装置は、
時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像（例えば、図４Ｂ）を生成する生成手段（例えば、図１の合成部１２）と、
生成手段により生成された合成画像に対して、符号化を行う符号化手段（例えば、図１の符号化部１４）と
を備えることを特徴とする。

請求項２に記載の符号化装置は、
符号化手段により符号化された合成画像の符号化データを記憶する記憶手段（例えば、図１の記憶部１５）をさらに備え、
記憶手段は、合成画像の構成に関する情報を符号化データとともに記憶する（例えば、図７のファイルフォーマット）
ことを特徴とする。

請求項３に記載の符号化装置は、
生成手段（例えば、図１５の合成部１０１）は、ｎ枚のフレームの一のフレーム、および他のフレームの座標系を一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像（例えば、図１６Ｃ）を生成する
ことを特徴とする。

請求項４に記載の符号化方法および請求項５に記載のプログラムは、
時間的に連続するｎ枚のフレーム毎に、フレームを所定の位置に配置して合成画像を生成する生成ステップ（例えば、図９のステップＳ３）と、
生成ステップの処理で生成された合成画像に対して、符号化を行う符号化ステップ（例えば、図９のステップＳ４）と
を含むことを特徴とする。

請求項６に記載の復号装置は、
符号化データを復号する復号手段（例えば、図１０の復号部５２）と、
復号手段による復号の結果得られた合成画像の画像データを、フレーム毎に分解する分解手段（例えば、図１０の分解部５３）と、
分解手段により分解されたフレームを出力する出力手段（例えば、図１０の出力部５４）と
を備えることを特徴とする。

請求項７に記載の復号装置は、
符号化データは、時間的に連続するｎ枚のフレームの一のフレーム、および他のフレームの座標系を一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データであり、
分解手段により分解されたフレームの座標系を元に戻す変換手段（例えば、図２１の分解部２０１）
をさらに備えることを特徴とする。

請求項８に記載の復号方法および請求項９に記載のプログラムは、
符号化データを復号する復号ステップ（例えば、図１１のステップＳ１２）と、
復号ステップでの復号の結果得られた合成画像の画像データを、フレーム毎に分解する分解ステップ（例えば、図１１のステップＳ１３）と、
分解ステップの処理で分解されたフレームを出力する出力ステップ（例えば、図１１のステップＳ１４）と
を含むことを特徴とする。

図１は、本発明を適用した符号化装置２の構成例を示している。この符号化装置２は、ビデオカメラ１による撮像の結果得られた動画像を、ウエーブレット変換を用いたフレーム内符号化で符号化するが、フレーム毎ではなく、連続する複数のフレーム（この例の場合、４枚のフレーム）を合成して１つの大きな画像（以下、合成画像Ｗと称する）を生成し、その合成画像Ｗを符号化する。

図２には、JPEG2000規格に準拠した符号化（ウエーブレット変換を用いた符号化）と、DCTベースの符号化のそれぞれについての、符号化された画像の解像度（画サイズ）に応じた、所定の画質（例えば、PSNR）を得るために必要なデータ量（ビットレート）が示されている。

PSNR (Peak Signal-to-Noise Ratio ＝ ピーク信号対雑音比) とは、画像の信号と混入したノイズとの比率で、dB で表され、この値が低ければ低いほどノイズの混入が多いことを意味する。

図３には、ウエーブレット変換を用いた符号化において、７０４×５７６の画像、それを４分割した３５２×２８８の画像、そして１６分割した１７６×１４４の３種類の画サイズの、所定の画質を得るためのビットレートの違いを表している。

図２からは、JPEG2000規格に準拠した符号化では、画サイズが大きければ大きいほど、必要なビットレートの増加が少なくなり、ある解像度以上においては、DCTベースの符号化の場合や線形関数よりも、必要とするビットレートが少なくなっていることがわかる。また図３からは、画サイズが大きければ大きいほど、同じ画質を得るのに必要なビットレートが少なくなっていることがわかる。以上のことより、似た画像を符号化する場合、画サイズが大きければ大きいほど、符号化効率が上がっていることがわかる。

すなわち本発明では、符号化をフレーム単位ではなく、複数（図１の例の場合、４枚）のフレームから１つの大きい画像（合成画像Ｗ）を生成し、その合成画像Ｗを符号化することによって、符号化効率を向上させるものである。

図１に戻り符号化装置２の構成について説明する。

符号化装置２の入力部１１には、ビデオカメラ１による撮像の結果得られた動画像が入力される。なおビデオカメラ１により撮像された動画像が、高フレームレートであればあるほど、フレーム間の画像は似たものとなるので、ここでの合成画像Ｗによる符号化により、より効率的に符号化することができる。

入力部１１は、Ｎ（この例の場合、Ｎ＝４）個のバッファ２１−１乃至２１−４（以下、個々に区別する必要がない場合、バッファ２１と称する。他の場合においても同様である）を有し、入力された動画像を構成するフレームを、順次バッファ２１に格納し、要求に応じて合成部１２に供給する。

合成部１２は、入力部１１のバッファ２１−１乃至２１−４に格納されたフレームを読み出し、読み出した各フレームを用いて合成画像Ｗを生成する。

例えば合成部１２は、バッファ２１−１から読み出した、バッファ２１に記憶されたフレームのうちの先頭のフレーム（以下、フレームＰ１と称する）（図４Ａ）を、図４Ｂに示すように、図中、左上に、バッファ２１−２から読み出したフレームＰ１に続くフレーム（以下、フレームＰ２と称する）を右上に、バッファ２１−３から読み出したフレームＰ２に続くフレーム（以下、フレームＰ３と称する）を左下に、そしてバッファ２１−４から読み出したフレームＰ３に続くフレーム（以下、フレームＰ４と称する）を右下に、それぞれ配置して、合成画像Ｗを生成する。

例えば図５Ａおよび図６Ａに示すようなフレームＰ１乃至フレームＰ４からは、図５Ｂおよび図６Ｂに示すような合成画像Ｗが生成される。

図１に戻り合成部１２は、生成した合成画像Ｗと合成に関する情報（後述）を、符号化部１４に供給する。

なお合成画像Ｗを構成するフレーム（以下、構成フレームと称する）の数は、カウンタ１３の値に対応して決定されるものとし、その値は、ユーザが図示せぬ操作部を操作することにより設定することができる。

符号化部１４は、合成部１２から合成画像Ｗが供給される毎に、ウエーブレット変換を用いて、合成画像Ｗをフレーム内符号化するとともに、その結果得られた合成画像Ｗの符号化データを、図７に示すフォーマットに従って１つのフィアルとして記憶部１５に記憶する。

図７に示すファイルフォーマットは、記録される動画像の解像度（画サイズ）、合成画像Ｗを構成する構成フレームの枚数、および構成フレームの合成画像Ｗ上の始点座標に関する情報（以下、これらをまとめて合成情報と称する）が格納される格納部Ｄ１が設けられている。

例えば記録される動画像の１枚のフレームが640×480の画サイズであって、４枚のフレームで合成画像Ｗが構成される場合、解像度が640×480であることを示す情報、構成フレームが４枚であることを示す情報、並びに図８に示すように、フレームＰ１の始点座標が座標（０，０）であること、フレームＰ２の始点座標が座標（６４０，０）であること、フレームＰ３の始点座標が座標（０，４８０）であること、およびフレームＰ４の始点座標が座標（６４０，４８０）であることを示す情報がそれぞれ、格納部Ｄ１に格納される。

図７に示すフォーマットにはまた、合成画像Ｗの符号化データが格納される格納部Ｄ２が設けられている。

次に、符号化装置２の動作を、図９のフローチャートを参照して説明する。

ステップＳ１において、符号化装置２の合成部１２は、カウンタ１３の値を取得し、合成画像Ｗを構成する構成フレームの数Ｎ（この例の場合、４）を決定するとともに、記録する動画像の解像度、および構成フレームの始点座標を決定し、符号化部１４に供給する。

次にステップＳ２において、合成部１２は、バッファ２１にＮ（この例の場合、４）枚のフレームが記憶されるまで待機し、４枚のフレーム（連続する４枚のフレーム）がバッファ２１に記憶されたとき、ステップＳ３に進む。

ステップＳ３において、合成部１２は、バッファ２１に記憶されているフレームをそれぞれ読み出す。そして合成部１２は、図４に示したように、バッファ２１−１から読み出したフレームＰ１を左上に、バッファ２１−２から読み出したフレームＰ２を右上に、バッファ２１−３から読み出したフレームＰ３を左下に、そしてバッファ２１−４から読み出したフレームＰ４を右下に、それぞれ配置し、合成画像Ｗを生成する。合成部１２は、生成した合成画像Ｗを符号化部１４に供給する。

ステップＳ４において、符号化部１４は、合成部１２から供給された合成画像Ｗを、ウエーブレット変換を用いてフレーム内符号化する。

ステップＳ５において、符号化部１４は、ステップＳ４での符号化により得られた符号化データを、ファイルフォーマットの格納部Ｄ２（図７）に記憶する。なお符号化部１４は、例えば最初の合成画像Ｗの符号化データを格納する際、合成部１２から供給された合成情報を（ステップＳ１）、格納部Ｄ１に格納する。

ステップＳ６において、合成部１２は、入力部１１による動画像の入力が終了したか否かを判定し、すなわちビデオカメラ１による撮像の結果得られた動画像の記録が終了したか否かを判定し、終了していないと判定した場合、ステップＳ２に戻り、それ以降の処理を同様に実行する。

ステップＳ６で、動画像の記録が終了したと判定された場合、符号化処理は終了する。

図１０は、図１の符号化装置２により符号化された動画像の符号化データを復号する復号装置３の構成例を示している。

復号装置３の入力部５１には、符号化装置２により図７のファイルフォーマットに従って記録されたファイルデータが入力される。

入力部５１は、ファイルデータの格納部Ｄ１に格納されている合成情報を読み取って分解部５３に供給する。入力部５１はまたファイルデータの格納部Ｄ２に格納されている合成画像Ｗの符号化データを復号部５２に供給する。

復号部５２は、入力部５１から供給された符号化データを復号し、その結果得られた各合成画像Ｗの画像データを分解部５３に供給する。

分解部５３は、入力部５１から供給された合成情報に基づいて、復号部５２から供給された合成画像Ｗの画像データを、構成フレーム毎に分割し、出力部５４に供給する。

出力部５４は、分解部５３から供給されたフレーム単位の画像データを、例えば図示せぬ表示部に出力して表示する。

次に、図１１のフローチャートを参照して、復号装置３の動作を説明する。

ステップ１１において、復号装置３の入力部５１は、入力されたファイルデータの格納部Ｄ１（図７）に格納されている合成情報を抽出して分解部５３に供給する。入力部５１はまたファイルデータの格納部Ｄ２に格納されている合成画像Ｗの符号化データを抽出して復号部５２に供給する。

ステップＳ１２において、復号部５２は、入力部５１から供給された合成画像Ｗの符号化データを復号する。復号部５２は、復号の結果得られた各合成画像Ｗの画像データを分解部５３に供給する。

ステップＳ１３において、分解部５３は、復号部５２から供給された合成画像Ｗの画像データを、入力部５１から供給された合成情報に基づいて、フレーム毎に分解し、出力部５４に供給する。

例えば図４Ｂに示したような合成画像Ｗの画像データが復号部５２から供給された場合、分解部５３は、合成画像Ｗの画像データを、合成情報の各構成フレームの始点座標および解像度に基づいて、フレームＰ１乃至Ｐ４に分解し（図４Ａ）、フレームＰ１乃至フレームＰ４の順に、出力部５４に供給する。

ステップＳ１４において、出力部５４は、分解部５３から供給されるフレームを、例えば表示部に表示順に出力する。

ステップＳ１５において、分解部５３は、復号部５２から供給された合成画像Ｗの画像データをすべて分解したか否かを判定し、まだ分解していない合成画像Ｗの画像データがあると判定した場合、ステップＳ１３に戻り、次の合成画像Ｗの画像データを分解する。その後ステップＳ１４に進み、それ以降の処理が同様に実行される。

ステップＳ１５で合成画像Ｗの画像データをすべて分解したと判定された場合、復号処理は終了する。

なお、以上においては、合成画像Ｗを、図１２Ｂに示すように４枚のフレームで構成するようにしたが、図１２Ｃに示すように、１６枚のフレームで構成するようにすることもできる。またそれ以外の枚数（例えば、３枚、１７枚、１８枚）で合成画像Ｗを構成するようにすることもできる。

また、図１の例では、符号化されたデータを記憶部１５に記憶したが、図１３に示すように、通信部１６を設け、通信部１６を用いて符号化データを、ネットワーク網（図示せぬ）を介して、送信することもできる。

また、図１の例では、１台のビデオカメラ１による撮像の結果得られた動画像を符号化するようにしたが、図１４に示すように、複数（この例の場合、４台）のビデオカメラ１−１乃至１−４が１つの被写体を同時に撮像した結果得られた動画像を符号化することもできる。この場合、合成画像Ｗは、各ビデオカメラ１から供給される、それぞれ対応するフレーム（同じ時刻に撮像されたフレーム）により生成される。

図１５は、符号化装置２の他の構成例を示している。この符号化装置２には、図１の符号化装置２の合成部１２に代えて、合成部１０１が設けられている。

図１の符号化装置２では、例えば入力されるフレームを、４フレーム毎に（図１６Ａ）、そのまま、図１６Ｂに示すように、所定の位置に配置して合成画像Ｗを生成したが、図１６Ｃに示すように、フレームＰ１はそのままに、フレームＰ２は、フレームＰ１に対して、ｘ座標の線対称の座標系に変換したフレームＰ２'として、フレームＰ３は、フレームＰ１に対して、ｙ座標の線対象の座標系に変換したフレームＰ３'として、そしてフレームＰ４は、フレームＰ１の（ｘ，ｙ）を点対象とした座標系に変換したフレームＰ４'として、図中、左上、右上、左下、右下に配置して合成画像Ｗを生成するものとする。以下、図１６Ｂに示すようにして生成された合成画像Ｗを単純合成画像Ｗと称し、図１６Ｃに示すように生成された合成画像Ｗを対象合成画像Ｗと称する。

例えば、例えば図１７Ａおよび図１８Ａに示すようなフレームＰ１乃至フレームＰ４からは、図１７Ｂおよび図１８Ｂに示すような単純合成画像Ｗが生成されたが、図１７Ｃおよび図１８Ｃに示すような対象合成画像Ｗが生成されるものとする。

図１９は、３種類の動画像Ａ乃至動画像Ｃを構成する所定のフレームを、単純合成画像Ｗおよび対象合成画像Ｗを生成して、所定のビットレートが得られるように符号化したときの、PSNRを示している。

図１９の結果によれば、同じビットレートが得られるように符号化した場合、対象合成画像Ｗで符号化した場合のPSNR（図１９中、「ｂ」の欄に示されている値）の方が、単純合成画像Ｗで符号化した場合のPSNR（図１９中、「ａ」の欄に示されている値）より大きい値となるので、対象合成画像Ｗで符号化した方が単純合成画像Ｗで符号化した場合に比べ、画質がよいことがわかる。換言すれば、同じ画質を得る場合、対象合成画像Ｗを生成して符号化した方が、単純合成画像Ｗを生成して符号化する場合に比べ、少ないデータ量で符号化することができる。

すなわち図１５の符号化装置２は、ビデオカメラ１による撮像の結果得られた動画像を、対象合成画像Ｗを生成して符号化することによって、さらに効率的に符号化を行うものである。

この符号化装置２の動作を、図２０のフローチャートを参照して説明する。

ステップＳ２１において、符号化装置２の合成部１０１は、カウンタ１３の値を取得し、合成画像Ｗを構成する構成フレームの数Ｎを決定するとともに、記録する動画像の解像度、および構成フレームの始点座標を決定し、符号化部１４に供給する。

ステップＳ２２において、合成部１０１は、式（１）が成立するか否かを判定する。対象合成画像Ｗを生成する場合、式（１）が成立する枚数Ｎの構成フレームが必要となる。

ステップＳ２２で、式（１）が成立すると判定された場合、ステップＳ２３乃至ステップＳ２７において、対象合成画像Ｗによる符号化処理が行われる。

すなわちステップＳ２３において、合成部１０１は、バッファ２１に例えば、４枚のフレームが記憶されるまで待機し、４枚のフレームが記憶されたとき、ステップＳ２４に進む。

ステップＳ２４において、合成部１０１は、バッファ２１に記憶されているフレームをそれぞれ読み出す。そして合成部１０１は、図１６Ｃに示したように、バッファ２１−１から読み出したフレームＰ１を左上に、バッファ２１−２から読み出したフレームＰ２をフレームＰ１に対してｘ座標の線対称の座標系に変換して得られたフレームＰ'２を右上に、バッファ２１−３から読み出したフレームＰ３をフレームＰ１に対してｙ座標の線対称の座標系に変換して得られたフレームＰ３'を左下に、そしてバッファ２１−４から読み出したフレームＰ４をフレームＰ１の（ｘ，ｙ）を点対象とした座標系に変換して得られたフレームＰ４'を右下に、それぞれ配置し、対象合成画像Ｗを生成する。合成部１０１は、生成した対象合成画像Ｗを符号化部１４に供給する。

ステップＳ２５において、符号化部１４は、合成部１０１から供給された対象合成画像Ｗを、ウエーブレット変換を用いて符号化する。

ステップＳ２６において、符号化部１４は、ステップＳ２５での符号化により得られた対象合成画像Ｗの符号化データを、ファイルフォーマットの格納部Ｄ２（図７）に格納する。符号化部１４は、例えば最初の対象合成画像Ｗの符号化データを格納する際、合成部１０１から供給された合成情報を（ステップＳ２１）、格納部Ｄ１に格納する。

ステップＳ２７において、合成部１０１は、入力部１１による動画像の入力が終了したか否かを判定し、すなわちビデオカメラ１による撮像の結果得られた動画像の記録が終了したか否かを判定し、終了していないと判定した場合、ステップＳ２３に戻り、それ以降の処理を実行する。

ステップＳ２７で、動画像の記録が終了したと判定された場合、対象合成画像Ｗによる符号化処理は終了する。

ステップＳ２２で、式（１）が成立しないと判定された場合、ステップＳ２８乃至ステップＳ３２において、単純合成画像Ｗによる符号化処理が行われる。

ステップＳ２８乃至ステップＳ３２においては、図９のステップＳ２乃至ステップＳ６における処理と同様の処理が行われるので、その説明は省略する。

図２１は、図１５の符号化装置２により符号化されたデータを復号する復号装置３の構成例を示している。この復号装置３には、図１０の復号装置３の分解部５３に代えて、分解部２０１が設けられている。

この復号装置３の動作を、図２２のフローチャートを参照して説明する。

ステップ４１において、復号装置３の入力部５１は、入力されたファイルデータの格納部Ｄ１（図７）に格納されている合成情報を抽出して分解部２０１に供給する。入力部５１はまたファイルデータの格納部Ｄ２に格納されている合成画像Ｗの符号化データを抽出して復号部５２に供給する。

ステップＳ４２において、復号部５２は、入力部５１から供給された合成画像Ｗの符号化データを復号する。復号部５２は、復号の結果得られた各合成画像Ｗの画像データを分解部２０１に供給する。

ステップＳ４３において、分解部２０１は、入力部５１から供給された合成情報の構成フレームの枚数Ｎを取得し、式（１）が成立するか否かを判定する。

ステップＳ４３で、式（１）が成立すると判定された場合、対象合成画像Ｗによる符号化がなされているものとし、ステップＳ４４に進み、分解部２０１は、復号部５２から供給された画像データ（対象合成画像Ｗの画像データ）を、フレーム毎に分解する。

例えば図１６Ｃに示したような対象合成画像Ｗの画像データが復号部５２から供給された場合、分解部２０１は、対象合成画像Ｗの画像データを、合成情報の各構成フレームの始点座標および解像度に基づいて、フレームＰ１、フレームＰ'２、フレームＰ'３、およびフレームＰ'４に分解する。

次にステップＳ４５において、分解部２０１は、フレームＰ'２乃至フレームＰ'４の座標系を元の座標系に戻してフレームＰ２乃至フレームＰ４を得、フレームＰ１乃至フレームＰ４を順に出力部５４に供給する。

ステップＳ４６において、出力部５４は、分解部２０１から供給されたフレームを、例えば表示部に出力する。

ステップＳ４７において、分解部２０１は、復号部５２から供給された対象合成画像Ｗの画像データをすべて分解したか否かを判定し、まだ分解していない対象合成画像Ｗの画像データがあると判定した場合、ステップＳ４４に戻り、次の対象合成画像Ｗの画像データを分解する。その後ステップＳ４５に進み、それ以降の処理が同様に実行される。

ステップＳ４７ですべて対象合成画像Ｗの画像データが分解されたと判定された場合、復号処理は終了する。

ステップＳ４３で、式（１）が成立しないと判定された場合、単純合成画像Ｗによる符号化がなされているものとし、ステップＳ４８乃至ステップＳ５０において、その復号処理が行われる。

ステップＳ４８乃至ステップＳ５０においては、図１１のステップＳ１３乃至ステップＳ１５における場合と同様の処理が行われるので、その説明は省略する。

なお、以上においては、対象合成画像Ｗを、４枚のフレームで構成するようにしたが、図２３に示すように、１６枚（式（１）のｎ＝２）のフレームで構成するようにすることもできる。この場合、最初の４枚のフレームからなる対象合成画像Ｗ（大フレームＢＰ１）を左上に、次の４枚のフレームからなる対象合成画像Ｗ（大フレームＢＰ２）を大フレームＢＰ１に対してｘ座標の線対称の座標系に変換した大フレームＢＰ'２を右上に、次の４枚のフレームからなる対象合成画像Ｗ（大フレームＢＰ３）を大フレームＢＰ１に対してｙ座標の線対称の座標系に変換した大フレームＢＰ'３を左下に、そして次の４フレームからなる対象合成画像Ｗ（大フレームＢＰ４）を大フレームＢＰ１の点対象の座標系に変換した大フレームＢＰ'４を右下に配置して、対象合成画像Ｗが構成される。

上述した符号化および復号処理などの一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図２４に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。

図２４において、CPU（Central Processing Unit）５１１は、ROM（Read Only Memory）５１２に記憶されているプログラム、またはハードディスク５１４からRAM（Random Access Memory）５１３にロードされたプログラムに従って各種の処理を実行する。RAM５１３にはまた、CPU５１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５１１、ROM５１２、およびRAM５１３は、バス５１５を介して相互に接続されている。このバス５１５にはまた、入出力インタフェース５１６も接続されている。

入出力インタフェース５１６には、キーボード、マウス、入力端子などよりなる入力部５１８、CRT(Cathode Ray Tube)，LCD(Liquid Crystal display)などよりなるディスプレイ、出力端子、並びにスピーカなどよりなる出力部５１７、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部５１９が接続されている。通信部５１９は、インターネットなどの各種のネットワークを介しての通信処理を行う。

入出力インタフェース５１６にはまた、ドライブ５２０が接続され、磁気ディスク（フロッピディスクを含む）５３１、光ディスク（CD-ROM(Compact Disk-Read Only Memory) DVD Digital Versatile Disk）を含む）５３２、光磁気ディスク（MD（Mini-Disk）を含む）５３３、或いは半導体メモリなどのリムーバブルメディア（記録媒体）５３４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてハードディスク５１４にインストールされる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した符号化装置の構成例を示すブロック図である。 符号化処理を説明する図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 符号化データのフォーマットの例を示す図である。 合成情報を説明する図である。 符号化処理を説明するフローチャートである。 本発明を適用した復号装置の構成例を示すブロック図である。 復号処理を説明するフローチャートである。 符号化処理を説明する他の図である。 本発明を適用した他の符号化装置の構成例を示すブロック図である。 本発明を適用した他の符号化装置の構成例を示すブロック図である。 本発明を適用した他の符号化装置の構成例を示すブロック図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 符号化処理を説明する他の図である。 他の符号化処理を説明するフローチャートである。 本発明を適用した他の復号装置の構成例を示すブロック図である。 他の復号処理を説明するフローチャートである。 符号化処理を説明する他の図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ ビデオカメラ， ２ 符号化装置， ３ 復号装置， １１ 入力部， １２ 合成部１２ カウンタ， １４ 符号化部， １５ 記憶部， １６ 通信部， ２１ バッファ， ５１ 入力部， ５２ 復号部， ５３ 分解部， ５４ 出力部， １０１ 合成部， ２０１ 分解部

Claims (9)

1. ウエーブレット変換を用いたフレーム内符号化で、動画を符号化する符号化装置において、
   時間的に連続するｎ枚のフレーム毎に、前記フレームを所定の位置に配置して合成画像を生成する生成手段と、
   前記生成手段により生成された前記合成画像に対して、前記符号化を行う符号化手段と
   を備えることを特徴とする符号化装置。
2. 前記符号化手段により符号化された前記合成画像の符号化データを記憶する記憶手段をさらに備え、
   前記記憶手段は、前記合成画像の構成に関する情報を符号化データとともに記憶する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記生成手段は、ｎ枚のフレームの一のフレーム、および他のフレームの座標系を前記一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像を生成する
   ことを特徴とする請求項１に記載の符号化装置。
4. ウエーブレット変換を用いたフレーム内符号化で、動画を符号化する符号化方法において、
   時間的に連続するｎ枚のフレーム毎に、前記フレームを所定の位置に配置して合成画像を生成する生成ステップと、
   前記生成ステップの処理で生成された前記合成画像に対して、前記符号化を行う符号化ステップと
   を含むことを特徴とする符号化方法。
5. ウエーブレット変換を用いたフレーム内符号化で、動画を符号化する符号化装置を制御するプロセッサに実行させるプログラムにおいて、
   時間的に連続するｎ枚のフレーム毎に、前記フレームを所定の位置に配置して合成画像を生成する生成ステップと、
   前記生成ステップの処理で生成された前記合成画像に対して、前記符号化を行う符号化ステップと
   を含むことを特徴とするプログラム。
6. 時間的に連続するｎ枚のフレームから構成される合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データを復号する復号装置において、
   前記符号化データを復号する復号手段と、
   前記復号手段による復号の結果得られた前記合成画像の画像データを、前記フレーム毎に分解する分解手段と、
   前記分解手段により分解された前記フレームを出力する出力手段と
   を備えることを特徴とする復号装置。
7. 前記符号化データは、時間的に連続するｎ枚のフレームの一のフレーム、および他のフレームの座標系を前記一のフレームの座標系に対して対象になるように変換して得たフレームからなる対象合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データであり、
   前記分解手段により分解された前記フレームの座標系を元に戻す変換手段
   をさらに備えることを特徴とする請求項６に記載の復号装置。
8. 時間的に連続するｎ枚のフレームから構成される合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データを復号する復号方法において、
   前記符号化データを復号する復号ステップと、
   前記復号ステップでの復号の結果得られた前記合成画像の画像データを、前記フレーム毎に分解する分解ステップと、
   前記分解ステップの処理で分解された前記フレームを出力する出力ステップと
   を含むことを特徴とする復号方法。
9. 時間的に連続するｎ枚のフレームから構成される合成画像を、ウエーブレット変換を用いたフレーム内符号化で符号化した結果得られた符号化データを復号する復号装置を制御するプロセッサに実行させるプログラムにおいて、
   前記符号化データを復号する復号ステップと、
   前記復号ステップでの復号の結果得られた前記合成画像の画像データを、前記フレーム毎に分解する分解ステップと、
   前記分解ステップの処理で分解された前記フレームを出力する出力ステップと
   を含むことを特徴とするプログラム。

Images