JP2000069470A - 画像復号化装置および方法、画像符号化・復号化システム - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ−４方式の動画像符号化・復号化に
おいて、スプライト画像のバッファサイズを小さく抑え
てコストが高くならないようにする。 【解決手段】 復号されたスプライト画像をブロック分
割するスプライト分割器１１０と、ブロック毎に符号化
してその結果をブロックバッファ１０９に格納するブロ
ックエンコーダ１１１と、少なくとも１つのブロックに
対応する符号データを読み出して復号処理するブロック
デコーダ１１２とを設け、復号化されたスプライト画像
をブロック分割し、それをブロック毎に符号化して保存
しておくようにすることにより、復号化されたものをそ
のまま格納する場合に比べてバッファ１０９のサイズを
小さくすることができるようにするとともに、バッファ
１０９からブロック毎に読み出して復号化を行うことで
必要な部分の切り出し・再利用をより簡潔に行うことが
できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像復号化装置およ
び方法、画像符号化・復号化システムに関し、特に、動
画像に対してＭＰＥＧ−４方式により符号化された画像
データを復号するための装置および方法に用いて好適な
ものである。

【０００２】

【従来の技術】現在、IS0/IEC 14496 (MPEG phase4) で
は、次世代動画像符号化方式の検討が行われている。本
方式では、ビデオオブジェクトという概念を導入して、
動画像を構成するに際し、いくつものオブジェクトを重
ね合わせて合成することで符号化効率を向上させ、ま
た、各オブジェクトの再利用をも可能にしている。

【０００３】本方式（以下、ＭＰＥＧ−４と記す）の概
要を、図５および図６に従って説明する。図５は、ＭＰ
ＥＧ−４の符号化器の構成を示す図である。同図におい
て、５０１はディジタルのビデオソースである。５０２
はビデオオブジェクト弁別器であり、入力された動画像
の中に含まれる各種オブジェクト（例えば、人物、車、
背景など）を弁別する。

【０００４】５０３〜５０５はビデオオブジェクトエン
コーダ（以下、ＶＯエンコーダと記す）であり、上記オ
ブジェクト弁別器５０２で弁別された各々のビデオオブ
ジェクト（ＶＯ）を個別に符号化する。なお、本エンコ
ーダの総数は特定されない。５０６は多重化器であり、
各ＶＯエンコーダ５０３〜５０５の出力を多重化し、１
本のビットストリーム５０７に統合する。

【０００５】一方、図６は、ＭＰＥＧ−４の復号器の構
成を示す図である。同図において、６０２は分離器であ
り、伝送されてきたビットストリーム６０１を、それぞ
れのビデオオブジェクト（ＶＯ）に対応する符号データ
に分離する。６０３〜６０５はビデオオブジェクトデコ
ーダ（以下、ＶＯデコーダと記す）であり、分離された
各々の符号データを個別に復号処理する。６０６は合成
器であり、各ＶＯデコーダ６０３〜６０５の出力の合成
（重ね合わせ処理）を行い、ビデオシーケンスを完成す
る。

【０００６】図７は、ＭＰＥＧ−４の符号化器の他の構
成例を示す図である。ここでは、スプライト画像という
ものを追加して、より符号化効率の向上を図っている。
すなわち、各ＶＯエンコーダ７０３〜７０５と並行にス
プライトエンコーダ７０８が設けられ、オブジェクト弁
別器７０２により弁別されたスプライト画像がここで符
号化される。そして、このスプライト画像の符号データ
が多重化器７０６を介して出力される。

【０００７】上記スプライト画像の概念を、図９に示
す。スプライト符号化は、ビデオクリップ全体の静止画
背景画像（スプライト画像）をあらかじめ符号化してお
き、その中の一部を幾何変換することによって画像を表
現し、また幾度も再利用しようという方法である。この
切り出した一部の画像は、平行移動、拡大、縮小、回転
など様々な変形を表現することができる。これをワーピ
ングと呼ぶ。

【０００８】図９において、９０１がスプライト画像全
体、９０２が復号器側の表示装置に表示される部分であ
る。例として、９０２から９０３への平行移動があり、
これは実際には、カメラのパンニング時などに頻繁に起
こり得る。一方、９０２から９０４への移動はスプライ
ト画像の拡大であり、カメラのズーミング時などに起こ
り得る。スプライト画像は、１枚の静止画として動画の
伝送以前に送信されるため、何度でも適宜ワーピングを
行って、再利用することが可能である。

【０００９】スプライト画像を用いた従来の復号器の構
成例を、図８に示す。この図８に示す復号器では、図６
に示した構成に対して、スプライト用の静止画デコーダ
８０７、復号されたスプライト画像を蓄積しておくため
のスプライトバッファ８０９およびワーピング装置８０
８が付加されている。

【００１０】分離器８０２から出力されたスプライト画
像は、スプライトデコーダ８０７で復号され、スプライ
トバッファ８０９に蓄積される。その後、ワーピング装
置８０８からの要求に応じて読み出され、平行移動、拡
大、縮小、回転などの様々な変形が施されて合成器８０
６へと送られる。

【００１１】

【発明が解決しようとする課題】しかしながら、上記ス
プライト画像を用いた従来例では、以下のような問題が
あった。すなわち、図８の例では、図６の例に示す従来
例に比べてより高い符号化効率を実現できるが、スプラ
イトバッファ８０９（復号されたスプライト画像全体を
保存しておくためのページメモリ）を持つため、メモリ
分のコストが高くなってしまうという問題があった。

【００１２】また、スプライト画像自体のサイズは特定
されていないため、復号器が用意すべきスプライトバッ
ファ８０９のサイズも特定しにくい。そのため、様々な
スプライト画像を保存することを想定してある程度の余
裕を持たせるために、バッファサイズを大きくとる必要
があり、高いコストをかけて設けたメモリを十分に使用
できない場合もあるという問題があった。

【００１３】本発明は、このような問題を解決するため
に成されたものであり、ＭＰＥＧ−４方式の動画像符号
化・復号化において、より高い符号化効率を実現するた
めにスプライト画像を用いた場合でも、そのバッファサ
イズを小さく抑えてコストが高くならないようにするこ
とを目的とする。また、本発明は、スプライトバッファ
のサイズを小さく抑えた場合にワーピングの操作を容易
に行えるようにすることも目的としている。

【００１４】

【課題を解決するための手段】本発明の画像復号化装置
は、動画像が少なくとも１つ以上のオブジェクトに分け
て符号化されるとともに、これとは別に静止画像が符号
化されて成る符号データを復号するための画像復号化装
置において、上記符号データから分離され復号処理を施
された静止画像データを適当なサイズの少なくとも２つ
以上のブロックに分割するブロック分割手段と、上記ブ
ロック分割手段によって分割された静止画像データをブ
ロック毎に符号化する局所符号化手段と、上記局所符号
化手段により符号化された符号データを格納する記憶手
段と、上記ブロック分割して符号化された画像の少なく
とも１つのブロックに対応する符号データを上記記憶手
段から読み出す符号読み出し手段と、上記符号読み出し
手段より読み出された符号データを復号処理する局所復
号化手段とを備えたことを特徴とする。

【００１５】また、動画像が少なくとも１つ以上のオブ
ジェクトに分けて符号化されるとともに、これとは別に
静止画像が符号化されて成る符号データを復号するため
の画像復号化装置において、上記符号データを各々のオ
ブジェクトの動画符号データと静止画像の静止画符号デ
ータとに分離する分離手段と、上記分離された各々の動
画符号データを復号処理する第１の復号化手段と、上記
分離された静止画符号データを復号処理する第２の復号
化手段と、上記第２の復号化手段により復号された静止
画像データを適当なサイズの少なくとも２つ以上のブロ
ックに分割するブロック分割手段と、上記ブロック分割
手段によって分割された静止画像データをブロック毎に
符号化する局所符号化手段と、上記局所符号化手段によ
り符号化された静止画符号データを格納する記憶手段
と、上記ブロック分割して符号化された画像の少なくと
も１つのブロックに対応する静止画符号データを上記記
憶手段から読み出す符号読み出し手段と、上記符号読み
出し手段より読み出された静止画符号データを復号処理
する局所復号化手段と、上記局所復号化手段により復号
された静止画像データを幾何変換する変換手段と、上記
幾何変換された静止画像データおよび上記第１の復号化
手段により復号された動画像データを重ね合わせて出力
する画像合成手段とを備えるようにしても良い。

【００１６】本発明の他の態様では、上記局所符号化手
段に階層的な符号化方式を用い、上記符号読み出し手段
は、上記変換手段で行う変換操作の変換率に応じて最適
な階層の符号データを上記記憶手段から選択的に読み出
すことを特徴とする。

【００１７】本発明のその他の態様では、上記局所符号
化手段により符号化された各々のブロックに対応する静
止画符号データの符号長を保存しておくための第２の記
憶手段を備えたことを特徴とする。

【００１８】本発明のその他の態様では、上記記憶手段
に格納される符号データの容量を検知する検知手段と、
上記検知手段の出力に応じて上記局所符号化手段の符号
化効率パラメータを変更するパラメータ調整手段とを備
えたことを特徴とする。また、上記静止画像が符号化さ
れた際の符号化効率パラメータを検知する検知手段と、
上記検知された符号化効率パラメータを、上記局所符号
化手段の符号化効率パラメータとして用いるようにする
パラメータ調整手段とを備えるようにしても良い。

【００１９】また、本発明の画像復号化方法は、動画像
が少なくとも１つ以上のオブジェクトに分けて符号化さ
れるとともに、これとは別に静止画像が符号化されて成
る符号データを復号するための画像復号化方法におい
て、上記符号データから分離され復号処理を施された静
止画像データを適当なサイズの少なくとも２つ以上のブ
ロックに分割してブロック毎に符号化し、これにより符
号化された符号データを記憶手段に格納するように成
し、上記記憶手段から少なくとも１つのブロックに対応
する符号データを必要に応じて読み出して復号化するよ
うにしたことを特徴とする。ここで、上記ブロック毎に
復号化された静止画像データに所定の幾何変換処理を行
い、上記符号データから分離され静止画符号データとは
別に復号処理された動画像データと重ね合わせて出力す
るようにしても良い。

【００２０】本発明の他の態様では、上記ブロック毎に
符号化を行う際に階層的な符号化方式を用い、上記記憶
手段から少なくとも１つのブロックに対応する符号デー
タを読み出す際には、幾何変換処理で行う変換操作の変
換率に応じて最適な階層の符号データを選択的に読み出
すことを特徴とする。

【００２１】本発明のその他の態様では、上記ブロック
毎に符号化された各々のブロックに対応する符号データ
の符号長を保存しておき、上記記憶手段から符号データ
を読み出して復号処理を行う際に、この符号長を利用す
ることを特徴とする。

【００２２】本発明のその他の態様では、上記記憶手段
に格納される符号データの容量を検知し、その検知結果
に応じて上記ブロック毎の符号化効率パラメータを変更
するようにしたことを特徴とする。また、上記静止画像
が符号化された際の符号化効率パラメータを検知し、上
記ブロック毎の符号化効率パラメータを上記検知された
符号化効率パラメータと同一にするようにしても良い。

【００２３】また、本発明の画像符号化・復号化システ
ムは、動画像中の少なくとも１つ以上のオブジェクトを
各々符号化するための第１の符号化手段と、上記各々の
オブジェクトとは別に静止画像を符号化するための第２
の符号化手段と、上記第１の符号化手段および上記第２
の符号化手段で符号化された各々の符号データを多重化
する多重化手段と、上記多重化された符号データを各々
のオブジェクトの動画符号データと静止画像の静止画符
号データとに分離する分離手段と、上記分離された各々
の動画符号データを復号処理する第１の復号化手段と、
上記分離された静止画符号データを復号処理する第２の
復号化手段と、上記第２の復号化手段により復号された
静止画像データを適当なサイズの少なくとも２つ以上の
ブロックに分割するブロック分割手段と、上記ブロック
分割手段によって分割された静止画像データをブロック
毎に符号化する局所符号化手段と、上記局所符号化手段
により符号化された静止画符号データを格納する記憶手
段と、上記ブロック分割して符号化された画像の少なく
とも１つのブロックに対応する静止画符号データを上記
記憶手段から読み出す符号読み出し手段と、上記符号読
み出し手段より読み出された静止画符号データを復号処
理する局所復号化手段と、上記局所復号化手段により復
号された静止画像データを幾何変換する変換手段と、上
記幾何変換された静止画像データおよび上記第１の復号
化手段により復号された動画像データを重ね合わせて出
力する画像合成手段とを備えたことを特徴とする。

【００２４】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。図１は、本発明の第１の実施形態
に係る動画像復号化装置の構成例を示す図である。本実
施形態は、復号器の部分に関してのみ示すものであり、
符号化器は、図７にあげた従来例の構成のままでかまわ
ない。

【００２５】図１において、１０１〜１０８は図８にお
ける８０１〜８０８の構成および要素と同等のものであ
るので、ここでは重複する説明を省略する。分離器１０
２で入力ビットストリーム１０１から分離されたスプラ
イト画像用ビットストリームは、スプライトデコーダ１
０７でデコードされたのち、スプライト分割器１１０に
て適当なブロックサイズに分割される。図２にスプライ
ト画像の分割例を示す。図２において、２０１はオリジ
ナルのスプライト画像、２０２はブロック分割されたス
プライト画像である。

【００２６】図１に戻り、１１１はブロックエンコーダ
であり、デコードされブロック分割されたスプライト画
像を、ブロックごとにエンコードし直す。本実施形態で
は、エンコードの方式については特に言及しないが、Ｄ
ＣＴ＋量子化＋ハフマン符号化を用いた方式などが一般
的である。また、二次的な符号化による画質劣化を回避
するために、可逆符号化を行うことも可能である。

【００２７】１０９はブロックバッファであり、ブロッ
クエンコーダ１１１で再エンコードされた符号データを
蓄積するためのバッファメモリである。このブロックバ
ッファ１０９には、例えば、ある程度の大きさを想定し
たスプライト画像全体を記憶するだけの容量を持たせ
る。また、１１２はブロックデコーダであり、ブロック
バッファ１０９に格納されている各ブロックの符号デー
タを必要に応じて当該ブロックバッファ１０９から読み
出し、再度デコードするためのものである。

【００２８】１１３はブロックセレクタであり、スプラ
イト画像全体の中でどの部分を幾何変換するかというワ
ーピング装置１０８からの要求に応じて、ブロックデコ
ーダ１１２で必要なブロックを選択する。例えば、ブロ
ックバッファ１０９のアドレスによって必要なブロック
を選択することが可能である。また、ブロックエンコー
ダ１１１で符号化するブロックの順番が一意的に決まっ
ていれば、ブロックバッファ１０９に蓄積されるブロッ
クの順番によってどのブロックを選択するかを決めるこ
ともできる。この選択の方法は、本発明では特に限定し
ない。

【００２９】ここで、ワーピング処理に必要なブロック
の選択例を図２に示した。図２に示す２０３において、
太線で囲まれている部分が必要とされる部分であるの
で、その部分をカバーする網掛けされている２０個のブ
ロックの符号データを読み出すことが必要であることを
示している。

【００３０】ワーピング装置１０８は、ブロックデコー
ダ１１２により再生されたスプライト画像の一部に対し
て幾何変換を行う。この幾何変換を施されたデータは、
合成器１０６に送られ、各ＶＯデコーダ１０３〜１０５
から出力される各々のビデオオブジェクトと合成され、
出力される。

【００３１】以上のように、本実施形態では、復号化さ
れたスプライト画像をそのままバッファに格納するので
はなく、再度符号化を行って格納するようにし、必要な
ときに読み出して再び復号化して出力するようにしてい
る。しかも、スプライト画像を複数のブロックに分割
し、ブロック毎に符号化した結果を格納するようにして
いるので、バッファメモリのサイズを削減することがで
きるとともに、スプライト画像からの切り出し・再利用
をより簡潔に行うことができるようになる。

【００３２】図３に、本発明の第２の実施形態に係る動
画像復号化装置の構成例を示す。この図３に示す第２の
実施形態において、図１に示した第１の実施形態との相
違点は、コードサイズバッファ３１４を新たに設けたこ
と、ブロック分割されたスプライト画像を符号化するエ
ンコーダとして、図１のブロックエンコーダ１１１の代
わりに階層符号化が可能な階層的ブロックエンコーダ３
１１を設けたこと、および図１のブロックセレクタ１１
３の代わりに階層符号化に対応したブロック／レイヤ
（階層あるいは解像度）セレクタ３１３を設けたことで
ある。

【００３３】図３において、３０１〜３１０，３１２は
図１における１０１〜１１０，１１２の構成および要素
と同等のものであるので、重複する説明を省略する。階
層的ブロックエンコーダ３１１で各ブロック毎に階層符
号化された符号データは、ブロックバッファ３０９に格
納される。このとき、それらのブロックの符号サイズが
コードサイズバッファ３１４に与えられ、格納される。

【００３４】ブロックバッファ３０９に格納された各ブ
ロックの符号データおよびコードサイズバッファ３１４
に格納された各ブロックの符号サイズは、ワーピング装
置３０８からの要求に応じてブロック／レイヤセレクタ
３１３により選択されてブロックデコーダ３１２に送ら
れる。そして、ここで復号化の処理が行われて、その結
果がワーピング装置３０８に供給される。

【００３５】このように、コードサイズバッファ３１４
を設け、各ブロックの符号サイズを記録することで、特
定のブロックの符号データを読み出して復号化する際
に、アクセスを速くすることが可能である。また、各ブ
ロックのデータに階層符号化を適用することによって、
ワーピングにおける拡大縮小時に、処理後の画像解像度
にあわせたレイヤまでのデコードを施し、不必要なレイ
ヤについては復号処理を行わないようにすることができ
るので、より高速にスプライト画像を生成することが可
能となる。

【００３６】図４に、本発明の第３の実施形態に係る動
画像復号化装置の構成例を示す。本実施形態では、図１
に示した第１の実施形態に対して、第２の実施形態で述
べたコードサイズバッファ３１４と同機能のコードサイ
ズバッファ４１４を追加するとともに、量子化パラメー
タ制御部４１５を追加している。なお、４０１〜４１３
は図１における１０１〜１１３の構成および要素と同等
のものである。

【００３７】スプライト画像のサイズは、特に規定され
ているわけではないので、ブロックエンコーダ４１１で
ブロック毎に符号化を行ったとしても、ブロックバッフ
ァ４０９にすべてを収容できない可能性がある。この場
合は、量子化パラメータ制御部４１５において、符号サ
イズをモニタしながら量子化パラメータを変更し、その
量子化パラメータに従ってブロックエンコーダ４１１で
符号化を行うことによって、最適な符号化効率で、適宜
バッファ内に収めることが可能である。したがって、ブ
ロックバッファ４０９のサイズを必要以上に大きくしな
くても済む。

【００３８】また、スプライトデコーダ４０７で抽出し
た量子化パラメータＱを量子化パラメータ制御部４１５
に伝送し、この量子化パラメータＱを随時ブロックエン
コーダ４０７の量子化パラメータとしてそのまま使用す
るようにしても良い。このようにすると、ビットストリ
ーム４０１の送信側での量子化パラメータＱと、受信側
での再量子化パラメータとの違いによる二次的な画質劣
化を防ぐことも可能である。また、逆ＤＣＴ処理を行わ
なくても、ブロック分割を行うだけで、再符号化を行う
ことが可能である。

【００３９】

【発明の効果】本発明は上述したように、復号化された
静止画像を適当なブロックサイズに分割し、それを再び
ブロック毎に符号化して保存しておくようにすることに
より、復号化されたものをそのまま格納する場合に比べ
てバッファのサイズを小さくすることができる。しか
も、バッファからブロック毎に読み出して復号化を行
い、それを幾何変換等に利用することができるので、静
止画像全体から必要な部分の切り出し・再利用をより簡
潔に行うことができる。これにより、スプライト画像の
伝送、ワーピング、表示等が、小さなメモリを備えるだ
けで実現できる。

【００４０】また、本発明の他の特徴によれば、ブロッ
ク毎の符号化に際して階層的な符号化方式を用いるよう
にしたので、例えば幾何変換の一態様である画像の拡大
／縮小時に、処理後の画像解像度にあわせた階層までの
復号を行い、不必要な階層については復号を行わないよ
うにすることができ、より高速にスプライト画像を生成
することができる。

【００４１】また、本発明のその他の特徴によれば、復
号化された静止画像を適当なサイズにブロック分割して
符号化し、各ブロックの符号長を保存しておくようにし
たので、バッファからブロックを読み出して復号化する
際に、その符号長を利用して復号処理を行うことがで
き、バッファへのアクセスを速くして幾何変換処理等を
より簡易に行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像復号化装
置の構成例を示す図である。

【図２】スプライト画像のブロック分割およびブロック
選択の例を示す図である。

【図３】本発明の第２の実施形態に係る動画像復号化装
置の構成例を示す図である。

【図４】本発明の第３の実施形態に係る動画像復号化装
置の構成例を示す図である。

【図５】従来の動画像符号化装置の構成例を示す図であ
る。

【図６】従来の動画像復号化装置の構成例を示す図であ
る。

【図７】従来の動画像符号化装置の他の構成例を示す図
である。

【図８】従来の動画像復号化装置の他の構成例を示す図
である。

【図９】スプライト画像の使用例を示す図である。

【符号の説明】

１０１ ビットストリーム １０２ 分離器 １０３〜１０５ ビデオオブジェクトデコーダ １０６ 合成器 １０７ スプライトデコーダ １０８ ワーピング装置 １０９ ブロックバッファ １１０ スプライト分割器 １１１ ブロックエンコーダ １１２ ブロックデコーダ １１３ ブロックセレクタ ３１１ 階層的ブロックエンコーダ ３１３ ブロック／レイヤセレクタ ３１４ コードサイズバッファ ４１５ 量子化パラメータ制御部

Claims (13)

【特許請求の範囲】
1. 【請求項１】 動画像が少なくとも１つ以上のオブジェ
   クトに分けて符号化されるとともに、これとは別に静止
   画像が符号化されて成る符号データを復号するための画
   像復号化装置において、 上記符号データから分離され復号処理を施された静止画
   像データを適当なサイズの少なくとも２つ以上のブロッ
   クに分割するブロック分割手段と、 上記ブロック分割手段によって分割された静止画像デー
   タをブロック毎に符号化する局所符号化手段と、 上記局所符号化手段により符号化された符号データを格
   納する記憶手段と、 上記ブロック分割して符号化された画像の少なくとも１
   つのブロックに対応する符号データを上記記憶手段から
   読み出す符号読み出し手段と、 上記符号読み出し手段より読み出された符号データを復
   号処理する局所復号化手段とを備えたことを特徴とする
   画像復号化装置。
2. 【請求項２】 動画像が少なくとも１つ以上のオブジェ
   クトに分けて符号化されるとともに、これとは別に静止
   画像が符号化されて成る符号データを復号するための画
   像復号化装置において、 上記符号データを各々のオブジェクトの動画符号データ
   と静止画像の静止画符号データとに分離する分離手段
   と、 上記分離された各々の動画符号データを復号処理する第
   １の復号化手段と、 上記分離された静止画符号データを復号処理する第２の
   復号化手段と、 上記第２の復号化手段により復号された静止画像データ
   を適当なサイズの少なくとも２つ以上のブロックに分割
   するブロック分割手段と、 上記ブロック分割手段によって分割された静止画像デー
   タをブロック毎に符号化する局所符号化手段と、 上記局所符号化手段により符号化された静止画符号デー
   タを格納する記憶手段と、 上記ブロック分割して符号化された画像の少なくとも１
   つのブロックに対応する静止画符号データを上記記憶手
   段から読み出す符号読み出し手段と、 上記符号読み出し手段より読み出された静止画符号デー
   タを復号処理する局所復号化手段と、 上記局所復号化手段により復号された静止画像データを
   幾何変換する変換手段と、 上記幾何変換された静止画像データおよび上記第１の復
   号化手段により復号された動画像データを重ね合わせて
   出力する画像合成手段とを備えたことを特徴とする画像
   復号化装置。
3. 【請求項３】 上記局所符号化手段に階層的な符号化方
   式を用い、 上記符号読み出し手段は、上記変換手段で行う変換操作
   の変換率に応じて最適な階層の符号データを上記記憶手
   段から選択的に読み出すことを特徴とする請求項２に記
   載の画像復号化装置。
4. 【請求項４】 上記局所符号化手段により符号化された
   各々のブロックに対応する静止画符号データの符号長を
   保存しておくための第２の記憶手段を備えたことを特徴
   とする請求項１〜３の何れか１項に記載の画像復号化装
   置。
5. 【請求項５】 上記記憶手段に格納される符号データの
   容量を検知する検知手段と、 上記検知手段の出力に応じて上記局所符号化手段の符号
   化効率パラメータを変更するパラメータ調整手段とを備
   えたことを特徴とする請求項１〜４の何れか１項に記載
   の画像復号化装置。
6. 【請求項６】 上記静止画像が符号化された際の符号化
   効率パラメータを検知する検知手段と、 上記検知された符号化効率パラメータを、上記局所符号
   化手段の符号化効率パラメータとして用いるようにする
   パラメータ調整手段とを備えたことを特徴とする請求項
   １〜４の何れか１項に記載の画像復号化装置。
7. 【請求項７】 動画像が少なくとも１つ以上のオブジェ
   クトに分けて符号化されるとともに、これとは別に静止
   画像が符号化されて成る符号データを復号するための画
   像復号化方法において、 上記符号データから分離され復号処理を施された静止画
   像データを適当なサイズの少なくとも２つ以上のブロッ
   クに分割してブロック毎に符号化し、これにより符号化
   された符号データを記憶手段に格納するように成し、 上記記憶手段から少なくとも１つのブロックに対応する
   符号データを必要に応じて読み出して復号化するように
   したことを特徴とする画像復号化方法。
8. 【請求項８】 上記ブロック毎に復号化された静止画像
   データに所定の幾何変換処理を行い、上記符号データか
   ら分離され静止画符号データとは別に復号処理された動
   画像データと重ね合わせて出力するようにしたことを特
   徴とする請求項７に記載の画像復号化方法。
9. 【請求項９】 上記ブロック毎に符号化を行う際に階層
   的な符号化方式を用い、上記記憶手段から少なくとも１
   つのブロックに対応する符号データを読み出す際には、
   幾何変換処理で行う変換操作の変換率に応じて最適な階
   層の符号データを選択的に読み出すことを特徴とする請
   求項８に記載の画像復号化方法。
10. 【請求項１０】 上記ブロック毎に符号化された各々の
    ブロックに対応する符号データの符号長を保存してお
    き、上記記憶手段から符号データを読み出して復号処理
    を行う際に、この符号長を利用することを特徴とする請
    求項７〜９の何れか１項に記載の画像復号化方法。
11. 【請求項１１】 上記記憶手段に格納される符号データ
    の容量を検知し、その検知結果に応じて上記ブロック毎
    の符号化効率パラメータを変更するようにしたことを特
    徴とする請求項７〜１０の何れか１項に記載の画像復号
    化方法。
12. 【請求項１２】 上記静止画像が符号化された際の符号
    化効率パラメータを検知し、上記ブロック毎の符号化効
    率パラメータを上記検知された符号化効率パラメータと
    同一にすることを特徴とする請求項７〜１０の何れか１
    項に記載の画像復号化方法。
13. 【請求項１３】 動画像中の少なくとも１つ以上のオブ
    ジェクトを各々符号化するための第１の符号化手段と、 上記各々のオブジェクトとは別に静止画像を符号化する
    ための第２の符号化手段と、 上記第１の符号化手段および上記第２の符号化手段で符
    号化された各々の符号データを多重化する多重化手段
    と、 上記多重化された符号データを各々のオブジェクトの動
    画符号データと静止画像の静止画符号データとに分離す
    る分離手段と、 上記分離された各々の動画符号データを復号処理する第
    １の復号化手段と、 上記分離された静止画符号データを復号処理する第２の
    復号化手段と、 上記第２の復号化手段により復号された静止画像データ
    を適当なサイズの少なくとも２つ以上のブロックに分割
    するブロック分割手段と、 上記ブロック分割手段によって分割された静止画像デー
    タをブロック毎に符号化する局所符号化手段と、 上記局所符号化手段により符号化された静止画符号デー
    タを格納する記憶手段と、 上記ブロック分割して符号化された画像の少なくとも１
    つのブロックに対応する静止画符号データを上記記憶手
    段から読み出す符号読み出し手段と、 上記符号読み出し手段より読み出された静止画符号デー
    タを復号処理する局所復号化手段と、 上記局所復号化手段により復号された静止画像データを
    幾何変換する変換手段と、 上記幾何変換された静止画像データおよび上記第１の復
    号化手段により復号された動画像データを重ね合わせて
    出力する画像合成手段とを備えたことを特徴とする画像
    符号化・復号化システム。