JP2002016926A - スプライト符号化データ伝送方法、スプライト符号化装置、スプライト符号化データ復号装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 固定ビットレート（ＣＢＲ）にて、スプライ
ト符号化データと通常符号化データの混在するＭＰＥＧ
−４混成符号化データ等を効率的に伝送し、かつ、受信
側での復号の遅延をなくす。 【解決手段】 ｉ番目のスプライトショットのスプライ
ト符号化データＳｔ（ｉ）における各フレームのフレー
ム前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝を伝送中に、次
の（ｉ＋１）番目のスプライトショットのスプライト符
号化データＳｔ（ｉ＋１）におけるスプライト画像デー
タＳｓ（ｉ＋１）を、余った帯域を利用して、フレーム
ごとにｓ1〜ｓｎの複数の断片に分割し、ｄｊと結合し
て伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、固定ビットレート
における映像のスプライト符号化データの伝送技術に係
り、特に一般編集映像を入力とし、これをスプライト符
号化部とＭＰＥＧ−４の通常符号化部が混在したＭＰＥ
Ｇ−４混成符号化器によって混成符号化して伝送する場
合等に好適なスプライト符号化データの伝送方法、スプ
ライト符号化装置及び復号装置、並びにそのためのプロ
グラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】映像符号化の次世代標準であるＭＰＥＧ
−４ Ｍain Ｐrofileで映像をオブジェクトごとに符号
化する「オブジェクト符号化」において、特にカメラの
動きを抽出することによって背景オブジェクトをつなぎ
合わせた背景パノラマ画像（以下スプライト画像）で表
現する「スプライト符号化」は、全画面を１つのビデオ
オブジェクトとして符号化するＭＰＥＧ−４通常符号化
と比較して、劇的な符号化効率の向上が実現する。な
お、「オブジェクト符号化」、「スプライト符号化」に
ついては、文献１「“ＭＰＥＧ−４のすべて”、ｐｐ．
５３−５６、三木弼一著、工業調査会」、文献２「“Ａ
Ｌayered Ｖideo Ｏbject Ｃoding ＳystemＵsing Ｓp
rite and Ａffine Ｍotion Ｍodel”，Ｍing−Ｃhieh
Ｌee，Ｗei−ge Ｃhen and Ｃhih-lung 他、ＩＥＥＥ
Ｔransactions on Ｃircuits andＳystems for Ｖideo
Ｔechnology，Ｖol.７，Ｎo.１，ｐｐ．１３０−１４
５、Ｆebruary １９９７」などに記載されている。

【０００３】スプライト符号化は、映像の映りかわりで
あるカット点（シーンチエンジ）を持たない連続したフ
レーム列をショットとして、そのショット中の基準フレ
ームと任意のフレームの座標系の変換を行うグローバル
モーションを算出し、そのグローバルモーションを用い
てフレームを幾何変換し、繋ぎ合わせてスプライト画像
を生成するとともに、更に、生成したスプライト画像か
ら該当フレームの背景画像を切り出し、該背景画像と各
フレームの差分をもとに得られる移動物体等の前景画像
を抽出し、スプライト画像、前景画像をそれぞれオブジ
ェクト符号化することによって実現する符号化方法であ
る。

【０００４】このスプライト符号化はすべての映像に適
しているわけではなく、一般編集映像などの場合、入力
映像をショットに分割し、ショットごとにスプライト符
号化とＭＰＥＧ−４通常符号化を使い分ける必要があ
る。例えばスプライト符号化に適しているショットは、
十分なフレーム数を有すること、カメラの動きがあるこ
と、カメラの動きとは異なる動きをする部分である移動
体等の前景部分が十分小さいこと、などが挙げられる。
十分なフレーム数がないショットは、全符号化中のスプ
ライト画像の占める割合が高くなり、通常符号化と比較
すると、符号量削除のメリットを生かすことが出来ない
のでスプライト符号化には適さない。カメラの動きがな
いショットは、フレーム間において背景が変化しないた
めに、符号化データなし（Ｎot Ｃoded）という方法を
用いた通常符号化と比較すると、符号量削除のメリット
を生かすことが出来ないのでスプライト符号化には適さ
ない。前景部分が大きいショットは、スプライト画像を
良好に生成することができないために、スプライト画像
との差分で算出する前景画像が大きくなってしまい、通
常符号化と比較すると、符号量削除のメリットを生かす
ことができないのでスプライト符号化には適さない。

【０００５】ここで、スプライト符号化に適したショッ
トをスプライトショットと呼び、ＭＰＥＧ−４通常符号
化に適したショットを通常ショットと呼ぶことにする。
ＭＰＥＧ４混成符号化器では、それぞれスプライト符号
化データと通常符号化データを出力する。したがって、
出力はショットごとにスプライト符号化データと通常符
号化データが混在している状態となる。これをＭＰＥＧ
−４混成符号化データと呼ぶ。

【０００６】あるスプライトショットにおけるスプライ
ト符号化データは、背景オブジェクトをつなぎ合わせた
一枚のスプライト画像データと、各フレームごとに幾何
変換ベクトルとフレーム間差分を含むフレーム前景デー
タから構成される。ＭＰＥＧ−４混成符号化データを伝
送し、受信側の復号器で連続的に復号する際、あるスプ
ライトショットの復号時には、そのスプライト符号化デ
ータのスプライト画像データは、各フレームのフレーム
前景データが再生される前に、伝送を完了している必要
がある。

【０００７】従来のスプライト符号化データ伝送方法で
は、映像に含まれる全てのスプライトショットの中のス
プライト画像データをその映像の復号開始前に伝送して
いたか、もしくは、スプライトショットごとにその開始
フレームで復号する直前にスプライト画像データを伝送
していた。このため、スプライト画像データの伝送後
に、フレームごとのフレーム前景データを伝送する際に
は、フレーム前景データのデータ量が少量のために、帯
域に余りの部分が存在し、固定ビットレート（ＣＢＲ）
における映像全体の伝送が非効率になるという問題があ
った。また、スプライトショットごとにスプライト画像
データを伝送する際には、スプライトショットの開始フ
レームの復号時にスプライト画像データの伝送が完了す
るまでの遅延があり、ショットとショットの間の連続的
な復号が実現できない問題があった。さらには、ＭＰＥ
Ｇ−４ Ｍain Ｐrofileでは、スプライト画像データを
複数のマクロブロック単位で分割して伝送し、現フレー
ムの復号に最低必要なスプライト画像データが受信でき
次第復号する低遅延スプライト（Ｌow−latency sprit
e）というモードも用意されているが、いずれにして
も、それぞれのスプライトショットの開始フレームで
は、スプライト画像データを伝送する必要があるため
に、ショット間に遅延が生じ、連続的な復号が実現でき
ない。

【０００８】

【発明が解決しようとする課題】本発明の目的は、固定
ビットレートにて、スプライト符号化データを伝送し、
復号する際に、従来の技術では、フレームごとのフレー
ム前景データを伝送している際の帯域幅を十分に利用で
きずに、全体として非効率な伝送であった点や、それぞ
れのスプライトショットの開始フレームの復号時に、ス
プライト画像データの伝送が完了するまでの遅延が存在
していた点を解決することにある。

【０００９】

【課題を解決するための手段】本発明は、固定ビットレ
ート（ＣＢＲ）にて、スプライト符号化データと通常符
号化データの混在するＭＰＥＧ−４混成符号化データ等
を伝送する場合において、あるスプライトショットのフ
レーム前景データの伝送時に、余った帯域を利用して、
その次のスプライトショットのスプライト画像データを
分割して伝送するようにしたことを最も主要な特徴とす
る。

【００１０】スプライトショットのフレームごとのフレ
ーム前景データの伝送時に、余った帯域を利用してスプ
ライト画像データを分割して伝送することにより、ＣＢ
Ｒの帯域を十分に利用した、効率のよい伝送を実現でき
る。また、あるスプライトショットのフレーム前景デー
タの伝送時に、その次のスプライトショットのスプライ
ト画像データを伝送することによって、次のスプライト
ショットの開始フレームの復号時には、そのスプライト
ショットのスプライト画像データの伝送を完了している
ことができる。従って、スプライトショットの開始フレ
ームでの復号時の遅延を解消し、ショット間の連続的な
復号が可能となる。

【００１１】

【発明の実施の形態】以下、図面により本発明の一実施
の形態について詳細に説明する。初めに、図１乃至図３
により、本発明のスプライト符号化データ伝送方法の原
理を説明する。

【００１２】図１はＭＰＥＧ−４混成符号化器での処理
の概念図である。一般編集映像などの入力画像１００を
スプライトショット１１０と通常ショット１２０に分割
する。例えば、ショットが十分なフレーム数を有する場
合や、カメラの動きがあるショットはスプライトショッ
ト１１０とし、それ以外は通常ショット１２０とする。
入力画像のショット判定については、先に特願２０００
−３５３３５号として提案しており、また、本願発明の
主題とするところでないので、その詳細は省略する。な
お、入力画像１００には、あらかじめスプライトショッ
トや通常ショット１２０を識別する情報が付加されてい
てもよい。ＭＰＥＧ−４混成符号化器では、スプライト
ショット１１０にはスプライト符号化を適用し、通常シ
ョット１２０にはＭＰＥＧ−４通常符号化を適用し、そ
れぞれスプライト符号化データ１３０と通常符号化デー
タ１４０を生成し出力する。ここで、あるスプライトシ
ョット１１０のスプライト符号化データ１３０は、背景
オブジェクトをつなぎ合わせた一枚のスプライト画像デ
ータと、当該ショットの各フレームごとのフレーム前景
データ（以下、前景データ）から構成される。

【００１３】図２は、ＭＰＥＧ−４混成符号化器によっ
て生成される混成符号化データの一般的構成図である。
ここで、ｉ番目のスプライト符号化データをＳｔ（ｉ）
とし、スプライト画像データＳｓ（ｉ）と前景データＳ
ｄ（ｉ）で構成し、平均ビットレートＲ中の区間Ｔ
（ｉ）で存在するものとする。全映像データは、図１に
示すように一般符号化データとスプライト符号化データ
によって構成され、それぞれのデータは交互に存在す
る。

【００１４】すべてのデータは、一度送信側の符号器の
蓄積媒体に保存し、受信側の復号器に送信するように再
調整するものとする。このデータを受信側の復号器で連
続的に復号するためには、前景データＳｄ（ｉ）は逐次
伝送する必要があるのに対し、スプライト画像データＳ
ｓ（ｉ）はオフライン上で伝送可能である。ただし、復
号器での通常の復号には、全てのＳｄ（ｉ）より優先的
にＳｓ（ｉ）が受信されている必要がある。ここで、Ｓ
ｄ（ｉ）の伝送中にＳｓ（ｉ＋１）を伝送することによ
って遅延を最小限に抑えることができる。

【００１５】図３は、本発明によるスプライト符号化デ
ータの原理構成図である。図３の（１）に示すように、
ｉ番目のスプライト符号化データＳｔ（ｉ）の前景デー
タＳｄ（ｉ）の伝送時に、その余った帯域を利用して、
（ｉ＋１）番目のスプライト符号化データＳｓ（ｉ＋
１）のスプライト画像データＳｓ（ｉ＋１）を伝送す
る。次に、（ｉ＋１）番目のスプライト符号化データＳ
ｔ（ｉ＋１）の前景データＳｄ（ｉ＋１）伝送時には、
（ｉ＋２）番目のスプライト符号化データＳｔ（ｉ＋
２）のスプライト画像データＳｓ（ｉ＋２）を伝送す
る。以下、同様に伝送を繰り返す。

【００１６】ここで、ｉ番目のスプライト符号化データ
Ｓｔ（ｉ）の前景データＳｄ（ｉ）は、当該ショットの
各フレームごとのフレーム前景データｄｊ（ｊ＝１，
２，・・・，ｎ）の和で成り立っているものとする。 Ｓｄ（ｉ）＝Σｄｊ （１）

【００１７】図３の（２）に示すように、（ｉ＋１）番
目のスプライト符号化データＳｔ（ｉ＋）のスプライト
画像データＳｓ（ｉ＋１）を複数の断片に分割し、それ
ぞれｉ番目のＳｔ（ｉ）の各フレーム前景データｄｊと
結合する。映像のフレームレートはｆである。また、Ｒ
は平均ビットレートである。各フレームにおいて、バッ
ファがＲ／ｆになるまで、Ｓｓ（ｉ＋１）の断片で満た
す。

【００１８】ここで、最大の遅延ＤmaxはＳｓ（ｉ）の
最大量で決定できる。 Ｄmax＝maxＳｓ（ｉ）／Ｒ （２） 復号器の初期バッファサイズはＤmaxに設定する必要が
ある。また、ｉ番目のスプライト符号化データ伝送中で
バッファのオーバーフローを避けるために、以下の式を
満たす必要がある。 Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＞Ｓｓ（ｉ＋１） （３） 最大限に帯域幅を利用する際は、（３）式が等号である
ときである。 Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＝Ｓｓ（ｉ＋１） （４） スプライト符号化データの平均伝送レートをＲｓと仮定
すると、 Ｒｓ≡ΣＳｔ（ｉ）／ΣＴ（ｉ） （５） もし、Ｒｓ＜Ｒならば、チャネルのＳｔ（ｉ）の利用率
は最大量以下である。すなわち、帯域幅を最大限に利用
し、遅延を最小限に抑えるには、ＲｓとＲが等価である
ときが一番効率のよいときである。なお、Ｓｓ（ｉ）／
Ｓｔ（ｉ）比は一定であると仮定する。 Ｋ＝Ｓｓ（ｉ）／Ｓｔ（ｉ） （６） もしＲｓ＝Ｒであるならば、 Ｓｔ（ｉ）＝Ｒ＊Ｔ（ｉ） （７） （４）式と（７）式から、 Ｓｓ（ｉ）＝Ｓｓ（ｉ＋１） （８） である。これは、帯域幅を最大限に利用するためには、
それぞれのスプライトショットが一定の符号量である必
要があるということである。

【００１９】図４は本発明の一実施形態であるＭＰＥＧ
−４混成符号化器の構成例を示す図、図５は、その処理
の流れを示す図である。

【００２０】一般編集画像などの入力映像情報に対し
て、ショット分割部４０１によってショットに分割し
（ステップ５０１）、そのショットがスプライト符号化
に適しているか否かを判定する（ステップ５０２）。ス
プライト符号化に適していないショット（通常ショッ
ト）は、通常符号化部４０３においてＭＰＥＧ−４通常
符号化処理を行い（ステップ５０７）、通常符号化デー
タをそのまま送信バッファ４０８へ伝送する（ステップ
５０８）。一方、スプライト符号化に適したショット
（スプライトショット）は、スプライト符号化部４０２
においてスプライト符号化処理を行い、前景データとス
プライト画像データを出力する（ステップ５０３）。

【００２１】いま、スプライト符号化部４０２におい
て、（ｉ＋１）番目のスプライトショットについてスプ
ライト符号化を行い、前景データＳｄ（ｉ＋１）とスプ
ライト画像データＳｓ（ｉ＋１）を出力したとする。こ
の出力のうち、前景データＳｄ（ｉ＋１）はフレーム前
景データメモリ４０４へ蓄積して、次のスプライトショ
ットの処理へ待機させ、同時に、フレーム前景データ送
出部４０５において、フレーム前景データメモリ４０４
からｉ番目のスプライトショットの前景データＳｄ
（ｉ）を読み出し、各フレームのフレーム前景データｄ
1〜ｄｎを出力する（ステップ５０４）。スプライト画
像データＳｓ（ｉ＋１）は、スプライト画像データ分割
部４０６において、フレーム前景データ送出部４０５か
ら出力される前景データＳｄ（ｉ）の各フレーム前景デ
ータｄ1〜ｄｎに合せて、フレームごとに伝送可能な大
きさｓ1〜ｓｎに分割する（ステップ５０５）。スプラ
イト符号化データ合成部４０７では、フレーム前景デー
タ送出部４０５より出力される前景データＳｄ（ｉ）の
各フレーム前景データｄ1〜ｄｎとスプライト画像デー
タ分割部４０６から出力されるスプライト画像データＳ
ｓ（ｉ＋１）の分割片をフレームごとに合成し（ステッ
プ５０６）、スプライト符号化データとして送信バッフ
ァ４０８へ伝送する（ステップ５０８）。

【００２２】以上の処理を入力映像情報の続く限り繰り
返す（ステップ５０９）。この間、スプライト符号化部
４０２と通常符号化４０３の入力切換及びスプライト符
号化データ合成部４０７と通常符号化部４０３の出力切
換は、切換制御部４０９がショット分割部４０１からシ
ョット判定結果を受け取って制御する。こうして、送信
バッファ４０８からは、ショットごとにスプライト符号
化データと通常符号化データの混在したＭＰＥＧ−４ビ
ットストリームが出力される。なお、スプライト符号化
データと通常符号化データには、各々データを識別する
情報を付加する。

【００２３】図６は、本発明の一実施形態であるＭＰＥ
Ｇ−４復号器の構成例を示す図、図７は、その処理の流
れを示す図である。

【００２４】入力されたＭＰＥＧ−４ビットストリーム
を受信バッファ６０１に蓄積し（ステップ７０１）、ス
プライト符号化データと通常符号化データによって処理
を分ける。通常符号化データ（ＭＰＥＧ−４通常符号化
データ）は、そのまま通常符号化データ復号部６１８に
よって復号し（ステップ７０９）、表示バッファ６１９
へ処理を受け渡す（ステップ７１０）。

【００２５】一方、スプライト符号化データは、スプラ
イト符号化データ復号化部６１０へ処理を受け渡す。い
ま、スプライト符号化データは、ｉ番目のスプライトシ
ョットの前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝と（ｉ＋
１）番目のスプライトショット画像データＳｓ（ｉ＋
１）｛ｓ1〜ｓｎ｝で構成されているとする。スプライ
ト符号化データ分割部６１１において、前景データＳｄ
（ｉ）｛ｄ1〜ｄｎ｝とスプライト画像データＳｓ（ｉ
＋１）｛ｓ1〜ｓｎ｝に分割し（ステップ７０２）、ス
プライト画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝は次
スプライト画像データメモリ６１２へ蓄積して次のスプ
ライトショットの復号処理へ待機させるとともに（ステ
ップ７０３）、ｉ番目のスプライトショットのスプライ
ト画像データＳｓ（ｉ）｛ｓ1〜ｓｎ｝を該スプライト
画像データメモリ６１２から読み出して現スプライト画
像データメモリ６１３へ転送する（ステップ７０４）。
前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝はフレーム間差分
データと幾何変換ベクトルから構成されており、フレー
ム前景データ分割部６１４において両者を分割する（ス
テップ７０５）。そのうち、各フレームのフレーム間差
分データは、前景画像復号部６１５においてフレーム間
差分復号処理し、ｉ番目のスプライトショットの前景画
像を生成する（ステップ７０６）。幾何変換ベクトルは
背景画像復号部６１６に渡され、現スプライト画像デー
タメモリ６１３に既に蓄積されているスプライト画像デ
ータＳｓ（ｉ）｛ｓ1〜ｓｎ｝について幾何変換処理
し、ｉ番目のスプライトショットの背景画像を生成する
（ステップ７０７）。これら前景画像と背景画像をスプ
ライト画像合成部６１７において合成し（ステップ７０
８）、表示バッファ６１９へ出力する（ステップ７１
０）。

【００２６】以上の処理を入力ＭＰＥＧ−４ビットスト
リームの続く限り継続する（ステップ７１１）。この
間、スプライト符号化データ復号部６１０と通常符号化
データ復号部６１８の入出切換は、切換制御部６２０
が、受信バッファ６０１からＭＰＥＧ−４ビットストリ
ームに付加されているスプライト／通常符号化データを
識別する情報を取り込んで制御する。

【００２７】以上、本発明の一実施の形態について説明
したが、本発明は、これに限定されないことは云うまで
もない。例えば、実施の形態では、スプライト符号化デ
ータと通常符号化データの混在するＭＰＥＧ−４混合符
号データの伝送を対象としたが、本発明は、画像中に通
常ショットの存在しない、複数のスプライトショットの
みのスプライト符号化データの伝送時にも、同様に適用
可能である。

【００２８】また、図４や図６に示した構成は、所謂、
コンピュータを利用して実現することが可能である。こ
の場合、図５や図７に示した処理の流れのアルゴリズム
は、コンピュータプログラムとして、コンピュータ読み
取り可能な記録媒体、例えば、フロッピー（登録商標）
ディスク、ＣＤ−ＲＯＭ、メモリカード等の可搬記録媒
体に記録し、配布・提供することが可能である。そし
て、この記録媒体に記録されたプログラムをコンピュー
タにインストールすることにより、図４や図６に示した
構成と同様の機能が、コンピュータ上で容易に実現され
る。

【００２９】

【発明の効果】以上述べたように、本発明によれば、Ｍ
ＰＥＧ−４混成符号化データの伝送等において、これを
受信側で連続的に復号する際に、現在のスプライトショ
ットのフレームごとのフレーム前景データの伝送時に次
のスプライトショットのスプライト画像データを分割し
て伝送することによって、ＣＢＲの帯域を十分に利用し
た効率的な伝送を実現し、次のスプライトショットの開
始フレームの復号時に生じていた遅延を解消することが
できる。これによって、ＣＢＲにおけるＭＰＥＧ−４混
成符号化データ等を効率的に伝送し、受信側の復号器で
遅延することなく連続的に映像を復号できる点で効果が
ある。

【図面の簡単な説明】

【図１】ＭＰＥＧ−４混成符号化器での入力映像の処理
の概念図である。

【図２】ＭＰＥＧ−４混成符号化器によって出力される
混成符号化データの一般的構成図である。

【図３】本発明によるスプライト符号化データの原理構
成図である。

【図４】本発明の一実施形態のＭＰＥＧ−４混成符号化
器の構成図である。

【図５】図４の処理の流れを示す図である。

【図６】本発明の一実施形態のＭＰＥＧ−４復号器の構
成図である。

【図７】図６の処理の流れを示す図である。

【符号の説明】

１００ 入力画像 １１０ スプライトショット １２０ 通常ショット １３０ スプライト符号化データ １４０ 通常符号化データ ４０１ ショット分割部 ４０２ スプライト符号化部 ４０３ 通常符号化部 ４０４ フレーム前景データメモリ ４０５ フレーム前景デー夕送出部 ４０６ スプライト画像データ分離部 ４０７ スプライト符号化データ合成部 ４０８ 送信バッファ ４０９ 切換制御部 ６０１ 受信バッファ ６１０ スプライト符号化データ復号部 ６１１ スプライト符号化データ分割部 ６１２ 次スプライト画像データメモリ ６１３ 現スプライト画像データメモリ ６１４ フレーム前景データ分割部 ６１５ 前景画像復号部 ６１６ 背景画像復号部 ６１７ スプライト画像合成部 ６１８ 通常符号化データ復号部 ６１９ 表示バッファ ６２０ 切換制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 裕 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 小林 直樹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C059 KK34 KK37 LA10 MA00 MB00 ME13 RB06 RB10 SS20 TA57 TA73 TC18 TC37 UA02 UA05 UA38 UA39

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像符号化にスプライト符号化を適用し
   たスプライト符号化データを、固定ビットレートにて伝
   送する方法であって、 スプライトショットの各フレームのフレーム前景データ
   を伝送中に、余った帯域を利用して、次のスプライトシ
   ョットのスプライト画像データを分割して伝送すること
   を特徴とするスプライト符号化データ伝送方法。
2. 【請求項２】 請求項１記載のスプライト符号化データ
   伝送方法において、 伝送の帯域幅を最大限に利用するために、各スプライト
   ショットのスプライト画像データの符号量を等しくする
   ことを特徴とするスプライト符号化データ伝送方法。
3. 【請求項３】 映像をスプライト符号化する装置であっ
   て、 スプライトショットを符号化して、該スプライトショッ
   ト（以下、現スプライトショット）の各フレームのフレ
   ーム前景データとスプライト画像データを出力する手段
   と、 現スプライトショットのフレーム前景データを蓄積する
   メモリ手段と、 前記メモリ手段から前のスプライトショットの各フレー
   ムのフレーム前景データを読み出す手段と、 現スプライトショットのスプライト画像データを、前の
   スプライトショットの各フレームのフレーム前景データ
   に合わせて分割する手段と、 前のスプライトショットの各フレームのフレーム前景デ
   ータと現スプライトショットの分割スプライト画像デー
   タを合成してスプライト符号化データとする手段と、を
   有することを特徴とするスプライト符号化装置。
4. 【請求項４】 スプライトショットの各フレームのフレ
   ーム前景データ中に、次のスプライトショットのスプラ
   イト画像データを分割して付加されたスプライト符号化
   データを復号する装置であって、 スプライト符号化データ中のフレーム前景データとスプ
   ライト画像データを分割する手段と、 前記分割したスプライト画像データを次スプライトショ
   ットのスプライト画像データとして蓄積する第１メモリ
   手段と、 前記第１メモリ手段に蓄積されているスプライト画像デ
   ータを読み出し、現スプライトショットのスプライト画
   像データとして蓄積する第２メモリ手段と、 前記分割した現スプライトショットの前景データを構成
   するフレーム間差分データと幾何変換ベクトルを分割す
   る手段と、 前記分割したフレーム間差分データから前景画像を復号
   する手段と、 前記分割した幾何変換ベクトルと前記第２メモリ手段に
   蓄積されたスプライト画像データから背景画像を復号す
   る手段と、 前記復号した前景画像と背景画像を合成する手段と、を
   有することを特徴とするスプライト符号化データ復号装
   置。
5. 【請求項５】 映像をスプライト符号化するためのプロ
   グラムを記録したコンピュータ読み取り可能な記録媒体
   であって、 スプライトショットを符号化して、該スプライトショッ
   ト（以下、現スプライトショット）の各フレームのフレ
   ーム前景データとスプライト画像データを出力する処理
   プロセスと、 前記現スプライトショットのフレーム前景データを蓄積
   し、前のスプライトショットのフレーム前景データを読
   み出す処理プロセスと、 現スプライトショットのスプライト画像データを、前の
   スプライトショットの各フレームのフレーム前景データ
   に合わせて分割する処理プロセスと、 前のスプライトショットの各フレームのフレーム前景デ
   ータと現スプライトショットの分割スプライト画像デー
   タを合成してスプライト符号化データとする処理プロセ
   スと、を含むスプライト符号化プログラムを記録した記
   録媒体。
6. 【請求項６】 スプライトショットの各フレームのフレ
   ーム前景データ中に、次のスプライトショットのスプラ
   イト画像データを分割して付加されたスプライト符号化
   データを復号するためのプログラムを記録したコンピュ
   ータ読み取り可能な記録媒体であって、 スプライト符号化データ中のフレーム前景データとスプ
   ライト画像データを分割する処理プロセスと、 前記分割したスプライト画像データを次スプライトショ
   ットのスプライト画像データとして蓄積し、既に蓄積さ
   れているスプライト画像データを現スプライトショット
   のスプライト画像データとして読み出す処理プロセス
   と、 前記分割した現スプライトショットの前景データを構成
   するフレーム間差分データと幾何変換ベクトルを分割す
   る処理プロセスと、 前記分割したフレーム間差分データから前景画像を復号
   する処理プロセスと、 前記分割した幾何変換ベクトルと前記読み出したスプラ
   イト画像データから背景画像を復号する処理プロセス
   と、 前記復号した前景画像と背景画像を合成する処理プロセ
   スと、を含むスプライト符号化データ復号プログラムを
   記録した記録媒体。