JP2001028750A

JP2001028750A - 画像出力装置，画像再生方法，オブジェクト合成装置，オブジェクト合成方法，及びデータ記憶媒体

Info

Publication number: JP2001028750A
Application number: JP26435199A
Authority: JP
Inventors: Yoshinori Matsui; 義徳松井; Makoto Hagai; 誠羽飼; Takanori Ishida; 孝典石田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-09-18
Filing date: 1999-09-17
Publication date: 2001-01-30

Abstract

(57)【要約】【課題】画像出力装置における処理能力に拘わらず、
音声データと画像データの間での再生処理を同期させ
て、再生画像と再生音声のずれを防止する。【解決手段】第１，第２の物体に対応する符号化画像
オブジェクトデータＥ１，Ｅ２を復号化する第１，第２
の復号化器１１ａ，１１ｂと、各復号化器の出力を、所
定の合成周期でもって各フレーム毎に合成する画像デー
タ合成手段１２と、その出力である合成データＣｄを所
定数のフレーム分だけ格納するバッファ１３と、上記バ
ッファ１３から合成データを読みだして出力する画像出
力手段１４とを備え、画像出力装置の処理能力により決
まる表示予定時刻Ｔと、バッファに格納されている合成
データを表示すべき設定表示時刻Ｔｏｕｔとの比較結果
に基づいて、画像合成手段１２における画像データ合成
周期を決定するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像出力装置及び画
像再生方法に関し、特に所定の画像（シーン）を構成す
る複数の物体（オブジェクト）に対応する符号化画像オ
ブジェクトデータに復号化処理及び合成処理を施して、
上記所定の画像に対応する画像データを再生する再生処
理に関するものである。また、本発明はオブジェクト合
成装置及びオブジェクト合成方法に関し、特に、各オブ
ジェクトの画像データであるオブジェクトデータを、合
成画像及び各オブジェクトに関連する補助情報に基づい
て合成するオブジェク合成処理に関するものである。さ
らに、本発明はデータ記憶媒体に関し、上記再生処理を
ソフトウエアにより行うためのプログラムを格納したデ
ータ記憶媒体、及びオブジェクト合成処理をソフトウエ
アにより行うためのプログラムを格納したデータ記憶媒
体に関するものである。

【０００２】

【従来の技術】近年、音声，画像，その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。と
ころが、上記各情報メディアで扱われる情報量をディジ
タル情報量として見積もってみると、文字の場合１文字
当たりの情報量は１〜２バイトであるのに対し、音声の
場合１秒当たり６４Ｋbits（電話品質）、さらに動画に
ついては１秒当たり１００Ｍbits（現行テレビ放送品
質）以上の情報量が必要となり、上述したほとんどの情
報メディアにおいては、その膨大な情報をディジタル形
式でそのまま扱うことは現実的ではない。例えば、テレ
ビ電話は、６４Ｋbps 〜１．５Ｍbps の伝送速度を持つ
サービス総合ディジタル網（ＩＳＤＮ:Integrated Serv
ices Digital Network）によってすでに実用化されてい
るが、テレビカメラの映像情報をそのままＩＳＤＮで送
ることは不可能である。

【０００３】そこで、必要となってくるのが情報の圧縮
技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合電気通信標準化部門）で国際標準
化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が
用いられている。また、ＭＰＥＧ１規格の情報圧縮技術
によると、通常の音楽用ＣＤ（コンパクト・ディスク）
に音声情報とともに画像情報を記録することも可能とな
る。

【０００４】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group) とは、動画データ（動画像の画像信号）の圧
縮技術に関する国際規格であり、ＭＰＥＧ１は、動画デ
ータを１．５Ｍbps まで、つまりテレビ信号の情報を約
１００分の１にまで圧縮する規格である。また、ＭＰＥ
Ｇ１規格を対象とする伝送速度が主として約１．５Ｍbp
s に制限されていることから、さらなる高画質化の要求
をみたすべく規格化されたＭＰＥＧ２では、動画データ
が２〜１５Ｍbps に圧縮される。さらに現状では、ＭＰ
ＥＧ１，ＭＰＥＧ２と国際的な標準化を進めてきた作業
グループ（ISO/IEC JTC1/SC29/WG11) によって、１つの
シーン（１フレームの画像）を構成する物体（オブジェ
クト）を単位として符号化処理や信号操作を可能とし、
マルチメディア時代に必要な新しい機能を実現する動画
データの圧縮技術（オブジェクト符号化方式）がＭＰＥ
Ｇ４として規格化されつつある。なお、ＭＰＥＧ４に関
連する参考文献としては、ISO/IEC14496-1 MPEG-4 Syst
ems, FinalCommittee Draft, 15 May 1998がある。通
常、動画像に対する符号化方式では、動画像を一連の複
数の静止画像（１フレーム）として扱い、各フレーム毎
に対応する画像データを圧縮符号化している。これに対
し、ＭＰＥＧ４規格の対象となっているオブジェクト符
号化方式では、１画面（１フレームの画像）に対応する
画像データは、該１画面内に含まれる特定の形状を有す
る画像（前景）や背景等をそれぞれ一つのオブジェクト
として、各オブジェクトに対応する画像データ毎に個別
に扱われる。このようなオブジェクト符号化方式では、
各オブジェクトごとに適切な圧縮符号化処理を行うこと
が可能となり、１画面の画像データに対するデータ圧縮
率を向上することができる。また、このオブジェクト符
号化方式では、１画面上における各オブジェクトの配置
を示す情報等を、オブジェクトデータとは別に取り扱う
ことにより、オブジェクトデータの加工や編集の利便性
を向上することができる。このような国際標準規格であ
るＭＰＥＧ４に準拠したオブジェクト符号化方式では、
複数の物体（オブジェクト）に対応する符号化された画
像データを復号化して合成し、合成画像に対応する再生
データを生成し、上記合成画像（再生シーン）の表示を
行うことが可能となっている。ここで、上記各物体に対
応する符号化された画像データ（符号化画像オブジェク
トデータ）は、パケット化して伝送される。つまり符号
化画像オブジェクトデータは適当な長さの符号列に分割
され、この符号列にヘッダなどの付加情報を付加して伝
送されるようになっている。なお、上記符号列の先頭に
ヘッダを付加したものがパケットである。また、ＭＰＥ
Ｇ４では、１つのシーンを構成する複数のオブジェクト
に対応する符号化画像オブジェクトデータがパケットに
より多重化されて、１つのビットストリームとして伝送
されるようになっている。

【０００５】図１６(a)は、このような多重ビットスト
リームのデータ構造を示しており、該多重ビットストリ
ームＢｓは、種々の物体（オブジェクト）に対応するパ
ケット、例えばパケットＰ（ｎ），Ｐ（ｎ＋１），Ｐ
（ｎ＋２）を含む構成となっている。これらのパケット
Ｐ（ｎ），Ｐ（ｎ＋１），Ｐ（ｎ＋２）はそれぞれ、ヘ
ッダＨ（ｎ），Ｈ（ｎ＋１），Ｈ（ｎ＋２）及びデータ
部Ｄ（ｎ），Ｄ（ｎ＋１），Ｄ（ｎ＋２）から構成され
ている。

【０００６】各パケットのデータ部には、対応する符号
化画像オブジェクトデータを構成する符号列が格納され
ており、また、そのヘッダ部には、データ部に格納され
ているデータの内容を識別するための識別情報や、該デ
ータの復号再生処理のための時刻管理情報などが格納さ
れている。

【０００７】この時刻管理情報は、ビデオデータやオー
ディオデータに、その復号再生処理の単位であるアクセ
スユニット毎に付加されるものであり、この時刻管理情
報は、タイムスタンプと呼ばれている。このタイムスタ
ンプには、復号処理の時刻管理情報であるＤＴＳ（Deco
ding Time Stamp ）や合成処理の時刻管理情報であるＣ
ＴＳ（Composition Time Stamp）があるが、いずれか１
つの処理に対応するタイムスタンプがあれば、他の処理
の時刻は演算により求められるので、基本的には、１つ
のタイムスタンプ（ＣＴＳ）があればよい。ただし、各
フレームに対応する、合成処理や表示処理などを含む再
生処理の順序と復号処理の順序が異なる場合などは、各
フレームにタイムスタンプとしてＤＴＳを追加する必要
がある。なお、上記アクセスユニットはビデオデータで
は１フレーム，オーディオデータでは１オーディオフレ
ームに相当する。そして、パケットのデータ部にアクセ
スユニットの先頭データが格納されている場合には必
ず、そのパケットのヘッダには上記アクセスユニットに
対応するタイムスタンプが格納されている。

【０００８】なお、図１６(b)は、第１の物体（オブジ
ェクト）に対応する符号化画像オブジェクトデータの、
アクセスユニットとしての１フレームに相当する部分
（フレームデータ）Ｆｄ１が示され、図１６(c)は、第
２の物体（オブジェクト）に対応する符号化画像オブジ
ェクトデータの、アクセスユニットとしての１フレーム
に相当する部分（フレームデータ）Ｆｄ２が示されてい
る。これらのフレームデータＦｄ１，Ｆｄ２はＶＯＰ
（Video Object Plane）と呼ばれており、それぞれその
先頭部分にタイムスタンプＴｓ１，Ｔｓ２が付加されて
いる。

【０００９】ところで従来から、複数のオブジェクトデ
ータを合成して１シーンの表示を行うための画像合成方
法としては、ＣＧＤ（Computational Graceful Degrada
tion）と呼ばれる技術（以下ＣＧＤ法という。）があ
る。例えば、このＣＧＤ法の一例として、符号化された
オブジェクトデータを復号化して復号化データを出力す
る復号化器における復号化能力を推定し、復号化データ
を出力すべき時間までに復号化処理が終了するように復
号化処理におけるステップ数を削減する方法がある。そ
の他の例として、各フレームに優先度情報を付加しその
優先度情報と画像合成装置の処理能力に応じて適応的
に、フレーム毎あるいはパケット毎に復号化処理におけ
るステップ数（演算処理量）を削減させる方法などがあ
る。

【００１０】これらの方法では、復号化器の処理能力に
応じて、復号化データを出力すべき時間までに確実に、
符号化された画像オブジェクトデータに対する復号化処
理を終了し、各オブジェクトに対応する復号化データの
合成を行って１シーンに対応する再生データを出力する
ことができるため、これらの方法は、画像出力装置をそ
の負荷がその処理能力以上にならないよう制御するため
の有効な手法である。

【００１１】図１７はこのような負荷制御を行う画像出
力装置の一構成例を示すブロック図である。この画像出
力装置１１５０は、所定のネットワークＮの伝送経路か
ら供給されるビットストリーム（符号化データ）Ｂｓを
受け、該ビットストリームから所要のオブジェクトに対
応するデータ（符号化画像オブジェクトデータ）を抽出
し、該データに対する復号化処理及び合成処理を行っ
て、所定のシーン（合成画像）に対応する再生データを
出力するものである。そして、この画像出力装置１１５
０は、上記伝送経路のトラフィック状態に応じてデータ
の復号化処理を制御するよう構成されている。

【００１２】すなわち、この画像出力装置１１５０は、
ネットワークＮの伝送経路から受信した多重ビットスト
リームＢｓから、第１の物体に対応するパケットのみを
選択して、この物体に対応する符号化画像オブジェクト
データＥ１及びタイムスタンプＴｓ１をアクセスユニッ
ト（１フレーム）毎に出力するとともに、上記伝送経路
におけるデータ伝送速度Ｄｓ１を出力する第１のデータ
受信手段１１５１ａと、ネットワークＮの伝送経路から
受信した多重ビットストリームＢｓから、第２の物体に
対応するパケットのみを選択して、この物体に対応する
符号化画像オブジェクトデータＥ２及びタイムスタンプ
Ｔｓ２をアクセスユニット（１フレーム）毎に出力する
とともに、上記伝送経路におけるデータ伝送速度Ｄｓ２
を出力する第２のデータ受信手段１１５１ｂとを有して
いる。なお、ここでは、これらのデータ受信手段１１５
１ａ及び１１５１ｂは、上記多重ビットストリームＢｓ
からデータを分離する分離器１１５１を構成している。
また、第１の物体に対応するパケットを含む多重ビット
ストリームは、第２の物体に対応するパケットを含む多
重ビットストリームと同一のものであっても異なるもの
であってもよい。

【００１３】また、上記画像出力装置１１５０は、上記
符号化画像オブジェクトデータＥ１をタイムスタンプＴ
ｓ１及びデータ伝送速度Ｄｓ１に基づいて復号化して、
上記第１の物体に対応する復号化データＤ１を出力する
第１の復号化器１１５２ａと、上記符号化画像オブジェ
クトデータＥ２をタイムスタンプＴｓ２及びデータ伝送
速度Ｄｓ２に基づいて復号化して、上記第２の物体に対
応する復号化データＤ２を出力する第２の復号化器１１
５２ｂと、該両復号化データを合成して、所要シーンに
対応する合成データＣｄを出力する画像データ合成手段
１１５３とを有している。ここで、上記各復号化器１１
５２ａ，１１５２ｂは、伝送経路におけるデータ伝送速
度が低く、符号化画像オブジェクトデータの入力レート
が低い場合には、各フレームに対して通常の復号化処理
を行い、伝送経路におけるデータ伝送速度が高く、符号
化画像オブジェクトデータの入力レートが高い場合に
は、各フレームに対する復号化処理を、演算量の少ない
ものとする構成となっている。

【００１４】さらに、上記画像出力装置１１５０は、画
像データ合成手段１１５３から所定のタイミングで出力
される合成データＣｄを格納するバッファ１１５４と、
該バッファ１１５４から格納データＢｄを、所定の表示
タイミング（表示予定時刻）を示す情報ＤＴｒに基づい
て読み出し、読み出されたデータを再生データＴｄとし
て表示装置１１５０ａに出力する画像表示手段１１５５
と、本画像出力装置１１５０の処理能力に応じて画像表
示周期を決定し、該画像表示周期に基づいて上記表示予
定時刻を示す情報ＤＴｒを出力する制御手段１１５６と
を有している。

【００１５】このような構成の画像出力装置１１５０で
は、ネットワーク上の所定の伝送経路から、第１，第２
の物体に対応する符号化画像オブジェクトデータを格納
したパケットを含むビットストリームＢｓが入力される
と、第１，第２のデータ受信手段１１５１ａ，１１５１
ｂでは、それぞれ対応する物体のパケットが選択され
て、各物体に対応する符号化画像オブジェクトデータＥ
１，Ｅ２及びタイムスタンプＴｓ１，Ｔｓ２がフレーム
毎に第１，第２の復号化器１１５２ａ，１１５２ｂに出
力される。このとき、上記第１，第２のデータ受信手段
１１５１ａ，１１５１ｂからは、各物体に対応するパケ
ットを含むビットストリームの伝送経路におけるデータ
伝送速度情報Ｄｓ１，Ｄｓ２が検出されて、それぞれ第
１，第２の復号化器１１５２ａ，１１５２ｂに出力され
る。

【００１６】すると、各復号化器１１５２ａ，１１５２
ｂでは、上記符号化画像オブジェクトデータＥ１，Ｅ２
に対する復号化処理がフレーム毎に、それぞれタイムス
タンプＴｓ１，Ｔｓ２から決まる復号処理時刻に行わ
れ、復号化データＤ１，Ｄ２が出力される。また、この
際には、上記復号化処理は、データ伝送速度情報Ｄｓ
１，Ｄｓ２に基づいて制御される。つまり、伝送経路に
おけるデータ伝送速度が低く、符号化画像オブジェクト
データの入力レートが低い場合には、各フレームに対し
て通常の復号化処理が行われ、伝送経路におけるデータ
伝送速度が高く、符号化画像オブジェクトデータの入力
レートが高い場合には、各フレームに対する復号化処理
として、演算量の少ない処理が行われる。

【００１７】そして、各復号化データＤ１及びＤ２が画
像データ合成手段１１５３に入力されると、該合成手段
１１５３では、所要のシーンに対応する合成データＣｄ
が生成されてバッファ１１５４に出力される。このと
き、画像表示手段１１５５では、制御手段１１５６から
の表示予定時刻を示す情報ＤＴｒに基づいて上記バッフ
ァ１１５４から格納データＢｄを読み出すデータ読み出
し処理が行われて、上記所要シーンに対応する再生デー
タＲｄが表示装置１１５０ａに出力される。これによ
り、表示装置１１５０ａでは、上記再生データＲｄに基
づいて上記所要シーンの画像表示が行われる。

【００１８】図１８は、上記ＣＧＤ法を用いた画像出力
装置の他の構成例を説明するためのブロック図である。
この画像出力装置１１６０は、復号化器における演算負
荷や処理時間に応じて復号化処理を制御するよう構成し
たものである。すなわち、この画像出力装置１１６０
は、上記画像出力装置１１５０と同様、ネットワークＮ
の伝送経路から受信した多重ビットストリームＢｓか
ら、上記第１，第２の物体に対応するパケットを選択し
て、各物体に対応する符号化画像オブジェクトデータＥ
１，Ｅ２及び対応するタイムスタンプＴｓ１，Ｔｓ２を
抽出する分離器１１６１を有している。

【００１９】また、上記画像出力装置１１６０は、上記
符号化画像オブジェクトデータＥ１をタイムスタンプＴ
ｓ１及び復号制御信号Ｃｎ１に基づいて復号化して、上
記第１の物体に対応する復号化データＤ１を出力する第
１の復号化器１１６１ａと、上記符号化画像オブジェク
トデータＥ２をタイムスタンプＴｓ２及び復号制御信号
Ｃｎ２に基づいて復号化して、上記第２の物体に対応す
る復号化データＤ２を出力する第２の復号化器１１６１
ｂと、該両復号化データを合成して、所要シーンに対応
する合成データＣｄを出力する画像データ合成手段１１
６３と、上記各復号化器１１６１ａ，１１６１ｂにおけ
る演算負荷及びデータ処理時間をモニタ信号Ｄｍ１，Ｄ
ｍ２から取得し、上記復号制御信号Ｃｎ１，Ｃｎ２によ
り各復号化器１１６１ａ，１１６１ｂを制御する復号化
処理量推定手段１１６２ａ，１１６２ｂとを有してい
る。ここで、上記復号化処理量推定器１１６２ａ，１１
６２ｂは、復号化器１１６１ａ，１１６１ｂにおける演
算負荷が大きい場合あるいは一定量のデータに対する処
理時間が長い場合には、各復号化器での復号化処理が単
位時間当たりの演算量の少ないものとなり、復号化器１
１６１ａ，１１６１ｂにおける演算負荷が小さい場合あ
るいは一定量のデータに対する処理時間が短い場合に
は、各復号化器での復号化処理が単位時間当たりの演算
量の多いものとなるよう、上記各復号化器を制御する構
成となっている。

【００２０】さらに、上記画像出力装置１１６０は、上
記画像出力装置１１５０と同様、画像データ合成手段１
１６３から所定のタイミングで出力される合成データＣ
ｄを格納するバッファ１１６４と、該バッファ１１６４
から格納データＢｄを、所定の表示タイミング（表示予
定時刻）を示す情報ＤＴｒに基づいて読み出して、該読
み出したデータを再生データＲｄとして表示装置１１６
０ａに出力する画像表示手段１１６５と、本画像出力装
置１１６０の処理能力に応じて画像表示周期を決定し、
該画像表示周期に基づいて上記表示予定時刻を示す情報
ＤＴｒを出力する制御手段１１６６とを有している。

【００２１】このような構成の画像出力装置１１６０で
は、ネットワーク上の所定の伝送経路から、第１，第２
の物体に対応する符号化画像オブジェクトデータを格納
したパケットを含むビットストリームＢｓが入力される
と、上記分離器１１６１では、それぞれ対応する物体の
パケットが選択されて、各物体に対応する符号化画像オ
ブジェクトデータＥ１，Ｅ２及びタイムスタンプＴｓ
１，Ｔｓ２がフレーム毎に第１，第２の復号化器１１６
１ａ，１１６１ｂに出力される。

【００２２】すると、各復号化器１１６１ａ，１１６１
ｂでは、上記符号化画像オブジェクトデータＥ１，Ｅ２
に対する復号化処理がフレーム毎に、それぞれタイムス
タンプＴｓ１，Ｔｓ２から決まる復号処理時刻に行わ
れ、復号化データＤ１，Ｄ２が出力される。また、この
とき、上記第１，第２の復号化処理量推定手段１１６２
ａ，１１６２ｂでは、各復号化器１１６１ａ，１１６１
ｂからのモニタ信号Ｄｍ１，Ｄｍ２に基づいて、演算負
荷及び処理時間が測定され、測定された演算負荷及び処
理時間に応じた制御信号Ｃｎ１，Ｃｎ２がそれぞれ各復
号化器１１６１ａ，１１６１ｂに出力される。これによ
り、各復号化器１１６１ａ，１１６１ｂは、演算負荷が
大きい場合あるいは処理時間が長い場合には、各復号化
器での復号化処理が演算量の少ないものとなり、演算負
荷が小さい場合あるいは処理時間が短い場合には、各復
号化器での復号化処理が演算量の多いものとなるよう制
御される。

【００２３】そして、各復号化データＤ１及びＤ２が画
像データ合成手段１１６３に入力されると、該合成手段
１１６３では、所要のシーンに対応する合成データＣｄ
が生成されてバッファ１１６４に出力される。このと
き、画像表示手段１１６５では、制御手段１１６６から
の表示予定時刻を示す情報ＤＴｒに基づいて上記バッフ
ァ１１６４から格納データＢｄを読み出す処理が行われ
て、上記所要シーンに対応する再生データＲｄが表示装
置１１６０ａに出力される。これにより、表示装置１１
６０ａでは、上記再生データＲｄに基づいて上記所要シ
ーンの画像表示が行われる。

【００２４】次に、上記シーンを構成する複数のオブジ
ェクトのうちに、オブジェクトデータの繰り返し再生が
行われるオブジェクトが含まれている場合の合成処理に
ついて説明する。上述したオブジェクト符号化方式で
は、シーン（画面）を複数のオブジェクトにより再構成
するための合成情報、及び各オブジェクトの表示等に関
するサイド情報を含む補助情報（プログラム情報）が、
オブジェクトデータの合成処理及び合成された画像の再
生表示を行う際に用いられる。また、オブジェクトデー
タの加工や編集する際にも、各オブジェクトデータとと
もに上記プログラム情報が用いられる。上記合成情報
は、上記のような各オブジェクトの配置情報等を含む情
報であり、ＭＰＥＧ４では、合成情報として、ＶＲＭＬ
（参考文献：ISO/IEC 14772-1, Virtual Reality Model
ing Language, 1997）に類似したシーン記述言語が規格
化されている。また、ＭＰＥＧ４では、各オブジェクト
に対応するサイド情報として、オブジェクトデスクリプ
タ（オブジェクト記述子）ＯＤが規格化されている。

【００２５】以下、複数のオブジェクトを含む１シーン
（１フレームの画像）と、このシーンに対応する、シー
ン記述言語により表される合成情報（シーン記述デー
タ）について具体的に説明する。図２７は、オーディオ
データが付随した映像データから得られる一連画像（動
画像）の１シーン（図(a)）、該シーンを構成するオブ
ジェクトの階層構造（図(b)）、及び該シーンに対応す
るシーン記述（図(c)）を示している。ここでは、動画
像の１フレームの画像であるシーン２０は、階層構造を
なす複数のオブジェクト（小画像）から構成されてい
る。具体的には、上記シーン２０は、背景画像に相当す
る背景オブジェクト２１，背景音楽に相当するオーディ
オオブジェクト２２，背景中を移動する移動体に相当す
る移動オブジェクト２３，上記背景画像上に表示された
ロゴ（Let's start)に相当する文字オブジェクト２６，
移動体の前，後の車輪としての第１，第２の車輪オブジ
ェクト２４，２５から構成されている。

【００２６】ここで、上記シーン２０は１つのノードと
なっており、このノード２０には上記背景オブジェクト
２１とオーディオオブジェクト２２が属している。ま
た、上記背景オブジェクト２１も１つのノードとなって
おり、このノード２１には上記移動オブジェクト２３及
び上記文字オブジェクト２６は属している。さらに、上
記移動オブジェクト２３も１つのノードとなっており、
このノード２３には第１，第２の車輪オブジェクト２
４，２５が属している。また、ＭＰＥＧ４におけるシー
ン記述（合成情報）は、上記シーンが各オブジェクトに
よりどのように構成されるかを示すものであり、図２７
(c)に示すシーン記述ＳＤにより上記シーン２０の階層
構造が表現されている。

【００２７】つまり、標記「２Ｄオブジェクト」Ａ１に
より、上記第１の階層にはビデオオブジェクト２１とオ
ーディオオブジェクト２２が含まれ、かつ標記「２Ｄオ
ブジェクト」Ａ２により示される第２の階層が存在する
ことが示されている。また、標記「２Ｄオブジェクト」
Ａ２により、上記第２の階層にはテキストオブジェクト
２６とビデオオブジェクト２３が含まれ、かつ標記「２
Ｄオブジェクト」Ａ３により示される第３の階層が存在
することが示されている。さらに、標記「２Ｄオブジェ
クト」Ａ３により、上記第３の階層にはビデオオブジェ
クト２４とビデオオブジェクト２５が含まれていること
が示されている。ここで上記各標記「２Ｄオブジェク
ト」Ａ１〜Ａ３は、それぞれに対応する第１〜第３の階
層に含まれるオブジェクトが二次元オブジェクトである
ことを示している。また、上記シーン記述ＳＤでは、各
階層に属するオブジェクトに対応させて、該オブジェク
トを特定するためのオブジェクトデスクリプタ識別子
（例えばＯＤ＿ＩＤ＝１０）、該オブジェクトが繰り返
し再生を行うものであるか否かを示すフラグ（例えばＬ
ＯＯＰ＝ＴＲＵＥ）等の詳細情報ＣＩ１〜ＣＩ５が記述
されている。

【００２８】図２８は、上記シーン記述（図２７（c)参
照）の一部の詳細情報を具体的に示している。この部分
の記述から、上記シーン２０には、オブジェクトデスク
リプタ識別子（ＯＤ＿ＩＤ）がＯＤ＿ＩＤ＝１０である
２次元ビデオオブジェクトと、オブジェクトデスクリプ
タ識別子（ＯＤ＿ＩＤ）がＯＤ＿ＩＤ＝２０である２次
元ビデオオブジェクトとが含まれていることが分かる。
また、上記２次元ビデオオブジェクト（ＯＤ＿ＩＤ＝１
０）に対応するノードに、そのＬＯＯＰフラグとして
「ＬＯＯＰ＝ＴＲＵＥ」が設定されていることから、こ
のオブジェクトは繰り返し再生が行われるものであるこ
とが分かる。また、上記２次元ビデオオブジェクト（Ｏ
Ｄ＿ＩＤ＝２０）に対応するノードには、そのＬＯＯＰ
フラグとして「ＬＯＯＰ＝ＦＡＬＳＥ」が設定されてい
ることから、このオブジェクトは繰り返し再生ではな
く、通常再生が行われるものであることが分かる。上記
繰り返し再生では、オブジェクトの最終フレームに対す
るデータの再生が行われた後は、そのオブジェクトの先
頭フレームに戻ってデータの再生が行われる。なお、上
記シーン記述では、オブジェクトの所在は、対応するノ
ード中のオブジェクトデスクリプタ識別子（ＯＤ＿Ｉ
Ｄ）により指定しているが、オブジェクトの所在は、オ
ブジェクトに対応するノード中にて、ＵＲＬ（ユニフォ
ームリソースロケータ）により指定してもよい。この場
合にも同様にＬＯＯＰフラグにより、対応するオブジェ
クトの繰り返し再生の要，不要を表すことができる。

【００２９】図２９は、ＭＰＥＧ４システムにてサイド
情報として規格化されているオブジェクトデスクリプタ
を具体的に示す図である。ここでは、オブジェクトデス
クリプタＤＯ２４は、オブジェクトデスクリプタ識別子
（ＯＤ＿ＩＤ＝１０）により特定されるビデオオブジェ
クト２４に対応する（図２９(a)参照）。オブジェクト
デスクリプタＤＯ２１は、オブジェクトデスクリプタ識
別子（ＯＤ＿ＩＤ＝２０）により特定されるビデオオブ
ジェクト２１に対応する（図２９(b)参照）。

【００３０】オブジェクトデスクリプタでは、対応する
オブジェクトのフレーム更新周期を示す情報としてＣＵ
（コンポジションユニット）持続時間が定義することが
できる。このＣＵ持続時間が定義されている場合、この
ＣＵ持続時間は、対応するオブジェクトの１フレームの
画像をＣＵ持続時間毎に更新すべきことを意味してい
る。例えば、ビデオオブジェクト２４のＣＵ持続時間
（Composition Unit Duration＝１００）（図２９(a)参
照）は、フレーム更新周期が１００ミリ秒であることを
示している。また、ビデオオブジェクト２１のＣＵ持続
時間（Composition Unit Duration＝８０）（図２９(b)
参照）は、フレーム更新周期が８０ミリ秒であることを
示している。

【００３１】従来のオブジェクト合成装置には、例えば
図１７に示す画像再生装置における画像データ合成手段
１１５３，バッファ１１５４，画像表示手段１１５５，
及び制御手段１１５６からなる部分に相当する装置に
は、画像オブジェクトデータとともに、これに対応する
合成情報及びサイド情報が入力され、該オブジェクト合
成装置では、合成情報から各オブジェクトを表示すべき
画面上の位置や、各オブジェクトに対する繰り返し再生
の要不要等が取得され、またサイド情報からは、各オブ
ジェクトのフレーム更新周期情報等が取得される。そし
て、オブジェクト合成装置では、シーンを構成する個々
のオブジェクトのフレーム更新周期に基づいて、オブジ
ェクトデータの合成処理（つまり合成画像のフレーム更
新処理）が行われる。

【００３２】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像出力装置では以下のような問題があった。
上述した従来提案されていたＣＧＤ法は、図１７に示す
画像出力装置１１５０における、伝送経路のトラッフィ
ク状態に応じて復号化処理を制御する方法や、図１８に
示す画像出力装置１１６０における、符号化画像オブジ
ェクトデータの復号化器における負荷や処理時間に応じ
て復号化処理を制御する方法であり、復号化器後段の画
像データ合成手段や画像表示手段における負荷や処理時
間を考慮したものではない。

【００３３】このため、処理能力の高い画像出力装置で
は、入力される画像オブジェクトデータのフレームレー
トが高い場合でも、全てのフレームに対して通常の復号
化処理，合成処理，及び表示処理を行うことができる
が、処理能力の低い画像出力装置では、上記のようにフ
レームレートが高い場合には、全てのフレームに対し
て、上記と同様な処理を行うと、画像出力装置の処理能
力により決まる各フレームの表示予定時刻までに、符号
化画像オブジェクトデータに対する、表示のための全て
の処理が完了しないことがある。

【００３４】従って、処理能力の高い画像出力装置で
は、画像データを適切な表示予定時刻に出力することが
可能であるが、処理能力が低い画像出力装置では、画像
データは適切な表示予定時刻に出力されず、この結果、
表示予定時刻より遅れて出力される画像データと該表示
予定時刻に出力される音声データとの間で同期が取れな
くなるといった、視聴者にとって好ましくない事態が生
ずるという問題があった。また、上述した従来のオブジ
ェクト合成装置では、シーンを構成する複数の物体のう
ちに、フレーム更新周期が異なるものがある場合には、
合成画像を良好に表示することができないという問題が
あった。

【００３５】つまり、上述したように、ＭＰＥＧ４に準
拠したオブジェクト符号化方式では、シーンを構成する
個々の物体ごとにフレーム更新周期を設定することがで
きるため、オブジェクト合成装置では、合成画像のフレ
ーム更新処理を、シーンを構成するすべてのオブジェク
トに対応するフレーム更新周期に基づくタイミングで行
うことも可能である。ところが、このようなすべてのオ
ブジェクトのフレーム更新周期を満たすよう合成画像の
フレーム更新処理を行うことは、合成装置におけるデー
タ処理量が膨大なものとなる。

【００３６】例えば、図３０は、０ミリ秒を基準とし
て、３つのオブジェクトＯｂ１〜Ｏｂ３のフレームが更
新されるタイミング、及びこれらのオブジェクトからな
る合成画像Ｃｓのフレームが、各オブジェクトのフレー
ム更新周期に基づいて更新されるタイミングを示してい
る。ここでは、オブジェクトＯｂ１に対応するフレーム
更新周期は１００ミリ秒、オブジェクトＯｂ２に対応す
るフレーム更新周期は９０ミリ秒、オブジェクトＯｂ３
に対応するフレーム更新周期は９５ミリ秒としている。

【００３７】この場合、合成画像Ｃｓのフレームは、例
えば、図３０に示すように、９０ミリ秒から５ミリ秒間
隔で３回更新され、１８０ミリ秒から１０ミリ秒間隔で
３回更新され、２７０ミリ秒から１５ミリ秒間隔で３回
更新され、３６０ミリ秒から２０ミリ秒間隔で３回更新
されることとなる。このようにシーンを構成するすべて
のオブジェクトのフレーム更新周期を満たすよう合成画
像のフレーム更新処理を行うことは、短い時間内に多く
のフレーム更新処理が行われることとなり、合成装置に
おけるデータ処理量が膨大なものとなる。

【００３８】そこで、従来のオブジェクト合成装置で
は、合成画像のフレーム更新周期を、該合成装置のデー
タ処理能力等に基づいて決定し、決定されたフレーム更
新周期に合わせて合成画像のフレーム更新処理を行うよ
うにしている。ところが、このような合成処理では、合
成画像のフレーム更新周期が、合成画像を構成する個々
の物体に対応する、サイド情報から得られるフレーム更
新周期と一致しているとは限らない。このため、複数の
物体を含む合成画像（再生シーン）が正しく再生表示さ
れない場合があるという問題点があった。

【００３９】以下この問題点について詳述する。例え
ば、ここでは、上記オブジェクト（ＯＤ＿ＩＤ＝１０）
２４は、４フレーム（フレームＡ〜Ｄ）からなり、この
オブジェクトに対するフレーム更新周期は、図３１(a)
に示すように１００ミリ秒となっている。このフレーム
更新周期（１００ミリ秒）は、図２９(a)に示すオブジ
ェクトデスクリプタＯＤ２４に「CompositionUnitDurat
ion＝１００」として記述されている。そして、このオ
ブジェクト２４に対応するオブジェクトデータを、以下
のような周期の異なるオブジェクト合成処理（つまりフ
レーム更新周期が異なる合成画像の表示処理）〔１〕〜
〔４〕により表示する場合、各合成処理による表示状態
は、図３１(b)〜図３１(e)に示すようになる。ここで、
オブジェクト合成処理〔１〕，〔２〕，〔３〕，〔４〕
における合成画像のフレーム更新周期は、それぞれ、１
００ミリ秒，２００ミリ秒，３００ミリ秒，４００ミリ
秒とする。

【００４０】図３１(b)に示すように、合成画像のフレ
ーム更新周期が１００ミリ秒である場合には、合成画像
のフレーム更新周期がオブジェクト２４のフレーム更新
周期と一致するため、オブジェクト２４の画像は良好に
表示されることとなる。一方、図３１(c) 〜上記３１
(e)に示すように、合成画像のフレーム更新周期が１０
０ミリ秒より長い場合には、オブジェクト２４のフレー
ムがスキップされることとなる。

【００４１】例えば、合成画像のフレーム更新周期が２
００ミリ秒である場合には、オブジェクト２４の４フレ
ームのうちの２つのフレームＢ，Ｄがスキップされる。
合成画像のフレーム更新周期が４００ミリ秒である場合
には、オブジェクト２４の４フレームのうちの３つのフ
レームＢ〜Ｄがスキップされる。また、合成画像のフレ
ーム更新周期が３００ミリ秒である場合には、オブジェ
クト２４の４つのフレームが正しい順序で再生されなく
なる。

【００４２】このようなフレームスキップは、通常再生
が行われるオブジェクトであっても発生するが、通常再
生されるオブジェクトは、一部のフレームをスキップし
ても、そのオブジェクトのフレーム更新周期に従って表
示する方が、合成画像は視聴者にとって違和感が少ない
ものとなる。これは、通常再生されるオブジェクトは他
のオーディオオブジェクトやビデオオブジェクトと同期
して表示する必要がある場合が多いからである。しかし
ながら、繰り返し再生が行われるオブジェクトは、他の
オブジェクトと同期して表示するよりも、このオブジェ
クト自体の表示周期の乱れの影響が大きいため、スキッ
プの発生がより重大な問題となる。

【００４３】本発明は上記のような問題点を解決するた
めになされたもので、データ処理能力に応じて、符号化
された画像オブジェクトデータに対して適正な再生処理
を施して、データ処理能力によって決まる表示予定時刻
に、画像表示のための再生データを出力することができ
る画像出力装置及び画像再生方法，並びに上記画像再生
方法による処理をコンピュータにより行うためのプログ
ラムを格納したデータ記憶媒体を得ることを目的とす
る。本発明は、シーンを構成する複数の物体のうちに、
オブジェクトデータの繰り返し再生が行われる物体が含
まれている場合にも、再生処理における演算負荷を大き
く増大することなく、上記複数の物体からなる合成画
像，つまり再生シーンを良好に表示することができるオ
ブジェクト合成装置及びオブジェクト合成方法，並びに
上記オブジェクト合成方法による処理をコンピュータに
より行うためのプログラムを格納したデータ記憶媒体を
得ることを目的とする。

【００４４】

【課題を解決するための手段】この発明（請求項１）に
係る画像出力装置は、所定の画像を構成する個々の物体
に対応する画像オブジェクトデータを符号化して得られ
る、表示処理単位であるフレーム毎に表示時刻が設定さ
れた符号化画像オブジェクトデータを受け、該符号化画
像オブジェクトデータに対して復号化処理及び合成処理
を施して、所定の画像を表示するための再生データを出
力する画像出力装置であって、上記各物体に対応する符
号化画像オブジェクトデータを復号化して復号化データ
を出力する復号化器と、上記複数の復号化データを合成
して１つのフレームに対応する合成データを生成する合
成処理を、フレーム毎に繰り返し行う画像データ合成手
段と、上記合成データを所定数のフレーム分だけ格納す
るバッファと、上記バッファに格納された各合成データ
に対応する設定表示時刻と、表示処理能力により決定さ
れる表示予定時刻との比較結果に基づいて、特定のフレ
ームに対応する合成データを選択して、上記再生データ
として出力する画像表示手段と、上記設定表示時刻と表
示予定時刻の比較結果に基づいて上記合成処理の周期を
決定して合成周期情報を出力する画像データ合成周期決
定手段とを備え、上記画像データ合成手段を、上記合成
周期情報が示す合成周期でもって、上記合成処理を行う
よう構成したものである。

【００４５】この発明（請求項２）に係る画像出力装置
は、所定の画像を構成する個々の物体に対応する画像オ
ブジェクトデータを符号化して得られる、表示処理単位
であるフレーム毎に表示時刻が設定された符号化画像オ
ブジェクトデータを受け、該符号化画像オブジェクトデ
ータに対して復号化処理及び合成処理を施して、所定の
画像を表示するための再生データを出力する画像出力装
置であって、上記各物体に対応する符号化画像オブジェ
クトデータを復号化して復号化データを出力する復号化
器と、上記複数の復号化データを合成して１つのフレー
ムに対応する合成データを生成する合成処理を、フレー
ム毎に繰り返し行う画像データ合成手段と、上記合成デ
ータを所定数のフレーム分だけ格納するバッファと、上
記バッファに格納された各合成データに対応する設定表
示時刻と、表示処理能力により決定される表示予定時刻
との比較結果に基づいて、特定のフレームに対応する合
成データを選択して、上記再生データとして出力する画
像表示手段と、上記設定表示時刻と表示予定時刻の比較
結果に基づいて、上記復号化器にて単位時間当たりに復
号化処理が行われる各物体に対応する復号化フレーム数
を決定して、各物体に対応する復号化フレーム数情報を
出力する復号化フレーム数決定手段とを備え、上記復号
化器を、各物体に対応する単位時間当たりの復号化処理
量が、上記復号化フレーム数情報が示す単位時間当たり
のフレーム数に相当するものとなるよう、復号化処理を
行う構成としたものである。

【００４６】この発明（請求項３）は、請求項２記載の
画像出力装置において、上記復号化器を、上記各物体に
対応する復号化フレーム数情報に応じて単位時間当たり
の復号化フレーム数を変更する際、上記符号化画像オブ
ジェクトデータに対して施された符号化処理の種類に基
づいて、復号化処理の対象とする処理フレーム及び復号
化処理の対象としない間引きフレームを決定する構成と
したものである。

【００４７】この発明（請求項４）に係る画像出力装置
は、所定の画像を構成する個々の物体に対応する画像オ
ブジェクトデータを符号化して得られる、表示処理単位
であるフレーム毎に表示時刻が設定された符号化画像オ
ブジェクトデータを受け、該符号化画像オブジェクトデ
ータに対して復号化処理及び合成処理を施して、所定の
画像を表示するための再生データを出力する画像出力装
置であって、上記各物体に対応する符号化画像オブジェ
クトデータを復号化して復号化データを出力する復号化
器と、上記複数の復号化データを合成して１つのフレー
ムに対応する合成データを生成する合成処理を、フレー
ム毎に繰り返し行う画像データ合成手段と、上記合成デ
ータを所定数のフレーム分だけ格納するバッファと、上
記バッファに格納された各合成データに対応する設定表
示時刻と、表示処理能力により決定される表示予定時刻
との比較結果に基づいて、特定のフレームに対応する合
成データを選択して、上記再生データとして出力する画
像表示手段と、上記画像データ合成手段から上記バッフ
ァへ合成データを書き込む際の待ち時間に基づいて、上
記復号化器にて単位時間当たりに復号化処理が行われる
各物体に対応する復号化フレーム数を決定して、各物体
に対応する復号化フレーム数情報を出力する復号化フレ
ーム数決定手段とを備え、上記復号化器を、各物体に対
応する単位時間当たりの復号化処理量が上記復号化フレ
ーム数情報が示す単位時間当たりのフレーム数に相当す
るものとなるよう、復号化処理を行う構成としたもので
ある。

【００４８】この発明（請求項５）は、請求項４記載の
画像出力装置において、上記復号化器を、上記各物体に
対応する復号化フレーム数情報に応じて単位時間当たり
の復号化フレーム数を変更する際、上記符号化画像オブ
ジェクトデータに対して施された符号化処理の種類に基
づいて、復号化処理の対象とする対象フレーム及び復号
化処理の対象としない間引きフレームを決定する構成と
したものである。

【００４９】この発明（請求項６）に係る画像出力装置
は、所定の画像を構成する個々の物体に対応する画像オ
ブジェクトデータを符号化して得られる、表示処理単位
であるフレーム毎に表示時刻が設定された符号化画像オ
ブジェクトデータを受け、該符号化画像オブジェクトデ
ータに対して復号化処理及び合成処理を施して、所定の
画像を表示するための再生データを出力する画像出力装
置であって、上記各物体に対応する符号化画像オブジェ
クトデータを復号化して復号化データを出力する復号化
器と、上記複数の復号化データを合成して１つのフレー
ムに対応する合成データを生成する合成処理を、フレー
ム毎に繰り返し行う画像データ合成手段と、上記合成デ
ータを所定数のフレーム分だけ格納するバッファと、上
記バッファに格納された各合成データに対応する設定表
示時刻と、表示処理能力により決定される表示予定時刻
との比較結果に基づいて、特定のフレームに対応する合
成データを選択して、上記再生データとして出力する画
像表示手段と、上記バッファに格納された各合成データ
に対応する設定表示時刻と、表示処理能力により決定さ
れる表示予定時刻との比較結果、及び上記画像データ合
成手段から上記バッファへ合成データを書き込む際の待
ち時間に基づいて、上記復号化器にて単位時間当たりに
復号化処理が行われる各物体に対応する復号化フレーム
数を決定して、各物体に対応する復号化フレーム数情報
を出力する復号化フレーム数決定手段とを備え、上記復
号化器を、各物体に対応する単位時間当たりの復号化処
理量が上記復号化フレーム数情報が示す単位時間当たり
のフレーム数に相当するものとなるよう、復号化処理を
行う構成としたものである。

【００５０】この発明（請求項７）は、請求項６記載の
画像出力装置において、上記復号化器を、上記各物体に
対応する復号化フレーム数情報に応じて単位時間当たり
の復号化フレーム数を変更する際、上記符号化画像オブ
ジェクトデータに対して施された符号化処理の種類に基
づいて、復号化処理の対象とするフレーム及び復号化処
理の対象としない間引きフレームを決定する構成とした
ものである。

【００５１】この発明（請求項８）に係る画像再生方法
は、所定の画像を構成する個々の物体に対応する画像オ
ブジェクトデータを符号化して得られる、表示処理単位
であるフレーム毎に表示時刻が設定された符号化画像オ
ブジェクトデータに対して、復号化処理及び合成処理を
施して、上記所定の画像を表示するための再生データを
出力する画像再生方法であって、上記各物体に対応する
符号化画像オブジェクトデータを復号化して得られる復
号化データを合成して1 つのフレームに対応する合成デ
ータを生成する合成処理を、フレーム毎に繰り返し行う
復号データ合成処理と、上記合成データを所定数のフレ
ーム分だけバッファに格納するバッファ処理と、上記バ
ッファに格納された各合成データに対応する設定表示時
刻と、表示処理能力により決定される表示予定時刻との
比較結果に基づいて、特定のフレームに対応する合成デ
ータを選択して、上記再生データとして出力する再生デ
ータ出力処理と、上記設定表示時刻と表示予定時刻の比
較結果に基づいて上記合成処理の周期を決定して合成周
期情報を出力する画像データ合成周期決定処理とを含
み、上記画像データ合成処理では、上記合成周期情報が
示す合成周期でもって、上記合成処理を行うものであ
る。

【００５２】この発明（請求項９）に係る画像再生方法
は、所定の画像を構成する個々の物体に対応する画像オ
ブジェクトデータを符号化して得られる、表示処理単位
であるフレーム毎に表示時刻が設定された符号化画像オ
ブジェクトデータに対して、復号化処理及び合成処理を
施して、所定の画像を表示するための再生データを出力
する画像再生方法であって、上記各物体に対応する符号
化画像オブジェクトデータを復号化して、各物体に対応
する復号化データを出力する復号化処理と、上記各物体
に対応する復号化データを合成して合成データを所定数
のフレーム分だけバッファに格納する合成処理と、上記
バッファに格納された各フレームの合成データに対応す
る設定表示時刻と、表示処理能力により決定される表示
予定時刻との比較結果に基づいて、特定のフレームに対
応する合成データを選択して、上記再生データとして出
力する再生データ出力処理と、上記設定表示時刻と表示
予定時刻の比較結果に基づいて、単位時間当たりに復号
化処理が行われる各物体に対応する復号化フレーム数を
決定して、各物体に対応する復号化フレーム数情報を出
力する復号化フレーム数決定処理とを含み、上記復号化
処理では、各物体に対応する単位時間当たりの復号化処
理量が上記復号化フレーム数情報が示す単位時間当たり
のフレーム数に相当するものとなるよう、符号化画像オ
ブジェクトデータを復号化するものである。

【００５３】この発明（請求項１０）に係る画像再生方
法は、所定の画像を構成する個々の物体に対応する画像
オブジェクトデータを符号化して得られる、表示処理単
位であるフレーム毎に表示時刻が設定された符号化画像
オブジェクトデータに対して、復号化処理及び合成処理
を施して、上記所定の画像を表示するための再生データ
を出力する画像データ再生方法であって、上記各物体に
対応する符号化画像オブジェクトデータを復号化して、
各物体に対応する復号化データを出力する復号化処理
と、上記各物体に対応する復号化データを合成して合成
データを所定数のフレーム分だけバッファに格納する合
成処理と、上記バッファに格納された各フレームの合成
データに対応する設定表示時刻と、表示処理能力により
決定される表示予定時刻との比較結果に基づいて、特定
のフレームに対応する合成データを選択して、上記再生
データとして出力する再生データ出力処理と、上記バッ
ファへ合成データを書き込む際の待ち時間に基づいて、
単位時間当たりに復号化処理が行われる各物体に対応す
る復号化フレーム数を決定して、各物体に対応する復号
化フレーム数情報を出力する復号化フレーム数決定処理
とを含み、上記復号化処理では、各物体に対応する単位
時間当たりの復号化処理量が上記復号化フレーム数情報
が示す単位時間当たりのフレーム数に相当するものとな
るよう、符号化画像オブジェクトデータを復号化するも
のである。

【００５４】この発明（請求項１１）に係る画像再生方
法は、所定の画像を構成する個々の物体に対応する画像
オブジェクトデータを符号化して得られる、表示処理単
位であるフレーム毎に表示時刻が設定された符号化画像
オブジェクトデータに対して、復号化処理及び合成処理
を施して、所定の画像を表示するための再生データを出
力する画像再生方法であって、上記各物体に対応する符
号化画像オブジェクトデータを復号化して、各物体に対
応する復号化データを出力する復号化処理と、上記複数
の復号化データを合成して合成データを所定数のフレー
ム分だけバッファに格納する合成処理と、上記バッファ
に格納された各フレームの合成データに対応する設定表
示時刻と、表示処理能力により決定される表示予定時刻
との比較結果に基づいて、特定のフレームに対応する合
成データを選択して、上記再生データとして出力する再
生データ出力処理と、上記バッファに格納された各フレ
ームの合成データに対応する設定表示時刻と、表示処理
能力により決定される表示予定時刻との比較結果、及び
上記バッファへ合成データを書き込む際の待ち時間に基
づいて、単位時間当たりに復号化処理が行われる各物体
に対応する復号化フレーム数を決定して、各物体に対応
する復号化フレーム数情報を出力する復号化フレーム数
決定処理とを含み、上記復号化処理では、各物体に対応
する単位時間当たりの復号化処理量が上記復号化フレー
ム数情報が示す単位時間当たりのフレーム数に相当する
ものとなるよう、符号化画像オブジェクトデータを復号
化するものである。

【００５５】この発明（請求項１２）に係るデータ記憶
媒体は、画像データをコンピュータにより処理するため
のプログラムを格納したデータ記憶媒体であって、上記
プログラムとして、請求項８記載の画像再生方法による
再生データの生成処理をコンピュータに行わせるための
画像再生プログラムを格納したものである。

【００５６】この発明（請求項１３）に係るデータ記憶
媒体は、画像データをコンピュータにより処理するため
のプログラムを格納したデータ記憶媒体であって、上記
プログラムとして、請求項９記載の画像再生方法による
再生データの生成処理をコンピュータに行わせるための
画像再生プログラムを格納したものである。

【００５７】この発明（請求項１４）に係るデータ記憶
媒体は、画像データをコンピュータにより処理するため
のプログラムを格納したデータ記憶媒体であって、上記
プログラムとして、請求項１０記載の画像再生方法によ
る再生データの生成処理をコンピュータに行わせるため
の画像再生プログラムを格納したものである。

【００５８】この発明（請求項１５）に係るデータ記憶
媒体は、画像データをコンピュータにより処理するため
のプログラムを格納したデータ記憶媒体であって、上記
プログラムとして、請求項１１記載の画像再生方法によ
る再生データの生成処理をコンピュータに行わせるため
の画像再生プログラムを格納したものである。

【００５９】この発明(請求項１６）に係る画像出力装
置は、所定の画像を構成する複数の物体の各々に対応す
る画像オブジェクトデータを受け、これらの複数の画像
オブジェクトデータを合成して、上記所定の画像を表示
するための再生データを出力する画像出力装置であっ
て、上記複数の画像オブジェクトデータを、該各物体の
フレームを更新する周期を示すオブジェクト周期情報、
及び上記合成画像のフレームを更新する周期を示す合成
画像周期情報を参照して合成するオブジェクト合成手段
と、制御信号に基づいて、上記周期情報のいずれかを、
フレームの更新周期が該制御信号に応じた値となるよう
変更する周期情報変更手段とを備え、上記合成手段を、
変更された周期情報を、これに対応する変更前の周期情
報に代えて参照して、上記複数の画像オブジェクトデー
タの合成を行う構成としたものである。

【００６０】この発明(請求項１７）に係る画像出力方
法は、所定の画像を構成する複数の物体の各々に対応す
る画像オブジェクトデータを受け、これらの複数の画像
オブジェクトデータを合成して、上記所定の画像を表示
するための再生データを出力する画像出力方法であっ
て、上記複数の画像オブジェクトデータを合成する周期
を、該各物体のフレームを更新する周期を示すオブジェ
クト周期情報、及び上記合成画像のフレームを更新する
周期を示す合成画像周期情報を参照して決定する合成周
期決定処理と、制御信号に基づいて、上記周期情報のい
ずれかを、フレームの更新周期が該制御信号に応じた値
となるよう変更する周期情報変更処理とを含み、上記合
成周期決定処理では、変更された周期情報を、これに対
応する変更前の周期情報に代えて参照するものである。

【００６１】この発明(請求項１８）に係るデータ記憶
媒体は、画像データをコンピュータにより処理するため
のプログラムを格納したデータ記憶媒体であって、上
記プログラムとして、請求項１７記載の画像再生方法に
よる再生データの生成処理をコンピュータにより行うた
めの画像再生プログラムを格納したものである。

【００６２】この発明(請求項１９）に係るオブジェク
ト合成装置は、所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを、上記画像に付随する補
助情報に基づいて合成するオブジェクト合成装置であっ
て、上記補助情報として、物体のフレームを更新する周
期を示す、各物体に対応するオブジェクト周期情報、及
び画像オブジェクトデータに対する表示処理の方法を示
す表示方法情報を含むプログラム情報を格納するプログ
ラム情報格納手段と、上記プログラム情報格納手段に格
納されたプログラム情報に基づいて、上記物体毎に、画
像オブジェクトデータに対する表示処理の方法を判定
し、判定結果を示す判定信号を出力する判定手段と、上
記判定信号を受け、上記プログラム情報に対して、上記
判定の対象となった物体のオブジェクト周期情報を上記
判定結果に応じて変更する情報更新処理を施す周期情報
更新手段と、上記情報更新処理が施されたプログラム情
報を用いて、上記各物体に対応する画像オブジェクトデ
ータを一定周期で合成する合成手段とを備えたものであ
る。

【００６３】この発明(請求項２０）は、請求項１９記
載の画像オブジェクトデータ合成装置において、上記プ
ログラム情報を、上記個々のオブジェクトの合成により
所定の画像を再生するための合成情報を含むものとし、
該合成情報を上記表示方法情報を含むものとし、上記プ
ログラム情報格納手段を、上記プログラム情報に含まれ
る合成情報を格納する合成情報メモリを有する構成と
し、上記判定手段を、上記合成情報メモリに格納されて
いる合成情報を受け、該合成情報に含まれる表示方法情
報に基づいて、上記物体毎に、画像オブジェクトデータ
に対する表示処理の方法を判定する構成としたものであ
る。

【００６４】この発明(請求項２１）は、請求項１９記
載の画像オブジェクトデータ合成装置において、上記プ
ログラム情報を、上記個々の物体に付随するサイド情報
を含むものとし、該サイド情報を上記表示方法情報を含
むものとし、上記プログラム情報格納手段を、上記プロ
グラム情報に含まれる各物体に対応するサイド情報を格
納するサイド情報メモリを有する構成とし、上記判定手
段を、上記サイド情報メモリに格納されているサイド情
報を受け、該サイド情報に含まれる表示方法情報に基づ
いて、上記物体毎に、画像オブジェクトデータに対する
表示処理の方法を判定する構成としたものである。

【００６５】この発明(請求項２２）は、請求項１９記
載のオブジェクト合成装置において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報を、該物
体が、フレームに対応する画像オブジェクトデータを繰
り返し再生する必要があるか否かを示すフラグとしたも
のである。

【００６６】この発明(請求項２３）は、請求項１９記
載のオブジェクト合成装置において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報を、該物
体のオブジェクト周期情報を変更可能であるか否かを示
すフラグとしたものである。

【００６７】この発明(請求項２４）は、請求項１９記
載のオブジェクト合成装置において、上記周期情報更新
手段を、上記情報更新処理として、上記物体のオブジェ
クト周期情報を、上記物体のフレーム更新周期が、上記
合成手段における画像オブジェクトデータを合成する合
成周期の整数倍となるよう更新する処理を行う構成とし
たものである。

【００６８】この発明(請求項２５）は、請求項２４記
載のオブジェクト合成装置において、上記周期情報更新
手段を、上記オブジェクト周期情報の値が、上記合成周
期以下であるとき、上記物体のフレーム更新周期が合成
周期の１倍となるよう、該オブジェクト周期情報を更新
する構成としたものである。

【００６９】この発明(請求項２６）は、請求項２４記
載のオブジェクト合成装置において、上記周期情報更新
手段を、上記オブジェクト周期情報の値が、上記合成周
期よりも大きいときには、上記物体のフレーム更新周期
が、上記合成周期の倍数値のうちの、上記オブジェクト
周期情報の値以上であって最小値となるよう、上記オブ
ジェクト周期情報を更新する構成としたものである。

【００７０】この発明(請求項２７）は、請求項２４記
載のオブジェクト合成装置において、上記周期情報更新
手段を、上記オブジェクト周期情報の値が、上記合成周
期よりも大きいときには、上記合成周期の倍数値のうち
の、上記オブジェクト周期情報の値以下であって最大の
値である第１の候補値と、上記合成周期の倍数値のうち
の、上記オブジェクト周期情報の値以上である最小の値
である第２の候補値とを算出し、上記物体のフレーム更
新周期が、第１の候補値及び第２の候補値のうちの、上
記オブジェクト周期情報の値に近い方の値となるよう、
上記オブジェクト周期情報を更新する構成としたもので
ある。

【００７１】この発明(請求項２８）に係るオブジェク
ト合成方法は、所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを、上記画像に付随する補
助情報に基づいて合成するオブジェクト合成方法であっ
て、上記補助情報である、物体のフレームを更新する周
期を示す、各物体に対応するオブジェクト周期情報、及
び画像オブジェクトデータに対する表示処理の方法を示
す表示方法情報を含むプログラム情報に基づいて、上記
物体毎に、画像オブジェクトデータに対する表示処理の
方法を判定する判定処理と、上記プログラム情報に対し
て、上記判定の対象となった物体のオブジェクト周期情
報を上記判定処理の結果に応じて変更する情報更新処理
を施す周期情報更新処理と、上記情報更新処理が施され
たプログラム情報を用いて、上記各物体に対応する画像
オブジェクトデータを一定周期で合成する合成処理とを
含むものである。

【００７２】この発明(請求項２９）は、請求項２８記
載のオブジェクト合成方法において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報として、
該物体が、フレームに対応する画像オブジェクトデータ
を繰り返し再生する必要があるか否かを示すフラグを用
いるものである。

【００７３】この発明(請求項３０）は、請求項２８記
載のオブジェクト合成方法において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報として、
該物体のオブジェクト周期情報を変更可能であるか否か
を示すフラグを用いるものである。

【００７４】この発明(請求項３１）は、請求項２８記
載のオブジェクト合成方法において、上記周期情報更新
処理では、上記情報更新処理として、上記物体のオブジ
ェクト周期情報を、上記物体のフレーム更新周期が、上
記合成手段における画像オブジェクトデータを合成する
合成周期の整数倍となるよう更新する処理を行うもので
ある。

【００７５】この発明(請求項３２）は、請求項３１記
載のオブジェクト合成方法において、上記周期情報更新
処理では、上記オブジェクト周期情報の値が、上記合成
周期以下であるとき、上記物体のフレーム更新周期が合
成周期の１倍となるよう、該オブジェクト周期情報を更
新するものである。

【００７６】この発明(請求項３３）は、請求項３１記
載のオブジェクト合成方法において、上記周期情報更新
処理では、上記オブジェクト周期情報の値が、上記合成
周期よりも大きいときには、上記物体のフレーム更新周
期が、上記合成周期の倍数値のうちの、上記オブジェク
ト周期情報の値以上であって最小値となるよう、上記オ
ブジェクト周期情報を更新するものである。

【００７７】この発明(請求項３４）は、請求項３１記
載のオブジェクト合成方法において、上記周期情報更新
処理では、上記オブジェクト周期情報の値が、上記合成
周期よりも大きいときには、上記合成周期の倍数値のう
ちの、上記オブジェクト周期情報の値以下であって最大
の値である第１の候補値と、上記合成周期の倍数値のう
ちの、上記オブジェクト周期情報の値以上である最小の
値である第２の候補値とを算出し、上記物体のフレーム
更新周期が、第１の候補値及び第２の候補値のうちの、
上記オブジェクト周期情報の値に近い方の値となるよ
う、上記オブジェクト周期情報を更新するものである。

【００７８】この発明(請求項３５）に係るデータ記憶
媒体は、所定の画像を構成する個々の物体に対応する画
像オブジェクトデータを、上記画像に付随する補助情報
に基づいて合成するオブジェクト合成処理を、コンピュ
ータにより行うためのプログラムを格納したデータ記憶
媒体であって、オブジェクト合成処理では、上記コンピ
ュータが上記プログラムに従って、上記補助情報であ
る、物体のフレームを更新する周期を示す、各物体に対
応するオブジェクト周期情報、及び画像オブジェクトデ
ータに対する表示処理の方法を示す表示方法情報を含む
プログラム情報に基づいて、上記物体毎に、画像オブジ
ェクトデータに対する表示処理の方法を判定し、上記プ
ログラム情報に対して、上記判定の対象となった物体の
オブジェクト周期情報を上記判定処理の結果に応じて変
更する情報更新処理を施し、上記情報更新処理が施され
たプログラム情報を用いて、上記各物体に対応する画像
オブジェクトデータを一定周期で合成するものである。

【００７９】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。（実施の形態１）図１は、本発明の実施の形態１による
画像出力装置を説明するためのブロック図である。この
実施の形態１の画像出力装置１１０は、第１及び第２の
物体に対応する復号化データ（つまり第１及び第２の符
号化画像オブジェクトデータに復号化処理を施して得ら
れるデータ）を合成する合成処理を、本装置の演算処理
能力に応じて制御する構成となっている。

【００８０】つまり、上記画像出力装置１１０は、図１
８に示す従来の画像出力装置１１６０と同様、ネットワ
ークＮの伝送経路から受信した図１６(a) に示すデータ
構造を有する多重ビットストリームＢｓから、上記第
１，第２の物体に対応するパケットを選択して、各物体
に対応する符号化画像オブジェクトデータＥ１，Ｅ２及
び対応するタイムスタンプＴｓ１，Ｔｓ２を抽出する分
離器１１を有している。

【００８１】また、この画像出力装置１１０は、上記符
号化画像オブジェクトデータＥ１をタイムスタンプＴｓ
１に基づいて復号化して、上記第１の物体に対応する復
号化データＤ１を出力する第１の復号化器１１ａと、上
記符号化画像オブジェクトデータＥ２をタイムスタンプ
Ｔｓ２に基づいて復号化して、上記第２の物体に対応す
る復号化データＤ２を出力する第２の復号化器１１ｂ
と、該両復号化データを所定の合成周期Ｐｃｍｐでもっ
て合成して、所要シーンに対応する合成データＣｄを出
力する画像データ合成手段１２とを有している。この画
像データ合成手段１２は、合成周期Ｐｃｍｐを示す合成
周期情報ＤＰ０を出力するとともに、更新された合成周
期情報ＤＰ１に基づいて、上記合成周期Ｐｃｍｐを更新
する構成となっている。なお、この画像データ合成手段
は、数フレーム分の合成データを格納する出力バッファ
（図示せず）を有している。

【００８２】また、上記画像出力装置１１０は、画像デ
ータ合成手段１２の出力バッファに格納されている合成
データＣｄを、所定のバッファ制御信号Ｂｃｔにより所
定数のフレーム分（ここでは４フレーム分）だけ読み出
して格納するバッファ１３と、該バッファ１３に格納さ
れている格納データ（所定の合成データ）Ｂｄを読み出
し、該読み出したデータを再生データＲｄとして表示装
置１００に出力する画像表示手段１４と、上記合成周期
Ｐｃｍｐを更新して、更新された合成周期を示す情報Ｄ
Ｐ１を上記画像データ合成手段１２に出力する画像デー
タ合成周期決定手段１５と、本画像出力装置１１０の処
理能力により決まる画像表示周期Ｔｐに基づいて、実際
に上記表示装置１００にて画像表示が行われる表示予定
時刻Ｔを示す情報ＤＴｒを出力する制御手段１５とを有
している。

【００８３】ここで、上記画像データ合成周期決定手段
１５は、上記バッファ１３からの、上記タイムスタンプ
Ｔｓ１，Ｔｓ２により示される設定表示時刻Ｔｏｕｔを
示す情報ＤＴｏｕｔ，上記制御手段１６からの表示予定
時刻Ｔを示す情報ＤＴｒ，及び画像データ合成手段１２
からの合成周期Ｐｃｍｐを示す情報ＤＰ０に基づいて、
上記合成周期を更新して、更新された合成周期を示す情
報ＤＰ１を出力する構成となっている。また、上記画像
表示手段１４は、上記表示予定時刻を示す情報ＤＴｒ及
び設定表示時刻を示す情報ＤＴｏｕｔに基づいて、上記
バッファ１３から所定の合成データを読みだして出力す
る構成となっている。さらに、この画像表示手段１４
は、上記合成データをバッファから読み出すための処理
の回数をカウントするカウンタ（図示せず）を有してお
り、このカウンタの出力値ｂｃが所定値（ここでは
「４」）になったとき、上記バッファ制御信号Ｂｃｔを
上記バッファ１３に出力する構成となっている。

【００８４】図２は、上記バッファ１３の構成、及び該
バッファに格納される合成データの形式を説明するため
の図であり、図２(a) はバッファにおけるデータ記憶領
域を示している。上記バッファ１３は、４つのデータ格
納領域Ｒｍａ〜Ｒｍｄを有しており、各データ格納領域
Ｒｍａ〜Ｒｍｄはそれぞれ、データ格納領域を識別する
ためのデータ識別子Ｄｉｄの値として、上記カウンタの
出力値ｂｃに相当する２ビットの値を格納するカウンタ
値格納部Ｂｍａ〜Ｂｍｄと、合成データを格納するため
のｎバイトのデータ格納部Ｇｍａ〜Ｇｍｄと、各合成デ
ータに対応する設定表示時刻Ｔｏｕｔを示す情報ＤＴｏ
ｕｔを格納する時刻情報格納部Ｔｍａ〜Ｔｍｄとを有し
ている。

【００８５】また、図２(b) ，(c) は、それぞれ画像出
力装置における、例えばデータ処理の開始時刻などの表
示基準時刻（Ｔ＝０ミリ秒）に対する表示予定時刻Ｔ
（Ｔ＝１０００ミリ秒），表示予定時刻Ｔ（Ｔ＝１４０
０ミリ秒）における、上記バッファに格納されているデ
ータを示している。なおここでは、本画像出力装置１１
０の処理能力により決まる画像表示周期Ｔｐは４００ミ
リ秒としている。

【００８６】次に動作について説明する。ネットワーク
Ｎ上の所定の伝送経路から、第１，第２の物体に対応す
る符号化画像オブジェクトデータを格納したパケットを
含むビットストリームＢｓが本画像出力装置１１０に入
力されると、上記分離器１１では、第１，第２の物体の
パケットが選択されて、各物体に対応する符号化画像オ
ブジェクトデータＥ１，Ｅ２及びタイムスタンプＴｓ
１，Ｔｓ２がフレーム毎に第１，第２の復号化器１１
ａ，１１ｂに出力される。すると、各復号化器１１ａ，
１１ｂでは、上記符号化画像オブジェクトデータＥ１，
Ｅ２に対する復号化処理がフレーム毎に、それぞれタイ
ムスタンプＴｓ１，Ｔｓ２から決まる復号処理時刻に行
われ、復号化データＤ１，Ｄ２が出力される。

【００８７】そして、各復号化データＤ１及びＤ２が画
像データ合成手段１２に入力されると、該合成手段１２
では、所定の合成周期Ｐｃｍｐでもって所要シーンに対
応する合成データＣｄが生成されてバッファ１３に出力
される。このとき、画像データ合成周期決定手段１５で
は、上記バッファ１３から出力される、上記タイムスタ
ンプにより示される設定表示時刻Ｔｏｕｔを示す情報Ｄ
Ｔｏｕｔ，制御手段１５からの表示予定時刻Ｔを示す情
報ＤＴｒ，及び上記合成手段１２からの合成周期Ｐｃｍ
ｐを示す情報ＤＰ０に基づいて、上記合成周期Ｐｃｍｐ
に対する更新処理を行われて、この更新処理により得ら
れた合成周期を示す情報ＤＰ１が上記合成手段１２に出
力される。すると、上記合成手段１２では、合成処理
が、該更新された合成周期に基づいて行われる。そし
て、上記画像表示手段１４では、上記表示予定時刻情報
ＤＴｒ及び設定表示時刻情報ＤＴｏｕｔに基づいて上記
バッファ１３から、所定の合成データＢｄが再生データ
Ｒｄとして表示装置１００に読み出され、表示装置１０
０ではこの再生データＲｄに基づいて所要シーンの表示
が行われる。

【００８８】以下、上記バッファ１３及び画像表示手段
１４の動作について詳しく説明する。図３は、画像表示
手段１４が上記バッファ１３から格納データＢｄを読み
だす処理を説明するためのフローチャートである。ま
ず、上記合成処理が開始されると、上記画像表示手段１
４におけるカウンタの出力値ｂｃが「０」に初期化され
（ステップＳ３１）、上記所定の合成周期Ｐｃｍｐでも
って、所要シーンに対応する各フレームの合成データＣ
ｄが生成される。また、画像表示手段１４では、上記合
成処理の開始と同時に計時動作が開始され、計時時刻Ｍ
ｔが、制御手段１５からの時刻情報ＤＴｒにより決まる
最初の表示予定時刻Ｔに達するまで、格納データの読み
出し処理を待機する状態が維持される（ステップＳ３
２）。

【００８９】そしてこの間に、４フレーム分の合成デー
タＣｄ、及び、対応する設定表示時刻Ｔｏｕｔを示す情
報ＤＴｏｕｔが、上記バッファ１３の、上記各データ識
別子Ｄｉｄの値「０」，「１」，「２」，「３」に対応
するデータ格納領域Ｒｍａ〜Ｒｍｄに順次格納される。
この際、各フレームの合成データＣｄは、上記各データ
格納領域におけるｎビットのデータ格納部Ｇｍａ〜Ｇｍ
ｄに格納され、対応する設定表示時刻Ｔｏｕｔを示す情
報ＤＴｏｕｔは、所定ビットの時刻格納領域Ｔｍａ〜Ｔ
ｍｄに格納される。

【００９０】このようにバッファに格納された合成デー
タＣｄは、画像表示手段１４により、上記設定表示時刻
情報ＤＴｏｕｔ及び表示予定時刻情報ＤＴｒに基づいて
読みだされる（ステップＳ３２〜Ｓ３９）。すなわち、
上記画像表示手段１４における計時時刻Ｍｔが、表示予
定時刻Ｔになると、該画像表示手段１４におけるカウン
タの出力値ｂｃと値が同一であるデータ識別子Ｄｉｄに
対応する、バッファ１３内の設定表示時刻情報ＤＴｏｕ
ｔが該画像表示手段１４に入力され、上記表示予定時刻
Ｔと設定表示時刻Ｔｏｕｔの差分の絶対値（｜Ｔｏｕｔ
−Ｔ｜）が比較指標値として求められ、この指標値が、
閾値（つまり画像データ合成周期Ｐｃｍｐの０．５倍）
と比較される（ステップＳ３４）。

【００９１】この比較の結果、上記指標値が閾値以下で
ある場合は、上記カウンタの出力値ｂｃと値が等しいデ
ータ識別子Ｄｉｄに対応する、バッファ内の合成データ
が、上記画像表示手段１４により選択されて、再生デー
タＲｄとして表示装置１００へ出力される（ステップＳ
３５）。このようにバッファ１３から合成データが読み
だされたときには、ステップＳ３２における待機の目標
時間である表示予定時刻Ｔが、次の表示予定時刻に更新
される（ステップＳ３５ａ）。

【００９２】その後、上記画像表示手段１４におけるカ
ウンタの出力値ｂｃが１つインクリメントされ（ステッ
プＳ３７）、インクリメントしたカウンタの出力値ｂｃ
が（ｂｃ＝４）であるか否かの判定が行われる（ステッ
プＳ３８）。この判定の結果、インクリメントしたカウ
ンタの出力値ｂｃが（ｂｃ＝４）でなければ、上記ステ
ップＳ３２の処理が再度行われ、上記カウンタの出力値
ｂｃが（ｂｃ＝４）であれば、上記カウンタの出力値ｂ
ｃがｂｃ＝０にセットされる（ステップＳ３９）。この
ステップＳ３９の処理は、バッファ１３に格納されてい
る合成データの内容を更新し、再生データとして利用で
きない古い合成データを捨てることに相当する。その
後、画像表示手段１４の処理はステップＳ３２の処理に
戻る。

【００９３】一方、上記ステップＳ３４での判定の結
果、指標値が閾値よりも大きい場合は、カウンタの出力
値ｂｃとその値が等しいデータ識別子を有する合成デー
タは、表示予定時刻Ｔにおいて出力される合成データと
して選択されず、ステップＳ３６にてこの合成データの
設定表示時刻Ｔｏｕｔと表示予定時刻Ｔとが比較され
る。

【００９４】この比較の結果、設定表示時刻Ｔｏｕｔが
表示予定時刻Ｔよりも大きい場合、画像表示手段１４に
おける、表示予定時刻と等しい計時時刻Ｍｔが、合成デ
ータに対応する設定表示時刻に達するまでには、まだ７
５ミリ秒以上あるということであるので、ステップＳ３
２における待機の目標時間である表示予定時刻Ｔが、次
の表示予定時刻に更新される（ステップＳ３６ａ）。そ
の後、画像表示手段１４の処理はそのまま、ステップＳ
３２に戻り、計時時刻Ｍｔが、上記更新された表示予定
時刻Ｔに達するまで待機状態が続く。

【００９５】上記ステップＳ３６での比較の結果、設定
表示時刻Ｔｏｕｔが表示予定時刻Ｔよりも小さい場合、
ステップＳ３７〜Ｓ３９の処理が行われ、画像表示手段
１４の処理はステップＳ３２の待機状態となる。

【００９６】以下、上記ステップＳ３２での待機状態に
て、例えば、バッファ１３に図２(b) に示すデータが格
納されている場合について、具体的に説明する。この場
合、上記ステップＳ３２では、画像表示手段１４におけ
る計時時刻Ｍｔが表示予定時刻（Ｔ＝１０００ミリ秒）
になるのを待っており、また、画像表示手段１４におけ
るカウンタの出力値ｂｃは「０」であるとする。また、
バッファ１３のデータ格納部Ｇｍａ〜Ｇｍｄには、設定
表示時刻Ｔｏｕｔが７５０ミリ秒，９００ミリ秒，１０
５０ミリ秒，１２００ミリ秒であるフレームに対応する
合成データＣｄ５，Ｃｄ６，Ｃｄ７，Ｃｄ８が格納され
ている。

【００９７】ここで、上記合成データＣｄ５〜Ｃｄ８
は、本画像出力装置が合成処理を開始してから生成され
た第５〜第８番目のフレームに対応するデータであり、
設定表示時刻Ｔが１５０ミリ秒，３００ミリ秒，４５０
ミリ秒，６００ミリ秒であるフレームに対応する第１〜
第４の合成データはバッファ１３から破棄されている。
また、バッファ１３のカウンタ値格納部Ｂｍａ，Ｂｍ
ｂ，Ｂｍｃ，Ｂｍｄには、上記各合成データＣｄ５，Ｃ
ｄ６，Ｃｄ７，Ｃｄ８に対応するデータ識別子Ｄｉｄの
値として「０」，「１」，「２」，「３」が格納され、
時刻情報格納部Ｔｍａ，Ｔｍｂ，Ｔｍｃ，Ｔｍｄには、
対応する設定表示時刻Ｔｏｕｔとして７５０ミリ秒，９
００ミリ秒，１０５０ミリ秒，１２００ミリ秒が格納さ
れている。

【００９８】なお、図４には、上記表示予定時刻Ｔ（１
０００ミリ秒）、バッファ１３に格納されている各合成
データＣｄ５〜Ｃｄ８の設定表示時刻Ｔｏｕｔ（７５０
ミリ秒，９００ミリ秒，１０５０ミリ秒，１２００ミリ
秒）及び合成処理の周期Ｐｃｍｐ（１５０ミリ秒）につ
いての大小関係が示されている。ステップＳ３３にて、
計時時刻Ｍｔが表示予定時刻Ｔ（１０００ミリ秒）にな
るまで処理の待機が行われた後、ステップＳ３３にて、
上記カウンタの出力値ｂｃ「０」と値が一致するデータ
識別子を有する合成データＣｄ５の設定表示時刻Ｔｏｕ
ｔ（７５０ミリ秒）が画像表示手段１４に入力される。

【００９９】すると、続くステップＳ３４にて、画像表
示手段１４では、下記の式（Ａ）を満たすか否かの判定
が行われる。｜Ｔｏｕｔ−Ｔ｜≦０．５×Ｐｃｍｐ …（Ａ）この場合、Ｔｏｕｔ＝７５０，Ｔ＝１０００，Ｐｃｍｐ
＝１５０であるため、｜Ｔｏｕｔ−Ｔ｜＝２５０，０．
５×Ｐｃｍｐ＝７５となり、上記式（Ａ）を満たさな
い。

【０１００】この結果、ステップＳ３５にて、上記画像
表示装置１４では、以下の式（Ｂ）を満たすか否かの判
定が行われる。Ｔｏｕｔ＞Ｔ …（Ｂ）この場合には、Ｔｏｕｔ＝７５０，Ｔ＝１０００である
ため、上記式（Ｂ）を満たさない。

【０１０１】この結果、上記画像表示手段１４では、内
部のカウンタの出力値ｂｃを１つインクリメントして
（ステップＳ３７）、カウンタの出力値ｂｃが４である
か否かの判定，つまり以下の式（Ｃ）を満たすか否かの
判定が行われる（ステップＳ３８）。ｂｃ＝４ …（Ｃ）この場合は、上記カウンタの出力値ｂｃは「１」である
ため、上記式（Ｃ）を満たさないため、上記画像表示手
段１４の処理はステップＳ３２での待機状態に戻る。

【０１０２】このとき、画像出力装置の計時時刻Ｍｔは
すでに表示予定時刻Ｔ（１０００ミリ秒）に達している
ため、直ちにステップＳ３３での処理が行われ、上記カ
ウンタの出力値ｂｃである「１」と値が一致するデータ
識別子Ｄｉｄを有する合成データＣｄ６の設定表示時刻
Ｔｏｕｔ（９００ミリ秒）が画像表示手段１４に入力さ
れる。

【０１０３】設定表示時刻が９００ミリ秒である場合
も、上記設定表示時刻が７５０ミリ秒である場合と同
様、上記式（Ａ），（Ｂ）及び（Ｃ）を満たさないた
め、画像表示手段１４では、上記と同様にステップＳ３
４，Ｓ３６，Ｓ３７，Ｓ３８の処理が行われる。これに
より画像表示手段１４の内部のカウンタの出力値ｂｃは
「２」となる。

【０１０４】さらに、上記画像表示手段１４では、ステ
ップＳ３２の処理後、ステップＳ３３での処理が行わ
れ、上記カウンタの出力値ｂｃである「２」とその値が
等しいデータ識別子を有する合成データＣｄ７の設定表
示時刻Ｔｏｕｔ（１０５０ミリ秒）が入力される。

【０１０５】設定表示時刻が１０５０ミリ秒である場合
は、上記式（Ａ）を満たすため、画像表示手段１４で
は、上記ステップＳ３４の判定処理の後に合成データＣ
ｄ７がバッファ１３から読みだされ、この読み出された
合成データＣｄ７が再生データＲｄとして表示装置１０
０に出力される（ステップＳ３５）。続いて、ステップ
Ｓ３２における待機の目標時間である表示予定時刻Ｔ
（＝１０００ミリ秒）が、次の表示予定時刻Ｔ（＝１４
００ミリ秒）に更新される（ステップＳ３５ａ）。その
後、上記と同様にステップＳ３７，Ｓ３８の処理が行わ
れて、画像表示手段１４の処理は、ステップＳ３２の処
理に戻る。このとき画像表示手段１４の内部のカウンタ
の出力値ｂｃは「３」となっている。ただし、この場合
ステップＳ３５にてバッファから合成データが読み出さ
れたので、ステップＳ３５ａにて、ステップＳ３２にお
ける待機の目標時間である表示予定時刻Ｔが、次の表示
予定時刻（１４００ミリ秒）に更新されている。このた
め、画像表示手段１４の計時時刻Ｍｔが表示予定時刻
（１４００ミリ秒）まで待機状態が維持される。する
と、上記画像表示手段１４では、ステップＳ３２の処理
後、ステップＳ３３での処理が行われ、上記バッファカ
ウンタの出力値ｂｃである「３」とその値が一致するデ
ータ識別子Ｄｉｄを有する合成データＣｄ８の設定表示
時刻Ｔｏｕｔ（１２００ミリ秒）が入力される。

【０１０６】設定表示時刻が１２００ミリ秒である場合
は、上記式（Ａ）及び式（Ｂ）は満たされないため、画
像表示手段１４では、上記と同様にステップＳ３４，Ｓ
３６，Ｓ３７，Ｓ３８の処理が行われる。つまり、内部
のバッファカウンタの出力値ｂｃを１つインクリメント
して（ステップＳ３７）、バッファカウンタの出力値ｂ
ｃが４であるか否かの判定，つまり以下の式（Ｃ）を満
たすか否かの判定が行われる（ステップＳ３８）。ｂｃ＝４ …（Ｃ）この場合は、上記カウンタの出力値ｂｃは「４」である
ため、上記式（Ｃ）が満たされるため、さらに、上記カ
ウンタの出力値ｂｃは「０」にリセットされて（ステッ
プＳ３９）、上記画像表示手段１４の処理はステップＳ
３２での待機状態に戻る。

【０１０７】上記バッファ１３では、上記画像表示手段
１４におけるバッファカウンタの出力値が「０」にリセ
ットされたとき、該画像表示手段１４からのバッファ制
御信号Ｂｃｔを受けて、バッファ内の合成データの更新
が行われる。

【０１０８】なお、図２(c) には、合成データが更新さ
れたバッファのデータ格納領域が示されており、バッフ
ァ１３のデータ格納部Ｇｍａ，Ｇｍｂ，Ｇｍｃ，Ｇｍｄ
には、設定表示時刻Ｔｏｕｔが１３５０ミリ秒，１５０
０ミリ秒，１６５０ミリ秒，１８００ミリ秒であるフレ
ームに対応する合成データＣｄ９，Ｃｄ１０，Ｃｄ１
１，Ｃｄ１２が格納されている。また、バッファ１３の
カウンタ値格納部Ｂｍａ，Ｂｍｂ，Ｂｍｃ，Ｂｍｄに
は、上記各合成データに対応するデータ識別子Ｄｉｄの
値として「０」，「１」，「２」，「３」が格納され、
時刻情報格納部Ｔｍａ，Ｔｍｂ，Ｔｍｃ，Ｔｍｄには、
上記１３５０ミリ秒，１５００ミリ秒，１６５０ミリ
秒，１８００ミリ秒が格納されている。

【０１０９】そして、上記画像表示装置１４では、ステ
ップＳ３２にて、画像出力装置の計時時刻が表示予定時
刻（１４００ミリ秒）に達すると、ステップＳ３３での
処理が行われ、上記バッファカウンタの出力値ｂｃであ
る「０」が示す合成データＣｄ９の設定表示時刻Ｔｏｕ
ｔ（１３５０ミリ秒）が入力される。設定表示時刻が１
３５０ミリ秒である場合は、上記式（Ａ）を満たすた
め、画像表示装置１４では、上記ステップＳ３４の判定
処理の後に合成データＣｄ９がバッファ１３から読みだ
されて、再生データＲｄとして表示装置１００に出力さ
れる（ステップＳ３５）。続いて、ステップＳ３２にお
ける待機の目標時間である表示予定時刻Ｔ（＝１４００
ミリ秒）が、次の表示予定時刻Ｔ（＝１８００ミリ秒）
に更新される（ステップＳ３５ａ）。

【０１１０】その後、内部のバッファカウンタの出力値
ｂｃを１つインクリメントして（ステップＳ３７）、バ
ッファカウンタの出力値ｂｃが４であるか否かの判定，
つまり以下の式（Ｃ）を満たすか否かの判定が行われる
（ステップＳ３８）。ｂｃ＝４ …（Ｃ）この場合は、上記カウンタ値ｂｃは「１」であるため、
上記式（Ｃ）が満たされないため、上記画像表示手段１
４の処理はステップＳ３２での待機状態に戻る。このよ
うな処理が上記画像表示手段１４では繰り返し行われ
る。

【０１１１】次に、画像データ合成周期決定手段１５の
動作について詳しく説明する。この画像データ合成周期
決定手段１５は、図５に示すフローチャートにしたがっ
て動作する。すなわち、上記画像データ合成周期決定手
段１５では、まず、制御手段１６からの表示予定時刻Ｔ
を示す情報ＤＴｒが入力され（ステップＳ５１）、バッ
ファ１３に格納されている、設定表示時刻（つまり各合
成データＣｄを表示すべき時刻）Ｔｏｕｔを示す情報Ｄ
Ｔｏｕｔが入力され（ステップＳ５２）、さらに画像デ
ータ合成手段１２から画像データ合成周期Ｐｃｍｐを示
す情報ＤＰ０が入力される（ステップＳ５３）。

【０１１２】次に、バッファ１３から供給された設定表
示時刻Ｔｏｕｔのうちで最小のもの（ＳＴｏｕｔ）と表
示予定時刻Ｔとの差分を指標値として、この指標値が、
画像データ合成周期Ｐｃｍｐを０．５倍した値と比較さ
れる（ステップＳ５４）。つまり、以下の式（Ｄ）が満
たされるか否かの判定が行われる。ＳＴｏｕｔ−Ｔ≧０．５×Ｐｃｍｐ …（Ｄ）上記（Ｄ）式が満たされる場合は、上記画像データ合成
周期決定手段１５では、合成周期Ｐｃｍｐをある定数α
だけ減少させる処理が行われる（ステップＳ５５）。一
方、上記（Ｄ）式が満たされない場合は、表示予定時刻
Ｔから、バッファ１３から供給された設定表示時刻Ｔｏ
ｕｔのうちで最大のもの（ＬＴｏｕｔ）を引き算して得
られる値を指標値として、この指標値が、合成周期Ｐｃ
ｍｐを０．５倍して得られると比較される（ステップＳ
５６）。

【０１１３】つまり、以下の式（Ｅ）が満たされるか否
かの判定が行われる。Ｔ−ＬＴｏｕｔ≧０．５×Ｐｃｍｐ …（Ｅ）上記（Ｅ）式が満たされる場合には、上記画像データ合
成周期決定手段１５では、上記合成周期Ｐｃｍｐをα増
だけ増加させる処理が行われる（ステップＳ５７）。一
方、上記（Ｅ）式が満たされない場合は、画像データ合
成手段１２から入力された、合成周期Ｐｃｍｐを示す情
報の変更は行わない。

【０１１４】そして、上記ステップＳ５４〜Ｓ５７の処
理により得られた画像データ合成周期Ｐｃｍｐを示す周
期情報が、更新した周期情報ＤＰ１として画像データ合
成手段１２に出力される（ステップＳ５８）。画像デー
タ合成手段１２では、このようにして更新された最新の
合成周期Ｐｃｍｐに基づいて、画像オブジェクトデータ
の合成処理が行われる。

【０１１５】以下具体的に説明する。例えば、バッファ
には図２(b) に示すように、設定表示時刻Ｔｏｕｔが７
５０ミリ秒，９００ミリ秒，１０５０ミリ秒，１２００
ミリ秒の合成データＣｄ５，Ｃｄ６，Ｃｄ７，Ｃｄ８が
格納されており、表示予定時刻Ｔは１０００ミリ秒、合
成周期Ｐｃｍｐは１５０ミリ秒である場合について説明
する。この場合、最小設定表示時刻ＳＴｏｕｔと表示予
定時刻Ｔとの差分は、−２５０ミリ秒であるので、上記
（Ｄ）式は満たされず、ステップＳ５４での判定の結
果、周期決定手段１５の処理は、ステップＳ５６での判
定処理に移る。

【０１１６】また、表示予定時刻Ｔと最大設定表示時刻
ＬＴｏｕｔとの差分は−２００ミリ秒であり、これは合
成周期Ｐｃｍｐの０．５倍である７５ミリ秒よりも小さ
いため、ステップＳ５６での判定の結果、合成周期Ｐｃ
ｍｐの更新が行われずに１５０ミリ秒のまま、該合成周
期を示す情報が更新情報ＤＰ１として画像データ合成手
段１２に出力される。

【０１１７】また、バッファに、設定表示時刻Ｔｏｕｔ
が４５０ミリ秒，６００ミリ秒，７５０ミリ秒，９００
ミリ秒の合成データＣｄ３，Ｃｄ４，Ｃｄ５，Ｃｄ６が
格納されており、表示予定時刻Ｔは１０００ミリ秒、合
成周期Ｐｃｍｐは１５０ミリ秒である場合は、上記画像
データ合成手段１２では、以下のように、合成周期を増
加するよう変更する更新処理が行われる。

【０１１８】すなわち、ステップＳ５４では、最小設定
表示時刻ＳＴｏｕｔと表示予定時刻Ｔとの差分は−５５
０ミリ秒であるので、画像データ合成手段１２における
処理は、ステップＳ５６の処理に移る。このステップＳ
５６での判定の結果、表示予定時刻Ｔと最大設定表示時
刻ＬＴｏｕｔとの差分は１００ミリ秒となり、合成周期
Ｐｃｍｐの０．５倍である７５ミリ秒よりも大きいた
め、画像データ合成手段１２における処理は、ステップ
Ｓ５７の処理に移る。このステップＳ５７では、合成周
期Ｐｃｍｐを所定値αだけ増加させる処理が行われる。
ここでαを１０ミリ秒とすると、合成周期Ｐｃｍｐは１
５０ミリ秒から１６０ミリ秒に更新される。その後、ス
テップＳ５８にて、該更新された合成周期を示す情報が
更新情報ＤＰ１として画像データ合成手段１２に出力さ
れる。

【０１１９】画像データ合成手段１２では、合成周期Ｐ
ｃｍｐが変更された場合、タイムスタンプにより決まる
設定合成時刻が、合成処理が実際に行われる合成予定時
刻と等しい復号化データ、あるいは設定合成時刻が、該
合成予定時刻以前の、合成予定時刻に最も近い復号化デ
ータが、合成処理の対象となる復号化データとして用い
られる。例えば、復号化器における各フレームに対する
復号化処理の周期Ｐｄｅｃが１２０ミリ秒であるとする
と、フレームＡ〜Ｊに対応する符号化画像オブジェクト
データを復号化して得られる復号化データは、図６(a)
に示すように１２０ミリ秒毎に復号化器から画像データ
合成手段に出力されることとなる。つまり、図１では第
１，第２の復号化器１１ａ，１１ｂでは、上記フレーム
Ａ〜Ｊに対応する第１，第２の物体の復号化データＤ
１, Ｄ２を上記のように１２０ミリ秒毎に出力すること
となる。

【０１２０】ところが、上記合成手段１２での画像合成
処理の周期はＰｃｍｐは１５０ミリ秒であるため、上記
合成手段１２からは、実際には図６(b) に示すようにフ
レームＡ〜Ｄ，Ｆ〜Ｉに対応する合成データが出力され
ることとなり、フレームＥ及びＪの復号化データに対す
る合成処理はスキップされることとなる。この場合、上
記復号化器からは各フレームＡ〜Ｊの復号化データが１
２０ミリ秒の間出力されており、画像データ合成手段１
２では、フレーム単位の合成処理を開始する際、この合
成処理の開始時点で上記復号化器から出力されている復
号化データを用いて、各フレームに対する合成処理が行
われる。

【０１２１】このように本実施の形態１の画像出力装置
１１０では、第１，第２の物体に対応する符号化画像オ
ブジェクトデータＥ１，Ｅ２を復号化して復号化データ
Ｄ１，Ｄ２を出力する第１，第２の復号化器１１ａ，１
１ｂと、各物体に対応する復号化データを、所定の合成
周期でもって各フレーム毎に合成して合成データＣｄを
出力する画像データ合成手段１２と、上記合成データＣ
ｄを所定数のフレーム分だけ格納するバッファ１３と、
上記バッファ１３に格納された合成データを読みだして
表示装置に出力する画像表示手段１４とを備え、該装置
の表示処理能力により決まる表示周期を示す表示予定時
刻Ｔと、バッファに格納されている合成データを表示す
べき設定表示時刻Ｔｏｕｔとの比較結果に基づいて、画
像合成手段における画像データ合成周期Ｐｃｍｐを決定
するようにしたので、合成データがフレーム毎にバッフ
ァへ出力される間隔によって画像表示手段における演算
負荷を調整することが可能となり、これにより画像出力
装置における処理能力に拘わらず、音声データと画像デ
ータの間での再生処理を同期させて、再生画像と再生音
声のずれを防止することができる。

【０１２２】なお、本実施の形態１では、画像データ合
成周期決定手段１５によるステップＳ５４あるいはＳ５
６の処理として、最小設定表示時刻と表示予定時刻の差
分あるいは表示予定時刻と最大設定表示時刻の差分を、
閾値としての合成周期Ｐｃｍｐの０．５倍と比較するも
のを示しているが、差分と比較される閾値は合成周期Ｐ
ｃｍｐの０．５倍に限るものではなく、任意の定数を用
いても良い。ただし、本実施の形態では、上記閾値を合
成周期Ｐｃｍｐの０．５倍としているのは、表示される
画像データとその他の音声データなどとの同期を取る必
要がある場合、上記閾値の値が大きいと音声データの再
生時刻と画像データの再生時刻がかけ離れたものにな
り、視聴者に対して違和感を与えるものになってしまう
からである。

【０１２３】また、本実施の形態１では、画像データ合
成手段１２として、図６(b) に示すように、各フレーム
に対する合成処理を行う時点で上記復号化器から出力さ
れている復号化データを用いて、各フレームに対する合
成処理を行うものを示したが、上記合成手段１２におけ
る合成処理はこれに限るものではない。例えば、画像デ
ータ合成手段１２は、各フレームに対する合成処理を行
うタイミングと最も近いタイミングで復号化器から出力
される復号化データを用いて、各フレームに対する合成
処理を行う構成としてもよい。ただし、この場合は、上
記各復号化器から出力される復号化データを１フレーム
分だけ格納する合成用バッファを画像データ合成手段１
２の前段に設け、上記画像データ合成手段１２にて、合
成用バッファから出力される復号化データを用いて、各
フレームに対する合成処理を行うようにする必要があ
る。この場合、上記合成手段１２からは、実際には図６
(c) に示すようにフレームＡ〜Ｃ，Ｅ〜Ｈ，Ｊに対応す
る合成データが出力されることとなり、フレームＤ，Ｉ
の復号化データに対する合成処理はスキップされること
となる。

【０１２４】また、本実施の形態１では、画像データ合
成周期の増加あるいは減少する処理として、上記合成周
期の増減を、増減単位量αである１０ミリ秒を単位とし
て行うものを示したが、これに限るものではなく、上記
増減単位量として他の値を用いてもよい。例えば、上記
増減単位量αが小さい場合には、一定の合成周期ＣＰｃ
ｍｐに収束するまでの時間が長くなるが、この一定の合
成周期は最適な合成周期ＭＰｃｍｐに近いものとなる。
一方、上記増減単位量αが大きい場合には、一定の合成
周期ＣＰｃｍｐに収束するまでの時間は早くなるが、該
一定の合成周期ＣＰｃｍｐは、最適な合成周期ＭＰｃｍ
ｐからかけ離れたものとなる場合がある。

【０１２５】また、上記実施の形態１では、上記増減単
位量αの値を固定値としているが、この増減単位量αの
値は可変値でもよい。例えば、図７のように上記増減単
位量αの初期値をａとし、合成周期Ｐｃｍｐの更新処理
における変化が増加から減少に変わった段階で、上記初
期値ａを０．５倍したものを、新たな増減単位量αの値
（０．５ａ）とする。さらに、合成周期Ｐｃｍｐの更新
処理における変化が減少から増加に変わった段階で、更
に０．５ａを０．５倍して得られる値（０．２５ａ）を
新たな増減単位量αとする。このようにして、合成周期
Ｐｃｍｐの更新処理における増減単位量が、合成周期増
加時と合成周期減少時に徐々に小さくなるよう、増減単
位量αの値を変動させるようにしてもよい。このように
増減単位量αを変化させる方法では、合成周期Ｐｃｍｐ
が最終的には確実に最適な合成周期ＭＰｃｍｐに収束
し、しかも合成周期が最適な合成周期ＭＰｃｍｐに収束
するまでの時間も短くすることが可能である。

【０１２６】また、本実施の形態１では、画像出力装置
１１０として、第１，第２の物体に対応する復号化器を
有し、画像データ合成手段では、２つの物体に対応する
復号化データを合成するものを示したが、画像出力装置
の構成はこれに限るものではない。例えば、上記画像出
力装置は、３つ以上の任意の数の物体に対応する復号化
器を有し、任意の数の復号化データを合成して得られる
合成データを再生データとして出力する構成としてもよ
い。

【０１２７】さらに、本実施の形態１では、バッファ１
２しとて、４フレーム分の合成データを格納するものを
示したが、バッファの構成はこれに限るものではなく、
さらに多くのフレーム分の合成データを格納可能な構成
であってもよい。さらに、本実施の形態１では、画像出
力装置としてハードウェアで実現したものを示したが、
上記画像出力装置は、ハードウェアではなくソフトウエ
アにより実現することも可能である。例えば、上記画像
出力装置を構成する復号化器１１ａ，１１ｂ、画像デー
タ合成手段１２、画像表示手段１４、画像データ合成周
期決定手段１５、及び制御手段１６は、これらの機能を
ＣＰＵ（中央演算処理装置）が行うようプログラミング
したソフトウェアプログラムを用いて、コンピュータシ
スタムにおいて実現することも可能である。

【０１２８】このようなソフトウェアにより上記実施の
形態１の画像出力装置を実現した場合でも、本実施の形
態１と全く同様の結果が得られる。なお、上記ソフトウ
ェアプログラムは例えばフロッピーディスクや光ディス
ク、ＩＣカード、ＲＯＭカセット等の記憶媒体に格納す
ることが可能である。

【０１２９】（実施の形態２）図８は、本発明の実施の
形態２による画像出力装置を説明するためのブロック図
である。この実施の形態２の画像出力装置１２０は、第
１及び第２の物体に対応する符号化画像オブジェクトデ
ータを復号化する復号化処理を、本装置の演算処理能力
に応じて制御する構成となっている。つまり、上記画像
出力装置１２０は、図１８に示す従来の画像出力装置１
１６０と同様、ネットワークＮの伝送経路から受信した
図１６(a)に示すデータ構造を有する多重ビットストリ
ームＢｓから、上記第１，第２の物体に対応するパケッ
トを選択して、各物体に対応する符号化画像オブジェク
トデータＥ１，Ｅ２及び対応するタイムスタンプＴｓ
１，Ｔｓ２を抽出する分離器６１を有している。

【０１３０】また、この画像出力装置１２０は、上記符
号化画像オブジェクトデータＥ１をタイムスタンプＴｓ
１に基づいて復号化して、上記第１の物体に対応する復
号化データＤ１を出力する第１の復号化器６１ａと、上
記符号化画像オブジェクトデータＥ２をタイムスタンプ
Ｔｓ２に基づいて復号化して、上記第２の物体に対応す
る復号化データＤ２を出力する第２の復号化器６１ｂ
と、該両復号化データを所定の合成周期Ｐｃｍｐでもっ
て合成して、所要シーンに対応する合成データＣｄを出
力する画像データ合成手段６２とを有している。

【０１３１】ここで、上記第１，第２の復号化器６１
ａ，６１ｂはそれぞれ、単位時間当たりの復号化処理が
行われるフレーム数（以下、復号化画像フレーム数とも
いう。）を示すフレーム数情報ＤＦ０ａ，ＤＦ０ｂを出
力するとともに、その更新情報ＤＦ１ａ，ＤＦ１ｂに基
づいて、上記単位時間当たりの復号化画像フレーム数を
更新する構成となっている。また、上記各復号化器はそ
れぞれ、上記復号化フレーム数情報に応じて単位時間当
たりの復号化フレーム数を変更する際、上記符号化画像
オブジェクトデータに対して施された符号化処理の種類
に基づいて、復号化処理の対象となるフレームを決定す
る構成となっている。例えば、各フレームに対する符号
化処理には、画素値の画面内相関を利用する画面内符号
化処理と、画素値の画面間相関を利用する画面間予測符
号化処理があり、さらに、画面間予測符号化処理には、
順方向予測符号化処理と双方向予測符号化処理とがあ
る。この場合には、なお、画面内符号化処理が施された
フレームはＩフレーム、順方向予測符号化処理が施され
たフレームはＰフレーム、双方向予測符号化処理が施さ
れたフレームはＢフレームと呼ばれている。

【０１３２】また、上記画像出力装置１２０は、画像デ
ータ合成手段６２から所定のタイミングで出力される合
成データＣｄを格納するバッファ６３と、該バッファ６
３に格納されている格納データＢｄを読み出し、読みだ
されたデータを再生データＲｄとして表示装置１００に
出力する画像表示手段６４と、上記単位時間当たりの復
号化フレーム数を決定して、決定した復号化画像フレー
ム数を示す更新情報ＤＦ１ａ，ＤＦ１ｂを上記各復号化
器６１ａ，６１ｂに出力する復号化フレーム数決定手段
６５と、本画像出力装置１２０の処理能力に応じて決ま
る画像表示周期に基づいて上記表示予定時刻Ｔを示す情
報ＤＴｒを出力する制御手段６６とを有している。

【０１３３】ここで、上記バッファ６３は、実施の形態
１のバッファ１２と全く同一構成となっている。また、
上記復号化フレーム数決定手段６５は、上記バッファ６
３から出力される、上記タイムスタンプに基づく設定表
示時刻Ｔｏｕｔを示す情報ＤＴｏｕｔ，上記表示予定時
刻Ｔを示す情報ＤＴｒ，及び現時点でのフレーム数情報
ＤＦ０ａ，ＤＦ０ｂを受け、上記設定表示時刻Ｔｏｕｔ
と表示予定時刻Ｔの比較結果に基づいて、上記単位時間
当たりの復号化画像フレーム数を更新して、更新された
復号化画像フレーム数を示すフレーム数情報ＤＦ１ａ，
ＤＦ１ｂを出力する構成となっている。また、上記画像
表示手段６４及び制御手段６６はそれぞれ、上記実施の
形態１の画像表示装置１４及び制御手段１６と全く同一
の構成となっている。

【０１３４】次に動作について説明する。ネットワーク
Ｎ上の所定の伝送経路から、第１，第２の物体に対応す
る符号化画像オブジェクトデータを格納したパケットを
含むビットストリームＢｓが本画像出力装置１２０に入
力されると、上記分離器６１では、それぞれ対応する物
体のパケットが選択されて、各物体に対応する符号化画
像オブジェクトデータＥ１，Ｅ２及びタイムスタンプＴ
ｓ１，Ｔｓ２がフレーム毎に第１，第２の復号化器６１
ａ，６１ｂに出力される。

【０１３５】すると、各復号化器６１ａ，６１ｂでは、
上記符号化画像オブジェクトデータＥ１，Ｅ２に対する
復号化処理がフレーム毎に、それぞれタイムスタンプＴ
ｓ１，Ｔｓ２から決まる復号処理時刻に行われ、復号化
データＤ１，Ｄ２が出力される。このとき、復号化フレ
ーム数決定手段６５では、上記バッファ６３から出力さ
れる、上記タイムスタンプに基づく設定表示時刻Ｔｏｕ
ｔの情報ＤＴｏｕｔ，制御手段６６からの表示予定時刻
情報ＤＴｒ，及び上記各復号化器６１ａ，６１ｂからの
復号化フレーム数情報ＤＦ０ａ，ＤＦ０ｂに基づいて、
上記復号化フレーム数Ｆｎに対する更新処理を行われ
て、この更新処理により得られた復号化フレーム数Ｆｎ
を示す情報ＤＦ１ａ，ＤＦ１ｂが上記各復号化器６１
ａ，６１ｂに出力される。すると、上記各復号化器６１
ａ，６１ｂでは、復号化処理が上記更新された単位時間
当たりの復号化フレーム数Ｆｎに基づいて行われる。

【０１３６】そして、各復号化データＤ１及びＤ２が画
像データ合成手段６２に入力されると、該合成手段６２
では、所定の合成周期Ｐｃｍｐでもって所要シーンに対
応する合成データＣｄが生成されてバッファ６３に出力
される。さらに、上記画像表示手段６４では、上記表示
予定時刻情報ＤＴｒ及び設定表示時刻情報ＤＴｏｕｔに
基づいて上記バッファ６３から、所定の合成データＢｄ
が再生データＲｄとして表示装置１００に読み出され、
表示装置１００ではこの再生データＲｄに基づいて所要
シーンの表示が行われる。

【０１３７】以下、上記復号化画像フレーム数決定手段
６５の動作について詳しく説明する。図９は、該復号化
画像フレーム数決定手段６５の動作を説明するためのフ
ローチャートであり、該復号化画像フレーム数決定手段
６５の動作は、図９に示すフローチャートに従って行わ
れる。すなわち、上記復号化画像フレーム数決定手段６
５では、まず、バッファ６３に格納されている設定表示
時刻（つまりバッファ内の各合成データＣｄを表示すべ
き時刻）Ｔｏｕｔを示す情報ＤＴｏｕｔが入力され（ス
テップＳ７１）、制御手段６６からの表示予定時刻Ｔを
示す情報ＤＴｒが入力され（ステップＳ７２）、さらに
各復号化器６１ａ，６１ｂから復号化フレーム数Ｆｎを
示す情報ＤＦ０ａ，ＤＦ０ｂが入力される（ステップＳ
７３）。

【０１３８】次に、バッファ６３から供給された設定表
示時刻Ｔｏｕｔのうちで最小のもの（ＳＴｏｕｔ）と表
示予定時刻Ｔとの差分を指標値として、この指標値が、
画像データ合成周期Ｐｃｍｐを０．５倍した値と比較さ
れる（ステップＳ７４）。つまり、以下の式（Ｄ）が満
たされるか否かの判定が行われる。ＳＴｏｕｔ−Ｔ≧０．５×Ｐｃｍｐ …（Ｄ）上記（Ｄ）式が満たされる場合は、上記復号化フレーム
数決定手段６５では、復号化フレーム数を１つだけ増加
させる処理が行われる（ステップＳ７６）。

【０１３９】一方、上記（Ｄ）式が満たされない場合
は、表示予定時刻Ｔから、バッファ６３から供給された
設定表示時刻Ｔｏｕｔのうちで最大のもの（ＬＴｏｕ
ｔ）を引き算して得られる値を指標値として、この指標
値が、合成周期Ｐｃｍｐを０．５倍して得られると比較
される（ステップＳ７５）。

【０１４０】つまり、以下の式（Ｅ）が満たされるか否
かの判定が行われる。Ｔ−ＬＴｏｕｔ≧０．５×Ｐｃｍｐ …（Ｅ）上記（Ｅ）式が満たされる場合には、上記復号化フレー
ム数Ｆｎが１だけ減少させる処理が行われる（ステップ
Ｓ７７）。一方、上記（Ｅ）式が満たされない場合は、
各復号化器６１ａ，６１ｂから入力された情報ＤＦ０
ａ，ＤＦ０ｂが示す復号化フレーム数の変更は行われな
い。

【０１４１】そして、上記ステップＳ７４〜Ｓ７７の処
理により得られた復号化画像フレーム数Ｆｎを示す情報
が、更新したフレーム数情報ＤＦ１ａ，ＤＦ１ｂとして
上記各復号化器６１ａ，６１ｂに出力される（ステップ
Ｓ７８）。上記各復号化器６１ａ，６１ｂでは、このよ
うにして更新された最新の復号化フレーム数Ｐｃｍｐに
基づいて、符号化画像オブジェクトデータの復号化処理
が行われる。

【０１４２】以下上記復号化器６１ａ及び６１ｂにて、
復号化処理の対象となるフレームを間引く方法について
説明する。このような復号化画像フレームを間引く方法
では、フレームに対する符号化処理の種類に応じて、つ
まり、符号化処理が施されたフレームがフレーム内挿符
号化フレーム（Ｂフレーム）、フレーム間符号化フレー
ム（Ｐフレーム）、及びフレーム内符号化フレーム（Ｉ
フレーム）の何れであるかについての情報に応じて間引
くフレームを設定する。

【０１４３】まず、フレーム内挿符号化フレームを間引
き、フレーム内挿符号化フレームを全て間引いてもまだ
間引かなければならない時にはフレーム間符号化フレー
ムを間引く。フレーム内符号化フレームは、他の被符号
化フレームに対する参照フレームとされるので、極力間
引かないが、フレーム間符号化フレームを全て間引いて
もまだ間引かなくてはならない時には、フレーム内符号
化フレームを間引いていく。

【０１４４】また、上記各復号化器では、実際の復号化
処理のタイミングが、タイムスタンプから得られる復号
化時刻と等しい符号化画像オブジェクトデータ、あるい
は、実際の復号化処理のタイミング以前であってこれに
最も近い、タイムスタンプから得られる復号化時刻を有
する符号化画像オブジェクトデータを復号化する。

【０１４５】例えば、図１０に示すように、単位時間あ
たりの符号化画像オブジェクトデータのフレーム数Ｆｎ
を毎秒１０フレームとし、それぞれのフレーム内符号化
フレームまたはフレーム間符号化フレームの間には２枚
のフレーム内挿符号化フレームが入るとすると、符号化
画像オブジェクトデータが復号化器に入力される周期Ｐ
ｏｂｊは１００ミリ秒となり、符号化画像オブジェクト
データは、図１０(a)に示すように順番に復号化器に入
力される。なお、図１０において、Ｉはフレーム内符号
化フレーム、Ｐはフレーム間符号化フレーム、Ｂはフレ
ーム内挿符号化フレームをそれぞれ示す。

【０１４６】更新された単位時間当たりの復号化フレー
ム数Ｆｎが毎秒８フレームであるとすると、復号化器に
おいては、符号化画像オブジェクトデータの復号化周期
Ｐｄｅｃは１２５ミリ秒となり、復号化器では、図１０
(b)に示す順序で、各フレームの復号化処理が行われる
こととなる。従って、この場合、図１０(a)に示す、上
記復号化器に入力された５番目と１１番目のフレームが
間引かれることとなる。

【０１４７】このように本実施の形態２によれば、バッ
ファ６３に格納されている合成データＣｄを表示すべき
時刻（設定表示時刻）Ｔｏｕｔと、装置の処理能力によ
り決まる表示予定時刻Ｔとの比較結果に基づいて、復号
化器における時間当たりの復号化画像フレーム数を決定
するので、画像出力装置を構成する画像データ合成手段
６５及び画像表示手段６４の処理能力に応じた表示が可
能となる。

【０１４８】なお、本実施の形態２において、復号化フ
レーム数決定手段６５によるステップＳ７４あるいはＳ
７６の処理では、最小設定表示時刻ＳＴｏｕｔと表示予
定時刻Ｔの差分、あるいは表示予定時刻Ｔと最大設定表
示時刻ＬＴｏｕｔの差分を、閾値としての合成周期Ｐｃ
ｍｐの０．５倍と比較するようにしているが、上記差分
と比較される閾値は合成周期Ｐｃｍｐの０．５倍に限る
ものではなく、任意の定数を用いてもよい。

【０１４９】ただし、本実施の形態では、上記閾値を合
成周期Ｐｃｍｐの０．５倍としているのは、表示される
画像データとその他の音声データなどとの同期を取る必
要がある場合、上記閾値の値が大きいと音声データの再
生時刻と画像データの再生時刻がかけ離れたものにな
り、視聴者に対して違和感を与えるものになってしまう
からである。

【０１５０】（実施の形態３）図１１は、本発明の実施
の形態３による画像出力装置を説明するためのブロック
図である。この実施の形態３の画像出力装置１３０は、
上記実施の形態２の画像出力装置１２０と同様、第１及
び第２の物体に対応する符号化画像オブジェクトデータ
を復号化する復号化処理を、本装置の演算処理能力に応
じて制御する構成となっている。ただし、この実施の形
態３の画像出力装置１３０は、上記実施の形態２の画像
出力装置１２０のように、復号化器における単位時間当
たりの復号化画像フレーム数を、各フレームに対応する
設定表示時刻Ｔｏｕｔと表示予定時刻Ｔとの比較結果に
基づいて変更するのではなく、復号化器における単位時
間当たりの復号化画像フレーム数を、画像データ合成手
段からバッファに合成データが書き込まれる際の待ち時
間に基づいて変更する構成となっている。

【０１５１】つまり、上記画像出力装置１３０は、図１
８に示す従来の画像出力装置１６０と同様、ネットワー
クＮの伝送経路から受信した図１６(a)に示すデータ構
造を有する多重ビットストリームＢｓから、上記第１，
第２の物体に対応するパケットを選択して、各物体に対
応する符号化画像オブジェクトデータＥ１，Ｅ２及び対
応するタイムスタンプＴｓ１，Ｔｓ２を抽出する分離器
８１を有している。

【０１５２】また、この画像出力装置１３０は、上記符
号化画像オブジェクトデータＥ１をタイムスタンプＴｓ
１に基づいて復号化して、上記第１の物体に対応する復
号化データＤ１を出力する第１の復号化器８１ａと、上
記符号化画像オブジェクトデータＥ２をタイムスタンプ
Ｔｓ２に基づいて復号化して、上記第２の物体に対応す
る復号化データＤ２を出力する第２の復号化器８１ｂ
と、該両復号化データを所定の合成周期Ｐｃｍｐでもっ
て合成して、所要シーンに対応する合成データＣｄを出
力する画像データ合成手段８２と、該画像データ合成手
段８２から所定のタイミングで出力される合成データＣ
ｄを格納するバッファ８３とを有している。

【０１５３】ここで、上記バッファ８３は、実施の形態
２のバッファ６２と全く同一構成となっており、上記第
１，第２の復号化器８１ａ，８１ｂはそれぞれ、実施の
形態２の画像出力装置１２０における復号化器６１ａ，
６１ｂと同様、単位時間当たりの復号化処理が行われる
フレーム数（復号化画像フレーム数）Ｆｎを示すフレー
ム数情報ＤＦ０ａ，ＤＦ０ｂを出力するとともに、その
更新情報ＤＦ１ａ，ＤＦ１ｂに基づいて、上記単位時間
当たりの復号化画像フレーム数Ｆｎを更新する構成とな
っている。また、上記画像データ合成手段８２は、上記
合成データＣｄがバッファ１３に書き込まれるタイミン
グを示す情報ＤＷを出力する構成となっている。

【０１５４】また、上記画像出力装置１３０は、該バッ
ファ８３に格納されている格納データＢｄを再生データ
Ｒｄとして読み出して、表示装置１００に出力する画像
表示手段８４と、上記書き込みタイミング情報ＤＷに基
づいて、単位時間当たりの復号化画像フレーム数Ｆｎを
決定して、決定した復号化画像フレーム数を示す更新情
報ＤＦ１ａ，ＤＦ１ｂを上記各復号化器８１ａ，８１ｂ
に出力する復号化フレーム数決定手段８５と、本画像出
力装置１３０の処理能力に応じて決まる画像表示周期に
基づいて、上記表示予定時刻Ｔを示す情報ＤＴｒを出力
する制御手段８６とを有している。ここで、上記画像表
示手段８４及び制御手段８６は、上記実施の形態１にお
ける画像表示手段１４及び制御手段１６と同一構成とっ
ている。

【０１５５】次に動作について説明する。ネットワーク
Ｎ上の所定の伝送経路から、第１，第２の物体に対応す
る符号化画像オブジェクトデータを格納したパケットを
含むビットストリームＢｓが本画像出力装置１３０に入
力されると、上記分離器８１では、それぞれ対応する物
体のパケットが選択されて、各物体に対応する符号化画
像オブジェクトデータＥ１，Ｅ２及びタイムスタンプＴ
ｓ１，Ｔｓ２がフレーム毎に第１，第２の復号化器８１
ａ，８１ｂに出力される。

【０１５６】すると、各復号化器８１ａ，８１ｂでは、
上記符号化画像オブジェクトデータＥ１，Ｅ２に対する
復号化処理がフレーム毎に、それぞれタイムスタンプＴ
ｓ１，Ｔｓ２から決まる復号処理時刻に行われ、復号化
データＤ１，Ｄ２が出力される。このとき、復号化フレ
ーム数決定手段８５では、上記画像データ合成手段８２
から合成データＣｄが上記バッファ８３に書き込まれる
タイミングを示す情報ＤＷに基づいて、上記復号化フレ
ーム数Ｆｎに対する更新処理が行われて、この更新処理
により得られた復号化フレーム数Ｆｎを示す情報ＤＦ１
ａ，ＤＦ１ｂが上記各復号化器８１ａ，８１ｂに出力さ
れる。すると、上記各復号化器８１ａ，８１ｂでは、復
号化処理が上記更新された単位時間当たりの復号化画像
フレーム数Ｆｎに基づいて行われる。

【０１５７】そして、各復号化データＤ１及びＤ２が画
像データ合成手段８２に入力されると、該合成手段８２
では、所定の合成周期Ｐｃｍｐでもって所要シーンに対
応する合成データＣｄが生成されて上記バッファ８３に
出力される。さらに、上記画像表示手段８４では、上記
表示予定時刻情報ＤＴｔ及び設定表示時刻情報ＤＴｏｕ
ｔに基づいて上記バッファ８３から、所定の合成データ
Ｂｄが再生データＲｄとして表示装置１００に読み出さ
れ、表示装置１００ではこの再生データＲｄに基づいて
所要シーンの表示が行われる。

【０１５８】以下、上記復号化画像フレーム数決定手段
８５の動作について詳しく説明する。図１２は、該復号
化画像フレーム数決定手段８５の動作を説明するための
フローチャートであり、この復号化画像フレーム数決定
手段８５の動作は、図１２に示すフローチャートに従っ
て行われる。すなわち、上記復号化画像フレーム数決定
手段８５では、まず、画像データ合成手段８２からバッ
ファ８３へ合成データＣｄが出力されるタイミング情報
ＤＷに基づいて、バッファ８３への合成データＣｄの書
き込みの際の待ち時間Ｔｗが算出され（ステップＳ９
１）、続いて、各復号化器８１ａ，８１ｂから復号化フ
レーム数Ｆｎを示す情報ＤＦ０ａ，ＤＦ０ｂが入力され
る（ステップＳ８２）。

【０１５９】次に、上記書き込み待ち時間Ｔｗが、画像
データ合成周期Ｐｃｍｐを０．５倍した値と比較される
（ステップＳ９３）。つまり、以下の式（Ｆ）が満たさ
れるか否かの判定が行われる。Ｔｗ≧Ｐｃｍｐ …（Ｆ）上記（Ｆ）式が満たされる場合は、上記復号化フレーム
数決定手段８５では、復号化画像フレーム数を１つだけ
増加させる処理が行われる（ステップＳ９４）。一方、
上記（Ｆ）式が満たされない場合は、上記復号化フレー
ム数Ｆｎが１だけ減少させる処理が行われる（ステップ
Ｓ９５）。そして、上記ステップＳ９３〜Ｓ９５の処理
により得られた復号化画像フレーム数Ｆｎを示す情報
が、更新したフレーム数情報ＤＦ１ａ，ＤＦ１ｂとして
上記各復号化器８１ａ，８１ｂに出力される（ステップ
Ｓ９６）。

【０１６０】上記各復号化器８１ａ，８１ｂでは、この
ようにして更新された最新の復号化フレーム数Ｆｎに基
づいて、各符号化画像オブジェクトデータＥ１，Ｅ２の
復号化処理が行われる。なお、上記復号化器８１ａ及び
８１ｂでは、実施の形態２の復号化器６１ａ及び６１ｂ
と全く同様に、復号化処理の対象となるフレームの間引
く処理、及び符号化画像オブジェクトデータの復号化処
理が行われる。

【０１６１】このように本実施の形態３では、画像デー
タ合成手段で合成された合成データをバッファに書き込
むための待ち時間に基づいて、復号化器における符号化
画像オブジェクトデータの復号化画像フレーム数を決定
するため、画像出力装置の画像データ合成手段の処理能
力に応じた表示が可能となり、またバッファ８３におけ
るオーバーフローまたはアンダーフローを回避すること
ができる。

【０１６２】なお、本実施の形態３では、復号化フレー
ム数決定手段８５によるステップＳ９３の処理では、画
像データ合成手段からの合成データをバッファに書き込
む際のための待ち時間と比較する閾値として、合成周期
Ｐｃｍｐを用いているが、上記待ち時間と比較される閾
値はこれに限るものではなく、任意の定数を用いてもよ
い。ただし、本実施の形態では、上記閾値を合成周期Ｐ
ｃｍｐとしているのは、待ち時間Ｔｗが合成周期Ｐｃｍ
ｐよりも小さい場合は、画像データ合成手段及び画像表
示手段における処理に時間がかかっているため、バッフ
ァのオーバーフローが起こる可能性があり、待ち時間Ｔ
ｗが合成周期Ｐｃｍｐよりも大きい場合は、画像データ
合成手段及び画像表示手段における処理に必要な時間が
復号化に必要な時間よりも短いため、バッファのアンダ
ーフローを起こす可能性があるからである。

【０１６３】（実施の形態４）図１３は、本発明の実施
の形態４による画像出力装置を説明するためのブロック
図である。本実施の形態４の画像出力装置１４０は、上
記実施の形態２における、復号化器における単位時間当
たりの復号化画像フレーム数Ｆｎを、各フレームに対応
する設定表示時刻Ｔｏｕｔと表示予定時刻Ｔとの比較結
果に基づいて変更する復号化フレーム数決定手段６５に
代えて、復号化器における単位時間当たりの復号化画像
フレーム数を、各フレームに対応する設定表示時刻Ｔｏ
ｕｔと表示予定時刻Ｔとの比較結果だけでなく、画像デ
ータ合成手段からバッファに合成データが書き込まれる
際の待ち時間にも基づいて変更する復号化フレーム数決
定手段１０５を備えたものである。従って、本画像出力
装置１４０を構成する分離器１１１，復号化器１０１ａ
及び１０１ｂ，画像データ合成手段１０２，バッファ１
０３，画像表示装置１０４，及び制御手段１０６はそれ
ぞれ、上記実施の形態３における分離器８１，復号化器
８１ａ，８１ｂ，画像データ合成手段８２，バッファ８
３，画像表示装置８４，及び制御手段８６と全く同一構
成となっている。

【０１６４】次に動作について説明する。なお、本実施
の形態４の画像出力装置１４０の動作は、上記復号化画
像フレーム数決定手段１０５の動作以外は実施の形態３
の画像出力装置１３０と全く同一であるため、以下の説
明では、上記復号化画像フレーム数決定手段１０５に関
連する動作についてのみ説明する。

【０１６５】図１４は、上記復号化フレーム数決定手段
１０５の動作を説明するためのフローチャートであり、
この復号化画像フレーム数決定手段１０５の動作は、図
１４に示すフローチャートに従って行われる。すなわ
ち、上記復号化フレーム数決定手段１０５では、まず、
画像データ合成手段１０２からバッファ１０３へ合成デ
ータＣｄが出力されるタイミング情報ＤＷに基づいて、
バッファ１０３への合成データの書き込みの際の待ち時
間Ｔｗが算出される（ステップＳ１１１）。

【０１６６】続いて、上記決定手段１０５には、バッフ
ァ１０３に格納されている設定表示時刻（つまりバッフ
ァ内の各合成データＣｄを表示すべき時刻）Ｔｏｕｔを
示す情報ＤＴｏｕｔが入力され（ステップＳ１１２）、
制御手段１０６からの表示予定時刻Ｔを示す情報ＤＴｒ
が入力され（ステップＳ１１３）、さらに各復号化器１
０１ａ，１０１ｂから復号化画像フレーム数Ｆｎを示す
情報ＤＦ０ａ，ＤＦ０ｂが入力される（ステップＳ１１
４）。

【０１６７】次に、上記決定手段１０５では、上記書き
込み待ち時間Ｔｗが、画像データ合成周期Ｐｃｍｐを
０．５倍した値と比較される（ステップＳ１１５）。つ
まり、以下の式（Ｆ）が満たされるか否かの判定が行わ
れる。Ｔｗ≧Ｐｃｍｐ …（Ｆ）上記（Ｆ）式が満たされる場合は、上記復号化フレーム
数決定手段１１５では、復号化画像フレーム数を１つだ
け増加させる処理が行われる（ステップＳ１１５ａ）。
一方、上記（Ｆ）式が満たされない場合は、上記復号化
フレーム数Ｆｎを１だけ減少させる処理が行われる（ス
テップＳ１１５ｂ）。

【０１６８】次に、バッファ１０３から供給された設定
表示時刻Ｔｏｕｔのうちで最小のもの（ＳＴｏｕｔ）と
表示予定時刻Ｔとの差分を指標値として、この指標値
が、画像データ合成周期Ｐｃｍｐを０．５倍した値と比
較される（ステップＳ１１６）。つまり、以下の式
（Ｄ）が満たされるか否かの判定が行われる。ＳＴｏｕｔ−Ｔ≧０．５×Ｐｃｍｐ …（Ｄ）

【０１６９】上記（Ｄ）式が満たされる場合は、上記復
号化フレーム数決定手段１０５では、復号化画像フレー
ム数を１つだけ増加させる処理が行われる（ステップＳ
１１６ａ）。一方、上記（Ｄ）式が満たされない場合
は、表示予定時刻Ｔから、バッファ１０３から供給され
た設定表示時刻Ｔｏｕｔのうちで最大のもの（ＬＴｏｕ
ｔ）を引き算して得られる値を指標値として、この指標
値が、合成周期Ｐｃｍｐを０．５倍して得られると比較
される（ステップＳ１１６ｂ）。つまり、以下の式
（Ｅ）が満たされるか否かの判定が行われる。Ｔ−ＬＴｏｕｔ≧０．５×Ｐｃｍｐ …（Ｅ）上記（Ｅ）式が満たされる場合には、上記復号化フレー
ム数Ｆｎを１だけ減少させる処理が行われる（ステップ
Ｓ１１６ｃ）。一方、上記（Ｅ）式が満たされない場合
は、各復号化器１０１ａ，１０１ｂから入力された情報
ＤＦ０ａ，ＤＦ０ｂが示す復号化画像フレーム数Ｆｎの
更新は行わない。そして、上記ステップＳ１１５，Ｓ１
１５ａ〜Ｓ１１５ｃ，Ｓ１１６，Ｓ１１６ａ〜Ｓ１１６
ｃの処理により得られた復号化フレーム数Ｆｎを示す情
報が、更新したフレーム数情報ＤＦ１ａ，ＤＦ１ｂとし
て上記各復号化器１０１ａ，１０１ｂに出力される（ス
テップＳ１１７）。

【０１７０】上記各復号化器１０１ａ，１０１ｂでは、
このようにして更新された最新の復号化フレーム数Ｆｎ
に基づいて、符号化画像オブジェクトデータの復号化処
理が行われる。なお、上記復号化器１０１ａ及び１０１
ｂでは、実施の形態２の復号化器６１ａ及び６１ｂと全
く同様に、復号化処理の対象となるフレームの間引く処
理、及び符号化画像オブジェクトデータの復号化処理が
行われる。

【０１７１】このように本実施の形態４では、合成デー
タＣｄをバッファ１０３に書き込む際の待ち時間Ｔｗだ
けでなく、バッファ１０３に格納されている合成データ
Ｃｄを表示すべき時刻（設定表示時刻）Ｔｏｕｔと装置
の処理能力により決まる表示予定時間Ｔとの比較結果に
基づいて、復号化器１０１ａ，１０１ｂにおける単位時
間当たりの復号化画像フレーム数Ｆｎを決定するので、
バッファ１０３のオーバーフローまたはアンダーフロー
を発生させることなく、画像出力装置を構成する画像デ
ータ合成手段１０２及び画像表示手段１０４の処理能力
に応じた表示が可能となる。

【０１７２】なお、本実施の形態４では、復号化フレー
ム数決定手段１０５によるステップＳ１１５の処理で
は、画像データ合成手段からの合成データをバッファに
書き込む際のための待ち時間Ｔｗと比較する閾値とし
て、合成周期Ｐｃｍｐを用いているが、上記待ち時間と
比較される閾値はこれに限るものではなく、任意の定数
を用いてもよい。ただし、本実施の形態４にて上記閾値
を合成周期Ｐｃｍｐとしている理由は、上述した実施の
形態３で上記閾値を合成周期Ｐｃｍｐとしている理由と
同一である。

【０１７３】また、本実施の形態４においても、復号化
フレーム数決定手段１０５によるステップＳ１１６ａあ
るいはＳ１１６ｂの処理では、最小設定表示時刻ＳＴｏ
ｕｔと表示予定時刻Ｔの差分、あるいは表示予定時刻Ｔ
と最大設定表示時刻ＬＴｏｕｔの差分を、閾値としての
合成周期Ｐｃｍｐの０．５倍と比較するようにしている
が、上記差分と比較される閾値は合成周期Ｐｃｍｐの
０．５倍に限るものではなく、任意の定数を用いてもよ
い。ただし、本実施の形態４にて上記閾値を合成周期Ｐ
ｃｍｐの０．５倍としている理由は、上述した実施の形
態２で上記閾値を合成周期Ｐｃｍｐの０．５倍としてい
る理由と同一である。

【０１７４】また、本実施の形態２，３，４において
は、各符号化画像オブジェクトデータの復号化フレーム
数Ｆｎが等しい場合について示したが、これに限るもの
ではなく、各符号化画像オブジェクトデータの復号化フ
レーム数Ｆｎが異なる場合には、各符号化画像オブジェ
クトデータに対してそれぞれ復号化フレーム数決定手段
を設け、各符号化オブジェクトデータ毎に別々に復号化
画像フレーム数Ｆｎを決定するようにしてもよい。

【０１７５】さらに、本実施の形態２，３，４において
も、バッファとして、４フレーム分の合成データを格納
するものを示したが、バッファの構成はこれに限るもの
ではなく、さらに多くのフレーム分の合成データを格納
可能な構成であってもよい。また、本実施の形態２，
３，４においても、画像出力装置として、第１，第２の
物体に対応する復号化器を有し、画像データ合成手段で
は、２つの物体に対応する復号化データを合成するもの
を示したが、画像出力装置の構成はこれに限るものでは
ない。例えば、上記画像出力装置は、３つ以上の任意の
数の物体に対応する復号化器を有し、任意の数の復号化
データを合成して得られる合成データを再生データとし
て出力する構成としてもよい。また、上記実施の形態１
ないし４では、画像出力装置として、シーンを構成する
各物体に対応する復号化器を有するものを示したが、画
像出力装置は、１つの復号化器により、シーンを構成す
る各物体に対応する符号化画像オブジェクトデータを時
分割処理により復号化するものでもよい。さらに画像出
力装置は、シーンを構成する複数の物体の数より少ない
数の復号化器により、該複数の物体に対応する符号化画
像オブジェクトデータの復号化処理を適宜分担して行う
ものでもよい。例えば、５つの物体に対応する符号化画
像オブジェクトデータの復号化処理を、２つの復号化器
より分担して行い、この際、１つの復号化器では、２つ
の物体に対応する符号化画像オブジェクトデータの復号
化処理を行い、他の復号化器では、３つの物体に対応す
る符号化画像オブジェクトデータの復号化処理を行うよ
うにしてもよい。さらに、本実施の形態２，３，４で
は、画像出力装置としてハードウェアで実現したものを
示したが、上記画像出力装置は、ハードウェアではなく
ソフトウエアにより実現することも可能である。

【０１７６】例えば、上記実施の形態２，３，４の画像
出力装置を構成する復号化器、画像データ合成手段、画
像表示手段、復号化画像フレーム数決定手段及び制御手
段は、これらの機能をＣＰＵ（中央演算処理装置）が行
うようプログラミングしたソフトウェアプログラムを用
いて、コンピュータシスタムにおいて実現することも可
能である。

【０１７７】このようなソフトウェアにより上記各実施
の形態２，３，４の画像出力装置１２０，１３０，１４
０を実現した場合でも、本実施の形態２，３，４と全く
同様の結果が得られる。なお、上記ソフトウェアプログ
ラムは例えばフロッピーディスクや光ディスク、ＩＣカ
ード、ＲＯＭカセット等の記憶媒体に格納することが可
能である。

【０１７８】以下、上記各実施の形態の画像出力装置に
よる処理をソフトウエアにより実現するための、独立し
たコンピュータシステムについて簡単に補足説明をす
る。図１５は、上記コンピュータシステムを説明するた
めの図であり、図１５(a)は、フロッピーディスクの正
面からみた外観、断面構造、及びフロッピーディスク本
体を示し、図１５(b)は、該フロッピーディスク本体の
物理フォーマットの例を示している。

【０１７９】上記フロッピーディスクＦＤは、上記フロ
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。また、図１５
(c)は、フロッピーディスクＦＤに対する上記プログラ
ムの記録、及びフロッピーディスクＦＤに格納したプロ
グラムを用いたソフトウエアによる画像処理を行うため
の構成を示している。

【０１８０】上記プログラムをフロッピーディスクＦＤ
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記画像出力装置をコンピュータシステムＣｓ
中に構築する場合は、フロッピーディスクドライブＦDD
によりプログラムをフロッピーディスクＦＤから読み出
し、コンピュータシステムＣｓにロードする。

【０１８１】なお、上記説明では、データ記憶媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる画像出力処理を行うことができる。
また、データ記憶媒体は上記光ディスクやフロッピーデ
ィスクに限るものではなく、ＩＣカード、ＲＯＭカセッ
ト等、プログラムを記録できるものであればどのような
ものでもよく、これらのデータ記録媒体を用いる場合で
も、上記フロッピーディスク等を用いる場合と同様にソ
フトウェアによる画像出力処理を実施することができ
る。

【０１８２】（実施の形態５）図１９は、本実施の形態
５によるオブジェクト合成装置を説明するためのブロッ
ク図である。この実施の形態５のオブジェクト合成装置
１５０は、１シーンを構成する複数の物体（オブジェク
ト）に対応する画像オブジェクトデータ（以下、オブジ
ェクトデータともいう。）とともに、補助情報として、
これらのオブジェクトデータを合成するための合成情報
Ｓ１５１及び各オブジェクトに関するサイド情報Ｓ１５
２を含むプログラム情報を受け、これらのオブジェクト
からなる合成画像（シーン）に対応する画像データＳ１
７１を表示部（図示せず）あるいは記録媒体（図示せ
ず）に出力する構成となっている。

【０１８３】なお、上記合成情報Ｓ１５１は、具体的に
はＭＰＥＧ４に準拠したシーン記述言語により表される
シーン記述データ（図２８参照）である。上記サイド情
報Ｓ１５２は、ＭＰＥＧ４に準拠したオブジェクトデス
クリプタ（図２９参照）である。また、ここでは、説明
の都合上、複数のオブジェクトデータは、第１，第２の
画像オブジェクトデータＤ１６１，Ｄ１６２とする。す
なわち、このオブジェクト合成装置１５０は、上記合成
情報Ｓ１５１を格納する合成情報メモリ１５１と、上記
サイド情報Ｓ１５２を格納するサイド情報メモリ１５２
と、上記合成情報メモリ１５１に格納した合成情報に基
づいて、オブジェクト毎に、対応するオブジェクトデー
タが繰り返し再生を要するものであるか否かを判定し、
判定結果を示す制御信号Ｓ１５４を出力する判定手段１
５３とを有している。ここで、上記サイド情報メモリ１
５２は、入力されたサイド情報Ｓ１５２だけでなく、更
新された各オブジェクトに対応するフレーム更新周期の
情報Ｓ１５５を格納する構成となっている。

【０１８４】また、このオブジェクト合成装置１５０
は、入力された第１，第２の画像オブジェクトデータＤ
１６１，Ｄ１６２を、合成情報メモリ１５１における合
成情報Ｓ１５１に基づいて合成して、合成画像データＳ
１７１を出力する合成手段１５５を有している。この合
成手段１５５は、あらかじめ、この合成手段のデータ処
理能力などから決定されたフレーム更新周期を、合成画
像のフレーム更新周期とする構成となっている。なお、
合成画像のフレーム更新周期には、サイド情報メモリ１
５２における更新周期情報Ｓ１５７が示すフレーム更新
周期を用いることもできる。

【０１８５】また、このオブジェクト合成装置１５０
は、上記判定手段１５３から出力される制御信号Ｓ１５
４に応じて、サイド情報メモリ１５２における、判定手
段１５３での判定対象となるオブジェクト（対象オブジ
ェクト）のフレーム更新周期情報（Ｔ＿ｏｂｊ）Ｓ１５
５と、合成手段１０５からの合成画像のフレーム更新周
期情報（Ｔ＿ｃｍｐ）Ｓ１５６とを用いて、対象オブジ
ェクトのフレーム更新周期を更新する周期更新処理を行
う周期情報更新手段１５４を有している。このオブジェ
クト合成装置１５０では、この周期情報更新手段１５４
にて更新されたオブジェクトフレーム更新周期はサイド
情報メモリ１５２に格納されるようになっている。

【０１８６】次に動作について説明する。図１９に示す
ように、本実施の形態５のオブジェクト合成装置１５０
には、記録媒体あるいは伝送媒体等から、合成情報Ｓ１
５１、サイド情報Ｓ１５２、第１，第２のオブジェクト
データＤ１６１，Ｄ１６２が入力される。これらの情報
は、その全て又は一部が多重化された信号として入力さ
れるものであっても、それぞれの信号が別途入力される
ものであってもよい。すると、上記合成情報Ｓ１５１は
合成情報メモリ１５１に、サイド情報Ｓ１５２はサイド
情報メモリ１０２に格納される。また、第１，第２のオ
ブジェクトデータＤ１６１，Ｄ１６２は合成手段１５５
に入力される。

【０１８７】上記合成情報Ｓ１５１は図２８に示すシー
ン記述データであり、各オブジェクトに対する繰り返し
再生の要否を示すＬＯＯＰフラグを含んでいる。ここで
は、第１のオブジェクトデータ（ＯＤ＿ＩＤ＝１０）Ｄ
１６１のＬＯＯＰフラグは、「ＴＲＵＥ」であり、この
オブジェクトは繰り返し再生されるものである。第２の
オブジェクトデータ（ＯＤ＿ＩＤ＝２０）Ｄ１６２のＬ
ＯＯＰフラグは、「ＦＡＬＳＥ」であり、このオブジェ
クトは、繰り返し再生ではなく、通常再生されるもので
ある。また、サイド情報は、図２９に示すオブジェクト
デスクリプタであり、各オブジェクトのフレーム更新周
期を示すＣＵ持続時間の記述が含まれている。第１のオ
ブジェクト（ＯＤ＿ＩＤ＝１０）のフレーム更新周期は
１００ミリ秒であり（図２９(a)参照）、第２のオブジ
ェクト（ＯＤ＿ＩＤ＝２０）のフレーム更新周期は８０
ミリ秒である（図２９(b)参照）。

【０１８８】上記判定手段１５３では、合成情報メモリ
１５１に格納されている合成情報Ｓ１５１に基づいて、
これに含まれるＬＯＯＰフラグＳ１５３の解析が行わ
れ、判定対象となるオブジェクトが繰り返し再生を要す
るものであるか否かが判定される。この判定の結果、対
象オブジェクトが繰り返し再生を要するものである場合
には、制御信号Ｓ１５４が周期情報更新手段１５４に出
力される。図２８に示す合成情報（シーン記述データ）
では、第１のオブジェクトは繰り返し再生を要するもの
となっているので、判定手段１５３から周期情報更新手
段１５４に制御信号Ｓ１５４が出力される。これに対し
て第２のオブジェクトは、繰り返し再生を要しないもの
であり、判定手段１５３はこのオブジェクトに対応する
制御信号Ｓ１５４を出力しない。

【０１８９】次に、周期情報更新手段１５４では、判定
手段１５３より制御信号Ｓ１５４が入力されたときの
み、対応するオブジェクトデータのフレーム更新周期を
更新する処理（図２０参照）が行われる。従って、第１
のオブジェクトに対しては、フレーム更新周期を更新す
る処理が行われ、第２のオブジェクトに対しては、フレ
ーム更新周期を更新する処理が行われない。

【０１９０】以下、上記周期情報更新手段１５４におけ
る周期更新処理について、図２０のフローに従って詳し
く説明する。まず、周期情報更新手段１５４には、合成
手段１５５から、本オブジェクト合成装置における、合
成画像のフレーム更新周期（Ｔ＿ｃｍｐ）Ｓ１５６が入
力される（ステップＳ２０１）。続いて、周期情報更新
手段１５４には、サイド情報メモリ１５２から、対象オ
ブジェクトのフレーム更新周期（Ｔ＿ｏｂｊ）Ｓ１５５
が入力される（ステップＳ２０２）。続くステップＳ２
０３からステップＳ２０６では、周期情報更新手段１５
４にて、合成画像フレーム更新周期（Ｔ＿ｃｍｐ）と、
対象オブジェクトのフレーム更新周期（Ｔ＿ｏｂｊ）と
に基づいて、対象オブジェクトのフレーム更新周期を更
新する処理が行われる。

【０１９１】この処理では、対象オブジェクトのフレー
ム更新周期として、合成画像フレーム更新周期（Ｔ＿ｃ
ｍｐ）の倍数値のうち、対象オブジェクトのフレーム更
新周期（Ｔ＿ｏｂｊ）以上であって最小の値が選択され
る。まず、変数ｎの初期値が「１」に設定される（ステ
ップＳ２０３）。そしてオブジェクトのフレーム更新周
期（Ｔ＿ｏｂｊ）の値と、合成画像フレーム更新周期
（Ｔ＿ｃｍｐ）をｎ倍した値とが比較される（ステップ
Ｓ２０４）。後者が前者以上である場合には、周期（Ｔ
＿ｏｂｊ）の値が周期（Ｔ＿ｃｍｐ）のｎ倍の値に変更
される（ステップＳ２０６）。一方、後者が前者に満た
ない場合には、変数ｎの値に値１が加えられ（ステップ
Ｓ２０５）、その後、上記ステップＳ２０４におけるフ
レーム更新周期の比較処理が行われる。

【０１９２】例えば、ｎが初期値１である場合は、周期
（Ｔ＿ｏｂｊ）と周期（Ｔ＿ｃｍｐ）とが比較され、周
期（Ｔ＿ｃｍｐ）が周期（Ｔ＿ｏｂｊ）以上であれば、
周期（Ｔ＿ｏｂｊ）が周期（Ｔ＿ｃｍｐ）に変更され
る。一方、周期（Ｔ＿ｃｍｐ）が周期（Ｔ＿ｏｂｊ）未
満であれば、ステップＳ２０５，及びその後続のステッ
プＳ２０４では、周期（Ｔ＿ｏｂｊ）と、周期（Ｔ＿ｃ
ｍｐ）の２倍とが比較される。なお、ステップＳ２０４
及びステップＳ２０５の処理は、周期（Ｔ＿ｃｍｐ）の
ｎ倍が周期（Ｔ＿ｏｂｊ）以上となるまで繰り返され
る。そして、周期（Ｔ＿ｏｂｊ）の値が周期（Ｔ＿ｃｍ
ｐ）のｎ倍の値に変更された後（ステップＳ２０６）、
変更された周期（Ｔ＿ｏｂｊ）の値がサイド情報メモリ
１５２に格納される（ステップＳ２０７）。これにより
周期情報更新手段１０４による周期更新処理は終了す
る。

【０１９３】次に上記周期（Ｔ＿ｃｍｐ）が１５０ミリ
秒、周期（Ｔ＿ｏｂｊ）が１００ミリ秒である場合（図
２１参照）における、周期情報更新手段１５４による周
期更新処理について説明する。この場合、周期情報更新
手段１５４には、ステップＳ２０１にて、合成画像フレ
ーム更新周期（Ｔ＿ｃｍｐ）として１５０ミリ秒が入力
され、ステップＳ２０２にて、オブジェクトのフレーム
更新周期（Ｔ＿ｏｂｊ）として、１００ミリ秒が入力さ
れる。

【０１９４】変数ｎが初期値「１」に設定されていると
きには、周期（Ｔ＿ｃｍｐ）の値「１５０」は周期（Ｔ
＿ｏｂｊ）の値「１００」により大きいので、ステップ
２０４での比較の結果、周期（Ｔ＿ｏｂｊ）の値が周期
（Ｔ＿ｃｍｐ）を１倍した値「１５０」に変更され、こ
の値がサイド情報メモリ１５２に格納される。なお、図
２１では、オブジェクトのフレーム更新周期（Ｔ＿ｏｂ
ｊ）の初期値「１００ミリ秒」と、更新後の値である処
理結果「１５０ミリ秒」が示されている。

【０１９５】次に上記周期（Ｔ＿ｃｍｐ）が７５ミリ
秒、周期（Ｔ＿ｏｂｊ）が１００ミリ秒である場合（図
２２参照）における、周期情報更新手段１５４による周
期更新処理について説明する。この場合、周期情報更新
手段１５４には、ステップＳ２０１にて、合成画像フレ
ーム更新周期（Ｔ＿ｃｍｐ）として７５ミリ秒が入力さ
れ、ステップＳ２０２にて、オブジェクトのフレーム更
新周期（Ｔ＿ｏｂｊ）として、１００ミリ秒が入力され
る。

【０１９６】変数ｎが初期値「１」に設定されていると
きには、周期（Ｔ＿ｃｍｐ）の値「７５」は周期（Ｔ＿
ｏｂｊ）の値「１００」より小さいので、変数ｎの値が
「２」にインクリメントされる（ステップＳ２０５）。
変数ｎが値「２」に設定されているときには、周期（Ｔ
＿ｃｍｐ）の２倍の値「１５０（＝７５×２）」は周期
（Ｔ＿ｏｂｊ）の値「１００」より大きいので、周期
（Ｔ＿ｏｂｊ）の値が、周期（Ｔ＿ｃｍｐ）を２倍した
値「１５０」に変更され、この値がサイド情報メモリ１
５２に格納される。なお、図２２では、オブジェクトの
フレーム更新周期（Ｔ＿ｏｂｊ）の初期値「１００ミリ
秒」と、更新後の値である処理結果「１５０ミリ秒」が
示されている。

【０１９７】このようにして周期情報更新手段１５４に
て、各オブジェクトのフレーム更新周期が更新される
と、合成手段１５５では、複数のオブジェクトデータか
らなる合成画像のデータとして、フレーム更新周期が１
５０ミリ秒である合成画像に対応する再生データが得ら
れる。

【０１９８】上記判定手手段での判定対象となるオブジ
ェクト（対象オブジェクト）が第１のオブジェクトのよ
うに繰り返し再生を要するものである場合、上記のよう
に、オブジェクト合成装置におけるフレーム更新周期の
整数倍の周期をもって、対象オブジェクトのフレーム更
新処理が行われることとなるので、図３１に示したよう
な対象オブジェクトのフレームスキップが発生せず、合
成画像を滑らかで違和感の少ないものとすることができ
る。これに対して、第２のオブジェクトのように、対象
オブジェクトが繰り返し再生を要しないものである場合
には、図１９における判定手段１５３からの制御信号Ｓ
１５４が出力なされないことから、この対象オブジェク
トは、合成画像のフレーム更新周期でもってフレーム更
新処理が行われることとなる。このため、このオブジェ
クトについては図３１に示したようにフレームスキップ
は発生するが、音声データ等との同期を保持しつつ画像
表示が行われることとなる。

【０１９９】このように本実施の形態１のオブジェクト
合成装置では、合成情報メモリ１５１に格納された合成
情報に基づいて、判定対象となるオブジェクトがオブジ
ェクトデータの繰り返し再生を要するものであるか否か
を判定する判定手段１５３を備え、繰り返し再生を要す
るオブジェクトのフレーム更新周期の値を、合成画像の
フレーム更新周期の倍数値であってオブジェクトのフレ
ーム更新周期以上の値に変更するようにしたので、繰り
返し再生を要するオブジェクトに対してはフレームスキ
ップの発生を抑制して、動くの滑らかな表示を行うこと
ができ、繰り返し再生を要しないオブジェクトに対して
は、他のオブジェクトのフレーム更新周期と同期した表
示を行うとができる。これによりいずれのオブジェクト
に対しても、適切な合成処理を行うことが可能となる。

【０２００】（実施の形態６）図２３は本発明の実施の
形態６によるオブジェクト合成装置を説明するためのブ
ロック図である。この実施の形態６のオブジェクト合成
装置１６０は、実施の形態５のオブジェクト合成装置１
５０における周期情報更新手段１５４に代えて、該周期
情報更新手段１５４による周期設定処理とは異なる周期
更新処理を行う周期情報更新手段１６４を備えたもので
ある。このオブジェクト合成装置１６０におけるその他
の構成は、実施の形態５のオブジェクト合成装置１５０
と同一である。ここで上記周期情報更新手段１６４は、
合成画像のフレーム更新周期（Ｔ＿ｃｍｐ）の倍数値の
うちの、判定対象となるオブジェクトのフレーム更新周
期（Ｔ＿ｏｂｊ）以上であって最小のもの（第１の候補
値）と、上記倍数値のうちの、対象オブジェクトのフレ
ーム更新周期（Ｔ＿ｏｂｊ）未満であって最大のもの
（第２の候補値）とを比較し、判定対象となるオブジェ
クトのフレーム更新周期（Ｔ＿ｏｂｊ）を、上記第１，
第２の候補値のうちの上記周期（Ｔ＿ｏｂｊ）により近
いものに変更する構成となっている。

【０２０１】次に動作について説明する。このオブジェ
クト合成装置１６０では、実施の形態５と同様に、合成
情報Ｓ１５１は合成情報メモリ１５１に格納され、サイ
ド情報Ｓ１５２はサイド情報メモリ１５２に格納され
る。そして、判定手段１５３では、判定対象となるオブ
ジェクトがオブジェクトデータの繰り返し再生を要する
ものであるか否かの判定が行われる。この判定の結果、
対象オブジェクトが繰り返し再生を要するものである場
合のみ、周期情報更新手段１６４では、該対象オブジェ
クトに対するフレーム更新周期を変更する処理が行われ
る。

【０２０２】図２４(a)は、周期情報更新手段１６４に
よる処理のフローを示している。周期情報更新手段１６
４には、合成画像のフレーム更新周期（Ｔ＿ｃｍｐ）が
入力され（ステップＳ６００ａ）、上記判定対象となる
オブジェクト（対象オブジェクト）のフレーム更新周期
（Ｔ＿ｏｂｉ）が入力される（ステップＳ６００ｂ）。
なお、ステップ６００ａ及びステップＳ６００ｂの処理
は、実施の形態１のステップＳ２０１及びステップＳ２
０２の処理と同一である。

【０２０３】続いて、周期情報更新手段１６４では、合
成画像のフレーム更新周期（Ｔ＿ｃｍｐ）及び対象オブ
ジェクトのフレーム更新周期（Ｔ＿ｏｂｉ）に基づい
て、対象オブジェクトのフレーム更新周期（Ｔ＿ｏｂ
ｉ）を変更する周期情報更新処理が行われる（ステップ
Ｓ６００ｃ）。その後は、変更された対象オブジェクト
のフレーム更新周期（Ｔ＿ｏｂｉ）がサイド情報メモリ
１５２に格納される（ステップＳ６００ｄ）。この後
は、合成手段１５５では、実施の形態５と同様に、サイ
ド情報メモリ１５２に格納されたフレーム更新周期を用
いて、各オブジェクトデータを合成する処理が行われ
る。また、繰り返しを要しないオブジェクトに対して
は、実施の形態５と同様、上記のようなオブジェクトの
フレーム更新周期を更新する処理は行わずに、従来の合
成装置と同様なオブジェクトデータの合成処理が行われ
る。

【０２０４】以下、上記ステップ６００ｃにおける周期
情報更新処理について詳述する。上記実施の形態５にお
ける周期情報更新処理では、合成画像のフレーム更新周
期（Ｔ＿ｃｍｐ）の倍数値のうちの、対象オブジェクト
のフレーム更新周期（Ｔ＿ｏｂｊ）値以上であって最小
の値を置換周期として求め、対象オブジェクトのフレー
ム更新周期（Ｔ＿ｏｂｊ）を、この置換周期に変更して
いる。これに対し、本実施の形態６の周期情報更新処理
では、合成画像のフレーム更新周期（Ｔ＿ｃｍｐ）の倍
数値のうちの、対象オブジェクトのフレーム更新周期
（Ｔ＿ｏｂｊ）以上であって最小のもの（第１の候補
値）と、上記倍数値のうちの、対象オブジェクトのフレ
ーム更新周期（Ｔ＿ｏｂｊ）未満であって最大のもの
（第２の候補値）とを求め、対象オブジェクトのフレー
ム更新周期（Ｔ＿ｏｂｊ）を、上記第１，第２の候補値
のうちの上記周期（Ｔ＿ｏｂｊ）により近いものに変更
している。

【０２０５】図２５は、この周期情報更新処理のフロー
を示している。まず、上記周期情報更新手段１６４で
は、変数ｎの値が初期化されて「１」とされる（ステッ
プＳ６０１）。次に、当該合成装置のフレーム更新周期
である（Ｔ＿ｃｍｐ）のｎ倍の値が、処理対象であるオ
ブジェクトのフレーム更新周期である（Ｔ＿ｏｂｊ）か
ら減算され、第１の減算結果（ｄ＿１）が取得される
（ステップＳ６０２）。またこの時、変数ｐの値とし
て、上記変数ｎの値が設定される。

【０２０６】続いて、変数ｎの値を１だけインクリメン
トする処理が行われた後（ステップＳ６０３）、周期
（Ｔ＿ｃｍｐ）のｎ倍の値が周期（Ｔ＿ｏｂｊ）の値以
上であるか否かが判定される（ステップＳ６０４）。こ
の判定の結果、周期（Ｔ＿ｃｍｐ）のｎ倍の値が周期
（Ｔ＿ｏｂｊ）の値以上でないときは、ステップＳ６０
２〜Ｓ６０４の処理が再度行われることとなる。一方、
ステップＳ６０４での判定の結果、周期（Ｔ＿ｃｍｐ）
のｎ倍の値が周期（Ｔ＿ｏｂｊ）の値以上であるとき
は、周期（Ｔ＿ｃｍｐ）のｎ倍の値から周期（Ｔ＿ｏｂ
ｊ）の値が減算されて第２の減算結果（ｄ＿２）が取得
される（ステップＳ６０５）。この時、変数ｑの値が変
数ｎの値に設定される。

【０２０７】その後、上記第１の減算結果（ｄ＿１）と
第２の減算結果（ｄ＿２）との比較が行われる（ステッ
プＳ６０６）。この比較の結果、上記第２の減算結果
（ｄ＿２）が第１の減算結果（ｄ＿１）以上であると
き、変数Ｎの値が上記変数ｐの値に設定される（ステッ
プＳ６０７）。一方，上記比較結果、上記第２の減算結
果（ｄ＿２）が第１の減算結果（ｄ＿１）未満であると
き、変数Ｎの値が上記変数ｑの値に設定される（ステッ
プＳ６０８）。そして、上記ステップＳ６０７あるいは
ステップＳ６０８に続いて、ステップ６０７またはステ
ップ６０８で得られた変数Ｎを用いて、対象オブジェク
トのフレーム更新周期（Ｔ＿ｏｂｊ）が、合成画像のフ
レーム更新周期（Ｔ＿ｃｍｐ）のＮ倍の値に変更される
（ステップＳ６０９）。

【０２０８】次に上記周期（Ｔ＿ｃｍｐ）が７５ミリ
秒、周期（Ｔ＿ｏｂｊ）の初期値が１００ミリ秒である
場合（図２４(b)参照）における、周期情報更新手段１
６４による周期更新処理について説明する。この場合、
周期情報更新手段１６４には、ステップＳ６００ａに
て、合成画像フレーム更新周期（Ｔ＿ｃｍｐ）として７
５ミリ秒が入力され、ステップＳ６００ｂにて、オブジ
ェクトのフレーム更新周期（Ｔ＿ｏｂｊ）として、１０
０ミリ秒が入力される。そして、周期情報更新手段１６
４では、これらの値に基づいてオブジェクトのフレーム
更新周期（Ｔ＿ｏｂｊ）が更新される。すなわち、上記
ステップＳ６０１では変数ｎが「１」に設定され、ステ
ップＳ６０２では、周期（Ｔ＿ｏｂｊ）の値「１００」
から、周期（Ｔ＿ｃｍｐ）の値「７５」の１倍が減算さ
れ、第１の減算結果（ｄ＿１）の値「２５」が得られ
る。また、このとき変数ｐの値は、ｎの値「１」に設定
される。

【０２０９】続くステップＳ６０３では、変数ｎの値は
「１」から「２」にインクリメントされ、ステップＳ６
０４では、周期（Ｔ＿ｏｂｊ）の値「１００」と、周期
（Ｔ＿ｃｍｐ）の値「７５」の２倍「１５０」とが比較
される。この場合、周期（Ｔ＿ｃｍｐ）の値の２倍は、
周期（Ｔ＿ｏｂｊ）の値より大きいので、ステップＳ６
０５にて、周期（Ｔ＿ｃｍｐ）の値の２倍「１５０」か
ら、周期（Ｔ＿ｏｂｊ）の値「１００」が減算され、減
算結果（ｄ＿２）の値「５０」が得られる。また、この
とき変数ｑの値は、変数ｎの値「２」に設定される。

【０２１０】ステップＳ６０６では、第１の減算結果
（ｄ＿１）と第２の減算結果（ｄ＿２）とが比較され
る。この場合、第２の減算結果（ｄ＿２）の値「５０」
が、第１の減算結果（ｄ＿１）の値「２５」より大きい
ので、ステップＳ６０７にて、変数Ｎの値は変数ｐの値
「１」に設定される。そして、ステップＳ６０９では、
周期（Ｔ＿ｏｂｊ）の値が、周期（Ｔ＿ｃｍｐ）の値
「７５」の１倍の値「７５」に設定される。図２４(b)
には、上記周期情報更新手段による周期（Ｔ＿ｏｂｊ）
の更新結果の値が処理結果「７５ミリ秒」として示され
ている。

【０２１１】図２４(b)に示す実施の形態６における周
期情報更新処理と、図２２に示す実施の形態５の周期情
報更新処理とを比較すると、対象オブジェクトのフレー
ム更新周期（Ｔ＿ｏｂｊ）の初期値が同じである場合、
実施の形態５ではフレーム更新周期（Ｔ＿ｏｂｊ）の値
として「１５０」が得られるのに対して、本実施の形態
６では、フレーム更新周期の値として「７５」が得られ
ることが分かる。従って、本実施の形態６では、実施の
形態５に比べて、対象オブジェクトのフレーム更新周期
の更新前後での周期の変動を小さく抑えることができ
る。

【０２１２】つまり、実施の形態５では、周期（Ｔ＿ｏ
ｂｊ）の値は、周期更新処理前後で、「１００ミリ秒」
から「１５０ミリ秒」に変化しており、その変動量は５
０ミリ秒である。一方、本実施の形態６では、周期（Ｔ
＿ｏｂｊ）の値は、周期更新処理前後で、「１００ミリ
秒」から「７５ミリ秒」に変化しており、その変動量は
２５ミリ秒である。

【０２１３】このように本実施の形態６のオブジェクト
合成装置では、合成情報メモリ１５１に格納された合成
情報に基づいて、判定対象となるオブジェクトが、オブ
ジェクトデータの繰り返し再生を要するものであるか否
かを判定する判定手段１５３を備え、繰り返し再生を要
するオブジェクトのフレーム更新周期の値を、合成画像
のフレーム更新周期の倍数値であってオブジェクトのフ
レーム更新周期に最も近い値に変更するようにしたの
で、実施の形態５と同様、繰り返し再生を要するオブジ
ェクトに対してはフレームスキップの発生を抑制し、繰
り返し再生を要しないオブジェクトに対しては他のオブ
ジェクトのフレーム更新周期と同期した表示を行うこと
ができるという効果に加えて、繰り返し再生を要するオ
ブジェクトのフレーム更新周期の、更新前後の変動量を
小さく抑えることができる効果がある。

【０２１４】なお、実施の形態５及び６では、オブジェ
クト合成装置として、２つのオブジェクトに対応する画
像データを合成するものを示したが、オブジェクト合成
装置は、３つ以上のオブジェクトに対応する画像データ
を合成するものであってもよく、この場合も、上記各実
施の形態と同様の周期情報更新処理が行われる。また、
実施の形態５及び６では、オブジェクト合成装置とし
て、対象オブジェクトのフレーム更新周期を更新するか
否かを、合成情報（シーン記述データ）中に記述された
ＬＯＯＰフラグを用いて判断するものを示しているが、
対象オブジェクトのフレーム更新周期を更新するか否か
の判定は、その他のフラグに基づいて行うようにしても
よい。例えば、ＭＰＥＧ４のオブジェクト符号化方式に
おける補助情報（プログラム情報）を、各オブジェクト
に対応する、そのフレーム更新周期を更新可能か否かを
示す更新許可フラグを含むものとし、この更新許可フラ
グに基づいて、対応するオブジェクトのフレーム更新周
期の変更を行うか否かを判定するようにしてもよい。

【０２１５】また、上記実施の形態５，６では、合成情
報（シーン記述データ）を、各オブジェクトの表示に関
する情報（ＬＯＯＰフラグ）を含むものとし、対象オブ
ジェクトのフレーム更新周期を更新するか否かの判定
を、合成情報（シーン記述データ）から得られるＬＯＯ
Ｐフラグに基づいて行っているが、各オブジェクトの表
示に関する情報（ＬＯＯＰフラグ）は、サイド情報に記
述するようにしてもよい。この場合、周期情報の更新を
行うか否かの判定は、サイド情報から得られるＬＯＯＰ
フラグに基づいて行われることとなる。

【０２１６】図２６は、本発明の実施の形態７によるオ
ブジェクト合成装置を説明するためのブロック図であ
る。この実施の形態７のオブジェクト合成装置１７０
は、サイド情報に記述された各オブジェクトの表示に関
する情報（ＬＯＯＰフラグ）に基づいて、対象オブジェ
クトのフレーム更新周期を更新するか否かの判定を行う
点で、上記実施の形態５のオブジェクト合成装置１５０
と異なっている。

【０２１７】つまり、実施の形態７のオブジェクト合成
装置１７０は、実施の形態５のオブジェクト合成装置１
５０における判定手段１５３に代えて、サイド情報メモ
リ１５２から各オブジェクトの表示に関する情報（ＬＯ
ＯＰフラグ）を取得し、判定対象となるオブジェクトが
フレーム更新周期の更新を要するものであるか否かを判
定し、判定の結果を制御信号Ｓ１５４として周期情報更
新手段１５４に出力する判定手段１７３を備えたもので
ある。そしてこのオブジェクト合成装置１７０のその他
の構成は、実施の形態５のオブジェクト合成装置１５０
と同一となっている。

【０２１８】このような構成の実施の形態７のオブジェ
クト合成装置においても、判定手段１７３では、サイド
情報メモリ１５２に格納されたサイド情報Ｓ７５２に基
づいて、判定対象となるオブジェクトがオブジェクトデ
ータの繰り返し再生を要するものであるか否かが判定さ
れ、繰り返し再生を要するオブジェクトのフレーム更新
周期の値が、合成画像のフレーム更新周期の倍数値であ
ってオブジェクトのフレーム更新周期以上の値に変更さ
れる。これにより、繰り返し再生を要するオブジェクト
に対してはフレームスキップの発生を抑制して、動くの
滑らかな表示を行うことができ、繰り返し再生を要しな
いオブジェクトに対しては、他のオブジェクトのフレー
ム更新周期と同期した表示を行うことができる。これに
よりいずれのオブジェクトに対しても、適切な合成処理
を行うことが可能となる。

【０２１９】なお、上記実施の形態５ないし７では、各
オブジェクトに対応するフレーム更新周期を示す情報
（周期更新情報）としてＣＵ持続時間がサイド情報に記
述されている場合について説明したが、該周期更新情報
はサイド情報に記述する場合に限るものではなく、この
周期更新情報はプログラム情報内に格納されていればよ
い。例えば、合成情報（シーン記述情報）に格納されて
いてもよい。また、実施の形態５ないし７では、合成情
報として、図２８に示すようなＭＰＥＧ４にて規格化さ
れたシーン記述言語により表現されたシーン合成データ
が入力されるものを示したが、合成情報はこれに限定さ
れるものではない。例えば、合成情報は、ＭＨＥＧ（Mu
ltimedia Hypermedia Expert Group マルチメディア・
ハイパーメディア・エキスパート・グループ）、ＶＲＭ
Ｌ、ＨＴＭＬ（HyperText Mark-up Language ハイパー
テキスト・マークアップ・ランゲージ）、ＳＭＩＬ（Sy
nchronized Multimedia Integration Language シンク
ロナイズド・マルチメディア・インテグレーション・ラ
ンゲージ）等により記述されたものでもよい。

【０２２０】さらに、上記実施の形態５ないし７では、
合成情報を、シーン記述言語の形式を有するテキストデ
ータとして合成情報メモリに格納するものを示している
が、合成情報は、バイナリのビットデータとして入力さ
れ、または格納されるものとしてもよい。さらに、この
バイナリデータは、判定手段や合成手段でのデータ解析
処理が簡単なものとなるようデータ構造体化されたもの
であってもよい。また、実施の形態５ないし７では、オ
ブジェクト合成装置としてハードウェアにより構成され
るものを示したが、オブジェクト合成装置は、ソフトウ
ェアにより実現することも可能である。例えば、上記実
施の形態５ないし７のいずれかのオブジェクト合成装置
によるオブジェクトデータの合成処理をソフトウェアに
より実現するためのオブジェクト合成処理プログラムを
記録媒体に記録し、このオブジェクト合成処理プログラ
ムを、図１５(c)に示すコンピュータシステム等におい
て実行することにより、実施の形態５ないし７のオブジ
ェクト合成装置は実現することができる。なお、このオ
ブジェクト合成処理プログラムは、図１５(a)に示すフ
ロッピーディスクや、その他の記録媒体、例えば光ディ
スク、ＩＣカード、ＲＯＭカセット、磁気テープ等に格
納することが可能である。

【０２２１】

【発明の効果】以上のようにこの発明（請求項１，８）
によれば、各物体に対応する符号化画像オブジェクトデ
ータを復号化して得られる復号化データを合成して1 つ
のフレームに対応する合成データを生成する合成処理
を、フレーム毎に繰り返し行う際、バッファに格納され
た各フレームの合成データに対応する設定表示時刻と、
表示処理能力により決定される表示予定時刻との比較結
果に基づいて、上記合成処理の周期を変更するようにし
たので、再生データとして出力される合成データのフレ
ームレートが装置の処理能力に応じて調整されることと
なり、これにより画像出力装置における処理能力に拘わ
らず、音声データと画像データの間での再生処理を同期
させて、再生画像と再生音声のずれを防止することがで
きる。

【０２２２】この発明（請求項２，９）によれば、各物
体に対応する符号化画像オブジェクトデータを復号化
し、各物体に対応する復号化データを合成してバッファ
に格納する際、バッファに格納された各フレームの合成
データに対応する設定表示時刻と、表示処理能力により
決定される表示予定時刻との比較結果に基づいて、単位
時間当たりに復号化処理が行われる復号化フレーム数を
変更するようにしたので、復号化データの生成処理が、
復号化データを合成する合成処理や合成データを表示装
置に出力する表示処理を行う回路構成の処理能力に応じ
たものとなり、画像出力装置全体の処理能力に応じた適
切な画像再生を行うことができる。

【０２２３】この発明（請求項４，１０）によれば、各
物体に対応する符号化画像オブジェクトデータを復号化
し、各物体に対応する復号化データを合成してバッファ
に格納する際、バッファへ合成データを書き込む際の待
ち時間に基づいて、単位時間当たりに復号化処理が行わ
れる復号化フレーム数を変更するようにしたので、復号
化データの生成処理が、復号化データを合成する合成処
理や合成データを表示装置に出力する表示処理を行う回
路構成の処理能力に応じたものとなり、画像出力装置全
体の処理能力に応じた適切な画像再生を行うことができ
る。

【０２２４】この発明（請求項６，１１）によれば、各
物体に対応する符号化画像オブジェクトデータを復号化
し、各物体に対応する復号化データを合成してバッファ
に出力する際、バッファに格納された各フレームの合成
データに対応する設定表示時刻と、表示処理能力により
決定される表示予定時刻との比較結果、及びバッファへ
合成データを書き込む際の待ち時間に基づいて、単位時
間当たりに復号化処理が行われる復号化フレーム数を変
更するようにしたので、復号化データの生成処理が、復
号化データを合成する合成処理や合成データを表示装置
に出力する表示処理を行う回路構成の処理能力により適
したものとなり、画像出力装置全体の処理能力に応じた
より適切な画像再生を行うことができる。

【０２２５】この発明（請求項３，５，７）によれば、
請求項２，４，６記載の画像出力装置において、復号化
フレーム数情報に応じて単位時間当たりの復号化フレー
ム数を変更する際、上記符号化画像オブジェクトデータ
に対して施された符号化処理の種類に基づいて、復号化
処理の対象とするフレーム及び復号化処理の対象としな
い間引きフレームを決定するので、復号化フレーム数の
削減の際には、復号化処理の対象としないフレームを、
画質に対する影響の小さいフレームから順に選択するこ
とができ、画質の劣化を抑えつつ、画像出力装置全体の
処理能力に応じた適切な画像再生を行うことができる。

【０２２６】この発明（請求項１２，１３，１４，１
５）に係るデータ記憶媒体によれば、画像データをコン
ピュータにより処理するためのプログラムとして、請求
項８，９，１０，１１記載の画像再生方法による再生デ
ータの生成処理をコンピュータに行わせるための画像再
生プログラムを格納したので、上記各請求項の画像再生
方法による画像データの出力処理を汎用のコンピュータ
で簡単に実現することが可能となる。

【０２２７】この発明(請求項１６，１７）によれば、
複数の画像オブジェクトデータを、各物体のフレームを
更新する周期を示すオブジェクト周期情報、及び複数の
物体からなる合成画像のフレームを更新する周期を示す
合成画像周期情報を参照して合成する際に、制御信号に
基づいて、上記周期情報のいずれかを、フレームの更新
周期が該制御信号に応じた値となるよう変更するので、
複数の物体からなる合成画像（再生シーン）に対して
は、画像オブジェクトデータの合成装置の処理能力に適
したフレーム更新周期を設定し、また、シーンを構成す
る個々の物体に対しては、その画像オブジェクトデータ
に対する表示処理方法に適したフレーム更新周期を設定
することが可能となる。

【０２２８】この発明（請求項１８）によれば、画像デ
ータをコンピュータにより処理するためのプログラムと
して、請求項１７記載の画像再生方法による再生データ
の生成処理をコンピュータに行わせるための画像再生プ
ログラムを格納したので、上記請求項１７の画像再生方
法による画像データの出力処理を汎用のコンピュータで
簡単に実現することが可能となる。

【０２２９】この発明(請求項１９，２８）によれば、
プログラム情報に含まれる物体のフレームを更新する周
期を示すオブジェクト周期情報を、該物体の画像オブジ
ェクトデータに対する表示処理方法の判定結果に応じて
更新するので、個々の物体に対して、画像オブジェクト
データに対する表示処理方法に適したフレーム更新周期
を設定することができ、画像オブジェクトデータの繰り
返し再生が行われる物体を含む合成画像（再生シーン）
を良好に表示することが可能となる。

【０２３０】この発明(請求項２０）によれば、請求項
１９記載のオブジェクト合成装置において、プログラム
情報を構成する、物体を合成するための合成情報を、画
像オブジェクトデータに対する表示処理方法を示す表示
方法情報を含むものとしているので、上記合成情報に基
づいて、個々の物体に対して、画像オブジェクトデータ
に対する表示処理方法に適したフレーム更新周期を設定
することができる。

【０２３１】この発明(請求項２１）によれば、請求項
１９記載の画像オブジェクトデータ合成装置において、
プログラム情報を構成する、物体に対応するサイド情報
を、画像オブジェクトデータに対する表示処理方法を示
す表示方法情報を含むものとしているので、上記サイド
情報に基づいて、個々の物体に対して、画像オブジェク
トデータに対する表示処理方法に適したフレーム更新周
期を設定することができる。

【０２３２】この発明(請求項２２，２９）によれば、
請求項１９記載のオブジェクト合成装置，請求項２８記
載のオブジェクト合成方法において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報として、
該物体が、フレームに対応する画像オブジェクトデータ
を繰り返し再生する必要があるか否かを示すフラグを用
いるので、個々の物体がその画像オブジェクトデータの
繰り返し再生を要するものであるか否かに応じて、個々
の物体に対して適切なフレーム更新周期を設定すること
ができ、繰り返し再生が行われる物体を含む合成画像を
良好に表示することが可能となる。

【０２３３】この発明(請求項２３，３０）によれば、
請求項１９記載のオブジェクト合成装置，請求項２８記
載のオブジェクト合成方法において、上記プログラム情
報に含まれる、各物体に対応する表示方法情報として、
該物体のオブジェクト周期情報を変更可能であるか否か
を示すフラグを用いるので、物体がオブジェクト周期情
報を変更可能なものであれば、該物体に対して適切なフ
レーム更新周期を設定することができ、繰り返し再生が
行われる物体を含む合成画像を良好に表示することが可
能となる。

【０２３４】この発明(請求項２４，３１）によれば、
請求項１９記載のオブジェクト合成装置，請求項２８記
載のオブジェクト合成方法において、上記オブジェクト
周期情報の更新処理として、上記物体のオブジェクト周
期情報を、上記物体のフレーム更新周期が、上記画像オ
ブジェクトデータを合成する合成周期の整数倍となるよ
う更新する処理を行うので、画像オブジェクトデータを
合成する合成周期を合成画像のフレーム更新周期とし
て、物体のフレームスキップの発生を抑制しつつ、合成
画像を良好に表示することが可能となる。

【０２３５】この発明(請求項２５，３２）によれば、
請求項２４記載のオブジェクト合成装置，請求項３１記
載のオブジェクト合成方法において、オブジェクト周期
情報の値が、画像オブジェクトデータの合成周期以下で
あるとき、物体のフレーム更新周期が合成周期の１倍と
なるよう、該オブジェクト周期情報を更新するので、上
記と同様、画像オブジェクトデータを合成する合成周期
を合成画像のフレーム更新周期として、物体のフレーム
スキップの発生を抑制しつつ、合成画像を良好に表示す
ることが可能となる。

【０２３６】この発明(請求項２６，３３）によれば、
請求項２４記載のオブジェクト合成装置，請求項３１記
載のオブジェクト合成方法において、オブジェクト周期
情報の値が、画像オブジェクトデータの合成周期よりも
大きいときには、上記物体のフレーム更新周期が、上記
合成周期の倍数値のうちの、上記オブジェクト周期情報
の値以上であって最小値となるよう、上記オブジェクト
周期情報を更新するので、上記と同様、画像オブジェク
トデータを合成する合成周期を合成画像のフレーム更新
周期として、物体のフレームスキップの発生を抑制しつ
つ、合成画像を良好に表示することが可能となる。

【０２３７】この発明(請求項２７，３４）によれば、
請求項２４記載のオブジェクト合成装置，請求項３１記
載のオブジェクト合成方法において、繰り返し再生を要
するオブジェクトのフレーム更新周期の値を、合成画像
のフレーム更新周期の倍数値であってオブジェクトのフ
レーム更新周期に最も近い値に変更するので、上記と同
様、画像オブジェクトデータを合成する合成周期を合成
画像のフレーム更新周期として、繰り返し再生を要する
物体のフレームスキップの発生を抑制しつつ、合成画像
を良好に表示することができる効果に加えて、繰り返し
再生を要するオブジェクトのフレーム更新周期の、更新
前後の変動量を小さく抑えることができる効果があ
る。。

【０２３８】この発明(請求項３５）によれば、所定の
画像を構成する個々の物体に対応する画像オブジェクト
データを、上記画像に付随する補助情報に基づいて合成
するオブジェクト合成処理を、コンピュータにより行う
ための画像処理プログラムを、複数の物体からなるシー
ンに付随する補助情報（プログラム情報）に含まれる物
体のフレームを更新する周期を示すオブジェクト周期情
報を、該物体の画像オブジェクトデータに対する表示処
理方法の判定結果に応じて更新する周期情報更新処理を
コンピュータが行う構成としたので、ソフトウエアによ
る画像オブジェクトデータの合成処理の際に、個々の物
体に対して、画像オブジェクトデータに対する表示処理
方法に適したフレーム更新周期を設定することができ、
画像オブジェクトデータの繰り返し再生が行われる物体
を含む合成画像（再生シーン）を良好に表示することが
可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像出力装置の構
成を示すブロック図である。

【図２】上記実施の形態１の画像出力装置を構成するバ
ッファを説明するための図であり、該バッファにおける
データ格納領域（図(a)），計時時刻Ｔ＝１０００，Ｔ
＝１４００における該データ格納領域に格納されたデー
タ（図(b)，(c)）を示している。

【図３】上記実施の形態１を構成する画像表示手段によ
る表示処理のフローを示す図である。

【図４】上記実施の形態１の画像出力装置の動作を説明
するための図であり、上記表示予定時刻，設定表示時
刻，及び合成周期の関係を示している。

【図５】上記実施の形態１の画像出力装置を構成する画
像データ合成周期決定決定手段による周期決定処理のフ
ローを示す図である。

【図６】上記実施の形態１の画像出力装置を構成する画
像データ合成手段の動作を説明するための模式図であ
り、各フレームに対応する復号化データが出力されるタ
イミング（図(a)）と、各フレームに対応する合成デー
タが生成されるタイミング（図(b)，図(c)）との関係を
示している。

【図７】上記実施の形態１の画像出力装置における画像
データ合成周期決定処理の変形例を説明するための図で
あり、画像データ合成周期を更新する際の増減値が変数
である場合の画像データ合成周期Ｐｃｍｐの変化を示し
ている。

【図８】本発明の実施の形態２による画像出力装置の構
成を示すブロック図である。

【図９】上記実施の形態２の画像出力装置を構成する画
像データ合成周期決定手段の処理のフローを示す図であ
る。

【図１０】上記実施の形態２の画像出力装置における復
号化処理を説明するための図であり、復号化器へ符号化
画像オブジェクトデータが入力されるタイミングと、複
号化器で符号化画像オブジェクトデータが復号化される
タイミングとの関係を示している。

【図１１】本発明の実施の形態３における画像出力装置
の構成を示すブロック図である。

【図１２】上記実施の形態３の画像出力装置を構成する
復号化フレーム数決定手段の処理のフローを示す図であ
る。

【図１３】本発明の実施の形態４による画像出力装置の
構成を示すブロック図である。

【図１４】上記実施の形態４の画像出力装置を構成する
復号化フレーム数決定手段の処理のフローを示す図であ
る。

【図１５】上記各実施の形態の符号化及び復号化処理を
コンピュータシステムにより行うためのプログラムを格
納したデータ記憶媒体（図(a)，(b)）、及び上記コンピ
ュータシステム（図(c)）を説明するための図である。

【図１６】ＭＰＥＧ４における符号化された画像データ
を説明するための図であり、送信側から出力される多重
ビットストリームのデータ構造（図(a)），第１の物体
のアクセスユニットに対応するフレームデータ（図
(b)），及び第２の物体のアクセスユニットに対応する
フレームデータ（図(c)）を示している。

【図１７】従来の伝送経路のトラッフィック状態に応じ
て復号化処理の制御を行う画像出力装置の構成を示すブ
ロック図である。

【図１８】従来の復号化器の処理能力に応じて復号化処
理の負荷を制御する画像出力装置の構成を示すブロック
図である。

【図１９】本発明の実施の形態５による画像オブジェク
トデータ合成装置を説明するためのブロック図である。

【図２０】上記実施の形態５の装置を構成する周期情報
更新手段における処理のフローを示す図である。

【図２１】上記実施の形態５の装置における、周期情報
の更新処理の一例を示す図である。

【図２２】上記実施の形態５の装置における、周期情報
の更新処理の他の例を示す図である。

【図２３】本発明の実施の形態６による画像オブジェク
トデータ合成装置を説明するためのブロック図である。

【図２４】上記実施の形態６のオブジェクト合成装置に
おける、周期情報更新手段による処理の概略フロー（図
(a)）、周期情報の更新処理の一例（図(b)）を示す図で
ある。

【図２５】上記実施の形態６の装置における周期情報更
新処理の詳細な処理のフローを示す図である。

【図２６】本発明の実施の形態７によるオブジェクト合
成装置を説明するためのブロック図である。

【図２７】ＭＰＥＧ４に準拠したオブジェクト符号化方
式の概念を説明するための図であり、複数のオブジェク
トからなるシーン（図(a)）、その階層構造（図(b)）、
及びシーン記述（図(c)）を示している。

【図２８】ＭＰＥＧ４に準拠したオブジェクト符号化方
式における合成情報（シーン記述データ）の一部を示す
図である。

【図２９】ＭＰＥＧ４に準拠したオブジェクト符号化方
式におけるサイド情報に含まれるオブジェクトデスクリ
プタの例として、オブジェクト（ＯＤ＿ＩＤ＝１０）の
オブジェクトデスクリプタ（図(a)）及びオブジェクト
（ＯＤ＿ＩＤ＝２０）のオブジェクトデスクリプタ（図
(b)）を示す図である。

【図３０】従来のオブジェクト合成装置による各オブジ
ェクトのフレーム更新周期に基づく合成処理における問
題点を説明するための図である。

【図３１】従来のオブジェクト合成装置による合成画像
のフレーム更新周期に基づく合成処理における問題点を
説明するための図である。

【符号の説明】

１１，６１，８１，１０１分離器１１ａ，６１ａ，８１ａ，１０１ａ第１の復号化器１１ｂ，６１ｂ，８１ｂ，１０１ｂ第２の復号化器１２，６２，８２，１０２画像データ合成手段１３，６３，８３，１０３バッファ１４，６４，８４，１０４画像表示手段１５画像データ合成周期決定手段１６，６６，８６，１０６制御手段６５，８５，１０５復号化フレーム数決定手段１００表示装置１１０，１２０，１３０，１４０画像出力装置１５０，１６０，１７０オブジェクト合成装置１５１合成情報メモリ１５２サイド情報メモリ１５３，１７３判定手段１５４，１６４周期情報更新手段１５５合成手段ＮネットワークＢｓビットストリームＥ１，Ｅ２符号化画像オブジェクトデータＴｓ１，Ｔｓ２タイムスタンプＤ１，Ｄ２復号化データＣｄ合成データＢｄ格納データＢｃｔバッファ制御信号Ｒｄ再生データＴ表示予定時刻Ｔｏｕｔ設定表示時刻ＳＴｏｕｔ最小設定表示時刻ＬＴｏｕｔ最大設定表示時刻Ｐｃｍｐデータ合成周期Ｐｄｅｃ復号処理周期Ｐｏｂｊデータ入力周期ＤＦ０ａ，ＤＦ０ｂ復号周期情報ＤＦ１ａ，ＤＦ１ｂ更新復号周期情報ＤＰ０合成周期情報ＤＰ１更新合成周期情報ＤＴｏｕｔ設定表示時刻情報ＤＴｒ表示予定時刻情報Ｒｍａ〜Ｒｍｄデータ格納領域Ｂｍａ〜Ｂｍｄカウンタ値格納部Ｇｍａ〜Ｇｍｄデータ格納部Ｔｍａ〜Ｔｍｄ時刻情報格納部ＤＷ書き込みタイミング情報Ｔｗ待ち時間Ｄｓ１，Ｄｓ２データ伝送速度情報Ｄｍ１，Ｄｍ２復号化処理量Ｃｎ１，Ｃｎ２復号制御信号ＣｓコンピュータシステムＤフロッピディスク本体ＦＣフロッピディスクケースＦＤフロッピディスクＦDD フロッピディスクドライブＳｅセクタＴｒトラックＳ１５１，Ｓ７５１合成情報Ｓ１５２，Ｓ７５２サイド情報Ｄ１６１第１のオブジェクトデータＤ１６２第２のオブジェクトデータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者石田孝典大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C059 LB07 MA00 MB14 MB16 MB24 RB14 RB18 RC04 RC19 SS20 SS26 UA05 UA32 UA39 5C063 AB03 AB07 CA23 CA34 CA36 DA07 DA13 EB45

Claims

【特許請求の範囲】

【請求項１】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータを受け、該符号化画像オブ
ジェクトデータに対して復号化処理及び合成処理を施し
て、所定の画像を表示するための再生データを出力する
画像出力装置であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して復号化データを出力する復号化器と、上記複数の復号化データを合成して１つのフレームに対
応する合成データを生成する合成処理を、フレーム毎に
繰り返し行う画像データ合成手段と、上記合成データを所定数のフレーム分だけ格納するバッ
ファと、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果に基づいて、特定のフレームに対応する
合成データを選択して、上記再生データとして出力する
画像表示手段と、上記設定表示時刻と表示予定時刻の比較結果に基づいて
上記合成処理の周期を決定して合成周期情報を出力する
画像データ合成周期決定手段とを備え、上記画像データ合成手段は、上記合成周期情報が示す合
成周期でもって、上記合成処理を行うよう構成されてい
ることを特徴とする画像出力装置。
【請求項２】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータを受け、該符号化画像オブ
ジェクトデータに対して復号化処理及び合成処理を施し
て、所定の画像を表示するための再生データを出力する
画像出力装置であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して復号化データを出力する復号化器と、上記複数の復号化データを合成して１つのフレームに対
応する合成データを生成する合成処理を、フレーム毎に
繰り返し行う画像データ合成手段と、上記合成データを所定数のフレーム分だけ格納するバッ
ファと、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果に基づいて、特定のフレームに対応する
合成データを選択して、上記再生データとして出力する
画像表示手段と、上記設定表示時刻と表示予定時刻の比較結果に基づい
て、上記復号化器にて単位時間当たりに復号化処理が行
われる各物体に対応する復号化フレーム数を決定して、
各物体に対応する復号化フレーム数情報を出力する復号
化フレーム数決定手段とを備え、上記復号化器は、各物体に対応する単位時間当たりの復
号化処理量が、上記復号化フレーム数情報が示す単位時
間当たりのフレーム数に相当するものとなるよう、復号
化処理を行う構成となっていることを特徴とする画像出
力装置。
【請求項３】請求項２記載の画像出力装置において、上記復号化器は、上記各物体に対応する復号化フレーム
数情報に応じて単位時間当たりの復号化フレーム数を変
更する際、上記符号化画像オブジェクトデータに対して
施された符号化処理の種類に基づいて、復号化処理の対
象とする処理フレーム及び復号化処理の対象としない間
引きフレームを決定する構成となっていることを特徴と
する画像出力装置。
【請求項４】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータを受け、該符号化画像オブ
ジェクトデータに対して復号化処理及び合成処理を施し
て、所定の画像を表示するための再生データを出力する
画像出力装置であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して復号化データを出力する復号化器と、上記複数の復号化データを合成して１つのフレームに対
応する合成データを生成する合成処理を、フレーム毎に
繰り返し行う画像データ合成手段と、上記合成データを所定数のフレーム分だけ格納するバッ
ファと、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果に基づいて、特定のフレームに対応する
合成データを選択して、上記再生データとして出力する
画像表示手段と、上記画像データ合成手段から上記バッファへ合成データ
を書き込む際の待ち時間に基づいて、上記復号化器にて
単位時間当たりに復号化処理が行われる各物体に対応す
る復号化フレーム数を決定して、各物体に対応する復号
化フレーム数情報を出力する復号化フレーム数決定手段
とを備え、上記復号化器は、各物体に対応する単位時間当たりの復
号化処理量が上記復号化フレーム数情報が示す単位時間
当たりのフレーム数に相当するものとなるよう、復号化
処理を行う構成となっていることを特徴とする画像出力
装置。
【請求項５】請求項４記載の画像出力装置において、上記復号化器は、上記各物体に対応する復号化フレーム
数情報に応じて単位時間当たりの復号化フレーム数を変
更する際、上記符号化画像オブジェクトデータに対して
施された符号化処理の種類に基づいて、復号化処理の対
象とする対象フレーム及び復号化処理の対象としない間
引きフレームを決定する構成となっていることを特徴と
する画像出力装置。
【請求項６】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータを受け、該符号化画像オブ
ジェクトデータに対して復号化処理及び合成処理を施し
て、所定の画像を表示するための再生データを出力する
画像出力装置であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して復号化データを出力する復号化器と、上記複数の復号化データを合成して１つのフレームに対
応する合成データを生成する合成処理を、フレーム毎に
繰り返し行う画像データ合成手段と、上記合成データを所定数のフレーム分だけ格納するバッ
ファと、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果に基づいて、特定のフレームに対応する
合成データを選択して、上記再生データとして出力する
画像表示手段と、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果、及び上記画像データ合成手段から上記
バッファへ合成データを書き込む際の待ち時間に基づい
て、上記復号化器にて単位時間当たりに復号化処理が行
われる各物体に対応する復号化フレーム数を決定して、
各物体に対応する復号化フレーム数情報を出力する復号
化フレーム数決定手段とを備え、上記復号化器は、各物体に対応する単位時間当たりの復
号化処理量が上記復号化フレーム数情報が示す単位時間
当たりのフレーム数に相当するものとなるよう、復号化
処理を行う構成となっていることを特徴とする画像出力
装置。
【請求項７】請求項６記載の画像出力装置において、上記復号化器は、上記各物体に対応する復号化フレーム
数情報に応じて単位時間当たりの復号化フレーム数を変
更する際、上記符号化画像オブジェクトデータに対して
施された符号化処理の種類に基づいて、復号化処理の対
象とするフレーム及び復号化処理の対象としない間引き
フレームを決定する構成となっていることを特徴とする
画像出力装置。
【請求項８】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータに対して、復号化処理及び
合成処理を施して、上記所定の画像を表示するための再
生データを出力する画像再生方法であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して得られる復号化データを合成して1 つのフレ
ームに対応する合成データを生成する合成処理を、フレ
ーム毎に繰り返し行う復号データ合成処理と、上記合成データを所定数のフレーム分だけバッファに格
納するバッファ処理と、上記バッファに格納された各合成データに対応する設定
表示時刻と、表示処理能力により決定される表示予定時
刻との比較結果に基づいて、特定のフレームに対応する
合成データを選択して、上記再生データとして出力する
再生データ出力処理と、上記設定表示時刻と表示予定時刻の比較結果に基づいて
上記合成処理の周期を決定して合成周期情報を出力する
画像データ合成周期決定処理とを含み、上記画像データ合成処理では、上記合成周期情報が示す
合成周期でもって、上記合成処理を行うことを特徴とす
る画像再生方法。
【請求項９】所定の画像を構成する個々の物体に対応
する画像オブジェクトデータを符号化して得られる、表
示処理単位であるフレーム毎に表示時刻が設定された符
号化画像オブジェクトデータに対して、復号化処理及び
合成処理を施して、所定の画像を表示するための再生デ
ータを出力する画像再生方法であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して、各物体に対応する復号化データを出力する
復号化処理と、上記各物体に対応する復号化データを合成して合成デー
タを所定数のフレーム分だけバッファに格納する合成処
理と、上記バッファに格納された各フレームの合成データに対
応する設定表示時刻と、表示処理能力により決定される
表示予定時刻との比較結果に基づいて、特定のフレーム
に対応する合成データを選択して、上記再生データとし
て出力する再生データ出力処理と、上記設定表示時刻と表示予定時刻の比較結果に基づい
て、単位時間当たりに復号化処理が行われる各物体に対
応する復号化フレーム数を決定して、各物体に対応する
復号化フレーム数情報を出力する復号化フレーム数決定
処理とを含み、上記復号化処理では、各物体に対応する単位時間当たり
の復号化処理量が上記復号化フレーム数情報が示す単位
時間当たりのフレーム数に相当するものとなるよう、符
号化画像オブジェクトデータを復号化することを特徴と
する画像再生方法。
【請求項１０】所定の画像を構成する個々の物体に対
応する画像オブジェクトデータを符号化して得られる、
表示処理単位であるフレーム毎に表示時刻が設定された
符号化画像オブジェクトデータに対して、復号化処理及
び合成処理を施して、上記所定の画像を表示するための
再生データを出力する画像データ再生方法であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して、各物体に対応する復号化データを出力する
復号化処理と、上記各物体に対応する復号化データを合成して合成デー
タを所定数のフレーム分だけバッファに格納する合成処
理と、上記バッファに格納された各フレームの合成データに対
応する設定表示時刻と、表示処理能力により決定される
表示予定時刻との比較結果に基づいて、特定のフレーム
に対応する合成データを選択して、上記再生データとし
て出力する再生データ出力処理と、上記バッファへ合成データを書き込む際の待ち時間に基
づいて、単位時間当たりに復号化処理が行われる各物体
に対応する復号化フレーム数を決定して、各物体に対応
する復号化フレーム数情報を出力する復号化フレーム数
決定処理とを含み、上記復号化処理では、各物体に対応する単位時間当たり
の復号化処理量が上記復号化フレーム数情報が示す単位
時間当たりのフレーム数に相当するものとなるよう、符
号化画像オブジェクトデータを復号化することを特徴と
する画像再生方法。
【請求項１１】所定の画像を構成する個々の物体に対
応する画像オブジェクトデータを符号化して得られる、
表示処理単位であるフレーム毎に表示時刻が設定された
符号化画像オブジェクトデータに対して、復号化処理及
び合成処理を施して、所定の画像を表示するための再生
データを出力する画像再生方法であって、上記各物体に対応する符号化画像オブジェクトデータを
復号化して、各物体に対応する復号化データを出力する
復号化処理と、上記複数の復号化データを合成して合成データを所定数
のフレーム分だけバッファに格納する合成処理と、上記バッファに格納された各フレームの合成データに対
応する設定表示時刻と、表示処理能力により決定される
表示予定時刻との比較結果に基づいて、特定のフレーム
に対応する合成データを選択して、上記再生データとし
て出力する再生データ出力処理と、上記バッファに格納された各フレームの合成データに対
応する設定表示時刻と、表示処理能力により決定される
表示予定時刻との比較結果、及び上記バッファへ合成デ
ータを書き込む際の待ち時間に基づいて、単位時間当た
りに復号化処理が行われる各物体に対応する復号化フレ
ーム数を決定して、各物体に対応する復号化フレーム数
情報を出力する復号化フレーム数決定処理とを含み、上記復号化処理では、各物体に対応する単位時間当たり
の復号化処理量が上記復号化フレーム数情報が示す単位
時間当たりのフレーム数に相当するものとなるよう、符
号化画像オブジェクトデータを復号化することを特徴と
する画像再生方法。
【請求項１２】画像データをコンピュータにより処理
するためのプログラムを格納したデータ記憶媒体であっ
て、上記プログラムは、請求項８記載の画像再生方法による
再生データの生成処理をコンピュータにより行うための
画像再生プログラムであることを特徴とするデータ記憶
媒体。
【請求項１３】画像データをコンピュータにより処理
するためのプログラムを格納したデータ記憶媒体であっ
て、上記プログラムは、請求項９記載の画像再生方法による
再生データの生成処理をコンピュータにより行うための
画像再生プログラムであることを特徴とするデータ記憶
媒体。
【請求項１４】画像データをコンピュータにより処理
するためのプログラムを格納したデータ記憶媒体であっ
て、上記プログラムは、請求項１０記載の画像再生方法によ
る再生データの生成処理をコンピュータにより行うため
の画像再生プログラムであることを特徴とするデータ記
憶媒体。
【請求項１５】画像データをコンピュータにより処理
するためのプログラムを格納したデータ記憶媒体であっ
て、上記プログラムは、請求項１１記載の画像再生方法によ
る再生データの生成処理をコンピュータにより行うため
の画像再生プログラムであることを特徴とするデータ記
憶媒体。
【請求項１６】所定の画像を構成する複数の物体の各
々に対応する画像オブジェクトデータを受け、これらの
複数の画像オブジェクトデータを合成して、上記所定の
画像を表示するための再生データを出力する画像出力装
置であって、上記複数の画像オブジェクトデータを、該各物体のフレ
ームを更新する周期を示すオブジェクト周期情報、及び
上記合成画像のフレームを更新する周期を示す合成画像
周期情報を参照して合成するオブジェクト合成手段と、制御信号に基づいて、上記周期情報のいずれかを、フレ
ームの更新周期が該制御信号に応じた値となるよう変更
する周期情報変更手段とを備え、上記合成手段は、変更された周期情報を、これに対応す
る変更前の周期情報に代えて参照して、上記複数の画像
オブジェクトデータの合成を行う構成となっていること
を特徴とする画像出力装置。
【請求項１７】所定の画像を構成する複数の物体の各
々に対応する画像オブジェクトデータを受け、これらの
複数の画像オブジェクトデータを合成して、上記所定の
画像を表示するための再生データを出力する画像出力方
法であって、上記複数の画像オブジェクトデータを合成する周期を、
該各物体のフレームを更新する周期を示すオブジェクト
周期情報、及び上記合成画像のフレームを更新する周期
を示す合成画像周期情報を参照して決定する合成周期決
定処理と、制御信号に基づいて、上記周期情報のいずれかを、フレ
ームの更新周期が該制御信号に応じた値となるよう変更
する周期情報変更処理とを含み、上記合成周期決定処理では、変更された周期情報を、こ
れに対応する変更前の周期情報に代えて参照することを
特徴とする画像出力装置。
【請求項１８】画像データをコンピュータにより処理
するためのプログラムを格納したデータ記憶媒体であっ
て、上記プログラムは、請求項１７記載の画像再生方法によ
る再生データの生成処理をコンピュータにより行うため
の画像再生プログラムであることを特徴とするデータ記
憶媒体。
【請求項１９】所定の画像を構成する個々の物体に対
応する画像オブジェクトデータを、上記画像に付随する
補助情報に基づいて合成するオブジェクト合成装置であ
って、上記補助情報として、物体のフレームを更新する周期を
示す、各物体に対応するオブジェクト周期情報、及び画
像オブジェクトデータに対する表示処理の方法を示す表
示方法情報を含むプログラム情報を格納するプログラム
情報格納手段と、上記プログラム情報格納手段に格納されたプログラム情
報に基づいて、上記物体毎に、画像オブジェクトデータ
に対する表示処理の方法を判定し、判定結果を示す判定
信号を出力する判定手段と、上記判定信号を受け、上記プログラム情報に対して、上
記判定の対象となった物体のオブジェクト周期情報を上
記判定結果に応じて変更する情報更新処理を施す周期情
報更新手段と、上記情報更新処理が施されたプログラム情報を用いて、
上記各物体に対応する画像オブジェクトデータを一定周
期で合成する合成手段とを備えたことを特徴とするオブ
ジェクト合成装置。
【請求項２０】請求項１９記載の画像オブジェクトデ
ータ合成装置において、上記プログラム情報は、上記個々のオブジェクトの合成
により所定の画像を再生するための合成情報を含み、上
記表示方法情報は該合成情報に含まれており、上記プログラム情報格納手段は、上記プログラム情報に
含まれる合成情報を格納する合成情報メモリを有し、上記判定手段は、上記合成情報メモリに格納されている
合成情報を受け、該合成情報に含まれる表示方法情報に
基づいて、上記物体毎に、画像オブジェクトデータに対
する表示処理の方法を判定する構成となっていることを
特徴とするオブジェクト合成装置。
【請求項２１】請求項１９記載の画像オブジェクトデ
ータ合成装置において、上記プログラム情報は、上記個々の物体に付随するサイ
ド情報を含み、上記表示方法情報は該サイド情報に含ま
れており、上記プログラム情報格納手段は、上記プログラム情報に
含まれる各物体に対応するサイド情報を格納するサイド
情報メモリを有し、上記判定手段は、上記サイド情報メモリに格納されてい
るサイド情報を受け、該サイド情報に含まれる表示方法
情報に基づいて、上記物体毎に、画像オブジェクトデー
タに対する表示処理の方法を判定する構成となっている
ことを特徴とするオブジェクト合成装置。
【請求項２２】請求項１９記載のオブジェクト合成装
置において、上記プログラム情報に含まれる、各物体に対応する表示
方法情報は、該物体が、フレームに対応する画像オブジ
ェクトデータを繰り返し再生する必要があるか否かを示
すフラグであることを特徴とするオブジェクト合成装
置。
【請求項２３】請求項１９記載のオブジェクト合成装
置において、上記プログラム情報に含まれる、各物体に対応する表示
方法情報は、該物体のオブジェクト周期情報を変更可能
であるか否かを示すフラグであることを特徴とするオブ
ジェクト合成装置。
【請求項２４】請求項１９記載のオブジェクト合成装
置において、上記周期情報更新手段は、上記情報更新処理として、上
記物体のオブジェクト周期情報を、上記物体のフレーム
更新周期が、上記合成手段における画像オブジェクトデ
ータを合成する合成周期の整数倍となるよう更新する処
理を行う構成となっていることを特徴とするオブジェク
ト合成装置。
【請求項２５】請求項２４記載のオブジェクト合成装
置において、上記周期情報更新手段は、上記オブジェクト周期情報の
値が、上記合成周期以下であるとき、上記物体のフレー
ム更新周期が合成周期の１倍となるよう、該オブジェク
ト周期情報を更新する構成となっていることを特徴とす
るオブジェクト合成装置。
【請求項２６】請求項２４記載のオブジェクト合成装
置において、上記周期情報更新手段は、上記オブジェクト周期情報の
値が、上記合成周期よりも大きいときには、上記物体の
フレーム更新周期が、上記合成周期の倍数値のうちの、
上記オブジェクト周期情報の値以上であって最小値とな
るよう、上記オブジェクト周期情報を更新する構成とな
っていることを特徴とするオブジェクト合成装置。
【請求項２７】請求項２４記載のオブジェクト合成装
置において、上記周期情報更新手段は、上記オブジェクト周期情報の値が、上記合成周期よりも
大きいときには、上記合成周期の倍数値のうちの、上記オブジェクト周期
情報の値以下であって最大の値である第１の候補値と、
上記合成周期の倍数値のうちの、上記オブジェクト周期
情報の値以上である最小の値である第２の候補値とを算
出し、上記物体のフレーム更新周期が、第１の候補値及び第２
の候補値のうちの、上記オブジェクト周期情報の値に近
い方の値なるよう、上記オブジェクト周期情報を更新す
る構成となっていることを特徴とするオブジェクト合成
装置。
【請求項２８】所定の画像を構成する個々の物体に対
応する画像オブジェクトデータを、上記画像に付随する
補助情報に基づいて合成するオブジェクト合成方法であ
って、上記補助情報である、物体のフレームを更新する周期を
示す、各物体に対応するオブジェクト周期情報、及び画
像オブジェクトデータに対する表示処理の方法を示す表
示方法情報を含むプログラム情報に基づいて、上記物体
毎に、画像オブジェクトデータに対する表示処理の方法
を判定する判定処理と、上記プログラム情報に対して、上記判定の対象となった
物体のオブジェクト周期情報を上記判定処理の結果に応
じて変更する情報更新処理を施す周期情報更新処理と、上記情報更新処理が施されたプログラム情報を用いて、
上記各物体に対応する画像オブジェクトデータを一定周
期で合成する合成処理とを含むことを特徴とするオブジ
ェクト合成方法。
【請求項２９】請求項２８記載のオブジェクト合成方
法において、上記プログラム情報に含まれる、各物体に対応する表示
方法情報は、該物体が、フレームに対応する画像オブジ
ェクトデータを繰り返し再生する必要があるか否かを示
すフラグであることを特徴とするオブジェクト合成方
法。
【請求項３０】請求項２８記載のオブジェクト合成方
法において、上記プログラム情報に含まれる、各物体に対応する表示
方法情報は、該物体のオブジェクト周期情報を変更可能
であるか否かを示すフラグであることを特徴とするオブ
ジェクト合成方法。
【請求項３１】請求項２８記載のオブジェクト合成方
法において、上記周期情報更新処理では、上記情報更新処理として、
上記物体のオブジェクト周期情報を、上記物体のフレー
ム更新周期が、上記合成手段における画像オブジェクト
データを合成する合成周期の整数倍となるよう更新する
処理を行うことを特徴とするオブジェクト合成方法。
【請求項３２】請求項３１記載のオブジェクト合成方
法において、上記周期情報更新処理では、上記オブジェクト周期情報
の値が、上記合成周期以下であるとき、上記物体のフレ
ーム更新周期が合成周期の１倍となるよう、該オブジェ
クト周期情報を更新することを特徴とするオブジェクト
合成方法。
【請求項３３】請求項３１記載のオブジェクト合成方
法において、上記周期情報更新処理では、上記オブジェクト周期情報
の値が、上記合成周期よりも大きいときには、上記物体
のフレーム更新周期が、上記合成周期の倍数値のうち
の、上記オブジェクト周期情報の値以上であって最小値
となるよう、上記オブジェクト周期情報を更新すること
を特徴とするオブジェクト合成方法。
【請求項３４】請求項３１記載のオブジェクト合成方
法において、上記周期情報更新処理では、上記オブジェクト周期情報の値が、上記合成周期よりも
大きいときには、上記合成周期の倍数値のうちの、上記オブジェクト周期
情報の値以下であって最大の値である第１の候補値と、
上記合成周期の倍数値のうちの、上記オブジェクト周期
情報の値以上である最小の値である第２の候補値とを算
出し、上記物体のフレーム更新周期が、第１の候補値及び第２
の候補値のうちの、上記オブジェクト周期情報の値に近
い方の値となるよう、上記オブジェクト周期情報を更新
することを特徴とするオブジェクト合成方法。
【請求項３５】所定の画像を構成する個々の物体に対
応する画像オブジェクトデータを、上記画像に付随する
補助情報に基づいて合成するオブジェクト合成処理を、
コンピュータにより行うためのプログラムを格納したデ
ータ記憶媒体であって、オブジェクト合成処理では、上記コンピュータは上記プログラムに従って、上記補助情報である、物体のフレームを更新する周期を
示す、各物体に対応するオブジェクト周期情報、及び画
像オブジェクトデータに対する表示処理の方法を示す表
示方法情報を含むプログラム情報に基づいて、上記物体
毎に、画像オブジェクトデータに対する表示処理の方法
を判定し、上記プログラム情報に対して、上記判定の対象となった
物体のオブジェクト周期情報を上記判定処理の結果に応
じて変更する情報更新処理を施し、上記情報更新処理が施されたプログラム情報を用いて、
上記各物体に対応する画像オブジェクトデータを一定周
期で合成することを特徴とするデータ記憶媒体。