JP2001258023A - マルチメディア受信システムおよびマルチメディアシステム - Google Patents

Abstract

(57)【要約】 【課題】 高品質なシーン表示を提供することができる
マルチメディア受信システムおよびマルチメディアシス
テムを提供する。 【解決手段】 マルチメディア受信システム１０００
は、受信するＢＩＦＳデータの欠落を判定する欠落判定
部６およびデフォルトのＢＩＦＳデータを蓄積するデフ
ォルトＢＩＦＳ蓄積部８、およびＯＤ変換部７を備え
る。欠落判定部６により、ＢＩＦＳデータが欠落してい
ると判定されると、オブジェクト合成にデフォルトのＢ
ＩＦＳデータが使用される。ＯＤ変換部７は、デフォル
トのＢＩＦＳデータに従って、オブジェクトデスクリプ
タＯＤを修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチメディア
受信システムおよびマルチメディアシステムに関し、よ
り特定的には、シーン記述に基づきオブジェクト合成を
行なうための構成に関する。

【０００２】

【従来の技術】ＭＰＥＧ−４方式では、シーン記述言語
ＢＩＦＳ（Binary Format for Scenes）により記述され
るシーン記述に基づき、音声や動画像およびグラフィッ
クなどの多様なオブジェクトを合成し、シーンを表示す
ることができる。

【０００３】シーン記述は、シーングラフとよばれる、
各ノードにオブジェクトを関連付けた木構造により記述
される。シーン記述言語ＢＩＦＳを用いて記述されるＢ
ＩＦＳコマンドにより、シーングラフを動的に更新する
ことができる。以下、シーングラブを変更するＢＩＦＳ
コマンドを含めて、ＢＩＦＳにより記述されるデータを
ＢＩＦＳデータと記す。

【０００４】シーン記述とシーン記述の構成要素である
オブジェクトとは、制御情報であるオブジェクトデスク
リプタにより関連付けられる。

【０００５】オブジェクトデータ、ＢＩＦＳデータおよ
びオブジェクトデスクリプタのそれぞれは、送信側から
受信側にＳＬパケットと呼ばれるパケット単位でストリ
ーム配信される。

【０００６】オブジェクトパケットとＢＩＦＳパケット
とは、多重化してひとつのストリームにして送信しても
良いし、別々のストリームとして異なる経路、プロトコ
ールで送信してもよい。

【０００７】

【発明が解決しようとする課題】ところで、ＢＩＦＳパ
ケットは、シーンの切替時などに非周期的に発生するの
が一般である。これに対して、オブジェクトパケット
は、周期的に発生するのが一般的である。

【０００８】また、ＢＩＦＳデータは、プログラムファ
イルと同様にデータ欠落が許されず、完全な形で受信側
で受信されなければならない。これに対して、音声や動
画像のオブジェクトデータは、多少のデータ欠落が許さ
れるが、リアルタイム性が重要視される。

【０００９】したがって、ＢＩＦＳデータとオブジェク
データとを多重化して１つのストリームにして送信する
場合、音声や動画像のリアルタイム性を優先し、再送を
行なわないプロトコール（たとえばＵＤＰ：User data
protocolなど）で送信するのが一般的である。

【００１０】しかしながら、再送を行なわないプロトコ
ールを用いると、ＢＩＦＳパケットが欠落することがあ
る。特に無線通信であれば、連続してパケットが欠落す
ることが頻繁に有り得る。

【００１１】再送を行なうプロトコール（たとえばＴＣ
Ｐ：Transmission control protocolなど）を用いた伝
送であれば、欠落を防ぐことができるが、再送により音
声や動画像の時間構造が保持できず、再生の滑らかさや
自然さが失われる。

【００１２】そこで、ＢＩＦＳデータとオブジェクトデ
ータとを分けて別々のプロトコールで送信することも考
えられる。たとえば、ＢＩＦＳデータは再送のあるプロ
トコールで伝送し、オブジェクトデータは再送のないプ
ロトコールで送信する。

【００１３】しかし、この場合でも、オブジェクトデー
タよりも、対応するＢＩＦＳデータの方が再送にかかる
時間だけ送れて到着することが有り得る。

【００１４】すなわち、どちらの伝送方式を採用して
も、ＢＩＦＳデータは欠落または遅延の可能性を免れな
い。

【００１５】ところが、ＢＩＦＳデータが欠落または遅
延すると、次ぎの問題が発生する。まず第１に、ＢＩＦ
Ｓデータが遅れることにより、対応する音声や動画像が
表示されず、または表示が遅れることが考えられる。

【００１６】また、第２に、シーンを変更する際に、Ｂ
ＩＦＳコマンドに矛盾が生じると表示異常が発生するこ
とが考えられる。たとえば、ある動画像に日本語の音声
が対応して表示されているとする。日本語から英語に音
声が切替わる時には、日本語の音声をシーンから削除す
るコマンドと、英語の音声を追加するコマンドとが必要
になる。しかしながら、日本語の音声をシーンから削除
するコマンドが何らかの原因で欠落（または遅延）した
場合、動画像に英語と日本語とが同時に表示されてしま
うことになる。

【００１７】そこで、本発明はかかる問題を解決するた
めになされたものであり、その目的は、高品質なシーン
表示を提供することができるマルチメディア受信システ
ムおよびマルチメディアシステムを提供することにあ
る。

【００１８】

【課題を解決するための手段】この発明のある局面によ
るマルチメディア受信システムは、送信システムから伝
送されるシーンを記述するシーン記述情報とシーンを構
成するオブジェクトデータとに基づき、シーンを表示す
るマルチメディア受信システムであって、シーン記述情
報に基づき、対応するオブジェクトデータを合成して、
シーンを表示する合成処理部と、表示すべきシーンを記
述するシーン記述情報が到着しているか否かを判定する
ための判定部と、判定部によりシーン記述情報が到着し
ていないと判定された場合に、合成処理部に、デフォル
トのシーン記述情報に基づき合成を実行させるための制
御部とを備える。

【００１９】好ましくは、制御部は、デフォルトのシー
ン記述情報を格納し、判定部の判定結果に応じてデフォ
ルトのシーン記述情報が読出されるメモリを含む。

【００２０】より好ましくは、送信システムは、オブジ
ェクトデータとシーン記述情報とを関連付けるシーン制
御情報をさらに伝送し、合成処理部は、シーン制御情報
に従い、対応するオブジェクトデータを合成するコンポ
ジタを含み、制御部は、判定部の判定結果に応じて、デ
フォルトのシーン記述情報に従い対応するシーン制御情
報を修正して、合成処理部に出力する変更部をさらに含
む。

【００２１】特に、メモリには、過去に受信したシーン
記述情報が格納される。また、判定部は、シーン記述情
報を受信した後、基準時間内に、次ぎの前記シーン記述
情報が受信されるか否かを判定する。もしくは、各シー
ン記述情報は、連続したシーケンス番号が付与された状
態で送信され、判定部は、受信されるシーン記述情報の
シーケンス番号が、連続しているか否かを判定する。

【００２２】したがって、上記マルチメディア受信シス
テムによると、シーンの表示に必要とされるシーン記述
が未到着であっても、デフォルトのシーン記述に基づき
オブジェクトを合成し、シーンを表示することができ
る。この結果、高品質なシーンの表示を提供することが
できる。

【００２３】この発明のさらなる局面によるマルチメデ
ィアシステムは、蓄積メディアに含まれるシーンを記述
するためのシーン記述情報とシーンを構成するオブジェ
クトデータとを送信する送信システムと、伝送システム
の出力を受けて、シーンを表示する受信システムとを備
え、送信システムは、シーン記述情報のすべてを受信シ
ステム伝送した後に、オブジェクトデータを順次送信
し、受信システムは、シーン記述情報のすべてを蓄積す
るためのメモリと、メモリに蓄積されるすべてのシーン
記述情報のうち、受信したオブジェクトデータに対応す
るシーン記述情報を取出すための制御部と、受信したオ
ブジェクトデータを、制御部により取出されたシーン記
述情報に基づき合成して、シーンを表示する合成処理部
とを含む。

【００２４】好ましくは、オブジェクトデータおよびシ
ーン記述情報のそれぞれは、合成のタイミングを示す時
間情報が付加された状態で送信され、制御部は、受信し
たオブジェクトデータの時間情報に従い、対応するシー
ン記述情報を合成処理部に供給する。

【００２５】より好ましくは、送信システムは、オブジ
ェクトデータを送信する前に、オブジェクトデータとシ
ーン記述情報とを関連付けるシーン制御情報のすべてを
さらに送信し、メモリは、シーン記述情報とシーン制御
情報とを蓄積し、合成処理部は、メモリから取出される
データに基づき、オブジェクトデータを合成するコンポ
ジタとを含む。

【００２６】または、送信システムは、オブジェクトデ
ータを送信する前に、オブジェクトデータとシーン記述
情報とを関連付けるシーン制御情報をさらに送信し、合
成処理部は、オブジェクトデータをデコードして、合成
処理部に出力するオブジェクトデコーダと、シーン記述
情報をデコードして、メモリに出力するシーン記述デコ
ーダと、シーン制御情報をデコードして、メモリに出力
するデコーダと、メモリから取出されるデコードデータ
に基づき、デコードされたオブジェクトデータを合成す
るコンポジタとを含む。

【００２７】したがって、上記マルチメディアシステム
によると、蓄積メディアを再生する際に、シーン記述情
報を先に受信側に伝送し蓄積しておくことができる。こ
れにより、シーン記述情報に関しては、再送のあるプロ
トコール等を用いてデータを正確に伝送することができ
る。また、オブジェクトデータの受信とともにシーンが
表示されるので、表示の遅れ等の問題も発生せず、滑ら
かにシーンを再生することができる。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。なお、図中同一
または相当部分には同一符号を付してその説明は繰返さ
ない。

【００２９】［第１の実施の形態］第１の実施の形態に
よる受信システム１０００と送信システム１５００との
関係を、図１を用いて説明する。送信システム１５００
は、受信システム１０００に対し、音声や動画像等のオ
ブジェクトデータ、オブジェクトの配置・時間関係を記
述するためのシーン記述データ（ＢＩＦＳデータ）、お
よびシーンを構成する構成要素とオブジェクトとの関連
付けを行なうためのオブジェクトデスクリプタＯＤをス
トリーム配信する。各ストリームには、ストリームを識
別するためのエレメンタリーストリーム番号（ＥＳ−Ｉ
Ｄ）が割振られている。各ストリームは、それぞれの方
式で符号化されている。

【００３０】シーン記述は、シーン記述言語ＢＩＦＳを
用いてシーングラフにより表現される。オブジェクトを
参照するノードでは、オブジェクトを識別するためのオ
ブジェクトデスクリプタ番号（ＯＤ−ＩＤ）を指定す
る。オブジェクトデスクリプタＯＤは、オブジェクトデ
スクリプタ番号ＯＤ−ＩＤとエレメンタリーストリーム
番号ＥＳ−ＩＤとに基づき、シーン記述とオブジェクト
とを関連付ける。

【００３１】第１の実施の形態による受信システム１０
００は、このような符号化データに基づきシーンを表示
する。ただし、欠落判定部６において必要となるＢＩＦ
Ｓデータが到着していない、すなわちＢＩＦＳデータが
欠落（遅延を含む）していると判断される場合には、デ
フォルトＢＩＦＳ蓄積部８に蓄積されるデフォルトのＢ
ＩＦＳデータを用いてシーンを表示する。

【００３２】ここで、第１の実施の形態による受信シス
テム１０００の一例について、図２を用いて説明する。
図２に示される受信システム１０００は、多重化された
ストリームを個々のストリームに展開するストリーム多
重化インタフェース１、ストリーム多重化インタフェー
ス１から出力されるデータを保持する復号化バッファ２
Ａ、２Ｂ、２Ｃおよび２Ｄ、復号化バッファ２Ａ〜２Ｄ
のデータをそれぞれデコードするデコーダ３Ａ、３Ｂ、
３Ｃおよび３Ｄ、デコーダ３Ａ〜３Ｄのそれぞれの出力
を保持するコンポジションメモリ４Ａ、４Ｂ、４Ｃおよ
び４Ｄ、ならびにコンポジションユニットＣＵを合成す
るコンポジタ５を備える。

【００３３】ストリーム多重化インタフェース１から
は、復号・合成のための時間管理や同期のための処理単
位であるアクセスユニットＡＵが出力される。送信シス
テム１５００は、アクセスユニットＡＵを、ＳＬパケッ
ト単位で（または複数のＳＬパケットに分割して）送信
する。

【００３４】ＳＬパケットのヘッダ部には、同期管理の
ための時間情報が付加されている。時間情報には、復号
時刻スタンプＤＴＳ（Decoding Time Stamp）およびコ
ンポジション時刻スタンプＣＴＳ（Composition Time S
tamp）が含まれる。復号時刻スタンプＤＴＳによりデコ
ード処理のための時間が、コンポジション時刻スタンプ
ＣＴＳにより合成処理のための時間が管理される。

【００３５】ＳＬパケットのヘッダ部にはさらに、番号
（パケットシーケンス番号）が付加されている。パケッ
トシーケンス番号は、ＳＬパケット毎に連続した値とな
っている。

【００３６】なお、アクセスユニットＡＵに関しても、
時系列順に、連続した番号（ＡＵシーケンス番号）を付
加することができる。

【００３７】各オブジェクトに対して、デコーダとバッ
ファとが一対一に存在する。たとえば、動画像データは
デコーダ３Ａによりデコードされ、音声データはデコー
ダ３Ｂによりデコードされる。そして、オブジェクトデ
スクリプタＯＤは、デコーダ３Ｃによりデコードされ、
ＢＩＦＳデータは、デコーダ３Ｄによりデコードされ
る。

【００３８】受信システム１０００はさらに、ＢＩＦＳ
データの欠落を判定する欠落判定部６、オブジェクトデ
スクリプタＯＤを変更するためのＯＤ変更部７、および
デフォルトのＢＩＦＳデータを保持するデフォルトＢＩ
ＦＳ蓄積部８を備える。

【００３９】ＢＩＦＳデータが欠落している場合には、
欠落判定部６により、デフォルトＢＩＦＳ蓄積部８から
デフォルトのＢＩＦＳデータ（デコード後のデータ）が
読出され、コンポジションメモリ４Ｄに供給される。

【００４０】ＯＤ変更部７は、欠落判定部６の判定結果
に基づき、デコーダ３Ｃの出力をデフォルトのＢＩＦＳ
データに従い変更する。これにより、オブジェクトデー
タにおけるエレメンタリストリーム番号ＥＳ−ＩＤと、
デフォルトのＢＩＦＳデータの有するオブジェクトデス
クリプタ番号ＯＤ−ＩＤとの間の対応関係が形成され
る。

【００４１】図３（Ａ）を参照して、通常時には、ＢＩ
ＦＳデータＢ１に基づき、シーンＳ１を構成する形状Ａ
の動画オブジェクトＯＢ１とシーンＳ１を構成する形状
Ｂの動画オブジェクトＯＢ２とを合成してシーンＳ１を
表示する。続いて、ＢＩＦＳデータＢ２に基づき、シー
ンＳ２を構成する形状Ａの動画オブジェクトＯＢ１とシ
ーンＳ２を構成する形状Ｂの動画オブジェクトＯＢ２と
を合成してシーンＳ２を表示する。

【００４２】図３（Ｂ）を参照して、ＢＩＦＳデータが
欠落した（障害発生）場合には、デフォルトＢＩＦＳ蓄
積部８に格納されるデフォルトのＢＩＦＳデータＢ１♯
に基づき、シーンＳ１を構成する形状Ａの動画オブジェ
クトＯＢ１とシーンＳ１を構成する形状Ｂの動画オブジ
ェクトＯＢ２とを合成する。続いて、デフォルトＢＩＦ
Ｓ蓄積部８に格納されるデフォルトのＢＩＦＳデータＢ
２♯に基づき、シーンＳ２を構成する形状Ａの動画オブ
ジェクトＯＢ１とシーンＳ２を構成する形状Ｂの動画オ
ブジェクトＯＢ２とを合成する。

【００４３】次に、ＭＰＥＧ−４方式におけるセッショ
ンデータの獲得の流れについて、図４および図５を用い
て説明する。図４は、セッション開始時に、図５は、シ
ーン変更時にそれぞれ対応している。

【００４４】図４を参照して、ステップＳ１００で、イ
ニシャル・オブジェクトデスクリプタを獲得する。イニ
シャル・オブジェクトデスクリプタを獲得後、受信待機
状態になる。そして、シーンの変更処理へ移る。

【００４５】イニシャル・オブジェクトデスクリプタと
は、ＭＰＥＧ−４セッションの最初に伝送されるデータ
である。イニシャル・オブジェクトデスクリプタを獲得
することにより、ＳＬパケット化されたＢＩＦＳストリ
ームやオブジェクトデスクリプタストリームのヘッダの
設定が既知になる。

【００４６】図５を参照して、シーン変更時には、ステ
ップＳ１１０において、オブジェクトデスクリプタスト
リームを獲得する。ステップＳ１１１で、シーンを構成
する構成要素を更新するためＢＩＦＳコマンドを獲得す
る。

【００４７】ＢＩＦＳストリーム、オブジェクトデスク
リプタストリームを獲得することにより、シーン構成、
ストリームの種類および数、ならびにＳＬパケットのヘ
ッダの設定が既知になる。

【００４８】続いてステップＳ１１２で、ビデオストリ
ーム、オーディオストリームを獲得する。すべてのスト
リームを獲得後、受信待機状態になる。

【００４９】このような流れに対し、受信システム１０
００では、図６に示される処理を実行する。なお、図６
は、シーン変更時（最初のシーン表示時も含む）におけ
る受信システム１０００での処理の流れを示している。

【００５０】図６を参照して、まずステップＳ１２０
で、オブジェクトデスクリプタストリームを獲得する。
続くステップＳ１２１で、欠落判定部６において、ＢＩ
ＦＳ到着判断処理（欠落しているか否かの判断処理）を
行う。ＢＩＦＳデータが到着した（欠落していない）と
判断された場合には、ステップＳ１２３に、未到着（欠
落）である判断された場合には、ステップＳ１２２の処
理に移る。

【００５１】ステップ１２２では、欠落判定部６の制御
に基づき、デフォルトＢＩＦＳ蓄積部８に格納されるデ
フォルトのＢＩＦＳデータをコンポジションメモリ４Ｄ
に供給する。欠落判定部６の制御に基づき、ＯＤ変更部
７は、デフォルトのＢＩＦＳデータに適用するように、
オブジェクトデスクリプタを変更する。そしてステップ
Ｓ１２３の処理に移る。

【００５２】ステップＳ１２３で、ビデオストリーム、
オーディオストリームを獲得する。そして、受信待機状
態に入る。

【００５３】この結果、ＢＩＦＳデータが欠落した場合
には、デフォルトのＢＩＦＳデータに基づき、一時的に
シーンが表示されることになる。その後、正式なＢＩＦ
Ｓデータが到着すると、当該ＢＩＦＳデータに基づきシ
ーンが表示される。

【００５４】次に、ＢＩＦＳ到着判断処理の一例につい
て、図７を用いて説明する。まず、ステップＳ１３０
で、ＳＬパケット（または、ＢＩＦＳデータ対応のアク
セスユニットＢＩＦＳ・ＡＵ）を受信する。続いてステ
ップＳ１３１で、欠落判定部６に含まれるタイマを起動
する。タイマにより時間がカウントされる。

【００５５】ステップＳ１３２で、次のＳＬパケット
（または、アクセスユニットＢＩＦＳ・ＡＵ）を受信し
たか否かを判断する。次のＳＬパケット（または、アク
セスユニットＢＩＦＳ・ＡＵ）が受信されていない場合
にはステップＳ１３３の処理に移り、受信された場合に
はステップＳ１３４の処理に移る。

【００５６】ステップＳ１３３では、タイマの出力する
時間に基づき、タイマの起動後所定時間が経過したか否
か（タイマタイムアウトか否か）を判断する。所定時間
が経過していない場合、ステップ１３２に移る。所定時
間が経過してしまうと、ＢＩＦＳデータに未到着（欠
落）であると判断する。

【００５７】ステップＳ１３４では、２つのＳＬパケッ
ト（または、アクセスユニットＢＩＦＳ・ＡＵ）につい
て、ヘッダに設定されているパケットシーケンス番号
（または、ＡＵシーケンス番号）が連続しているか否か
を判断する。シーケンス番号が連続している場合には、
ＢＩＦＳデータが欠落することなく順次到着していると
判断する。シーケンス番号が連続していない場合には、
ＢＩＦＳデータが未到着（欠落）であると判断する。

【００５８】このようにして、所定時間内に次のＢＩＦ
Ｓデータが到着しない場合や、シーケンス番号が不連続
になった場合に、ＢＩＦＳデータが欠落している（また
は遅延）であると判定される。

【００５９】なお、デフォルトＢＩＦＳ蓄積部８にデコ
ーダ３Ｄの出力を格納するようにした場合、欠落が起こ
る以前に用いていたＢＩＦＳデータをデフォルトのＢＩ
ＦＳデータとして使用することができる。特に、シーン
構成があまり変化しない場合に効果を奏する。

【００６０】このように、第１の実施の形態に係る構成
によると、受信したオブジェクトデータに対応するＢＩ
ＦＳデータが到着しない場合（欠落または遅延）、デフ
ォルトのシーン記述情報に基づきシーンを表示すること
ができる。したがって、対応するオブジェクトが未表示
になったり表示が遅延したり、また表示内容が矛盾する
ことなく、高品質なシーン表示を提供することができ
る。

【００６１】［第２の実施の形態］第２の実施の形態に
よるマルチメディアシステムについて、図８および図９
を用いて説明する。第２の実施の形態では、図８に示さ
れるように、受信システム（受信側）２０００に、ＢＩ
ＦＳデータおよびオブジェクトディスクリプタを蓄積す
るためのメモリ２０を配置しておく。映画ソフトのよう
に蓄積メディアを表示する場合、送信システム（送信
側）２５００から、まずネットワークＮＥを介してＢＩ
ＦＳストリームおよびオブジェクトディスクリプタスト
リームを送信する。そして、これらのデータをメモリ２
０に蓄積しておく。その後、送信システム２５００か
ら、オブジェクトストリームを伝送する。

【００６２】図９（Ａ）を参照して、通常のＭＰＥＧ−
４方式の受信システムであれば、オブジェクトと同時に
送信されるＢＩＦＳデータＢ１に基づき、シーンＳ１を
構成する形状Ａの動画オブジェクトＯＢ１とシーンＳ１
を構成する形状Ｂの動画オブジェクトＯＢ２とを合成す
る。同様に、ＢＩＦＳデータＢ２に基づき、シーンＳ２
を構成する形状Ａの動画オブジェクトＯＢ１とシーンＳ
２を構成する形状Ｂの動画オブジェクトＯＢ２とを合成
する。

【００６３】これに対して、受信システム２０００は、
図９（Ｂ）に示されるように、メモリ２０にＢＩＦＳデ
ータをまず蓄積し、続いて、受信される動画オブジェク
トＯＢ１および動画オブジェクトＯＢ２を、メモリ２０
から取出した対応するＢＩＦＳデータに基づき合成し、
シーンＳ１を表示する。オブジェクトデータとＢＩＦＳ
データとは、タイムスタンプ（復号時刻スタンプＤＴＳ
およびコンポジション時刻スタンプＣＴＳ）に基づきす
り合わせる。

【００６４】シーンＳ２に関しても、受信した動画オブ
ジェクトＯＢ１および動画オブジェクトＯＢ２を、メモ
リ２０から取出した対応するＢＩＦＳデータに基づき合
成する。

【００６５】ここで、受信システム２０００におけるセ
ッションデータの獲得の流れについて、図１０および図
１１を用いて説明する。図１０は、セッション開始時の
処理を、図１１は、ＢＩＦＳ取出処理の一例を表わして
いる。

【００６６】図１０を参照して、まず、ステップＳ２０
０で、イニシャル・オブジェクトデスクリプタを獲得す
る。イニシャル・オブジェクトデスクリプタを獲得後、
図１０に示されるＢＩＦＳ取出処理に移る。

【００６７】図１１を参照して、まずステップＳ２１０
で、オブジェクトデスクリプタストリームをメモリ２０
から取出し、獲得する。続いてステップＳ２１１で、Ｂ
ＩＦＳデータを取出し、獲得する。

【００６８】メモリ２０に蓄積されたデータは、イニシ
ャル・オブジェクトデスクリプタの到着とともに順番に
タイムスタンプに従って取出される。対応するオブジェ
クトデータの到着を待つ。

【００６９】続いてステップＳ２１２で、ビデオストリ
ーム、オーディオストリームを獲得する。オブジェクト
データが到着すると、ステップＳ２１３の処理に移る。

【００７０】ステップＳ２１３では、シーン表示に必要
となるデータ間の対応付けを行なう。具体的には、オブ
ジェクトデスクリプタＯＤと、ＢＩＦＳデータと、到着
したオブジェクトデータ（および必要となる他のオブジ
ェクトデータ）との間で、タイムスタンプのすり合わせ
を行なう。ステップＳ２１３の処理の後、デコード処理
に移る。

【００７１】タイムスタンプのすり合わせのため、送信
システム２５００において、所定の規則に従ってタイム
スタンプをＳＬパケットに付けておく。たとえば、「一
番最初にデコードされるビデオ、オーディオ、ＢＩＦ
Ｓ、オブジェクトデスクリプタＯＤのタイムスタンプは
すべて同じ」とする。これらの情報から共通の時間軸の
原点を決定することにより、ビデオ、オーディオ、ＢＩ
ＦＳ、オブジェクトデスクリプタＯＤのそれぞれの対応
関係が一意的に決定される。

【００７２】このような第２の実施の形態による受信シ
ステム２０００の一例を、図１２を用いて説明する。図
１２に示される受信システム２０００Ａは、ストリーム
多重化インタフェース１、復号化バッファ２Ａ〜２Ｄ、
デコーダ３Ａ〜３Ｄ、コンポジションメモリ４Ａ〜４
Ｄ、コンポジタ５、ＢＩＦＳデータおよびオブジェクト
デスクリプＯＤを蓄積するメモリ（ＢＩＦＳ・ＯＤ蓄積
部）２０、イニシャル・オブジェクトデスクリプタを判
定するイニシャルＯＤ判定部２１、およびタイムスタン
プ調整部２２を備える。

【００７３】イニシャルＯＤ判定部２１は、イニシャル
・オブジェクトデスクリプタの到着を判定する。イニシ
ャル・オブジェクトデスクリプタが到着すると、ＢＩＦ
Ｓ・ＯＤ蓄積部２０から蓄積データがタイムスタンプに
従って順番に取出される。取出されたデータは、タイム
スタンプ調整部２２に順番に出力される。

【００７４】タイムスタンプ調整部２２は、ストリーム
多重化インタフェース１から出力されるオブジェクト
（ビデオおよびオーディオ）のタイムスタンプに従っ
て、同一タイムスタンプを有するＢＩＦＳデータおよび
オブジェクトデスクリプタＯＤのそれぞれを、デコーダ
３Ｃおよび３Ｄに出力する。この結果、タイムスタンプ
に従ってオブジェクトが合成される。

【００７５】第２の実施の形態による受信システム２０
００の他の一例を、図１３を用いて説明する。図１３に
示される受信システム２０００Ｂは、ストリーム多重化
インタフェース１、復号化バッファ２Ａ〜２Ｄ、デコー
ダ３Ａ〜３Ｄ、コンポジションメモリ４Ａ〜４Ｄ、コン
ポジタ５、ＢＩＦＳ・ＯＤ蓄積部２０、イニシャルＯＤ
判定部２１、およびタイムスタンプ調整部２３を備え
る。

【００７６】受信システム２０００Ｂでは、最初に伝送
されるＢＩＦＳデータおよびオブジェクトデスクリプタ
ＯＤのそれぞれを、デコーダ３Ｃおよび３Ｄでデコード
し、デコード結果をＢＩＦＳ・ＯＤ蓄積部２０に蓄積し
ておく。

【００７７】イニシャルＯＤ判定部２１の制御により、
ＢＩＦＳ・ＯＤ蓄積部２０から蓄積データがタイムスタ
ンプに従って順番に取出され、タイムスタンプ調整部２
３に出力される。

【００７８】タイムスタンプ調整部２３は、ストリーム
多重化インタフェース１から出力されるオブジェクト
（ビデオおよびオーディオ）のタイムスタンプに従っ
て、同一タイムスタンプを有するＢＩＦＳデータおよび
オブジェクトデスクリプタＯＤのそれぞれを、コンポジ
ションメモリ４Ｃおよび４Ｄに出力する。この結果、タ
イムスタンプに従ってオブジェクトが合成される。

【００７９】受信システム２０００Ａ、２０００Ｂのい
ずれにおいても、ＢＩＦＳデータおよびオブジェクトデ
ィスクリプタの伝送には、ＴＣＰなどの再送機能のある
信頼性の高い（データ欠落がない）プロトコールを用い
る。信頼性の高いプロトコールを用いることにより、Ｂ
ＩＦＳデータの欠落、遅延の問題がなくなる。また、こ
れらのデータは伝送とともに合成処理に使用されるわけ
ではなく蓄積されるだけなので、ネットワークの遅延も
問題にならない。

【００８０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は、上記した実施の形態の説明では
なくて特許請求の範囲によって示され、特許請求の範囲
と均等の意味および範囲内でのすべての変更が含まれる
ことが意図される。

【００８１】

【発明の効果】本発明に係るマルチメディア受信システ
ムによると、シーンの表示に必要とされるシーン記述が
未到着の場合に、デフォルトのシーン記述に基づきオブ
ジェクトを合成し、シーンを表示することができる。

【００８２】この結果、シーン記述が欠落または遅延し
た場合であっても、表示異常の発生を抑えて、滑らかに
シーンを再生することができる。

【００８３】また、本発明に係るマルチメディアシステ
ムによると、蓄積メディアを再生する際に、シーン記述
情報を先に受信側に伝送し蓄積しておくことができる。
これにより、シーン記述情報に関しては、再送のあるプ
ロトコール等を用いてデータを正確に伝送することがで
きる。また、オブジェクトデータの受信とともにシーン
が表示されるので、表示の遅れ等の問題も発生せず、滑
らかにシーンを再生することができる。

【図面の簡単な説明】

【図１】 第１の実施の形態による受信システム１００
０と送信システム１５００との関係を示す概念図であ
る。

【図２】 第１の実施の形態による受信システム１００
０の構成を示す図である。

【図３】（Ａ）、（Ｂ）は、受信システム１０００の機
能を説明するための概念図である。

【図４】 ＭＰＥＧ−４方式におけるセッションデータ
の獲得の流れを示すフローチャートである。

【図５】 ＭＰＥＧ−４方式におけるセッションデータ
の獲得の流れを示すフローチャートである。

【図６】 受信システム１０００におけるセッションデ
ータの獲得の流れの一部を示すフローチャートである。

【図７】 受信システム１０００におけるＢＩＦＳデー
タ到着判断処理の流れを示すフローチャートである。

【図８】 第２の実施の形態による受信システム２００
０と送信システム２５００との関係を示す概念図であ
る。

【図９】（Ａ）、（Ｂ）は、受信システム２０００の機
能を説明するための概念図である。

【図１０】 受信システム２０００におけるセッション
データの獲得の流れの一部を示すフローチャートであ
る。

【図１１】 受信システム２０００におけるＢＩＦＳ取
出処理の流れを示すフローチャートである。

【図１２】 第２の実施の形態による受信システム２０
００Ａの主要部の構成を示す図である。

【図１３】 第２の実施の形態による受信システム２０
００Ｂの主要部の構成を示す図である。

【符号の説明】

１ ストリーム多重化インタフェース、２Ａ〜２Ｄ 復
号化バッファデコーダ、３Ａ〜３Ｄ デコーダ、４Ａ〜
４Ｄ コンポジションメモリ、５ コンポジタ、６ 欠
落判定部、７ ＯＤ変更部、８ デフォルトＢＩＦＳ蓄
積部、２０ ＢＩＦＳ・ＯＤ蓄積部（メモリ）、２１
イニシャルＯＤ判定部、２２，２３ タイムスタンプ調
整部、１０００，２０００Ａ，２０００Ｂ 受信システ
ム、１５００，２５００ 送信システム。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 送信システムから伝送されるシーンを記
   述するシーン記述情報と前記シーンを構成するオブジェ
   クトデータとに基づき、前記シーンを表示するマルチメ
   ディア受信システムであって、 前記シーン記述情報に基づき対応する前記オブジェクト
   データを合成して、前記シーンを表示する合成処理部
   と、 前記表示すべきシーンを記述する前記シーン記述情報が
   到着しているか否かを判定するための判定部と、 前記判定部により前記シーン記述情報が到着していない
   と判定された場合に、前記合成処理部に、デフォルトの
   シーン記述情報に基づき前記合成を実行させるための制
   御部とを備える、マルチメディア受信システム。
2. 【請求項２】 前記制御部は、 前記デフォルトのシーン記述情報を格納し、前記判定部
   の判定結果に応じて前記デフォルトのシーン記述情報が
   読出されるメモリを含む、請求項１に記載のマルチメデ
   ィア受信システム。
3. 【請求項３】 前記送信システムは、 前記オブジェクトデータと前記シーン記述情報とを関連
   付けるシーン制御情報をさらに伝送し、 前記合成処理部は、 前記シーン制御情報に従い、対応する前記オブジェクト
   データを合成するコンポジタを含み、 前記制御部は、 前記判定部の判定結果に応じて、前記デフォルトのシー
   ン記述情報に従い対応する前記シーン制御情報を修正し
   て、前記合成処理部に出力する変更部をさらに含む、請
   求項２に記載のマルチメディア受信システム。
4. 【請求項４】 前記メモリには、 過去に受信した前記シーン記述情報が格納される、請求
   項２に記載のマルチメディア受信システム。
5. 【請求項５】 前記判定部は、 前記シーン記述情報を受信した後、基準時間内に、次ぎ
   の前記シーン記述情報が受信されるか否かを判定する、
   請求項２に記載のマルチメディア受信システム。
6. 【請求項６】 各前記シーン記述情報は、連続したシー
   ケンス番号が付与された状態で送信され、 前記判定部は、 受信される前記シーン記述情報のシーケンス番号が、連
   続しているか否かを判定する、請求項２に記載のマルチ
   メディア受信システム。
7. 【請求項７】 蓄積メディアに含まれるシーンを記述す
   るためのシーン記述情報と前記シーンを構成するオブジ
   ェクトデータとを送信する送信システムと、 前記伝送システムの出力を受けて、前記シーンを表示す
   る受信システムとを備え、 前記送信システムは、 前記シーン記述情報のすべてを前記受信システム伝送し
   た後に、前記オブジェクトデータを順次送信し、 前記受信システムは、 前記シーン記述情報のすべてを蓄積するためのメモリ
   と、 前記メモリに蓄積されるすべての前記シーン記述情報の
   うち、受信した前記オブジェクトデータに対応する前記
   シーン記述情報を取出すための制御部と、 受信した前記オブジェクトデータを、前記制御部により
   取出された前記シーン記述情報に基づき合成して、前記
   シーンを表示する合成処理部とを含む、マルチメディア
   システム。
8. 【請求項８】 前記オブジェクトデータおよび前記シー
   ン記述情報のそれぞれは、合成のタイミングを示す時間
   情報が付加された状態で送信され、 前記制御部は、 受信した前記オブジェクトデータの時間情報に従い、対
   応する前記シーン記述情報を前記合成処理部に供給す
   る、請求項７に記載のマルチメディアシステム。
9. 【請求項９】 前記送信システムは、 前記オブジェクトデータを送信する前に、前記オブジェ
   クトデータと前記シーン記述情報とを関連付けるシーン
   制御情報のすべてをさらに送信し、 前記メモリは、前記シーン記述情報と前記シーン制御情
   報とを蓄積し、 前記合成処理部は、 前記メモリから取出されるデータに基づき、前記オブジ
   ェクトデータを合成するコンポジタとを含む、請求項８
   に記載のマルチメディアシステム。
10. 【請求項１０】 前記送信システムは、 前記オブジェクトデータを送信する前に、前記オブジェ
    クトデータと前記シーン記述情報とを関連付けるシーン
    制御情報をさらに送信し、 前記合成処理部は、 前記オブジェクトデータをデコードして、前記合成処理
    部に出力するオブジェクトデコーダと、 前記シーン記述情報をデコードして、前記メモリに出力
    するシーン記述デコーダと、 前記シーン制御情報をデコードして、前記メモリに出力
    するデコーダと、 前記メモリから取出されるデコードデータに基づき、前
    記デコードされたオブジェクトデータを合成するコンポ
    ジタとを含む、請求項８に記載のマルチメディアシステ
    ム。