JP2005159878A - データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 - Google Patents

Abstract

【課題】 動画、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信及び受信する際に、シーンの合成を確実に制御することができ、また、シーン中に含まれる時間依存ノードの生成するイベントの頻度を保証すること。
【解決手段】 マルチメディアデータ配信装置１００はシーン記述データの合成を制御するためのフレームレート情報をオブジェクト記述データの所定の指定方法を用いて設定する。受信装置１０８は、オブジェクト記述データ復号回路１１２において、前記オブジェクト記述データから、前記フレームレート情報を復号し、イベント発生回路１１１へ入力する。イベント発生回路１１１は、前記フレームレート情報に従ってシーン合成回路１１４の動作を制御する。
【選択図】 図１

Description

本発明は、マルチメディアデータを処理するためのデータ処理装置、及びデータ処理方法、並びにプログラム、記憶媒体に関するものである。

動画像や音声を圧縮符号化し、多重化し、伝送若しくは蓄積し、これを逆多重化して復号する符号化標準の国際規格としてMPEG-1、及びMPEG-2などが知られている。一方、ISO/IEC 14496 part 1(MPEG-4 Systems)では、静止画、動画像や音声、テキスト、ＣＧなど複数のオブジェクトを含むマルチメディアデータの符号化ビットストリームを多重化・同期する手法が標準化されている。

上述したようなMPEG-4のデータストリームには、これまでの一般的なマルチメディアストリームとは異なり、静止画像、動画像や音声データに加え、テキストやＣＧなどの各オブジェクトを空間・時間的に配置するための情報として、VRML（Virtual Reality Modeling Language）を自然動画像や音声が扱えるように拡張したBIFS（Binary Format for Scenes）が含まれている。ここでBIFSはMPEG-4のシーンを２値で記述する情報である。

MPEG-4システムにおいては、このようなマルチメディアストリームを構成する静止画、動画、音声等個々のオブジェクトは、それぞれ個別に最適な符号化（オブジェクトベース符号化）が施されて送信される。このため、復号側においては、オブジェクトを個別に復号し、上述のシーン記述情報に基づいて空間的に配置し、個々のデータの持つ時間軸を再生機内部の時間軸に合わせて同期させ、シーンを合成し再生する。

また、一般的にシーンの構成を記述する方法としては、上述したVRML、BIFSの他に、HTML（HyperText Markup Language）や、XML（eXtensible Markup Language）を用いて記述されるSMIL（Synchronized Multimedia Integration Language）、XMT（Extensible MPEG-4 Textual Format）などがある。

上述のようなマルチメディアデータのビットストリームを再生する際には、オーディオ信号とビデオ信号に加えて、シーン及びシーンを構成する各オブジェクトをも同期させて合成し、再生することが要求される。

上述したVRML、BIFSといったシーン記述方法では、シーンを合成及びレンダリングする頻度や、シーン中に含まれる時間依存ノードのイベント生成頻度を決定する情報はマルチメディアデータ中に含まれておらず、無限の数のサンプルを生成し、無限に高速で処理されるという動作環境を理想としている為、シーンのサンプリングタイミングは再生機の処理能力に依存する。

また、特許文献１には、オーディオとビデオとＣＧを同期して合成し、再生する手法が提案されている。
特開平１０−１３６２５９号公報

しかしながら、上記特許文献１に提案される方式は、シーン中に動画像が含まれない場合に、シーンと他のオブジェクトとの同期したレンダリングが行えない、シーン中に含まれる時間依存ノードTimeSensorが生成するイベントの頻度が保証されない、などの課題を有している。

また、MPEG-4ビジュアルのような様々な動画像符号化規格では、動画像の圧縮されたビットストリームのシンタックスとその復号化方法を規定しており、動画像のフレームレートは定義されているものの、シーンのフレーム（シーン全体の１回のレンダリング）レートは定義されていない。よって、受信装置の処理能力によって、シーンの合成、レンダリングタイミングや、シーン中に含まれる時間依存ノードのイベント生成タイミングが異なり、コンテンツ作成者が意図した通りの再生を行うことが出来なかった。

本発明は上記の課題に鑑みてなされたものであり、その目的は、動画、音声、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信及び受信する際に、シーンの合成を所望のフレームレートで実行するよう制御可能とすることにある。また、シーン中に含まれる時間依存ノードの生成するイベントの頻度を保証することを可能とすることにある。

ここで、上記した「時間依存ノードの生成するイベントの頻度を保証する」について詳細に説明する。例えば、時間依存ノードの一つであるTimeSensorノードは、時間の経過と共にイベントを生成し、アニメーション動作されるあらゆる動作の基礎となる。このイベント生成の頻度（時間のサンプリングを多くするか、抑えるか）は、再生機の処理能力に依存したり、再生機側で自由に決めることができる。具体的には、TimeSensorノードが５秒間イベントを生成する場合、１秒おきに計６回のイベントを生成しても良く、０．５秒おきに計１１回のイベントを生成しても良いということになる。このTimeSensorノードが生成するイベントに従って、あるオブジェクトが地点Ａから地点Ｂへ移動するとすると、ＡからＢへ移動する過程で、１秒間隔で６回移動しても、０．５秒間隔で１１回移動しても、どちらでも構わない。つまり、「時間依存ノードが生成するイベントの頻度を保証する」とは、このような動作の違いが起こらないように、「TimeSensorノードのような時間依存ノードが、シーン全体の一回のレンダリング毎にイベントを一回生成するようにイベントの生成を制御する」ということである。

上記の目的を達成するための本発明によるデータ処理方法は、
オブジェクトベースで符号化されたマルチメディアデータを生成するデータ処理方法であって、
メディアオブジェクトデータと、それらの時空間の関係を記述するシーン記述データと、該メディアオブジェクトデータとシーン記述データとの関連付け情報を含むオブジェクト記述データとを生成する生成工程と、
前記オブジェクト記述データにおいて、前記シーン記述データに関連するデータ部分の所定の項目に、当該シーン記述データに基づく再生時のフレームレートを規定するフレームレート情報の記述を組み込む組込工程と、
前記メディアデータ、前記シーン記述データ及び前記オブジェクト記述データを符号化し、多重化してマルチメディアデータを生成する生成工程とを備える。

又、上記の目的を達成するための本発明の他の態様によるデータ処理方法は、
符号化されたシーン記述データ、オブジェクト記述データ、オブジェクトメディアデータを含むマルチメディアデータを再生するデータ処理方法であって、
前記オブジェクト記述データの、前記シーン記述データに関連するデータ部分の所定項目より当該シーン記述データに対応するフレームレート情報を取得する取得工程と、
前記シーン記述データに基づいてオブジェクトメディアデータを復号し、合成する合成工程と、
前記フレームレート情報に従って、前記合成工程における前記シーン記述データに基づく合成処理を制御する制御工程とを備える。

本発明によれば、動画、音声、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信及び受信する際に、シーンの合成を確実に制御することができうようになる。
また、シーン中に含まれる時間依存ノードの生成するイベントの頻度を保証することが可能となる。

以下添付図面を参照して、本発明のデータ処理装置をマルチメディアデータを配信する装置に適用した好適な実施形態に従って詳細に説明する。

［第１実施形態］
図１は本実施形態におけるマルチメディアデータ配信装置１００（以下、単に配信装置という）及びマルチメディアデータ受信装置１０８（以下、単に受信装置という）の基本構成を示すと共に、各回路間でのデータの流れを示す図である。

図１に示す配信装置１００は、シーン記述データ符号化回路１０３、オブジェクト記述データ符号化回路１０４、メディアビットストリーム記憶装置１０５、多重化回路１０６を含んで構成されている。

シーン記述データ１０１及びオブジェクト記述データ１０２は、図示しないシーン／オブジェクト編集回路によって作成される。若しくは所定の記憶装置に保存されているシーン記述データ及びオブジェクト記述データを読み込むことにより取得される。シーン記述データ１０１は、視聴者に提示される画面や時間的な構成を記述したものであり、MPEG-4のシステムパートではシーン記述言語として前述したBIFSが採用されている。オブジェクト記述データ１０２は、シーン記述データ１０１とシーンを構成する各メディアオブジェクトの関連付け、符号化方法、パケットの構成等の復号に必要な情報を記述したものである。

シーン記述データ１０１、オブジェクト記述データ１０２は、それぞれ、シーン記述データ符号化回路１０３、オブジェクト記述データ符号化回路１０４において符号化され、多重化回路１０６へ入力される。多重化回路１０６は、符号化されたシーン記述データ及びオブジェクト記述データ、そして符号化済みのメディアビットストリーム（１０５）を多重化する。そして、多重化されたデータを、伝送路１０７へビットストリームとして受信装置１０８に配信する。なお、メディアビットストリーム記憶装置１０５には、符号化されたビットストリームが予め用意されており、多重化回路１０６は、メディアビットストリーム記憶装置１０５から必要なメディアオブジェクトの符号化ビットストリームを選択して多重化する。

上記符号化ビットストリームは、例えば周知のJPEG方式にて高能率（圧縮）符号化された静止画データや、周知のMPEG-2やMPEG-4、H-263方式にて高能率符号化された動画像データや、周知のCELP(Code Excited Linear Prediction)符号化や、変換領域重み付けインターリーブベクトル量子化（TWINVQ）符号化などの高能率符号化が施された音声データを含み得る。

また、図１において、伝送路１０７は所謂ネットワークであり、本実施形態においては加工、符号化されたマルチメディアデータを配信するのに用いられる。ただし、伝送路１０７としては、放送ネットワークや通信ネットワークといった通信路のみに限られるものではなく、例えばＤＶＤ−ＲＡＭ等の記憶媒体によりマルチメディアデータが搬送されてもよい。

一方、受信装置１０８は、逆多重化回路１０９、シーン記述データ復号回路１１０、イベント発生回路１１１、オブジェクト記述データ復号回路１１２、メディア復号回路１１３、シーン合成回路１１４、出力機器１１５を含んで構成されている。

受信装置１０８において、伝送路１０７を介してネットワークから配信されたマルチメディアデータや、伝送路１０７を介して記録媒体から読み込まれたマルチメディアデータが受信されると、受信されたマルチメディアデータは逆多重化回路１０９に入力される。逆多重化回路１０９においては、受信したマルチメディアデータを、シーン記述データ、オブジェクト記述データ、静止画像や動画像、音声などのメディアオブジェクトデータに分離する。分離されたシーン記述データ、オブジェクト記述データ及びメディアオブジェクトデータはそれぞれの復号回路１１０、１１２、１１３に入力される。

なお、図１中、メディア復号回路１１３は１つのみが示されている。しかしながら、複数種類のオブジェクトがマルチメディアデータ内に存在しても復号可能な装置を仮定しているため、オブジェクトの種類に応じた復号回路が用意されているものとする。すなわち、静止画像オブジェクトデータ、動画像オブジェクトデータ、音声オブジェクトデータのために、メディア復号回路１１２は静止画像用、動画像用、音声用の復号回路を含んで構成されている。

復号回路１１０、１１２、１１３へ入力される符号化が施された各データには、タイムスタンプと呼ばれる時間情報が付加されている。復号回路１１０、１１２、１１３においては、このタイムスタンプに従って各オブジェクト毎に復号される。なお、上記タイムスタンプには、復号タイムスタンプ、合成タイムスタンプがあるが、ここでは簡単のため、同一の値が用いられているものとする。復号タイムスタンプとは、符号化されたデータが復号回路前にあるバッファに入力されるべき時刻を表し、合成タイムスタンプとは、復号回路において復号されたデータが、復号回路後にあるメモリに出力されるべき時刻を表す。

そして、復号回路１１０、１１２、１１３において各々復号されたシーン記述データ、オブジェクト記述データ、メディアオブジェクトデータは、シーン合成回路１１４に供給され、シーン記述情報に基づいてシーンが合成される。以上のようにして得られた最終的なマルチメディアデータ列は、ディスプレイやスピーカー、プリンタなどに代表される出力機器１１５に供給され、再生されることになる。

ここで、本実施形態におけるマルチメディアデータには、シーンの合成タイミングを保証することを想定して、シーンフレームレート情報が付加される。シーンフレームレート情報とは、一秒間に何回シーン全体の合成を行うかを表す指標であり、単位はfps（frame per second）である。シーンフレームレートが３０fpsの場合、１秒間に３０回のシーン全体の合成が行われることを表す。具体的には、上記シーンフレームレート情報は、マルチメディアデータ中のイニシャルオブジェクトデスクリプタに内包させる。

図２は、本実施形態における、配信装置１００で生成されるマルチメディアデータの全体のデータ構造の例である。マルチメディアデータは、イニシャルオブジェクトデスクリプタ２００、シーン記述データ２０１、オブジェクト記述データ２０２、ビデオオブジェクトデータ２０３、オーディオオブジェクトデータ２０４等から構成される。

受信装置１０８においては、以下のような順で上記各データを取得する。
１． イニシャルオブジェクトデスクリプタ（２００）。
２． シーン記述データ（２０１）／オブジェクト記述データ（２０２）。
３．ビデオ（２０３）やオーディオ（２０４）等メディアオブジェクトデータ。

図３は、イニシャルオブジェクトデスクリプタ（２００）とシーン記述データ（２０１）とオブジェクト記述データ（２０２）とメディアオブジェクトデータ（２０３、２０４）の関係を示している。

イニシャルオブジェクトデスクリプタ２００は、前述したようにMPEG-4セッションの最初に送信されるデータであり、以下のような情報が含まれる。
・ シーン記述データ２０１のES Descriptor３００。
・ オブジェクト記述データ２０２のES Descriptor３０１。

また、オブジェクト記述データ２０２には、マルチメディアデータ内に含まれるビデオオブジェクトデータ２０３やオーディオオブジェクトデータ２０４等、メディアオブジェクトデータのES Descriptor３０２、３０３が含まれる。

ES_Descriptor３００〜３０３は、ストリームの様々な情報を持つデスクリプタを含んでいる。ES_Descriptorの構成で主要なものを図４に示す。

ES_IDは各ストリームのエレメンタリストリーム（ES）を識別するための識別子である。ES_IDは、１つのマルチメディアデータ内で重複してはならない。SLConfigDescriptorは、MPEG-4システム規格で提供されるSLパケットのヘッダ構成を記述する。ここではSLConfigDescriptorに関しての詳細な説明は省略する。また、ES_Descriptorはストリームの種類を判別するためのストリームタイプやプロファイル、デコーダに必要なバッファサイズ、ストリームの最大／平均伝送レートなどを記述するデコーダ設定デスクリプタ（DecoderConfigDescriptor）等を含んでいる。

デコーダ設定デスクリプタ（DecoderConfigDescriptor）には、デコーダ側で必要とされる、ストリームの種類を識別するためのオブジェクトタイプ（objectTypeIndication）やストリームタイプ（streamType）が記述される。また、ストリームの種類によって必要となるデコーダ設定情報を指定するためのDecoderSpecificInfoフィールドも記述される。上記DecoderSpecificInfoの構造は、streamTypeとobjectTypeIndicationの値によって決定される。ここでstreamTypeとobjectTypeIndicationの値とその意味について、夫々図５、図６に示す。

例えば、objectTypeIndication = 0x6c、streamType = 0x04で識別されるストリームは、Visual ISO/IEC 10918-1つまりJPEGストリームであると判断することができるが、JPEGに対するデコーダ設定情報DecoderSpecificInfoには、JPEG画像のヘッダ長やＸ／Ｙ方向のアスペクト比、色空間に関する情報が規定されている。

本実施形態では、objectTypeIndicationとstreamTypeとして以下の値を用いる。
・objectTypeIndication = 0xC0;
・streamType = 0x03;
objectTypeIndicationが0xC0の場合、ユーザープライベートな値を意味する（図５参照）。また、streamTypeが0x03の場合は、シーン記述データに関する情報であることを意味する（図６参照）。

つまり、上記したobjectTypeIndicationとstreamTypeの値によって識別されるストリームが用いられた場合のES Descriptorには、シーン記述データに対するデコーダ設定情報DecoderSpecificInfoとして、ユーザープライベートな情報を定義、記述することが可能である。本実施形態では前述のDecoderSpecificInfoフィールドとして、図７に示すような情報を定義する。

図７に示すように、BIFSv3Configは、シーンフレームレート情報の有無を示す１ビットのフラグisSceneFrameRateと、シーンフレームレートの値を指定する６ビットのsceneFrameRateから構成される。尚、その他のフィールドに関しては、MPEG-4システムパートにおいて定義されるBIFSConfigと同様であり、ここでは説明を省略する。

図８はマルチメディアデータ配信装置１００におけるマルチメディアデータの生成処理を説明するフローチャートである。図８のステップＳ７０１では、所定のインターフェースを介してユーザによりシーンのフレームレートが設定されたかどうかが判定される。なお、フレームレートの設定方法としては、例えば、不図示のインターフェースを介してユーザーが、単にフレームレートの数値を入力することにより設定する、或いはフレームレート値の一覧から選択して設定する、或いはマルチメディアデータを再生する端末（受信装置）の種類（PC/PDA/携帯電話等）・機種・パフォーマンスを選択することにより自動的に最適なフレームレートを設定するようにすればよい。

フレームレートが設定されていれば、ステップＳ７０２において、オブジェクト記述データから、当該シーンに対応するシーン記述に関連するES Descriptorを取得する。そして、ステップＳ７０３において、指定されたフレームレートをES Descriptorに、上述した方法で記述する。ステップＳ７０４では、以上のようにして更新されたオブジェクト記述データをオブジェクト記述データ１０２として格納する。

その後、伝送開始が指示されると、ステップＳ７０５からステップＳ７０６へ進み、シーン記述データ１０１及びオブジェクト記述データ１０２を、それぞれシーン記述データ符号化回路１０３及びオブジェクト記述データ符号化回路１０４により符号化し、多重化回路１０６により符号化済みのメディアビットストリーム（１０５）と多重化して伝送路１０７上へ出力する。

次に、本実施形態にかかる受信装置１０８の動作、特にシーンフレームレート情報を用いた場合の動作について、図９のフローチャートを用いて詳細に説明する。

図９は、受信装置１０８がマルチメディアデータを受信した場合のオブジェクト記述データ復号回路１１２の動作を説明する為のフローチャートである。ここでは一例として、マルチメディアデータには図７に示したBIFSv3Configデータが含まれているものとする。

オブジェクト記述データ復号回路１１２は、逆多重化回路１０９において逆多重化されたイニシャルオブジェクトデスクリプタを受信する（ステップＳ８０１）と、前述したBIFSv3Config内のisSceneFrameRateの値が０か１かを判断する（ステップＳ８０２）。isSceneFrameRateが１に設定されている場合には、続く６ビットがシーンフレームレート値sceneFrameRateを表しており、BIFSv3Config内のsceneFrameRateを取得する（ステップＳ８０３）。続いて前記ステップＳ８０３において取得したsceneFrameRateの値が０か、０以外の値かを判断する（ステップＳ８０４）。

sceneFrameRateの値が０以外の場合には、当該sceneFrameRateをシーン全体のフレームレート値として使用することが可能であり、イベント発生回路１１１へ供給する（ステップＳ８０５）。ステップＳ８０２においてisSceneFrameRateの値が０の場合、若しくはステップＳ８０４において取得したsceneFrameRateの値が０の場合には、イニシャルオブジェクトデスクリプタ中にシーンフレームレートが指定されていないことになる。この場合には、シーン記述データ２０１からシーン中にビデオオブジェクトデータがあるかどうかを判断する（ステップＳ８０６）。

シーン中にビデオオブジェクトデータが存在する場合には、当該ビデオオブジェクトデータのフレームレートに同期してシーンのレンダリングを行うよう、ビデオオブジェクトデータ２０３からビデオのフレームレート情報を取得し（ステップＳ８０７）、シーンのフレームレート値として設定する（ステップＳ８０８）。

ステップＳ８０６において、シーン中にビデオオブジェクトデータが存在しないと判断された場合には、何もせずに処理を終了する。この場合、受信装置１０８は、シーン合成回路１１４において予め定められたフレームレート値を用いて、シーンを合成したり、シーン中に含まれるTimeSensorなどの時間依存ノードがイベントを生成するタイミングを制御したりすることになる。

イベント発生器１１１は、ステップＳ８０５において、オブジェクト記述データ復号回路１１２により入力されたシーンフレームレート情報に基づいて、シーン合成回路の動作を制御する。これにより、シーン全体のレンダリングタイミングの制御、及びシーン中に含まれるTimeSensorなどの時間依存ノードがイベントを生成するタイミングの制御を行うことが可能になる。

ここで、上記「時間依存ノードがイベントを生成するタイミングの制御を行う」について具体的に説明する。時間依存ノードの一つであるTimeSensorノードは、時間の経過と共にイベントを生成し、アニメーション動作されるあらゆる動作の基礎となる。このイベント生成の頻度（時間のサンプリングを多くするか、抑えるか）は、再生機の処理能力に依存したり、再生機側で自由に決めることができる。具体的には、TimeSensorノードが５秒間イベントを生成する場合、１秒おきに計６回のイベントを生成しても良く、０．５秒おきに計１１回のイベントを生成しても良いということになる。このTimeSensorノードが生成するイベントに従って、あるオブジェクトが地点Ａから地点Ｂへ移動するとすると、ＡからＢへ移動する過程で、１秒間隔で６回移動しても、０．５秒間隔で１１回移動しても、どちらでも構わない。つまり、「時間依存ノードがイベントを生成するタイミングの制御を行う」とは、このような動作の違いが起こらないように、「TimeSensorノードのような時間依存ノードが、シーン全体の一回のレンダリング毎にイベントを一回生成するようにイベントの生成を制御する」ということである。

以上のように、本実施形態におけるマルチメディアデータ配信装置、受信装置、及びその制御方法によれば、動画、音声、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信及び受信する際に、シーンの合成を確実に行うことができ、時間依存ノードの生成するイベントの頻度を保証することができる。

［その他の実施形態］
また、本発明の目的は前述したように、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステムあるいは装置に提供し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれていることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含むことは言うまでもない。

以上説明したように、本実施形態によれば、動画、音声、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを配信する際に、受信側端末の種類や能力、通信回線に応じ、シーン記述データ及びオブジェクト記述データを最適化して分割し、符号化して送信することが出来る。また、受信装置がシーン記述データ及びオブジェクト記述データを復号し、シーンを合成する処理にかかる負荷、時間を分散させることができるといった効果がある。

本発明の第１の実施形態における配信装置の基本構成を示すと共に、各回路間でのデータの流れを示す図である。 マルチメディアデータ全体のデータ構造を示す図である。 イニシャルオブジェクトデスクリプタとシーン記述データとオブジェクト記述データとメディアオブジェクトデータの関係を示す図である。 ES_Descriptorの構成の概略を示す図である。 objectTypeIndicationの値とその意味を説明する図である。 streamTypeの値とその意味を説明する図である。 BIFSv3Configの構造を示す図である。 マルチメディアデータ配信装置１００によるマルチメディアデータの生成及び出力手順を説明するフローチャートである。 受信装置１０８がマルチメディアデータを受信した場合のオブジェクト記述データ復号回路１１２の動作を説明するためのフローチャートである。

Claims (11)

1. オブジェクトベースで符号化されたマルチメディアデータを生成するデータ処理方法であって、
   メディアオブジェクトデータと、それらの時空間の関係を記述するシーン記述データと、該メディアオブジェクトデータとシーン記述データとの関連付け情報を含むオブジェクト記述データとを生成する生成工程と、
   前記オブジェクト記述データにおいて、前記シーン記述データに関連するデータ部分の所定の項目に、当該シーン記述データに基づく再生時のフレームレートを規定するフレームレート情報の記述を組み込む組込工程と、
   前記メディアデータ、前記シーン記述データ及び前記オブジェクト記述データを符号化し、多重化してマルチメディアデータを生成する生成工程とを備えることを特徴とするデータ処理方法。
2. 前記マルチメディアデータはMPEG-4形式であり、
   前記組込工程は、前記データ部分に含まれるobjectTypeIndication、streamType、DecoderSpecificInfoフィールドを用いて設定することを特徴とする請求項１に記載のデータ処理方法。
3. 符号化されたシーン記述データ、オブジェクト記述データ、オブジェクトメディアデータを含むマルチメディアデータを再生するデータ処理方法であって、
   前記オブジェクト記述データの、前記シーン記述データに関連するデータ部分の所定項目より当該シーン記述データに対応するフレームレート情報を取得する取得工程と、
   前記シーン記述データに基づいてオブジェクトメディアデータを復号し、合成する合成工程と、
   前記フレームレート情報に従って、前記合成工程における前記シーン記述データに基づく合成処理を制御する制御工程とを備えることを特徴とするデータ処理方法。
4. 前記マルチメディアデータはMPEG-4形式であり、
   前記データ部分の前記所定項目は、該データ部分に含まれるobjectTypeIndication、streamType、DecoderSpecificInfoフィールドであることを特徴とする請求項３に記載のデータ処理方法。
5. 前記シーン記述データはBIFSにより記述されていることを特徴とする請求項１乃至４のいずれかに記載のデータ処理方法。
6. 前記オブジェクトメディアデータは、静止画データ、動画データ、音声データ、ＣＧデータを含むことを特徴とする請求項１乃至５のいずれかに記載のデータ処理方法。
7. 前記制御工程は、前記オブジェクト記述データの前記シーン記述データに関連するデータ部分に前記フレームレート情報が含まれていない場合は、該シーン記述データによるシーン中に含まれる動画のフレームレートに従って前記合成工程を制御することを特徴とする請求項３に記載のデータ処理方法。
8. オブジェクトベースで符号化されたマルチメディアデータを生成するデータ処理装置であって、
   メディアオブジェクトデータと、それらの時空間の関係を記述するシーン記述データと、該メディアオブジェクトデータとシーン記述データとの関連付け情報を含むオブジェクト記述データとを生成する生成手段と、
   前記オブジェクト記述データにおいて、前記シーン記述データに関連するデータ部分の所定の項目に、当該シーン記述データに基づく再生時のフレームレートを規定するフレームレート情報の記述を組み込む組込手段と、
   前記メディアデータ、前記シーン記述データ及び前記オブジェクト記述データを符号化し、多重化してマルチメディアデータを生成する生成手段とを備えることを特徴とするデータ処理装置。
9. 符号化されたシーン記述データ、オブジェクト記述データ、オブジェクトメディアデータを含むマルチメディアデータを再生するデータ処理装置であって、
   前記オブジェクト記述データの、前記シーン記述データに関連するデータ部分の所定項目より当該シーン記述データに対応するフレームレート情報を取得する取得手段と、
   前記シーン記述データに基づいてオブジェクトメディアデータを復号し、合成する合成手段と、
   前記フレームレート情報に従って、前記合成手段における前記シーン記述データに基づく合成処理を制御する制御手段とを備えることを特徴とするデータ処理装置。
10. 請求項１乃至７のいずれかに記載のデータ処理方法をコンピュータに実行させるための制御プログラム。
11. 請求項１乃至７のいずれかに記載のデータ処理方法をコンピュータに実行させるための制御プログラムを格納したコンピュータ読取が可能な記憶媒体。

Images