JP2002055782A - マルチメディア実行システム、マルチメディアファイルおよびマルチメディアファイルの実行方法。 - Google Patents

Abstract

(57)【要約】 【課題】 マルチメディア情報の取扱いを極めて容易に
すると共に、各情報間のきめ細かな同期制御を可能にす
る。 【解決手段】 ＳＭＡＦファイル２０は、コンテンツ情
報記憶部２１、演奏シーケンストラック２２、描画シー
ケンストラック２３、オーディオシーケンストラック２
４、マスタートラック２５を同一のファイル内に組み込
んだものであって、マスタートラック２５のイベントの
内容によってシーケンス動作の制御が可能となってい
る。シーケンサ２６は、アプリケーションプログラム３
０と通信し、マスタートラック２５でのイベント発生時
にアプリケーションプログラム３０がスティタスを読み
込んで、ユーザインターフェイス３１または通信インタ
ーフェイス３２を介してユーザまたは外部装置とデータ
のやりとりを行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音、画像、テキ
ストなどの様々な種類のマルチメディア情報を扱うマル
チメディア実行システムに関する。

【０００２】

【従来の技術】マルチメディア情報をユーザ側からみて
一元的に扱っているものとしては、例えばインターネッ
ト上のコンテンツの閲覧ソフト（以下、ブラウザとい
う）がある。ユーザは、パソコン画面上でこのブラウザ
を操作することによって、１つの画面上で音、画像、テ
キストなどのマルチメディア情報を扱うことが可能であ
る。通常は、各情報はサーバ内の異なったパスで定義さ
れる箇所に記憶されており、ブラウザは、それぞれの情
報を個別に取り出して１つの画面上で再現する。このよ
うなインターネット上の情報は、すべて、ＨＴＭＬ(Ｈ
ｙｐｅｒ ＴｅｘｔＭａｒｋｕｐ Ｌａｎｇｕａｇｅ）
言語で扱う事が可能であって、ブラウザはこのＨＴＭＬ
言語を解釈することによって情報のアウトプットを行な
う。

【０００３】また、ＨＴＭＬ言語とは異なった言語で記
述され、音や画像（特に動画）を同期して再現するソフ
トウェアもインターネット上で実用化されている。この
ソフトウェアが扱うファイル構造は、音の情報と画像の
情報を一体化したものであって、１つのファイルとして
取り扱うことが可能になっている。

【０００４】

【発明が解決しようとする課題】しかしながら、ＨＴＭ
Ｌ言語で記述できるマルチメディア情報は、特定の箇所
に記憶されている情報を静的（スタティック）に読み出
して再現するだけであって、各情報を同期して動的（ダ
イナミック）に再現するものではない。このため、コン
テンツの内容を微妙にコントロールして、特に画像や音
声を時間的に完全に同期して再現するといったことが不
可能である。

【０００５】また、音の情報と画像の情報を１つのファ
イル形式で扱う従来のものは、各情報が全く独立して最
初から再生されるだけであるために、途中でジャンプし
たり情報間の細かい同期を取ることができない不都合が
あった。

【０００６】この発明の目的は、マルチメディア情報の
取扱いを極めて容易にすると共に、各情報間のきめ細か
な同期制御を可能にするマルチメディア実行システムを
提供することにある。

【０００７】

【課題を解決するための手段】この発明は、上記の課題
を解決するために以下のように構成される。

【０００８】（１） 演奏シーケンス情報が記憶される
演奏シーケンストラックと、描画シーケンス情報が記憶
される描画シーケンストラックと、各シーケンストラッ
クの同期情報が記憶される同期情報記憶手段と、を同一
のファイル内に組み込んだマルチメディアファイルの記
憶部と、前記マルチメディアファイルのシーケンス動作
を実行するシーケンサと、前記シーケンサと通信を行う
ことによりマルチメディアファイルの実行開始、実行停
止等の実行制御を行うアプリケーションプログラムの記
憶部と、前記アプリケーションプログラムを実行するプ
ログラム実行部と、を備える。この発明のシステムに使
用されるマルチメディアファイルでは、複数の種類の情
報が記録される複数のシーケンストラックと共に各シー
ケンストラックの同期情報が記録される同期情報記録手
段が同一ファイル内に組み込まれる。この同期情報記録
手段は、好ましくは、上記各シーケンストラックと同じ
種類のシーケンストラックの構造とする。複数の種類の
情報は、演奏シーケンス情報と描画シーケンス情報を含
み、さらにはオーディオシーケンス情報も含むことが可
能である。演奏シーケンス情報は、通常は、ＭＩＤＩま
たはＭＩＤＩ相当のシーケンス情報であり、描画シーケ
ンス情報は、テキスト、２値画像、任意画像を含むこと
ができる。オーディオシーケンス情報は、ＡＤＰＣＭ
（Ａｄａｐｔｉｖｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕ
ｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データで構
成することができる。また、ＴｗｉｎＶＱ（商標）やＭ
Ｐ３等の圧縮オーディオデータで構成することも可能で
ある。

【０００９】この発明のマルチメディア実行システムで
は、上記マルチメディアファイルを記憶する記憶部と、
このマルチメディアファイルのシーケンス動作を実行す
るシーケンサと、シーケンサと通信を行うことによりマ
ルチメディアファイルの実行開始、実行停止などの実行
制御を行なうアプリケーションプログラムの記憶部と、
このアプリケーションプログラムを実行するプログラム
実行部とを備えている。これにより、シーケンス動作中
に、各シーケンストラックの情報間の同期が同期情報に
よってとられるために、この同期情報の記述の仕方によ
って、各シーケンストラック間の情報の同期をきめ細か
く設定することができる。また、シーケンサとアプリケ
ーションプログラム間が通信することによって、前記同
期情報によってシーケンス動作の制御が行われたとき
に、その情報をアプリケーションプログラムが知ること
ができる。これにより、アプリケーションプログラムで
前記同期情報に関連して様々な制御を行うことが可能に
なる。

【００１０】（２） 前記マルチメディアファイルは、
前記同期情報記憶手段として、各シーケンストラックと
同じシーケンス動作をするマスタートラックを有し、ま
た、同期情報として、各シーケンストラックのシーケン
ス動作を停止・分岐・繰り返し等の時間軸方向の制御情
報を記憶することを特徴とする。

【００１１】同期情報を記憶する同期情報記憶手段とし
て各シーケンストラックと同じシーケンス動作をするマ
スタートラックを設けることにより、同期情報の記述が
容易になる。また、同期情報として、各シーケンストラ
ックのシーケンス動作を停止・分岐・繰り返しなどの時
間軸方向の制御情報を記憶することにより、シーケンス
動作の途中でアプリケーションプログラムとの間で通信
を行いながら任意の制御が可能になる。例えば、同期情
報としてシーケンス動作を停止する制御情報を記憶して
おくと、このタイミングになった時にアプリケーション
プログラムでユーザによるデータ入力や、サーバに対す
る特定のデータの発信・要求を行なったりすることが可
能になる。これにより、シーケンス動作中にユーザの入
力やサーバからの情報に基づいてシーケンス動作を制御
することが可能になる。例えば、同期情報としてシーケ
ンス動作を停止する情報が記憶されていた場合、そのタ
イミングになった時にユーザの入力によって分岐先を指
定することができる。また、描画シーケンストラックに
コマーシャル情報が記録されている場合、そのコマーシ
ャルの終了するタイミングに同期情報としてシーケンス
動作の停止情報が記録されている場合、サーバに対して
コマーシャルが終了したことを通知できるようになる。

【００１２】（３） 前記描画シーケンストラックは、
表示オブジェクトを指定する表示イベントと表示イベン
ト間の時間間隔を指定するデュレーションとを記述する
ことで構成され、前記表示イベントは、表示オブジェク
トの複数の座標表現形式を指定可能とすることを特徴と
する。

【００１３】この発明のマルチメディアファイルは、描
画シーケンストラックにおいて、表示イベント内で定義
される表示オブジェクトの座標表現形式を複数の座標表
現形式の中から指定可能としている。このため、その時
に使用する表示デバイスに対して最適な表示位置の指定
が可能になる。表示形式として、少なくとも、画面サイ
ズおよび表示オブジェクトのサイズを元に表示位置を比
率で指定するレイアウト情報指定形式を含むようにして
おけば、画面の大きさに応じて自動的に表示オブジェク
トの縮尺が決定される。

【００１４】このように、表示イベントが、表示オブジ
ェクトの複数の座標表現形式を指定可能としておくこと
によって、その時に使用する表示デバイスに対して最適
な表示位置の指定を可能にする。これにより、マルチメ
ディアファイル（コンテンツ）の流通の範囲を広げるこ
とができる。

【００１５】（４） 前記表示イベントは、表示オブジ
ェクトのタイプを含む表示オブジェクト定義情報を記述
したプライマリイブロックと、該プライマリイブロック
で表した内容に動的な表示修飾を加える表示修飾シーケ
ンス情報を記述した補助ブロックと、を含み、表示修飾
シーケンス情報は相互に動作の影響を及ぼさない複数の
表示修飾シーケンス情報から任意に選択された一つ以上
の表示修飾シーケンス情報で構成される.この発明で
は、表示オブジェクトの基本的な情報を定義するプライ
マリイブロックと、このプライマリイブロックで表した
内容に動的な表示修飾を加える表示修飾シーケンス情報
を含む補助ブロックとを表示イベントに記述することが
可能である。この場合、表示修飾シーケンス情報は相互
に動作の影響を及ぼさない情報であるために、表示オブ
ジェクトの動きに合わせて、最適な表示修飾シーケンス
情報を容易に組み合わせることが可能である。各表示修
飾シーケンス情報を単純な機能表現の情報としておけ
ば、表示内容の複雑な動きを、単純な機能表現の組み合
わせで容易に提供することができる。また、このことか
らコンテンツ制作も容易になる。

【００１６】

【発明の実施の形態】図１は、この発明の実施形態であ
るマルチメディア実行システムのハードウェアの構成図
である。なお、図１に示すような各構成部を備えていれ
ば、マルチメディア実行システムのハードウェアとし
て、コンピュータ端末、携帯端末、携帯電話を含む様々
な形態のものを利用することが出来る。

【００１７】実行制御部１は、ＣＰＵ、ＲＯＭ、ＲＡＭ
などを含み、シーケンサ(プログラム）やアプリケーシ
ョンプログラムの実行、入出力制御などを行なう。この
実行制御部１に対して、シーケンサ（プログラム）記憶
部２、アプリケーション（プログラム）記憶部３、およ
びマルチメディアファイルの格納された記憶部４が接続
されている。マルチメディアファイルは、後述するよう
に、演奏シーケンストラック、描画シーケンストラッ
ク、オーディオシーケンストラック、マスタートラック
およびコンテンツ情報記憶部を同一のファイル内に組み
込んだものであって、この実施形態では、このファイル
をＳＭＡＦ（Ｓｙｎｔｈｅｔｉｃ Ｍｕｓｉｃ Ｍｏｂ
ｉｌｅ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）ファ
イルと称する。記憶部４には、１番からｎ番目までのＳ
ＭＡＦファイルが記憶されており、アプリケーション記
憶部３やユーザからの入力情報によっていずれかのＳＭ
ＡＦファイルが選択される。

【００１８】実行制御部１には、音源デバイス５、表示
デバイス６、オーディオデバイス７が接続される。

【００１９】音源デバイス５には、ＳＭＡＦファイル内
の演奏シーケンス情報が入力され、ここで演奏信号に変
換される。演奏シーケンス情報は、本実施形態ではＭＩ
ＤＩシーケンス情報であり、音源デバイス５には、ＭＩ
ＤＩ音源デバイスが使用される。

【００２０】表示デバイス６には、ＳＭＡＦファイル内
の描画シーケンス情報が入力する。描画シーケンス情報
は、後述のように、テキスト、２値画像、任意画像のい
ずれかのシーケンス情報であり、表示デバイス６は、こ
れらの情報を画像信号に変換する。

【００２１】オーディオデバイス７は、ＳＭＡＦファイ
ル内のオーディオシーケンス情報が入力し、オーディオ
信号に変換する。この実施形態では、オーディオシーケ
ンス情報はＡＤＰＣＭ情報であり、オーディオデバイス
７は、このＡＤＰＣＭ情報をアナログのオーディオ信号
に変換する。

【００２２】楽音・音声出力部８は、音源デバイス５お
よびオーディオデバイス７の出力を合成したものをスピ
ーカ８ａから出力する。モニタ９は、表示デバイス６か
らの画像出力を表示画面上に表示する。

【００２３】実行制御部１には、さらに、入力部１０と
通信部１１とが接続されている。入力部１０には、キー
ボードやマウスなどを含む操作部１２が接続され、通信
部１１は、有線あるいは無線によるインターネット等の
コンピュータネットワークもしくは公衆回線網等の通信
回線によって、図外のサーバに接続されている。

【００２４】図２は、上記マルチメディア実行システム
のソフトウェアの構成図である。

【００２５】２０はＳＭＡＦファイルである。このＳＭ
ＡＦファイル２０は、コンテンツ情報記憶部２１、演奏
シーケンストラック２２、描画シーケンストラック２
３、オーディオシーケンストラック２４、マスタートラ
ック２５で構成され、これらが１つのファイル内に一体
的に組み込まれている。

【００２６】コンテンツ情報記憶部２１は、ＳＭＡＦフ
ァイル２０全体の内容に関する情報を記憶する。演奏シ
ーケンストラック２２は演奏シーケンス情報を、描画シ
ーケンストラック２３は描画シーケンス情報を、オーデ
ィオシーケンストラック２４はオーディオシーケンス情
報をそれぞれ記憶する。マスタートラック２５は、各シ
ーケンストラック２２〜２４の同期情報を記憶する。こ
のマスタートラック２５は、各シーケンストラック２２
〜２４の同期情報を記憶するものであるが、このトラッ
ク２５自身もシーケンストラックとなっている。

【００２７】シーケンサ２６は、これらの演奏シーケン
ストラック２２、描画シーケンストラック２３、オーデ
ィオシーケンストラック２４、マスタートラック２５の
シーケンス動作を制御する。各シーケンストラックは、
イベントとデュレーションを組み合わせて構成され、デ
ュレーションはイベント間の時間間隔を指定する。した
がって、シーケンストラックの先頭からデュレーション
を積算することで、イベントの実行開始時刻を知ること
ができる。また、イベント自体の処理に時間がかかった
としても、シーケンスデータ上の時間経過には影響を与
えない。時間経過はイベント処理に無関係にデュレーシ
ョンで表現できることになる。詳細については後述する
ように、マスタートラック２５は、同期情報としてポー
ズ（停止）イベント、分岐イベント、繰り返しイベント
などの時間軸方向の制御情報を記憶している。これらの
イベントが発生した時には、マスタートラック２５から
シーケンサ２６に対しポーズ、分岐、繰り返しなどのシ
ーケンス制御を行なうよう指令する。例えば、ポーズイ
ベントが発生した時には、各シーケンストラック２２〜
２５のシーケンス動作が一時停止する。また、分岐イベ
ントが発生した時には、各シーケンストラックのシーケ
ンス動作ポイントが同時に特定の位置に分岐する。

【００２８】演奏シーケンストラック２２のシーケンス
出力は、音源デバイス２７に入力し、音として出力され
る。描画シーケンストラック２３の出力は表示デバイス
２８に出力され、表示モニタ上に描画される。オーディ
オシーケンストラック２４の出力はオーディオデバイス
２９に出力され、音として出力される。

【００２９】シーケンサ２６は、アプリケーションプロ
グラム３０によって制御される。このアプリケーション
プログラム３０は、シーケンサ２６を制御可能なもので
あればどのようなものであってもよい。アプリケーショ
ンプログラム３０からは、シーケンサ２６に対して、ス
タート／ストップ信号や、スティタスリード信号が出力
される。またシーケンサ２６は、アプリケーションプロ
グラム３０に対してスティタス（状態）を通知する。例
えば、マスタートラック２５のイベントとしてポーズイ
ベントが発生した時、シーケンサ２６は、シーケンス動
作をポーズ状態（一時停止状態）にしてアプリケーショ
ンプログラム３０に対してスティタス通知を行い、アプ
リケーションプログラム３０が、このスティタス内容を
リードする。この場合のスティタス内容は、ポーズ（一
時停止）である。アプリケーションプログラム３０は、
そのスティタスの内容に応じて、ユーザインターフェイ
ス３１を介して、ユーザに対し所定の表示を行なった
り、またはユーザからの入力操作を待つ。また、通信イ
ンターフェイス３２を介して、サーバとの間でデータと
のやりとりを行なう。ポーズ状態を抜けるイベントが発
生すると（このイベントは、アプリケーションプログラ
ム３０が決める。例えばユーザ入力があった場合）、ア
プリケーションプログラム３０はシーケンサ２６に対
し、再スタートの指令を行う。

【００３０】このようにして、シーケンサとアプリケー
ションプログラム間のデータ通信が行われる。

【００３１】図３は、シーケンストラックのデータ構造
を示している。

【００３２】先に述べたように、シーケンスデータは、
イベントＥとデュレーションＤを組み合わせて記述する
ことによって表現されている。データ列はイベントＥか
ら開始し、データの終端にはシーケンス終了データであ
るＥＯＳが置かれる。ライフタイムは、イベントの有効
長さを表す。例えば、演奏シーケンス情報であれば、発
音時間である。デュレーションＤは、イベント間の時間
間隔を指定している。このため、デュレーション値をデ
ータの先頭から累積することによって、特定のイベント
の開始時刻を決定することができる。例えば、イベント
３の開始時刻は、時刻０にデュレーション１と２の加算
値を加えた時刻である。また、イベント３の開始時刻か
らイベント１に分岐するには、イベント３の開始時刻か
ら、デュレーション１とデュレーション２を加算した値
を差し引く。このような方法によって、各シーケンスト
ラックのシーケンス動作を任意に制御することができ
る。マスタートラック２５には、この制御内容、すなわ
ち各シーケンストラックの同期情報が記述されている。
なお、この実施形態では、シーケンスデータはイベント
ＥとデュレーションＤとが交互に記述されるようにして
いるが、必ずしも交互に記述されていなくても良い。

【００３３】図４は、図２においてシーケンサ２６とア
プリケーションプログラム３０との概略の動作を示して
いる。

【００３４】処理が開始されると、シーケンサ２６では
初期設定（ステップ１００）が行なわれた後、シーケン
ス動作をスタートするのを待つ。アプリケーションプロ
グラム３０からシーケンススタート命令を受けると（ス
テップ２００）（ステップ１０１）、シーケンサ２６で
のシーケンス動作が開始し（ステップ１０２）、マスタ
ートラック２５のイベント発生を監視する（ステップ１
０３）。マスタートラック２５のイベントは、ここでは
チェックポイントイベントと称する。シーケンサ２６
は、このチェックポイントイベントが発生すると、アプ
リケーションプログラム３０に対してスティタス通知を
行い、チェックポイントイベントの内容を送信する(ス
テップ１０４）。アプリケーションプログラムでは、ス
テップ２０１において、このスティタスを受信し、その
内容に応じた処理を行なう（ステップ２０２）。例え
ば、チェックポイントイベントがポーズイベントであれ
ば、アプリケーションプログラムが、そのポーズイベン
トに対応してユーザからの入力待ちの処理を行なう。或
いは、ポーズイベントに対応して、通信インターフェイ
ス３２を介して、サーバから特定のデータをダウンロー
ドしたりあるいは特定のデータをアップロードする。ア
プリケーションプログラム３０では、このステップ２０
２の処理に応じて、さらに、シーケンサ２６に対し所定
の指示を出す。すなわち、ユーザからの入力内容やサー
バからのデータに応じて、各シーケンストラックの制御
を行なう。シーケンサ２６では、ステップ１０５におい
て、上記アプリケーションプログラム３０からの指示に
対応する処理をする。シーケンサ２６では、以上の処理
を行なった後、シーケンスが終了していない場合には再
びステップ１０３以下の動作を行い、アプリケーション
プログラム３０では、プログラムが終了していない場合
には、再びステップ２０１に戻る。

【００３５】図５は、時間軸上の動作例を示している。
シーケンス動作がスタートすると、演奏シーケンストラ
ック２２、描画シーケンストラック２３、オーディオシ
ーケンストラック２４、マスタートラック２５のシーケ
ンス動作が同時に先頭から開始し、それぞれのシーケン
ス内容に応じた再生が行なわれていく。今、コンテンツ
が曲データ、画像、オーディオデータで構成されている
ものとすると、マスタートラック２５のポーズイベント
ＰＥＶ１が発生したとき、シーケンサ２６でのシーケン
ス動作が停止し、アプリケーションプログラム３０によ
ってユーザインターフェイスからのユーザ入力を待つ。
ここで、特定のキー入力があると、アプリケーションプ
ログラム３０がスタート命令を出して、次に２番めの曲
データ、画像２、オーディオデータ２の再生を開始す
る。

【００３６】図１および図２において、ＳＭＡＦファイ
ル２０は、シーケンサ２６やアプリケーションプログラ
ム３０とは独立しているために、このＳＭＡＦファイル
２０を、任意の記憶媒体や伝送媒体を介して流通させる
ことが可能である。また、アプリケーションプログラム
３０も、シーケンサ２６と独立したプログラムであるた
めに、このプログラムに任意の機能を持たせることがで
きる。したがって、コンテンツの流通性が高く、また、
システム全体の拡張性、自由度が極めて大きい。

【００３７】なお、マスタートラック２５のチェックポ
イントイベントとしては、上記のようなポーズイベント
のほか、分岐イベントや繰り返しイベントなどがある。
分岐イベントは、時間軸上の任意の位置に分岐すること
を指示する内容を持ち、繰り返しイベントは、一定のシ
ーケンス期間を繰り返すことを指示する内容を持つ。こ
の他、時間軸方向の様々な制御情報をチェックポイント
イベントとして記憶させることが可能である。

【００３８】次に、描画シーケンストラック２３のイベ
ント記述方式について説明する。

【００３９】先に述べたように、この描画シーケンスト
ラック２３の記述も、イベント（表示イベント）と表示
イベント間の時間間隔を指定するデュレーションとの交
互の記述によって構成される。

【００４０】表示イベントは、表示オブジェクトの表示
位置を指定することが必要である。この実施形態では、
この表示イベントは、表示オブジェクトの座標表現形式
を複数の中から選択できるようにしている。

【００４１】図６は、選択可能な座標表現形式を示して
いる。同図（Ａ）は標準座標指定、同図（Ｂ）は対称座
標指定、同図（Ｃ）はレイアウト情報座標指定の各表現
形式を示している。

【００４２】標準座標指定は、座標原点を表示画面の左
上とし、Ｘ軸は右が正方向、Ｙ軸は下が正方向とする。
そして、表示オブジェクトＧの左上の座標を指定する。

【００４３】対称座標指定は、座標原点を表示画面の右
下とし、Ｘ軸は左が正方向、Ｙ軸は上が正方向とする。
そして、表示オブジェクトＧの右下の座標を指定する。

【００４４】レイアウト情報座標指定は、Ｘ方向および
Ｙ方向とも１００分率で位置を指定する。Ｘ方向には、
０を左詰、５０をセンタリング、１００を右詰とする。
また、Ｙ方向には０を上詰、５０をセンタリング、１０
０を下詰とする。図６（Ｃ）に示す例では、表示オブジ
ェクトＧ１はＸ方向に左詰、Ｇ２はＸ方向にセンタリン
グ、Ｇ３はＸ方向に右詰となっている。

【００４５】なお、Ｘ座標およびＹ座標それぞれ独立
に、いずれかの座標表現形式を指定可能となっている。

【００４６】座標表現形式をこのように複数の中から指
定可能とすることによって、複数のタイプの表示モニタ
に適合した形式を選択することが可能になる。例えば、
レイアウト情報座標指定の座標表現形式を選択しておく
と、そのＳＭＡＦファイルを表示画面の面積の異なるシ
ステムに適用した場合でも、同じ表示状態とすることが
できる。また、１つのオブジェクトの指定を標準座標指
定と対称座標指定のどちらでも適用可能としておくこと
で、表示オブジェクトの位置によって、より簡単に指定
可能な方を選択できるようになる。このことは、シーケ
ンスデータの作成を容易にする利点につながる。

【００４７】また、一旦指定した座標表現形式を、次に
新たな座標表現形式が指定されるまでデフォルトの表現
形式として保持されるようにしている。このため、座標
表現形式が変わった時にだけその新たな座標表現形式を
指定すればよく、シーケンスデータの見やすさとメモリ
消費量の節約を図ることができる。

【００４８】本システムでは、さらに、表示イベントの
記述方法を工夫することによって、複雑な動きを表現す
ることが可能である。以下、これについて詳述する。

【００４９】表示イベントは、表示オブジェクトのタイ
プ、サイズ、内容を含む表示オブジェクト定義情報を記
述したプライマリイブロックと、このプライマリイブロ
ックで表した内容に動的な表現修飾を加える表示修飾シ
ーケンス情報を記述した補助ブロックとを含んでいる。

【００５０】プライマリイブロックは、基本的な情報を
含むために、表示イベントに必須の情報であり、補助ブ
ロックは、適宜選択することのできるブロックである。

【００５１】また、補助ブロックの表示修飾シーケンス
情報は、相互に動作の影響を及ぼさない複数の表示修飾
シーケンス情報から任意に選択された１つ以上の表示修
飾シーケンス情報で構成される。

【００５２】プライマリイブロックに記述される表示オ
ブジェクト定義情報には、表示オブジェクトのタイプ、
サイズ、内容が記述される。表示オブジェクトのタイプ
には、テキスト、２値画像（ビットマップ）、任意画像
（イメージ）がある。

【００５３】表示修飾シーケンス情報には、以下に示す
ものがある。

【００５４】（１） 画像変換シーケンス（表示内容の
変更） （ａ） 色替えシーケンス 例えば、カラオケの色替えなど、表示されているテキス
トなどを時間的に変化させる。ネオンサインのような画
像のフラッシングも表現できる。

【００５５】（ｂ） 画像変形シーケンス 画像を時間と共に変化させる。

【００５６】（２） バナーシーケンス（表示画面への
投影方法の指定） （ａ） 表示枠に文字列を流し込んで表示する。

【００５７】（ｂ） 表示枠の一部を投影し、投影位置
を時間と共に変化させて表示する。

【００５８】（３） 移動シーケンス（表示位置の変
更） （ａ） 表示枠を表示する画面上の位置を時間と共に変
化させる。

【００５９】（４） 表示ウィンドウ変更シーケンス （ａ） 表示枠の大きさを時間と共に変化させる。

【００６０】（５） 表示切替シーケンス （ａ） プライマリイブロックが複数指定されている場
合、これらのブロックの切り替えを行なう。

【００６１】（ｂ） ２つの表示対象画像（画面上に表
れている画像）を時間と共に切り替えて表示する。

【００６２】例えば、ワイプ（左から右方向に画像をワ
イプしながら切り替える）、ディゾルブ（複数分割した
各ブロック画面でワイプ動作が行なわれる）、フェード
（最初の画面が消えていくような感じで画面切り替えを
行なう）などがある。

【００６３】以上の表示修飾シーケンス情報は、それぞ
れ相互に動作の影響を及ぼすことがない。このため、２
つ以上の表示修飾シーケンス情報を組み合わせても、そ
れらの個々のシーケンス情報によって実現される作用が
プラスされるだけである。したがって、例えば、複数の
表示修飾シーケンス情報を組み合わせて以下のような表
示修飾を行なうことが可能である。

【００６４】（１） 色替え＋バナー （ａ） 表示枠をテロップが流れながら、途中でテロッ
プの色が変わる。

【００６５】（２） 色替え＋バナー＋移動 （ａ） 表示枠をテロップが流れながら、途中でテロッ
プの色が変わり、さらに表示枠の位置が時間と共に移動
する。

【００６６】（３） 色替え＋バナー＋移動＋表示ウィ
ンドウ変更 （ａ） 表示枠をテロップが流れながら、途中でテロッ
プの色が変わり、また表示枠の位置が時間と共に移動
し、さらに、表示枠が時間と共に小さくなって消えたり
再び表れたりする。

【００６７】このように、各表示修飾シーケンス情報
は、相互に動作の影響を及ぼさないような機能を持ち、
上記複数の表示修飾シーケンス情報の中から、任意のも
のを選択することができる。

【００６８】図７は、表示イベントの一般的記述形式を
示している。上から、イベントタイプ、イベントサイ
ズ、ライフタイム、座標指定、プライマリイブロック、
任意の数の補助ブロックが記述される。補助ブロックは
オプションであり、少なくともプライマリイブロックが
あれば良い。しかし、補助ブロックを記述することで、
上述のように種々の表現を簡単に実現することができ
る。

【００６９】なお、上記の実施形態では、同期情報記録
手段を、マスタートラックとしたが、各シーケンストラ
ック内に同期情報を書き込むようにしても良い。

【００７０】

【発明の効果】この発明によれば、複数の種類の情報が
記録される複数のシーケンストラックと共に各シーケン
ストラックの同期情報が記録される同期情報記録手段を
同一ファイル内に組み込んでマルチメディアファイルを
構成したため、シーケンス動作中に、各シーケンストラ
ックの情報間の同期が同期情報によってとられる。この
ため、この同期情報の記述の仕方によって、各シーケン
ストラック間の情報の同期をきめ細かく制御することが
できる。

【００７１】また、シーケンサとアプリケーションプロ
グラム間が通信することによって、前記同期情報によっ
てシーケンス動作の制御が行われたときに、その情報を
アプリケーションプログラムが知ることができる。これ
により、アプリケーションプログラムで前記同期情報に
関連して様々な制御を行うことが可能になる。

【００７２】また、同期情報を記憶する同期情報記憶手
段として各シーケンストラックと同じシーケンス動作を
するマスタートラックを設けることにより、同期情報の
記述が容易になる。

【００７３】また、表示イベントが、表示オブジェクト
の複数の座標表現形式を指定可能であるため、その時に
使用する表示デバイスに対して最適な表示位置の指定を
可能にする。これにより、コンテンツの流通の範囲を広
げることができる。

【００７４】また、表示イベントは、表示オブジェクト
の基本的な情報を定義するプライマリイブロックと、こ
のプライマリイブロックで表した内容に動的な表示修飾
を加える一つ以上の組み合わせの表示修飾シーケンス情
報が含まれる補助ブロックとで記述が可能であり、ま
た、表示修飾シーケンス情報は相互に動作の影響を及ぼ
さない情報であるために、表示オブジェクトの動きにあ
わせて、最適な表示修飾シーケンス情報を容易に組み合
わせることが可能である。各表示修飾シーケンス情報を
単純な機能表現の情報としておけば、表示内容の複雑な
動きを、単純な機能表現の組み合わせで容易に提供する
ことができる。また、このことからコンテンツ制作も容
易になるという効果がある。

【図面の簡単な説明】

【図１】この発明の実施形態であるマルチメディア実行
システムのハードウェア概略構成図

【図２】同マルチメディア実行システムのソフトウェア
構成図

【図３】シーケンス動作を示す図

【図４】シーケンサおよびアプリケーションプログラム
の概略動作を示すフローチャート

【図５】マスタートラックの機能を説明する図

【図６】表示イベントの座標表現形式を示す図

【図７】表示イベントの一般的記述内容を示す図

Claims (15)

【特許請求の範囲】
1. 【請求項１】 演奏シーケンス情報が記憶される演奏シ
   ーケンストラックと、描画シーケンス情報が記憶される
   描画シーケンストラックと、各シーケンストラックの同
   期情報が記憶される同期情報記憶手段と、を同一のファ
   イル内に組み込んだマルチメディアファイルの記憶部
   と、 前記マルチメディアファイルのシーケンス動作を実行す
   るシーケンサと、 前記シーケンサと通信を行うことによりマルチメディア
   ファイルの実行開始、実行停止等の実行制御を行うアプ
   リケーションプログラムの記憶部と、 前記アプリケーションプログラムを実行するプログラム
   実行部と、を備える、マルチメディア実行システム。
2. 【請求項２】 前記マルチメディアファイルは、オーデ
   ィオシーケンス情報が記憶されるオーディオシーケンス
   トラックを有する、請求項１記載のマルチメディア実行
   システム。
3. 【請求項３】 前記マルチメディアファイルは、前記同
   期情報記憶手段として、各シーケンストラックの同期情
   報が記憶され、各シーケンストラックと同じシーケンス
   動作をするマスタートラックを有することを特徴とす
   る、請求項１または２記載のマルチメディア実行システ
   ム。
4. 【請求項４】 前記マスタートラックは、同期情報とし
   て、各シーケンストラックの時間軸方向の制御情報を記
   憶する、請求項３記載のマルチメディア実行システム。
5. 【請求項５】 前記描画シーケンストラックは、表示オ
   ブジェクトを指定する表示イベントと表示イベント間の
   時間間隔を指定するデュレーションとを記述することで
   構成され、前記表示イベントは、表示オブジェクトの複
   数の座標表現形式を指定可能とすることを特徴とする、
   請求項１〜４のいずれかに記載のマルチメディア実行シ
   ステム。
6. 【請求項６】 前記表示イベントは、表示オブジェクト
   の複数の座標表現形式として、少なくとも、画面サイズ
   および表示オブジェクトのサイズを元に表示位置を比率
   で指定するレイアウト情報指定形式を含む、請求項５記
   載のマルチメディア実行システム。
7. 【請求項７】 前記表示イベントは、表示オブジェクト
   のタイプを含む表示オブジェクト定義情報を記述したプ
   ライマリイブロックと、該プライマリイブロックで表し
   た内容に動的な表示修飾を加える表示修飾シーケンス情
   報を記述した補助ブロックと、を含み、表示修飾シーケ
   ンス情報は相互に動作の影響を及ぼさない複数の表示修
   飾シーケンス情報から任意に選択された一つ以上の表示
   修飾シーケンス情報で構成される、請求項５記載のマル
   チメディア実行システム。
8. 【請求項８】 請求項１〜７のいずれかのマルチメディ
   ア実行システムに使用される前記マルチメディアファイ
   ルであって、任意の記憶媒体または伝送媒体により流通
   を可能としたマルチメディアファイル。
9. 【請求項９】 演奏シーケンス情報が記憶される演奏シ
   ーケンストラックと、描画シーケンス情報が記憶される
   描画シーケンストラックと、各シーケンストラックの同
   期情報が記憶される同期情報記憶手段と、を組み込んだ
   マルチメディアファイルをシーケンサに入力することに
   より、各シーケンストラックのシーケンス動作を前記同
   期情報に基づいて実行し、 アプリケーションプログラムにより前記シーケンサと通
   信を行うことによりマルチメディアファイルの実行開
   始、実行停止等の実行制御を行い、 プログラム実行部により、前記アプリケーションプログ
   ラムを実行する、マルチメディアファイルの実行方法。
10. 【請求項１０】 オーディオシーケンス情報が記憶され
    るオーディオシーケンストラックを前記マルチメディア
    ファイルに組み込み、このシーケンストラックのシーケ
    ンス動作も前記同期情報に基づいて実行する、請求項９
    記載のマルチメディアファイルの実行方法。
11. 【請求項１１】 前記同期情報記憶手段は、各シーケン
    ストラックと同じシーケンス動作をするマスタートラッ
    クであり、このマスタートラックに記憶される同期情報
    に基づいて各シーケンストラックのシーケンス動作を行
    うことを特徴とする、請求項９または１０記載のマルチ
    メディアファイルの実行方法。
12. 【請求項１２】 前記マスタートラックは、同期情報と
    して、各シーケンストラックの時間軸方向の制御情報を
    記憶し、この制御情報に基づいて各シーケンストラック
    のシーケンス動作を行うことを特徴とする、請求項１１
    記載のマルチメディアファイルの実行方法。
13. 【請求項１３】 前記描画シーケンストラックは、表示
    オブジェクトを指定する表示イベントと表示イベント間
    の時間間隔を指定するデュレーションとを記述すること
    で構成され、前記表示イベントは、表示オブジェクトの
    複数の座標表現形式を指定可能とすることを特徴とす
    る、請求項９〜１２のいずれかに記載のマルチメディア
    ファイルの実行方法。
14. 【請求項１４】 前記表示イベントは、表示オブジェク
    トの複数の座標表現形式として、少なくとも、画面サイ
    ズおよび表示オブジェクトのサイズを元に表示位置を比
    率で指定するレイアウト情報指定形式を含む、請求項１
    ３記載のマルチメディアファイルの実行方法。
15. 【請求項１５】 前記表示イベントは、表示オブジェク
    トのタイプを含む表示オブジェクト定義情報を記述した
    プライマリイブロックと、該プライマリイブロックで表
    した内容に動的な表示修飾を加える表示修飾シーケンス
    情報を記述した補助ブロックと、を含み、表示修飾シー
    ケンス情報は相互に動作の影響を及ぼさない複数の表示
    修飾シーケンス情報から任意に選択された一つ以上の表
    示修飾シーケンス情報で構成される、請求項１３記載の
    マルチメディアファイルの実行方法。