JP2004078983A - マルチメディアシステム動的連動装置 - Google Patents

Abstract

【課題】　マルチメディアシステム動的連動装置に関し、マルチメディアデータ相互の時間の推移に従った連動方法の変更に対して柔軟に対応できるようにする。
【解決手段】　マルチメディアデータをメディア種別管理手段１０に記憶し、メディア同士を連動させるための連動情報を管理テーブル２０に記憶しておく。この管理テーブル２０には、連動情報を計算途中の値である中間連動情報で保存しておき、データ表現の実行時にその中間連動情報を基にして、データ推移計算手段３０により、最終的な連動情報を算出するようにした。これにより、管理テーブル２０をどのように編集しても、最終的な連動情報は実行の度に算出するので、連動方法の変更などの影響は受けない。
【選択図】　図１

Description

　本発明はマルチメディアシステム動的連動方式に関し、特にマルチメディアタイトルを制作する場合にマルチメディアデータ同士を時間の推移に従って相互に連動させる操作を容易にしたマルチメディアシステム動的連動方式に関する。

　テキスト、イメージ、ビデオ、サウンド、ベクトル情報など、多様な種類のマルチメディアデータを扱うマルチメディアシステムにおいて、複数のマルチメディアデータオブジェクトを１つのフレーム内に同時に表現するには、これらを時間的推移、位置的推移、フレーム番号の推移に相互に連動させる必要がある。つまり、複数のマルチメディアデータを同時に表示させるためには、ビデオやサウンドのように時間の推移に応じて変化していくもの、テキストのようにフレーム番号の推移に表示内容を変化させるもの、ベクトルなど表示位置に応じて表示を変化させるものなどを同時に表示させなくてはならない。

　図１１は従来の連動方法を管理するテーブルの一例を示す図である。
　従来のマルチメディアデータの連動方法を管理するテーブル１は、マルチメディアデータオブジェクトを表示するフレームの番号を表すフレーム番号１ａと、フレームを表示開始する時刻を表すタイム１ｂとを有している。テーブル１は、さらに、マルチメディアデータオブジェクトを表す、たとえばテキスト１ｃ、ビデオ１ｄおよびサウンド１ｅを有し、これらはオブジェクト毎に追加設定されている。

　このテーブル１によれば、フレーム番号「１」のフレームはタイム「０」から始まり、このとき１ページ目のテキストデータが表示される。ここで、タイムの単位を秒とすれば、１０秒後のフレーム番号「２」のフレームではテキストデータは２ページ目に変わるとともにビデオデータが表示開始される。２０秒後のフレーム番号「３」のフレームではテキストデータは３ページ目に変わるとともに次のビデオデータが表示され、５０秒後のフレーム番号「４」のフレームではテキストデータは４ページ目に変わり、次のビデオデータが表示されるとともに、サウンドデータが再生開始され、７０秒後のフレーム番号「５」のフレームではテキストデータの表示はなくなり、次のビデオデータが表示され、次のサウンドデータが再生される。このように、テーブル１には、多様なマルチメディアデータに対して、表示するのかしないのかの情報が時間的推移やフレーム番号の推移に従ってテーブル１にそれぞれ保存されている。

　しかし、従来のマルチメディアデータの連動方法では、テーブル１にマルチメディアデータを表示するのかしないのかの情報だけしか保存していないので、連動はそのデータの表示開始のタイミングでしか合わせることができず、データの途中のみを表示したくても表示することができない。

　これに対し、推移に添った、時間、位置、フレーム番号をあらかじめ計算し、その結果をオブジェクト毎に記憶して、マルチメディアデータを連動させる方法がある。この方法では、マルチメディアデータを表現するときに、記憶された連動情報を参照するだけで、マルチメディアデータの連動表現を実行することができる。

　しかし、連動情報をあらかじめ計算しておく方法では、途中で連動方法を変更した場合には、変更時点で実行されていたすべてのオブジェクトの残りの連動情報を改めて計算し、変更しなければならない、という問題点があった。

　本発明はこのような点に鑑みてなされたものであり、時間、位置、フレームの推移の動的変化に対する連動の柔軟な対応、および連動方式の変更への柔軟な対応を可能にするマルチメディアシステム動的連動方式を提供することを目的とする。

　図１は上記目的を達成する本発明の原理図である。
　マルチメディアデータオブジェクトを時間的推移、位置的推移およびフレーム番号の推移に動的に連動させる本発明のマルチメディアシステム動的連動方式によれば、メディア種別管理手段１０を備えている。このメディア種別管理手段１０はメディアの種類に固有の情報をメディアの種類毎にまとめて記憶するようにしてあり、たとえば、テキストはテキスト管理部分へ、ビデオはビデオ管理部分へとそれぞれメディアの種類ごとに保存される。管理テーブル２０には、メディア種別管理手段１０に保存された個々のメディアについて、メディアに共通な情報であって、連動情報を計算するための中間連動情報が記憶されている。データ推移計算手段３０は管理テーブル２０を参照するよう構成され、メディアの表現時にメディアの連動情報を算出するようにしている。

　上述の手段によれば、管理テーブル２０は連動情報を計算するための中間連動情報を記憶しており、メディアの表現を実行するときに、データ推移計算手段３０が管理テーブル２０を参照して中間連動情報からそのメディアの連動情報を算出し、メディアの表現すべきデータ内の位置を求める。途中で連動方法を変更しても、変更されるのは管理テーブル２０の中間連動情報だけである。最終的な連動情報は表現の実行時に計算されるので、連動方法の変更に柔軟に対応することができる。

　以上説明したように本発明では、メディア同士を連動させるための連動情報を、計算途中の値である中間連動情報で保存するようにし、実行時にその中間連動情報を基にして最終的な連動情報を算出するように構成した。このため、連動方法を変更したとしても、その変更に伴って変更すべき他のデータ量を最小にすることができ、たとえば、管理テーブルにおいて、連動方法の変更したい範囲を指定して変更すれば、変更すべきデータはその範囲内だけまたはこの範囲に隣接する連動方法の範囲を含めた範囲だけなので、メディアデータの時間推移の変更に対し柔軟かつリアルタイムに対応することが可能である。

　また、メディアデータのフレーム間推移をリアルタイムに変更でき、バージョンアップなどで連動法を変更しても、それに付随した変更を要することなく対応することができ、さらに、多様なマルチメディアデータの推移を同一操作で変更することができる。

　まず、本発明の実施例の概略について図面を参照して説明する。
　図１は本発明のマルチメディアシステム動的連動方式の構成を示す原理図である。
　図１に示すマルチメディアシステム動的連動方式は、メディアの種類に固有の情報を管理するメディア種別管理手段１０と、メディアに共通な情報を記憶している管理テーブル２０とを備えている。メディア種別管理手段１０はメディアをその種類毎にまとめて保存している。たとえば、テキストはテキスト管理部分１１に、イメージはイメージ管理部分１２に、ビデオはビデオ管理部分１３に、サウンドはサウンド管理部分１４に、・・・と保存される。管理テーブル２０はメディア種別管理手段１０に記憶されている個々のメディアに共通な情報を記憶するもので、中に連続データ記憶手段２１を有している。この連続データ記憶手段２１は連動のための連動情報の計算に必要な中間連動情報を保存する。ここで、中間連動情報とは、連動のための情報を、「連続長」と「連続値」とに分けられたままの状態の情報を言う。「連続長」とは、メディアの表示開始からの連続したデータの長さをフレーム単位で表した値である。「連続値」とは、１フレームが連続して表示される単位時間を表した値である。

　マルチメディアシステム動的連動方式は、また、データ推移計算手段３０を備えている。データ推移計算手段３０はメディアの連動情報を算出するもので、表示命令４０を受けると、管理テーブル２０を参照し、その中間連動情報からメディアの最終的な連動情報を算出する。データ推移計算手段３０にて算出された連動情報は表現手段５０に出力される。

　マルチメディアシステム動的連動方式のメディア種別管理手段１０および管理テーブル２０は、主として、たとえばマルチメディアタイトルの制作段階で使用される部分であり、データ推移計算手段３０はその実行段階で使用される部分である。

　上記構成において、データ推移計算手段３０に対して表示命令４０が出されると、データ推移計算手段３０は管理テーブル２０を参照し、表示すべきメディアに関して、その管理テーブル２０に保存されている中間連動情報からそのメディアの連動情報を算出する。この連動情報の算出は、次に表示すべきメディアの数だけ行われる。

　このようにして算出された連動情報は、表現手段５０において、テキスト、ビデオなどを表示手段５１により表示するとき、およびサウンドをスピーカ手段５２によって再生するときに、これらマルチメディアデータオブジェクトを時間的推移、位置的推移およびフレーム番号の推移に動的に連動させて、表現することができる。

　図２はメディア種別管理手段に記憶されているメディアの一例を示す図である。
　この例では、テキスト管理部分１１に保存されているテキスト１１ａ、ビデオ管理部分１３に保存されているビデオ１３ａ、およびサウンド管理部分１４に保存されているサウンド１４ａを示しており、これらはそれぞれ、１フレーム分のデータ毎にデータの先頭から「０」で始まる番号が付けられている。なお、これらの番号は説明を簡単にするためのもので、実際には、フレームの推移や時間の推移の情報などに対応している。

　図３は管理テーブルの内容の一例を示す図である。
　管理テーブル２０は、フレーム番号２０ａと連続データ記憶部とを有している。連続データ記憶部としては、タイムを定義する連続データ記憶部２１ａと、オブジェクト毎に設定された連続データ記憶部、ここでは、オブジェクト１連続データ記憶部２１ｂと、オブジェクト２連続データ記憶部２１ｃと、オブジェクト３連続データ記憶部２１ｄとが示されている。また、この例では、「オブジェクト１」にテキスト１１ａを、「オブジェクト２」にビデオ１３ａを、「オブジェクト３」にサウンド１４ａを割り当ててある。

　この管理テーブル２０によれば、タイムの連続データ記憶部２１ａを見ると、フレーム番号「１」および「２」は連続値として「１０」が入っており、連続長として「０」および「１」が入っている。フレーム番号「３」以降は連続値として「２０」が入っており、連続長として「０」，「１」，「２」，・・・が入っている。ここで、連続値の単位は任意であり、秒でもミリ秒でもよい。また、連続値は各メディアに付けられた「０」で始まる番号に相当する。

　テキストに関しては、オブジェクト１連続データ記憶部２１ｂを参照すると、フレーム番号「１」から「４」まで連続長のデータが入っており、各フレーム毎に内容を変えてテキストを表示することを示している。しかも、その表示時間は、フレーム番号「１」および「２」では１０タイム、フレーム番号「３」および「４」では２０タイムである。

　ビデオは、オブジェクト２連続データ記憶部２１ｃに示したように、フレーム番号「２」において１０タイム表示し、フレーム番号「３」以降は１０タイム目より１フレームに付き２０タイムずつ表示することを示している。サウンドも同様に、オブジェクト３連続データ記憶部２１ｄに示したように、フレーム番号「４」からメディアの０タイム目より１フレームに付き２０タイムずつ再生することを示している。

　このように、フレーム番号に対応してオブジェクトはそのメディアのどの位置から表現するか、すなわち、連動情報または連動値は連続長と連続値との積によって求められる。たとえば、連続長が「６」フレームで、連続値が「１０」ミリ秒であれば、そのオブジェクトは６×１０＝６０ミリ秒の６フレーム目から表現することになる。また、連動値が、たとえばｎとすると、０からｎまでの間に連動方法、すなわち、タイムの連続データ記憶部２１ａの連続値および連続長が変更される場合がある。このような場合には、連動値は、同じ連動方法の連続値と連続長との積の総和からデータ推移計算手段３０にて求められる。

　図４は連動情報の計算の流れを示すフローチャートである。
　フローチャートによれば、まず、データ推移計算手段３０に対してメディアオブジェクトの表示命令４０があると（ステップＳ１）、管理テーブル２０のタイムの連続データ記憶部２１ａの値から連動方法を参照する（ステップＳ２）。次いで、そのオブジェクトのメディアの種類を判断する（ステップＳ３）。

　メディアの種類がテキストであれば（ステップＳ４）、管理テーブル２０のオブジェクト１連続データ記憶部２１ｂの値を参照する（ステップＳ５）。このオブジェクト１連続データ記憶部２１ｂに保存されている連続長は、テキストの中の表示すべきデータ位置を表しているので、そのデータ位置からのテキスト文字列が表示される（ステップＳ６）。

　メディアの種類がビデオであれば（ステップＳ７）、管理テーブル２０のオブジェクト２連続データ記憶部２１ｃの値を参照してビデオのどの位置から表示するかの連動値の計算をし（ステップＳ８）、その計算結果に基づいてビデオをフレーム表示する（ステップＳ９）。

　メディアの種類がサウンドであれば（ステップＳ１０）、管理テーブル２０のオブジェクト３連続データ記憶部２１ｄの値を参照してサウンドのどの位置から再生するかの連動値の計算をし（ステップＳ１１）、その計算結果に基づいてサウンドを鳴らす（ステップＳ１２）。

　ステップＳ３の判断において、メディアの種類がイメージまたはベクトルであれば（ステップＳ１３、Ｓ１５）、イメージまたはベクトルで表された図形などは時間の推移の情報がないのでそのまま表示される（ステップＳ１４、Ｓ１６）。

　図５は連動値の計算方法を示すフローチャートである。
　メディアがビデオまたはサウンドのときは、フレームの推移に従って表現を開始する時間的な位置、すなわち、連動値（連動情報）を求める必要がある。この場合には、まず、フレーム番号に対応した管理テーブル２０のオブジェクトの連続データ記憶部の値、すなわち、連続長を参照する（ステップＳ２１）。参照した連続長およびこれに対応するタイムの連続データ記憶部２１ａの値を基にして、その時点での連動方法による連動量を遡って計算する（ステップＳ２２）。次に、連動方法が変われば、連動量も変わるので、そのオブジェクトの表現の途中で連動方法に変更があったかどうかを判断する（ステップＳ２３）。連動方法が変わっていなければ、先に求めた連動量は最終的な連動量となり、連動方法が変わっていれば、その連動方法による連動量を計算し（ステップＳ２４）、先に計算した連動量に加える（ステップＳ２５）。ステップＳ２３に戻って、他の連動方法がなければ、ステップＳ２５で求められた連動量は総連動値として出力され、さらに、他の連動方法があれば、再びその連動方法による連動量の計算に進む。このようにして、今までそのメディアを表現するのに掛かった時間が計算され、総連動値として求められる。

　図６はメディア種別管理手段に記憶されているテキストの保存方法を示す図である。
　テキストはメディア種別管理手段１０のテキスト管理部分１１に保存されており、その情報としては、テキストデータと１フレーム分のテキスト文字数とを有し、時間の情報はない。したがって、テキストをテキスト管理部分１１から取り出して表示する場合には、図３の管理テーブル２０において、表示しようとするフレーム番号に対応するオブジェクト１連続データ記憶部２１ｂの値を参照する。たとえば、フレーム番号が「４」であれば、対応するオブジェクト１連続データ記憶部２１ｂの値、すなわち、連続長は「３」であるので、この連続長と１フレーム分のテキスト文字数との積から、フレーム番号「４」で表示すべきテキストの表示開始位置がわかる。表示のときは、そのテキストの表示開始位置１フレーム分の文字列を抽出すればよいことになる。

　図７はメディア種別管理手段に記憶されているビデオ画像の保存方法を示す図である。
　ビデオ画像はメディア種別管理手段１０のビデオ管理部分１３に時間の情報とともに保存されている。したがって、ビデオ画像をビデオ管理部分１３から取り出して表示する場合には、図５の総連動値の計算を経て、総連動値に対応する時間のビデオ画像を抽出して表示することになる。たとえば、図３の管理テーブル２０のフレーム番号「４」では、図５の総連動値の計算に基づいて、１０（タイム）×１＋２０（タイム）×１＝３０が求められ、ビデオ画像は３０タイム目から表示されることになる。

　図８はメディア種別管理手段に記憶されているサウンドの保存方法を示す図である。
　サウンドについても、ビデオ画像と同様に、時間の情報とともに、メディア種別管理手段１０のサウンド管理部分１４に保存されている。サウンドを再生する場合も、図５の総連動値の計算を経て、総連動値に対応する時間のサウンドを抽出して再生することになる。たとえば、図３の管理テーブル２０のフレーム番号「４」では、図５の総連動値の計算に基づいて、２０（タイム）×０＝０が求められ、サウンドは０タイム目から再生されることになる。

　上述のように、各メディアの連動情報は管理テーブル２０に連続長および連続値の中間連動情報の形で保存されており、メディアの表現実行時にその都度、最終的な連動値を算出するので、途中で連動方法を変更しても、それに伴って変更すべき項目は最小限にとどめることができる。

　図９は連動方法を変更した場合の管理テーブルの一例を示す図である。
　メディアの表現実行を管理する管理テーブル２０の編集時において、図示のように、たとえば、フレーム番号「３」におけるタイムの連続値を、図３の例の「２０」から「１０」に変更したとする。この場合、オブジェクトの連続データ管理部についてはまったく変更する必要がなく、タイムの連続データ管理部だけを変更すればよい。

　また、タイムの連続値の変更が、同一の連続値が継続している途中で行われた場合、たとえば、図９の管理テーブル２０のフレーム番号「５」におけるタイムの連続値を別の値、たとえば「３０」に変更した場合、そのフレーム番号「５」のタイムの連続値の変更に伴って、フレーム番号「５」および「６」のタイムの連続長を「０」および「１」に振り直す。フレーム番号がさらに続いている場合はフレーム番号「５」以降のフレーム番号のタイムの連続長を、次の連動方法の変更のあるフレーム番号、すなわち、次に現れる連続長「０」のフレーム番号の１つ手前のフレーム番号まで、「０」から順に振り直せばよい。

　図１０は本発明を実施するためのコンピュータのハードウエア構成の一例を示す図である。
　図において、コンピュータは、プロセッサ６１と、読み取り専用メモリ（ＲＯＭ）６２と、メインメモリ（ＲＡＭ）６３と、グラフィック制御回路６４および表示装置６５と、マウス６６と、キーボード６７と、ハードディスク装置（ＨＤＤ）６８と、フロッピー（登録商標）ディスク装置６９と、ＣＤ−ＲＯＭ駆動装置７０と、サウンドボード７１およびスピーカ７１ａと、プリンタ７２とで構成され、これらの構成要素は直接またはそれぞれのインタフェースコントローラ（図示していない）を介してバス７３に結合されている。

　プロセッサ６１はコンピュータ全体を統括的に制御する。読み取り専用メモリ６２にはたとえば立ち上げ時に必要なプログラムなどが格納されている。メインメモリ６３にはシステムプログラム、タイトルを作成するオーサリングソフトウェアのプログラムなどが展開される他に、タイトル実行時に生成される管理テーブルなどが格納される。

　グラフィック制御回路６４はフレームメモリなどを有し、メインメモリ６３内で生成された管理テーブルや表示実行時に展開されるマルチメディアデータなどを表示信号に変換し、表示装置６５に送る。表示装置６５は、受けた表示信号を基にしてテキスト、ビデオ画像、イメージなどを表示する。

　マウス６６は表示装置６５の画面上に表示されているマウスカーソルを移動させ、ボタンをクリックすることによって画面上に表示されている文字または図形などのオブジェクトを指示したり、各種メニュー内の項目を選択したりするポインティングデバイスである。マウス６６は、特に管理テーブルの変更箇所を指定するときに、変更したいオブジェクトのセルの部分をドラッグによって選択するのに使用される。キーボード６７はマルチメディアデータを作成して保存するときに付けるデータファイルの名前を入力するときなどに使用される。

　ハードディスク装置６８は、システムプログラム、オーサリングソフトウェア、およびこれによって作成途中のＣＤ−ＲＯＭタイトルあるいはプレゼンテーションソフトウェア、マルチメディアデータファイルなどが格納されている。

　フロッピーディスク装置６９は、他の機械で作成されたマルチメディアデータをフロッピーディスク６９ａを介して導入したりするのに使用され、ＣＤ−ＲＯＭ駆動装置７０は、ＣＤ−ＲＯＭ７０ａに格納されたＣＤ−ＲＯＭタイトルあるいはプレゼンテーションソフトウェアを実行するときに使用され、サウンドボード７１およびスピーカ７１ａはサウンドデータを再生するときに使用される。また、作成されたタイトルなどの画像データは、プリンタ７２によって印刷することができる。

本発明のマルチメディアシステム動的連動方式の構成を示す原理図である。 メディア種別管理手段に記憶されているメディアの一例を示す図である。 管理テーブルの内容の一例を示す図である。 連動情報の計算の流れを示すフローチャートである。 連動値の計算方法を示すフローチャートである。 メディア種別管理手段に記憶されているテキストの保存方法を示す図である。 メディア種別管理手段に記憶されているビデオ画像の保存方法を示す図である。 メディア種別管理手段に記憶されているサウンドの保存方法を示す図である。 連動方法を変更した場合の管理テーブルの一例を示す図である。 本発明を実施するためのコンピュータのハードウエア構成の一例を示す図である。 従来の連動方法を管理するテーブルの一例を示す図である。

符号の説明

　１０　メディア種別管理手段
　１１　テキスト管理部分
　１２　イメージ管理部分
　１３　ビデオ管理部分
　１４　サウンド管理部分
　２０　管理テーブル
　２１　連続データ記憶手段
　３０　データ推移計算手段
　４０　表示命令
　５０　表現手段
　５１　表示手段
　５２　スピーカ手段

Claims (1)

1. 　複数のマルチメディアデータオブジェクトを時間的推移、位置的推移およびフレーム番号の推移に連動して同時に表現するマルチメディアシステム動的連動方式において、
   　メディアの種類に固有の情報を前記メディアの種類毎にまとめて記憶するメディア種別管理手段と、
   　前記メディア種別管理手段に記憶された個々のメディアについて、メディアに共通な情報を記憶している管理テーブルと、
   　前記メディアの表現を実行する度に前記メディアに共通な情報を参照してそのメディアの連動情報を算出するデータ推移計算手段と、
   　を備えていることを特徴とするマルチメディアシステム動的連動方式。
   
   

Images