【発明の詳細な説明】
時分割型マルチメディアゲームプレイヤー及びオーサリングシステム
背景
1. 技術分野
映画、ミュージックビデオ、カラオケなどは現代の娯楽産業の中で最も成功し
ている例である。基本的に映画やミュージックビデオはあらかじめ記録されてい
るマルチメディアプレゼンテーションである。それは複数の同期しているトラッ
クからなり、各トラックにはあるタイプのメディア(例えばビデオ画像、音声、
文字など)のシーケンスが記録されている(文字の例としては映画の字幕、キャ
プションなどがある)。
カラオケシステムも基本的にはあらかじめ記録されているマルチメディアプレ
ゼンテーションで、ビデオと音楽のトラックに同期して歌詞の文字が映し出され
、ユーザがそこにマイクを使って新たな音声トラックをリアルタイムで加えてい
けるようになっている。
テレビゲームや電子ゲームもまた人気のある娯楽の例で、ビデオ画像やサウン
ド、時には文字を使いプレイヤーが与えられた時間内にゲームを勝ち抜くことを
目標に遊ぶように作られている。ほとんどの場合プレイヤーのインプットに対し
ては時間制限が設けられており、そのプレイヤーのインプットによって映し出さ
れるシーンの順序が決まってくる。コンピュータゲームの中にはリアルタイムに
起こっている物事と平行してゲームを行わな
くてはいけないような制限を設けているものもある。
教育を目的としたコンピュータゲームでは多肢選択、作文、穴埋めなどの作業
により物語や正しい手順を示させるものもある。またHyperGlot(商標・ソフト名
)系の製品や言語教育のためのキャプション付映画などといった、文字トラック
をもつビデオ画像を使った教育ゲームもある。
本発明の目的は映画、ミュージックビデオが持つ高いエンターテイメント性と
、ビデオ、コンピュータゲームなどの教育ツールとしての機能的価値を融合させ
ることにある。
2. 概要
本発明はあらかじめ記録されたマルチメディアプレゼンテーション(少なくと
もビデオ画像、サウンド、それに伴う文字を含む)を用いた教育的ゲームで遊ぶ
為のインターアクティブ(対話型)システムである。マルチメディアプレゼンテ
ーションはタイムセグメント(時間枠)に分割されている。ゲームのシーケンス
はタスクユニット(作業単位)に分割されそれらはタイムセグメントと同期して
いる。各タイムセグメントの始点と終点に書かれているタイムアドレスマーカー
によって各ゲームシーケンスのタスクユニットの初期化、実行、終了が行われる
。
本システムはミュージックビデオ、映画、アニメ、カラオケなどを用いて、市
販の人気テレビゲームと同様の臨場感や緊張感が得られる教育的ゲームを作成す
るのに適している。作製されたゲームは教育的なコンテンツを持ち、楽しみなが
ら読解力をつけさせたり、外国語を教
えるのに使うことができる。同様にこのコンセプトに基づいたユーザの動機をう
ながすテストは他の学科においても効果を発揮することができる。本マルチメデ
ィアゲームは現在生まれつつある教育とエンターテイメントを結び付ける"eduta
inment"(education+entertainment)産業の製品の基本となるものである。
本発明はさらにマルチメディアプレゼンテーションタイムセグメント及それら
のゲームシーケンスへのインタフェースの作製を行うためのオーサリングシステ
ムも提供する。
2.1 図面の簡単な説明
本発明は以下の図を参照しながら説明される。
図1はシステム構成の全体を表わす概略図である。
図2はマルチメディアプレゼンテーションとマルチメディアゲームの関係を示す
説明図である。
図3aは基本的マルチメディアゲームのコントロールフローチャートである。
図3bは基本的マルチメディアゲーム“エクスプローラ”モードのコントロール
フローチャートである。
図3cは基本的マルチメディアゲーム“ゲーム”モードのコントロールフローチ
ャートである。
図4はマルチメディアゲームの基本的作製プロセスを示す説明図である。
図5はミュージックビデオゲームのスクリーン割付図である。
図6はミュージックビデオゲーム中のスクリーンのスナップショットを示す図で
ある。
図7aはミュージックビデオゲーム“エクスプローラ”
モードのコントロールフローチャートである。
図7bはミュージックビデオゲームの“ゲーム”モードのコントロールフローチ
ャートである。
図8aはカラオケゲームの“ゲーム”モードの全体的コントロールフローチャー
トである。
図8bはカラオケゲームの“ゲーム”モードの全体的コントロールフローチャー
ト(続)である。
図8cはカラオケゲームの“ゲーム”モードの全体的コントロールフローチャー
ト(続)である。
図9aはリモートムービーゲームの全体的コントロールフローチャートである。
図9bはリモートムービーゲームの“ゲーム”モードのコントロールフローチャー
トである。
図10はリモートムービーゲームのスクリーン割付図である。
図11はセグメンテーションオーサリングシステムのモジュール図である。
図12はセグメンテーションオーサリングシステムのスクリーン割付図である。
図13aはグラフィック表示部とアイコンとの時間関係を示す図である。
図13bは終点編集時のグラフィック表示部とアイコンとの時間関係を示す図であ
る。
図14はセグメント詳細設定エリア下部図である。
図15はセグメンテーションオーサリングシステムのメニューコマンドを示す図で
ある。
3 発明の実施の形態
3.0システム構成
システム構成は以下のものから成っている事が望ましい(図1)。
・コンピュータ本体あるいはコンピュータゲーム機器
・大容量記憶装置
ハードディスク
CD-ROMあるいはテープ
・マルチメディアインプットソース
ビデオデッキ+ビデオフレームデジタイザー
CD-ROM
オーディオ録音・再生装置
レーザーディスク
キーボードあるいは他の文字入力機器
マイク
オーディオデジタイザー付き音声あるいは音楽入力装置
・入力/ゲームコントロール
キーボード
マウス、ジョイスティックあるいは他のポインティングデバイス
ボイスコマンドマイク、スピーチデジタイザー
・出力/ディスプレイデバイス
モニタ
オーディオスピーカー
プリンタ
ビデオデッキ、オーディオレコーダ
以上のシステム構成ではゲームの再生だけでなく作製も可能である。コンピュ
ータの代りにテレビモニタとゲームプレイヤー(例えば、SEGATM)を使うことも
できる
。コンピュータはオーディオやビデオのデジタル化ができるハードウエア(例え
ばオーディオデジタイザーボード、フレームデジタイザーボードなど)を持つか
、あるいはスピーカーとスクリーンのウインドウ上か別付けのビデオモニタ上で
直接プレイ出来るようなものが望ましい。マルチメディアゲームのプレイ中に録
音録画が必要ない場合、カメラ、ビデオ、オーディオ記録装置やマイクは必要で
ない。ゲームソフトの配布媒体の種類によってCD-ROMドライブ、ハードディスク
、レーザーディスクプレイヤー、その他のデバイスが使用される。放送やネット
ワークサービスによる配布の場合はモデム、イーサネットあるいはその他の接続
サービスが使用される。
3.1 マルチメディアプレゼンテーションの時分割
本発明ではマルチメディアプレゼンテーションは前もって記録された複数のメデ
ィアシーケンスがネットワーク状に繋がったものとみなされる。そのうちの少な
くとも一つは時間に依存したシーケンスでなくてはいけない(=シーケンスの再
生がクロックによって制御される)。時間の流れにあわせたシーケンスは共通の
時間軸上で同期している複数のトラックからなっている(以後これを“マルチメ
ディアプレゼンテーション”と呼ぶ)。基本トラックはビデオの表示画像からな
り、それは少なくとも一つの音声か文字のトラックに同期している。ビデオトラ
ックにはモーションビデオ、アニメーション、あるいはスライドショウのような
静止画像の連続帯などがある。オーディオトラックには会話、歌、音楽などがあ
る。文字トラックには映画のせりふ、歌詞、ナレーション、文字情報などがある
。
個々のトラックの同期は連続的なものと非連続的なものがある。連続的同期で
は一つのトラックがある時点で始まり別の時点になるまで連続的に流れていく(
モーションビデオ、オーディオなど)。非連続的な同期ではある時点でトラック
内の情報が表示され(静止イメージ表示、文字表示など)その表示は別の時点にお
いて別のものと替えられる(イメージ、文字の消去など)。
マルチメディアプレゼンテーションは時間軸の上で始点、終点で区切られたセ
グメントに分けられている。つまり時間軸をタイムセグメントに分けるポイント
が一つ以上存在する。通常マルチメディアプレゼンテーションは全体を通して再
生されない場合はセグメントを単位に再生される。2つのセグメントの間に一時
停止や他のメディアの再生が挿入されていたり、ユーザが任意のセグメントを選
択して再生したりする場合である。
その他のトラック(モーションビデオ、オーディオ、静止画像の連続帯、文字
などの様々なメディアフォーマット)はマルチメディアプレゼンテーシゥオンの
セグメントあるいはプレゼンテーションのタイミングに同期しているもの以外に
時間軸から独立して存在しているものがある。ユーザ入力したスピーチ、ビデオ
、サウンドなどがその例である。
3.2 マルチメディアゲームプレイヤー
本発明に於いては、ゲームあるいは教育的ツール(以後“マルチメディアゲーム
”と呼ぶ)とは次のような機能を持つソフトウェアとする:時間のセグメントに
分けられたマルチメディアプレゼンテーションが再生Sれている間にユーザイン
プットを受付ける。その入力を、可能な選
択肢の一つとして解釈し評価する。ユーザインプットの評価値をフィードバック
する。
図2にあるように時間のセグメントに分けられたマルチメディアプレゼンテー
ションとゲームの関係は基本的には以下のようになっている。マルチメディアゲ
ームはマルチメディアプレゼンテーションとゲームプログラムの二つの層を持つ
。プレゼンテーション層では同期している複数のトラックがN個のタイムセグメ
ントに分けられている。このタイムセグメントは連続的である。つまりあるタイ
ムセグメントIはT(I-1)の時点から始まりT(I)で終了し、プレゼンテーション自
体はT(0)から始まりT(n)で終了する。(隣り合うタイムセグメントにギャップが
あったりそれらが重なり合ったりするような場合はそのギャップや重なりの部分
が新たに一つのタイムセグメントとなる。)
再生されているプレゼンテーションの各タイムセグメントの開始、終了時点の
間に、ゲーム層はユーザにそのタイムセグメントにリンクされた選択肢を表示す
る。次にユーザのインプット(選択項目)を解釈/評価し、評価結果の値に応じ
たフィードバックを行う。
図3aでは次のようなマルチメディアゲームの進行過程が図示されている。ま
ず、スクリーンに初期画面が表示され、マルチメディアゲームの読み込みと初期
化が行われる。次にユーザは“エクスプローラ”モードか“ゲーム”モードかを
選択する。“エクスプローラ”モードはプレゼンテーションのプレビューのみが
出来る機能で、この機能がマルチメディアゲームに含まれていなくても構わない
。最後に、ユーザによって終了が選ばれた時点でマルチメディアゲームは終了す
る。
図3bではマルチメディアゲームのエクスプローラモ
ードの進行過程が図示されている。まず、タイムセグメントにリンクされた文字
部分がハイライトされ、プレゼンテーションのタイムセグメントが読み込まれ再
生される。ユーザのインプットがない場合、プレゼンテーションは終点に到達す
るまで再生を続ける。次に文字のハイライトが消え、プレゼンテーションは次の
タイムセグメントに移る。この間ユーザインターアクションがない場合はすべて
のタイムセグメントが順次再生されていく。ただしユーザはいつでも再生を中断
し、任意のタイムセグメントの再生を指定することができる。これはたとえば任
意の文字部分をクリックすることなどによって可能となる。次に、そのタイムセ
グメントにあったメディア(例えば、そのセグメントに書かれている単語の正し
い発音など)が再生され、プレゼンテーションは選ばれたセグメントからまた再
開される。その他、一セグメントのみの再生、任意に選ばれた複数のセグメント
のシャッフル再生などといったユーザインターアクションも可能である。
図3cに示されているコントロールの流れ図は、マルチメディアプレゼンテー
ションでのテキスト関連の選択をユーザがするゲームを例に書かれており、これ
はマルチメディアゲームの中心となるアルゴリズムである。これはタイムセグメ
ントが中断されることなく順次再生されるケースをあらわしている。各タイムセ
グメントの開始時点において、それにリンクされているテキストトラックの部分
がハイライトされ、そのセグメントにあった選択肢が読み込まれる。次にこれら
の選択肢がユーザに提示され、プレゼンテーションのタイムセグメントの再生が
開始される。このタイムセグメントが再生されている間、マルチメディアゲーム
はユーザのインプットを受
け入れ、それを選択肢の一つとして解釈する。ゲームプログラムはその時点のタ
イムセグメントに対して選ばれた選択肢の評価値を取り込み、この評価値をユー
ザへフィードバックする。タイムセグメントが終了時点に到達したらテキストの
ハイライトは消え、ゲームは次のタイムセグメントへと進んでいく。
ユーザに示される選択肢はモニタ上に表示されるか音声によって案内される。
例えば、スクリーンのゲームエリアにメニューとして表示させることができる。
現在は視覚あるいは聴覚への出力方法のみであるが、将来は他の感覚への出力方
法も可能となる。選択肢は同時に複数表示することも順次表示することもできる
。それらはユーザのインプットや時間の経過によってダイナミックに変化する。
選択肢のセットはその時点で再生されているセグメントに応じて変化し、ときに
はその時点の内容にそぐわない“撹乱”項目を含むこともできる。
ユーザは様々な方法で入力が可能である。例えば、メニューからマウスでクリ
ック、選択肢をキーボードから入力、ジョイスティックやポインタで選択、選択
肢が表示されているときにボタンを使用、マイクで声を入力などである。ユーザ
の声の入力などのようにインプットは連続的なものも可能である。
ユーザの選択した項目の評価は通常その時点のセグメントの長さに依存する(
つまり選択項目につけられる評価値はそのセグメントの開始時点あるいは終了時
点で変わる)。各選択項目はそれが選ばれた時間およびセグメント番号によって
評価される。評価は一つ或いは複数の数字、あるいはメディアタイプ(イメージ
やサウンドなど)の表示、または単純に“正解”、“不正解”の表示などがあり
、それらの組み合わせの場合もある。ユーザの選択
したものの評価値は他の要因、たとえばユーザのそれまでの成績などにも影響さ
れる。即ち、あるセグメントの複数の選択肢から何を選ぶかが、次に続く選択肢
の評価を変える可能性がある。例えば、ユーザはある選択肢の中からある一定の
順番で項目を選択していかなければ最良のスコアが得られず、間違った選択は次
を正しく選択していてもその評価値を下げる様なデザインも考えられる。
スコアが追加される様を動的に見せたり、イメージを徐々に見せたりと、ユー
ザに対するフィードバックは視覚的に行うことが出来る。ファンファーレのよう
な音楽を鳴らすことも、その他の感覚を刺激する方法も可能である。評価値はフ
ィードバックを省略することによって与える事も出来る。たとえばゲームプログ
ラムは“不正解”以外の全ての評価値をフィードバックする事が出来る。ユーザ
は、それによりフィードバックのないものは選択した項目が不正解だったことを
知ることができる。フィードバックはマルチメディアプレゼンテーションに連動
しており、タイミングや再生順序などに影響を与える。例えば、その時点のトラ
ックが繰り返されたり、テキストトラックがユーザの選択した項目に反映して変
化したり、また別のメディアトラックが次のセグメントが開始される前に再生さ
れることもある。
このほかにも図3cの方式では色々な変形が考えられる。たとえば普通に再生
するのではなくて、タイムセグメントの順番を変えて再生することも可能である
。また選択肢はメニューのように同時に示されずにひとつずつ順番に表示される
ことも、すべての選択肢がゲームのはじめに表示されることもある。そういった
ものの選択は
ゲームの難易度にあわせてユーザにあたえられる。さらにはいくつかのプレゼン
テーションのトラックがゲームモード内において変更されることもある。
3.3マルチメディアゲームオーサリングシステム
タイムセグメントに分かれたマルチメディアプレゼンテーションの構築、そこ
からのマルチメディアゲームへのリンクの設定などは、セグメントの開始点と終
了点とを明確化する、専用のオーサリングシス(Segmentation Authoring Syste
m/以後“SAS”と称する。)によって大きく簡略化することができる。SASは各
タイムセグメントにリンクされるその他のリソースの設定、各セグメントにおけ
るユーザの選択肢の設定、各選択肢に対する評価値およびフィードバックの設定
なども簡略にする。
Adobe Systems(商標/Mountain View,,CA)のPremiereTM、Avid Technology
(商標/Tewksbury,MA)の製品などの広く普及しているビデオ編集ツールは、
製作者がビデオ画像とサウンドトラックを同期化させることを可能にしている。
これらのツールのうちいくつかではさらに製作者が時間単位(SMPTETMタイムコー
ドなど)のなかでひとつのシーンの開始・終了地点を定義する“Edit Decision L
ists”(EDL)を決めたり取り出したりすることも可能である。これらのツールは
ビデオ・オーディオセグメントをひとつのリニアシーケンスとして作り上げるこ
とを目的としており、ひとつのリニアシーケンスを連続するタイムセグメントに
分けていくものではない。よって、これらは周辺のタイムセグメント間における
境界線の編集にはむいていない。これらのツールでは
、製作者はひとつだけのタイムセグメントや“ワーキングスペース”のリプレイ
はできるが、それを編集中の境界線と関係付けることはできない。これらのツー
ルはさらに、複数のテキスト、メディア或いはイベントの“合間”といったリソ
ースにEDLを同期化させるための機能はない。MacroMedi(San Francisco,CA)
のAuthowareTMやDirectorTMといったマルチメディアオーサリングツールは時間
軸(“スコア”と呼ばれる)にイベントを配置していくことができるが、直接タイ
ムセグメントにイベントを関係づけることはできない。
よって本システムにおいてはセグメントの開始、終了地点を決める作業のため
に改良を加えたユーザインターフェイスを使用している。スピーチをセグメント
に分ける作業などにおいては、開始終了の両地点を正確に決めることが大切であ
る。
マルチメディアゲームの製作は以下のような手順で行われる(図4)。
1)製作者は同期されたマルチメディアプレゼンテーションを作る。レコーディ
ングとの同期化は標準的なハードウエアとソフトウエアで行われる。
オーディオ・ビデオはマイク、テープレコーダ、カムコーダなどによって行われ
る(SONY社(東京,日本)の製品など)
オーディオ・ビデオはビデオ画像獲得ボード(Data Translations社(Marlboro,
MA)製Media 100TMなど)でデジタル化するか、あるいはレーザーディスクにア
ナログで記録することかできる(レーザーディスクサービス会社に用意されてい
る)
必要であればオーディオ・ビデオトラックは標準的なリニア編集ソフトを使って
同期化することができる
(Adobe Systems社(Mountain View,CA)製PremiereTMなど)
マルチメディアのデジタル部分はCD-ROMに記録することもできる(Eastman Koda
k社(Rochester,NY)製のCD-ROM burnerなど)
2)SASを使い製作者は歌の拍子、映画のアクションシーケンスなどといった主
要な時間単位によってマルチメディアプレゼンテーションをタイムセグメントに
分割する。
3)テキストトラックの部分部分をタイムセグメントにリンクする。
4)その他、付随するメディアリソースをタイムセグメントにリンクする。
5)ユーザに与える選択肢のセットを決め、各タイムセグメントにリンクする。
6)評価値を各選択肢にリンクする。
7)フィードバックを各選択肢にリンクされている評価値にリンクする。
8)マルチメディアゲームをCD-ROMのような大容量記憶装置に記録する。
9)マルチメディアゲームを販売店、放送チャンネル、オンラインサービスなど
を通して配布する。
10)マルチメディアゲームをユーザがプレイする。
図4中の“Segmentation Authoring Tool”は上記2から7までの段階におけ
るSASの役割の概要である。
SASは任意のマルチメディアゲームを得るためにタイムセグメントに分割され
たプレゼテーションを編集するのに便利である。図12に示したようにSASはす
でに決められ開始時点によってならべられたセグメントのセットを表示する。こ
れにより編集者はセグメントのシーケ
ンスからその時点で対象になっているセグメントを容易に選択し編集を行うこと
ができる。また新たにセグメントをシーケンスの中の任意な場所(現在のセグメ
ントの前でも後でも)に挿入することや現在のセグメントを消去することも可能
である。
各セグメントの編集を容易にするために本システムはその時点で対象になって
いるセグメントの始点と終点を分けて表示する。これにより編集者は編集したい
境界点を選ぶことができる。その境界点の位置は時間軸上で移動させることが出
来る。一つのセグメントの終点は次のセグメントの始点に密接な関係があるので
、編集者は境界点の移動が隣接するセグメントの始点あるいは終点の移動を自動
的に合わせて行うようにすることが出来る。これらの両点の密接な関係の例とし
ては両点間の距離を一定に保つこと(距離をゼロに保つということはセグメント
の終点が隣接するセグメントの始点に当たることを意味する)、あるいは両点が
少なくとも定められた距離以上を保つようにすること(セグメント間の重なり合
いを防ぐため)などがある。
一般的な編集システムでは一定の区間(タイムインターバル)を選択し、リプレ
イすることができる。SASはセグメントベースの編集にこの機能を採用しその時
点で対象になっているセグメントをリプレイできるようにしている。しかし、長
いセグメントの境界点を決めるために、セグメント全体をリプレイするのは不便
なため、SASは最大リプレイ時間(DT)を設定することができる。これはスクリ
ーンでは“delta”と記されている。たとえば始点Tsが修正されたとするとリプ
レイインターバルはTsの値にかかわらず常にTsから(Ts+DT)ということになる。
終点のTeが修正されたとするとリプレイイ
ンターバルはTeの値にかかわらず常に(Te−DT)からTeまでということになる。
境界点は文字数字あるいはグラフィックインターフェイスを用いて編集すること
ができる。
SASは単にテキストトラックをモーションビデオやサウンドトラックに同期さ
せるためにも使用できる。編集者はテキストフィールドに文字を入れ、そのテキ
ストの一部をあるセグメントに割り当てることができる。同様に、テキストトラ
ックの一部を選択し、ユーザ(あるいはイベント)に対して用意された選択肢に
関連づけことができる。
SASは各セグメントやイベントに関連する付随のリソースの認識もサポートす
る。付随のリソースとは不連続あるいは連続のメディアトラック、例えばアイコ
ン、静止イメージ、オーディオ、モーションビデオトラック、セグメントやイベ
ントに関しての情報へのハイパーテキストリンクなどである。これらのリソース
は独立していることも、あらかじめ決められたシーケンスを持っていることも、
あるいはセグメント(イベントが属しているセグメント)の始点・終点間のある時
点につながっていることもありえる。ここに記述されているインターフェイス各
種はタイムポイントとタイムインターバルの指定する作業を容易にするために作
られている。
図12にみられるようにSASのアウトプットはイベント、セグメントテーブル
より成る。セグメントテーブルはセグメントの属性からなり、時間軸にそった各
セグメントの境界、テキストトラックの中での部分テキストの位置、そのセグメ
ントに関連する付随リソースの情報などが表示される。イベントテーブルはイベ
ントの属性からなり、イベントが属するセグメント、テキストトラッ
クの中での部分テキストの位置、および各イベントに関連する付随のリソースの
情報などが表示されている。
4.1 マルチメデイアビデオゲーム
本発明を適用した実装例としてミュージックビデオゲームをあげる。ミュージ
ックビデオゲームはマルチメディアプレゼンテーションとしてミュージックビデ
オを使い、歌の歌詞を使ったゲームとあわせているものである。このゲームは読
解力の促進、外国語教育、音楽ファンとしての楽しみなど多様な使用用途がある
。
図5から図7bに示したようにミュージックビデオゲームは以下のディスプレ
イシーケンスとユーザフィードバックを使ってプレイする。
ミュージックビデオはモーションビデオトラック、オーディオトラックを持ち
、歌詞を表示するテキストトラックを伴う。図5において、スクリーンは5つの
エリアに分かれている。
ビデオウインドウ
歌詞フィールド
ゲームエリア
タイトル
操作ツールバー
図6はミュージックビデオゲームプレイ中のコンピュータモニタのスナップシ
ョットである。
タイトルエリアは歌名と歌手が表示され、操作ツールバーには“エクスプロー
ラ”モードと“ゲーム”モードの選択ボタン、スタートボタン、終了ボタンが表
示される。
ビデオウインドウはミュージックビデオを表示し、歌
の音声、歌詞と同期している。ミュージックビデオは歌のフレーズに対応したタ
イムセグメントに分割されている。歌が演奏されている間、歌詞フィールドのな
かのそれに対応するフレーズがハイライトされ、ハイライトされた部分が常に見
えるように自動的にスクロールされる。ミュージックビデオのセグメント分割は
ビデオウインドウの下に“セグメントバー”としても視覚化される。バーはタイ
ムセグメントのシーケンスを表す小さなセクションに細分化されている。ミュー
ジックビデオが演奏されている間、それに対応するバーの部分がハイライトされ
る。
図3aにあるようにユーザは“エクスプローラ”モードと“ゲーム”モードを
切り替えることができる。“エクスプローラ”モード(図7a)ではビデオウイ
ンドウ内部を一回クリックするとミュージックビデオがプレイされ、もう一度ク
リックするとポーズになり、さらにもう一回クリックするとプレイが再開される
。この方法ではミュージックビデオのすべてのセグメントがオリジナルの順番で
再生される。歌詞フィールドのなかでフレーズをクリックするとそのフレーズが
ハイライトされ、正しいイントネーションで発音され、次にそれに対応するビデ
オセグメントが再生される。またセグメントバーのなかのセグメントもクリック
することができ、選択されたセグメントからビデオを開始することができる。い
ずれの選択方法においても再生中のビデオは一時的に停止される。このような簡
易な操作によりユーザはセグメントの繰り返し再生、前後のセグメントへの移動
、任意のセグメントの選択が可能になる。
“ゲーム”モードに変えるとゲームエリアにはスコアフィールドとユーザによ
って選択可能なタイルのセット
が現れる。ゲームの形式はいわゆる“穴埋め”である。タイルには歌詞から抜き
出された言葉が書かれている。歌詞フィールドにはタイルに書かれている言葉が
抜かれておりそこには点線が代わりに表示されている。ユーザのゴールは歌詞フ
ィールドで抜けている言葉をできるだけ多く埋め込むことである。図7bに見ら
れるように、ゲームプログラムはプレゼンテーションのタイムセグメントの全シ
ーケンスを再生し、再生中は歌詞フィールドの歌詞の部分とセグメントバーのセ
グメントの部分をハイライトする。タイルの一つをクリックすると(“ゲーム”
モードにおいてのみできるインターアクション)ユーザは歌詞のなかにそのタイ
ルにかかれた言葉を埋め込んでいると判断され、評価があたえられる。ユーザが
歌詞に当てはまる言葉の選択が出来るのはそのセグメントが演奏されているとき
に限られる。その間にユーザが正しい言葉を選択できればスコアがあがり、歌詞
フィールドの点線の部分がその言葉に置き換わり、タイルがゲームエリアから消
える。ユーザが間違ったタイルを選択した場合はスコアが下がる。タイルが消え
ていくにしたがってそのタイルエリアの下に隠されている歌手の写真が見えてく
るようになっている。
4.2 カラオケゲーム
マルチメディアゲームのもう一つの実装例は“カラオケ”ゲームである。この
ゲームではマイク、サウンドレコーディングカードなどの録音のハードウエアを
使用する。ミュージックビデオゲームと同様に、カラオケゲームはマルチメディ
アプレゼンテーションとしてミュージックビデオを用いる。この場合、プレゼン
テーションは
モーションビデオトラック(ミュージックビデオ)、伴奏のサウンドトラック、歌
手の歌のサウンドトラック、歌詞のテキストトラックを持ち、これら全ては同期
している。
“エクスプローラ”モードでは歌は図3a、3bのように演奏される。すべて
のトラックは同時にプレイされる。
図8a、8b、8cで示すようにカラオケゲームの“ゲーム”モードでは、プ
レゼンテーションの最後にあるフィードバックの段階になるまで評価がくだされ
ない。プレゼンテーションは歌手の歌のトラックをつけてもつけなくても演奏で
きる。プレゼンテーションのすべてのセグメントが順次プレイされている間、カ
ラオケゲームではユーザの歌を録音する。この録音過程で新たに“ユーザボイス
”のトラックが作られる。このトラックの開始地点は明確なので、このトラック
は他のトラックと同期がとられ、最終的にはユーザボイスのトラックは他のトラ
ックと同様のタイムセグメントに分割される。また、ユーザはユーザボイストラ
ックをタイムセグメントごとに録音することもできる。
タイムセグメントが記録された後、カラオケゲームはフィードバックの段階に
はいる(図8b、8c)。この段階でユーザボイストラックはオリジナルの歌手の
音声、あるいはネイティブによる音声のトラックなどといった他のメディアトラ
ックと比較される。あらゆる組み合わせのサウンドトラックを同時に再生するこ
とが可能である。また図8bにあるように各タイムセグメントごとに任意のトラ
ックシーケンスをプレイすることもできる(例えば、正しいイントネーションに
よるボイストラックのあとに同タイムセグメントのユーザののボイストラッ
クをプレイし、以降のタイムセグメントでも同じようにプレイする)。
フィードバックの段階ではユーザボイスが評価され、スコアの追加などのフィ
ードバックが与えられる。
4.3 リモートムービーゲーム
マルチメディアゲームは個々のコンピュータに搭載されている必要はなく、離
れた場所(例えば、ケーブルテレビ配信所、ムービーストアなど)に置かれていて
も、モデムあるいはデータ通信網により各コンピュータにデータ転送(ダウンロ
ード)することができる。その際“エクスプローラモード”は取り外すこともで
きる。そういったゲームの例のコントロールの流れが図9aと9bに示されてい
る。“リモートムービーゲーム”が始まる前に、そのムービーの全てのトラック
(プレゼンテーション)が個々のコンピュータに転送される。それらには、せり
ふの文字、タイムセグメントの始点終点情報、ユーザに与えられる選択肢、選択
肢にあわせたフィードバック、時にはゲームそのものなどが含まれる。
その後、図9bにあるようにゲームが進行する。図9bのダイアグラムは一度
に表示する文字数が比較的少ないマルチメディアゲームの例の一つである。これ
はモニタのほとんどのエリアが映画を映し出すのに必要なときに使うことができ
る。映画の字幕のような雰囲気を出すように文字はビデオ画像のうえにスーパー
インポーズすることができる。このような方式はSEGATMや任天堂TMのファミコン
のようなゲーム機やインターアクティブテレビなど、多くの文字数を表示できな
いテレビのモニタなどを使用する環境に適している。
図10にあるように、ひとつのタイムセグメントが開始されたときそのセグメ
ントに対応するセリフ(通常は1行か2行)がスクリーンに映し出される。そして
選択肢が一つずつユーザに表示される。穴埋めゲームにおいては(4.1参照)選
択肢はセリフに埋め込まれる。選択肢とセリフの部分は色で識別できるようにす
る事が出来る。図9bにあるように一つのタイムセグメントにある各選択肢は全
て同じ時間だけ表示される(対応するタイムセグメントの時間÷選択肢の数)。こ
のタイプのゲームにおけるもうひとつの特徴は、一つのタイプのインプットだけ
でよいことである。一回にひとつの選択肢が表示されるのでユーザがなにをイン
プットしてもそれはその選択肢を選んだと解釈される。またゲームプレイヤーの
ボタンやテレビのリモコンなどのボタンをインプットとして押すようにデザイン
することもできる。ユーザの選んだ項目は評価され、スコアに反映される。
さらに汎用的なゲームにおいては各選択肢の表示時間を個々に設定することも
できる。その場合、個々の表示時間は新たなタイムセグメントを形成し、それは
3.3で述べたオーサリングシステムによって設定することができる。
4.4 ミュージックビデオオーサリングシステム
ミュージックビデオゲーム用のsegmentation authoring system(SAS)について
は図11に示したように以下の5つのモジュールがある。
1)セグメントの管理
2)境界点の編集
3)選択肢の管理
4)テキストトラックの編集
5)プレゼンテーションの詳細設定
図12はコンピュータモニタに表示されるSASの実際の一部をスナップショッ
トにしたものである。スクリーンは以下の5つのエリアにわかれている。
セグメントテーブル
セグメント詳細設定
イベントテーブル
テキストトラックエリア
全体像設定
SASのスクリーン左上はセグメント群を管理するテーブルがあり、セグメント
の選択、追加、消去、リソースあるいはテキストのリンクができる。テーブルの
第一列目にその時点で選択されているセグメントに印がつき、二列目は各セグメ
ントの番号、三列目には各セグメントの始点と終点のカウンターが書かれている
。四列目はセグメントにリンクされたテキストトラック内の文字番号、五列目は
リンクされているリソースの名称(この例ではセグメントのテキストの正しいイ
ントネーションでの発音に相当する言葉)が書かれている。
スクリーン右中部には境界点を編集できる部分があり、その時点で編集されて
いる境界の始点あるいは終点の選択、境界点の時間軸座標の増加や減少、リプレ
イの長さ、デルタタイム、デルタタイムのタイプなどの設定、プレゼンテーショ
ンのリプレイなどができる。
リプレイエリアはスクリーン上方で、セグメントのプレイ、ポーズ、1フレー
ム戻し、送りなどができるボタンのアイコンが表示されている。
リプレイエリアの下には以下の6つのコントロール部分がある。
1)最上部:対象セグメントに重要とされるポイントが時間軸のうえに視覚的に
表現されている。
2,3)下部左の二つの部分ではセグメントの始点と終点が示され、それを変更
するボタンもある。
4)下部中央の部分は境界点の変更がどのように隣接するセグメントに影響を与
えるかの情報である。
5)4)の右隣はセグメントがプレイされる部分の長さを決定する。
6)下部右部分はグラフィック表示部のスクロールやスケールを変える。
最上部の枠にあるグラフィック表示部は時間軸上の対象セグメントと隣り合う
セグメントの相対的な関係を表わしている。図13aは対象セグメントの始点を
編集している様子を示している(つまり、その始点かその時点の境界点である)。
そのセグメントに隣接しているセグメントは薄いグレーの四角形で表わされ、そ
の始点と終点は中抜きの三角アイコンで表わされている。対象となっているセグ
メントを表わす四角形はやや濃いめのグレーで、その始点と終点は黒い三角アイ
コンで表わされている。最も濃いグレーの部分は対象のセグメントでプレイされ
る部分、つまりリプレイの長さを表わしている。その終点(リプレイリミット)
は二重の中抜き三角アイコンによって表わされる。
終点を編集するときは隣接するセグメントは対象となっているセグメントの右
側になっている。ここではリプレイの部分はリプレイリミットから始まりセグメ
ントの終点が同時にリプレイの終点となる(図13b参照)。この図では対象セグ
メントの終点から次のセグメントの始点までに空白がある。この“デルタ”距離
は時間軸のグレー部分で表示される。
図14はセグメント詳細設定エリアの下部を示す図である。右上部二つの部分
は“start”“end”と書かれた“ラジオ”ボタンがあり、どちらか一方がハイラ
イトされている。これはどちらの部分を選んでいるか(つまり、どちらの境界点
をその時点で編集するか)を決定する。そのすぐ下の部分はセグメントの始点と
終点の時間軸のポイントが1000分の一秒単位でかかれている。“ラジオ”ボ
タンで選択されている方に"++"、"+"、”- -“、”-“の表示があらわれている
。これにより境界点の位置を増加("++"、"+")あるいは減少(”- -“、”-“
)することができる。”++”、”- -“は増加減少幅が大きく、"+"、”-“は少
ない。
“adjacent point”と書いてある部分ではその時点で選ばれているセグメント
の境界点の変更がどう隣接点に影響を与えるかということを決定することができ
る。編集している境界点が始点の場合、隣接点はその前のセグメントの終点との
接点であり、同様に編集点が終点の場合隣接点は次のセグメントの始点である。
この部分には“const”“at least”“at most”と書かれたラジオボタンがあり
、どのボタンにも印がついていない場合は境界点の編集は隣接するセグメントに
影響を与えていないということを表している。どれか一つに印がついている場合
はそのボタンの右となりに数値入力ボックスが現れる。ここで作製者は“デルタ
”タイム(編集中のセグメントから次のセグメントまでの時間的距離)を指定する
ことができる(1000分の1秒単位)。“const”が選ばれていればデルタタイ
ムは常に一定値で境界点の変更はすべて隣接セグメントに同様影響がある。たと
えばデルタタイムがゼロのとき編集中の境界点と隣接する点は常に同じ値である
。“at least”の場合、SASはデルタタイムを少な
くとも指定された分だけにしておく。これは編集後にセグメント間の距離が増加
しても(デルタタイムを超えても)隣接セグメントには変化があらわれないことを
意味している。もしセグメント間の距離が縮まればSASはデルタタイムを保つ為
に隣接点を変化させる。この設定はセグメント間がオーバーラップしないように
するときに役立つ。同様に“at most”の場合、隣接点は編集中の境界点からデ
ルタタイムより遠くなることはない。
“replay”と表示されている部分では“リプレイタイム幅”(セグメントがプ
レイされる部分)を減少させることができ、二つのボタンで操作する。“segment
”がハイライトされていたら全てのセグメントがプレイボタンを押したときにプ
レイされる。“delta”がハイライトされているとリプレイする長さを秒単位で
指定することができる。これにより編集中の点(始点あるいは終点から)指定さ
れた時間だけプレイすることができる。“from/to”のときはプレイする時間軸
のポイントを1000分の1秒単位で決めることができる。ただし時間幅の長さ
は編集時点のポイントから境界点までにかぎられている。
右端の部分はグラフィック表示部のディスプレイを“scroll”、“zoom”で変
える。“scroll”内の数字は時間軸左のポイントを表し、数字の左右の矢印で数
字を変えることができる。“zoom”の数字はスクリーンのピクセルの数と100
0分の一秒単位の間における拡大縮小率である。数字は1/1、1/5、1/10、1/25、
1/50、1/100、1/250、1/500、1/1000といったものであり、これを変えるには矢
印を使う。
イベントテーブルは選択肢(あるいはイベント)のセットを管理するのに用いら
れる。選択肢の追加、消去、対象となる選択肢の選択、選択肢への数値、フィー
ドバッ
ク、テキストなどのリンクができる。テーブルにある5列によってセグメントと
の関係、選択肢間のテキストトラックのインターバルなどが表されている。一番
左の列にはその時点で選んでいる選択肢に印がつき、各選択肢は一つのセグメン
トの範囲になければならなく、セグメント番号が2列目に書かれている。3列目
、4列目は選択肢にリンクしているテキストトラックのポイントの範囲(選択肢
の文字列の最初と最後の部分)とそのテキストが現れる。右端の列は選択肢にリ
ンクされているリソース(ゲームエリアで表示されるラベルなど)が表示される
。
スクリーン右下はテキストトラックを編集するエリアである。ここではテキス
トが選択でき、標準の文字編集操作(書き込み、カット、コピー、貼り付けなど)
でテキストの編集ができる。テキストトラックの左側には同期するテキストが完
全な形で表示され、点線によっておきかえられる場所と比較できるようになって
いる。
スクリーンの最下段にはマルチメディアプレゼンテーションの全体的な属性を
決定するモジュールの為に使われる。その中にはプレゼンテーションのファイル
名、その長さ(1000分の1秒単位)、オーディオトラックのボリュームが表示
されている。
オーサによるSASの操作方法について、以下説明する。
セグメントテーブルの任意の行をクリックするとそこが編集対象のセグメント
になる(セグメントに印がつけられ、テキストトラックエリアの文字列がハイラ
イトされ、セグメント詳細設定エリア内に始点と終点が記入される)。同様に、
イベントテーブルの任意の行をクリックするとそこが編集対象の選択肢となる(
印がつけられ、
テキストエリアの文字列がハイライトされる)。編集対象の選択肢を変えると編
集対象セグメントも変わり、選ばれている選択肢と選ばれているセグメントが常
に対応するようになっている。
テキストトラック内の台詞、あるいは歌詞の部分のテキストは編集することが
可能である。SASは自動的にセグメントとイベントテーブルの文字列番号を更新
する。例えば、新たな文字列がタイプされるかペーストされるとそれ以降の全て
の文字列番号は順次増え、文字列が消されれば減る。また文字列の消去は選択肢
、セグメント自体を消すこともある。
“Author”メニューはセグメントとイベントテーブルを編集するコマンドを持
つ(図15参照)。“セグメント初期化”コマンドはテーブル全体を初期化する(
全てのセグメントを消去する)。“新規セグメント作成”は新たにセグメントを
現在編集対象となっているセグメントの始点あるいは終点に挿入する。その際新
たなセグメントの始点と終点はどちらも挿入された場所(始点或いは終点)と等
しくなる。“セグメント消去”は選択されたセグメントを消去し、その次にある
セグメント(消去したセグメントが最後のものだった場合は前にあるセグメント
)が対象セグメントになる。“セグメント更新”はテキストフィールドにおける
その時点で選んでいるところの始点終点をそのセグメントの属性として、セグメ
ントテーブルの属性情報を更新する。
“Author”メニューの“イベント初期化”はテーブル全体を初期化する(すべ
ての選択を消去する)。“イベント消去”はその時点で選択されているイベント
を消去し、その次のあるいは前のイベント(消去したものが最後のイベントの場
合)を対象イベントとする。“新規イベント作
成”ではテーブルのリストの最後に新たにイベントを付け加える。“イベント更
新”はその時点で選ばれ(いるテキストトラック内のセレクションと選ばれてい
るイベントをリンクする。これにより選択されている文字列の始点と終点の番号
が更新され、その順番によってはテーブルが番号順に並べ替えられる。“リンク
”は対象となっているセグメントに結びついている選択肢をリンクするもう一つ
の方法である。
以上の編集作業のコマンドで変えられたものはすべて“元に戻す”で取り消す
ことができる。SASでは製作者の編集作業がテーブルの一貫性を保たない場合は
常に警告を発する(例えば、更新されたところのテキストインターバルがセグメ
ントの境界点とオーバーラップしていたり、更新したセグメントのテキストイン
ターバルの順序がくるっていたりする場合はなど)。“チェック”によってこの
ようなエラーをチェックすることができる。
セグメント詳細設定エリアでのグラフィックな表示を用いても編集パラメータを
修正することができる。境界点のアイコンをドラッグするとその場所が変わる。
リプレイ時間は一定でなけらばならないので、この作業は“リプレイリミット”
アイコンの場所も変更することになる。さらに、隣接点指定パネルのどのボタン
が選ばれているかによって、隣接点の数値も変わってくる。“リプレイリミット
”のアイコンをドラッグすると“リプレイ”指定パネルで選ばれているボタンの
フィールドの値が変化する。隣接点のアイコンをドラッグすると“Adjacent poi
nt”指定パネルの“デルタ”時間の値が変化する。
グラフィックエリアのアイコンへの変更はセグメント詳細設定エリアの関連した
部分に即座に反映される。同様
にその他のエリアにおける値の変化はグラフィックエリアのアイコンの位置に即
座に反映される。
5. 応用性、拡張性
本発明はデータの記録、作成、再生に使用されたフォーマットに依存していな
いので、将来新しい規格の器材にも対応することができる。トラックはデジタル
ではなくアナログで蓄積することもでき、どの圧縮方法も使用することができる
。さらに、そういったトラックはデジタイズしたデータやアナログデータを使わ
ず、直接ソフトウエアを使用して作成することもできる。オーディオトラックは
録音することも作成することもできる(例えば、音声合成システムを使用して)。
テキストトラックも打ち込むことも生成することも出来る(例えば、自動翻訳シ
ステムなどを使って)。プレゼンテーションのどのトラックも遠隔操作で作成で
き、あらゆる通信手段において転送することが可能である。モーションイメージ
のトラックは、3次元ホログラムなどあらゆる連続的でタイムベースの視覚的プ
レゼンテーションも含み、それらは生成することも出来る(バーチャルリアリテ
ィシステムなどを使って)。
マルチメディアゲームはプレゼンテーションのタイムセグメントを必ずしもオリ
ジナルの順番で再生する必要はない。例えば、プレゼンテーションのタイムセグ
メントを無作為に表示し、正しい順序に並べ替えさせるといった“順序決定ゲー
ム”というものもある。マルチメディアゲームの評価は非同期にすることもでき
る。ユーザとのインターアクションは記録され、後に評価されることもでき、た
とえばこの方法で教師が生徒にフィードバッ
クをまとめて後に与えるといったことも可能になる。マルチメディアプレゼンテ
ーションのトラックにはユーザの神経信号を刺激、分析したり、匂い、味、触感
といった感覚のインプット、アウトプットを行うものもある。このことはユーザ
の選択肢の表示や選択を扱う評価ツールにおいても可能である。さらに、手書き
文字の認識などによりユーザのインプットを手書きにすることもできる。プレゼ
ンテーションおよびタイムセグメントは他の様々なリソースに結び付ける事が出
来る。例えばテキストトラックをクリックすることにより辞書、同義語辞典、百
科事典、図書目録などを引き出したり、リモートオンラインサービスにつないで
検索を行い結果を表示するといったことも可能である。本発明は選択肢や評価の
フィードバックの表示方式からも独立している。選択肢やフィードバックはたと
えばクロスワードパズルあるいはモノポリーTMといったゲーム版のなかに組み込
むことができる。このようなアウトプット方法の拡張によりユーザの選択の評価
値を効果的にフィードバックできる。評価は発音パターンとの違いを視覚的に表
示したり舌の位置、空気の流れなどスピーチを作りあげる過程を表示したりユー
ザの声紋をもとに発音を矯正するといったフィードバックにすることが可能であ
る。タスクの難易度は評価モードにおいてマルチメディアプレゼンテーションの
スピードを調整することによって変えることができる(例えば、サウンドトラッ
クを小さくしたり、テキストトラックを隠したり、他の言語の翻訳をのせたりす
る)。また、システムとユーザとの対話の記録をリアルタイムにプレゼンテーシ
ョンや評価時の選択肢のプレゼンテーションで使用することもできる。
【手続補正書】特許法第184条の8第1項
【提出日】1997年11月6日(1997.11.6)
【補正内容】
特許請求の範囲
1. 所定の時間軸のタイムアドレスポイントに従って同期が取られる少なくと
も一つのビデオトラックを有する複数の記録されたメデイアトラックから構成さ
れるマルチメデイアプレゼンテーションと、ゲームプレーヤユニット上でプログ
ラムされたゲームシーケンスをプレイするためのゲームプログラムとを有し、ゲ
ームプレーヤユニットは、マルチメデイアプレゼンテーションの入力を受領する
インプットと、ゲームプレーヤユニットにユーザインプットを受領するユーザイ
ンプット手段と、そして、マルチメデイアプレゼンテーションのビデオ画像をユ
ーザインプットと共にゲームプレーヤユニットにデイスプレイするためのアウト
プットとを含んでなるマルチメデイアゲームプレーイングシステムにおいて、
該マルチメデイアプレゼンテーションの該ビデオトラックは、複数のプレゼン
テーションセグメントに分割され、当該プレゼンテーションセグメントは、個々
の始点および終点タイムアドレスポイントを、該所定の時間軸に関して有し、
該ゲームプログラムは、複数のゲームシーケンスサブユニットを含み、当該ゲ
ームシーケンスサブユニットの各々は、該ビデオトラックプレゼンテーションセ
グメントの個々のものの該始点および終点タイムアドレスポイントに操作的にリ
ンクされ、
該ゲームシーケンスサブユニットの各々はゲームチョイスを含み、当該ゲーム
チョイスは、個々の該ビデオトラックプレゼンテーションセグメントの該始点お
よび終点タイムアドレスポイントによって限定される或る時間期間の間、当該個
々のビデオトラックプレゼンテーションセグメントのデイスプレイと共にデイス
プレイされ、そして、
該ゲームプログラムは、プレイモードで作動して、該マルチメデイアプレゼン
テーションの該ビデオトラックの該プレゼンテーショ
ンセグメントを順々にプレイし、そして、それにリンクさせた該個々のゲームシ
ーケンスサブユニットの該ゲームチョイスをデイスプレイし、そして、順々にプ
レイされるマルチメデイアプレゼンテーションセグメントのプレイ中の期間のい
つの時点においてもユーザインプットを受領した時、該ゲームプログラムは、該
ユーザインプットが受領されている時間期間プレイされる対応プレゼンテーショ
ンセグメントにリンクする各々のゲームシーケンスサブユニットに対しゲームチ
ョイスとして該ユーザインプットを実行するようにしてなるマルチメデイアゲー
ムプレーイングシステム。
2. 所定の時間軸のタイムアドレスポイントに従って同期が取られる少なくと
も一つのビデオトラックを有する複数の記録されたメデイアトラックから構成さ
れるマルチメデイアプレゼンテーションを提供するマルチメデイアプレゼンテー
ション提供工程と;
ゲームプレーヤユニット上でプレイされるようになされたゲームプログラムで
あって、該ゲームプログラムは、ゲームプレーヤユニットにユーザインプットと
共にマルチメデイアプレゼンテーションのビデオトラックのビデオ画像をディス
プレイするためのゲームシーケンスサブユニットを有するゲームプログラムを提
供する工程と、該マルチメデイアプレゼンテーションの少なくとも該ビデオトラ
ックを、各々が該所定の時間軸に関して個々の始点および終点タイムアドレスポ
イントを有する複数のプレゼンテーションセグメントに分割する分割工程と、該
ゲームプログラムの複数のゲームシーケンスサブユニットの各々を、該ビデオト
ラックプレゼンテーションセグメントの個々のものの始点および終点タイムアド
レスポイントにリンクさせるリンク工程と、
個々の該ビデオトラックプレゼンテーションセグメントの該始点および終点タ
イムアドレスポイントによって限定される或る時間期間の間、当該個々にリンク
されたビデオトラックプレゼンテーションセグメントのデイスプレイと共に、該
ゲームシーケンスサブユニ
ットの個々の1つと一緒にストアされたゲームチョイスをデイスプレイするデイ
スプレイ工程と、そして、
該プレゼンテーションセグメントの期間のいつの時点においても、該プレゼン
テーションセグメントにリンクされた個々のゲームシーケンスサブユニットに対
するゲームチョイスの選択としてユーザインプットを受領し、且つ、ゲームチョ
イスの該ユーザインプット選択に従って該ゲームシーケンスサブユニットにより
決定されるゲームシーケンスアウトプットを提供する工程と、
を備えて構成されてなるインタラクテイブマルチメデイアゲームのプレイ方法
。
3.所定の時間軸のタイムアドレスポイントに従って同期が取られる少なくとも
一つのビデオトラックを有する複数の記録されたメデイアトラックから構成され
るマルチメデイアプレゼンテーションを記録するマルチメデイアプレゼンテーシ
ョン記録工程と;
記録されたマルチメデイアプレゼンテーションの再生と共にゲームプレーヤユ
ニット上でプレイされるようになされたゲームプログラムであって、該ゲームプ
ログラムは、ゲームプレーヤユニットに入力されたユーザインプットを受領する
ためのユーザインプット手段と、
マルチメデイアプレゼンテーションの再生と共にゲームシーケンス画像をディ
スプレイするためのゲームシーケンスディスプレイ手段と、そして、ユーザイン
プットに応答してゲームシーケンスアウトプットを提供するゲームシーケンスア
ウトプット手段とを有してなるゲームプログラム提供工程と、
マルチメデイアプレゼンテーションの該ビデオトラックを、各々が所定の時間
軸に関して個々の始点および終点タイムアドレスポイントを有する複数のプレゼ
ンテーションセグメントに分割する分割工程と、
該ゲームプログラムの複数のゲームシーケンスサブユニットを、
該ビデオトラックプレゼンテーションセグメントの個々のものの始点および終点
タイムアドレスポイントにリンクさせるように定義する定義工程と、
個々のビデオトラックプレゼンテーションセグメントの始点および終点タイム
アドレスポイントによって限定される或る時間期間の間、個々にリンクされたビ
デオトラックプレゼンテーションセグメントのデイスプレイと共にデイスプレイ
されるべきゲームシーケンスサブユニットの個々の1つに対しゲームチョイスを
定義するゲームチョイス定義工程と、そして、
個々のマルチメデイアプレゼンテーションセグメントの期間のいつの時点にお
いてもユーザインプットによって受領されたゲームチョイスに従って、該ゲーム
シーケンスサブユニットの各々に対しゲームシーケンスアウトプットを定義する
ゲームシーケンスアウトプット定義工程と、
を備えて構成されてなるゲームプレイヤユニット上でインタラクテイブマルチ
メデイアゲームをプレイするためのオーサリング方法。
4. 該ゲームプレイヤーユニットは、コンピユータ端末であり、該マルチメデ
イアプレゼンテーションは、該マルチメデイアプレゼンテーションを、デジタル
フオーマット形式か、又はデジタルコンバータを介して提供するCD-ROMユニット
、磁気デイスク記憶ユニット、レーザデイスクユニット及びオーデイオ/ビデオ
インプット装置を含むグループの一つ又はそれ以上の装置を介して、該コンピユ
ータ端末にインプットされるものである請求項1、2又は3に記載のマルチメデ
イアゲームプレーイングインベンション。
5. 該マルチメデイアプレゼンテーションは、所定の時間軸に関して同期させ
られるビデオモーショントラック、オーデイオトラック及びテキストトラックを
含む請求項1、2又は3に記載のマルチメデイアゲームプレーイングインベンシ
ョン。
6. 該ゲームプログラムの該ゲームシーケンスサブユニットは、
該ビデオデイスプレイスクリーン上でのゲームチョイスに関するユーザ選択に応
答してデイスプレイさせられる価値判断、応答あるいは得点等のユーザフイード
バックを含む請求項1、2又は3に記載のマルチメデイアゲームプレーイングイ
ンベンション。
7. 該マルチメデイアプレゼンテーションは、ミュージックビデオプレゼンテ
ーションであり、当該ミュージックビデオプレゼンテーションは、同期させられ
るモーションビデオトラックと、ミユージックオーデイオトラックと、そして歌
詞的なテキストトラックとを有し、該タイムセグメントは、歌の尺度であり、そ
して該ゲームシーケンスサブユニットは、許可手段を含み、当該許可手段は、該
歌詞に関する該ユーザチョイスのインプットを、該歌の各尺度に対して許可し、
該ユーザチョイスのインプットは、該モーションビデオトラックのデイスプレイ
と連携すると共に、該歌のための該ミユージックオーデイオトラックのオーデイ
オ演奏とも連携して行われ、そして該許可手段は、該歌詞的なテキストトラック
と、該歌詞の該ユーザのチョイスとの比較によって、フイードバックを提供する
請求項1、2又は3に記載のマルチメデイアゲームプレーイングインベンション
。
8. 該マルチメデイアプレゼンテーションは、カラオケプレゼンテーションで
あり、当該カラオケプレゼンテーションは、同期させられるモーションビデオト
ラックと、ミユージックオーデイオトラックと、そして歌詞トラックとを有し、
該タイムセグメントは、歌の尺度であり、そして該ゲームシーケンスサブユニッ
トは、インプツト手段を含み、当該インプット手段は、ユーザボイスオーデイオ
トラックをインプツトするための手段であり、当該インプットは、該モーション
ビデオトラックのデイスプレイと連携すると共に、該歌のための該ミユージック
オーデイオトラックのオーデイオ演奏とも連携して行われ、そして該インプット
手段は、該ミユージックオーデイオトラックと、該ユーザのボイスオーデイオト
ラックとの比
較によって、フイードバックを提供するための手段である請求項1、2又は3に
記載のマルチメデイアゲームプレーイングインベンション。
9. 該マルチメデイアプレゼンテーションは、ムービープレゼンテーションで
あり、当該ムービープレゼンテーションは、同期させられるモーションヒデオト
ラックと、サウンドオーデイオトラックと、そしてダイアログテキストトラック
とを有し、該タイムセグメントは、ダイアログシーケンスユニットであり、そし
て該ゲームシーケンスサブユニットは、インプット手段を含み、当該インプット
手段は、該ダイアログテキストに対するユーザチョイスをインプットするための
手段であり、且つ、該ダイアログテキストトラックと、該ダイアログテキストの
ユーザのチョイスとの比較によって、フイードバックを提供するための手段であ
る請求項1、2又は3に記載のマルチメデイアゲームプレーイングインベンショ
ン。
10. 該マルチメデイアプレゼンテーションは、リモートムービープレゼンテ
ーションであり、そして該マルチメデイアゲームプレーイングシステムは更に、
レシーバーユニットを含み、当該レシーバーユニットは、該ムービープレゼンテ
ーションを、離れた所から受領して、それを該ゲームプレイヤーユニットにダウ
ンロードするためのユニットである請求項1、2又は3に記載のマルチメデイア
ゲームプレーイングインベンション。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FI,FR,GB,GR,IE,IT,L
U,MC,NL,PT,SE),OA(BF,BJ,CF
,CG,CI,CM,GA,GN,ML,MR,NE,
SN,TD,TG),AP(KE,LS,MW,SD,S
Z,UG),AM,AT,AU,BB,BG,BR,B
Y,CA,CH,CN,CZ,DE,DK,EE,ES
,FI,GB,GE,HU,JP,KE,KG,KP,
KR,KZ,LK,LR,LT,LU,LV,MD,M
G,MN,MW,MX,NO,NZ,PL,PT,RO
,RU,SD,SE,SG,SI,SK,TJ,TT,
UA,US,UZ,VN
【要約の続き】
り、外国語を教えるのに使うことができる。またこのコ
ンセプトに基づけば生徒の動機をうながすようなテスト
が様々な学科においても作ることができる。本マルチメ
ディアゲームは現在生まれつつある教育とエンターテイ
メントを結び付ける“edutainment”(education+entert
ainment)産業の製品の基本となるものである。