JP2008016031A - インターアクティブ式映像再生システムとその方法 - Google Patents

Abstract

【課題】 ユーザーが映像の再生を制御できるインターアクティブ式映像システムと、構成が簡易で、コストの低いインターアクティブ式映像再生システムを提供する。
【解決手段】 システムに複数の記号を設定して段落を区切った映像データを導入し、
カーソルを該映像データに設定した記号の一に置き、作動信号が発生して該カーソルを目下の位置から該映像データの終了する方向に移動させ、該カーソルの移動の過程において、該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、該カーソルが該記号一つ分の第１数量だけ移動して次の記号に至ると該カーソルの移動と該映像データの再生を中止して該作動信号の発生を待つ状態に戻り、該カーソルが移動する過程において作動信号が発生した場合は、該カーソルを次の記号の位置にジャンプさせて、次の記号の位置から該カーソルの移動と対応する映像データを再生するステップを繰り返し実行する。
【選択図】 図１

Description

この発明は映像再生技術に関し、特にユーザーが感知装置を利用して映像の再生を制御できるインターアクティブ式の映像再生システムと、その方法に関する。

従来のインターアクティブ式の画像表示方法は、ユーザーが制御信号を入力して動画の表示を制御するものであって、即ち、ユーザーの入力する信号に基き、トラック、光と影、全体的な空間等について複雑な演算を行い、画像の表示を制御する機能を達成する。係る技術によれば、動画を表示する場合、ユーザーが動画に表示されるキャラクターなどの動作の発生率、進む方向、及びその力の入れ具合などを自在に制御して表示することができる。

上述する方法は、例えばポリゴンなどのコンピュータグラフィックス技術を応用した動画を表示する場合の制御に適するが、但し、ビデオカメラで撮影された映像の再生を制御する場合は、上述する方法のように自在に制御することが難しい。しかしながら、かかる映像によって表現される臨場感は、目下のコンピュータグラフィックス技術による表現とは比してはるかに優れている。

また、動画を発生させるためには、演算を行う高価な設備とソフトウエアを必要とする。この点も欠点の一ということができる。

アメリカ合衆国特許第６４２８４４９号公報には、動作と音声によってコマンドを発生させて制御を行うインターアクティブ式の画像表示システムが開示される。該システムは、反復して行われる動作と音声を組み合わせて画像の表示を変化させるであって、反復して行われる動作を感知して発生する制御信号は動画のキャラクターが行う動作のテンポを制御し、入力する音声信号によって発生する制御信号は数多くのバーチャルな動作自体を制御する。この両者を組み合わせることによって、バーチャルなフィールドにおいて動画のキャラクターが様々な動作を行う。これには例えば、射撃、水泳、直立、リターン、水平移動、歩行、走行等が含まれる。

前記米国特許公報に開示されるシステムは、上述するように音声によってキャラクターがどのような動作を行うかコマンドを発し、キャラクターの行う動作のテンポは、ユーザーが反復して行う動作によって制御する。但し、例えば物を手に取る、指定した場所に移動するなどの行為を音声による簡単なコマンドで実行させることもできる。

上述する技術によれば、ユーザーがバーチャルなフィールドで様々な行為を行っているような視覚的効果が得られる。よって、異なるジャンル、内容の様々なコンピュータゲームに応用することができる。但し、該特許に係る発明は、バーチャルなフィールにしか応用できない。目下の技術では、コンピュータプログラムでシミュレートしたバーチャルなフィールドは、実際の被写体をビデオで撮影した映像に比して、臨場感が明らかに劣る。しかも、３Ｄフィールドをシミュレートするソフトウエアは極めて高価であり、かつプログラムを実行するためには、これに合わせ高性能のハードウエアを必要とする。言い換えれば、ゲーム機、ゲームソフトを含む全体のセット価格が高価になる割には、ビデオで撮影した映像のような臨場感のある画面の効果が得られない。

ビデオカメラで撮影された映像の再生を制御する技術については、アメリカ合衆国特許第６７５０８６５号公報に、映像をシミュレートする装置が開示される。該装置は、予め異なる環境下で撮影した複数のビデオの映像を保存し、ユーザーが入力する一組のパラメータを組み合わせて判断し、係る判断に基いて適宜な映像を選択して再生する。例えば、異なる季節、異なる地点で撮影した魚釣りの場面の複数の映像を保存し、ユーザーが入力したパラメーターを分析、判断して、保存された複数の映像の内どれを再生するか、決定する。

係る技術は、例えば、ゲーム動画への応用に適する。即ち、ゲームが進行するフィールド全体、またはダンジョンの雰囲気などに基づいて保存された複数の映像から選択することができるため、ゲームの雰囲気をさらに深めることができる。

但し、上述する技術は映像を再生する過程において、ユーザーが再生される映像を鑑賞するだけであって、映像の中のキャラクターなどの動作を行う主体を制御することができない。即ち、上述する技術は実際に応用できる範囲が従来のテレビゲームなどの範囲内に限られ、例えばユーザーの制御するキャラクターがゲームのダンションに至った場合、若しくはダンションに至りゲームをクリアした場合に挿入する動画の選択に応用できる程度である。言い換えれば、電子ゲームのユーザーがゲームの映像の雰囲気をさらに味わうことができる、といった視覚上の効果しか達成することができず、再生する映像をユーザーの操作に密接に対応して制御することができない。

従って、ビデオなどの映像におけるキャラクターなどの動作がユーザーによる制御の動作に密接に対応するインターアクティブ式の映像再生システムとその方法の開発が望まれている。
アメリカ合衆国特許第６４２８４４９号公報 アメリカ合衆国特許第６７５０８６５号公報

この発明は、ユーザーが映像の再生を制御することによって、該映像のキャラクターの動作を制御しているような視覚上の効果が得られるインターアクティブ式映像システムと、その方法を提供することを課題とする。

また、この発明は、構成が簡易で、コストの低いインターアクティブ式映像再生システムを提供することを課題とする。

そこで、本発明者は従来の技術に見られる欠点に鑑み鋭意研究を重ねた結果、ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、カーソルを該映像データに設定した記号の一に置き、作動信号が発生して該カーソルを目下の位置から該映像データの終了する方向に移動させ、該カーソルの移動の過程において、該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、該カーソルが該記号一つ分の第１数量だけ移動して次の記号に至ると該カーソルの移動と該映像データの再生を中止して該作動信号の発生を待つ状態に戻り、該カーソルが移動する過程において作動信号が発生した場合は、該カーソルを次の記号の位置にジャンプさせて、次の記号の位置から該カーソルの移動と対応する映像データを再生するステップを繰り返し実行するインターアクティブ式映像再生方法と、係る方法を実行するシステムによって課題を解決できる点に着眼し、係る知見に基いて本発明を完成させた。
以下、この発明について具体的に説明する。

請求項１に記載するインターアクティブ式映像再生方法は、ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
カーソルを該映像データに設定した記号の一に置き、
作動信号が発生して該カーソルを目下の位置から該映像データの終了する方向に移動させ、
該カーソルの移動の過程において、該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、
該カーソルが該記号一つ分の第１数量だけ移動して次の記号に至ると該カーソルの移動と該映像データの再生を中止して該作動信号の発生を待つ状態に戻り、
該カーソルが移動する過程において作動信号が発生した場合は、該カーソルを次の記号の位置にジャンプさせて、次の記号の位置から該カーソルの移動と対応する映像データを再生するステップを繰り返し実行する。

請求項２に記載するインターアクティブ式映像再生方法は、請求項１における第１数量が正の整数であって、該第１数量にしたがってカーソルが移動し、映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力する。

請求項３に記載するインターアクティブ式映像再生方法は、請求項１における作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号である。

請求項４に記載するインターアクティブ式映像再生方法は、ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
カーソルを該映像データに設定した記号の一に置き、
数量暫時保存空間を設定し、
該数量暫時保存空間内に保存した数値で第２数量を計算し、単位時間を設定し、該単位時間内において該カーソルを目下の位置から該映像データの終了する方向に移動させ、該カーソルが該第２数量分移動した記号の位置でカーソルの移動を中止し、
かつ正常の速度か、早送りモードか、スロー再生モードで該カーソルに対応する段落の映像データを映像再生装置に出力して再生して、丁度該単位時間内に再生を終了させ、第１数量の作動信号を受信して該数量暫時保存空間に保存するステップを繰り返し実行する。

請求項５に記載するインターアクティブ式映像再生方法は、請求項４における数量暫時保存空間に保存する数値がゼロであって、係る数値で計算して移動させる該カーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力する。

請求項６に記載するインターアクティブ式映像再生方法は、請求項４における作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号である。

請求項７に記載するインターアクティブ式映像再生方法は、 ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
該映像データの段落が撮像された映像の運動の異なる発生率にそれぞれ対応し、かつそれぞれの段落の長さが同等であって、
数量暫時保存空間を設定し、
該数量暫時保存空間内に保存した数値で第２数量を計算し、該第２数量に対応する運動の発生率を有する段落を選択し、単位時間を設定し、該単位時間内において選択した段落の映像データを正常の速度で該単位時間内に再生し、第１数量の作動信号を受信して該数量暫時保存空間に保存するステップを繰り返し実行することを特徴とするインターアクティブ式映像再生方法。
請求項８に記載するインターアクティブ式映像再生方法は、 前記数量暫時保存空間に保存する数値がゼロであって、係る数値で計算して移動させる該カーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力する。

請求項９に記載するインターアクティブ式映像再生方法は、請求項７における作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号である。

請求項１０に記載するインターアクティブ式映像再生方法は、ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
カーソルを該段落の記号の一に置き、
間隔時間暫時保存空間を設定し、
作動信号を受信する毎に該細動信号と、その前に受信した作動信号との時間の間隔を計算して、得られた数値を該間隔時間暫時保存空間に保存し、該間隔時間保存空間に保存した数値を読み取り、 カーソルを目下の位置から映像データの終わる方向に移動させ、正常な速度か、早送りモードか、スロー再生モードで該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、丁度該時間の間隔内に再生を終了させるステップを繰り返し実行する。

請求項１１に記載するインターアクティブ式映像再生方法は、請求項１０におけるカーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力する、

請求項１２に記載するインターアクティブ式映像再生方法は、請求項１０における記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号である。

請求項１３に記載するインターアクティブ式映像再生方法は、ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
カーソルを該段落の記号の一に置き、
複数の作動信号を受信して作動信号時間記録を発生させ、
一つ毎の作動信号と、その前の作動信号の時間の間隔を計算し、
該カーソルを目下の位置から該映像データの終わる方向に移動させ、次の記号の位置至り移動を中止し、正常速度か、快速モードか、正常速度から中間（半分）に至り、一時停止して。再度正常な速度となる方式で該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、該時間の間隔内で丁度再生を終了させるステップを繰り返し実行する。

請求項１４に記載するインターアクティブ式映像再生方法は、請求項１３におけるカーソルに対応する段落の映像データを映像再生装置に出力して再生すると同時に、予め保存した音声ファイルの音声信号を音声再生装置に出力して再生し、かつ該カーソルが該映像データの終わりに至ると該カーソルを第カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力する。

請求項１５に記載するインターアクティブ式映像再生方法は、請求項１３における作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号である。

請求項１６に記載するインターアクティブ式映像再生システムは、請求項１から請求項１６に記載するインターアクティブ式映像再生方法を実行するインターアクティブ式映像再生システムであって、
映像再生装置と、
データ保存装置と、
作動信号を発生させて出力する作動信号発生装置と、
該作動信号に基いてカーソルを移動させ、かつ該カーソルに対応する映像データの段落を該映像再生装置に出力して再生する制御装置と、
音声信号再生装置と、
音声信号を発生させて、音声信号再生装置に出力する音声信号発生装置と、
映像信号と音声信号とを合成する音声、映像合成装置と、を含む。

請求項１７に記載するインターアクティブ式映像再生システムは、請求項１７における音声信号発生装置がユーザーの音声を入力するマイクロフォンであるか、外部の電子装置である。

請求項１８に記載するインターアクティブ式映像システムは、請求項１７におけるマイクロフォンが入力した音声を音声信号に転換して該制御装置に出力し、該制御信号が該音声信号に基いて作動信号を発生させる。

請求項１９に記載するインターアクティブ式映像再生システムは、請求項１７における 前記作動信号が外部に接続する電子装置であって、該電子装置によって該作動信号を発生させて該制御装置に出力する。

この発明によれば、簡易なシステムによって映像の再生を制御することができるため、システムの製造コストの点から言えば、従来の技術に比してコストを大きく低減させることができ、またビデオカメラで撮像した映像データの再生を制御できるため、画像にコンピュータグラフィックにない臨場感が得られるという利点を有する。

この発明は、ユーザーが映像の再生を制御することによって、該映像のキャラクターの動作を制御しているような視覚上の効果が得られるインターアクティブ式映像システムと、その方法を提供するものであって、該方法は、段落毎に記号を設定した映像データを該システム内に導入し、該映像データの再生を示すカーソルを該映像データに設定した記号の内の一に置き、該映像データの再生を制御するための作動信号を発生させて、該作動信号に基いて該カーソルを目下の位置から該映像データの終了する方向に移動させ、かつ該カーソルが移動する過程において、該カーソルに対応する段落の映像データを再生し、該カーソルが該記号一つ分の第１数量だけ移動して次の記号に至ると該カーソルの移動と該映像データの再生を中止して前述する作動信号の発生を待つ状態に戻り、仮に該カーソルが移動する過程において作動信号が発生した場合は、該映像データの出力、再生を中断して該カーソルを次の記号の位置にジャンプさせて、上述するように該カーソルの移動と対応する映像データを再生するステップを繰り返し実行する。また、この場合外第１数量は正の整数である。

この発明によるインターアクティブ式映像再生システムは、図１に開示するように作動信号発生手段１と、音声信号発生手段２と、作動信号発生手段１と音声信号発生手段２とがそれぞれ電気的に接続する制御装置３と、制御装置３に電気的に接続する画像表示装置５、および音声再生装置６とを含んでなる。また、制御装置３はデータ保存装置４と、映像と音声をミキシングする映像、音声合成装置１０とを含む。
係る構成のインターアクティブ式映像再生システムと、その方法について、具体的な実施例を挙げ、かつ図面を参照にして、その構造と特徴を以下に詳述する。

この発明によるインターアクティブ式映像再生システムの構造を図１に開示する。該システムは、入力されたユーザーの音声を転換してなる音声信号による制御か、使用者の動作を感知して行う制御か、もしくはコンピュータによる制御方式で、予めデータ保存装置４に保存した映像データ７を制御して、画像表示装置５で再生する。同時に、音声信号２１、もしくは音声信号４１を音声再生装置６に出力して再生する。音声信号２１はユーザーの入力した音声を転換してなる音声信号であるか、もしくはコンピュータによって発生させた音声信号であって、音声信号４１は予めデータ保存装置に保存した音声信号である。

映像データ７は、段落を表わす複数の記号を設定した映像データであって、作動信号発生手段１によって作動信号を発生させ、送信経路８１を介して該作動信号を制御装置３に出力する。制御装置３は入力した該作動信号に基いて、映像データ７の内の一部分の映像データを、送信経路８２を介して画像表示装置５に出力して再生する。映像を再生する過程において、音声信号発生手段２が音声信号２１を発生させ、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に出力して再生する。

上述する音声信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、映像データ７を再生する場合、映像の再生を表わすカーソルが映像データ７に付した記号に至ると（図２、３参照）、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。

制御装置３は、さらに映像と音声をミキシングする映像、音声合成装置１０を含み、画像表示装置５に出力する映像データと、音声再生装置６に出力する音声信号とを合成する。合成した信号は保存して他の再生に備える。

ここで注意すべき点は、作動信号発生手段１は異なる方式で作動信号を発生させることができるという点である。使用者の動作を感知して作動信号を発生させる方式以外に、例えばビデオカメラで物体の運動をキャプチャした映像信号に分析を加え、該キャプチャした映像信号にしたがって作動信号を発生させる方式である。

図２から図６に、作動信号で映像データを再生する五種類の方式を開示する。

図１、図２を参考にして、作動信号で映像データを再生する第１の方式を説明する。図２に開示する作動信号時間軸９１は、作動信号発生手段１が時間の経過する方向にしたがって作動信号を発生することを表し、映像データ時間軸９３は映像データ７が正常な速度で再生されることを表わす。作動信号時間軸９１と映像データ時間軸９３とには、システムが起動してから時間が経過する方向を矢印で表わす。

映像データ７は、予めデータ保存装置４に保存する。映像データ７には段落を表わす記号を複数設定する。これら記号は映像データ時間軸９３上に白丸で表示する。作動信号時間軸９１上には時間の経過する方向にしたがって発生する作動信号を黒丸で表示する。図２にはシステムが起動してから一定の時間を経過した部分を表示した。作動信号時間軸９１には作動信号９１１、９１２、９１３を、映像データ時間軸９３には記号９３１、９３２、９３３、及び９３４をそれぞれ表示した。

図面によれば、システムが起動すると、映像の再生を表わすカーソルを映像データに設定した記号の内の一に置く。実施例においては映像データ７の第１の記号（即ち、記号９３１）に置く。作動信号の入力数量と、該カーソルが移動する第１数量との関係について、所定の比例を設定しておく。実施例においては両者の関係を一対一の比例に設定する。即ち、作動信号が一つ入力すると、該カーソルがその時点における記号の位置から映像データが終了する方向に向かって記号一つ分移動する（当然のことながら、一対一の比例に限ることなく、他の比例にしてもよい）。

作動信号発生手段１によって発生した作動信号は、送信回路８１を介して制御装置３に入力する。図面に開示するように、制御装置３に作動信号９１１が入力すると、該カーソルを制御して目下の位置（即ち、記号９３１）から映像データの終了する方向に向かって移動させ、同時に該カーソルに対応する映像データ７の映像データを、送信経路８２を介して映像再生装置５に出力して再生する。

該カーソルが次の記号（即ち、記号９３２）の位置に至ると移動を中止する。この場合、制御装置３は映像データの出力を暫時中止して、次の作動信号の入力を待つ状態になる。次いで、作動信号９１２が入力すると、上述のステップを繰り返して実行する。但し、該カーソルが移動する過程において制御装置３に作動信号９１３が入力すると、制御装置３は映像データの出力、再生を中断し、該カーソルを次の記号（即ち記号９３３）にジャンプさせて、上述のステップを繰り返し実行する。

該カーソルが映像データ７の終了する位置に至ると、制御装置３は該カーソルを制御して映像データ７の第１の記号（即ち、記号９３１）の位置に置く。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。

映像と音声をミキシングする映像、音声合成装置１０は、画像表示装置５に出力する映像データと、音声再生装置６に出力する音声信号とを合成する。

図１及と図３を参照して、作動信号で映像データを再生する第３の方式を説明する。

図３は、再生時間軸９２を別途有する点において図２の方式と異なる。再生時間軸９２は実際に映像データを再生する時間の経過を表わす。

映像データ７は、予めデータ保存装置４に保存する。映像データ７には第１の方法と同様に複数の記号を設定する。これら記号は映像データ時間軸９３上に白丸で表示する。再生時間軸９２には時間の経過する方向にしたがって再生記号９２１から９２６などを表示する。

図３にはシステムが起動してから一定の時間を経過した部分を表示した。

映像データ時間軸９３上の記号によって区切られる段落の内の一と、これに対応する再生時間軸９２の再生記号によって区切られる段落とが同様の長さであれば、同様の時間で該段落を再生することを表わす。即ち、正常の速度で再生する。

映像データ時間軸９３の段落の内の一に比して、対応する再生時間軸９２の段落長くなれば、長い時間で該段落を再生することを表わす。即ちスロー再生モードで再生する。

映像データ時間軸９３の段落の内の一に比して、対応する再生時間軸９２の段落短くなれば、短い時間で該段落を再生することを表わす。即ち早送りモードで再生する。

図３を参照にして説明する。システムが起動すると、カーソルを映像データに設定した記号の内の一に置く。この説明では映像データ７の第一記号（即ち、記号９３１）に置く。次いで、数量暫時保存空間と、比例を設定する。数量暫時空間内に保存する数値は予め設定された数値である。

次に、予め設定された時間単位を順にキャプチャし、かつそれぞれの時間単位内において次のステップを実行する。

即ち、数量暫時保存空間内に保存した数値を該比例に基づいて計算し、第２数量を得る。次に、カーソルを目下の位置から映像データ７の終了する方向に移動させ、記号を該第２数量分経過してカーソルの移動を中止する。この場合、正常な速度か、早送りモードか、スロー再生モードか選択し、同時に、カーソルに対応する映像データ７の段落を読み取り、送信経路８２を介して映像再生装置５に出力して再生し、予め設定した時間単位で再生を終了させる。また、映像データを再生すると同時に、第１数量の作動信号が入力し、入力した該第一数量を該数量暫時保存空間に保存する。

図３に開示するように、作動信号時間軸９１と再生時間軸９２は複数の時間単位によって等分される。システムが起動してからの４つの時間単位を経過する場合を例に挙げて説明する。

先ず、カーソルを映像データ７の第１の記号の位置に置く。数量暫時時保存空間内に保存された数値を計算して第２数量を得る場合は、一対一の比例で計算する方法を採用する（他の比例にしてもよい）。該数量暫時保存空間内に保存する数値は３に設定する。よって、第１の時間単位においては数量暫時保存空間内に保存した数値を一対一の比例で計算して得られる第二数量が３となる。

次いで、カーソルを目下の位置（即ち、記号９３１）から映像データ７の終了する方向に移動させる。該カーソルが移動する過程において、該カーソルに対応する映像データを映像再生装置５に出力して再生する。該カーソルは記号９３１から、記号９３２、記号９３３を通過して３つ目の記号９３４に至り移動を中止する。この場合、該カーソルが通過する段落の映像データの時間単位が等しいため、正常速度による再生モードを採用する。

図示するように、第１の時間単位において、作動信号９１１と作動信号９１２の２つの作動信号が入力すると、数量暫時保存空間内の数値を２と設定する。第１の時間単位が終了すると、第２の時間単位において上述するステップを継続して実行する。但し、第二の時間単位においては、数量暫時保存空間内に保存された数値を一対一の比例で計算して得られる第２数量は２となる。したがって、カーソルは目下の位置（即ち、記号９３１）から映像データ７の終了する方向に移動し、２つ目の記号である記号９３６に至り移動を中止する。図３の開示で明らかなように、この場合、映像データの時間が時間単位よりも短い。映像データの再生を丁度時間単位内で終了させるにはスロー再生モードで再生する必要がある。よって、かかるルールに基づいて映像データ７を再生する。

カーソルが映像データ７の最後に至ると、該カーソルを映像データ７の第１の記号（即ち記号９３１）の位置に戻す。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、該カーソルが記号の位置に至ると、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。

図１と、図４とを参照して、作動信号が映像データの段落を再生する第三の方式を説明する。図４は、図３とほぼ同様である。

先ず、複数の段落に区切った映像データ７をシステムに導入する。それぞれの段落には、複数の記号を設定する。この段落は、撮像されたキャラクターが行う動作の発生率に対応して、それぞれ異なる発生率で区切った段落である。また、これら複数の段落は映像データの時間が同じである。

次いで、数量暫時保存空間及び比例を設定する。また、該映像データと時間が等しくなるように時間単位を予め設定する。それぞれの時間単位内においては、次に掲げるステップを実行する。

先ず、該数量暫時保存空間内に保存した数値を設定した比例で計算して第２数量を得る。次いで、得られた第２数量対応する動作発生率の映像データの段落を選択する。即ち、該第２数量と同等の回数だけキャラクターが動作を行う映像データの段落を選択する。次いで、選択した映像データの段落を読み取り、送信経路８２を介して映像再生装置５に出力し、正常の速度で再生する。また、映像データを再生すると同時に、第１数量の作動信号が入力すると、該第１数量を該数量暫時時保存空間に保存する。

図４に開示するように、作動信号時間軸９１と、再生時間軸と映像データ時間軸９３とは、複数の時間単位に等分される。システムが起動してから４つの時間単位を経過する場合を例とに挙げて説明する。

先ず、カーソルを映像データ７の第１の記号の位置に置く。数量暫時保存空間内に保存した数値を計算して第２数量を得る方法は、一対一の比例（他の比例であってもよい）を採用する。数量暫時保存空間内に保存する数値は０に設定する。よって、第一の時間単位において、数量暫時保存空間内に保存した数値を一対一の関係で計算して得られた第二数量は０となる。但し。映像データ７には、０に対応する動作の発生率の段落がない。即ち、撮像されるキャラクターが動作を行わない段落が存在しない。よって、映像データを再生しない。

図示するように、第１時間単位において、作動信号９１１と作動信号９１２の２つの作動信号が入力すると、数量暫時保存空間内の数値を２と設定する。第一の時間単位が終了すると、第２の時間体において上述するステップを継続して実行する。第二の時間単位において、数量暫時保存空間内に保存された数値を一対一の比例で計算して得られた第２数量が２となる。この数値に基づいて対応する動作の発生率の段落を探す。この場合、記号９３１から２つめの記号９３３に至る間の映像データである。この段落の映像データを選択して正常速度で第２の時間単位内に再生する。同時に第２の時間単位では３つの作動信号が入力し、上述するステップを繰り返して実行する。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、該カーソルが記号の位置に至ると、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。

図１と図５を参照にして、作動信号で映像データの再生を制御する第４の方式を説明する。先ず、複数の記号を設定して複数の段落に区切った映像データ７をシステムに導入する。次いで、カーソルを映像データ７に設定した記号の内の一に置く。ここでは映像データ７の第１の記号（即ち、記号９３１）の位置に置く。

次いで、作動信号（即ち作動信号９１１）が入力すると、間隔時間暫時保存空間を設定するとともに、次のステップを実行する。

作動信号（即ち作動信号９１２）が入力すると、入力した作動信号とその前に入力した作動信号（即ち作動信号９１１）との間の時間の間隔を計算し、得られた数値を間隔時間暫時保存空間に保存する。次いで、間隔時間暫時保存空間内に保存した該数値を読み取り、カーソルを目下の位置（即ち、記号９３１）から映像データ７の終了する方向に移動させ、カーソルが次の点（即ち記号９３２）に至ると移動を中止する。同時に、正常な速度か、早送りモードか、もしくはスロー再生モードを選択して該カーソルに対応する映像データ７の段落を読み取り、送信経路８２を介して映像再生装置５に出力して再生し、該時間の間隔内で丁度再生を終了させる。次いで、上述するステップを繰り返して実行する。

図５に開示するように、システムが起動すると、作動信号９１１と作動信号９１２との間の時間は、記号９３１と記号９３２との間の映像データの時間が同じであるため、正常の速度で映像データを再生する。その後、同様のステップを繰り返して映像データ７を再生する。

次いで、作動信号９１３が入力すると、システムが作動信号９１２から作動信号９１３に至るまでに経過した時間を計算し、得られた時間値を以って映像データ時間軸９３上の記号９３２から記号９３３の間の映像データを再生する。

図面から明らかなように、再生時間軸９２上の記号９２２と記号９２３との間の再生時間が、記号９３２と記号９３３との間の時間よりも短いため、早送りモードで再生する。次いで、作動信号９１４が入力すると、作動信号９１３から作動信号９１４に至るまでに経過した時間を計算し、得られた時間値を以って映像データ時間軸９３上の記号の９３３と記号９３４との間の段落の映像データを再生する。

図面から明らかなように、再生時間軸９２上の記号９２３と記号９２４との間の再生時間が、記号９３３と記号９３４との間の再生時間よりも長いため、スロー再生モードで再生する。カーソルが映像データ７の最後に至ると、該カーソルは映像データ７の第１の記号（即ち、記号９３１）に戻る。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、該カーソルが記号の位置に至ると、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。映像と音声をミキシングする映像、音声合成装置は、画像表示装置５に出力する映像データと、音声再生装置６に出力する音声信号とを合成して出力する。

図１と図６を参照して、作動信号で映像データの再生を制御する第５の方式を説明する。先ず、複数の記号を設定して複数の段落に区切った映像データ７をシステムに導入する。次いで、カーソルを映像データ７に設定した記号の内の一に置く。ここでは映像データ７の第１の記号（即ち、記号９３１）の位置に置く。

複数の作動信号（即ち、作動振動９１１から作動信号９１４）が入力すると、作動信号時間記録（即ち、再生時間軸９２）が発生し、同時に次のステップを実施する

それぞれの作動信号と、その前の作動信号との間の時間の間隔を計算し、次いで、カーソルを目下の位置から映像データ７の終了する方向に移動させ、該カーソルが次の記号（即ち、記号９３２）至ると移動を中止する・同時に、正常な速度か、早送りモードか、もしくは正常な速度で中間に至るまで再生して一旦再生を中断し、さらに正常な速度で再生するモードを選択して映像データ７の段落を読み取り、送信経路８２を介して映像再生装置５に出力して、該時間の間隔内に丁度再生が終わりようにする。次に、上述するステップを繰り返して実行する。

図６に開示するように、を参照する。図６は、作動信号が映像データの段落を再生する第５の方式を示したものである。

０５映像データ７は予め複数の段落に区切り、それぞれの段落に記号を設定する。０８記号指標を映像データの記号の１つに置く。０９ここでは映像データ７の第一の記号（即ち、記号９３１）に置く。複数の作動信号（即ち作動振動９１１から作動信号９１４）を受信すると、作動信号時間記録（即ち第二時間軸９２）が設定され、次のステップを実施する。受信した作動信号と一つ前の作動信号との間の時間を計算し、記号指標は現在の位置（即ち、記号９３１）から映像データ７の終了する方向に向けて移動し、２６記号指標が次の記号（即ち記号９３２）に達すると停止し、正常速度、快速モード、正常速度から中間（半分）に至り、一時停止して。再度正常な速度となる方式で、同時に、記号指標に対応する映像データ７の段落を読み取り、０１送信経路８２を通して映像再生装置５に送信して出力し、２７時間内で再生を終了させるとともに、上述のステップを繰り返して実行する。

図６に開示するように、記号９３１から記号９３４までの間の映像データの再生方式は図５に開示する方式と同じである。但し、記号９３３と記号９３４の間の映像データの再生方式が異なる。

先ず、正常な速度で記号９３３と記号９３４との間の映像中間点（即ち、半分の箇所）まで再生して、該映像中間点で一時停止する。一時停止する時間は、記号９２３から記号９２４に至る時間から、記号９３３から記号９３４に至る時間を引いた時間である。即ち、記号９２３から記号９２４に至る時間は、記号９３３から記号９３４に至る時間に比して長く、その長い分の時間だけ一時停止して、再度正常の速度で記号９３４に至るまで正常の速度で再生する。

カーソルが映像データ７の最後に至ると、該カーソルは映像データ７の第１の記号（即ち、記号９３１）に戻る。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、該カーソルが記号の位置に至ると、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。映像と音声をミキシングする映像、音声合成装置は、画像表示装置５に出力する映像データと、音声再生装置６に出力する音声信号とを合成して出力する。

図１から図３及び図７を参照して、作動信号によって映像データの再生制御する第６の方式を説明する。第６の方式は図２と図３に開示する方式を組み合わせたものである。データ保存装置４には、５種類の映像データを保存する。この５種類の映像データは、撮像されるキャラクターが行う動作の発生率がそれぞれ異なり、かつこれら映像データには、いずれも該動作の方向が転換する箇所に記号を設定する。映像データ７ａ、映像データ７ｂ、映像データ７ｃ、映像データ７ｄ、及び映像データ７ｅと並ぶ順序は、撮像されるキャラクターの動作の発生率が低から高へとなる順であって映像データに設定した記号が疎から密になることを表わし、同等の長さの映像データであって、該記号の異なる出現率が得られる。

システムが起動し、一時間単位が経過する毎に、入力する作動信号の個数を計算し、該単位時間における作動信号の発生率を得て、次の時間単位において、計算によって得られた該作動信号の発生率に基づいて、記号の出現率が対応する映像データを選択する。該作動信号の発生率が、２つの映像データの記号出現率間にある場合には、該２つ映像データの内、撮像されるキャラクターの動作の発生率が高い方の映像データを選択し、かつ図２に開示する方式で該動作の発生率が高い方の映像データを再生する。

作動信号の発生率が、動作発生率の最も高い映像データよりも更に高い場合は、図２に開示する方式で該動作の発生率が最も高い映像データを再生する。即ち、早送りモードで再生する。また、作動信号の発生率が、動作発生率の最も少ない映像データよりも更に低い場合は、図３に開示する方式で該動作の発生率の最も低い映像データを再生する。即ち、スロー再生モードで再生する。映像データは、０１送信経路８２を介して映像再生装置５に出力して再生する。

カーソルが映像データ７の最後に至ると、該カーソルは映像データ７の第１の記号（即ち、記号９３１）に戻る。

映像データを再生する過程において、音声信号発生手段２は音声信号２１を発生させて出力する。出力された音声信号２１は、送信経路８３、制御装置３、送信経路８３ａを介して音声再生装置６に入力し、再生される。

上述する音声装置信号発生手段２が音声信号２１を発生させる方式は、データ保存装置４に予め保存した音声信号４１を制御装置３で読み取り音声再生装置６に出力する方式に変えてよい。即ち、該カーソルが記号の位置に至ると、制御装置３がデータ保存装置４に予め保存した音声信号４１から再生する部分を選択し、送信経路８３ａを介して音声再生装置に出力して再生する。映像と音声をミキシングする映像、音声合成装置１０は、画像表示装置５に出力する映像データと、音声再生装置６に出力する音声信号とを合成する。

図８に、この発明の実施形態の一例を開示する。図１、図３、図４を参照して、この実施の形態について説明する。図８は、運動選手の走る動作をシュミレートするものである。

ユーザーは、感知装置１１を右足の脚部１２（左足でもよい）に付ける。感知装置１１は、直線的な前後の移動を感知し、これに基づいて作動信号を発生させ、該作動信号によって、映像再生装置５で再生する映像データの制御を行う。感知装置にはファンクションキー（図示しない）を設けて、コマ送りの調整をユーザーが随時行えるようにしてもよい。

映像データ７１は、運動選手が走る動作を反復して行うものであって、該運動選手の足が着地する効果音をとともにデータ保存装置４内に予め保存する。この実施形態では、制御装置３とデータ保存装置４とを組み合わせる方式を以って、音声信号発生装置２の代替とする。また、この実施形態では図３に開示する作動信号で映像データの再生を制御する方式を採用する。

運動選手の走る動作を表示する映像データ７１は予め処理する。即ち、映像データにおいて、運動選手が左右いずれかの足が着地した箇所に記号を設定する。

以下この実施の形態について、映像データ７１の始まりから４つの記号を設定した段落を例にして説明する。この部分は記号７１１から７１４の部分に対応する。

１つの時間単位が経過する毎に、システムが入力した作動信号の個数を計算し、得られた数値を以って、次の時間単位において移動する記号の個数を形成し、かつ正常な速度か、早送りモードか、スロー再生モードか選択し、対応する映像データを再生する。映像データは、送信経路８２を介して映像再生装置５に出力して再生する。係る方式で全ての映像データを順に再生する。同時に、運動選手の走る動作を表示する映像データ７１を再生する場合、該運動選手の足が着地すると、予め保存した着地の効果音を出力して再生する。

上述する実施の形態は、図４に開示する作動信号で映像データの再生を制御する方式で実施することもできる。

運動選手の走る動作を表示する映像データ７１は予め処理する。映像データ７１はそれぞれの段落は運動選手の足が前後に移動させる動作の発生率に対応するように複数の段落に分ける。かつそれぞれの段落において運動選手の左右いずれかの足が着地する位置には、記号を設定する。よって該運動選手の足を前後に移動させる動作の発生率が高い段落は、設定する記号が密集する。逆に、該運動選手の足を前後に移動させる動作の発生率が低い段落は、設定する記号が少なくなる。

一時間単位が経過する毎に、入力した作動信号の個数を計算し、得られた数値に基づいて記号の個数が最も近い映像データの段落を選択し、次の時間単位において選択した該映像データの段落を、送信経路８２を介して映像再生装置５に出力して正常な速度で再生する。同時に、映像において運動選手の足が着地すると、予め保存した効果音である着地の音を再生する。係る方式によって、ユーザーが表示される映像データ７１の運動選手の走る動作を制御する目的を達成する。

図９に、この発明の他の実施の形態を開示する。この実施の形態は、撮像されたキャラクターの上下方向の動きを制御するものである。かかる実施の形態について、図１から図３及び図７を参照して説明する。

先ず、感知装置１１をユーザーの左右いずれかの手１４に付ける。ユーザーが手１４を上下させると、垂直方向における運動の方向が変化する。感知装置１１は係る運動方向の変化を感知して作動信号を発生させ、発生した作動信号によって映像データを制御し、映像再生装置５に出力して再生する。

先ず、バレリーナが下肢を屈折させ、立ち上がる動作を反復して行う内容の映像データを予めデータ保存装置４に保存する。映像データ７ａから７ｅになるにつれてバレリーナの動作の発生率が高くなる。また、バレリーナが立ち上がる位置と、下肢を屈折させる位置に記号を設定する。また、効果音をデータ保存装置４に保存する。即ち、この実施形態では、制御装置３とデータ保存装置４とを組み合わせる方式を以って、音声信号発生装置２の代替とする。

システムが起動すると、一時間単位が経過する毎に、入力した作動信号の個数を計算し、該時間単位内における作動信号の発生率を得る。次いで、次の時間単位において、計算して得られた該作動信号の発生率に基づいて撮像されたキャラクターであるバレリーナの動作発生率が対応する映像データを選択する。

該作動信号の発生率が二つの映像データ動作発生率の間にある場合には、動作の発生率が高い方の映像データを選択し、図３に開示する方式で該動作の発生率が高い方のい映像データを再生する。即ち、早送りモードで再生する。

該作動信号の発生率が、動作発生率の最も高い映像データよりも更に高い場合は、図３の方式で該動作の発生率の最も高い映像データを再生する。即ち、早送りモードで再生する。また、該作動信号の発生率が、動作の生率に最も低い映像データよりさらに低い場合は、図３の方法で該動作の発生率が最も低い映像データを再生する。即ち、スロー再生モードで再生する。

映像データは、送信経路８２を介して映像再生装置５に出力して再生する。同時に、映像内のバレリーナが下肢を屈折させる際に効果音を再生する。

係る方式によって、ユーザーは感知装置１１を装着した手を上下に移動させことによって、映像のバレリーナが下肢を屈折させ、立ち上がる上下方向の動作を制御することができ、自然でスムーズなインターアクティブ式の映像再生を達成することができる。

図２、図３及び図７に開示する方式で制御したバレリーナの上下方向の動作を表示する映像データ７２と、該映像に合わせて再生する効果音とは、映像、音声合成装置１０１０によって合成し、動作発生率を調整した新しい映像データとして保存して、別途再生に供することもできる。

この実施形態は、図２に開示する作動信号で映像データの再生を制御する方式で実施することもできる。映像データ７２には、バレリーナが立ち上がる位置と、下肢を屈折させる位置とにそれぞれ記号を設定する。映像データ７２の始まりから４つの記号を設定した場合を例に挙げて説明する。記号７２１から７２４は、それぞれ図２に開示する記号９３１から９３４に設定する。また、比例を一対一に設定する。即ち、作動信号が一つ入力すると、カーソルが目下の位置から映像データの終了する方向に記号一つ分移動する。

システムが起動して、感知装置１１を装着した手が上方に移動すると作動信号が発生する。発生した作動信号は送信経路８１を介して制御装置３に入力する。この作動信号９１１によって、映像データ時間軸９３上の記号９３１から９３２の間の映像データの再生を制御する。即ち、記号７２１から７２２であって、バレリーナが立ち上がる動作を表示する映像データである。

次いで、感知装置１１を装着した手が下方に移動すると運動の方向が反転して、作動信号が発生する。発生した作動信号は送信経路８１を介して制御装置３に入力する。この作動信号９１２によって、映像データ時間軸９３上の記号９３２から９３３の間の映像データの再生を制御する。即ち、記号７２１から７２２であって、バレリーナが下肢を屈折させる動作を表示する映像データである。映像データは送信経路８２を介して映像再生装置５に出力して再生する。

係る方式によって全ての映像データを順に再生する。同時に、バレリーナが下肢を屈折する際に効果音を再生する。よって、ユーザーは感知装置１１を装着した手を上下に動かすだけ、映像のバレリーナの上下方向の動作を制御することができる。

図２開示する方式で制御したバレリーナの上下方向の動作を表示する映像データ７２と、該映像に合わせて再生する効果音とは、映像、音声合成装置１０１０によって合成し、動作発生率を調整した新しい映像データとして保存して、別途再生に供することもできる。

図１０に、この発明の別の実施形態を開示する。この実施の形態は、映像においてキャラクターは跳躍の動作を行う。係る映像の再生を制御する方式について、図１、図５を参照して以下に説明する。

先ず、感知装置１１をユーザーの腰部１３に装着する。ユーザーが上下方向に跳躍すると、垂直方向に運動の方向が変化し、係る運動方向の変化を感知装置１１が感知して作動信号を発生させて、映像再生装置５で再生する映像データを制御する。この実施の形態における映像はアニメーションである。

この実施形態では図５に開示する作動信号で映像データの再生を制御する方式を実施する。

映像データ７３は、兎が跳躍するアニメーションであって、兎が跳躍して最も高い位置に至る位置と、着地する位置とに予め記号を設定する。

この実施形態においては、映像データ７１の始まりから４つの記号を設定した段落を例にして説明する。記号７１１から７１４の部分は、図５の映像データ時間軸９３上の記号９３１から９３４に対応する。また、着地の効果音をデータ保存装置４に予め保存する。即ち、制御装置３とデータ保存装置４とを組み合わせる方式を以って、音声信号発生装置２の代替とする。

システムが起動し、ユーザーが跳躍すると作動信号９１１が発生する。跳躍の頂点から落下して運動の方向が反転すると次の作動信号９１２が発生する。システムが作動信号９１１から作動信号９１２に至った時間を計算し、得られた数値に基いて映像データ時間軸９３上の記号９３１から記号９３２の間の映像データを再生する。即ち、記号７３１から７３２であって、映像データ７３において兎が跳び上がり、跳躍の頂点から落下して、最も低い地点に至るまでの映像データである。該映像データは送信経路８２を介して映像再生装置５に出力して再生する。係る方式によって全ての映像データを順に再生する。

記号７３２から７３４の間の映像データを再生する場合、予め保存した効果音を再生する。係る方式によって、ユーザーが映像データ７３の兎が跳躍するアニメーションの映像データ７３の再生を制御する目的を達成する。

図５に開示する方式で制御した兎の跳躍する上下方向の動作を表示するアニメーションの映像データ７３と、該映像に合わせて再生する効果音とは、映像、音声合成装置１０１０によって合成し、動作発生率を調整した新しい映像データとして保存して、別途再生に供することもできる。

図１１に、さらに別の実施の形態を開示する。この実施の形態においては、入力するユーザーの音声で、映像再生装置５に表示されるアナウンサーが話をする映像の再生を制御する。同時に、ユーザーの音声を再生する。係る実施形態は、リモート端を介してサービスを提供する場合、もしくは接客担当者の口頭による説明を録画する場合に応用することができる。

この実施の形態は、制御装置３とデータ保存装置４とを組み合わせて音声信号発生装置２の代替とする方式を採用しない点で、上述する実施の形態と異なる。即ち、ユーザーが入力する音声を音声信号に転換し、送信経路８３、送信経路８３ａを介して音声再生装置６に出力して再生する。

ユーザーの発する音声はマイクロフォン１５入力し、音声信号に転換して送信径路８３を経由して制御装置３に出力する。制御装置に該音声信号が入力すると、作動信号が発生して、映像再生装置５で再生する映像データを制御する。

この実施の形態では図２に開示する作動信号で映像データの再生を制御する方式を実施する。

映像データ７４は、キャラクターが口を開閉させる動作を反復して行うものであって、口を開けた位置と口を閉じた位置に予め記号を設定する。

映像データ７４の始まりから４つの記号を設定した段落を例にして説明する。記号７４１から７４４の部分は、図２の映像データ時間軸９３上の記号９３１から９３４に対応する。、１０比例関係、即ち「受信する作動信号の数」と「記号指標が移動する第一の記号の数」の関係を設定する。

入力する作動信号の数量と、カーソルを移動させる第１数量１つ分との関係は、一対二の比例に設定する。即ち、作動信号が一つ入力すると、カーソルが目下の位置から映像データ７の終了する方向に記号２つ分移動する（他の比例であってもよい）。

システムが起動し、ユーザーが音声を発してマイクロフォン１５に入力すると、音声信号が送信径路８３を介して制御装置３に出力されて、作動信号９１１が発生する。発生した作動信号９１１によって、映像データ時間軸９３上の記号９３１から９３３の間の映像データを出力する。即ち、映像保存装置４で再生するキャラクターが話しをする映像データの記号７４１から７４３であって、キャラクターが口を閉じ、口を開き、再び口を閉じる映像データである。該映像データは送信経路８２を介して映像再生装置５に出力して再生する。かかる方式によって全ての映像データを順に出力する。

同時に、ユーザーの音声を音声信号２１に転換し、送信経路８３、信経路８３ａを介して音声再生装置６に出力して再生する。かかる方式によって、ユーザーが映像データ７４のキャラクターの口を開閉させる動作を制御する目的を達成する。

この実施の形態において、映像データが大量の帯域を占め、画面の再生が遅延する可能性がある。この点を考慮して、送信経路８３ａネットワーク通信を採用し、送信経路８２と送信経路８３ａはケーブル通信を採用する。よって、ネットワーク通信で送信するのは音声信号２１となる。ネットワーク通信による映像データの送信を避けてることによって、表示画像がスムーズに表示されるようにする。但し、使用上の利便性を考慮するのであれば、制御装置３とデータ保存装置４をユーザー端に設け、送信径路８２と送信径路８３ａはネットワーク通信を採用し、送信径路８３はケーブル送信を採用する。かかる構成によれば、リモート端は映像再生装置５と音声再生装置６を設け、ネットワークに接続するだけでよい。よって、送信が便利になる。

この実施の形態では、近距離端のユーザがコンピュータであってもよい。該コンピュータが作動信号と音声信号２１を同時にリモート端に送信し、リモート端の映像データの再生を制御して、映像のキャラクターが話をする動作制御する目的を達成する。

また、コンピュータは、キャラクターの会話、または歌唱を内容とする音声ファイルを出力してもよい。この場合、音声信号の一音声を出力する毎に作動信号が発生し、該作動信号をモート端に送信する。

さらに、コンピュータはテキストファイルを読み取り、これを判読するソフトウェアで一文字ごとに音声信号を発生させ、該音声信号によって作動信号を発生させる。発生した作動信号はリモート端に送信する。

さらに、コンピュータは、撮影機カメラが物体の運動を撮影して送信してくる映像データを受信し、これを分析して、該物体の運動にしたがって作動信号を発生させることもできる。

この実施形態では、図６に開示する方式で実施してもよい。即ち、キャラクターが離しをする内容の映像データ７４において、キャラクターが音声を発する位置に記号を設定する。また、ユーザーの音声、または歌声を音声ファイルとして予め保存する。音声信号の一音声毎に作動信号が発生するとともに、作動信号の時間を記録する。システムは作動信号９１１から作動信号９１２に至った時間を計算し、得られた時間値に基いて映像データ時間軸９３上の記号９３１から記号９３２の段落の映像データを、送信経路８２を介して映像再生装置５に出力して再生する。また、正常な速度で再生するか、早送りモードで再生するか、もしくは正常の速度で中間点に至るまで再生して一時停止して再度正常な速度で再生する方式で映像データを再生する（図７と同じ）。映像データは送信経路８２を介して映像再生装置５に出力して再生する。係る方式で全ての映像データを順に再生する。

音声信号発生装置２は、ユーザーの発する音声を利用する。即ち、ューザーの会話、歌声などの音声を音声ファイルとして予め保存し、送信経路８３、送信経路８３ａを介して音声再生装置６に出力して再生する。係る方式によって、ユーザーの音声を転換してなる音声信号で映像データ７４のキャラクターが口を開閉する動作を制御する目的を達成する。また、ユーザーは予め音声ファイルを保存し、ケーブル通信、無線通信、またはネットワーク通信などの通信方式で同様の目的を達成することができる。

図２、または図６に開示する方式でキャラクターが口を開閉する動作を制御して再生する映像データ７４と、ユーザーの会話の声、歌声などの音声を転換した音声信号は、映像、音声合成装置１０で合成し、調整された新しい映像データとして保存して、別に出力する場合に供することもできる。

図１２に、この発明のその他の実施形態を開示する。即ち、２人のユーザーがネットワーク通信を介してインターアクティブ方式で映像データのキャラクターの動作を制御する方式であって、図９、図１０を参照して以下に説明する。

この実施の形態は、ユーザーが作動信号を発生させて近距離端の映像データの出力を制御する。また、作動信号をネット通信でリモート端に送信して相手側の映像再生装置５に出力するか、或いは相手側の映像再生装置５の表示映像の出力を制御してもよい。

音声信号発生装置２は、近距離端の制御装置３と、データ保存装置４とを組み合わせて代替とする。リモート端でユーザーの声を音声信号に転換し、送信経路８３（ネット通信を使用）及び送信経路８３ａを介して音声再生装置６に送信して再生する。係る方式によって、２人のユーザーがネットワーク通信を利用して、互いに映像データのキャラクターの動作を制御し、インターアクティブ式の映像再生という目的を達成する。

以上は、この発明の好ましい実施例であって、この発明の実施の範囲を限定するものではない。よって、当業者のなし得る修正、もしくは変更であって、この発明の精神の下においてなされ、この発明に対して均等の効果を有するものは、いずれもこの発明の特許請求の範囲に属するものとする。

この発明によるインターアクティブ式映像再生システムの構成を示した説明図である。 この発明による第一の方式のシステムの映像再生方法を示した説明図である。 この発明による第二の方式のシステムの映像再生方法を示した説明図である。 この発明による第三の方式のシステムの映像再生方法を示した説明図である。 この発明による第四の方式のシステムの映像再生方法を示した説明図である。 この発明による第五の方式のシステムの映像再生方法を示した説明図である。 この発明による第六の方式のシステムの映像再生方法を示した説明図である。 このシステムの使用態様を示した説明図である。 このシステムの他の使用態様を示した説明図である。 このシステムのその他の使用態様を示した説明図である。 このシステムの別の使用態様を示した説明図である。 このシステムのその他の別の使用態様を示した説明図である。

符号の説明

１ 作動信号発生装置
１１ 感知装置
１２ 脚部
１３ 腰部
１４ 腕
１５ マイクロフォン
２ 音声信号発生装置
２１ 音声信号
３ 制御装置
４ データ保存装置
４１ 音声信号
５ 映像再生装置
６ 音声再生装置
７ 映像データ
７a 表示映像
７ｂ 表示映像
７ｃ 表示映像
７ｄ 表示映像
７ｅ 表示映像
７１ 映像データ
７１１ 記号
７１２ 記号
７１３ 記号
７１４ 記号
７２ 映像データ
７２１ 記号
７２２ 記号
７２３ 記号
７２４ 記号
７３ 映像データ
７３１ 記号
７３２ 記号
７３３ 記号
７３４ 記号
７４ 映像データ
７４１ 記号
７４２ 記号
７４３ 記号
７４４ 記号
７ａ 映像データ
７ｂ 映像データ
７ｃ 映像データ
７ｄ 映像データ
７ｅ 映像データ
８１ 送信径路
８２ 送信径路
８３ 送信径路
８３ａ 送信回路
９１ 作動信号時間軸
９１１ 作動信号
９１２ 作動信号
９１３ 作動信号
９１４ 作動信号
９２ 再生時間軸
９２１ 記号
９２２ 記号
９２３ 記号
９２４ 記号
９２５ 記号
９２６ 記号
９３ 映像データ
９３１ 記号
９３２ 記号
９３３ 記号
９３４ 記号
９３５ 記号
９３６ 記号
１０ 映像、音声合成装置

Claims (19)

1. ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
   該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
   カーソルを該映像データに設定した記号の一に置き、
   作動信号が発生して該カーソルを目下の位置から該映像データの終了する方向に移動させ、
   該カーソルの移動の過程において、該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、
   該カーソルが該記号一つ分の第１数量だけ移動して次の記号に至ると該カーソルの移動と該映像データの再生を中止して該作動信号の発生を待つ状態に戻り、
   該カーソルが移動する過程において作動信号が発生した場合は、該カーソルを次の記号の位置にジャンプさせて、次の記号の位置から該カーソルの移動と対応する映像データを再生するステップを繰り返し実行することを特徴とするインターアクティブ式映像再生方法。
2. 前記第１数量が正の整数であって、該第１数量にしたがってカーソルが移動し、映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力することを特長とする請求項１に記載のるインターアクティブ式映像再生方法。
3. 前記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号であることを特徴とする請求項１に記載のインターアクティブ式映像再生方法。
4. ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
   該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
   カーソルを該映像データに設定した記号の一に置き、
   数量暫時保存空間を設定し、
   該数量暫時保存空間内に保存した数値で第２数量を計算し、単位時間を設定し、該単位時間内において該カーソルを目下の位置から該映像データの終了する方向に移動させ、該カーソルが該第２数量分移動した記号の位置でカーソルの移動を中止し、
   かつ正常の速度か、早送りモードか、スロー再生モードで該カーソルに対応する段落の映像データを映像再生装置に出力して再生して、丁度該単位時間内に再生を終了させ、第１数量の作動信号を受信して該数量暫時保存空間に保存するステップを繰り返し実行することを特徴とする請求項１に記載のインターアクティブ式映像再生方法。
5. 前記数量暫時保存空間に保存する数値がゼロであって、係る数値で計算して移動させる該カーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力することを特長とする請求項４に記載のインターアクティブ式映像再生方法。
6. 前記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号であることを特徴とする請求項４に記載のインターアクティブ式映像再生方法。
7. ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
   該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
   該映像データの段落が撮像された映像の運動の異なる発生率にそれぞれ対応し、かつそれぞれの段落の長さが同等であって、
   数量暫時保存空間を設定し、
   該数量暫時保存空間内に保存した数値で第２数量を計算し、該第２数量に対応する運動の発生率を有する段落を選択し、単位時間を設定し、該単位時間内において選択した段落の映像データを正常の速度で該単位時間内に再生し、第１数量の作動信号を受信して該数量暫時保存空間に保存するステップを繰り返し実行することを特徴とするインターアクティブ式映像再生方法。
8. 前記数量暫時保存空間に保存する数値がゼロであって、係る数値で計算して移動させる該カーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力することを特長とする請求項７に記載のインターアクティブ式映像再生方法。
9. 前記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号であることを特徴とする請求項７に記載のインターアクティブ式映像再生方法。
10. ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
    該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
    カーソルを該段落の記号の一に置き、
    間隔時間暫時保存空間を設定し、
    作動信号を受信する毎に該細動信号と、その前に受信した作動信号との時間の間隔を計算して、得られた数値を該間隔時間暫時保存空間に保存し、該間隔時間保存空間に保存した数値を読み取り、 カーソルを目下の位置から映像データの終わる方向に移動させ、正常な速度か、早送りモードか、スロー再生モードで該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、丁度該時間の間隔内に再生を終了させるステップを繰り返し実行することを特徴とするインターアクティブ式映像再生方法。
11. 前記カーソルが映像データの最後に至ると、該カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力することを特長とする請求項１０に記載のインターアクティブ式映像再生方法。
12. 前記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号であることを特徴とする請求項１０に記載のインターアクティブ式映像再生方法。
13. ユーザーによって映像データの再生を制御できるインターアクティブ式の映像再生方法であって、
    該映像再生方法を実施するシステムに複数の記号を設定して段落を区切った映像データを導入し、
    カーソルを該段落の記号の一に置き、
    複数の作動信号を受信して作動信号時間記録を発生させ、
    一つ毎の作動信号と、その前の作動信号の時間の間隔を計算し、
    該カーソルを目下の位置から該映像データの終わる方向に移動させ、次の記号の位置至り移動を中止し、正常速度か、快速モードか、正常速度から中間（半分）に至り、一時停止して。再度正常な速度となる方式で該カーソルに対応する段落の映像データを映像再生装置に出力して再生し、該時間の間隔内で丁度再生を終了させるステップを繰り返し実行することを特徴とするインターアクティブ式映像再生方法。
14. 前記カーソルに対応する段落の映像データを映像再生装置に出力して再生すると同時に、予め保存した音声ファイルの音声信号を音声再生装置に出力して再生し、かつ該カーソルが該映像データの終わりに至ると該カーソルを第カーソルが該映像データの最初の段落の第一の表示点に戻り、同様のステップを継続して実行し、かつ該カーソルが一記号の位置に至ると音声信号を音声再生装置に出力することを特長とする請求項１３に記載のインターアクティブ式映像再生方法。
15. 前記作動信号が、ユーザーの身体に装着した感知装置が該ユーザーの動作の開始と、該動作の方向の変化を感知して発生させる作動信号であることを特徴とする請求項１３に記載のインターアクティブ式映像再生方法。
16. 請求項１から請求項１６に記載するインターアクティブ式映像再生方法を実行するインターアクティブ式映像再生システムであって、
    映像再生装置と、
    データ保存装置と、
    作動信号を発生させて出力する作動信号発生装置と、
    該作動信号に基いてカーソルを移動させ、かつ該カーソルに対応する映像データの段落を該映像再生装置に出力して再生する制御装置と、
    音声信号再生装置と、
    音声信号を発生させて、音声信号再生装置に出力する音声信号発生装置と、
    映像信号と音声信号とを合成する音声、映像合成装置と、を含むことを特徴とするインターアクティブ式映像再生システム。
17. 前記音声信号発生装置がユーザーの音声を入力するマイクロフォンであるか、外部の電子装置であることを特徴とする請求項１６に記載のインターアクティブ式映像再生システム。
18. 前記マイクロフォンが入力した音声を音声信号に転換して該制御装置に出力し、該制御信号が該音声信号に基いて作動信号を発生させることを特徴とする請求項１７に記載のインターアクティブ式映像再生システム。
19. 前記作動信号が外部に接続する電子装置であって、該電子装置によって該作動信号を発生させて該制御装置に出力することを特徴とする請求項１７に記載のインターアクティブ式映像再生システム