以下、図面に基づき、本発明の実施例を説明する。
コンピュータを構成するオーケストラ指揮ゲーム装置1は、図1に示すように、主制御部2を有しており、主制御部2には、バス線3を介して入力部である、タッチパネル5、ディスプレイ6、ゲームプログラムメモリ7,楽曲再生制御部9,タッチ態様解析部10,指示標識表示制御部11及び入力動作評価判定部12を有している。タッチパネル5とディスプレイ6は、液晶などの平面表示素子からなるディスプレイ6の表示面に表示面と同一の大きさのパネル状のタッチセンサを積層配置した構造を有している。また、楽曲再生制御部9には、スピーカやイヤホンなどの音再生装置8が接続している。
また、オーケストラ指揮ゲーム装置1は、図2に示すように、全体が薄い板状に形成された筐体13を有しており、筐体13の正面、従って、図2の紙面に並行な面には、前述したタッチパネル5とディスプレイ6が複合配置された入力表示装置15が設けられている。筐体13は、図2の紙面と垂直な方向の厚さは、薄く形成されており、全体的に長方形の板状に形成されている。
また、図1に示すオーケストラ指揮ゲーム装置1は、実際にはコンピュータが、図示しないメモリに格納された所定のプログラムを読み出して、実行することで、図示しないCPUやメモリが、マルチタスクにより時分割的に動作し、図1に示す各ブロックに示された機能を実行してゆくこととなる。しかし、オーケストラ指揮ゲーム装置1を、各ブロックに対応したハードウエアで構成することも可能であり、また各ブロックを各ブロックに分散的に設けられたCPU又はMPUにより制御するように構成することも可能である。
オーケストラ指揮ゲーム装置1は、以上のような構成を有するので、オーケストラ指揮ゲーム装置1を用いて、オーケストラ指揮ゲームを行うに際には、プレイヤからのプレイ開始のコマンドなどに基づいて、主制御部2がゲームプログラムメモリ7からオーケストラ指揮ゲームプログラムGPRを読み出し、該読み出されたオーケストラ指揮ゲームプログラムGPRに基づいて、主制御部2はゲームの進行を制御する。なお、ゲームプログラムメモリ7に格納されたオーケストラ指揮ゲームプログラムGPRは、インターネットなどの通信回線を介したダウンロードや、オーケストラ指揮ゲームプログラムGPRを格納した各種のメモリ素子から、読み込まれることで、また、オーケストラ指揮ゲーム装置1のゲームプログラムメモリ7に格納される。
オーケストラ指揮ゲーム装置1は、基本的には、図2に示すように、多数の楽団員16から構成されるオーケストラ17を、プレイヤにタッチパネル5を介して指揮の“振り”、即ち、指揮動作を経時的に入力させることで指揮させ、その指揮動作の内容に応じて、音再生装置8から再生される楽曲を経時的に変化させ、プレイヤに対しては、自らの指揮動作に基づいて再生処理される楽曲を音再生装置8を介して聞かせて楽しませるものである。同時に、オーケストラ指揮ゲーム装置1では、プレイヤの指揮に基づいて再生される楽曲と予めオーケストラ指揮ゲームプログラムGPRに基準再生データとして格納されている楽曲との乖離具合を得点として演算し、プレイヤに提示する。
従って、オーケストラ指揮ゲームをプレイする際には、主制御部2は、図12に示す、オーケストラ指揮ゲームプログラムGPRのタッチ態様解析プログラムTSAに基づいて、図12のステップS1で、まず、多数の楽団員16からなるオーケストラ17の画像を演奏画像PCとしてディスプレイ6に表示すると共に、オーケストラ指揮ゲームプログラムGPRを構成する図示しない楽曲選択サブルーチンにより自動的に選択された、又はプレイヤのタッチパネル5を介した指示に基づいて選択された、所定の楽曲を、楽曲再生制御部9を介して音再生装置8で再生する動作を開始する。オーケストラ指揮ゲームプログラムGPRは、オーケストラ指揮ゲーム装置1で、プレイヤによる指揮が可能な、従って、再生が可能な楽曲のデータ及びオーケストラ17の演奏画像PCを、ゲームプログラムメモリ7に読み出し自在に格納された形で有しているので、こうした、処理は容易に行うことが出来る。
オーケストラ17の画像が表示される前述した演奏画像PCは、図2に示すように、演奏画像PCの下方に多数の楽団員16からなるオーケストラ17の画像が表示され、その上方には、タイムスケール画像TSが表示されている。タイムスケール画像TSは、ディスプレイ6の長手方向に直線状に表示された、時間軸TXと、該時間軸TXの、図2の演奏画像PCの左端部付近に、時間軸TXに対して垂直方向に設定表示された基準位置としての基準線SLを有しており、時間軸TXには、後述するように、指示標識表示制御部11で生成された指示標識CSを構成するアイコン19が、音再生装置8で出力される楽曲に対応した所定の速度で、図2の右端から、左端に向けて、矢印A方向に水平移動する形で表示制御される。なお、オーケストラ17の画像は、ここではその詳細な説明は省略するが、全体が弦楽器のパート、管楽器のパート、打楽器のパート等、複数のパートに分かれており、それぞれ、一人以上の楽団員16が割り当てられている。この割り当て状態は、オーケストラ指揮ゲームプログラムGPRの指示により主制御部2を介して、楽団員16の持つ楽器や頭髪の色などで区別される形でディスプレイ6上では、表示されている。
楽曲再生制御部9により、音再生装置8を介した楽曲の再生が開始されたところで、オーケストラ指揮ゲームが開始されるが、主制御部2は、楽曲再生制御部9による楽曲の再生動作の開始に際して、タッチ態様解析プログラムTSAのステップS2に入り、指示標識表示制御部11に対してこれから再生する楽曲の指示標識セットSETをゲームプログラムメモリ7から読み出し、当該指示標識セットSETを再生すべき楽曲に同期させてディスプレイ6のタイムスケール画像TS上に表示するように指令する。指示標識セットSETは、ゲームプログラムメモリ7にオーケストラ指揮ゲームプログラムGPRの一部として格納されており、指示標識セットSETは、図13に示すように、オーケストラ指揮ゲーム装置1で再生可能な楽曲に対応する形で、それぞれ設定格納されている。
即ち、指示標識セットSETは、音再生装置8で再生可能な楽曲それぞれについて、プレイヤが当該楽曲を指揮する際に、タッチパネル5を介して入力すべき指揮の“振り”が、タッチパネル5に対するプレイヤの指の接触態様を、指示標識CSとして図形、即ち経時的な指の接触パターンで指示する形で、楽曲の楽曲データDATA、従って音再生装置8で再生出力される楽曲と同期をとる形で格納設定されている。指示標識セットSETは、図13に示すように、多数の指標識CSの集合体であり、各指示標識CSは、プレイヤの指のタッチパネル5に対する経時的な接触態様(即ち、接触パターン)を示している。この指示標識セットSETは、音再生装置8で再生される楽曲を指揮する際の正しい“振り”を示すものでは、必ずしも無く、あくまで、プレイヤがタッチパネル5上で、当該楽曲を指揮する際の標準的な指標としての役割を有している。なお、各指示標識CSには、当該指示標識CSで、オーケストラに指示すべき内容が(例えば、「テンポ」、「decrescendo:デクレッシェンド(段々弱く)」、「diminuendoディミヌエンド(段々弱く)」、「crescendo:クレッシェンド(段々強く)」など)、オーケストラのどのパートに対するものかを示す対象データ(例えば「全体」、「第1バイオリン」など)と共に、属性データとして格納されている。
以下、各指示標識CSについて、説明するが、指示標識CSは、以下に説明するパターンに限らず、オーケストラの各パートもしくは全体を指揮する際に適切な経時的な“振り”を示すもので有れば、どのようなパターンであってもよい。例えば、図2には、全体が5個のアイコン19から構成される指示標識CS1(指示標識CSについては、個々の指示標識CSを区別する場合には、指示標識CSn(n=1.2・・・・・)として、表示し、それらを区別しない場合には、単に指示標識CSと標記する)を示す。この指示標識CS1(後述する、全ての指示標識CSも同様)は、指示標識表示制御部11により、音再生装置8で再生している楽曲と同期をとる形で、所定の速度で演奏画像PCの時間軸TX上を矢印A方向に移動表示される形で制御される。指示標識CS1は、例えば全長がL12に設定されており、5個(何個でも可)の円形のアイコン19から構成されている。円形のアイコン19は、当該アイコン19が演奏画像PC上を矢印A方向に移動表示され、左方に表示された基準線SLを通過した際に、プレイヤに指を、1本指でタッチパネル5上で軽く叩くように接触させる“タップ”を行うように指示するアイコンである。この場合、指示標識CS1は5個のアイコン19から構成されているので、長さL12の指示標識CS1が基準線SLを通過する間に、5回のタップを行うようにプレイヤに求めている。指示標識CS1を構成する各アイコン19の間隔Lは、等しかったり、異なっていたりするが、これは、再生(演奏)される楽曲の演奏態様により、オーケストラ指揮ゲームプログラムGPRにより予め決定されている。
この指示標識CS1の演奏画像PC上での長さL12及び各アイコン19間の間隔Lは、この指示標識CS1で指揮者(プレイヤ)が楽団員16に対して指示したい内容が、表現されているものであり、それは、全体のテンポであったり、ある特定の楽器のパートに対する演奏指示を表すものであったりする。例えば、オーケストラ指揮ゲームプログラムGPRにいおては、これらの指示標識CS1は、staccato::スタッカート(音を切り離して)などを指示する際に使用される。図2の指示標識CS1の場合、既に述べたように、プレイヤは、該指示標識CS1を構成する各アイコン19が基準線SLを通過するタイミングに合わせて1本指で5回、タッチパネル5をタップするように、求められている。なお、タッチするタッチパネル5上での位置はどこでも良い。例えば、図10の位置P1に、指20で、5回、トン、トン、トン、トン、トンとタッチする。この位置P1は、タッチパネル5上のどの位置でも有効であり、また、タップの間でタッチパネル5上でその位置P1がずれてしまってもいいように(タッチが、有効なように)後述のタッチ態様解析部10で処理される。なお、指示標識CS1を構成するアイコン19間の間隔Lは指20のタッチ時間間隔に対応しており、後述する他の指示標識CSを構成するアイコン19の間隔Lにおいても同様な意味を持ち、更に、各指示標識CS間の間隔L1についても、同様な意味を持っている(図13参照)。
図3に、指示標識CSの別の例として、標識全長がL13で、時間軸TXに対して上下に配置された2個一組のアイコン19,19及び、それらアイコン19,19の組が4組、演奏画像PC上で、適宜な間隔Lで配置された指示標識CS2を示す。この指示標識CS2は、それぞれのアイコン19、19の組が基準線SLを通過した際に、プレイヤに指を、2本指でタッチパネル5上で同時に軽く叩くように接触させる“ダブルタップ”を行うように指示するアイコンである。この場合、指示標識CS2は4個のアイコン19、19の組から構成されているので、4回のダブルタップを行うようにプレイヤに求めている。なお、タッチするタッチパネル5上での位置はどこでも良い。例えば、図11の位置P2及びP3に、2本の指20a,20bで、トン、トン、トン、トンと、4回タッチする。この位置P2、P3は、タッチパネル5上のどの位置でも有効であり、また、タップの間でタッチパネル5上でその位置P2、P3がずれてしまってもいいように(タッチが、有効なように)後述のタッチ態様解析部10で処理される。
図4に、指示標識CSの更に別の例として、横長のアイコン19Aから構成される指示標識CS3を示す。このアイコン19Aは、アイコン19の移動表示方向(即ち、時間方向)である、演奏画像PCの横方向に一列に配置された多数のドット21を有しており、指示標識CS3は、長さがL2なる横長のアイコン19が基準線SLを通過している間中、連続的に指(1本指)でタッチパネル5上に任意の位置P1(図10参照)をタップするように求める、“連続タップ”を要求する指示標識CS3である。この際、指20によるタッチパネル5上での各タップ間の時間間隔は、所定時間以下であれば、後述するタッチ態様解析部10は、有効な指のタッチとして処理し、その回数は問わないように処理する(勿論、他の実施例として、タップの回数を評価することも可能である)。
図5に、指示標識CSの更に別の例として、二つの丸い図形を矢印22で結んだ1組のアイコン19B、19B´からなる指示標識CS4を示す。これらのアイコンは、プレイヤが入力すべき経時的な“振り”(移動態様)を2次元的な図形で模式的に示したものである。すなわち、アイコン19B、19B´は、矢印22の向きが互いに反対になっており、それぞれの矢印22の向きは、タッチパネル5上で、プレイヤが移動させるべき指の方向を示している。即ち、図5の指示標識CS4の場合、最初のアイコン19Bが基準線SLを通過する間(アイコン19Bの時間方向、即ち演奏画像PCの横方向の長さL3に対応する時間)に、図10に示すように、指20を、アイコン19Bの矢印22が示す方向である、矢印C方向に下方に膨らんだ円弧を描く形でタッチパネル5上を移動させることを求めている。次に、2番目のアイコン19B´が基準線SLを通過する間(アイコン19B´の時間方向、即ち演奏画像PCの横方向の長さL4に対応する時間)に、図10に示すように、指20を、アイコン19B´の矢印22が示す方向である、矢印B方向に下方に膨らんだ円弧を描く形でタッチパネル5上を移動させることを求めている。この1組のアイコン19B、19B´からなる指示標識CS4は、各アイコン19B、19B´の長さL3,L4に応じた、各アイコン19B、19B´の基準線SLの通過時間で、指20を図10の矢印C、B方向に円弧状に経時的に振る“振り”を要求するものであり、例えば、オーケストラ17の全体的な演奏のテンポを指示する際などに使用される。なお、オーケストラ指揮ゲームプログラムGPRにおいては、長さL3,L4は、基本的には等しい長さであるが、ritardando(リタルダンド:だんだん遅く)やaccelerando(アッチェレランド:だんだん速く)などの速度を変化させる指示の際には、異なる長さとしても良い。これにより、プレイヤによる高度な指揮動作が可能となる。
図6に、指示標識CSの更に別の例として、アイコンの移動方向である矢印A方向、即ち時間方向の長さL5、L6、L7が所定長さに設定されたアイコン19Cを示す。この単一のアイコン19Cからなる指示標識CS5は、アイコン19Cが基準線SLを通過する間(アイコン19Cの時間方向、即ち演奏画像PCの横方向の長さL5、L6,L7などに対応する時間)に、図10に示すように、プレイヤに対して指20をタッチパネル5上でタッチした状態で、矢印D方向、即ち、図中右方に直線状に経時的に移動させるように、プレイヤに要求する指示標識CS5である。これは、オーケストラ指揮ゲームプログラムGPRにおいては、オーケストラ17の演奏リズムや、各パートのテンポを指示したり、また、slurスラー:滑らかに)などのアーティキュレーション(音と音のつながりに様々な強弱や表情をつけること)を指示する際にも使用される。
図7も図6と同様であるが、図6の指示標識CS6は、同じ長さL5,L6,L7のアイコン19C、19Cがタイムスケール画像TSの上下に並行に積層配置された形で構成されている。この指示標識CS6は、指示標識CSを構成する上下1対のアイコン19C、19Cが基準線SLを通過する間(アイコン19Cの時間方向、即ち演奏画像PCの横方向の長さL5、L6,L7などに対応する時間)に、図11に示すように、プレイヤに対して2本の指20a。20bをタッチパネル5上でタッチした状態で、矢印E、E方向、即ち、図中右方に直線状に経時的に移動させるように、プレイヤに要求する指示標識CS6である。これは、図6の場合と同様に、オーケストラ指揮ゲームプログラムGPRにおいては、オーケストラ17の演奏リズムや、各パートのテンポを指示したり、また、slur(スラー:滑らかに)などのアーティキュレーション(音と音のつながりに様々な強弱や表情をつけること)を指示する際にも使用される。なお、図6と図7の指示標識CSが指示する指揮内容は、重複しないようにオーケストラ指揮ゲームプログラムGPRで設定されている。
図8に、指示標識CSの更に別の例として、アイコンの移動方向である矢印A方向、即ち時間方向の長さL8に渡り、上に凸な半円を複数個(図8の場合、5個)連結させた形のアイコン19Dからなる指示標識CS7を示す。この指示標識CS7は、アイコン19Dが基準線SLを通過する間(アイコン19Dの時間方向、即ち演奏画像PCの横方向の長さL8に対応する時間)に、図10に示すように、プレイヤに対して指20をタッチパネル5上でタッチした状態で、矢印Fに示すように、アイコン19Dと同様なパターンで、図中右方に複数の上に凸な半円を描く形で(図8に示す場合には、5回半円を描く形で)経時的に移動させるように、プレイヤに要求する指示標識CS7である。これは、オーケストラ指揮ゲームプログラムGPRにおいては、オーケストラ17の演奏リズムや、各パートのテンポを指示したりする際に使用される。
図9に、指示標識CSの更に別の例として、アイコンの移動方向である矢印A方向、即ち時間方向の長さL9、L10に渡り、図中上下方向に重なった形で表示されている同じ長さの1対のアイコン19D、16Dが図中右方向に行くにつれて互いの間隔L11が短くなって行く、先萎みとなっている指示標識CS8(図中左方の指示標識CS)と、1対のアイコン19D、16Dが図中右方向に行くにつれて互いの間隔L11が広がって行く、先広がりとなっている指示標識CS9(図中右方の指示標識CS)を、それぞれ示す。
この指示標識CSは、例えば、図9中左方の指示標識CS8の場合には、各指示標識CSを構成するアイコン19D、19Dが基準線SLを通過する間(1対のアイコン19D、19Dの時間方向、即ち演奏画像PCの横方向の長さL9に対応する時間)に、図11に示すように、プレイヤに対して2本の指20a,20bをタッチパネル5上でタッチした状態で、矢印Gに示すように、アイコン19D,19Dと同様なパターンで、図中右方向に行くにつれて互いの間隔L12が短くなって行く、先萎みとのパターンで経時的に移動させるように、プレイヤに要求する指示標識CS8である。
また、図9中右方の指示標識CS9の場合には、指示標識CS9を構成するアイコン19D、19Dが基準線SLを通過する間(1対のアイコン19D、19Dの時間方向、即ち演奏画像PCの横方向の長さL10に対応する時間)に、図11に示すように、プレイヤに対して2本の指20a,20bをタッチパネル5上でタッチした状態で、矢印Hに示すように、アイコン19D,19Dと同様なパターンで、図中右方向に行くにつれて互いの間隔L12が大きくなって行く、先広がりのパターンで経時的に移動させるように、プレイヤに要求する指示標識CS9である。
これらの指示標識CSは、オーケストラ指揮ゲームプログラムGPRにおいては、例えば、オーケストラ17全体又は特定のパートに対する音の強弱を指示する、decrescendo:デクレッシェンド(段々弱く)、diminuendoディミヌエンド(段々弱く)、crescendo:クレッシェンド(段々強く)などを指示する際に使用される。
なお、オーケストラ指揮ゲームプログラムGPRにおいて、各指示標識CSが示す意味は、任意に設定が可能であるが、可能な限り実際の指揮動作に類似するように設定することが望ましい。また、上述した指示標識CSの他に、実際の指揮動作に合わせて多様な指示標識CSを設定することも可能である。
こうして、多様な指示標識CSが設定された指示標識セットSETは、図13に示すように、各指示標識CSが、楽曲再生制御部9で再生される楽曲に対応する形、即ち楽曲データDATAと時間的な同期を取る形で、楽曲毎に設定されている。これにより、楽曲再生制御部9で楽曲データDATAを再生すると、指示標識セットSETに基づいて、指示標識表示制御部11は、当該再生動作に同期させて、再生中の楽曲データDATAに対応して設定された指示標識CSを、ディスプレイ6上に順次表示させる。この表示は、例えば、図2に示すように、ディスプレイ6の演奏画像PCのタイムスケール画像TSの時間軸TXの図中左端部から矢印A方向に移動する形で表示され、各指示標識CSが基準線SLに到達した段階で、該指示標識CSに対応する楽曲データDATAの部分が音再生装置8から再生されるように、楽曲再生制御部9及び指示標識表示制御部11は、オーケストラ指揮ゲームプログラムGPRに基づいて制御する。
こうして、楽曲データDATAが音再生装置8から再生され、同時に、ディスプレイ6では、楽団員16による当該楽曲データDATAに対応する楽曲の演奏画像PCがオーケストラ指揮ゲームプログラムGPRに基づいて、表示されるので、ディスプレイ6では、あたかも楽団員16が楽曲を演奏してるかのように表示される。
この状態で、プレイヤは、ディスプレイ6上で、例えば、図2の矢印A方向に向けて、一定速度移動する形で表示される多数の指示標識CSを目視で確認しつつ、その指示標識CSが示すパターンに応じて、対応する“振り”をタッチパネル5を介して経時的に入力する。このプレイヤの“振り”は、当該指示標識CSが基準線SLを通過する際に音再生装置8から再生されている楽曲を演奏するオーケストラを指揮する動作に対応している。また、既に述べたように、各指示標識CSは、オーケストラ指揮ゲームプログラムGPRにより、再生中の楽曲を指揮する際に指揮者が実際に行う標準的な指揮の経時的な“振り”を示すように設定されているので、プレイヤは各指示標識CSが指示する“振り”をタッチパネル5を介して、図10や図11に示すように、ディスプレイ6上のタイムスケール画像TSの基準線SL上を各指示標識CSが通過するタイミングで指をタッチパネル5上で接触させる形で経時的に入力(タッチ動作)することで、演奏画像PCに表示されているオーケストラ17を指揮しているような臨場感を味わうことが出来る。
こうして、プレイヤが指20,20a、20bをタッチパネル5上で接触させることで指示標識CSに対応した経時的な“振り”を、入力すると、タッチパネル5から当該タッチ動作に対応する入力信号SGがタッチ態様解析部10に出力される。主制御部2は、タッチ態様解析プログラムTSAのステップS3に入り、タッチ態様解析部10に対して、入力された信号SGを解析して、プレイヤがタッチパネル5を介して入力した指揮者としての“振り”がどのようなものであるかを解析するように指令する。タッチ態様解析部10は、オーケストラ指揮ゲームプログラムGPRのデータ一部として格納されてる判定テーブルTBLをゲームプログラムメモリ7から読み出して、該判定テーブルTBLに基づいて、プレイヤが入力した“振り”を解析演算する。
即ち、判定テーブルTBLには、図14に示すように、指示標識CSごとに、タッチ態様解析部10で解析すべき内容が格納されており、例えば、指タッチのタイミングや時間を計測する項目を示した計測時間MT、タッチすべき指の数を示す指数NF、タッチパネルに対するタッチ回数NB、指のタッチパネル5上での移動パターンの判定を行うか否かを示す入力パターン判定DIの欄が設けられている。なお、必要に応じて、適宜な計測項目や判定項目を追加することも可能である。例えば、指示標識CS1については、指示標識CS1が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、各アイコン19に対応する指タッチ(タップ)に際した指20のタッチ時間長さT1(アイコン19が基準線SLを通過するに要する時間に対応する)、指20がタッチパネル5から離れて次のアイコン19に合わせてタッチ(タップ)されるまでのタッチ間隔T2(図2の間隔Lに対応)、最初のアイコン19に対応する最初のタッチから5番目のアイコン19に対応する最後のタッチまでの全タッチ時間T3(図2の間隔L12に対応)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS1では、指数NFの欄に「1」が格納され、指示標識CS1が1本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「0」となっていて、指示標識CS1については、プレイヤの指の移動パターンの判定は、不要である旨が規定されている。
図3に示す指示標識CS2については、指示標識CS2が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、各1対のアイコン19、19に対応する指タッチ(タップ)に際した指20a、20bのタッチ時間長さT1(1対のアイコン19、19が基準線SLを通過するに要する時間に対応する)、指20a、20bがタッチパネル5から離れて次の1対のアイコン19、19に合わせてタッチ(タップ)されるまでのタッチ間隔T2(図3の間隔Lに対応)、最初の1対のアイコン19、19に対応する最初のタッチから4番目の1対のアイコン19、19に対応する最後のタッチまでの全タッチ時間T3(図2の間隔L13に対応)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS2では、指数NFの欄に「2」が格納され、指示標識CS2が2本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「0」となっていて、指示標識CS2については、プレイヤの指の移動パターンの判定は、不要である旨が規定されている。
図4に示す指示標識CS3については、指示標識CS3が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、タップ間の時間間隔T4(図4の各ドット21の間の間隔に対応)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS3では、指数NFの欄に「1」が格納され、指示標識CS3が1本の指でタッチされることが規定されている。また、例えば、タッチ回数NBの欄は「11」となっていて、指示標識CSが基準線SLを通過する間に、プレイヤがタッチパネル5にタッチすべき回数を示すタッチ回数は「11」回が規定されている。また、入力パターン判定の欄は「0」となっていて、指示標識CS3については、プレイヤの指の移動パターンの判定は、不要である旨が規定されている。
図5に示す指示標識CS4については、指示標識CS4の先頭のアイコン19が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、指20のタッチ時間長さT1(矢印22で結ばれた1組のアイコン19、19が基準線SLを通過するに要する時間、従って、1組のアイコン19、19の移動方向における間隔L3,L4に対応する)、指20がタッチパネル5から離れて次の1組のアイコン19、19に合わせてタッチ(タップ)されるまでのタッチ間隔T2(図5の間隔L1に対応)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS4では、指数NFの欄に「1」が格納され、指示標識CS4が1本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS4については、プレイヤの指20のタッチパネル5上での接触移動態様、即ち指の移動パターンの判定を行うことが規定されている。
指示標識CS4の移動パターンの判定は、プレイヤの指20が、タッチパネル5上で、長さL3の最初のアイコン19Bが基準線SLを通過している間に、図10の矢印Cに示すように、下に膨らんだ形での左から右に向けて円弧を描いているかのパターン判定を行い、更に、次のアイコン19B‘が基準線SLを通過している間に、図10の矢印Bに示すように、下に膨らんだ形で右から左に円弧を描いているかのパターン判定を行なうものである。
図6に示す指示標識CS5については、指示標識CS5が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、アイコン19cに対応する指タッチに際した指20のタッチ時間長さT1(アイコン19cが基準線SLを通過するに要する時間、従って、アイコン19cの移動方向における長さL5,L6、L7等に対応する)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS5では、指数NFの欄に「1」が格納され、指示標識CS5が1本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS5については、プレイヤの指の移動パターンの判定を行うことが規定されている。
指示標識CS5の移動パターンの判定は、図10の矢印Dに示すように、プレイヤの1本の指20が、タッチパネル5上で、アイコン19cからなる指示標識CS5が基準線SLを通過している間に、図10の矢印Dに示すように、左から右に向けて直線状に移動しているかのパターン判定を行なうものである。
図7に示す指示標識CS6については、指示標識CS6が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、1対のアイコン19c、19cに対応する指タッチに際した指20a,20bのタッチ時間長さT1(1対のアイコン19c、19cが基準線SLを通過するに要する時間、従って、1対のアイコン19c、19cの移動方向における長さL5,L6、L7等に対応する)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS6では、指数NFの欄に「2」が格納され、指示標識CS6が2本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS6については、プレイヤの指の移動パターンの判定を行うことが規定されている。
指示標識CS6の移動パターンの判定は、図11の矢印Dに示すように、プレイヤの2本の指20a,20bが、タッチパネル5上で、1対のアイコン19c、19cからなる指示標識CS6が基準線SLを通過している間に、図11の2本の矢印Eに示すように、左から右に向けて直線状に移動しているかのパターン判定を行なうものである。
図8に示す指示標識CS7については、指示標識CS7が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、アイコン19cに対応する指タッチに際した指20のタッチ時間長さT1(アイコン19Dが基準線SLを通過するに要する時間、従って、アイコン19Dの移動方向における長さL8等に対応する)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS7では、指数NFの欄に「1」が格納され、指示標識CS7が1本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS7については、プレイヤの指の移動パターンの判定を行うことが規定されている。
指示標識CS7の移動パターンの判定は、図10の矢印Fに示すように、プレイヤの1本の指20が、タッチパネル5上で、アイコン19Dからなる指示標識CS7が基準線SLを通過している間に、図10の矢印Fに示すように、左から右に向けて上に凸な半円を複数個、アイコン19Dと同じ数だけ(図8の場合、5個)
描く形で移動しているかのパターン判定を行なうものである。
図9に示す指示標識CS8については、指示標識CS8が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、1対のアイコン19D、19Dに対応する指タッチに際した指20a,20bのタッチ時間長さT1(1対のアイコン19D、19Dが基準線SLを通過するに要する時間、従って、1対のアイコン19D、19Dの移動方向における長さL9等に対応する)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS8では、指数NFの欄に「2」が格納され、指示標識CS8が2本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS8については、プレイヤの指の移動パターンの判定を行うことが規定されている。
指示標識CS8の移動パターンの判定は、図11の矢印Gに示すように、プレイヤの2本の指20a,20bが、タッチパネル5上で、1対のアイコン19D、19Dからなる指示標識CS8が基準線SLを通過している間に、図11の2本の矢印Gに示すように、左から右に向けて先萎み状に移動しているかのパターン判定を行なうものである。
更に、図9に示す指示標識CS9については、指示標識CS9が基準線SLに到達した時点を基準にした、プレイヤのタッチパネル5に対する指タッチの遅れや、進みを示すタイミングT0、1対のアイコン19D、19Dに対応する指タッチに際した指20a,20bのタッチ時間長さT1(1対のアイコン19D、19Dが基準線SLを通過するに要する時間、従って、1対のアイコン19D、19Dの移動方向における長さL10等に対応する)などを計測するように計測時間MTの欄に格納されている。更に、指示標識CS9では、指数NFの欄に「2」が格納され、指示標識CS9が2本の指でタッチされることが規定されている。また、タッチ回数NBの欄には「−」となっていて、タッチ回数は規定されていない。更に、入力パターン判定の欄は「1」となっていて、指示標識CS9については、プレイヤの指の移動パターンの判定を行うことが規定されている。
指示標識CS9の移動パターンの判定は、図11の矢印Hに示すように、プレイヤの2本の指20a,20bが、タッチパネル5上で、1対のアイコン19D、19Dからなる指示標識CS9が基準線SLを通過している間に、図11の2本の矢印Hに示すように、左から右に向けて先広がり状に移動しているかのパターン判定を行なうものである。
このパターンの判定は、指20,20a,20bが、どのような2次元図形をタッチパネル5上で描いているか(指の移動態様)を指示標識CSとの関連で判定するもので、判定すべき2次元図形としては、図5に示す所定の方向(矢印B、Cなど)に向けて描かれる円弧、図6及び図7に示す一方向に移動する直線、図8に示す、複数個、一方向に連続する半円、図9に示す、所定方向に拡大・縮小する1対の直線など、指示標識CSに応じて多様なものがあるが、上述した例には限定されず、2次元の図形ならばどのようなものでも判定対象とすることが出来る。即ち、オーケストラに対してプレイヤが“振り”により指示するの内容が多様になればなるほど、対応する指示標識CSの種類が増え、それだけ判定すべきパターンは増えてくるようになる。
なお、図14の判定テーブルTBLに示したタッチ態様解析部10で解析すべき内容は一例であり、必要に応じてどのような項目をどのような内容で設けても良い。タッチ態様解析部10では、判定テーブルTBLに示された各指示標識CSについて、プレイヤがタッチパネル5を介して入力した指のタッチパネル5上での経時的な移動軌跡、即ち“振り”を、所定の判定基準に基づいて解析演算する。
タッチ態様解析部10で解析された解析結果は、入力動作評価判定部12に出力される。主制御部2は、タッチ態様解析プログラムTSAのステップS4に入り、入力動作評価判定部12に対して、入力されたプレイヤの“振り”(タッチ動作のパターン)の解析結果、即ち、各指示標識CSについての計測時間MT,指数NF、タッチ回数NB、入力パターン判定DIの計測解析結果に基づいて、オーケストラ指揮ゲームプログラムGPR内で予め設定された判定基準と比較して、プレイヤの入力、即ち“振り”の完全性/芸術性を数値的に評価するように指令する。この評価手法としてはは、パターンマッチング手法など公知の多様な方法を採用することが出来る。例えば、計測時間T0,T1,T2,T3、T4などに対しては、予め標準的な時間が、オーケストラ指揮ゲームプログラムGPRに各指示標識CSについて基準値として格納されており、この基準値に対するずれを定量的に評価する。また、入力パターンに関しては、入力されたパターンの大きさや、長さ、振幅、タッチ回数、振動回数など経時的な指揮要素を、同様にオーケストラ指揮ゲームプログラムGPRに設定格納された基準値と比較して、基準値に対するずれを定量的に評価する。ここでの、評価は、必ずしもプレイヤの指揮の優劣ではなく、プレイヤの持っている芸術性が結果として発揮される場合もあり得る。
特に、入力パターンの判定に際して、入力されたパターンの大きさや、長さ、振幅、タッチ回数、振動回数などの判定パラメータに関して、単に基準値からずれているから、音再生装置8からの楽曲の再生状態を変動させるのではなく、基準値からのすれ量に応じて、音再生装置8からの楽曲の再生のテンポ、リズム、強弱、休止、その他の様々な音楽的な演奏パラメータを複数段階に経時的に変動させるように構成することで、プレイヤ独自の音楽表現が可能となり、高度なプレイが可能となる。
例えば、図5の指示標識CS4の場合、プレイヤがタッチパネル5上で、指20を図10の矢印C、B方向に円弧状に移動させて、指示標識CS4に対応した“振り”を入力した際に、タッチ態様解析部10で、プレイヤの“振り”の振幅W1を所定のサンプリング時間間隔で計測演算しておき、入力動作評価判定部12で基準値として格納されている基準振幅WS(複数の基準振幅値WSを基準値として設定しても可)と比較し、刻々変化する幅W1の大きさに応じて、その時点で再生される楽曲の表現パラメータとしてのテンポを数段階に経時的に変化させるように制御することも可能である。したがって、例えば、プレイヤが、現在再生されている楽曲のテンポを、短時間で早めたい(遅めたい)と思った場合には、指示標識CS4に対応した“振り”を入力する際に、所定の短時間の間に振幅W1を小さく(大きく)入力することで、入力動作評価判定部12は、プレイヤが入力した“振り”の振幅W1に応じて、音再生装置8から再生されている楽曲のテンポをプレイヤが“振り”を入力した時間と同期させる形で、経時的かつ連続的に多段階で早めたり、遅くするように制御する。この制御はプレイヤが指示標識CS4に対応する“振り”を入力している時点で、リアルタイムに行うので、プレイヤの“振り”は、遅滞なく音再生装置8から出力される楽曲の再生態様に反映される。
また、同様に、例えば、プレイヤが指示標識CS4に対応した“振り”を入力している時に、その矢印B又はC方向の指の移動速度を測定演算して、移動速度が入力中に段々遅くなっている場合には演奏パラメータとしてのritardando(リタルダンド:だんだん遅く)が指令されているものと判定して、音再生装置8から出力される楽曲の再生速度を徐々に遅くし、移動速度が入力中に段々速くなっている場合には音楽的な演奏パラメータとしてのaccelerando(アッチェレランド:だんだん速く)が指令されているものと判定して、音再生装置8から出力される楽曲の再生速度を徐々に早くする(経時的に徐々に早くする)ように制御することも、可能である。なお、こうした点は、指示標識CS4に限らず、タッチパネル5上で、指を経時的に移動させる全ての指示標識CSで適用が可能である。
いずれの場合も、プレイヤが入力する“振り”、即ちタッチパネル5上での経時的な軌跡を、タッチ態様解析部10及び入力動作評価判定部12で経時的なパターンとして解析し、予めオーケストラ指揮ゲームプログラムGPRに設定された対応する、時間の経過と共に変動する演奏パラメータ(経時的演奏パラメータ)を、基準値からのずれ具合に応じて、経時的かつリアルタイムに多段階に変動させる形で音再生装置8から再生することで、多様な音楽表現が可能となる。
また、その際、プレイヤがこれから入力する“振り”で、経時的演奏パラメータの何が変動するのかを、オーケストラ指揮ゲームプログラムGPRにより主制御部2が演奏画像PC上で、「テンポ」、「リタルダンド」などと表示し、プレイヤにこれらか入力する“振り”により何が変動するのかを予め告知するようにしても良い。これにより、プレイヤは、自分が入力する“振り”で、何が変化するのかを認識した形で“振り”を入力することが出来、ゲームへの意欲を向上させることが出来る。
更に、オーケストラ指揮ゲームプログラムGPRにおいて、指示標識CSで、特定のオーケストラパート、例えば第1バイオリンとか、第2バイオリン等、特定の楽器パートに対する指示を行うように設定されている場合には、オーケストラ指揮ゲームプログラムGPRにより主制御部2が演奏画像PC上で、「第1バイオリン」、「第2バイオリン」などの、指示先の表示を行い、同時に、その指示内容も、「スラー」などのように、演奏画像PC上に表示させると、より好都合である。
入力動作評価判定部12で、評価判定されたプレイヤの“振り”は、その判定結果が楽曲再生制御部9に出力される。主制御部2は、タッチ態様解析プログラムTSAのステップS5に基づいて、楽曲再生制御部9に対して、入力された判定結果に基づいて、現在再生中の楽曲のオーケストラの演奏画像PCを含む画像及び音声の再生状態を変化させて、ディスプレイ6及び音再生装置8に出力するように指令する。入力動作評価判定部12での評価判定の結果をディスプレイ6及び音再生装置8に出力される画像及び音声にどのように反映させるかに関しては、多様な公知の手法を用いることが出来る。
なお、入力動作評価判定部12では、プレイヤの指の移動軌跡、即ち“振り”を、時間T0,T1,T2,T3、T4だけでなく、指示標識CSのパターンを基準値と比較して経時的に評価するので、それら指示標識CSの各パターンに、楽曲のテンポ、強弱、リズムなどの楽曲の経時的な再生要素をそれぞれ定義しておくことで、プレイヤが入力した“振り”の入力動作評価判定部12でのリアルタイムでの評価判定に対応させて、楽曲再生制御部9において、それらの評価判定結果を反映させる形でその再生態様をリアルタイムで変化させた形で演奏(再生)することが出来る。これにより、プレイヤの意図をよりキメ細かに反映した形でのオーケストラ演奏が可能となる。
即ち、プレイヤの指の移動軌跡をパターンとして評価することで、通常の指揮動作のように、プレイヤの“振り”に楽曲のテンポの変化や、強弱の変化、リズムの変化をなど楽曲の経時的な再生要素を定義付けることが出来、“振り”に示されたプレイヤの意志と、オーケストラ指揮ゲームプログラムGPRに格納された指示標識CSに対応した経時的な再生要素の標準演奏状態とを比較して、その差に応じて標準演奏状態を変化させて再生させる。
なお、タイムスケール画像TSで表示される時間軸TX、従って、指示標識CSの移動方向は、図2のディスプレイ6の長手表示方向である左右方向に限らず、短手表示方向である図2上下方向でも、更に、斜めなど任意の方向に設定が可能である。