本発明の実施の形態にかかるゲーム装置について説明する。ゲーム装置としては、特に制限はないが、スマートフォンや携帯電話、携帯型ゲーム専用機などの携帯型の端末、又は、据え置き型のゲーム装置などが利用できる。本実施の形態では、ゲーム装置としてスマートフォンを採用した場合について説明する。
図1は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の正面外観図である。ゲーム装置1は、本体2、液晶モニタ3、入力部4及びスピーカ5を備えている。液晶モニタ3は、本体2の表面中央に略矩形状に設けられている。液晶モニタ3はタッチパネル式であり、タッチパネルの表面に指やタッチペンで接触すると、タッチ入力検出部により接触位置を検出することができる。プレイヤは、タッチパネルを操作することで、指示標識にあわせた入力操作を行うことができる。
入力部4は、メニューボタン4a、ボリュームボタン4b及び電源ボタン4cを備えている。メニューボタン4aは、本体2の液晶モニタ3の下部に設けられている。このメニューボタン4aを押すことで、ゲーム装置1の各種設定をするためのメニュー画面を読み出すことができる。ボリュームボタン4bは、本体2の側面上部に設けられている。このボリュームボタン4bにより音量を調整することができる。電源ボタン4cは、本体2の上面に設けられており、この電源ボタン4cを押すことでゲーム装置1の電源のON/OFFを切り替えたり、スリープ状態に移行することができる。スピーカ5は、本体2に内蔵されており、本体2の液晶モニタ3の上側に出力口が設けられている。
図2は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の構成を示すブロック図である。ゲーム装置1は、CPU(Centrl Processing Unit)11、RAM(Random Access Memory)12、ROM13、HDD14、サウンド処理部15、グラフィック処理部16、タッチ入力検出部17、通信インターフェイス18、及びインターフェイス部19からなり、それぞれ内部バスにより接続されている。
CPU11は、ROM13に格納されたゲームプログラムを実行し、ゲーム装置1の制御を行なう。また、CPU11は時間を計時する内部タイマを備えている。RAM12は、CPU11のワークエリアである。HDD14は、プログラムやデータを保存するための記憶領域である。
CPU11は、ゲームの進行に必要なプログラム及びデータをRAM12から読み出して処理を行なう。CPU11は、RAM12にロードされたプログラム及びデータを処理することで、サウンド出力の指示をサウンド処理部15に出力し、描画命令をグラフィック処理部16に出力する。
サウンド処理部15は、スピーカ5に接続されている。CPU11がサウンド出力の指示をサウンド処理部15に出力すると、サウンド処理部15はスピーカ5にサウンド信号を出力する。
グラフィック処理部16は液晶モニタ3に接続されている。CPU11が描画命令をグラフィック処理部16に出力すると、グラフィック処理部16は、フレームメモリ(フレームバッファ)20に画像を展開し、液晶モニタ3上に画像を表示するためのビデオ信号を出力する。グラフィック処理部16は、フレーム単位で1枚の画像の描画を実行する。画像の1フレーム時間は、例えば30分の1秒である。
インターフェイス部19には、入力部4が接続されている。プレイヤによる入力部4およびタッチ入力検出部17からの入力情報はRAM12に格納され、CPU11は入力情報をもとに各種の演算処理を実行する。
通信インターフェイス18は無線により通信ネットワークに接続される。また、通信インターフェイス18は、アンテナ21を有する通信ユニットを介して、他のゲーム装置1と無線により通信を行ない、ゲーム情報等の送信を行う。
次に、本発明の実施の形態について説明する。図3は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の表示画面の一例を示す図である。図3に示す、第一の実施の形態では、タッチパネル式の表示画面が複数の入力領域36に分割されている。これらの入力領域36は、それぞれが異なるトラック(楽器)に対応する入力領域36であり、例えば、入力領域36aはヴァイオリン、入力領域36bはコントラバス、入力領域36cはフルート、入力領域36dはホルンに対応している。また、表示画面の上側中央部には、指示標識表示領域37が設けられている。指示標識表示領域37には、楽曲の再生にあわせて、指示標識33が順次表示される。
例えば、円形の指示標識33が最初は点状の小さい状態で表示され、時間の経過にともなって徐々に大きく表示されるような構成とすることができる。指示標識33が最も大きく表示されている間に、プレイヤはタッチパネルの所定の入力領域36において、後述する「タップ」等の接触操作(接触操作とは、指やスタイラスなどをタッチパネル式の表示画面に接触させる操作をいう)をすることが求められる。なお、プレイヤが入力すべきタイミングをより明確にするために、指示標識が最も大きく表示され、入力すべきタイミングであるときに、指示標識33を通常とは異なる色で表示したり、或いは、指示標識33が光っているようなアニメーションを表示することも可能である。
指示標識33が最も大きく表示され、プレイヤが入力すべきタイミングを過ぎた後は、時間の経過とともに指示標識33の大きさが小さくなり、点状に表示された後に、表示が消去される。1つの指示標識33の表示が終了すると、また、新たな指示標識33がその大きさを変化させながら表示されるということが繰り返される。
表示される指示標識33がいずれのトラックに対応するものであるかについては、指示標識33の色や模様等で判断することができる。例えば、入力領域36a〜dのそれぞれについて、それぞれ異なるに背景色で表示しているような場合に、指示標識33をその背景色に対応する色で表示することで、指示標識33に対応するトラックがいずれのものであるかを、プレイヤに判断させることが可能となる。例えば、入力領域36aにおいて、背景色を青色としていた場合に、指示標識33の外周を同一の色である青色で表示することで、指示標識33が入力領域36aのヴァイオリンに対応するトラックであることが特定できる。この場合、プレイヤは、所定のタイミングで、入力領域36aにて「タップ」操作を行う必要がある。「タップ」操作に失敗した場合は、ヴァイオリンに関するトラックの楽曲データの音高やテンポ等が制御されるため、ヴァイオリンの音が違和感のあるものとなる。
また、指示標識33と、入力領域36の背景色を対応させる方法とは別に、指示標識33の模様で、対応する入力領域36をプレイヤに判断させることも可能である。例えば、円形の指示標識33の中央に、ヴァイオリン、コントラバス、フルート、ホルンのいずれかの図柄を表示することで、対応する入力領域36とトラックを特定することが可能となる。
図4は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の表示画面の一例を示す図である。図4に示す、第二の実施の形態では、第一の実施の形態と同様に、タッチパネル式の表示画面が複数の領域に分割されている。これらの領域は、それぞれが異なるトラック(楽器)に対応する入力領域であり、例えば、入力領域36aはヴァイオリン、入力領域36bはコントラバス、入力領域36cはフルート、入力領域36dはホルンに対応している。
また、表示画面の中央より上側には、表示画面の左端から右端にわたって、直線状の時間軸31が設けられる。時間軸31の中央より左側には、指示標識33が通過する際の入力操作の判定を行うための基準となる基準位置を示す基準線32が設けられている。基準線32は、時間軸31に垂直な方向に表示される。なお、指示標識33とは、表示画面上に表示され、タッチパネルを介してプレイヤが入力すべき操作を示すもので、プレイヤに求める操作に応じて、その表示される形状や模様が異なるものである。指示標識33の形状や模様は、適宜、設定することができるが、通常は、プレイヤに求める操作がイメージしやすい形状や模様とすることが好ましい。
指示標識33は、まず、時間軸31の右端上に表示され、時間の経過とともに一定の速度で、それぞれの時間軸31に沿って、左方向へ移動する。時間軸31上には複数の指示標識33を表示することが可能であり、プレイヤに要求する接触操作の仕方に応じて、異なる模様や形状の指示標識33が採用される。表示される指示標識33がいずれのトラックに対応するものであるかについては、第一の実施の形態と同様に、指示標識33の色や模様等で判断することができる。例えば、図4のように、円形の指示標識33a〜dの中央に、ヴァイオリン、コントラバス、フルート、ホルンの図柄をそれぞれ表示することで、対応する入力領域36とトラックを表示する方法を採用することができる。その他の方法としては、入力領域36a〜dのそれぞれについて、それぞれ異なるに背景色で表示しているような場合に、指示標識33a〜dをその背景色に対応する色で表示する方法を採用することも可能である。
指示標識33は、時間軸31に沿ってその右端から左端までを所定の速度で移動し、左端まで到達すると表示されなくなる。指示標識33が基準線32に到達すると、指示標識33の全てが基準線32を通過するまで、指示標識33に対応する入力領域36におけるタッチパネルへの入力が検知される。この検知された入力操作が、指示標識33に対応する基準値をもとに判定され、その判定結果に応じて、指示標識33に対応するトラックの楽曲データの音高やテンポ等が制御される。したがって、入力領域36aに対応する指示標識33が基準線32に到達したにもかかわらず、誤って入力領域36bにおいて接触操作がなされた場合は、入力すべき操作がされていないと判定されることになる。この場合、入力領域36aに対応するヴァイオリンのトラックの音高、テンポ等が制御される。
図5は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の表示画面の一例を示す図である。図5に示す、第三の実施の形態では、第二の実施の形態と同様に、直線状の時間軸31が設けられ、この時間軸31上を指示標識33が移動し、指示標識33が基準線32を通過する間に、プレイヤに所定の接触操作を求めるものとなっている。ただし、図5に示すように、複数の時間軸31a〜dが設けられている。
時間軸31はそれぞれが異なる楽曲データ(楽器の演奏データ)に対応するものであり、例えば、時間軸31aはヴァイオリン、時間軸31bはコントラバス、時間軸31cはフルート、時間軸31dはホルンに対応する。時間軸31a〜dの中央より左側には、指示標識33e〜hが通過する際の入力操作の判定を行うための基準となる基準位置を示す基準線32a〜dがそれぞれ設けられている。基準線32a〜dは、時間軸31a〜dに垂直な方向に表示される。なお、図5では、4本の時間軸31を設けているが、時間軸31の数について特に制限はなく、ゲームのコンセプトや難易度等に応じて、適宜設計することが可能である。
指示標識33は、まず、時間軸31a〜dのいずれかの右端上に表示され、時間の経過とともに一定の速度で、それぞれの時間軸31に沿って、左方向へ移動する。時間軸31上には複数の指示標識33e〜hを表示することが可能であり、プレイヤに要求する接触操作の仕方に応じて、異なる模様や形状の指示標識33が採用される。プレイヤは、指示標識33が基準線32に到達した段階で、タッチパネルへの入力操作を行う必要がある。指示標識33が基準線32に到達すると、指示標識33の全てが基準線32を通過するまで、プレイヤによるタッチパネルへの入力が検知される。この検知された入力操作が、指示標識33に対応する基準値をもとに判定され、その判定結果に応じて、指示標識33に対応するトラックの演奏データが制御される。たとえば、指示標識33eは時間軸31a上を移動するものであるので、指示標識33eはヴァイオリンのトラックに対応するものであり、プレイヤの接触操作の判定結果に応じて、ヴァイオリンの演奏データの音高やテンポが変化することになる。同様に、指示標識33fは時間軸31b上を移動するものであるので、この指示標識33fはコントラバスのトラックに対応するものである。
図3〜図5に示すように、第一の実施の形態〜第三の実施の形態のいずれにおいても、表示画面の中央には、各種楽器を演奏しているキャラクタ34が多数、表示されている。キャラクタ34は、例えば、ヴァイオリン、チェロ、コントラバスなどの弦楽器、フルート、オーボエ、クラリネットなどの木管楽器、ホルン、トランペット、トロンボーンなどの金管楽器、シンバルなどの打楽器等をそれぞれ担当しており、各キャラクタ34が担当する楽器を演奏している。
楽曲の再生時間にあわせて、これらキャラクタ34の表示も変化する。例えば、ヴァイオリンの演奏が盛り上がるようなメロディの場合は、ヴァイオリンの奏者に関するキャラクタ34の動作を大きくしたり、速くしたりすることができる。また、指示標識33により要求された入力操作にプレイヤが成功した場合、失敗した場合に応じて、その指示標識33に対応する楽器の奏者に関するキャラクタ34のアニメーションを変化させることができる。例えば、ヴァイオリンに対応する指示標識33により要求された入力操作にプレイヤが成功した場合に、ヴァイオリン奏者であるキャラクタ34が喜んでいるようなアニメーション表示をすることができる。一方、ヴァイオリンに対応する指示標識33により要求された入力操作にプレイヤが失敗した場合に、ヴァイオリン奏者であるキャラクタ34の顔が青ざめたり、泣いているようなアニメーション表示をすることができる。このように指示標識33により要求された入力操作にプレイヤが失敗した場合、指示標識33に対応する楽器の演奏データも違和感のあるものとなり、そのうえ、該楽器の担当奏者のアニメーション表示も青ざめたり、泣いているようなアニメーションが表示されるため、プレイヤは、実際にオーケストラを指揮しているような感覚を、強く感じることが可能となる。
また、表示画面の上側中央部には、プレイヤがゲームの進行により獲得したポイント35が表示される。プレイヤが指示標識33により要求された入力操作に成功した場合は、ポイント35に加算されていき、楽曲の演奏(再生)が終了した段階でのポイントの高さを競うゲームとすることができる。
指示標識33により要求された入力操作に、プレイヤが失敗した場合は、ポイント35を特に変動させなくてもよく、或いは、ポイント35を減算させることも可能である。プレイヤが要求された入力操作に失敗した場合は、指示標識に対応するトラックの演奏データが制御され、出力される。例えば、MIDI形式の演奏データについて、音高(ピッチ)、テンポ、フォルマント等が変更され、出力される。
指示標識33に対応した基準値と、プレイヤの入力操作の解析結果との相違によって、音高、テンポ等のいずれを変化させ、その変化の度合いをどの程度とするかが決定される。なお、演奏データの音高、テンポ、フォルマントの3つの要素を制御する場合、テンポを変化させても音高が変わったり、或いは、音高を変化させても楽曲の再生の速さやフォルマントが変わったりすることなく、楽曲データの音高を維持しながらテンポを変えたり、再生の速さやフォルマントを維持しながら音高を変えることも可能である。
複数のトラックにて、異なる楽器の演奏データを同時に再生することで、オーケストラによる演奏を再現することが可能であるが、演奏データが変更された部分については、本来の演奏と比較して、音程が外れたり、テンポがずれたり、といった違和感の感じられるものとなる。そのため、楽曲の再生により再現されるオーケストラの演奏も、違和感のあるものとなる。
次に、指示標識33について、詳細を説明する。図6は、本発明の実施の形態の少なくとも1つに対応する、ゲーム装置の表示画面に表示される指示標識の例を示す図である。図6(a)は「タップ」の指示標識33を表すもので、二重の円からなる円形マーク33aのみで構成される。「タップ」は最も基本的な操作を表すもので、指示標識33が時間軸31上の基準線32に到達してから通過し終えるまでの間に、タッチパネルへの接触操作を行うことが求められる。
図6(b)は「はねタップ」の指示標識33を表すもので、二重の円からなる円形マーク33bと方向表示部33cが設けられている。方向表示部33cは円形マーク33bの外側の円に接するように設けられ、円の中心とは逆方向に鋭角を形成している。この鋭角の指す方向により、「はねタップ」の方向が特定される。つまり、「はねタップ」は、指やタッチペンなど(以下、指等ともいう)をタッチパネルに接触させた状態から、所定の方向へ移動させつつ、タッチパネルとは接触していない状態へと跳ね上げるように移動させる操作であり、該所定の方向は、方向表示部33cの鋭角が指す方向により特定される。
方向表示部33cは、上方向、下方向、左方向及び右方向と、右上方向、左上方向、右下方向及び左下方向との八方向の中のいずれかの方向を指すことが可能である。例えば、楽曲のリズムやテンポ、音の強弱に合わせて、プレイヤが求められる「はねタップ」の方向を変えることで、プレイヤはオーケストラの指揮者のような感覚をもちながら、ゲームをプレイすることが可能となる。
図6(c)は「長押しはねタップ」の指示標識33を表すもので、二重の円からなる円形マーク33d、33eと方向表示部33fが設けられている。円形マーク33dと円形マーク33eは、二本の直線により表示される連結部33gにより連結されている。左側に表示されている円形マーク33dは、プレイヤがタッチパネルに指等で接触するタイミングを示すものであり、円形マーク33eは、プレイヤがタッチパネルから指等で接触していない状態へと跳ね上げるタイミングを示すものである。つまり、円形マーク33dが基準線32に到達した時点でタッチパネルに接触し、しばらく接触を続けた後(長押しを続けた後)、円形マーク33eが基準線32に到達した時点で、所定の方向へ指等を跳ね上げることが要求される。
また、方向表示部33fは、「はねタップ」の場合と同様に、円形マーク33eの外側の円に接するように設けられ、円の中心とは逆方向に鋭角を形成している。この鋭角の指す方向により、「長押しはねタップ」の方向が特定される。つまり、タッチパネルとは接触していない状態へと跳ね上げる際の移動方向が、方向表示部33fの指す方向により特定される。
図6(d)は「ゆらぎ」の指示標識33を表すもので、二重の円からなる円形マーク33hと33iが、表示画面の下側に膨らんだ2本の曲線により表示される連結部33jにより連結されている。左側に表示されている円形マーク33hは、プレイヤがタッチパネルに指等で接触するタイミングを示すものであり、円形マーク33iは、プレイヤがタッチパネルから指等を離すタイミングを示すものである。つまり、「ゆらぎ」とは、指やタッチペンなどをタッチパネルに接触した状態で、左から右へと弧を描きながら移動させる操作であり、円形マーク33hが基準線32に到達した時点でタッチパネルに接触し、接触位置を左から右へ移動させた後、円形マーク33iが基準線32に到達した時点で、指等をタッチパネルから離すことが要求される。
図6(e)は「ピンチイン」の指示標識33を表すもので、二重の円からなる円形マーク33kと33nが、右下がりに傾斜した二本の直線により表示される連結部33qにより連結されている。また、同様に、円形マーク33mと33pが、右上がりに傾斜した二本の直線により表示される連結部33rにより連結されている。連結部33qと33rの右端に位置する円形マーク33nと33pは、上下に並んで互いに接している。円形マーク33kと33mの距離は、プレイヤが「ピンチイン」を開始した時点における、タッチパネルと接触した二本の指と指の接触位置の距離を表すものであり、円形マーク33nと33pの距離は、プレイヤが「ピンチイン」を終了した時点における指の接触位置の距離を表すものである。そして、連結部33qと33rの上下間の間隔は右側になるほど狭くなっており、時間が経過するにつれて二本の指の接触位置の距離が短くなることを示すものである。
つまり、「ピンチイン」とは、二本の指をタッチパネルに接触させた状態で、その接触位置間の距離を縮めていく操作であり、円形マーク33kと33mが基準線32に到達した時点において二本の指を所定の間隔で離れた位置でタッチパネルに接触させておき、時間の経過とともに、指と指の間にあるものをつまむように、その接触位置間の距離が短くなるように移動させ、さらに、円形マーク33nと33pが基準線32に到達した時点で、二本の指が近接した位置でタッチパネルと接触していることが要求される。
図6(f)は「ピンチアウト」の指示標識33を表すもので、二重の円からなる円形マーク33sと33uが、右上がりに傾斜した二本の直線により表示される連結部33wにより連結されている。また、同様に、円形マーク33tと33vが、右下がりに傾斜した二本の直線により表示される連結部33xにより連結されている。連結部33wと33xの左端に位置する円形マーク33sと33tは、上下に並んで互いに接している。円形マーク33sと33tの距離は、プレイヤが「ピンチアウト」を開始した時点における、タッチパネルと接触した二本の指と指の接触位置の距離を表すものであり、円形マーク33uと33vの距離は、プレイヤが「ピンチアウト」を終了した時点における指の接触位置の距離を表すものである。そして、連結部33wと33xの上下間の間隔は右側になるほど広くなっており、時間が経過するにつれて二本の指の接触位置の距離が長くなることを示すものである。
つまり、「ピンチアウト」とは、二本の指をタッチパネルに接触させた状態で、その接触位置間の距離を拡げていく操作であり、円形マーク33sと33tが基準線32に到達した時点において二本の指を近接する位置でタッチパネルに接触させておき、時間の経過とともに、指と指の間隔を拡げて、その接触位置間の距離が長くなるように移動させ、さらに、円形マーク33uと33vが基準線32に到達した時点で、二本の指が所定の間隔で離れた位置でタッチパネルと接触していることが要求される。
図6(g)は「タップ」の指示標識33を表すもので、円形マーク33yから構成されるが、上で述べたように、円形マーク33yの中央に指示標識33に対応する楽器の図柄(ここでは、ヴァイオリンの図柄)を表示することができる。
次に、本発明の実施の形態にかかる指示標識管理テーブルについて説明する。図7は、本発明の実施の形態の少なくとも1つに対応する、指示標識管理テーブルを示す図である。指示標識管理テーブル40はRAM12に設定されるもので、楽曲の再生中に、複数の指示標識33から、どの指示標識33を表示してプレイヤに所定の入力操作を求めるのかを特定するものである。
指示標識管理テーブル40には、表示開始時間41に関連付けて指示標識33の種類42及び指示標識33に対応する楽器43が記憶されている。標示開始時間41は、楽曲の再生が開始されてからの経過時間に対応するもので、種類42にて特定される指示標識33について、表示画面上にて表示が開始される時間を指すものである。したがって、楽曲の再生を開始してから表示開始時間41で特定される時間が経過すると、それに対応する指示標識33が表示画面に表示される。図3、図4に示す第一の実施の形態及び第二の実施の形態の場合であれば、種類42で特定される指示標識33であって、楽器43の図柄を有する指示標識33、或いは、楽器43に対応する入力領域36の背景色と同色の指示標識33等が表示される。一方、図5に示す第三の実施の形態の場合であれば、種類42で特定される指示標識33が、楽器43に対応する時間軸31上に表示される。なお、指示標識管理テーブル40は楽曲ごとに設けられるもので、再生される楽曲ごとに異なる指示標識管理テーブル40が採用される。
次に、本発明の実施の形態にかかる指示標識基準値テーブルについて説明する。図8は、本発明の実施の形態の少なくとも1つに対応する、指示標識基準値テーブルを示す図である。指示標識基準値テーブル50はRAM12に設定されるもので、指示標識33の種類ごとに定められる、プレイヤの入力操作を判定するための基準値を特定するものである。
指示標識基準値テーブル50には、指示標識の種類51(種類42に対応する)ごとに基準値52が記憶されている。プレイヤにより入力された入力操作について解析が行われ、この基準値52に従ってその適否が判定される。プレイヤから入力された入力操作の解析結果が、例えば、基準値52の−10〜+10%の範囲内であれば適切な操作であるとして、基準値に対して所定の誤差内であれば、操作が適切になされたものとして判定することができる。
「はねタップ」の場合は、基準値52として、指等を跳ね上げる操作における、指等の移動方向を示す方向ベクトル、その移動量が設定されている。プレイヤによる入力操作がなされると、プレイヤの入力操作の結果から、プレイヤの指等の移動時の方向ベクトルと移動量を解析し、基準値52の方向ベクトルと移動量との比較がなされ、その適否が判定される。「長押しはねタップ」の場合は、基準値52として、長押し操作における接触時間と、指等を跳ね上げる操作における、指等の移動方向を示す方向ベクトル、その移動量が設定されている。「ゆらぎ」の場合は、基準値52として、指等を左右に移動させる操作における指等の移動量が設定されている。「ピンチイン」、「ピンチアウト」の場合は、基準値52として、操作開始時及び操作終了時における二つの接触位置間の距離と、接触位置の移動量が設定されている。
次に、本発明の第一の実施の形態にかかる楽曲データの変更処理について説明する。図9は、本発明の実施の形態の少なくとも1つに対応する、楽曲データの変更処理のフローチャートを示す図である。まず、楽曲の再生開始とともに計時が開始され、指示標識管理テーブル40にしたがって指示標識33の表示が開始される(ステップS1)。時間の経過とともに、指示標識33が拡大表示される(ステップS2)。
指示標識33の表示開始から所定の時間が経過すると、プレイヤの入力操作の検知を開始する検知開始時間となると(ステップS3)、プレイヤからの入力操作が、タッチ入力検出部17にて検知される(ステップS4)。そして、さらに、所定の時間が経過すると、プレイヤの入力操作に対する検知を終了する検知終了時間となる(ステップS5)。
指示標識33に対応する楽器43について定められた入力領域36における入力操作(タップ操作)がステップS4においてなされたと判定されると(ステップS6にてYES)、ポイントが加算される(ステップS7)。そして、特に楽曲に変化が加えられることなく、楽曲の再生が継続される。
指示標識33に対応する楽器43について定められた入力領域36における入力操作(タップ操作)がステップS4においてなされなかったと判定されると(ステップS6にてNO)、楽曲の変化情報が特定される(ステップS8)。タップ操作が適切になされなかった場合、音高やテンポ等のいずれを、どれだけ変化させるかは、予め定められている。ステップS8にて、楽曲の変化情報が特定されると、特定された変化情報にしたがって、指示標識33に対応する楽器43の演奏データの音高、テンポ等が制御されながら(ステップS9)、その他の演奏データとともに楽曲が再生される。
また、ステップS6において、適切な操作がなされなかったと判定される場合に、ステップS8及びS9のステップと並行して、判定の対象となった指示標識33に対応する楽器43を演奏しているキャラクタ34のアニメーション(例えば、顔が青ざめたり、泣いているようなアニメーション)を表示することも可能である。
演奏データの音高、テンポ等の制御が終了すると、通常通り、演奏データが再生される。これらのステップS1〜S9までのステップは、楽曲の再生が開始されてから、終了するまで継続して行われる。
なお、プレイヤが所定のタイミングでタップ操作ができなかった場合に、演奏データの音高やテンポを制御するのではなく、指示標識33に対応するトラックの音量を制御して、演奏データを再生することも可能である。この場合、ステップS9において演奏データの音量を制御して、基準の音量よりも大きくしたり、小さくしたりすることができる。出力される音量の変化は、例えば、アンプを制御することにより行われる。
次に、本発明の第二の実施の形態及び第三の実施の形態にかかる楽曲データの変更処理について説明する。図10は、本発明の実施の形態の少なくとも1つに対応する、楽曲データの変更処理のフローチャートを示す図である。まず、楽曲の再生開始とともに計時が開始され、指示標識管理テーブル40にしたがって指示標識33が表示される(ステップS11)。時間の経過とともに、指示標識33が時間軸31上を右側から左方向へ移動表示される(ステップS12)。
指示標識33が時間軸31上を移動し、基準線32に到達すると(ステップS13)、プレイヤからのタッチパネルへの入力がタッチ入力検出部17にて検知される(ステップS14)。そして、指示標識33が基準線32を通過する(ステップS15)と、ステップS14にて検知された入力操作が解析される(ステップS16)。指示標識33が基準線32に到達してから通過するまでの時間が、プレイヤの入力操作を判定するための判定時間となり、この判定時間内に行われた入力操作が解析の対象となる。したがって、判定時間は指示標識33の大きさや形状に応じて特定される。ステップS16の入力操作の解析により、指等のタッチパネルへの接触時間、指等とタッチパネルの接触位置の移動量とその移動方向などが特定される。なお、第二の実施の形態の場合は、指示標識33に対応する楽器43について定められた入力領域36における入力操作のみが解析の対象となるが、第三の実施の形態の場合は、タッチパネル上で行った入力操作であれば、特に指等とタッチパネルが接触する領域に関係なく、解析の対象となる。
ステップS16にて入力操作の解析が行われると、指示標識基準値テーブル50を参照し、判定の対象となっている指示標識33に対応する基準値52をもとに、プレイヤの入力操作の解析結果について、その適否が判定される(ステップS17)。解析結果により特定される接触時間、移動量、移動方向が、基準値52に対して所定の範囲内であれば、適切な操作がなされたと判定される。一方、基準値52に対して所定の範囲外であれば、適切な操作がなされなかったと判定される。なお、指示標識33が「タップ」に対応するものである場合は、「タップ」には基準値52という概念がないため、指示標識33が基準線32に到達してから通過するまでに、入力操作がされたか否かのみが判定の対象となる。
判定の結果、適切な操作がなされたと判定されると(ステップS17にてYES)、判定にしたがってポイントが加算される(ステップS18)。そして、特に楽曲に変化が加えられることなく、楽曲の再生が継続される。
判定の結果、適切な操作がなされなかったと判定されると(ステップS17にてNO)、ステップS16における解析結果と、判定の対象となっている指示標識33に対応する基準値52をもとに、楽曲の変化情報が特定される(ステップS19)。なお、ステップS17にて、適切な操作がなされなかったと判定された場合であっても、ステップS19を実行する前に、ポイントを減算することも可能である。
ステップS19にて、楽曲の変化情報が特定されると、特定された変化情報にしたがって、複数の演奏データのうち、指示標識33に対応する楽器43の演奏データの音高、テンポ等が制御されながら(ステップS20)、その他の演奏データとともに楽曲が再生される。
また、ステップS17において、適切な操作がなされなかったと判定される場合に、ステップS19及びS20のステップと並行して、判定の対象となった指示標識33に対応する楽器43を演奏しているキャラクタ34のアニメーション(例えば、顔が青ざめたり、泣いているようなアニメーション)を表示することも可能である。
演奏データの音高、テンポ等の制御が終了すると、通常通り、演奏データが再生される。これらのステップS11〜S20までのステップは、楽曲の再生が開始されてから、終了するまで継続して行われる。
ところで、ステップS19において楽曲の変化情報が特定されるが、指示標識33ごとに、基準値に対する解析結果の相違と、音高・テンポ等の変化量との対応関係は予め定められている。例えば、はねタップの方向ベクトルに相違があった場合は音高が変化し、はねタップの移動量に相違があった場合はテンポが変化する。はねタップだけでなく、長押しはねタップやゆらぎについても同様に、前記対応関係が定められている。
また、音高・テンポだけでなく、音量が変化するような構成とすることもできる。指示標識33に対応した入力操作にプレイヤが失敗したような場合に、一時的に、基準の音量よりも音量が大きくなり、又は、小さくなるような構成とすることもできる。
図11は、本発明の実施の形態の少なくとも1つに対応する、基準値に対する解析結果の相違と、音高・テンポの変化量との対応関係を示す図である。ステップS19においては、基準値52に対して、プレイヤの入力操作の解析結果がどのような割合であるかをもとに、図11のような予め定められた対応関係に基づいて、楽曲の変化情報が特定される。なお、はねタップ以外の指示標識33についても、同じような対応関係が予め定められている。
例えば、指の接触位置の移動量についての解析結果が、基準値52の−10〜+10%の範囲内であれば適切な操作であると設定したような場合に、図11に示すように、移動量の解析結果が基準値52の−10%未満で−20%以上のときは、音程を、楽曲データに記憶された基準となる音(以下、基準音という)から低音側に半音下げ、移動量の解析結果が基準値52の−20%未満のときは、音程を基準音から低音側に一音下げる、といった具合である。つまり、解析結果が基準値52の−10%未満で−20%以上のときは、「ド」の音が「シ」の音となり、解析結果が基準値52の−20%未満のときは、「ド」の音が「ラ♯」の音となる。また、逆に、解析結果が基準値52の10%より大きく20%以下のときは、音程を基準音から高音側に半音上げ、解析結果が基準値52の20%より大きいときは、音程を基準音から高音側に一音上げるといった具合である。なお、プレイヤの指の位置の移動方向については、図11に示すように、方向ベクトルについての基準値と、実際の入力操作における方向ベクトルの内積をもとに、楽曲データの変化量を決定することができる。
なお、楽曲データのうち、指示標識33が基準位置32を通過したタイミングとほぼ同時に出力される一音のみを、音高、テンポ等の変更の対象としてもよく、或いは、基準位置32を通過したタイミングとほぼ同時に出力される音から1フレーズ分、又は、数秒間を音高、テンポ等の変更の対象としてもよい。これらの設定は、ゲームのコンセプトや難易度に応じて、適宜、設計することができる。
楽曲データの音高、テンポ、フォルマントをリアルタイムで制御する技術としては、公知の技術を用いることができる。通常、テンポを変化させると音高も変化したり、或いは、音高を変えると、楽曲の再生スピードやフォルマントも変わってしまうということがあるが、これら3つの要素を同時に制御することで、音高を維持しながら、テンポを変化させたり、楽曲の再生スピードやフォルマントを維持しながら、音高を変化させることが可能である。
上の実施の形態では、主に、タッチパネル式の表示装置に対して入力操作を行う場合について説明したが、別の実施の形態として、加速度センサとジャイロセンサを備えた入力装置を有するゲーム装置を用いて本発明を実施することも可能である。まず、楽曲の再生開始とともに計時が開始され、指示標識管理テーブル40にしたがって指示標識33が表示画面に表示される。時間の経過とともに、指示標識33が要求する所定の操作を入力すべき所定のタイミングとなると(例えば、指示標識33が時間軸31上の基準線32に到達すると)、入力装置に備えられた加速度センサ及びジャイロセンサにより、入力装置の移動に伴う加速度の大きさ及び角速度の大きさが検知される。そして、検知された加速度の大きさ及び角速度の大きさをもとに、入力装置の移動距離と移動方向が解析される。
移動操作の解析が行われると、指示標識基準値テーブル50を参照し、判定の対象となっている指示標識33に対応する基準値52をもとに、解析結果の適否が判定される。解析結果により特定される移動時間、移動量、移動方向が、基準値52に対して所定の範囲内であれば、適切な操作がなされたと判定される。一方、基準値52に対して所定の範囲外であれば、適切な操作がなされなかったと判定される。次いで、判定にしたがって、指示標識33に対応する演奏データの音高、テンポ等の制御がなされる。
上の実施の形態では、主に、ゲーム装置としてスマートフォンを採用した場合について説明したが、いわゆるクラウドゲームに適用することも可能である。クラウドゲームは、一般的に、プレイヤがクライアント装置で入力した操作情報がサーバ装置に送信され、サーバ装置にて操作情報に応じてゲームの進行処理がなされ、さらに、クライアント装置にて表示するためのゲーム画像データをサーバ装置にて生成し、生成されたゲーム画像データをクライアント装置に送信するものである。クライアント装置には、ゲーム画像と音声がストリーミングにて配信される。
図12は、本発明の実施の形態の少なくとも1つに対応する、ゲームシステムの構成を示すブロック図である。クライアント装置60とサーバ装置70は、通信ネットワーク80を介して通信接続が可能である。サーバ装置70では、クライアント装置60にて入力された操作情報を受信し、受信した操作情報をもとに入力操作が解析される。クライアント装置の表示装置において、指示標識33が基準線32に到達してから通過するまでの時間が、プレイヤの入力操作を判定するための判定時間となり、この判定時間内に行われた入力操作が解析の対象となる。
サーバ装置70にて入力操作の解析が行われると、指示標識基準値テーブル50を参照して、判定の対象となっている指示標識33に対応する基準値52をもとに、プレイヤの入力操作の解析結果について、その適否が判定される。解析結果により特定される接触時間、移動量、移動方向が、基準値52に対して所定の範囲内であれば、適切な操作がなされたと判定される。一方、基準値52に対して所定の範囲外であれば、適切な操作がなされなかったと判定される。
判定の結果、適切な操作がなされたと判定されると、判定結果に応じたゲーム画像データが生成され、ゲーム画像データと楽曲データが同期しながら、サーバ装置70からクライアント装置60へ送信される。判定の結果、適切な操作がなされなかったと判定されると、指示標識33に対応する楽器の楽曲データが制御され、さらに、判定結果に応じたゲーム画像データが生成され、これらのゲーム画像データと楽曲データが同期しながら、サーバ装置70からクライアント装置60へ送信される。クライアント装置60では、受信したゲーム画像データをもとに表示装置にゲーム画面が表示され、受信した楽曲データをもとに音再生装置にて楽曲が再生される。