JP2019126416A - ゲームプログラムおよびゲーム機 - Google Patents

Abstract

【課題】ユーザのパフォーマンスを評価するゲームにおいて、その場の盛り上がり度合を評価することのできるゲームのゲーム装置を提供する。【解決手段】ＣＰＵは、センサ（モーションセンサ、光検出装置、光放出部）からの入力信号に基づき、ユーザの身体の動きに基づくパフォーマンスの激しさの程度に関する第１指標値を取得する第１指標値取得手段２０２、および、ディスプレイ（表示部およびディスプレイ）で表示する映像として、取得した第１指標値に基づいてパフォーマンスの激しさの程度が高いほど大きな盛り上がりを表す盛り上がり映像を生成する映像生成手段２０３、として機能する。【選択図】図３

Description

本発明は、ユーザのパフォーマンスを評価するゲームのゲームプログラムおよびゲーム機に関する。

従来、いわゆるカラオケにおいて、歌唱の正確さを評価すると共に、点数によってその結果を画面に表示する技術は周知である。また、ユーザが、画面に表示されたキャラクタの動作に合わせてダンスを踊り、そのユーザの動きの正確さを判定するゲームも知られている（非特許文献１参照）。

"ダンスエボリューション"、［online］、2010年9月8日、株式会社コナミデジタルエンタテインメント、［2017年12月23日検索］、インターネット（URL: http://www.konami.jp/products/danceevolution/）

ところで、上述したいずれの公知技術も、ユーザの歌唱またはダンスといったパフォーマンスの「正確さ」を判定するだけである。しかし、正確さは、ユーザのパフォーマンスを評価し得る複数の観点のうちの１つでしかない。例えば、ユーザの中には、歌唱の正確さは乏しくても、その場を盛り上げる術に長けている者もいる。そして、このようなユーザのためには、場の盛り上がり度合を客観的に評価することが望ましい。

そこで本発明は、ユーザのパフォーマンスを評価するゲームにおいて、そのパフォーマンスの正確さにかかわらず場の盛り上がり度合を評価することのできるゲームプログラムおよびゲーム装置を提供することを目的とする。

第１の発明は、ユーザの身体の動きに基づくパフォーマンスを検出するセンサとディスプレイとコンピュータとを備えるゲームシステムにおいて前記コンピュータに実行させるゲームプログラムであって、前記コンピュータを、前記センサからの入力信号に基づき、前記ユーザによるパフォーマンスの激しさの程度に関する第１指標値を取得する第１指標値取得手段、および、前記ディスプレイで表示する映像として、取得した前記第１指標値に基づいて前記パフォーマンスの激しさの程度が高いほど大きな盛り上がりを表す盛り上がり映像を生成する映像生成手段、として機能させる。

これにより、コンピュータが上記ゲームプログラムを実行すると、ユーザのパフォーマンスの激しさを指標として場の盛り上がり度合を評価することができる。そして、コンピュータは、その評価結果に応じた映像をディスプレイに表示することができる。

また、第１の発明において、前記コンピュータを、オブジェクトが配置された仮想空間を生成する仮想空間生成手段、前記センサからの入力信号に基づき、前記仮想空間内における前記オブジェクトを制御するオブジェクト制御手段、として更に機能させ、前記第１指標値取得手段は、ユーザによる前記オブジェクトに対するパフォーマンスに基づいて前記第１指標値を取得するようにしてもよい。

これにより、本ゲームは、ユーザによる仮想空間内のオブジェクトに対するパフォーマンスの激しさに基づき、第１指標値を取得することができる。例えば、仮想空間内に配置されたオブジェクトとしてのギターまたはピアノ等の楽器の演奏（パフォーマンス）に基づき、第１指標値を取得できる。あるいは、ユーザの動作に連動するキャラクタを仮想空間に配置し、このキャラクタを操作してスタンドマイクを振り回すなどのパフォーマンスを実行する場合には、このパフォーマンスに基づいて第１指標値を取得することができる。

また、第１の発明において、前記ゲームシステムは、楽曲データを記憶する記憶部と、前記楽曲データに基づいて楽曲を出力するスピーカと、を更に備え、前記楽曲データは、メロディー、伴奏、および、リズムのうち少なくとも１つを含み前記スピーカで出力される音データと、前記音データにおいて前記パフォーマンスの激しさの程度を判断するパートおよび前記パフォーマンスの正確さの程度を判断するパートをそれぞれ特定するパート識別データと、を含み、前記コンピュータを、前記パート識別データに基づき、前記映像生成手段および前記スコア決定手段の実行を管理する進行管理手段、として更に機能させてもよい。

これにより、いわゆるカラオケにおいて、盛り上がり度合および歌唱の正確さの両方を評価することができる。

また、第１の発明において、前記コンピュータを、前記センサからの入力信号に基づき、前記ユーザによるパフォーマンスの正確さの程度に関する第２指標値を取得する第２指標値取得手段、および、取得した前記第２指標値に基づき、前記パフォーマンスの正確さの程度が高いほど、高くなるようスコアを決定するスコア決定手段、として更に機能させてもよい。

これにより、歌唱、楽器の演奏、またはダンス等において、場の盛り上がり度合の評価と実演の正確さの評価の両方を行うことができる。

また、第１の発明において、前記第１指標値は、ユーザによるアクションの大きさの程度、ユーザによるアクションのスピードの程度、および、ユーザにより生成される音のボリュームの程度のうち、少なくとも１つに関するものであってもよい。

これにより、コンピュータは、ユーザのパフォーマンスからその場の盛り上がり度合をより正確に評価することができる。

また、第１の発明において、前記盛り上がり映像は、前記ユーザによるパフォーマンスに反応する複数の観客の映像を含んでおり、前記観客の映像は、盛り上がりが大きいほど、前記観客の反応のテンションが高くなるように表されてもよい。

これにより、「盛り上がり」という評価対象により適した表現方法で、評価結果を出力することができる。つまり、従来公知の歌唱等の「正確さ」は点数によって評価結果を表現するのが適当と考えられるが、「盛り上がり」を同じく点数で評価するとその場が白けてしまう可能性がある。その点、上述したような盛り上がり映像を用いると、その場の雰囲気に水を差すことなく評価結果を出力することができる。

第２の発明は、上述したいずれか１つに記載のゲームプログラムを記憶した記憶部と、前記ゲームプログラムを実行するコンピュータと、を備えるゲーム装置である。

これにより、ユーザのパフォーマンスの激しさを指標として場の盛り上がり度合を評価することができる。

本発明によれば、ユーザのパフォーマンスを評価するゲームにおいて、その場の盛り上がり度合を評価することのできるゲームのゲームプログラムおよびゲーム装置を提供することができる。

実施の形態に係るゲームシステムの全体構成を示す模式図である。 ゲームシステムのハードウェア構成を示すブロック図である。 ゲーム装置の機能ブロック図である。 ゲーム装置の動作を説明するためのフローチャートである。

（実施形態）
本発明の実施の形態に係るゲームプログラムおよびゲーム機について、図面を参照しつつ説明する。なお、以下では、楽曲の演奏に合わせてユーザが歌唱するカラオケのシステムに本発明を適用した場合の、場の盛り上がり度合を評価できるゲームシステムを例にして説明する。

［ゲームシステムの全体構成］
図１は、本実施の形態に係るゲーム機を備えるゲームシステムの全体構成を示す模式図である。図１に示すゲームシステム１は、１又は複数のユーザが入室してゲーム（カラオケ）をプレイする部屋１００を有し、この部屋１００にはゲーム装置２が備えられている。ゲームシステム１は、このような部屋１００を複数備えており、各部屋１００のゲーム装置２はインターネットまたはＬＡＮ等の通信ネットワークＮＷを介して接続されている。

ゲームシステム１は、大容量の記憶部を成すストレージ３およびサーバ装置４を備えており、これらストレージ３およびサーバ装置４も通信ネットワークＮＷを介して各部屋１００のゲーム装置２と接続されている。また、各部屋１００には、ゲーム装置２の他にも、ＨＭＤ（ヘッドマウントディスプレイ）４０、外部スピーカ５０、据え置き型のディスプレイ５１、コントローラ５２、マイク５３、およびカメラ５４等が備えられている。

各部屋１００の空間は、プレイ領域１０１と待機領域１０２とに分けられている。ゲームをプレイするユーザは、プレイ領域１０１にて歌唱およびダンス等のパフォーマンスを行い、他のユーザは、待機領域１０２にてプレイ中のユーザを観たり応援したりしながら自身がプレイする順番が来るのを待つ。

本ゲームをプレイするユーザは、ＨＭＤ４０及びヘッドホン５３を自身に装着する。そしてゲーム装置２は、ストレージ３に記憶されている楽曲データをロードし、ＨＭＤ４０にて歌詞を表示すると共に、内蔵のヘッドホンから楽曲の一部（伴奏等）を出力する。ユーザは、伴奏に合わせてマイク５３に向かって歌唱する。この間、外部スピーカ５０からは伴奏等とマイク５３から入力されたユーザの歌唱とが出力され、ディスプレイ５１にはＨＭＤ４０と同様に歌詞が表示され、他のユーザはこれらを視聴する。

また、プレイ中のユーザのパフォーマンスは、ＨＭＤ４０及びマイク５３等に組み込まれたセンサによって検出される。ゲーム装置２は、検出結果に基づき、ユーザのパフォーマンスの激しさの程度に応じた盛り上がり映像を、ＨＭＤ４０及びディスプレイ５１にて表示する。

［ハードウェア構成］
次に、ゲームシステム１００のハードウェア構成を、図２に示すブロック図を参照してより詳細に説明する。

図２に示すように、ゲーム装置２は、その動作を制御するＣＰＵ１０を備え、ＣＰＵ１０にはバス１１を介して、ディスクドライブ１２、記憶部（プログラム記憶部）を成すＨＤＤ１４、ＲＯＭ１５、およびＲＡＭ１６が接続されている。

ディスクドライブ１２には、ＤＶＤ−ＲＯＭ等のディスク型記録媒体３０が装填可能である。該ディスク型記録媒体３０には、本実施の形態に係るゲームプログラム３０ａ及びゲームデータ３０ｂが記録されている。このゲームデータ３０ｂには、ユーザのパフォーマンスの激しさの程度に関する後述の第１指標値の閾値情報、及び、各種の盛り上がり映像に関するデータなど、本ゲームの進行に必要な各種のデータが含まれる。

ＨＤＤ１４はゲーム装置２が内蔵する大容量記録媒体であって、ディスク型記録媒体３０から読み込んだゲームプログラム３０ａ及びゲームデータ３０ｂ等を記録する。ＲＯＭ１５は、マスクＲＯＭ又はＰＲＯＭ等の半導体メモリであり、ゲーム装置２を起動する起動プログラムや、ディスク型記録媒体３０が装填されたときの動作を制御するプログラムなどを記録している。ＲＡＭ１６は、ＤＲＡＭ又はＳＲＡＭ等から成り、ＣＰＵ１０が実行すべきゲームプログラム３０ａや、その実行の際に必要になるゲームデータ３０ｂなどを、ゲームのプレイ状況に応じてディスク型記録媒体３０又はＨＤＤ１４から読み込んで一時的に記録する。

また、ＣＰＵ１０には更に、バス１１を介して、ＨＭＤ用インタフェース１７、オーディオインタフェース１８、オーディオ合成部１９、グラフィック処理部２０、無線通信制御部２１、光検出装置用インタフェース２２、およびネットワークインタフェース２３が接続されている。

ネットワークインタフェース２３は、インターネットまたはＬＡＮ等の通信ネットワークＮＷを介して他の部屋１００のゲーム装置２、ストレージ３、およびサーバ装置４と通信可能に接続されている。このうちストレージ３には、複数の楽曲データが記憶されており、本ゲームのプレイに際して（ユーザが後記のコントローラ５２で楽曲演奏予約を入力したときなどに）、この楽曲データは適宜ダウンロードされてＨＤＤ１４に記憶される。

ＨＭＤ用インタフェース１７には、ユーザの頭部に装着可能なＨＭＤ４０が接続されている。ＨＭＤ４０は、一対の表示部４１（４１ａ，４１ｂ）、モーションセンサ４２、光放出部４３、制御部４４、およびヘッドホン４５を備える。ＨＭＤ４０がユーザの頭部に装着されると、ユーザの左目には左目用の表示部４１ａが対向し、右目には右目用の表示部４１ｂが対向する。

モーションセンサ４２（センサの一例）は、加速度センサおよびジャイロセンサを含み、ユーザの頭部の動きを検出する。具体的には、加速度センサは、重力方向に対するＨＭＤ４０の向き、すなわちユーザの頭部の傾きを検出する。ジャイロセンサは、ＨＭＤ４０の角速度、すなわちユーザが頭部を傾けたり回転したりする速さを検出する。モーションセンサ４２で検出されたモーション情報は、ＨＭＤ用インタフェース１７を介してゲーム装置２に取り込まれる。

ＨＭＤ４０の光放出部４３は、部屋１００に設置された光検出装置６０と共に、ユーザの頭部の位置を検出する位置検出システム（センサの一例）を構成する。このうち光放出部４３は、ＬＥＤ等の発光素子を備え、例えば互いに離間してＨＭＤ４０の外面に設けられている。光検出装置６０は、フォトダイオード等の受光素子を備え、例えば部屋１００のプレイ領域１０１に複数設けられており、光検出装置用インターフェイス２２を介してゲーム装置２のバス１１に接続されている。

この位置検出システムでは、光検出装置６０が、光放出部４３から放たれる光を検出して、その検出信号が光検出装置用インターフェイス２２を介してゲーム装置２に取り込まれる。ゲーム装置２は、この検出信号に基づき、光検出装置６０に対するユーザの頭部の位置情報を取得する。

ＨＭＤ４０の制御部４４は、モーションセンサ４２からゲーム装置２へのデータの送信、および、光放出部４３への制御信号の送信など、ＨＭＤ４０が有する各種機器の制御を行う。

ゲーム装置２のオーディオインタフェース１８は、ＨＤＤ１４またはストレージ３に記憶された楽曲データに基づき、楽曲の伴奏等に関するサウンドデータを、ＨＭＤ４０に搭載されたヘッドホン４５および外部スピーカ５０へ出力する。従って、ＨＭＤ４０を装着しているプレイ中のユーザも待機中のユーザも、楽曲の演奏を聴取できる。

オーディオ合成部１９は、ＣＰＵ１０の指示により、ゲームデータ３０ｂに含まれるデジタル形式のサウンドデータを再生及び合成する。オーディオ合成部１９にて再生及び合成されたサウンドデータは、アナログ形式にデコードされた後、オーディオインタフェース１８を介してヘッドホン４５および外部スピーカ５０へ出力される。これにより、ユーザのパフォーマンスに応じた盛り上がり映像を再生する際に、これと共に効果音およびＢＧＭを再生することができる。

グラフィック処理部２０は、ＣＰＵ１０の指示によりステージ、客席、および多数の観客を含む仮想のライブ空間等、三次元の仮想ゲーム空間のゲーム画像を描画する。例えば、グラフィック処理部２０は、ＨＭＤ４０を装着したユーザが仮想三次元空間を立体視できるよう、互いに視差を有する左目用および右目用の一対の仮想二次元画像を生成する。そして、この一対の仮想二次元画像は、動画形式に変換されて、ＨＭＤ用インタフェース１７を介してＨＭＤ４０に送られ、一対の表示部４１ａ，４１ｂにて夫々表示される。

また、グラフィック処理部２０は、ＨＭＤ４０および光検出装置６０から送られたユーザのモーション情報および位置情報（後記のマイク５３のモーションセンサ５３ａから送られるモーション情報も）に合わせて、ＨＭＤ４０に送る一対の仮想二次元画像をリアルタイムで変化させる。これにより、ＨＭＤ４０の表示部４１を見るユーザは、視認される仮想空間の映像が自身の動きに対応して変化するため、自身が仮想空間内に入り込んだような臨場感を得られる。

また、ゲーム装置２のバス１１には、例えば据え置き型の大型ディスプレイ５１が接続されており、グラフィック処理部２０は、このディスプレイ５１にて表示するための画像も生成する。例えば、グラフィック処理部２０は、上記のように仮想三次元空間を視差を有する一対の仮想二次元画像で表した立体視用画像を生成すると共に、同じ仮想三次元空間を１つの二次元画像で表した平面視用画像も生成する。そして、ディスプレイ５１ではこの平面視用画像が表示される。

無線通信制御部２１は、２．４ＧＨｚ帯の無線通信モジュールを有し、ゲーム装置２に付属するコントローラ５２との間で無線により接続され、データの送受信が可能となっている。ユーザは、このコントローラ５２に設けられたボタン等の操作部を操作して、例えば本ゲームをプレイするに際してパフォーマンスを行う楽曲を選択し、選択結果をゲーム装置２へ送信する。

ＣＰＵ１０には更に、バス１１を介して、ユーザが把持するマイク５３、および、部屋１００に設置されたカメラ５４とが接続されている。

マイク５３は、音エネルギーを電気信号に変換するダイナミックマイクまたはコンデンサーマイク等の素子（マイクロフォン）が備えられており、ユーザの歌唱を電気信号に変換してゲーム装置２へ送信する。ゲーム装置２は、受信した電気信号に基づき、ユーザの歌唱の音階および音量等のパフォーマンスを取得する。

また、マイク５３には、モーションセンサ５３ａおよび光放出部５３ｂも備えられている。モーションセンサ５３ａ（センサの一例）は、ＨＭＤ４０のモーションセンサ４２と同様に、加速度センサおよびジャイロセンサを含み、マイク５３を手で把持するユーザの動きに応じて、ユーザの手の動きを検出する。モーションセンサ５３ａで検出されたモーション情報は、バス１１を介してゲーム装置２に取り込まれる。

マイク５３の光放出部５３ｂは、部屋１００に設置された光検出装置６０と共に、ユーザの手の位置を検出する位置検出システム（センサの一例）を構成する。この光放出部５３ｂは、ＨＭＤ４０の光放出部４３と同様にＬＥＤ等の発光素子を備え、マイク５３の外面に設けられている。一方、部屋１００に設置された光検出装置６０は、マイク５３の光放出部５３ｂから放たれる光を検出し、その検出信号が光検出装置用インターフェイス２２を介してゲーム装置２に取り込まれる。ゲーム装置２は、この検出信号に基づき、光検出装置６０に対するユーザの手の位置情報を取得する。

カメラ５４は、部屋１００の所定の位置に設置され、主にプレイ領域１０１でプレイ中のユーザを動画で撮影し、その映像データはゲーム装置２へ送られる。また、部屋１００には、ゲーム装置２と接続された赤外線カメラ（図示せず）がカメラ５４とほぼ同じ位置に設置されている。ゲーム装置２のグラフィック処理部２０は、赤外線カメラで撮影した映像によりユーザの輪郭を取得し、この輪郭の情報に基づき、カメラ５４が撮影した映像から人物（ユーザ）だけを切り抜き、仮想三次元空間に合成する。グラフィック処理部２０は、このような合成処理を、ユーザのプレイ中にリアルタイムに行うことができる。

［ゲーム装置の機能］
図３の機能ブロック図を参照して、ゲーム装置２が有する機能について説明する。なお以下では、ゲームシステム１が備えるユーザのパフォーマンスを検出する複数のデバイスを単に「センサ」と称する。すなわち、センサには、身体部位の姿勢および動きの速さ等を検出するモーションセンサ４２，５３ａ、身体部位の位置を検出する位置検出システム（光検出装置６０，光放出部４３，５３ｂ）、および、歌唱時の音量を検出するマイク５３が含まれる。

ゲーム装置２は、進行管理手段２０１、第１指標値取得手段２０２、映像生成手段２０３、第２指標値取得手段２０４、スコア決定手段２０５、仮想空間生成手段２０６、およびオブジェクト制御手段２０７等を備えている。ゲーム装置２は、これらの機能により、ユーザが楽曲に合わせてパフォーマンスした場合に、そのパフォーマンスの激しさに応じた盛り上がり映像を再生したり、パフォーマンスの正確さおよびパフォーマンスの激しさに応じたスコアを表示したりする。

具体的には、第１指標値取得手段２０２は、各センサからの入力信号に基づき、ユーザの身体の動きに基づくパフォーマンスの激しさの程度に関する第１指標値を取得する。ここで、パフォーマンスの激しさとは、ユーザの姿勢の変化量がより大きいほど、ユーザの動きがより早いほど、あるいは、ユーザの歌唱の音量がより大きいほど、より激しいとされる。従って、第１指標値は、ユーザのアクションの大きさの程度、ユーザのアクションのスピードの程度、および、ユーザにより発せられる音のボリュームの程度がそれぞれ大きいほど、パフォーマンスの激しさがより大きいことを示す値となるように設定されている。

例えば、各楽曲データ３１は、上述したパフォーマンスでの変化量、速さ、および音量等の各パラメータと第１指標値とを関連付けたテーブルデータを有している。そして、第１指標値取得手段２０２は、本ゲームのプレイ時には、センサからの入力信号をこのテーブルデータと照合して第１指標値を取得する。

なお、ユーザの身体の動きに基づくパフォーマンスとしては、楽曲に合わせたダンス、エアギターの演奏、ピックを投げるパフォーマンス、ジャンプ、およびヘッドバンキングなどのアクションを含む。

映像生成手段２０３は、取得した第１指標値に基づき、パフォーマンスの激しさの程度が高いほど大きな盛り上がりを表す盛り上がり映像を生成する。生成された映像は、ディスプレイ５１およびＨＭＤ４０の表示部４１において再生される。盛り上がり映像は、例えば、ユーザによるパフォーマンスにリアルタイムに反応する複数の観客の映像を含んでおり、この観客の映像は、盛り上がりが大きいほど、観客のテンションが高くなるように表現される映像となっている。

また、映像生成手段２０３は、仮想空間に複数の観客がいるような盛り上がり映像の中に、カメラ５４で撮影した映像から抜き出したユーザの映像を、リアルタイムで合成した合成映像を生成できる。生成された合成映像は、例えばディスプレイ５１またはＨＭＤ４０の表示部４１にてリアルタイムで再生される。

第２指標値取得手段２０４は、各センサからの入力信号に基づき、ユーザによるパフォーマンスの正確さの程度に関する第２指標値を取得する。ここで、パフォーマンスの正確さとは、例えば、演奏中の楽曲と比較した場合のユーザの歌唱（音程の取り方等）の正確さである。従って、第２指標値は、ユーザの歌唱の正確さが高いほど、より正確であることを示す値となるように設定されている。

例えば、各楽曲データ３１は、歌唱の正確さを判断するパラメータ（ミスの回数等）と第２指標値とを関連付けたテーブルデータを有している。そして、第２指標値取得手段２０４は、本ゲームのプレイ時には、マイク５３に入力された歌唱を表す信号と楽曲データ３１とを比較してミスの回数等を取得する。更に、このミスの回数等とテーブルデータと照合して第２指標値を取得する。

スコア決定手段２０５は、取得した第２指標値に基づき、パフォーマンスの正確さの程度が高いほど、高くなるようにスコアを決定する。決定されたスコアは、グラフィック処理部２０により映像に合成され、ディスプレイ５１にて表示させる。

仮想空間生成手段２０６は、オブジェクトが配置された仮想空間（ＶＲ空間など）を生成する。オブジェクトとしては、ポリゴンで形成されたギター、ドラムセット、ピアノなどの楽器、スタンドマイク、椅子などを含み、更には観衆あるいはユーザ自身などの人を模したキャラクタも含む。これらのオブジェクトが配置された仮想空間は、ディスプレイ５１あるいはＨＭＤ４０の表示部４１にて表示される。ＨＭＤ４０にて仮想空間を表示した場合、これを装着するユーザは、自身がＶＲ空間にいるかのような感覚を得ることができる。

オブジェクト制御手段２０７は、センサからの入力信号に基づき、仮想空間内におけるオブジェクトを制御する。例えば、仮想空間生成手段２０６により、仮想空間内にユーザを模したキャラクタを配置する。そして、オブジェクト制御手段２０７は、ユーザの動作をＨＭＤ４０およびマイク５３から取得し、仮想空間内のキャラクタをユーザの動作に応じて動作させる。よって、ユーザは、自身の身体を動かして仮想空間内のキャラクタを操作し、仮想空間内に置かれた楽器をこのキャラクタにより演奏したり、スタンドマイクを振り回したり、といったことが可能である。

ところで、ゲーム装置２がストレージ３から適宜ダウンロードする楽曲データ３１は、音データ３１ａとパート識別データ３１ｂとを含んでいる（図２参照）。音データ３１ａは、各楽曲の再生用のサウンドデータであり、例えばメロディー、伴奏、およびリズムのうち少なくとも１つを含み、ヘッドホン４５および外部スピーカ５０から出力される。

また、本ゲームで用いられる各楽曲には、少なくとも、ユーザのパフォーマンスの激しさの程度を判断するパート（第１パート）が設定されており、一部の楽曲ではこれに加えて、パフォーマンスの正確さの程度を判断するパート（第２パート）も、第１パートに重複しない区間に設定されている。楽曲データ３１が含むパート識別データ３１ｂは、各楽曲データにおけるこれら第１パートおよび第２パートを特定するデータである。

ゲーム装置２が備える進行管理手段２０１は、このパート識別データ３１ｂに基づき、ある楽曲について音データの再生の進行中に、現在が第１パートまたは第２パートであるかをリアルタイムに判断する。そして、現在が第１パートであれば上述した映像生成手段２０２を実行し、現在が第２パートであれば上述したスコア決定手段２０５を実行するよう、ゲームの進行を管理する。

［ゲーム装置の動作］
図４は、ゲーム装置２の動作を説明するためのフローチャートである。ユーザがコントローラ５２を操作して楽曲を入力すると、ゲーム装置２がこれを受け付ける。ゲーム装置２は、受け付けた楽曲をＨＤＤ１４あるいはストレージ３から取得して、本ゲームをスタートさせる。ユーザは、ゲームのスタート時にはＨＭＤ４０を頭部に装着しておく。

ゲームが開始すると、ゲーム装置２の進行管理手段２０１は、オーディオ合成部１９およびグラフィック処理部２０等を制御して、楽曲および映像を再生する（ステップＳ１）。楽曲はＨＭＤ４０のヘッドホン４５および外部スピーカ５０にて再生され、映像は、ＨＭＤ４０の表示部４１では立体視映像として再生され、ディスプレイ５１では平面視映像として再生される。

進行管理手段２０１は、楽曲の現在の再生箇所が第１パートか否かを判断する（ステップＳ２）。ここで、現在の再生箇所が第１パートであると判断した場合（Ｓ２：ＹＥＳ）、第１指標値取得手段２０２は、各センサからの入力信号に基づいて、パフォーマンスの激しさの程度に対応した第１指標値を取得する（ステップＳ３）。映像生成手段２０３は、グラフィック処理部２０により、取得した第１指標値に応じた盛り上がり映像を生成する（ステップＳ４）。

なお、盛り上がり映像は、上述したように、ユーザのパフォーマンスの激しさの程度が高いほど大きな盛り上がりを表すものとなっている。一例として、盛り上がり映像はライブ会場の映像となっており、その会場内の観客は、盛り上がりが大きいほど高いテンションにより、ユーザのパフォーマンスに対してリアルタイムに反応する映像となっている。

進行管理手段２０１は、生成されたこのような盛り上がり映像を、ＨＭＤ４０の表示部４１およびディスプレイ５１にて再生する（ステップＳ５）。従って、プレイ中のユーザは、自身のパフォーマンスによる場の盛り上がり具合をリアルタイムに実感しながらプレイすることができる。そして、進行管理手段２０１は、第１パートが終了したか否かを判断し（ステップＳ６）、終了していないと判断した場合は（Ｓ６：ＮＯ）ステップＳ３からの処理を繰り返し、終了したと判断した場合は（Ｓ６：ＹＥＳ）後述のステップＳ１１の処理へ移行する。

一方、進行管理手段２０１は、ステップＳ２にて、楽曲の現在の再生箇所が第１パートではないと判断した場合は（Ｓ２：ＮＯ）、楽曲の現在の再生箇所が第２パートか否かを判断する（ステップＳ７）。ここで、現在の再生箇所が第２パートではないと判断した場合は（Ｓ７：ＮＯ）、後述のステップＳ１１の処理へ移行する。

進行管理手段２０１は、ステップＳ７にて、楽曲の現在の再生箇所が第２パートであると判断した場合（Ｓ７：ＹＥＳ）、第２指標値取得手段２０４は、マイク５３からの入力信号に基づいて、パフォーマンス（歌唱）の正確さの程度に対応した第２指標値を取得する（ステップＳ８）。そして、進行管理手段２０１は第２パートが終了したか否かを判断し（ステップＳ９）、終了していないと判断した場合は（Ｓ９：ＮＯ）ステップＳ８からの処理を繰り返す。

進行管理手段２０１が第２パートは終了したと判断した場合（Ｓ９：ＹＥＳ）、スコア出力手段２０５は、取得した第２指標値に応じた点数であるスコアを決定する（ステップＳ１０）。そして、ステップＳ１１へ移行する。

このように、第１パートが終了した場合（Ｓ６：ＹＥＳ）、第２パートが終了してスコアが決定された場合（Ｓ１０）、あるいは、現在の再生箇所が第１パートでも第２パートでもないと判断された場合（Ｓ７：ＮＯ）、進行管理手段２０１は楽曲が終了したか否かを判断する（ステップＳ１１）。そして、楽曲が終了していないと判断した場合は（Ｓ１１：ＮＯ）、進行管理手段２０１は再びステップＳ１からの処理を実行する。

これに対し、楽曲が終了したと判断した場合は（Ｓ１１：ＹＥＳ）、ステップＳ１０で決定された、歌唱の正確さを示すスコアをディスプレイ５１等にて表示し（ステップＳ１２）、本ゲームを終了する。

以上からわかるように、本発明は、ユーザによるパフォーマンスを検出するセンサ（モーションセンサ４２，５３ａ、光検出装置６０、光放出部４３，５３ｂ）とディスプレイ（表示部４１、ディスプレイ５１）とコンピュータ（ＣＰＵ１０）とを備えるゲームシステム１においてコンピュータに実行させるゲームプログラム３０ａであって、コンピュータを、センサからの入力信号に基づき、ユーザによるパフォーマンスの激しさの程度に関する第１指標値を取得する第１指標値取得手段２０２、および、ディスプレイで表示する映像として、取得した第１指標値に基づいてパフォーマンスの激しさの程度が高いほど大きな盛り上がりを表す盛り上がり映像を生成する映像生成手段２０３、として機能させるゲームプログラムである。

（発明の効果）
本実施の形態に係るゲームプログラムによれば、ユーザのパフォーマンスの激しさを指標として場の盛り上がり度合を評価することができる。そして、コンピュータは、その評価結果に応じた映像をディスプレイに表示することができる。

つまり、従来、ユーザのパフォーマンスの正確さを判定し、スコア表示するゲーム装置は存在したが、カラオケなどでは、歌唱の上手下手（正確性の高さ）以外に、場の盛り上げ方の上手下手も重要である。また、場の盛り上がり具合は、点数などのスコアによって表示してしまうと、場が白けてしまう可能性があって好ましくない。

そこで本発明は、場の盛り上がり具合を、パフォーマンスの激しさの程度によって客観的に評価し、その評価結果を、スコア表示ではなく盛り上がり具合を表す映像によって表現する。これにより、従来評価対象とされていなかった場の盛り上がり具合を評価できるようにすると共に、より適した方法により評価結果を表現することができる。

（他の実施形態）
なお、盛り上がり映像は、上述したようなライブ会場の映像に限られない。天変地異を表現した映像を用いてもよい。この場合、盛り上がり具合が大きいほど、激しい天変地異が表現される映像とすることができる。

盛り上がりの程度を判断する対象のパフォーマンスとして、歌唱およびダンスを例示したが、これに加えてまたはこれに替えて、ユーザによる楽器の演奏のパフォーマンスを対象としてもよい。この場合、実物の楽器を使った演奏である実演パフォーマンスであってもよいし、実物の楽器を使わずに演奏のフリだけをする仮想パフォーマンスであってもよい。

実演パフォーマンスの場合は、演奏で実際に生成される音量の大きさにより、パフォーマンスの激しさを測ることができる。また、実演パフォーマンスおよび仮想パフォーマンスの何れであっても、ユーザの体に光放出部を装着するなどして体の動きを検出することにより、ユーザの演奏時の動きの激しさ（変化量やスピードの大きさ）からも、パフォーマンスの激しさを測ることができる。

なお、ユーザの位置および動きを検出するのに、上記実施形態では光放出部と光検出装置とを備える位置検出システム（いわゆる、モーションキャプチャ技術）を採用したが、これに限られない。ユーザの体に装着するデバイスは用いず、パフォーマンス中のユーザを撮影した映像を公知のアルゴリズムで解析することで、ユーザの動きをリアルタイムに検出するようにしてもよい。例えば、カメラでユーザまでの距離を計測してユーザの骨格の動きを検出する、いわゆるＫｉｎｅｃｔ（登録商標）の技術を適用して、ユーザの動きをリアルタイムに検出するようにしてもよい。

また、パフォーマンスの正確さを判断する対象として、歌唱の正確さを採用したものを例示したが、これに限られない。例えば、ユーザのダンスのパフォーマンスについてその正確さを判断することとしてもよい。つまり、第２指標値取得手段２０４は、モーションセンサ等の検出値から得られるユーザの動きと、楽曲データ３１に含まれるダンスの基準動作の情報とを比較し、正確さを表す第２指標値を取得するようにしてもよい。

図４の動作説明では、第１パートの進行中に盛り上がり映像を再生する場合を例示したが、楽曲の終了時に盛り上がり映像を再生してもよい。あるいは、第１パートの進行中と楽曲の終了時の両方のタイミングで、盛り上がり映像を再生してもよい。更には、第１パートの開始以降、楽曲の終了に至るまで、盛り上がり映像を再生し続けてもよい。

楽曲の終了時に盛り上がり映像を再生する場合は、パフォーマンスの正確さの判断結果（第２パートでの最終スコア）に応じて、盛り上がり映像の内容を修正するようにしてもよい。つまり、楽曲の終了時に、第１パートにて取得した第１指標値を、第２パートにて取得した第２指標値に応じて補正する。例えば、第２パートでのパフォーマンスの正確さが高いほど、第１指標値の取得値を、パフォーマンスの激しさがより大きくなるように補正する。このようにして補正された第１指標値に基づき、盛り上がり映像を生成し、これを楽曲の終了時に再生することも可能である。

また、図４の動作説明では、パフォーマンスの激しさの判定結果に関しては盛り上がり映像で表し、パフォーマンスの正確さの判定結果に関してはスコアで表す例を示したが、これに限られない。例えば、パフォーマンスの激しさの判定結果を、盛り上がり映像で表すと共に、これを点数化してスコアでも表示してもよい。この際、パフォーマンスの激しさの判定結果から得られるスコアと、パフォーマンスの正確さの判定結果から得られるスコアとを、合算して表示してもよいし、それぞれ個別に表示してもよい。

なお、図４の動作説明では、１つの楽曲に第１パートおよび第２パートが含まれるものを例示したが、本ゲームでは、１つの楽曲に少なくとも第１パートが含まれていればよく、第２パートを含むか否かは任意である。また、両パートを含む場合は、上記の実施形態で言及したように、両パートを楽曲中の重複しない区間に設定してもよいし、一部または全部が重複するように設定してもよい。

また、１つの楽曲データには、複数の第１パートが設定されていてもよい。この場合、楽曲の開始後、２つ目以降の第１パートでは、過去の第１パートの結果とは無関係に、独立して激しさの程度を判断して盛り上がり映像を生成してもよい。あるいは、過去の第１パートで取得した第１指標値と今回の第１パートで取得した第１指標値とから平均値を算出し、この平均値に基づいて盛り上がり映像を生成してもよい。

また、上述したように楽曲の再生中、ＨＭＤの表示部４１およびディスプレイ５１にてライブ会場の映像を表示する場合、第１パートとそれ以外の区間とで、視点を変更してもよい。例えば、第１パートでは三人称視点の映像とし、ユーザ自身の姿を合成した盛り上がり映像を再生し、その他の区間ではユーザ自身の姿を合成しない二人称視点の映像を再生する。これにより、第１パートでは、場を盛り上げるためのパフォーマンスを、ユーザ自身も客観的に見ることができ、自分がどのようなパフォーマンスをしているのかを把握することができる。

なお、上記実施形態ではユーザがＨＭＤ４０を装着してプレイする場合を例示したが、これに限られない。ＨＭＤ４０は必須ではなく、ユーザは、ディスプレイ５１を見てパフォーマンスを行うようにしてもよい。逆に、待機中のユーザも含めて全てのユーザがＨＭＤ４０を装着して、全員が立体視映像を見ながら本ゲームをプレイするようにしてもよい。

また、図１および図２に示すように、本ゲームシステム１では、ある部屋１００のゲーム装置２が、通信ネットワークＮＷを介して他の部屋１００のゲーム装置２およびサーバ装置４と接続されている。従って、サーバ装置４にてロビーを作成し、そこに集ったユーザをマッチングしてセッションを作成することで、異なる複数の部屋１００にいる複数のユーザによって同じ楽曲を同時にプレイすることができる。なお、複数のゲーム装置２がピアツーピアによってセッションを作成してもよい。

また、第１パートで評価するパフォーマンスの激しさは、仮想空間生成手段２０６が生成する仮想空間（ＶＲ空間）内に配置したオブジェクト（キャラクタを含む）に対するパフォーマンスに関するものであってもよい。なお、オブジェクトに含まれるキャラクタとしては、他のユーザによって動作制御されるキャラクタ（他のプレイヤキャラクタ）、あるいは、何れのユーザによっても動作制御されず、オブジェクト制御手段２０７により動作制御されるキャラクタ（ノンプレイヤキャラクタ）などがある。

そして、仮想空間に配置したオブジェクトに対するパフォーマンスとしては、他のキャラクタを倒したり、他のキャラクタと共にダンスをしたり、他のユーザが制御するプレイヤキャラクタと共に楽器を演奏するセッションを行うなどの例が挙げられる。なお、図４のステップＳ１で再生される楽曲が演歌である場合には、時代劇の役者風の装束を身にまとった複数の敵キャラクタ（ノンプレイヤキャラクタ）を登場させ、これらを多く倒すほどパフォーマンスの激しさが高く評価されるようにしてもよい。また、そのときの戦い自体の激しさも、パフォーマンスの激しさに評価対象としてもよい。

また、オブジェクトに対するパフォーマンスとしては更に、仮想空間内に設置されたオブジェクトの破壊あるいは投擲などの例が挙げられる。また、仮想空間内のオブジェクト（ブロック等）を組み合わせて造形物を作成したり、逆に、オブジェクト（巨大な岩石等）を部分的に破壊して造形物を作成したりすることも、パフォーマンスの例に含まれる。

本発明は、ユーザのパフォーマンスを評価するゲームにおいて、その場の盛り上がり度合を評価することのできるゲームのゲームプログラムおよびゲーム装置に適用することができる。

１０ ＣＰＵ（コンピュータ）
３０ａ ゲームプログラム
３１ 楽曲データ
３１ａ 音データ
３１ｂ パート識別データ
４２ モーションセンサ（センサ）
４３ 光放出部（センサ）
５３ マイク（センサ）
５３ａ モーションセンサ（センサ）
５３ｂ 光放出部（センサ）
５４ カメラ
６０ 光検出装置（センサ）
２０１ 進行管理手段
２０２ 第１指標値取得手段
２０３ 映像生成手段
２０４ 第２指標値取得手段
２０５ スコア決定手段
２０６ 仮想空間生成手段
２０７ オブジェクト制御手段

Claims (7)

1. ユーザの身体の動きに基づくパフォーマンスを検出するセンサとディスプレイとコンピュータとを備えるゲームシステムにおいて前記コンピュータに実行させるゲームプログラムであって、
   前記コンピュータを、
   前記センサからの入力信号に基づき、前記ユーザによるパフォーマンスの激しさの程度に関する第１指標値を取得する第１指標値取得手段、および、
   前記ディスプレイで表示する映像として、取得した前記第１指標値に基づいて前記パフォーマンスの激しさの程度が高いほど大きな盛り上がりを表す盛り上がり映像を生成する映像生成手段、
   として機能させる、ゲームプログラム。
2. 前記コンピュータを、
   オブジェクトが配置された仮想空間を生成する仮想空間生成手段、
   前記センサからの入力信号に基づき、前記仮想空間内における前記オブジェクトを制御するオブジェクト制御手段、
   として更に機能させ、
   前記第１指標値取得手段は、ユーザによる前記オブジェクトに対するパフォーマンスに基づいて前記第１指標値を取得する、請求項１に記載のゲームプログラム。
3. 前記ゲームシステムは、楽曲データを記憶する記憶部と、前記楽曲データに基づいて楽曲を出力するスピーカと、を更に備え、
   前記楽曲データは、メロディー、伴奏、および、リズムのうち少なくとも１つを含み前記スピーカで出力される音データと、前記音データにおいて前記パフォーマンスの激しさの程度を判断するパートおよび前記パフォーマンスの正確さの程度を判断するパートをそれぞれ特定するパート識別データと、を含み、
   前記コンピュータを、
   前記パート識別データに基づき、前記映像生成手段および前記スコア決定手段の実行を管理する進行管理手段、
   として更に機能させる、請求項１または２に記載のゲームプログラム。
4. 前記コンピュータを、
   前記センサからの入力信号に基づき、前記ユーザによるパフォーマンスの正確さの程度に関する第２指標値を取得する第２指標値取得手段、および、
   取得した前記第２指標値に基づき、前記パフォーマンスの正確さの程度が高いほど、高くなるようスコアを決定するスコア決定手段、
   として更に機能させる、請求項１〜３のいずれかに記載のゲームプログラム。
5. 前記第１指標値は、ユーザによるアクションの大きさの程度、ユーザによるアクションのスピードの程度、および、ユーザにより生成される音のボリュームの程度のうち、少なくとも１つに関する、請求項１〜４のいずれかに記載のゲームプログラム。
6. 前記盛り上がり映像は、前記ユーザによるパフォーマンスに反応する複数の観客の映像を含んでおり、前記観客の映像は、盛り上がりが大きいほど、前記観客の反応のテンションが高くなるように表される、請求項１〜５のいずれかに記載のゲームプログラム。
7. 請求項１〜６のいずれか１つに記載のゲームプログラムを記憶した記憶部と、前記ゲームプログラムを実行するコンピュータと、を備えるゲーム装置。

Images