JP2017058527A - カラオケ装置及びカラオケ用プログラム - Google Patents

Abstract

【課題】カラオケを行う際の歌唱評価について、新たな評価手法を提案する。【解決手段】本発明に係るカラオケ装置は、楽曲を演奏する演奏処理と、背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、マイクロホンから入力されたユーザーの歌唱音声に基づいて歌唱評価情報を生成する歌唱評価処理と、表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、歌唱評価情報を補正する補正処理と、補正された歌唱評価情報をユーザーに通知する通知処理と、を実行することを特徴とする。【選択図】図１１

Description

本発明は、伴奏に合わせて歌唱を楽しむカラオケ装置、及び、カラオケ装置あるいはゲーム装置等の情報処理装置に実装することでカラオケ機能を実現するカラオケ用プログラムに関する。

従来、宴会の場等では、伴奏に合わせて歌唱を行うカラオケが行われている。カラオケを行うためのカラオケ装置では、演奏に同期して歌詞を表示することで歌唱の補助を行う機能がよく知られている。ユーザーは歌詞を記憶していなくてもモニタ画面に表示される歌詞を視認することで、歌唱すべき歌詞を確認することが可能である。このようなカラオケ装置の歌詞表示機能について各種の改良が行われている。

特許文献１には、大画面の表示部を使用して歌唱を楽しむ環境下において、視認しやすい歌詞を提供することのできるカラオケ装置が開示されている。このカラオケ装置では、検出した歌唱者の位置に基づいて、表示部の表示領域内に表示される画像情報の大きさを変更する。画像情報に歌詞情報を含めることで、歌唱者の位置に適した表示領域内の位置に歌詞を表示することが可能となっている。

特許文献２には、ユーザーの頭部に装着するヘッドマウントディスプレイを使用したカラオケシステムが開示されている。ヘッドマウントディスプレイに歌詞を表示することで、ユーザーの位置の自由度が高まり、ユーザーは所望の位置でカラオケを楽しむことができる。

特開２０１５−６９０４２号公報 特開２００１−２２３６２号公報

近年、画像処理技術の高度化に伴い、ＨＭＤ（ヘッドマウントディスプレイ）を利用した仮想空間が一般家庭でも利用可能な環境が整ってきている。これは、情報処理装置に搭載されたＣＰＵ、ＧＰＵ等の演算処理能力の向上、記憶容量の大容量化等を理由としている。仮想空間では、ＨＭＤを装着したユーザーの頭部の動きに応じて映像を表示することで、ユーザーは仮想空間内にいるような感覚を味わうことが可能であって、特に、ゲーム分野において注目を集めている。特許文献２ではＨＭＤを使用しているものの、ＨＭＤで歌詞を表示する程度に留まるものであった。

ところで仮想空間では、ＨＭＤを装着したユーザーがあたかもその場にいるような仮想感覚を楽しむことが可能である。出願人は仮想空間を使用して歌唱を楽しむカラオケ装置を新たに開発している。ユーザーは仮想空間の体験と歌唱を同時に楽しむことが可能となる。このような場合、ユーザーによっては仮想空間の体験に集中する、あるいは、歌唱に集中することが考えられるが、どちらに集中していたか、また、どの程度、集中していたのかを認知させる手段は存在していなかった。本発明は、このような課題を前提とするものであり、カラオケにおいて歌唱評価を行う際、仮想空間の体験、歌唱のどちらに集中（没入）していたかを評価項目として採用する新たな歌唱評価を行うことを目的としている。

そのため、本発明に係るカラオケ装置は、以下の構成を採用することとしている。
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
マイクロホンから入力されたユーザーの歌唱音声に基づいて歌唱評価情報を生成する歌唱評価処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、歌唱評価情報を補正する補正処理と、
補正された歌唱評価情報をユーザーに通知する通知処理と、を実行することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示部はユーザーの頭部に装着するヘッドセットに配置され、
表示処理は、ヘッドセットの移動に応じて映像を移動させ、
視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする。

さらに本発明に係るカラオケ装置において、
視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする。

さらに本発明に係るカラオケ装置において、
歌唱評価処理は、ユーザーの歌唱音声から歌唱音高を抽出し、抽出した歌唱音高と、楽曲の模範旋律を比較することで歌唱評価情報を生成することを特徴とする。

さらに本発明に係るカラオケ装置において、
ユーザーの歌唱音声を音声認識することで歌唱歌詞を抽出し、抽出した歌唱歌詞と、楽曲の歌詞を比較することで歌唱すべき歌詞が歌唱されたか否かを判定する歌詞判定処理を実行し、
補正処理は、視線判定処理により判定された視線と、歌詞判定処理により判定された判定結果とに基づいて、歌唱評価情報を補正することを特徴とする。

さらに本発明に係るカラオケ装置において、
補正処理は、再生される背景映像に対応する評価基準を使用して、歌唱評価情報を補正することを特徴とする。

また本発明に係るカラオケ用プログラムは、
楽曲を演奏する演奏処理と、
背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
マイクロホンから入力されたユーザーの歌唱音声に基づいて歌唱評価情報を生成する歌唱評価処理と、
表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
演奏処理中、視線判定処理により判定された視線が、歌詞表示領域に位置しているか否かに基づいて、歌唱評価情報を補正する補正処理と、
補正された歌唱評価情報をユーザーに通知する通知処理と、を情報処理装置に実行させることを特徴とする。

本発明に係るカラオケ装置またはカラオケ用プログラムは、ユーザーの歌唱評価を行う際、背景映像の視認と歌唱のどちらにどの程度集中（没入）していたかを評価項目として使用する新たな歌唱評価を行うことが可能である。特に、背景映像としてユーザーに仮想空間を体験させる形態において有効である。

本実施形態で使用するゲームシステムを示す図 本実施形態で使用するゲーム装置を示すブロック図 本実施形態で使用するＨＭＤ（ヘッドマウントディスプレイ）を示す斜視図 本実施形態で使用するコントローラを示す正面図、側面図 本実施形態の楽曲再生処理を示すフロー図 本実施形態で使用する楽曲情報のデータ構成を示す図 本実施形態のコントローラの操作部、機能、初期設定の対応関係を示す表 本実施形態における視野映像形成を説明するための模式図 コントローラの配置と、歌詞表示オブジェクト及びコントローラオブジェクトの表示関係を説明するための図 歌詞表示オブジェクト、コントローラオブジェクトの正面図、側面図 実際の視野映像（追従、非透過、コントローラオブジェクト表示） 実際の視野映像（追従、非透過、コントローラオブジェクト非表示） 実際の視野映像（追従、透過、コントローラオブジェクト表示） 実際の視野映像（固定、非透過、コントローラオブジェクト表示） 本実施形態の歌唱評価処理を示すフロー図 本実施形態の歌唱評価結果画面を示す図 第１変形例の歌詞注目度評価処理を示すフロー図 第４変形例を説明するための図

本発明について、ゲームシステムを使用する形態を例にとって説明する。図１は、本実施形態で使用するゲームシステムを示す図である。ゲームシステムは、ゲーム装置１、ＨＭＤ３、コントローラ４を有して構成されている。ゲーム装置１は、通常の使用形態においてモニタ２２にゲーム画面を表示することで、ユーザーに視覚的な情報を提供することが可能である。本実施形態では、ＨＭＤ３（ヘッドマウントディスプレイ）で映像を表示することで、ユーザーに視覚的な情報（視野映像）を提供する。ゲーム装置１は、プログラムを変更することで異なる機能を実現することが可能である。本実施形態では、カラオケ用プログラムを起動することで、ＨＭＤ３による仮想空間を使用したカラオケを行うことが可能である。なお、カラオケ用プログラムを起動したゲーム装置１は、本発明のカラオケ装置に相当している。ユーザーはゲーム装置１で再生される演奏音をヘッドホン３２で聴取し、マイクロホン３３を使用して歌唱を行う。マイクロホン３３に入力された歌唱音声は、演奏音とミキシングされヘッドホン３２から放音される。

また、ユーザーは、コントローラ４（「操作装置」に相当）を使用して、ゲーム装置１に各種命令を指示することが可能となっている。ゲーム装置１とコントローラ４間は無線接続されており、ユーザーはケーブルによる煩わしさを伴うことなく操作を行うことが可能となっている。本実施形態では、ユーザーの頭部の動きに応じてＨＭＤ３に表示させる映像を変化させ、ユーザーに仮想空間を体験させることを可能としている。ユーザーの頭部の動きは、カメラ２１で映像を撮影し、実空間内でのＨＭＤ３の配置を検出することで検出される。また、本実施形態では、実空間内でのコントローラ４の配置も検出し、仮想空間内で利用することとしている。

図２は、本実施形態で使用するゲーム装置１を示すブロック図である。ゲーム装置１は、各構成を統括して制御するためのＣＰＵ１０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ１１を備えている。これらＣＰＵ１０、メモリ１１は、ゲーム装置１における制御部を構成する。また、本実施形態のゲーム装置１は、各種音声の入出力を行う音響制御部１５を有している。音響制御部１５は、カラオケ用プログラムの実行時、楽曲情報に含まれる演奏情報に基づいて演奏を行う。また、音響制御部１５には、マイクロホン３３が接続されており、入力された歌唱音声を、演奏された演奏音とミキシングして、ヘッドホン３２Ｒ、３２Ｌから音響出力する。

また、ゲーム装置１は、モニタ２２に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部１３、再生する映像を一時的に蓄積するビデオＲＡＭ１２、再生された映像上に歌詞を表示する、あるいは、映像効果を付与する映像制御部１４を備えている。映像制御部１４は、再生された映像をモニタ２２、あるいは、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示出力する。モニタ２２、ＨＭＤ３にはそれぞれ異なる映像を表示出力することが可能である。また、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌには、視差を有する映像を表示出力することで、ユーザーに立体視させることが可能である。

また、映像制御部１４は、カメラ２１に接続され、カメラ２１で撮影した映像を取り込むことが可能である。特に本実施形態では、図１で説明したようにカメラ２１で撮影された映像から、実空間内でのＨＭＤ３の配置、及び、コントローラ４の配置を検出している。配置検出の精度向上を図るため、ＨＭＤ３にはＬＥＤ３５、３６が、コントローラ４にはＬＥＤ４７が設けられている。撮影された映像から、ＬＥＤ３５、３６、４７を認識することで、実空間内におけるＨＭＤ３、コントローラ４の配置を正確に検出することが可能となっている。また、ＬＥＤ３５、３６、４７の点灯により、周囲が暗い環境下でも配置検出を行うことが可能となっている。

また、ゲーム装置１は、各種プログラム、及び、プログラムで使用する各種情報を記憶する記憶部としてのハードディスク１９を有する。また、ディスク媒体を再生するための媒体再生部２０も有しており、ディスク媒体に記憶されたプログラムを実行することも可能である。ゲーム装置１は、ＬＡＮ４０に接続する通信手段としてのＬＡＮ通信部１８を備えている。ＬＡＮ４０は、家庭内のルータ４１に接続されており、インターネットと通信することが可能である。図２の例では、ゲーム装置１は、ＬＡＮ通信部１８、ルータ４１を介し、各種情報を管理するサーバ装置５と通信を行う接続形態となっている。また、ゲーム装置１は、無線ＬＡＮを実現可能な第１無線通信部１６を有しており、無線によりインターネット接続することも可能である。さらにゲーム装置１は、近距離無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の第２無線通信部１７を備えている。ゲーム装置１は、この第２無線通信部１７を使用してコントローラ４と無線通信を行う。

図３は、本実施形態で使用するＨＭＤ３（ヘッドマウントディスプレイ）を示す斜視図である。左側の図は、ＨＭＤ３を装着するユーザーを後方から眺めた斜視図であり、右側の図は、ＨＭＤ３を装着するユーザーを前方から眺めた斜視図である。ＨＭＤ３は、右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌ（本発明の「表示部」に相当）を格納したＨＭＤ筐体３７、ユーザーの頭部に装着するためのヘッドバンド３４を有して構成されている。本実施形態では、ＨＭＤ筐体３７とヘッドバンド３４でヘッドセットを構成している。ＨＭＤ筐体３７の前面には、配置検出用のため４つのＬＥＤ３５ａ〜３５ｄが設けられている。また、ヘッドバンド３４にも配置検出用のＬＥＤ３６ａ〜３６ｄが４箇所、設けられている。このようにＨＭＤ３の周囲に配置検出用のＬＥＤを設けたことで、ユーザーがどの方向を向いた場合であっても、実空間内での頭部の配置（頭部が向いている方向を含む）を検出することが可能である。

ヘッドバンド３４には、ユーザーに対して音を聴取させるため、ヘッドホン３２Ｒ、３２Ｌが取り付けられている。また、左側のヘッドホン３２Ｌには、アームを介してユーザーの歌唱音声を取り込むためのマイクロホン３３が取り付けられている。このような構成によってユーザーは、どの方向を向いていてもヘッドホン３２Ｒ、３２Ｌにより演奏音等を聴取することが可能であり、また、マイクロホン３３を手で持つことなく歌唱を行うことが可能となっている。

図４は、本実施形態で使用するコントローラを示す正面図、側面図である。本実施形態のコントローラ４は、ゲーム装置１と無線接続され、ゲーム装置１に対して各種指示を出すことが可能である。図４（Ａ）は、コントローラ４の正面図であり、図４（Ｂ）は、図４（Ａ）のコントローラ４を右側から眺めた側面図であり、図４（Ｃ）は、図４（Ａ）のコントローラ４を上側から眺めた側面図である。コントローラ４は、ユーザーが両手で把持する２つのグリップ４１Ｒ、４１Ｌと、その間に設けられた接続部４２を有して形作られている。

左グリップ４１Ｌには、ゲーム操作において上下左右方向を入力するための十字キー４４が設けられている。右グリップ４１Ｒにはボタン群４５が設けられている。この例では、ボタン群４５は、「Ａ」〜「Ｄ」が表記された４つのボタンで構成されている。接続部４２には、２つのアナログスティック４３Ｒ、４３Ｌが設けられている。ユーザーはこのアナログスティック４３Ｒ、４３Ｌを使用して、多段階の方向を指示することが可能である。コントローラ４の上方には、右第１ボタン４６Ｒ１、右第２ボタン４６Ｒ２、左第１ボタン４６Ｌ１、左第２ボタン４６Ｌ２が設けられている。これらボタンは、ユーザーがグリップ４１Ｒ、４１Ｌを握ったときに、人差し指で操作し易い位置に設けられている。

また、図４（Ｃ）に示されるように、接続部４２には、配置検出用のＬＥＤ４７が設けられている。ＬＥＤ４７は、図１に示すようにユーザーがモニタ２２に対峙した場合、モニタ２２の近傍に設置されたカメラ２１で撮影しやすい位置に設けられている。ゲーム装置１は、カメラ２１で撮影された映像から、このＬＥＤ４７の形や色を識別することで、実空間内でのコントローラ４の配置（コントローラ４の方向を含む）を検出する。

以上、説明したゲームシステムの構成を使用して仮想空間内での歌唱を行うことが可能である。そのため、ゲーム装置１ではカラオケ用プログラムを起動することになる。カラオケ用プログラムは、サーバ装置５からダウンロードしてハードディスク１９に記憶したもの、あるいは、ディスク媒体に記憶されたものを使用することが可能である。ゲーム装置１においてカラオケ用プログラムを起動することで楽曲再生処理が開始される。なお、カラオケ用プログラムは、ユーザーはＨＭＤ３を装着した状態で使用することを前提とし、カラオケ用プログラムで出力される映像はＨＭＤ３に、音はヘッドホン３２に出力される。

図５は、本実施形態の楽曲再生処理を示すフロー図である。まず、ＨＭＤ３に表示されたユーザーインターフェイスを使用して歌唱する楽曲を選択する（Ｓ１０１）。本実施形態では、楽曲が選択された後、サーバ装置５１から対応する楽曲情報を受信することとしているが、ゲーム装置１側に記憶しておいてもよい。

図６は、カラオケ用プログラムで使用する楽曲情報のデータ構成を示す図である。楽曲情報は、選曲等を行うために付与されたメタ情報と、演奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。区間識別情報は、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に対応した区間種別を示す情報である。この区間識別情報を使用することで、楽曲再生中、現在再生している区間種別を判定することが可能である。

実情報は、演奏情報、歌詞情報、基準音高情報、背景映像情報を含んで構成されている。楽曲を再生する際、演奏情報を音響制御部１５に演奏させることで、歌唱伴奏としての演奏音をヘッドホン３２Ｒ、３２Ｌから音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像再生部１３で再生し、ＨＭＤ３に映像出力することで、ユーザーの歌唱補助を行うことが可能である。

背景映像情報は、ＨＭＤ３で表示する背景映像として使用される情報である。本実施形態の背景映像情報は、実際の風景やコンサート映像等を撮像した情報である。本実施形態では、背景映像を使用して仮想空間を形成するため、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで背景映像情報を形成している。カメラ２１で検出したＨＭＤ３の配置に応じて、背景映像情報中の映像を表示することで、ユーザーに仮想空間を体感させることが可能となっている。なお、本実施形態では、視差を有する映像を右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示することで、立体感のある仮想空間を体感させることが可能となっている。本実施形態の背景映像情報は、楽曲情報に含まれた構成としており、楽曲と背景映像が一対一の関係になっている。背景映像情報は、このような形態に限られるものではなく、楽曲情報と独立した形態としてもよい。その場合、楽曲情報のジャンルに対応した背景映像情報を使用する、あるいは、ユーザーが選択した背景映像情報を使用すること等が考えられる。

楽曲の選択後、選択された楽曲情報に基づいて再生が開始される（Ｓ１０２）。楽曲情報の再生は、楽曲情報に含まれる演奏情報を音響制御部１５に演奏させ、歌詞情報、背景映像情報を映像再生部１３に再生させる処理である。楽曲再生中、ユーザーはコントローラ４を使用して操作を行うことが可能である。図７は、本実施形態のコントローラ４の操作部、機能、初期設定の対応関係を示した表である。左第１ボタン４６Ｌ１は、歌詞表示オブジェクト６１の透過／非透過を切り替えるための操作部に割り当てられている。左第１ボタン４６Ｌ１を押下する毎に歌詞表示オブジェクト６１の透過、非透過が交互に切り替えられる。左第２ボタン４６Ｌ２は、歌詞表示オブジェクト６１を仮想空間内の所定位置に固定する固定モードと、実空間でのコントローラ４の配置に追従させる追従モードを切り替えるための操作部である。左第２ボタン４６Ｌ２を押下する毎に固定モードから追従モード、もしくは、追従モードから固定モードに切り替えられる。右第１ボタン４６Ｒ１は、コントローラオブジェクト６２（「操作オブジェクト」に相当）の表示／非表示を切り替えるための操作部に割り当てられている。右第１ボタン４６Ｒ１を押下する毎にコントローラオブジェクト６２の表示、非表示が交互に切り替えられる。

楽曲再生開始時には、これら操作部は初期設定が適用される。なお、コントローラ４の各機能に対する操作部の割り当て、並びに初期設定の割り当ては、ユーザーが設定変更できるようにしてもよい。楽曲の再生が開始される（Ｓ１０２）と、図７の初期設定を読み出してＨＭＤ３に表示する映像（視野映像６０）を形成が行われる。視野映像６０は、楽曲に対応する背景映像情報を使用して形成される。図８は、本実施形態における視野映像６０の形成を説明するための模式図である。図６で説明したように背景映像情報は、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで形成された映像である。図８には、ＨＭＤ３を装着したユーザーの周囲に背景映像情報を模式的に示している。ここでは、図面上、分かり易いようにユーザーの側面のみに背景映像情報を表示しているが、実際には半球状、あるいは全球状にユーザーを取り囲む映像となる。ＨＭＤ３で表示される映像は、カメラ２１で検出したＨＭＤ３の配置に基づいて決定される。すなわち、ＨＭＤ３の向いている配置、具体的にはＨＭＤ３の向いている方向に対応した背景映像情報中の領域が視野映像６０として切り出される。したがって、ＨＭＤ３を装着するユーザーの頭部の動きによって視野映像６０が変化することとなり、ユーザーは背景映像情報によって形成される仮想空間を体験することが可能である。

さらに本実施形態では、カメラ２１で検出したコントローラ４の配置に基づいて、視野映像６０に歌詞表示オブジェクト６１と、コントローラオブジェクト６２を表示可能としている。本実施形態におけるコントローラ４の配置検出は、図８で示す背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をコントローラ４の配置情報として検出する。本実施形態では、ＨＭＤ３についても同様に、背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をＨＭＤ３の配置情報として検出する。このようなＨＭＤ３の配置情報、コントローラ４の配置情報に基づいて、ＨＭＤ３に対するコントローラ４の相対的な配置を検出することが可能である。このように本実施形態におけるコントローラ４の配置情報、ＨＭＤ３の配置情報は、実空間における位置（Ｘ方向，Ｙ方向，Ｚ方向の位置）と方向（Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量）といった複数の項目を含んでいるが、配置情報としては、これら項目の内、検出しない、あるいは、使用しない項目を設けてもよい。

検出された相対的な配置は、視野映像６０中に表示するコントローラオブジェクト６２の表示に使用される。コントローラオブジェクト６２が視野映像６０に表示された場合、ユーザーは自分の手に握っているコントローラ４を仮想空間中で観察することが可能となる。さらに本実施形態では、コントローラオブジェクト６２に対応して歌詞表示オブジェクト６１を配置している。この歌詞表示オブジェクト６１は、楽曲再生中、再生された歌詞を表示するオブジェクトであり、コントローラオブジェクト６２に対応して配置されるため、コントローラ４の移動に応じて移動する。

図９は、コントローラ４の配置と、歌詞表示オブジェクト６１及びコントローラオブジェクト６２の表示関係を説明するための図である。ＨＭＤ３には、カメラ２１で検出したＨＭＤ３の配置に基づいて切り出された背景映像情報が視野映像として表示される。実際には、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに視差を有する視野映像６０を表示することで、ユーザーに立体映像による仮想空間を体感させることとしている。図９は、ＨＭＤ３を装着するユーザーの正面にコントローラ４を配置した場合の表示例であり、実空間において検出されたコントローラ４の配置を使用してコントローラオブジェクト６２、歌詞表示オブジェクト６１、そして視線カーソル６３が視野映像６０内に表示される。なお、視線カーソル６３は非表示とする、あるいは、ユーザーの操作によって表示／非表示を切り換え可能としてもよい。

視線カーソル６３は、視野映像６０の上下方向及び左右方向の略中央に位置し、仮想空間内でユーザーの視線を示すための指標である。実際には、ユーザーは眼球を移動させることで、視野映像６０内で視線を変更することが可能であるが、本実施形態では、視線カーソル６３が位置する視野映像６０の上下及び左右方向の略中央を簡易的に視線の通過位置とみなしている。

図１０は、歌詞表示オブジェクト６１、コントローラオブジェクト６２の正面図、側面図である。歌詞表示オブジェクト６１、コントローラオブジェクト６２は、コンピュータグラフィックによる３次元オブジェクトとして形成されている。また、両者は所定の位置関係で配置されている。図１０の左は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図、図１０の右は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図である。歌詞表示オブジェクト６１は、矩形をした板状のオブジェクトであり、正面には歌詞文字が表示される。一方、コントローラオブジェクト６２は、コントローラ４を模した板状のオブジェクトである。本実施形態では、コントローラオブジェクト６２の上方に、側面からみたときに所定の角度を設けて歌詞表示オブジェクト６１を配置している。

カラオケ用プログラムを起動したゲーム装置１では、仮想空間を体験しつつ歌唱を行うことが可能である。その際、マイクロホン３３から入力されるユーザーの歌唱音声に基づいて、歌唱力を評価する歌唱評価処理を実行可能としている。特に、本実施形態では、ユーザーが歌唱に集中（没入）していたか、仮想空間の体験に集中（没入）していたかを、歌唱力評価の一項目としたことを特徴としている。この歌唱評価処理は、楽曲の再生に同期して開始される（Ｓ２００）。歌唱力評価処理の詳細は、後で詳しく説明する。

楽曲の再生開始後は、Ｓ１１１〜Ｓ１１６（追従モード）、Ｓ１２１〜Ｓ１２４（固定モード）をフレーム期間で繰り返し実行することで、動的な視野映像６０が形成される。本実施形態では、初期状態として追従モードが設定されているため、モード判定（Ｓ１１０）の結果、追従モード側（Ｓ１１１〜Ｓ１１６）の処理が実行される。まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１１１）し、ＨＭＤ３の向く方向を使用して、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１１２）。次に、カメラ２１でコントローラ４の配置を検出し（Ｓ１１３）、ＨＭＤ３に対するコントローラ４の相対的な配置が算出される（Ｓ１１４）。算出した相対的な配置に基づき、視野映像６０内におけるコントローラオブジェクト６２の配置を決定する（Ｓ１１５）。表示処理（Ｓ１１６）では、Ｓ１１２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、コントローラオブジェクト６２に対応する位置に歌詞表示オブジェクト６１を表示する。歌詞表示オブジェクト６１上には、楽曲の再生進行にしたがって歌詞情報が表示される。歌詞情報の表示は、通常のカラオケと同様に、表示した歌詞の色替えを行うことで、歌唱すべき歌詞を確認可能としている。

なお、左第１ボタン４６Ｌ１の操作により、歌詞表示オブジェクト６１が透過に切り替えられた場合、表示処理（Ｓ１１６）では、歌詞表示オブジェクト６１を透過させた状態で表示し、歌詞表示オブジェクト６１の背後の視野映像６０を視認しやすいように表示する。歌詞表示オブジェクト６１を非透過とした場合、歌詞表示オブジェクト６１上に表示される歌詞文字が読み取りやすくなる。一方、歌詞表示オブジェクト６１を透過とした場合、歌詞文字は読み取りにくくなるが、背景映像は視認しやすくなる。本実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１を透過、非透過に切り換え可能とすることで、歌詞の読み取りを優先させるか、背景映像の視認性を優先させるかを自在に切り替えることを可能としている。

また、右第１ボタン４６Ｒ１の操作により、コントローラオブジェクト６２が非表示に切り替えられた場合、表示処理（Ｓ１１６）では、コントローラオブジェクト６２を非表示とする。コントローラオブジェクト６２を表示することで、ユーザーが把持しているコントローラ４と同様であって、コントローラ４の動きに追従するコントローラオブジェクト６２を仮想空間内で視認できるため、仮想空間に対する没入感を向上させることが可能である。しかしながら、背景映像を楽しみたいユーザーにとっては、コントローラオブジェクト６２が視界を遮るため煩わしさを感じる場合もある。そのため、本実施形態では、ユーザーの操作によるコントローラオブジェクト６２の表示、非表示を切り替え可能としている。

図１１〜図１３には、追従モードにおける実際の視野映像６０が示されている。なお、各図には、理解を助けるため、歌詞表示オブジェクト６１とコントローラオブジェクト６２とを囲んだ破線と符号を付加している。後で説明する図１４についても同様である。

図１１（Ａ）、図１１（Ｂ）は、共に、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。ユーザーは、把持するコントローラ４に対応するコントローラオブジェクト６２を視野映像６０中に視認するとともに、コントローラオブジェクト６２の上方に位置する歌詞表示オブジェクト６１に表示される歌詞を確認しながら歌唱を行うことが可能である。歌詞表示オブジェクト６１は、非透過となっているため、歌詞表示オブジェクト６１上に表示される歌詞文字は読み取りやすくなっている。

図１２は、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が非表示に設定されている場合の視野映像６０である。この場合、コントローラオブジェクト６２は、視野映像６０中に表示されないが、ユーザーが把持するコントローラ４の移動に追従して歌詞表示オブジェクト６１も移動する。コントローラオブジェクト６２で視野映像６０が阻害されないため、ユーザーは視野映像６０による仮想空間を楽しむことが可能である。

図１３は、歌詞表示オブジェクト６１が透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。この設定では、歌詞表示オブジェクト６１は透過状態となっているため、ユーザーは歌詞表示オブジェクト６１の背後に位置する映像を視認することが可能である。図１１〜図１３で説明した設定以外に、歌詞表示オブジェクト６１を透過、コントローラオブジェクト６２を非表示に設定することも可能である。なお、本実施形態では、歌詞表示オブジェクト６１に表示される歌詞文字の周辺は非透過だが、歌詞文字のギリギリの位置まで透過にしてもよい。

以上説明した追従モードでは、ユーザーが実空間内でコントローラ４を移動させることで歌詞表示オブジェクト６１（コントローラオブジェクト６２が伴う場合もある）を、視野映像６０中の好きな位置に配置することが可能である。したがって、ユーザーが視野映像６０中、注目したい箇所がある場合、当該箇所を避けるように歌詞表示オブジェクト６１を配置させることも可能である。さらには、コントローラ４を移動させることで歌詞表示オブジェクト６１を視野映像６０から外すことも可能であり、歌詞表示が必要としない場合、あるいは背景映像だけを楽しみたい場合にも対応することが可能である。また、歌詞表示オブジェクト６１は板状のオブジェクトであるため、コントローラ４を傾ける僅かな操作で、歌詞表示オブジェクト６１が占める範囲を小さく抑えることも可能である。また、歌詞表示オブジェクト６１は、コントローラ４とＨＭＤ３の相対的な配置にしたがって表示されるため、コントローラ４とＨＭＤ３間の距離を可変させることで、歌詞表示オブジェクト６１の大きさを変更することも可能である。通常の空間と同様、大きく見たい場合には、コントローラ４を顔に近づけることで、歌詞表示オブジェクト６１が拡大して表示される。

一方、モード判定（Ｓ１１０）の結果、固定モードに設定されている場合、Ｓ１２１〜Ｓ１２４の処理が実行される。本実施形態の固定モードは、図８に示す背景映像情報の座標系上の所定位置に歌詞表示オブジェクト６１を固定して表示するモードである。したがって、コントローラ４の位置とは無関係に、背景映像情報で形成される仮想空間の所定位置に歌詞表示オブジェクト６１が表示される。この場合、まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１２１）することで、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１２２）。次に、カメラ２１でコントローラ４の配置を検出する（Ｓ１２３）。そして、Ｓ１２２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、背景映像情報で形成する仮想空間内の所定位置に歌詞表示オブジェクト６１を配置する表示処理（Ｓ１２３）を実行する。固定モードの場合も、追従モードの場合と同様、歌詞表示オブジェクト６１の透過、非透過、コントローラオブジェクト６２の表示、非表示の設定に従って、表示処理（Ｓ１２３）が実行される。

図１４は、固定モードにおける実際の視野映像６０を示した図である。この例では、背景映像情報中の所定位置（芝生の上）に歌詞表示オブジェクト６１を配置した形態となっている。歌詞表示オブジェクト６１は、実空間におけるコントローラ４の配置とは無関係に、予め定められた仮想空間内の所定位置に配置される。なお、この例では、非透過で歌詞表示オブジェクト６１を表示させている。ユーザーは背景映像情報中、歌詞表示オブジェクト６１が配置された方に目を向ける（ＨＭＤ３を向ける）ことで、歌詞表示オブジェクト６１を視認することが可能である。固定モードでは、ユーザーは、いわば仮想空間内に配置された看板のように、歌詞表示オブジェクト６１を観察することが可能である。なお、図１４の例では、コントローラオブジェクト６２を表示させた設定であって、コントローラオブジェクト６２は、実空間でのコントローラ４の配置に追従して表示される。

以上説明した固定モードでは、背景映像情報で形成される仮想空間内の所定位置に歌詞表示オブジェクト６１を表示することとしている。ユーザーは、歌詞表示オブジェクト６１の位置にＨＭＤ３を向けることで、視野映像６０内に歌詞表示オブジェクト６１を表示させ、歌詞を確認することが可能である。本実施形態では、歌詞表示オブジェクト６１を仮想空間内の所定位置（図８の座標系での所定位置）に位置させることとしているが、任意の位置に変更可能としてもよい。例えば、追従モードから固定モードに変更したときの、歌詞表示オブジェクト６１の位置に固定することが考えられる。ユーザーは追従モードを使用して、歌詞表示オブジェクト６１を固定したい位置に移動させ、追従モードから固定モードに切り替えることで歌詞表示オブジェクト６１を固定することで、仮想空間内の好みの位置に歌詞表示オブジェクト６１を固定表示することが可能となる。また、本実施形態の固定モードでは、同じ箇所に歌詞表示オブジェクト６１を表示することとしているが、楽曲の進行に応じて歌詞表示オブジェクト６１の位置を変更することとしてもよい。

ＨＭＤ３に表示する視野映像６０の形成は、フレーム毎にＳ１１１〜Ｓ１１６（追従モード時）、または、Ｓ１２１〜Ｓ１２４（固定モード時）を実行することで行われ、ＨＭＤ３を装着するユーザーに対して仮想空間を体験させることが可能である。その際、歌詞表示オブジェクト６１によってユーザーに歌唱すべき歌詞を観察させることができる。楽曲について演奏情報の演奏終了（Ｓ１１７：Ｙｅｓ）が判定されると、歌唱評価処理の結果画面である歌唱評価結果画面を表示（Ｓ１１８）した後、楽曲再生処理の先頭に戻って、次に再生する楽曲をユーザーに選択させる。

では、本実施形態の歌唱評価処理について詳しく説明する。歌唱評価処理は、楽曲の再生に同期して実行される処理であって、マイクロホン３３から入力されるユーザーの歌唱音声を、楽曲情報中の基準音高情報と比較すること等で評価する処理である。特に、本実施形態では、仮想空間を体験しながら歌唱を行うユーザーが歌唱に集中（没入）していたか、仮想空間の体験に集中（没入）していたかに基づき、補正された歌唱評価を行うこととしている。

図１５は、本実施形態の歌唱評価処理を示すフロー図である。歌唱評価処理は、マイクロホン３３に入力される歌唱音声に基づく音声評価処理（Ｓ２５０）と、ユーザーが歌唱に集中（没入）していたか、仮想空間の体験に集中（没入）していたかについて評価を行う歌詞注目度評価処理が並行して実行される。本実施形態の音声評価処理（Ｓ２５０）は、入力される歌唱音声について、音程、安定感、抑揚、テクニックの４項目について評価を行う処理である。音程については、歌唱音声の音高（歌唱音高）と、再生対象となる楽曲情報の基準音高情報（模範旋律）とを比較することで行われる。

歌詞注目度評価処理は、ユーザーが歌唱、仮想空間のどちらに集中していたかを評価する処理であり、ユーザーの視線を使用して行われる。なお、ここでいう視線とはユーザーの視点位置と観察位置を結ぶ線分に相当する。本実施形態では、歌詞に注目していたことを高評価とし、仮想空間に注目していたことを低評価としている。また、ユーザーの視線方向の判定は、視線カーソル６３の位置、すなわち、視野映像６０の上下及び左右方向の中央を視線通過位置とみなし、視線が歌詞表示オブジェクト６１に位置しているか否か、具体的には、ユーザーの視点位置（眼の位置）と観察位置を結ぶ視線上に歌詞表示オブジェクト６１が位置しているか否かによって評価することとしている。

まず、累積ポイントＰ（歌唱没入度）を初期化（Ｓ２０１）した後、歌詞注目度評価処理と、音声評価処理（Ｓ２５０）を並行して実行する。歌詞注目度評価処理では、視線滞在時間Ｔ１を初期化（Ｓ２０２）し、区間カウント値Ｔを初期化して区間カウント値Ｔのカウントを開始する（Ｓ２０３）。区間カウント値Ｔのカウント中、仮想空間内における視線カーソル６３の位置、すなわち、視野映像６０の上下及び左右方向の中央位置を検出する（Ｓ２０４）。そして、検出した視線カーソル６３の位置（視線が通過する位置）に基づいて、視線が歌詞表示領域に位置しているか否かを判定する視線判定処理を実行する（Ｓ２０５）。本実施形態では、歌詞表示領域として歌詞表示オブジェクト６１の占める領域を使用している。

例えば、図１１（Ａ）のように視線カーソル６３が歌詞表示オブジェクト６１に向いている場合（Ｓ２０５：Ｙｅｓ）は、ユーザーの視線は、歌詞表示領域内に位置していると判定し、視線滞在時間Ｔ１をカウントする（Ｓ２０６）。一方、図１１（Ｂ）のように視線カーソル６３が歌詞表示オブジェクト６１内に向いていない位置していない場合（Ｓ２０５：Ｎｏ）は、ユーザーの視線は、歌詞表示領域に位置していないと判定し、視線滞在時間Ｔ１のカウントは行わない。所定時間（５秒間）経過したところ（Ｓ２０７：Ｙｅｓ）で、カウントした視線滞在時間Ｔ１に基づく判定が行われる。このように視線滞在時間Ｔ１をカウントすることで、視線滞在時間Ｔ１は、ユーザーの視線が所定時間（５秒間）の内、何秒間、歌詞表示領域を向いていたかを示す指標値となる。

視線滞在時間Ｔ１が３．６秒より大きい場合（Ｓ２０８：Ｙｅｓ）、累積ポイントＰに２ポイントを加算する（Ｓ２０９）。視線滞在時間Ｔ１が３．６秒以下であって２．６秒より大きい場合（Ｓ２１０：Ｙｅｓ）、累積ポイントＰに１ポイントを加算する。そして、視線滞在時間Ｔ１が２．６秒以下の場合（Ｓ２１０：Ｎｏ）、累積ポイントＰにポイント加算を行わない。演奏が終了する（Ｓ２１２：Ｙｅｓ）まで、Ｓ２０３〜Ｓ２１１の処理を繰り返し行うことで、ユーザーの視線がどれだけ歌詞表示領域内に位置していたかを示す累積ポイントＰが算出される。この累積ポイントＰが大きいほど、ユーザーの視線は歌詞表示領域に注目していたことを示すことになる。

演奏が終了する（Ｓ２１２：Ｙｅｓ）と、音声評価処理（Ｓ２５０）に基づく歌唱評価結果としての歌唱評価情報が算出される（Ｓ２１３）。本実施形態では、この歌唱評価情報に対して、歌唱注目度評価処理で算出した累積ポイントＰによる補正を行うことで、最終的な歌唱評価情報を算出している（Ｓ２１４）。累積ポイントＰは、ユーザーの視線がどれだけ歌詞表示領域に位置していたかを示す指標であって、本実施形態では、累積ポイントＰが高いほど、歌唱評価結果が高くなるように補正が行われる。

補正された歌唱評価結果は、通知処理にてユーザーに通知される。本実施形態では、楽曲再生処理において歌唱評価結果画面として表示することで通知する（Ｓ１１８）。図１７は、本実施形態の歌唱評価結果画面を示す図である。本実施形態では、音声評価処理（Ｓ２５０）で評価した４つの項目（音程、安定感、抑揚、テクニック）と、歌詞注目度評価処理で評価した歌詞注目度（累積ポイントＰに対応）についての各得点と、これら５項目の総合得点が表示されている。また、視野映像６０の左下には、各項目をグラフ化した図が表示されている。歌詞注目度は、累積ポイントＰをそのまま表示する、あるいは、累積ポイントＰの最大値が、最大得点（この例では１０点）となるように正規化してもよい。

このように楽曲終了後、歌唱評価結果画面を示すことで、ユーザーは自己の歌唱力を確認することが可能である。特に、本実施形態では、ユーザーの視線に基づき、ユーザーがどれだけ歌唱に集中していたかを示す歌詞注目度を項目として加入することで、仮想空間を体験しながら歌唱を行うユーザーが歌唱に集中（没入）していたかを、歌唱の一判定基準としている。

以上、本発明の一実施形態について説明を行ったが、本発明はこの実施形態のみに限定されるものではなく、各種変形例を採用することが可能である。以下に各種変形例について説明を行う。

（第１変形例）
前述した実施形態の歌詞注目度評価処理では、ユーザーの視線が歌詞表示領域に位置していた場合、高評価となるように歌唱評価結果としての歌唱評価情報を補正することとしていた。しかしながら、ユーザーが歌詞の表示に集中していたことが、必ずしもよいとはいえない場合もある。例えば、プロの歌手のように歌詞を見なくても歌唱できる習熟したユーザーの場合、前述した実施形態では、累積ポイントＰは低い値となってしまう。第１変形例では、歌詞注目度評価処理において、歌唱音声に対して音声認識処理を行うことで、更に的確な累積ポイントＰを算出することとしている。

図１７は、第１変形例の歌詞注目度評価処理を示すフロー図である。このフロー図は、図１５で説明した歌唱評価処理の破線で囲んだ歌詞注目度評価処理に代えて行われる処理である。また、図１７のフロー図中、図１５と同じ符号が付された処理は、図１５で説明した内容と同等の処理を示している。

前述した実施形態が、区間カウント値が所定時間（５秒）を経過する毎に、累積ポイントＰの加算判断を行うことしているが、この第１変形例では、楽曲の１フレーズ毎に累積ポイントＰの加算判断が行われる。ここで、フレーズとは歌詞の一節を意味し、楽曲情報中の歌詞情報、あるいは、区間識別情報に規定しておくことで、判断することが可能である。さらに、第１変形例では、１フレーズ期間に入力された歌唱音声に音声認識処理を施すことで、歌唱すべき歌詞が歌唱されたか否かを判定することとしている。

Ｓ２０１で累積ポイントＰを初期化した後、視線滞在時間Ｔ１の初期化（Ｓ２０２）と、区間カウント値Ｔの初期化を実行する（Ｓ２０３）。Ｓ３０１、Ｓ２０４〜Ｓ２０６、Ｓ３０２は、１フレーズ期間内に繰り返し行われる処理であって、音声認識処理（Ｓ３０１）では、マイクロホン３３から入力される歌唱音声が文字（歌唱歌詞）に変換される。また、視線方向の検出（Ｓ２０４）に基づき、ユーザーの視線が歌詞表示領域に位置していると判定された場合（Ｓ２０５：Ｙｅｓ）、視線滞在時間Ｔ１がカウントされる（Ｓ２０６）。

累積ポイントＰの加算判断は、音声認識処理（Ｓ３０１）の結果である歌唱評価情報と、視線方向の両方を使用して行われる。音声認識処理（Ｓ３０１）で文字（歌唱歌詞）に変換された歌唱音声は、該当するフレーズ内の歌詞と対比され、適合しているか否か、すなわち、ユーザーは歌唱すべき歌詞を歌ったか否かが判定される（Ｓ３０３）。歌唱すべき歌詞を歌った場合（Ｓ３０３：Ｙｅｓ）、歌唱すべき歌詞を歌っていない場合（Ｓ３０３：Ｎｏ）のそれぞれについて、ユーザーの視線方向が、歌詞表示領域に注目していたか否かが判断される（）。具体的には、算出した視線滞在時間Ｔ１に基づき、ユーザーの視線が歌詞表示オブジェクト６１に位置していたか、それ以外の背景映像に位置していたかを判定する（Ｓ３０４、Ｓ３０７）。歌詞表示オブジェクト６１を向いていた時間は、視線滞在時間Ｔ１として得られる。一方、それ以外を向いていた時間は、区間カウント値Ｔから視線滞在時間Ｔ１を引いた値で得られる。したがって、それ以外を向いていた時間Ｔ−Ｔ１が視線滞在時間Ｔ１よりも大きい場合（Ｓ３０４、Ｓ３０７：Ｙｅｓ）、ユーザーの視線は、主に歌詞表示オブジェクト６１以外の背景映像に向いていたこととなる。一方、それ以外を向いていた時間Ｔ−Ｔ１が視線滞在時間Ｔ１以下の場合（Ｓ３０４、Ｓ３０７：Ｎｏ）、ユーザーの視線は、主に歌詞表示オブジェクト６１に向いていたこととなる。
したがって、この第１変形例では、以下に示す４つの状態が判定される。
１．歌唱すべき歌詞を歌っており、歌詞表示領域に注目していない （Ｓ３０５）
２．歌唱すべき歌詞を歌っており、歌詞表示領域に注目している （Ｓ３０６）
３．歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目していない（Ｓ３０８）
４．歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目している （Ｓ３０９）

そして、１〜４の順に高得点となるように累積ポイントＰの加算が行われる。具体的には、１の場合は２ポイント加算し、２の場合は１ポイント加算し、３の場合は０．５ポイント加算し、４の場合は加算しない。このような歌詞注目度評価処理を実行することで、特に、歌詞を見ていなくても的確な歌詞を歌唱している場合には、高得点の累積ポイントＰが得られることとなる。累積ポイントＰの算出の形態は、このような形態に限らず各種形態を採用することが可能である。例えば、視線滞在時間Ｔ１に基づく累積ポイントＰの加算を２段階ではなく、前述の実施形態のように３段階とする、あるいは、上述した４つの状態中、３の状態と４の状態をまとめて１つの状態とし、累積ポイントＰを加算しない等、各種の変形を採用することが可能である。

本実施形態では、歌唱すべき歌詞を歌っていたかと、歌詞表示領域に注目していたかによって累積ポイントＰに加算するポイントが決定されているが、これに限られない。さらに、１フレーズ毎の音声評価処理（Ｓ２５０）の結果も加味して加算するポイントを決定してもよい。この場合、以下に示す８つの状態が判定される。
１．音高が一致しており、歌唱すべき歌詞を歌っており、歌詞表示領域に注目していない
２．音高が一致しており、歌唱すべき歌詞を歌っており、歌詞表示領域に注目している
３．音高が一致しており、歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目していない
４．音高が一致しており、歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目している
５．音高が一致しておらず、歌唱すべき歌詞を歌っており、歌詞表示領域に注目していない
６．音高が一致しておらず、歌唱すべき歌詞を歌っており、歌詞表示領域に注目している
７．音高が一致しておらず、歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目していない
８．音高が一致しておらず、歌唱すべき歌詞を歌っておらず、歌詞表示領域に注目している

そして、１〜８の順に高得点となるように累積ポイントＰの加算が行われる。具体的には、１の場合は２．１ポイント加算し、２の場合は１．８ポイント加算し、３の場合は１．５ポイント加算し、４の場合は１．２ポイント加算し、５の場合は０．９ポイント加算し、６の場合は０．６ポイント加算し、７の場合は０．３ポイント加算し、８の場合は加算しない。このような歌詞注目度評価処理を実行することで、特に、歌詞を見ていなくても的確な歌詞を歌唱しており、音高が一致している場合には、高得点の累積ポイントＰが得られることとなる。

（第２変形例）
前述した実施形態では、ユーザーが歌詞表示領域に注目している場合に累積ポイントＰが高くなるようにしているが、視線に基づく評価は、歌詞表示領域に注目していない場合（背景映像に注目している場合）に累積ポイントＰが高くなるようにする等、視線に基づく評価基準は、異なる形態とすることも可能である。また、使用する背景映像情報に応じて、視線に基づく評価基準を変更することとしてもよい。例えば、制作者側では、仮想空間に集中（没入）して歌唱して欲しい場合と、仮想空間に惑わされることなく歌唱に集中して欲しい場合を考慮して、背景映像情報を制作することがある。このような場合、背景映像情報に対応して評価基準を変更することで、制作者側の意図に沿った視線方向の場合を高得点とし、意図に沿わない場合、得点が低くなるようにすることが可能となる。

背景映像情報は、その内容に応じて、テーマが付与されており、例えば、「美女とデュエット」や、「売り出し中の新人歌手」などがある。背景映像情報が「美女とデュエット」の場合、ユーザーは美女が映る背景映像を観たいという衝動にかられる。この場合は、歌詞表示領域に注目している場合に累積ポイントＰが高くなることで、衝動に負けず、歌唱に集中したことを高く評価する。一方、背景映像情報が、「売り出し中の新人歌手」の場合、制作者側は、売り出し中の新人歌手をユーザーに観てほしいという意図がある。この場合、歌詞表示領域に注目していない場合、すなわち背景映像に注目している場合に累積ポイントＰが高くなることで、新人歌手に注目してくれたことを高く評価する。このように、再生する背景映像情報に応じて、評価基準が変更される。

（第３変形例）
前述した本実施形態では、視野映像６０の上下及び左右方向の略中央（視線カーソル６３の位置）を簡易的に視線通過位置とみなすことで視線を検出しているが、実際のユーザーの視線は、ユーザーが眼球を運動させることで、視野映像６０内でも移動する。ユーザーの視線を正確に検出するため、センサーを使用してユーザーの実際の視線を検出してもよい。例えば、ＨＭＤ筐体３７の内部に赤外線センサーを搭載し、ユーザーの眼球の動きを検出することで、視野映像６０内の視線を正確に検出することが考えられる。ユーザーの眼球の動きを検出する場合、ＨＭＤ３を使用して行う形態に限らず、モニタを視認しながら行う従来のカラオケ装置に適用することも可能である。例えば、図１のモニタ２２を直接視認しながら歌唱を行う形態のカラオケでは、例えば、カメラ２１でユーザーの眼球の動きを検出し、モニタ２２の何処（歌詞表示領域もしくはそれ以外の領域）を見ているかを判定し、評価を行うこととしてもよい。

（第４変形例）
前述した実施形態では、ユーザーの視線が歌詞表示領域（歌詞表示オブジェクト６１）を向いていることを条件として累積ポイントＰ（歌唱没入度）をカウントしているが、視線が視野映像６０中の歌詞表示領域以外に位置していることを条件として、累積ポイントＰ（背景没入度）をカウントすることとしてもよい。この場合、累積ポイントＰ（背景没入度）が大きくなる程、ユーザーは背景映像情報による仮想空間の体験に没入していたことになる。その際、視線が歌詞表示領域以外を向いている場合、背景映像の何所を見ているかによって重み付けして累積ポイントＰ（背景没入度）をカウントしてもよい。例えば、背景映像中、制作者側が注目させたい背景映像の所定領域を設けておき、当該所定領域に視線が向いている場合には累積ポイントＰ（背景没入度）が高くなるように重み付けすること等が考えられる。

図１８は、歌詞表示領域以外の領域、すなわち背景映像中の位置に応じて重み付けが異なることを模式的に示す図であり、歌手と一緒に歌唱を楽しむ仮想空間を想定した場合である。歌手が売り出し中の新人だと、映像を提供する制作者側としては、歌手の顔をユーザーに覚えてもらいたいという意図がある。そこで、注目させたい背景映像の所定領域を注目領域６６として設定する。注目領域６６に視線が位置している場合、累積ポイントＰ（背景没入度）を重み付けして算出する。本実施形態では、注目領域は一か所だが、背景映像中に複数箇所設けてもよい。また、複数箇所の注目領域が存在する場合、その重み付けは、注目領域に含まれる映像に応じて数値を変更してもよい。また、注目領域の大きさに応じて、重み付けを変更してもよい。すなわち、より狭い領域に含まれる映像に視線が位置している場合は、当該映像に集中していたとして、重み付けをより重くしてもよい。

なお、本実施形態では、視野映像６０内に歌詞表示オブジェクト６１以外にコントローラオブジェクト６２も表示している。視線がコントローラオブジェクト６２に位置している場合には、累積ポイントＰ（背景没入度）をカウントしないことが好ましい。また、累積ポイントＰ（歌唱没入度）、累積ポイント（背景没入度）の何れかをカウントする形態のほか、累積ポイントＰ（歌唱没入度）と累積ポイント（背景没入度）の両方をカウントして評価を行うこととしてもよい。

（第５変形例）
前述した実施形態では、視線が歌詞表示オブジェクト６１に位置している場合、歌詞表示領域を向いていると判定しているが、歌詞表示オブジェクト６１よりも狭い領域であって、実際に歌詞文字が表示されている領域を歌詞表示領域として使用することとしてもよい。さらに、歌唱すべき歌詞文字（色替えが行われている部分）を中心とする所定領域を、歌詞表示領域として使用することとしてもよい。

（第６変形例）
前述した実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１の透過、非透過を切り替えることとしているが、歌詞表示オブジェクト６１の透過、非透過は自動で切り替えるようにしてもよい。例えば、前奏、間奏、後奏といった歌唱しない区間では、歌詞表示オブジェクト６１を透過状態に自動で切り替えることで、ユーザーは、当該区間中、歌詞表示オブジェクト６１に阻害されない視野映像を楽しむことが可能となる。このような区間は、図６で説明した楽曲情報中の区間識別情報で判定することが可能である。あるいは、マイクロホン３３に入力される歌唱音声の有無で、ユーザーが歌唱していない期間を判定し、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。

また、固定モードから追従モードに切り替えた際、コントローラ４がＨＭＤ３の近くに位置していると、大きな歌詞表示オブジェクト６１が目の前に表示されてユーザーを驚かしてしまうことが考えられる。したがって、コントローラ４とＨＭＤ３の距離に応じて歌詞表示オブジェクト６１の透過、非透過を切り替えてもよい。例えば、コントローラ４がＨＭＤ３から所定距離以内に位置している場合は、歌詞表示オブジェクト６１を透過状態とすることで、目の前に大きな歌詞表示オブジェクト６１が表示されても支障を抑制することが可能となる。あるいは、背景映像情報において、歌詞表示オブジェクト６１が所定領域に位置した場合には、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。

（第７変形例）
前述した実施形態では、背景映像情報はカメラで撮影した実際の映像を使用した形態であるが、背景映像情報をコンピュータグラフィックによる３次元オブジェクトとして形成することとしてもよい。このような形態では、形成された仮想空間内を自由に移動することも可能である。前述の実施形態は固定の視点であるのに対し、第７変形例では自由な視点で仮想空間を体験することが可能となる。視点の移動は、例えば、コントローラ４の左アナログスティック４３Ｌを仮想空間内の移動用に割り当て、左アナログスティック４３Ｌを倒した方向に仮想空間を移動すること、あるいは、再生進行に伴って所定の経路で移動させること等が考えられる。なお、第７変形例について、第４変形例で説明した、背景映像の何所を見ているかによって重み付けして累積ポイントＰ（背景没入度）をカウントする形態を適用する場合、重み付けを可変する対象は所定領域ではなく、所定の３次元オブジェクトとなる。例えば、視線が所定の３次元オブジェクト（例えば、注目させたい歌手の顔）に位置している場合、累積ポイントＰ（背景没入度）が高くなるように重み付けすることとなる。

（第８変形例）
前述の実施形態では、ＨＭＤ３に対するコントローラ４の相対的な方向、ＨＭＤ３とコントローラ４間の距離、ＨＭＤ３に対するコントローラ４の傾きを使用して、歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示させているが、歌詞表示オブジェクト６１、コントローラオブジェクト６２の表示には、ＨＭＤ３に対するコントローラ４の相対的な方向のみを使用することでもよい。視野映像６０中、ＨＭＤ３に対するコントローラ４の相対的な方向に対応した位置に歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示することが可能である。さらに、距離を加えることで大きさを変更することが可能であり、さらに傾きを加えることで見え方を変更することが可能となり、仮想現実性の向上を図ることが可能となる。

（第９変形例）
前述の実施形態では、ＨＭＤ３、及び、コントローラ４の位置検出について、カメラ２１で撮影した映像を使用した形態としているが、ＨＭＤ３、及び、コントローラ４の位置検出はこのような形態に限られるものではなく、ジャイロ等、各種センターを利用して検出する形態を採用してもよい。また、前述の実施形態では、操作装置として、ゲーム装置１用のコントローラ４を使用しているが、操作装置はコントローラ４に限られるものではなく、ゲーム装置１（情報処理装置）に対して各種指令を出すことのできるデバイスを採用することが可能である。例えば、ユーザーが手に装着して使用するグローブ状のデバイス等を操作装置として使用してもよい。

以上、本実施形態ではゲームシステムを例に取って説明を行ったが、本発明はゲームシステムに限らず、従来のカラオケ装置、パーソナルコンピュータ等の各種情報処理装置に適用することが可能である。また、本実施形態のゲーム装置１や各種情報処理装置で実行され、本発明の機能を実現可能なカラオケ用プログラムについても本発明の範疇に属する。

１：ゲーム装置 ３４：ヘッドバンド
３：ＨＭＤ ３５、３６：ＬＥＤ
４：コントローラ（操作装置） ３７：ＨＭＤ筐体
５：サーバ装置 ４１：ルータ
１０：ＣＰＵ ４１Ｌ：左グリップ
１１：メモリ ４１Ｒ：右グリップ
１２：ビデオＲＡＭ ４２：接続部
１３：映像再生部 ４３Ｌ：左アナログスティック
１４：映像制御部 ４３Ｒ：アナログスティック
１５：音響制御部 ４４：十字キー
１６：第１無線通信部 ４５：ボタン群
１７：第２無線通信部 ４６Ｌ１：左第１ボタン
１８：ＬＡＮ通信部 ４６Ｌ２：左第２ボタン
１９：ハードディスク ４６Ｒ１：右第１ボタン
２０：媒体再生部 ４６Ｒ２：右第２ボタン
２１：カメラ ４７：ＬＥＤ
２２：モニタ ５１：サーバ装置
３１Ｌ：左目用ディスプレイ ６０：視野映像
３１Ｒ：右目用ディスプレイ ６１：歌詞表示オブジェクト
３２（３２Ｒ、３２Ｌ）：ヘッドホン ６２：コントローラオブジェクト
３３：マイクロホン ６３：視線カーソル

Claims (7)

1. 楽曲を演奏する演奏処理と、
   背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
   マイクロホンから入力されたユーザーの歌唱音声に基づいて歌唱評価情報を生成する歌唱評価処理と、
   表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
   演奏処理中、視線判定処理により判定された視線が歌詞表示領域に位置しているか否かに基づいて、歌唱評価情報を補正する補正処理と、
   補正された歌唱評価情報をユーザーに通知する通知処理と、を実行することを特徴とする
   カラオケ装置。
2. 表示部はユーザーの頭部に装着するヘッドセットに配置され、
   表示処理は、ヘッドセットの移動に応じて映像を移動させ、
   視線判定処理は、表示部に表示される映像の所定位置をユーザーの視線通過位置として視線を判定することを特徴とする
   請求項１に記載のカラオケ装置。
3. 視線判定処理は、ユーザーの眼球の動きを検出することでユーザーの視線を判定することを特徴とする
   請求項１まあは請求項２に記載のカラオケ装置。
4. 歌唱評価処理は、ユーザーの歌唱音声から歌唱音高を抽出し、抽出した歌唱音高と、楽曲の模範旋律を比較することで歌唱評価情報を生成することを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ装置。
5. ユーザーの歌唱音声を音声認識することで歌唱歌詞を抽出し、抽出した歌唱歌詞と、楽曲の歌詞を比較することで歌唱すべき歌詞が歌唱されたか否かを判定する歌詞判定処理を実行し、
   補正処理は、視線判定処理により判定された視線と、歌詞判定処理により判定された判定結果とに基づいて、歌唱評価情報を補正することを特徴とする
   請求項１から請求項４の何れか１項に記載のカラオケ装置。
6. 補正処理は、再生される背景映像に対応する評価基準を使用して、歌唱評価情報を補正することを特徴とする
   請求項１から請求項５の何れか１項に記載のカラオケ装置。
7. 楽曲を演奏する演奏処理と、
   背景映像と、背景映像内に配置された歌詞表示領域とを有する映像を表示部に表示し、歌詞表示領域に、演奏処理で演奏される楽曲の歌詞を表示する表示処理と、
   マイクロホンから入力されたユーザーの歌唱音声に基づいて歌唱評価情報を生成する歌唱評価処理と、
   表示部に表示される映像中、ユーザーの視線を判定する視線判定処理と、
   演奏処理中、視線判定処理により判定された視線が歌詞表示領域に位置しているか否かに基づいて、歌唱評価情報を補正する補正処理と、
   補正された歌唱評価情報をユーザーに通知する通知処理と、を情報処理装置に実行させることを特徴とする
   カラオケ用プログラム。