JP2017058525A - カラオケ装置及びカラオケ用プログラム - Google Patents

Abstract

【課題】伴奏に合わせて歌唱を楽しむカラオケにおいて、歌唱補助のための歌詞表示について新たな形態を提供する。
【解決手段】カラオケ装置は、演奏情報に基づき演奏を行う演奏処理と、操作装置の配置に関する配置情報を検出する検出処理と、表示部に表示される背景映像中、検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置し、演奏処理で演奏される楽曲の歌詞を歌詞表示オブジェクト６１に表示する表示処理と、を実行する。
【選択図】図１１

Description

本発明は、伴奏に合わせて歌唱を楽しむカラオケ装置、及び、カラオケ装置あるいはゲーム装置等の情報処理装置に実装することでカラオケ機能を実現するカラオケ用プログラムに関する。

従来、宴会の場等では、伴奏に合わせて歌唱を行うカラオケが行われている。カラオケを行うためのカラオケ装置では、演奏に同期して歌詞を表示することで歌唱の補助を行う機能がよく知られている。ユーザーは歌詞を記憶していなくてもモニタ画面に表示される歌詞を視認することで、歌唱すべき歌詞を確認することが可能である。このようなカラオケ装置の歌詞表示機能について各種の改良が行われている。

特許文献１には、大画面の表示部を使用して歌唱を楽しむ環境下において、視認しやすい歌詞を提供することのできるカラオケ装置が開示されている。このカラオケ装置では、検出した歌唱者の位置に基づいて、表示部の表示領域内に表示される画像情報の大きさを変更する。画像情報に歌詞情報を含めることで、歌唱者の位置に適した表示領域内の位置に歌詞を表示することが可能となっている。

特許文献２には、ユーザー−の頭部に装着するヘッドマウントディスプレイを使用したカラオケシステムが開示されている。ヘッドマウントディスプレイに歌詞を表示することで、ユーザーの位置の自由度が高まり、ユーザーは所望の位置でカラオケを楽しむことができる。

特開２０１５−６９０４２号公報 特開２００１−２２３６２号公報

近年、画像処理技術の高度化に伴い、ＨＭＤ（ヘッドマウントディスプレイ）を利用した仮想空間が一般家庭でも利用可能な環境が整ってきている。これは、情報処理装置に搭載されたＣＰＵ、ＧＰＵ等の演算処理能力の向上、記憶容量の大容量化等を理由としている。仮想空間では、ＨＭＤを装着したユーザーの頭部の動きに応じて映像を表示することで、ユーザーは仮想空間内にいるような感覚を味わうことが可能であって、特に、ゲーム分野において注目を集めている。特許文献２ではＨＭＤを使用しているものの、ＨＭＤで歌詞を表示する程度に留まるものであった。

ところで仮想空間では、ＨＭＤを装着したユーザーがあたかもその場にいるような仮想感覚を楽しむことが可能である。出願人は仮想空間を使用して歌唱を楽しむカラオケ装置を新たに開発している。開発にあたって、仮想空間内でどのように歌詞を表示するかが問題となった。すなわち、従来のカラオケ装置のように、仮想空間の所定箇所を歌詞の表示場所とした場合、仮想空間内に現実的でない歌詞が表示されるため、仮想空間への違和感が生じてしまう。仮想空間では、ユーザーが映し出された世界に入り込むこと（没入感）が重要であって、仮想空間への違和感が生じた場合、没入感が損なわれることになる。本発明は、このような課題を前提とするものであり、ユーザーの没入感を損なうことなく、仮想空間内で歌詞を表示することで、仮想空間を十分に楽しみながら歌唱可能とすることを目的としている。

そのため、本発明に係るカラオケ装置は、以下の構成を採用することとしている。
演奏情報に基づき演奏を行う演奏処理と、
操作装置の配置に関する配置情報を検出する検出処理と、
表示部に表示される背景映像中、検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置し、演奏処理で演奏される楽曲の歌詞を歌詞表示オブジェクトに表示する表示処理と、を実行することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示部は、ヘッドセットに配置され、
検出処理によって検出された配置情報は、ヘッドセットに対する操作装置の相対方向を含むことを特徴とする。

さらに本発明に係るカラオケ装置において、
検出処理によって検出された配置情報は、ヘッドセットと操作装置間の距離を含み、
表示処理は、検出処理によって検出された配置情報中の距離に対応する大きさで歌詞表示オブジェクトを配置することを特徴とする。

さらに本発明に係るカラオケ装置において、
検出処理によって検出された配置情報は、ヘッドセットに対する操作装置の傾きを含み、
表示処理は、検出処理によって検出された配置情報中の傾きに対応して歌詞表示オブジェクトを傾けて配置することを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、検出処理によって検出された配置情報中の傾きが所定値を超えた場合、歌詞表示オブジェクトの傾きを規制する。

さらに本発明に係るカラオケ装置において、
表示処理は、
検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置する追従モードと、
表示部に表示される背景映像の座標系上の所定箇所に歌詞表示オブジェクトを配置する固定モードと、を選択可能とすることを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、検出処理によって検出された配置情報に対応して操作装置を示す操作オブジェクトを配置示することを特徴とする。

さらに本発明に係るカラオケ装置は、
検出処理によって検出された配置情報が所定範囲を外れた場合、歌詞表示オブジェクトを背景映像に配置しないことを特徴とする。

さらに本発明に係るカラオケ装置において、
表示処理は、歌詞表示オブジェクトの透過状態を変更可能であって、演奏情報の進行状況に応じて、歌詞表示オブジェクトの透過状態を変更することを特徴とする。

また本発明に係るカラオケ用プログラムは、
演奏情報に基づき演奏を行う演奏処理と、
操作装置の配置に関する配置情報を検出する検出処理と、
表示部に表示される背景映像中、検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置し、演奏処理で演奏される楽曲の歌詞を歌詞表示オブジェクトに表示する表示処理と、を情報処理装置に実行させることを特徴とする。

本発明に係るカラオケ装置またはカラオケ用プログラムは、伴奏に合わせて歌唱を楽しむカラオケにおいて、歌唱補助のための歌詞表示について新たな形態を提供するものである。具体的には、実空間での操作装置の配置を検出し、検出した配置に対応して歌詞表示オブジェクトを配置して表示することとするものであり、特に、ユーザーに仮想空間を体験させる形態において有効である。

本実施形態で使用するゲームシステムを示す図 本実施形態で使用するゲーム装置を示すブロック図 本実施形態で使用するＨＭＤ（ヘッドマウントディスプレイ）を示す斜視図 本実施形態で使用するコントローラを示す正面図、側面図 本実施形態の楽曲再生処理を示すフロー図 本実施形態で使用する楽曲情報のデータ構成を示す図 本実施形態のコントローラの操作部、機能、初期設定の対応関係を示す表 本実施形態における視野映像形成を説明するための模式図 コントローラの配置と、歌詞表示オブジェクト及びコントローラオブジェクトの表示関係を説明するための図 歌詞表示オブジェクト、コントローラオブジェクトの正面図、側面図 実際の視野映像（追従、非透過、コントローラオブジェクト表示） 実際の視野映像（追従、非透過、コントローラオブジェクト非表示） 実際の視野映像（追従、透過、コントローラオブジェクト表示） 実際の視野映像（固定、非透過、コントローラオブジェクト表示） 実際の視野映像（追従、非透過、コントローラオブジェクト表示） 第２変形例について説明するための図 第５変形例について説明するための図

本発明について、ゲームシステムを使用する形態を例にとって説明する。図１は、本実施形態で使用するゲームシステムを示す図である。ゲームシステムは、ゲーム装置１、ＨＭＤ３、コントローラ４を有して構成されている。ゲーム装置１は、通常の使用形態においてモニタ２２にゲーム画面を表示することで、ユーザーに視覚的な情報を提供することが可能である。本実施形態では、ＨＭＤ３（ヘッドマウントディスプレイ）で映像を表示することで、ユーザーに視覚的な情報（視野映像）を提供する。ゲーム装置１は、プログラムを変更することで異なる機能を実現することが可能である。本実施形態では、カラオケ用プログラムを起動することで、ＨＭＤ３による仮想空間を使用したカラオケを行うことが可能である。なお、カラオケ用プログラムを起動したゲーム装置１は、本発明のカラオケ装置に相当している。ユーザーはゲーム装置１で再生される演奏音をヘッドホン３２で聴取し、マイクロホン３３を使用して歌唱を行う。マイクロホン３３に入力された歌唱音声は、演奏音とミキシングされヘッドホン３２から放音される。

また、ユーザーは、コントローラ４（本発明の「操作装置」に相当）を使用して、ゲーム装置１に各種命令を指示することが可能となっている。ゲーム装置１とコントローラ４間は無線接続されており、ユーザーはケーブルによる煩わしさを伴うことなく操作を行うことが可能となっている。本実施形態では、ユーザーの頭部の動きに応じてＨＭＤ３に表示させる映像を変化させ、ユーザーに仮想空間を体験させることを可能としている。ユーザーの頭部の動きは、カメラ２１で映像を撮影し、実空間内でのＨＭＤ３の配置を検出することで検出される。また、本実施形態では、実空間内でのコントローラ４の配置も検出し、仮想空間内で利用することとしている。

図２は、本実施形態で使用するゲーム装置１を示すブロック図である。ゲーム装置１は、各構成を統括して制御するためのＣＰＵ１０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ１１を備えている。これらＣＰＵ１０、メモリ１１は、ゲーム装置１における制御部を構成する。また、本実施形態のゲーム装置１は、各種音声の入出力を行う音響制御部１５を有している。音響制御部１５は、カラオケ用プログラムの実行時、楽曲情報に含まれる演奏情報に基づいて演奏を行う。また、音響制御部１５には、マイクロホン３３が接続されており、入力された歌唱音声を、演奏された演奏音とミキシングして、ヘッドホン３２Ｒ、３２Ｌから音響出力する。

また、ゲーム装置１は、モニタ２２に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部１３、再生する映像を一時的に蓄積するビデオＲＡＭ１２、再生された映像上に歌詞を表示する、あるいは、映像効果を付与する映像制御部１４を備えている。映像制御部１４は、再生された映像をモニタ２２、あるいは、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示出力する。モニタ２２、ＨＭＤ３にはそれぞれ異なる映像を表示出力することが可能である。また、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌには、視差を有する映像を表示出力することで、ユーザーに立体視させることが可能である。

また、映像制御部１４は、カメラ２１に接続され、カメラ２１で撮影した映像を取り込むことが可能である。特に本実施形態では、図１で説明したようにカメラ２１で撮影された映像から、実空間内でのＨＭＤ３の配置、及び、コントローラ４の配置を検出している。配置検出の精度向上を図るため、ＨＭＤ３にはＬＥＤ３５、３６が、コントローラ４にはＬＥＤ４７が設けられている。撮影された映像から、ＬＥＤ３５、３６、４７を認識することで、実空間内におけるＨＭＤ３、コントローラ４の配置を正確に検出することが可能となっている。また、ＬＥＤ３５、３６、４７の点灯により、周囲が暗い環境下でも配置検出を行うことが可能となっている。

また、ゲーム装置１は、各種プログラム、及び、プログラムで使用する各種情報を記憶する記憶部としてのハードディスク１９を有する。また、ディスク媒体を再生するための媒体再生部２０も有しており、ディスク媒体に記憶されたプログラムを実行することも可能である。ゲーム装置１は、ＬＡＮ４０に接続する通信手段としてのＬＡＮ通信部１８を備えている。ＬＡＮ４０は、家庭内のルータ４１に接続されており、インターネットと通信することが可能である。図２の例では、ゲーム装置１は、ＬＡＮ通信部１８、ルータ４１を介し、各種情報を管理するサーバ装置５と通信を行う接続形態となっている。また、ゲーム装置１は、無線ＬＡＮを実現可能な第１無線通信部１６を有しており、無線によりインターネット接続することも可能である。さらにゲーム装置１は、近距離無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の第２無線通信部１７を備えている。ゲーム装置１は、この第２無線通信部１７を使用してコントローラ４と無線通信を行う。

図３は、本実施形態で使用するＨＭＤ３（ヘッドマウントディスプレイ）を示す斜視図である。左側の図は、ＨＭＤ３を装着するユーザーを後方から眺めた斜視図であり、右側の図は、ＨＭＤ３を装着するユーザーを前方から眺めた斜視図である。ＨＭＤ３は、右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌ（本発明の「表示部」に相当）を格納したＨＭＤ筐体３７、ユーザーの頭部に装着するためのヘッドバンド３４を有して構成されている。本実施形態では、ＨＭＤ筐体３７とヘッドバンド３４でヘッドセットを構成している。ＨＭＤ筐体３７の前面には、配置検出用のため４つのＬＥＤ３５ａ〜３５ｄが設けられている。また、ヘッドバンド３４にも配置検出用のＬＥＤ３６ａ〜３６ｄが４箇所、設けられている。このようにＨＭＤ３の周囲に配置検出用のＬＥＤを設けたことで、ユーザーがどの方向を向いた場合であっても、実空間内での頭部の配置（頭部が向いている方向を含む）を検出することが可能である。

ヘッドバンド３４には、ユーザーに対して音を聴取させるため、ヘッドホン３２Ｒ、３２Ｌが取り付けられている。また、左側のヘッドホン３２Ｌには、アームを介してユーザーの歌唱音声を取り込むためのマイクロホン３３が取り付けられている。このような構成によってユーザーは、どの方向を向いていてもヘッドホン３２Ｒ、３２Ｌにより演奏音等を聴取することが可能であり、また、マイクロホン３３を手で持つことなく歌唱を行うことが可能となっている。

図４は、本実施形態で使用するコントローラを示す正面図、側面図である。本実施形態のコントローラ４は、ゲーム装置１と無線接続され、ゲーム装置１に対して各種指示を出すことが可能である。図４（Ａ）は、コントローラ４の正面図であり、図４（Ｂ）は、図４（Ａ）のコントローラ４を右側から眺めた側面図であり、図４（Ｃ）は、図４（Ａ）のコントローラ４を上側から眺めた側面図である。コントローラ４は、ユーザーが両手で把持する２つのグリップ４１Ｒ、４１Ｌと、その間に設けられた接続部４２を有して形作られている。

左グリップ４１Ｌには、ゲーム操作において上下左右方向を入力するための十字キー４４が設けられている。右グリップ４１Ｒにはボタン群４５が設けられている。この例では、ボタン群４５は、「Ａ」〜「Ｄ」が表記された４つのボタンで構成されている。接続部４２には、２つのアナログスティック４３Ｒ、４３Ｌが設けられている。ユーザーはこのアナログスティック４３Ｒ、４３Ｌを使用して、多段階の方向を指示することが可能である。コントローラ４の上方には、右第１ボタン４６Ｒ１、右第２ボタン４６Ｒ２、左第１ボタン４６Ｌ１、左第２ボタン４６Ｌ２が設けられている。これらボタンは、ユーザーがグリップ４１Ｒ、４１Ｌを握ったときに、人差し指で操作し易い位置に設けられている。

また、図４（Ｃ）に示されるように、接続部４２には、配置検出用のＬＥＤ４７が設けられている。ＬＥＤ４７は、図１に示すようにユーザーがモニタ２２に対峙した場合、モニタ２２の近傍に設置されたカメラ２１で撮影しやすい位置に設けられている。ゲーム装置１は、カメラ２１で撮影された映像から、このＬＥＤ４７の形や色を識別することで、実空間内でのコントローラ４の配置（コントローラ４の方向を含む）を検出する。

以上、説明したゲームシステムの構成を使用して仮想空間内での歌唱を行うことが可能である。そのため、ゲーム装置１ではカラオケ用プログラムを起動することになる。カラオケ用プログラムは、サーバ装置５からダウンロードしてハードディスク１９に記憶したもの、あるいは、ディスク媒体に記憶されたものを使用することが可能である。ゲーム装置１においてカラオケ用プログラムを起動することで楽曲再生処理が開始される。なお、カラオケ用プログラムは、ユーザーはＨＭＤ３を装着した状態で使用することを前提とし、カラオケ用プログラムで出力される映像はＨＭＤ３に、音はヘッドホン３２に出力される。

図５は、本実施形態の楽曲再生処理を示すフロー図である。まず、ＨＭＤ３に表示されたユーザーインターフェイスを使用して歌唱する楽曲を選択する（Ｓ１０１）。本実施形態では、楽曲が選択された後、サーバ装置５１から対応する楽曲情報を受信することとしているが、ゲーム装置１側に記憶しておいてもよい。

図６は、カラオケ用プログラムで使用する楽曲情報のデータ構成を示す図である。楽曲情報は、選曲等を行うために付与されたメタ情報と、演奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。区間識別情報は、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に対応した区間種別を示す情報である。この区間識別情報を使用することで、楽曲再生中、現在再生している区間種別を判定することが可能である。

実情報は、演奏情報、歌詞情報、基準音高情報、背景映像情報を含んで構成されている。楽曲を再生する際、演奏情報を音響制御部１５に演奏させることで、歌唱伴奏としての演奏音をヘッドホン３２Ｒ、３２Ｌから音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像再生部１３で再生し、ＨＭＤ３に映像出力することで、ユーザーの歌唱補助を行うことが可能である。

背景映像情報は、ＨＭＤ３で表示する背景映像として使用される情報である。本実施形態の背景映像情報は、実際の風景やコンサート映像等を撮像した情報である。本実施形態では、背景映像を使用して仮想空間を形成するため、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで背景映像情報を形成している。カメラ２１で検出したＨＭＤ３の配置に応じて、背景映像情報中の映像を表示することで、ユーザーに仮想空間を体感させることが可能となっている。なお、本実施形態では、視差を有する映像を右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに表示することで、立体感のある仮想空間を体感させることが可能となっている。本実施形態の背景映像情報は、楽曲情報に含まれた構成としており、楽曲と背景映像が一対一の関係になっている。背景映像情報は、このような形態に限られるものではなく、楽曲情報と独立した形態としてもよい。その場合、楽曲情報のジャンルに対応した背景映像情報を使用する、あるいは、ユーザーが選択した背景映像情報を使用すること等が考えられる。

楽曲の選択後、選択された楽曲情報に基づいて再生が開始される（Ｓ１０２）。楽曲情報の再生は、楽曲情報に含まれる演奏情報を音響制御部１５に演奏させ、歌詞情報、背景映像情報を映像再生部１３に再生させる処理である。楽曲再生中、ユーザーはコントローラ４を使用して操作を行うことが可能である。図７は、本実施形態のコントローラ４の操作部、機能、初期設定の対応関係を示した表である。左第１ボタン４６Ｌ１は、歌詞表示オブジェクト６１の透過／非透過を切り替えるための操作部に割り当てられている。左第１ボタン４６Ｌ１を押下する毎に歌詞表示オブジェクト６１の透過、非透過が交互に切り替えられる。左第２ボタン４６Ｌ２は、歌詞表示オブジェクト６１を仮想空間内の所定位置に固定する固定モードと、実空間でのコントローラ４の配置に追従させる追従モードを切り替えるための操作部である。左第２ボタン４６Ｌ２を押下する毎に固定モードから追従モード、もしくは、追従モードから固定モードに切り替えられる。右第１ボタン４６Ｒ１は、コントローラオブジェクト６２（本発明の「操作オブジェクト」に相当）の表示／非表示を切り替えるための操作部に割り当てられている。右第１ボタン４６Ｒ１を押下する毎にコントローラオブジェクト６２の表示、非表示が交互に切り替えられる。

楽曲再生開始時には、これら操作部は初期設定が適用される。なお、コントローラ４の各機能に対する操作部の割り当て、並びに初期設定の割り当ては、ユーザーが設定変更できるようにしてもよい。楽曲の再生が開始される（Ｓ１０２）と、図７の初期設定を読み出してＨＭＤ３に表示する映像（視野映像６０）を形成が行われる。視野映像６０は、楽曲に対応する背景映像情報を使用して形成される。図８は、本実施形態における視野映像６０の形成を説明するための模式図である。図６で説明したように背景映像情報は、ある視点から複数のカメラで複数方向を撮影し、映像を繋ぎ合わせることで形成された映像である。図８には、ＨＭＤ３を装着したユーザーの周囲に背景映像情報を模式的に示している。ここでは、図面上、分かり易いようにユーザーの側面のみに背景映像情報を表示しているが、実際には半球状、あるいは全球状にユーザーを取り囲む映像となる。ＨＭＤ３で表示される映像は、カメラ２１で検出したＨＭＤ３の配置に基づいて決定される。すなわち、ＨＭＤ３の配置、具体的にはＨＭＤ３の向いている方向に対応した背景映像情報中の領域が視野映像６０として切り出される。したがって、ＨＭＤ３を装着するユーザーの頭部の動きによって視野映像６０が変化することとなり、ユーザーは背景映像情報によって形成される仮想空間を体験することが可能である。

さらに本実施形態では、カメラ２１で検出したコントローラ４の配置に基づいて、視野映像６０に歌詞表示オブジェクト６１と、コントローラオブジェクト６２を表示可能としている。本実施形態におけるコントローラ４の配置検出は、図８で示す背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をコントローラ４の配置情報として検出する。本実施形態では、ＨＭＤ３についても同様に、背景映像情報を基準とした座標系ＸＹＺについて、Ｘ方向，Ｙ方向，Ｚ方向の位置、及び，Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量をＨＭＤ３の配置情報として検出する。このようなＨＭＤ３の配置情報、コントローラ４の配置情報に基づいて、ＨＭＤ３に対するコントローラ４の相対的な配置を検出することが可能である。このように本実施形態におけるコントローラ４の配置情報、ＨＭＤ３の配置情報は、実空間における位置（Ｘ方向，Ｙ方向，Ｚ方向の位置）と方向（Ｘ軸回り，Ｙ軸回り，Ｚ軸回りの回転量）といった複数の項目を含んでいるが、配置情報としては、これら項目の内、検出しない、あるいは、使用しない項目を設けてもよい。

検出された両者間の相対的な配置は、視野映像６０中に表示するコントローラオブジェクト６２の表示に使用される。コントローラオブジェクト６２が視野映像６０に表示された場合、ユーザーは自分の手に握っているコントローラ４を仮想空間中で観察することが可能となる。さらに本実施形態では、コントローラオブジェクト６２に対応して歌詞表示オブジェクト６１を配置している。この歌詞表示オブジェクト６１は、楽曲再生中、再生された歌詞を表示するオブジェクトであり、コントローラオブジェクト６２に対応して配置されるため、コントローラ４の移動に応じて移動する。

図９は、コントローラ４の配置と、歌詞表示オブジェクト６１及びコントローラオブジェクト６２の表示関係を説明するための図である。ＨＭＤ３には、カメラ２１で検出したＨＭＤ３の配置に基づいて切り出された背景映像情報が視野映像６０として表示される。実際には、ＨＭＤ３の右目用ディスプレイ３１Ｒ、左目用ディスプレイ３１Ｌに視差を有する視野映像６０を表示することで、ユーザーに立体映像による仮想空間を体感させることとしている。図９は、ＨＭＤ３を装着するユーザーの正面にコントローラ４を配置した場合の表示例であり、実空間において検出されたコントローラ４の配置を使用してコントローラオブジェクト６２と歌詞表示オブジェクト６１が視野映像６０内に表示される。

図１０は、歌詞表示オブジェクト６１、コントローラオブジェクト６２の正面図、側面図である。歌詞表示オブジェクト６１、コントローラオブジェクト６２は、コンピュータグラフィックによる３次元オブジェクトとして形成されている。また、両者は所定の位置関係で配置されている。図１０の左は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図、図１０の右は歌詞表示オブジェクト６１とコントローラオブジェクト６２の正面図である。歌詞表示オブジェクト６１は、矩形をした板状のオブジェクトであり、正面には歌詞文字が表示される。一方、コントローラオブジェクト６２は、コントローラ４を模した板状のオブジェクトである。本実施形態では、コントローラオブジェクト６２の上方に、側面からみたときに所定の角度を設けて歌詞表示オブジェクト６１を配置している。

楽曲の再生開始後は、Ｓ１１１〜Ｓ１１６（追従モード）、Ｓ１２１〜Ｓ１２４（固定モード）をフレーム期間で繰り返し実行することで、動的な視野映像６０が形成される。本実施形態では、初期状態として追従モードが設定されているため、モード判定（Ｓ１１０）の結果、追従モード側（Ｓ１１１〜Ｓ１１６）の処理が実行される。まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１１１）し、ＨＭＤ３の向く方向を使用して、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１１２）。次に、カメラ２１でコントローラ４の配置を検出し（Ｓ１１３）、ＨＭＤ３に対するコントローラ４の相対的な配置が算出される（Ｓ１１４）。算出した相対的な配置に基づき、視野映像６０内におけるコントローラオブジェクト６２の配置を決定する（Ｓ１１５）。表示処理（Ｓ１１６）では、Ｓ１１２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、コントローラオブジェクト６２に対応する位置に歌詞表示オブジェクト６１を表示する。歌詞表示オブジェクト６１上には、楽曲の再生進行にしたがって歌詞情報が表示される。歌詞情報の表示は、通常のカラオケと同様に、表示した歌詞の色替えを行うことで、歌唱すべき歌詞を確認可能としている。

なお、左第１ボタン４６Ｌ１の操作により、歌詞表示オブジェクト６１が透過に切り替えられた場合、表示処理（Ｓ１１６）では、歌詞表示オブジェクト６１を透過させた状態で表示し、歌詞表示オブジェクト６１の背後の視野映像６０を視認しやすいように表示する。歌詞表示オブジェクト６１を非透過とした場合、歌詞表示オブジェクト６１上に表示される歌詞文字が読み取りやすくなる。一方、歌詞表示オブジェクト６１を透過とした場合、歌詞文字は読み取りにくくなるが、背景映像は視認しやすくなる。本実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１を透過、非透過に切り換え可能とすることで、歌詞の読み取りを優先させるか、背景映像の視認性を優先させるかを自在に切り替えることを可能としている。

また、右第１ボタン４６Ｒ１の操作により、コントローラオブジェクト６２が非表示に切り替えられた場合、表示処理（Ｓ１１６）では、コントローラオブジェクト６２を非表示とする。コントローラオブジェクト６２を表示することで、ユーザーが把持しているコントローラ４と同様であって、コントローラ４の動きに追従するコントローラオブジェクト６２を仮想空間内で視認できるため、仮想空間に対する没入感を向上させることが可能である。しかしながら、背景映像を楽しみたいユーザーにとっては、コントローラオブジェクト６２が視界を遮るため煩わしさを感じる場合もある。そのため、本実施形態では、ユーザーの操作によるコントローラオブジェクト６２の表示、非表示を切り替え可能としている。

図１１〜図１３には、追従モードにおける実際の視野映像６０が示されている。なお、各図には、理解を助けるため、歌詞表示オブジェクト６１とコントローラオブジェクト６２とを囲んだ破線と符号を付加している。後で説明する図１４、図１５についても同様である。

図１１は、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。ユーザーは、把持するコントローラ４に対応するコントローラオブジェクト６２を視野映像６０中に視認するとともに、コントローラオブジェクト６２の上方に位置する歌詞表示オブジェクト６１に表示される歌詞を確認しながら歌唱を行うことが可能である。歌詞表示オブジェクト６１は、非透過となっているため、歌詞表示オブジェクト６１上に表示される歌詞文字は読み取りやすくなっている。

図１２は、歌詞表示オブジェクト６１が非透過、コントローラオブジェクト６２が非表示に設定されている場合の視野映像６０である。この場合、コントローラオブジェクト６２は、視野映像６０中に表示されないが、ユーザーが把持するコントローラ４の移動に追従して歌詞表示オブジェクト６１も移動する。コントローラオブジェクト６２で視野映像６０が阻害されないため、ユーザーは視野映像６０による仮想空間を楽しむことが可能である。

図１３は、歌詞表示オブジェクト６１が透過、コントローラオブジェクト６２が表示に設定されている場合の視野映像６０である。この設定では、歌詞表示オブジェクト６１は透過状態となっているため、ユーザーは歌詞表示オブジェクト６１の背後に位置する映像を視認することが可能である。図１１〜図１３で説明した設定以外に、歌詞表示オブジェクト６１を透過、コントローラオブジェクト６２を非表示に設定することも可能である。なお、本実施形態では、歌詞表示オブジェクト６１に表示される歌詞文字の周辺は非透過だが、歌詞文字のギリギリの位置まで透過にしてもよい。

以上説明した追従モードでは、ユーザーが実空間内でコントローラ４を移動させることで歌詞表示オブジェクト６１（コントローラオブジェクト６２が伴う場合もある）を、視野映像６０中の好きな位置に配置することが可能である。したがって、ユーザーが視野映像６０中、注目したい箇所がある場合、当該箇所を避けるように歌詞表示オブジェクト６１を配置することも可能である。さらには、コントローラ４を移動させることで歌詞表示オブジェクト６１を視野映像６０から外すことも可能であり、歌詞表示が必要としない場合、あるいは背景映像だけを楽しみたい場合にも対応することが可能である。また、歌詞表示オブジェクト６１は板状のオブジェクトであるため、コントローラ４を傾ける僅かな操作で、歌詞表示オブジェクト６１が占める範囲を小さく抑えることも可能である。また、歌詞表示オブジェクト６１は、コントローラ４とＨＭＤ３の相対的な配置にしたがって表示されるため、コントローラ４とＨＭＤ３間の距離を可変させることで、歌詞表示オブジェクト６１の大きさを変更することも可能である。通常の空間と同様、大きく見たい場合には、コントローラ４を顔に近づけることで、歌詞表示オブジェクト６１が拡大して表示される。

一方、モード判定（Ｓ１１０）の結果、固定モードに設定されている場合、Ｓ１２１〜Ｓ１２４の処理が実行される。本実施形態の固定モードは、図８に示す背景映像情報の座標系上の所定位置に歌詞表示オブジェクト６１を固定して表示するモードである。したがって、コントローラ４の位置とは無関係に、背景映像情報で形成される仮想空間の所定位置に歌詞表示オブジェクト６１が表示される。この場合、まず、カメラ２１でＨＭＤ３の配置を検出（Ｓ１２１）することで、背景映像情報中、視野映像６０として切り出す領域を決定する（Ｓ１２２）。次に、カメラ２１でコントローラ４の配置を検出する（Ｓ１２３）。そして、Ｓ１２２で決定した視野映像６０内にコントローラオブジェクト６２を表示するとともに、背景映像情報で形成する仮想空間内の所定位置に歌詞表示オブジェクト６１を配置する表示処理（Ｓ１２３）を実行する。固定モードの場合も、追従モードの場合と同様、歌詞表示オブジェクト６１の透過、非透過、コントローラオブジェクト６２の表示、非表示の設定に従って、表示処理（Ｓ１２３）が実行される。

図１４は、固定モードにおける実際の視野映像６０を示した図である。この例では、背景映像情報中の所定位置（芝生の上）に歌詞表示オブジェクト６１を配置した形態となっている。歌詞表示オブジェクト６１は、実空間におけるコントローラ４の配置とは無関係に、予め定められた仮想空間内の所定位置に配置される。なお、この例では、非透過で歌詞表示オブジェクト６１を表示させている。ユーザーは背景映像情報中、歌詞表示オブジェクト６１が配置された方に目を向ける（ＨＭＤ３を向ける）ことで、歌詞表示オブジェクト６１を視認することが可能である。固定モードでは、ユーザーは、いわば仮想空間内に配置された看板のように、歌詞表示オブジェクト６１を観察することが可能である。なお、図１４の例では、コントローラオブジェクト６２を表示させた設定であって、コントローラオブジェクト６２は、実空間でのコントローラ４の配置に追従して表示される。

以上説明した固定モードでは、背景映像情報で形成される仮想空間内の所定位置に歌詞表示オブジェクト６１を表示することとしている。ユーザーは、歌詞表示オブジェクト６１の位置にＨＭＤ３を向けることで、視野映像６０内に歌詞表示オブジェクト６１を表示させ、歌詞を確認することが可能である。本実施形態では、歌詞表示オブジェクト６１を仮想空間内の所定位置（図８の座標系での所定位置）に位置させることとしているが、任意の位置に変更可能としてもよい。例えば、追従モードから固定モードに変更したときの、歌詞表示オブジェクト６１の位置に固定することが考えられる。ユーザーは追従モードを使用して、歌詞表示オブジェクト６１を固定したい位置に移動させ、追従モードから固定モードに切り替えることで歌詞表示オブジェクト６１を固定することで、仮想空間内の好みの位置に歌詞表示オブジェクト６１を固定表示することが可能となる。また、本実施形態の固定モードでは、同じ箇所に歌詞表示オブジェクト６１を表示することとしているが、楽曲の進行に応じて歌詞表示オブジェクト６１の位置を変更することとしてもよい。

ＨＭＤ３に表示する視野映像６０の形成は、フレーム毎にＳ１１１〜Ｓ１１６（追従モード時）、または、Ｓ１２１〜Ｓ１２４（固定モード時）を実行することで行われ、ＨＭＤ３を装着するユーザーに対して仮想空間を体験させることが可能である。その際、歌詞表示オブジェクト６１によってユーザーに歌唱すべき歌詞を観察させることができる。楽曲について演奏情報の演奏終了（Ｓ１１７：Ｙｅｓ）が判定されると、楽曲再生処理の先頭に戻って、次に再生する楽曲をユーザーに選択させる。

以上、本発明の一実施形態について説明を行ったが、本発明はこの実施形態のみに限定されるものではなく、各種変形例を採用することが可能である。以下に各種変形例について説明を行う。

（第１変形例）
前述した実施形態では、実空間におけるコントローラ４の配置に追従して、仮想空間に歌詞表示オブジェクト６１配置する形態（追従モード時）を採用している。この形態では、ＨＭＤ３に対してコントローラ４が所定の傾き以上となった場合、歌詞表示オブジェクト６１の歌詞が読み取りにくくなってしまう。図１５は、ＨＭＤ３に対してコントローラ４を傾けたときの視野映像６０である。この視野映像６０から分かるように、コントローラ４を傾けることで歌詞表示オブジェクト６１も傾くこととなり、歌詞表示オブジェクト６１に表示される歌詞文字が読み難くなってしまう。真横に傾けた場合には、歌詞表示オブジェクト６１を側面から観察することになり歌詞文字は読めない状態となる。そのため、第１変形例では、ＨＭＤ３に対してコントローラ４が所定の傾き以上となった場合、歌詞表示オブジェクト６１の傾きをコントローラ４に追従しないように規制することとしている。このような構成により、コントローラ４が必要以上に傾いた場合であっても、歌詞表示オブジェクト６１の歌詞文字を表示する面を観察できる側に向け、ユーザーに歌詞を確認させることが可能となる。なお、コントローラ４が所定の傾きよりも小さくなった場合、規制は解除され、歌詞表示オブジェクト６１の傾きはコントローラ４に追従することになる。

（第２変形例）
前述した実施形態では、ユーザーの操作により、歌詞表示オブジェクト６１の透過、非透過を切り替えることとしているが、歌詞表示オブジェクト６１の透過、非透過を自動で切り替えるようにしてもよい。例えば、前奏、間奏、後奏といった歌唱しない区間では、歌詞表示オブジェクト６１を透過状態に自動で切り替えることで、ユーザーは、当該区間中、歌詞表示オブジェクト６１に阻害されない視野映像を楽しむことが可能となる。このような区間は、図６で説明した楽曲情報中の区間識別情報で判定することが可能である。あるいは、マイクロホン３３に入力される歌唱音声の有無で、ユーザーが歌唱していない期間を判定し、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。

また、固定モードから追従モードに切り替えた際、コントローラ４がＨＭＤ３の近くに位置していると、大きな歌詞表示オブジェクト６１が目の前に表示されてユーザーを驚かしてしまうことが考えられる。したがって、コントローラ４とＨＭＤ３の距離に応じて歌詞表示オブジェクト６１の透過、非透過を切り替えてもよい。例えば、コントローラ４がＨＭＤ３から所定距離以内に位置している場合は、歌詞表示オブジェクト６１を透過状態とすることで、目の前に大きな歌詞表示オブジェクト６１が表示された場合等の支障を抑制することが可能となる。

あるいは、背景映像情報において、歌詞表示オブジェクト６１が所定領域に位置した場合には、歌詞表示オブジェクト６１を透過状態に切り替えてもよい。図１６は第２変形例について説明するための図であり、例えば、歌手と一緒に歌唱を楽しむ仮想空間を想定した場合である。視野映像６０には、一緒に歌唱を楽しむ歌手が表示されている。図１６（Ａ）は、歌手に重畳しない領域に歌詞表示オブジェクト６１を位置させた場合であり、図１６（Ｂ）は、歌手に重畳する領域に歌詞表示オブジェクト６１を位置させた場合である。図１６（Ａ）の状態では、歌詞表示オブジェクト６１を非透過状態とし、表示される歌詞文字を読み取りやすい状態とする。一方、歌詞表示オブジェクト６１が歌手に重畳した場合、歌詞表示オブジェクトを透過状態に切り替え、歌詞表示オブジェクト６１の背後に表示される歌手を視認しやすい状態とする。なお、歌詞表示オブジェクト６１を透過とする所定領域は、背景映像情報の再生進行に応じて変更、移動させることが好ましい。

（第３変形例）
前述した実施形態では、背景映像情報はカメラで撮影した実際の映像を使用した形態であるが、背景映像をコンピュータグラフィックによる３次元オブジェクトとして形成することとしてもよい。このような形態では、形成された仮想空間内を自由に移動することも可能である。前述の実施形態は固定の視点であるのに対し、第３変形例では自由な視点で仮想空間を体験することが可能となる。視点の移動は、例えば、コントローラ４の左アナログスティック４３Ｌを仮想空間内の移動用に割り当て、左アナログスティック４３Ｌを倒した方向に仮想空間を移動すること、あるいは、再生進行に伴って所定の経路でユーザーの視点を移動させること等が考えられる。なお、第３変形例について、前段落に記載の第２変形例を適用する場合、歌詞表示オブジェクト６１を透過状態とする対象は、所定領域ではなく、所定の３次元オブジェクトとなる。例えば、歌詞表示オブジェクト６１が、３次元オブジェクトで形成された歌手の映像に重畳した場合、歌詞表示オブジェクト６１を透過状態に切り替えることで、観察対象となる３次元オブジェクトを視認しやすい状態とすることが可能となる。

（第４変形例）
前述の実施形態では、ＨＭＤ３に対するコントローラ４の相対的な方向、ＨＭＤ３とコントローラ４間の距離、ＨＭＤ３に対するコントローラ４の傾きを使用して、歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示させているが、歌詞表示オブジェクト６１、コントローラオブジェクト６２の表示には、ＨＭＤ３に対するコントローラ４の相対的な方向のみを使用することでもよい。視野映像６０中、ＨＭＤ３に対するコントローラ４の相対的な方向に対応した位置に歌詞表示オブジェクト６１、コントローラオブジェクト６２を表示することが可能である。さらに、距離を加えることで大きさを変更することが可能であり、さらに傾きを加えることで見え方を変更することが可能となり、仮想現実性の向上を図ることが可能となる。

（第５変形例）
前述の実施形態では、ＨＭＤ３を使用した形態として説明したが、本発明は必ずしもＨＭＤ３を使用する形態に限られるものではない。例えば、従来のようにモニタに背景映像、歌詞を表示するカラオケにも適用することが可能である。図１７は、第５変形例について説明する図であって、モニタ２２（本発明の「表示部」に相当）に表示される画面を見ながら歌唱を行う形態である。モニタ２２の表示面に平行な面をＸＹ面、奥行き方向をＺ軸にとっている。このような形態においても、コントローラ４の配置を検出し、コントローラ４の配置に応じて、モニタ２２に表示する歌詞表示オブジェクト６１の表示位置を変更する。検出するコントローラ４の配置としては、少なくともモニタ面に平行な面（ＸＹ面）での位置を使用することで、モニタ２２に表示する背景映像内において、歌詞表示オブジェクト６１を自由に移動させることが可能である。このようなコントローラ４の位置に加え、コントローラ４のＺ軸方向の位置、あるいは、コントローラ４のＸ軸回り，Ｙ軸回り，Ｚ軸回りの回転量の何れかを検出して、モニタ２２に表示する歌詞表示オブジェクト６１の表示形態に反映してもよい。

（第６変形例）
前述の実施形態では、ＨＭＤ３、及び、コントローラ４の配置検出について、カメラ２１で撮影した映像を使用した形態としているが、ＨＭＤ３、及び、コントローラ４の配置検出はこのような形態に限られるものではなく、ジャイロ等、各種センターを利用して検出する形態を採用してもよい。また、前述の実施形態では、操作装置として、ゲーム装置１用のコントローラ４を使用しているが、操作装置はコントローラ４に限られるものではなく、ゲーム装置１（情報処理装置）に対して各種指令を出すことのできるデバイスを採用することが可能である。例えば、ユーザーが手に装着して使用するグローブ状のデバイス等を操作装置として使用してもよい。

以上、本実施形態ではゲームシステムを例に取って説明を行ったが、本発明はゲームシステムに限らず、従来のカラオケ装置、パーソナルコンピュータ等の各種情報処理装置に適用することが可能である。また、本実施形態のゲーム装置１や各種情報処理装置で実行され、本発明の機能を実現可能なカラオケ用プログラムについても本発明の範疇に属する。

１：ゲーム装置 ３４：ヘッドバンド
３：ＨＭＤ ３５、３６：ＬＥＤ
４：コントローラ（操作装置） ３７：ＨＭＤ筐体
５：サーバ装置 ４１：ルータ
１０：ＣＰＵ ４１Ｌ：左グリップ
１１：メモリ ４１Ｒ：右グリップ
１２：ビデオＲＡＭ ４２：接続部
１３：映像再生部 ４３Ｌ：左アナログスティック
１４：映像制御部 ４３Ｒ：アナログスティック
１５：音響制御部 ４４：十字キー
１６：第１無線通信部 ４５：ボタン群
１７：第２無線通信部 ４６Ｌ１：左第１ボタン
１８：ＬＡＮ通信部 ４６Ｌ２：左第２ボタン
１９：ハードディスク ４６Ｒ１：右第１ボタン
２０：媒体再生部 ４６Ｒ２：右第２ボタン
２１：カメラ ４７：ＬＥＤ
２２：モニタ ５１：サーバ装置
３１Ｌ：左目用ディスプレイ ６０：視野映像
３１Ｒ：右目用ディスプレイ ６１：歌詞表示オブジェクト
３２（３２Ｒ、３２Ｌ）：ヘッドホン ６２：コントローラオブジェクト
３３：マイクロホン

Claims (10)

1. 演奏情報に基づき演奏を行う演奏処理と、
   操作装置の配置に関する配置情報を検出する検出処理と、
   表示部に表示される背景映像中、検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置し、演奏処理で演奏される楽曲の歌詞を歌詞表示オブジェクトに表示する表示処理と、を実行することを特徴とする
   カラオケ装置。
2. 表示部は、ヘッドセットに配置され、
   検出処理によって検出された配置情報は、ヘッドセットに対する操作装置の相対方向を含むことを特徴とする
   請求項１に記載のカラオケ装置。
3. 検出処理によって検出された配置情報は、ヘッドセットと操作装置間の距離を含み、
   表示処理は、検出処理によって検出された配置情報中の距離に対応する大きさで歌詞表示オブジェクトを配置することを特徴とする
   請求項１または請求項２に記載のカラオケ装置。
4. 検出処理によって検出された配置情報は、ヘッドセットに対する操作装置の傾きを含み、
   表示処理は、検出処理によって検出された配置情報中の傾きに対応して歌詞表示オブジェクトを傾けて配置することを特徴とする
   請求項２から請求項４の何れか１項に記載のカラオケ装置。
5. 表示処理は、検出処理によって検出された配置情報中の傾きが所定値を超えた場合、歌詞表示オブジェクトの傾きを規制する
   請求項４に記載のカラオケ装置。
6. 表示処理は、
   検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置する追従モードと、
   表示部に表示される背景映像の座標系上の所定箇所に歌詞表示オブジェクトを配置する固定モードと、を選択可能とすることを特徴とする
   請求項１から請求項５の何れか１項記載のカラオケ装置。
7. 表示処理は、検出処理によって検出された配置情報に対応して操作装置を示す操作オブジェクトを配置することを特徴とする
   請求項１から請求項６の何れか１項に記載のカラオケ装置。
8. 検出処理によって検出された配置情報が所定範囲を外れた場合、歌詞表示オブジェクトを背景映像に配置しないことを特徴とする
   請求項１から請求項７の何れか１項に記載のカラオケ装置。
9. 表示処理は、歌詞表示オブジェクトの透過状態を変更可能であって、演奏情報の進行状況に応じて、歌詞表示オブジェクトの透過状態を変更することを特徴とする
   請求項１から請求項８の何れか１項に記載のカラオケ装置。
10. 演奏情報に基づき演奏を行う演奏処理と、
    操作装置の配置に関する配置情報を検出する検出処理と、
    表示部に表示される背景映像中、検出処理によって検出された配置情報に対応して歌詞表示オブジェクトを配置し、演奏処理で演奏される楽曲の歌詞を歌詞表示オブジェクトに表示する表示処理と、を情報処理装置に実行させることを特徴とする
    カラオケ用プログラム。