JP2014090251A - 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 - Google Patents

Abstract

【課題】仮想空間内で再生される音楽について、より臨場感の高い視聴効果が得られる新たなユーザ体験が提供可能な情報処理システム等を提供すること。
【解決手段】情報処理部と第１のスピーカおよび第２のスピーカとを備える情報処理システムにおいて、２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する。また、分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、他方に対応付けられた第２の音源オブジェクトと、更に仮想マイクを仮想３次元空間内に配置する。そして、仮想マイクの向きと第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、第１のスピーカから再生される音声と第２のスピーカから再生される音声の再生音量を決定する。
【選択図】図１６

Description

本発明は、情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関し、より特定的には、情報処理部と、第１のスピーカおよび第２のスピーカを備える情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関する。

従来、一般的なテレビ装置（第１の映像出力装置）と、これとは別の、映像出力可能な表示部を備えたコントローラ（第２の映像出力装置）とを併用するゲームシステムについて知られている。このようなゲームシステムでは、例えば、第１のゲーム映像をテレビ装置に表示し、この第１のゲーム映像とは異なる第２のゲーム映像をコントローラの表示部に表示したりすることで、新しい遊びを提案していた。

特開２０１２−１３５３３７号公報

しかし、上記提案は、主にどのような映像を表示し、また、これらをゲーム処理との関係でどのように連携させて表示するかを主眼としたものであった。そのため、音声に関する処理に関しては特に言及や提案をするものではなかった。

それ故に、本発明の目的は、仮想空間内の音源から再生される音楽について、より臨場感の高い視聴効果が得られる新たなユーザ体験が提供可能な情報処理システム等を提供することである。

上記目的は、例えば以下のような構成により達成される。

構成例の一例は、情報処理部と、第１のスピーカおよび第２のスピーカとを備える情報処理システムであって、音楽データ分離手段と、音源オブジェクト配置手段と、仮想マイク配置手段と、音声出力制御手段とを備える。音楽データ分離手段は、２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する。音源オブジェクト配置手段は、分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第２の音源オブジェクトとを仮想３次元空間内のそれぞれ異なる位置に配置する。仮想マイク配置手段は、仮想３次元空間内の所定の位置に仮想マイクを配置する。音声出力制御手段は、仮想３次元空間内に配置された仮想マイクの向きと第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、第１のスピーカから再生される第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、第２のスピーカから再生される第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量とを決定する。

上記構成例によれば、仮想空間内の音源から発せられるＢＧＭの再生に関して、より臨場感の高いユーザ体験を提供できる。

また、情報処理システムは、第１出力装置と、姿勢検出手段と、仮想マイク姿勢変更手段とを更に備えていてもよい。第１出力装置は、動きセンサ、第１のスピーカ、第２のスピーカ、および仮想３次元空間の様子が表示される第１の表示部とが設けられているハウジングを有していてもよい。また、姿勢検出手段は、動きセンサの出力に基づいて第１出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出するようにしてもよい。仮想マイク姿勢変更手段は、第１出力装置の姿勢に応じて仮想マイクの向きを変更してもよい。

上記構成例によれば、２つのスピーカを有する第１出力装置自身の姿勢をプレイヤが変化させることによって第１の表示部に表示される仮想空間の表示を変化させるようなゲーム等において、音源オブジェクトが発するＢＧＭについてより臨場感の高い再生が可能となる。

また、情報処理システムは、第１出力装置の姿勢に基づいて第１のスピーカと第２のスピーカとの位置関係を認識するスピーカ位置関係認識部を更に備えていてもよい。そして、音声出力制御手段は、仮想３次元空間内に配置された仮想マイクの向きと第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に加え、更に第１のスピーカおよび第２のスピーカの位置関係に基づいて、当該第１のスピーカから出力される第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、当該第２のスピーカから出力される第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量を決定するようにしてもよい。

上記構成例によれば、仮想空間内の音源オブジェクトが発する音声の表現について、現実空間におけるスピーカの位置関係を反映させた表現が可能となる。

また、情報処理システムは、第３のスピーカ、第４のスピーカ、および第２の表示部を有する第２出力装置を更に備えていてもよい。そして、音声出力制御部は、第１出力装置が有する第１のスピーカおよび第２のスピーカと、第２出力装置が有する第３のスピーカおよび第４のスピーカとの間の位置関係に基づいて各スピーカからの再生音量を決定するようにしてもよい。

上記構成例によれば、例えば、ゲームコントローラとして利用可能な第１出力装置にかかる第１の組のスピーカと、モニタとして利用可能な第２出力装置にかかる第２の組のスピーカのそれぞれを用いてより臨場感の高い音声出力が可能となる。例えば、プレイヤから見て上下方向にかかる音声出力を第１出力装置にかかるスピーカに担当させ、左右方向にかかる音声出力を第２出力装置にかかるスピーカに担当させることで、仮想空間における空間の広がり、空間的感覚をプレイヤにより体感させることが可能となる。

また、音楽データはステレオ２チャンネルで構成された音楽データであってもよい。更に、第１のスピーカおよび第２のスピーカは、組となるステレオスピーカであってもよい。

上記構成例によれば、仮想空間内で左右方向に沿って配置された音源オブジェクトから発せられる音楽の表現について、プレイヤに違和感を与えず、より臨場感を高めた表現ができる。

本発明によれば、仮想空間内に存在する音源オブジェクトが発する音声に関して、より臨場感を高めた音声出力を行うことができる。

本発明の一実施形態に係るゲームシステム１の一例を示す外観図 図１のゲーム装置本体５の一例を示す機能ブロック図 図１の端末装置６の外観構成の一例を示す図 端末装置６の内部構成の一例を示すブロック図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 ゲーム画面の一例を示す図 メモリ１２のメモリマップ 端末操作データ８３の構成の一例 音源オブジェクトデータ８８の構成の一例 ゲーム処理プログラム８１に基づくゲーム処理の流れを示すフローチャート 図１５の初期設定処理の詳細を示すフローチャート 図１５のゲーム音声生成処理の詳細を示すフローチャート 端末装置６の制御処理の流れを示すフローチャート

図１を参照して、本発明の一実施形態に係るゲームシステムについて説明する。

図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、２ｃｈのステレオスピーカであるスピーカ２Ｌ、２Ｒを備える。また、ゲーム装置３は、ゲーム装置本体５と、端末装置６とを含む。

モニタ２は、ゲーム装置本体５から出力されるゲーム画像を表示する。モニタ２は左スピーカ２Ｌおよび右スピーカ２Ｒを有している。スピーカ２Ｌおよび２Ｒは、ゲーム装置本体５から出力されるゲーム音声を出力する。なお、この例ではモニタ２がこれらスピーカを有する例を示したが、この他、モニタ２に別途外部のスピーカを接続するような形態であってもよい。

ゲーム装置本体５は、当該ゲーム装置本体５で読み取り可能な光ディスクに記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。

端末装置６は、ユーザが把持可能な入力装置である。ユーザは端末装置６を手に持って動かしたり、あるいは、端末装置６を自由な位置に配置したりして使用することが可能である。端末装置６は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２１、２ｃｈのステレオスピーカであるスピーカ２３Ｌおよび２３Ｒ（以降では総称してスピーカ２３と示すこともある）、ヘッドホン端子、および入力手段（アナログスティックや押下型のボタン、タッチパネル等）等を備える。端末装置６とゲーム装置本体５とは無線（有線であってもよい）によって通信可能である。端末装置６は、ゲーム装置本体５で生成された画像（例えばゲーム画像）のデータをゲーム装置本体５から受信し、当該データが示す画像をＬＣＤ２１に表示する。また、端末装置６は、ゲーム装置本体５で生成された音声（例えばゲームの効果音やＢＧＭ）のデータをゲーム装置本体５から受信し、当該データが示す音声をスピーカ２３から出力する。また、端末装置６は、ゲーム装置本体５へ、自機に対して行われた操作の内容を表す操作データを送信する。

図２は、ゲーム装置本体５のブロック図である。図２において、ゲーム装置本体５は、情報処理装置の一例である。本実施形態においては、ゲーム装置本体５はＣＰＵ（制御部）１１およびメモリ１２、システムＬＳＩ１３、無線通信部１４およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

ＣＰＵ１１は、メモリ１２やシステムＬＳＩ１３等を用いて所定の情報処理プログラムを実行する。これにより、ゲーム装置３における各種機能（例えば、ゲーム処理）が実現される。

システムＬＳＩ１３には、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１６、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１７、入出力プロセッサ１８、等が含まれる。

ＧＰＵ１６は、ＣＰＵ１１からのグラフィクスコマンド（作画命令）に従って画像を生成する。なお、本実施形態においては、ゲーム装置本体５は、モニタ２に表示するゲーム画像と、端末装置６に表示するゲーム画像との両方を生成することがある。以下では、モニタ２に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置６に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。

ＤＳＰ１７は、オーディオプロセッサとして機能し、メモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ２のスピーカ２Ｌおよび２Ｒから出力するゲーム音声と、端末装置６のスピーカ２３（あるいは端末装置６に接続されたヘッドホン）から出力するゲーム音声との両方が生成されることがある。以下では、モニタ２から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置６から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。

入出力プロセッサ１８は、無線通信部１４を介して、端末装置６との間でデータの送受信を実行したりする。本実施形態では、入出力プロセッサ１８は、ＧＰＵ１６が生成したゲーム画像（端末用ゲーム画像）、および、ＤＳＰ１７が生成したゲーム音声（端末用ゲーム音声）のデータを、無線通信部１４を経由して端末装置６に送信する。この際、端末用ゲーム画像については、表示画像の遅延が生じないように圧縮して送信するようにしても良い。また、入出力プロセッサ１８は、上記無線通信部１４を介して、端末装置６から送信される操作データ等を受信し、メモリ１２のバッファ領域に記憶（一時記憶）する。

また、ゲーム装置本体５において生成される画像および音声のうち、モニタ２に出力される画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、図示しないＡＶコネクタを介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２ａから音声が出力される。

図３は、端末装置６の外観構成の一例を示す図である。図３に示すように、端末装置６は略板状のハウジング２０を備える。ハウジング２０は、ユーザが両手または片手で把持可能な大きさ（形状）である。また、端末装置６は、表示部の一例であるＬＣＤ２１を備える。ＬＣＤ２１には、上記端末用ゲーム画像が表示される。

また、端末装置６は、スピーカ２３を備える。当該スピーカ２３はステレオスピーカである。スピーカ２３からは、上記端末用ゲーム音声が出力される。また、端末装置６は、所定のヘッドホンが着脱可能なヘッドホン端子２４を備える。ここで、端末装置６は、当該ヘッドホン端子にヘッドホンが接続されていないときはスピーカ２３からの音声出力を行うが、当該ヘッドホン端子にヘッドホンが接続されているときは、スピーカ２３からの音声出力は行わない。つまり、本実施形態では、両者の同時出力は行われず、スピーカ２３からの出力とヘッドホンからの出力とは排他的な関係になっている（但し、他の実施例においては同時出力可能としてもよい）。

また、端末装置６はタッチパネル２２を備える。タッチパネル２２は、ハウジング２０に設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置６は、操作部（図４に示す操作部３１）として、アナログスティック２５、十字キー２６、およびボタン２７等を備える。

図４は、端末装置６の電気的な構成を示すブロック図である。図４に示すように、端末装置６は、上述のＬＣＤ２１、タッチパネル２２、スピーカ２３、および操作部３１を備える。また、ヘッドホン端子２４を介してヘッドホンが接続可能である。また、端末装置６の姿勢を検出するためのモーションセンサ３２を備える。本実施形態では、当該モーションセンサ３２として、加速度センサおよびジャイロセンサが備えられている。加速度センサは、ｘｙｚの３軸の加速度が検出可能である。ジャイロセンサは、ｘｙｚの３軸の角速度が検出可能である。

また、端末装置６は、ゲーム装置本体５との無線通信が可能な無線通信部３４を備える。本実施形態においては、端末装置６とゲーム装置本体５との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。

また、端末装置６は、端末装置６における動作を制御する制御部３３を備える。具体的には、制御部３３は、各入力部（タッチパネル２２、操作部３１、モーションセンサ３２）からの出力データを受け取り、操作データとして無線通信部３４を介してゲーム装置本体５へ送信する。また、制御部３３は、ゲーム装置本体５からの端末用ゲーム画像が無線通信部３４において受信されると、必要に応じて適宜の処理（例えば、画像データが圧縮されている場合には伸張処理）を行い、ゲーム装置本体５からの画像をＬＣＤ２１に表示させる。更に、ゲーム装置本体５からの端末用ゲーム音声が無線通信部３４において受信されると、制御部３３は、スピーカ２３に当該端末用ゲーム音声を出力する。

次に、図５〜図１１を参照して、本実施形態のシステムにおいて実行される処理の概要を説明する。

本実施形態で実行される処理は、仮想３次元空間（以下、単に仮想空間と呼ぶ）内に存在する音源オブジェクトから発せられる音楽の新しい鳴らし方を提供するものである。なお、音源オブジェクトとは、所定の音声を発することが可能なオブジェクトとして定義されたオブジェクトである。

本実施形態の処理の一例として、次のようなゲーム処理を想定する。本ゲーム処理で実現されるゲームは、テーマパークを模した仮想空間内をプレイヤキャラクタが自由に移動できるゲームである。当該仮想空間には複数の「アトラクション」が設定されており、アトラクション毎に異なるミニゲームがプレイ可能である。

図５は、当該端末装置６に表示されるゲーム画面の一例である。図５では、プレイヤキャラクタ１０１、および、所定のアトラクションの入り口である入り口オブジェクト１０２が表示されている。プレイヤキャラクタ１０１については、これを背面側から見た様子で表示されている。また、当該入り口オブジェクト１０２には、左スピーカ画像１０３Ｌと右スピーカ画像１０３Ｒが表示されている（以下では、総称してスピーカ画像１０３と呼ぶこともある）。

ここで、本ゲームでは、ゲーム画面の表示に関して、実空間の座標系と仮想空間の座標系とを常に一致させて表示している。換言すれば、重力方向と仮想空間内の地面が常に垂直交差しているようにしている。また、端末装置６には、上記のようにモーションセンサ３２が備えられている。これを利用することで、端末装置６自体の姿勢が検出可能である。そして、本ゲームでは、端末装置６の姿勢にあわせて仮想カメラも同時に傾けることで、端末装置６を、あたかも仮想空間を覗く「覗き窓」のように扱うことができる。例えば、端末装置６のＬＣＤ２１がプレイヤの顔の正面に対面するように把持した姿勢を想定する。このとき、当該ＬＣＤ２１には、仮想空間内のＺ軸正方向の様子が表示されているとする。この状態から、プレイヤが１８０度回転して真後ろを向いたとする。すると、当該ＬＣＤ２１には、仮想空間内のＺ軸負方向の様子が表示されることになる。

ところで、上記のような仮想空間が表現されているゲームにおいて音声を鳴らす場合がある。この音声は、大きく分けて、「効果音」と「音楽（ＢＧＭ）」の２種類がある。これらの音声の再生手法として、従来は、効果音については、仮想空間内に仮想マイクを設置し、この仮想マイクで視聴したとみなす音場計算（音量や定位）を行うことで効果音を再生していた。一方、音楽、特にＢＧＭに関しては、仮想カメラや仮想マイクの位置に関わらず、常に一定の音量や定位で再生することが一般的であった。つまり、仮想空間の状態に関係なく、いわば仮想空間の「外」でＢＧＭが再生されていた。

ここで、仮想空間「内」でＢＧＭが再生されているような表現を行いたい場合を想定する。特に、このＢＧＭが、ステレオ音声、つまり、ＬＲのステレオ２ｃｈで構成されているＢＧＭである場合を想定する。この場合は、当該２ｃｈで構成されているＢＧＭデータに基づく音声を発する音源オブジェクトを仮想空間内に配置して再生させる。そして、その音を上記仮想マイクで視聴したとみなす処理を行うことが考えられる。例えば、上記図５において、入り口オブジェクト１０２の有するスピーカ画像１０３からＢＧＭが流れているような表現を行いたい場合を考える。この場合は、図６に示すように、２つのスピーカ画像１０３のほぼ真ん中あたりに音源オブジェクト（これはプレイヤからは見えない透明なオブジェクトである）を配置する。そして、当該音源オブジェクトから２ｃｈで構成されているＢＧＭを発する（再生する）処理を行う。更に、この発せられた音声を仮想マイクで拾うような処理が行われる。ここでは、仮想マイクは、プレイヤキャラクタ１０１と同じ位置に設置されているとする。すなわち、音源オブジェクトのほぼ正面に配置されているとする。その結果、ＢＧＭデータのＬチャンネルにかかる音声がスピーカ２３Ｌから出力され、ＢＧＭデータのＲチャンネルにかかる音声がスピーカ２３Ｒから出力される。換言すれば、図６の状態であれば、音源オブジェクトのＬＲチャンネルの左右の位置（定位）関係と、端末装置６のスピーカ２３Ｌおよび２３Ｒの左右の位置関係とは同じものとなっている。

次に、上記のような図６の状態から、プレイヤキャラクタ１０１を１８０度回転させたような場合を想定する。例えば、プレイヤが、端末装置６のＬＣＤ２１がプレイヤの顔の正面に対面するように両手で端末装置６を把持した姿勢のまま、１８０度回転して真後ろを向いたような場合である。図７は、上記図６の状態から１８０度回転した状態の画面を示す図である。このプレイヤ（端末装置６）の回転に伴い、プレイヤキャラクタ１０１、仮想カメラ、および仮想マイクの向きも１８０度回転している。この場合、仮想空間内の位置関係としては、プレイヤキャラクタ１０１（仮想マイク）のほぼ真後ろに上記音源オブジェクトが位置するような関係となる。また、左スピーカ画像１０３Ｌは、プレイヤキャラクタ１０１の右後方に位置し、右スピーカ画像１０３Ｒは、プレイヤキャラクタ１０１の左後方に位置するような関係となる。一方、音源オブジェクトから発せられるＢＧＭの定位は維持されたままである。つまり、上記図６の場合と同様、スピーカ２３ＬからはＢＧＭのＬチャンネルの音が出力され、スピーカ２３ＲからはＢＧＭのＲチャンネルの音が出力される。これは、プレイヤからすると、ＬＲのチャンネルが図６の状態とは逆転して聞こえることになり、違和感のある聞こえ方となる。プレイヤキャラクタ１０１が１８０度回転した場合の位置関係を考慮すると、上記図６の状態におけるＬチャンネルの音は、図７の状態ではスピーカ２３Ｒから出力され、Ｒチャンネルの音は、図７の状態ではスピーカ２３Ｌから出力されたほうがより自然な聞こえ方となる。

そこで、本実施形態では、上記のような姿勢変化（位置関係の変化）が起こった場合でも、上記ＢＧＭが自然に聞こえるような処理を行う。具体的には、本実施形態では、まず、再生したいＢＧＭデータについて、ＬチャンネルとＲチャンネルとを別のサウンドデータとして分離する。そして、２つの音源オブジェクトを別々の位置に配置し、一方にＬチャンネルのサウンドデータ（以下、Ｌチャンネルデータ）を割り当て、他方にＲチャンネルのサウンドデータ（以下、Ｒチャンネルデータ）を割り当てて再生する。つまり、上記のようなＬＲチャンネルを含む１つのＢＧＭデータを再生する音源オブジェクトを配置するのではなく、ＬＲチャンネル毎に別の音源オブジェクトを設定して配置する。そして、この音源オブジェクトから発せられる音を拾う仮想マイクの向きと上記２つの音源オブジェクトとの位置関係に応じて、スピーカ２３Ｌおよび２３Ｒからの出力音声を調整するという処理を行うものである。具体的には、仮想マイクを基準とするローカル座標系（以下、仮想マイク座標系）において、２つの音源オブジェクトのそれぞれの位置がｘ軸正方向上に位置するかｘ軸負方向上に位置するかを判定する。これにより、２つの音源オブジェクトそれぞれの位置が仮想マイクから見て右か左かを判断できる。この位置関係に基づいてスピーカ２３Ｌおよび２３ＲそれぞれにおけるＬチャンネルデータおよびＲチャンネルデータの再生音量の大きさが決定される。

図８は、本実施形態におけるゲーム画面と音源オブジェクトの配置の一例を示す図である。図８では、音源オブジェクト１０５Ｌが左スピーカ画像１０３Ｌに重なるような位置に配置され、音源オブジェクト１０５Ｒが右スピーカ画像１０３Ｒに重なるような位置に配置されている。これら音源オブジェクトは、プレイヤからは視認できない透明なオブジェクトである。そして、音源オブジェクト１０５Ｌには、再生したいＢＧＭのＬチャンネルデータが対応付けられている。一方、音源オブジェクト１０５Ｒには、再生したいＢＧＭのＲチャンネルデータが対応付けられている。つまり、音源オブジェクト１０５ＬはＬチャンネルデータを再生し、音源オブジェクト１０５ＲはＲチャンネルデータを再生するように設定されている。また、上記同様、プレイヤキャラクタの位置に仮想マイクが設置されており、当該仮想マイクは正面方向（ｚ軸正方向）を向いている。このような状態でＢＧＭが再生されると、音源オブジェクト１０５Ｌから発せられる音声は主にスピーカ２３Ｌのほうから聞こえる（スピーカ２３Ｒよりも大きな音で聞こえる）ことになる。また、音源オブジェクト１０５Ｒから発せられる音声は主にスピーカ２３Ｒのほうから聞こえる（スピーカ２３Ｌよりも大きな音で聞こえる）ことになる。

一方、図８の状態から上記のようにプレイヤ（端末装置６）が１８０度回転した場合を想定する。図９は、このときのゲーム画面を示す図である。この状態では、プレイヤキャラクタ１０１（仮想マイク）の右後方に音源オブジェクト１０５Ｌが位置し、プレイヤキャラクタ１０１の左後方に音源オブジェクト１０５Ｒが位置するという位置関係になる。また、端末装置６の姿勢変化に伴い、仮想マイクの向きについても、その正面方向が仮想空間のｚ軸負方向を向いていることになる。つまり、仮想マイクを基準にすると、その右側に音源オブジェクト１０５Ｌ、左側に音源オブジェクト１０５Ｒがあるという位置関係になる。そして、このような状態で上記ＢＧＭが再生されると、音源オブジェクト１０５Ｌから発せられる音声は主にスピーカ２３Ｒのほうから聞こえ、音源オブジェクト１０５Ｒから発せられる音声は主にスピーカ２３Ｌのほうから聞こえることになる。つまり、プレイヤキャラクタ（仮想マイク）の位置および向きと上記２つの音源オブジェクトの位置関係とが反映されるようにＢＧＭの再生が行われる。これにより、仮想空間内に存在する音源からのＢＧＭ再生をより正確に表現でき、プレイヤに違和感を与えないようなＢＧＭ再生が実現できる。

なお、上記のように、本実施形態では、仮想空間内の音源オブジェクトの位置を反映するように再生処理を行うため、例えば、次のような音声再生も可能である。例えば、図１０に示すように、プレイヤキャラクタ１０１の正面方向かつ上方向に音源オブジェクト１０５Ｌおよび１０５Ｒが存在し、ＢＧＭが再生されているとする。図１０では、音源オブジェクト１０５Ｌおよび１０５Ｒの下半分だけが画面内に入っているような状態である。この状態では、マイク座標系で考えると、音源オブジェクトが仮想マイクの上方（仮想空間の空間座標系のｙ軸正方向）に位置することになる。この場合、スピーカ２３Ｌおよび２３Ｒから出力される音声の音量は、ほぼ同じとなる。

次に、図１０の状態から、図１１に示すように、端末装置６を左方向に９０度回転させた場合を想定する（例えば、プレイヤが端末装置６を縦持ちにした場合）。この場合、スピーカ２３Ｌおよび２３Ｒの位置関係に着目すると、左右方向に配置されていた状態から上下方向に配置されたような位置関係に変化することになる。また、この端末装置６の姿勢変化に併せて、仮想マイクの姿勢も左に９０度回転させられる（つまり、端末装置６の姿勢と仮想マイクの姿勢を連動させる）。その結果、マイク座標系で考えると、音源オブジェクト１０５Ｌおよび１０５Ｒは仮想マイクの右側に位置することになる。このような場合、本実施形態では、スピーカ２３Ｒ、つまり、現実空間において上側にあるスピーカからの音量を相対的に大きくし、スピーカ２３Ｌ、つまり、現実空間において下側にあるスピーカからの音量を相対的に小さくして出力する。換言すれば、スピーカ２３Ｌおよび２３Ｒの音量の左右バランスを調整している。これにより、仮想空間内における上下方向（ｙ軸方向）に関する音源オブジェクトの位置関係についてもその音声出力に反映できる。また、この例では上下方向の例えを挙げたが、例えば、奥行き方向（仮想空間のｚ軸方向）に関しても同様に、この方向についての位置関係をスピーカ２３Ｌおよび２３Ｒからの出力音量に反映できる。例えば、端末装置６の姿勢を、ＬＣＤ２１が上面を向くような姿勢にしたような場合に、奥行き方向にかかる位置関係を反映した音声出力が可能である。

次に、図１２〜図１８を参照して、上記のようなゲーム処理を実現するためのシステム１の動作について詳細に説明する。

図１２は、上記ゲームを実行するときにゲーム装置本体５のメモリ１２に記憶される各種データの一例を示している。

ゲーム処理プログラム８１は、ゲーム装置本体５のＣＰＵ１１に、上記ゲームを実現するためのゲーム処理を実行させるためのプログラムである。ゲーム処理プログラム８１は、例えば、光ディスクからメモリ１２にロードされる。

処理用データ８２は、ＣＰＵ１１において実行されるゲーム処理において用いられるデータである。処理用データ８２は、端末操作データ８３、端末送信用データ８４、ゲーム音声データ８５、端末装置姿勢データ８６、仮想マイク姿勢データ８７、音源オブジェクトデータ８８等を含む。

端末操作データ８３は、端末装置６から周期的に送信される操作データである。図１３は、端末操作データ８３の構成の一例を示す図である。端末操作データ８３には、操作ボタンデータ９１、タッチ位置データ９２、モーションセンサデータ９３等が含まれる。操作ボタンデータ９１は、操作部３１（アナログスティック２５、十字キー２６、およびボタン２７）に対する入力状態を示すデータである。また、モーションセンサ３２に対する入力内容も操作ボタンデータ９１に含まれる。タッチ位置データ９２は、タッチパネル２２の入力面において入力が行われた位置（タッチ位置）を示すデータである。モーションセンサデータ９３は、上記モーションセンサに含まれる加速度センサおよび角速度センサで検出された加速度および角速度を示すデータである。

図１２に戻り、端末送信用データ８４は、端末装置６へ周期的に送信するデータである。端末送信用データ８４には、上記端末用ゲーム画像や端末用ゲーム音声が含まれる。

ゲーム音声データ８５は、上記端末用ゲーム音声およびモニタ用ゲーム音声の素になるデータである。ゲーム音声データ８５には、効果音の音声データや、上述したようなＬＲ２ｃｈで構成されるＢＧＭデータが複数含まれている。

端末装置姿勢データ８６は、端末装置６の姿勢を示すデータである。仮想マイク姿勢データ８７は、上記仮想マイクの姿勢を示すデータである。これらの姿勢データは、例えば、３軸のベクトルデータの組み合わせとして示される。なお、仮想マイク姿勢データ８７には、端末用仮想マイクの姿勢データとモニタ用仮想マイクの姿勢データのそれぞれが含まれる。但し、以下の説明では、単に「仮想マイク姿勢データ８７」と示した場合は端末用仮想マイクの姿勢データを指すものとする。

音源オブジェクトデータ８８は、上記音源オブジェクトに関するデータである。また、複数の音源オブジェクトデータ８８がメモリ１２に格納されている。図１４は、各音源オブジェクトデータ８８の構成の一例を示す図である。音源オブジェクトデータ８８は、オブジェクトＩＤ８８１、セット対象識別データ８８２、対応ＢＧＭ識別データ８８３、担当チャンネル識別データ８８４、分離後ＢＧＭデータ８８５を含む。

オブジェクトＩＤ８８１は、各音源オブジェクトを識別するためのＩＤである。セット対象識別データ８８２は、自身と組になる音源オブジェクトを示すデータである。本実施形態では、１つのＢＧＭデータをＬチャンネルとＲチャンネルに分離して２つの音源オブジェクトに割り当てる。そのため、この２つの音源オブジェクトを１組の音源オブジェクト（以下、セット型音源オブジェクトと呼ぶ）として扱う。そして、当該セット対象識別データは、自身と組になる他方の音源オブジェクトを示すデータである。例えば、組となる相手のオブジェクトＩＤ８８１が当該データとして示される。また、このような組とはならない音源オブジェクト（例えば効果音のみを発する音源オブジェクト等。以下、単体型音源オブジェクトと呼ぶ）である場合は、その旨を示す情報が当該セット対象識別データ８８２として設定される。

対応ＢＧＭ識別データ８８３は、当該音源オブジェクトが再生するＢＧＭであると定義されているＢＧＭデータを示すデータである。例えば、上記ゲーム音声データ８５に含まれているＢＧＭデータ（２ｃｈで構成されたＢＧＭデータ）を示す情報が本データである。

担当チャンネル識別データは、当該音源オブジェクトがセット型音源オブジェクトである場合に、ＬチャンネルとＲチャンネルのいずれを担当するかを示すデータである。

分離後ＢＧＭデータ８８５は、ＬＲ２ｃｈで構成されたＢＧＭデータをＬチャンネルおよびＲチャンネルのサウンドデータに分離した後のいずれか一方のデータである。

その他、図示は省略するが、当該音源オブジェクトが音声発生中か否かを示す情報や、当該音源オブジェクトが発する音声の音の大きさやその音の指向性等を定義した情報等、音源オブジェクトが発する音声に関する情報も適宜含まれている。

次に、図１５〜図１７のフローチャートを参照し、ゲーム処理プログラム８１に基づいてゲーム装置本体５のＣＰＵ１１によって実行されるゲーム処理の流れを説明する。

図１５において、ゲーム処理プログラム８１の実行が開始されると、ステップＳ１において、ＣＰＵ１１は、初期設定処理を行う。この初期設定処理では、上記音源オブジェクト等の各種オブジェクトの初期設定および仮想空間内への配置、仮想カメラや仮想マイクの姿勢（仮想マイク姿勢データ８７）の初期化が実行される。図１６は、当該初期設定処理の詳細を示すフローチャートである。当該初期設定処理では、まず、セット型音源オブジェクトの設定処理が行われる。すなわち、ステップＳ４１で、ＣＰＵ１１は、音源オブジェクトの中から、上記セット型音源オブジェクトを抽出する。

次に、ステップＳ４２で、ＣＰＵ１１は、抽出したセット型音源オブジェクトのうち、処理対象とする１組のセット型音源オブジェクトを選択する。以下、これを処理対象オブジェクトと呼ぶ。

次に、ステップＳ４３で、ＣＰＵ１１は、対応ＢＧＭ識別データ８８３に基づいて、当該処理対象が再生するＢＧＭのデータをゲーム音声データ８５から取得する。続くステップＳ４４で、ＣＰＵ１１は、当該取得したＢＧＭデータに基づいて、上記ＬチャンネルデータおよびＲチャンネルデータを生成する。

次に、ステップＳ４５で、ＣＰＵ１１は、上記生成したＬチャンネルデータおよびＲチャンネルデータを処理対象オブジェクト（２つの音源オブジェクト）に１つずつ割り当てる。すなわち、まず、ＣＰＵ１１は、当該処理対象オブジェクトのうちの一方の音源オブジェクトの担当チャンネル識別データ８８４を参照する。そして、これに示されているチャンネルに対応するＬチャンネルデータ、またはＲチャンネルデータを分離後ＢＧＭデータ８８５に格納する。同様に、処理対象オブジェクトのうちの他方の音源オブジェクトの分離後ＢＧＭデータ８８５に、残りのＬチャンネルデータ、またはＲチャンネルデータを格納する。これにより、あるＢＧＭについて、Ｌチャンネルの音のみ再生する音源オブジェクトと、Ｒチャンネルの音のみ再生する音源オブジェクトとの２つの音源オブジェクトが設定されることになる。

次に、ステップＳ４６で、ＣＰＵ１１は、上記処理対象オブジェクトを仮想空間内の所定の位置に配置する。なお、この配置位置については、上記図８の音源オブジェクト１０５Ｌおよび１０５Ｒのように、２つの音源オブジェクトが左右にある程度離れているような位置関係（つまり、ステレオ効果が得られるような位置関係）となるように配置することが好ましい。

次に、ステップＳ４７で、ＣＰＵ１１は、上記ステップＳ４１で抽出したセット型音源オブジェクトの全てについて上記のような処理が行われたか否かを判定する。その結果、まだ未処理のセット型音源オブジェクトが残っているときは（ステップＳ４７でＮＯ）、上記ステップＳ４２に戻り処理が繰り返される。一方、全て処理済みであれば（ステップＳ４７でＹＥＳ）、続くステップＳ４８で、ＣＰＵ１１は、その他の初期設定処理を実行する。すなわち、各種オブジェクト（単体型音源オブジェクトやプレイヤキャラクタ等）の仮想空間内への配置や、仮想カメラおよび仮想マイク等の姿勢の初期化、その他各種変数の初期化等が実行される。なお、仮想カメラおよび仮想マイクの初期値は、マイク座標系の各軸の向きを仮想３次元空間の空間座標系の各軸の向きに一致させた状態である。以上で、初期設定処理は終了する。

図１５に戻り、次に、ステップＳ２において、ＣＰＵ１１は、端末操作データ８３の取得を行う。

次に、ステップＳ３において、ＣＰＵ１１は、モーションセンサデータ９３（加速度データおよび角速度データ）に基づいて、端末装置６の現在の姿勢を算出する。算出された姿勢を示すデータは、端末装置姿勢データ８６としてメモリ１２に格納される。

次に、ステップＳ４において、ＣＰＵ１１は、端末装置６の現在の姿勢を仮想マイク（端末用仮想マイク）の姿勢に反映する。具体的には、端末装置姿勢データ８６で示される姿勢を仮想マイク姿勢データ８７に反映させる。

次に、ステップＳ５において、ＣＰＵ１１は、端末操作データ８３で示される操作内容（主に操作ボタンデータ９１やタッチ位置データ９２で示される操作内容）に基づき、所定のゲーム処理を実行する。例えば、プレイヤキャラクタ等の各種キャラクタを移動させる処理等が行われる。

次に、ステップＳ６において、ＣＰＵ１１は、上記ゲーム処理の結果が反映されたゲーム画像を生成する処理を実行する。例えば、上記操作内容に基づいてプレイヤキャラクタが移動した後の仮想ゲーム空間を仮想カメラで撮影することでゲーム画像が生成される。また、このとき、ＣＰＵ１１は、ゲーム内容に応じて、適宜、モニタ用ゲーム画像と端末用ゲーム画像の２つの画像を生成する。例えば、２つの仮想カメラを用いることでそれぞれの画像が生成される。

次に、ステップＳ７において、ＣＰＵ１１は、モニタ用ゲーム音声および端末用ゲーム音声を生成するためのゲーム音声生成処理を実行する。図１７は、上記ステップＳ７で示したゲーム音声生成処理の詳細を示すフローチャートである。図１７において、まず、ステップＳ２１で、ＣＰＵ１１は、処理対象とする音源オブジェクトを一つ選択する。音源オブジェクトが仮想空間内に複数存在する場合に、これらを一つずつ順番に処理していくためである。また、処理対象となる音源オブジェクトは、例えば、現在音声発生中の状態にある音源オブジェクトである。

次に、ステップＳ２２において、ＣＰＵ１１は、上記処理対象の音源オブジェクトのマイク座標系における位置および向きを算出する。これにより、マイク座標系において、音源オブジェクトが仮想マイク（の正面方向を基準として）の右側に位置するか左側に位置するかを認識することができる。

次に、ステップＳ２３で、ＣＰＵ１１は、マイク座標系における仮想マイクから音源オブジェクトまでの直線距離を算出する。続くステップＳ２４において、ＣＰＵ１１は、上記算出したマイク座標系における音源オブジェクトの位置、向き、距離、および、仮想マイク自身の向きに基づいて、スピーカ２３Ｌおよび２３Ｒのそれぞれの音量値を決定する。つまり、スピーカ２３Ｌおよび２３Ｒの左右の音量バランスが決定される。

次に、ステップＳ２５において、ＣＰＵ１１は、当該音源オブジェクトに対応付けられているゲーム音声データ８５を再生する。但し、当該音源オブジェクトが上記セット型音源オブジェクトにかかるものである場合は、再生される音声は分離後ＢＧＭデータ８８５に基づくものとなる。その結果、セット型音源オブジェクトに関しては、所定のＢＧＭのＬチャンネルの音声のみ、あるいは、Ｒチャンネルの音声のみが再生されることになる。なお、再生音量については、上記ステップＳ２４で決定された音量に従う。

次に、ステップＳ２６において、ＣＰＵ１１は、処理対象となる音源オブジェクトの全てについて上記のような処理を行ったか否かを判定する。そして、まだ未処理の音源オブジェクトが残っていれば（ステップＳ２６でＮＯ）、ＣＰＵ１１は、上記ステップＳ２１に戻り処理を繰り返す。一方、全て処理が終わっていれば（ステップＳ２６でＹＥＳ）、ステップＳ２７において、ＣＰＵ１１は、上記処理を行った各音源オブジェクトにかかる音声を含む端末用ゲーム音声を生成する。

続くステップＳ２７で、ＣＰＵ１１は、モニタ用仮想マイクを用いて、ゲーム処理の結果に応じたモニタ用ゲーム音声を適宜生成する。ここでは、当該モニタ用ゲーム音声も、その対象をスピーカ２Ｌおよび２Ｒとして、基本的には上記端末用ゲーム音声と同様の処理で生成されるものとする。以上で、ゲーム音声生成処理は終了する。

図１５に戻り、ゲーム音声生成処理の次に、ステップＳ８において、ＣＰＵ１１は、上記ステップＳ３で生成された端末用ゲーム画像およびステップＳ７で生成された端末用ゲーム音声を端末送信用データ８４に格納し、当該端末送信用データ８４を端末装置６に送信する。なお、ここでは説明の便宜上、端末用ゲーム音声の送信周期を端末用ゲーム画像の送信周期を合わせている例を挙げているが、他の実施形態では、端末用ゲーム音声の送信周期については端末用ゲーム画像の送信周期よりも短くしてもよい。例えば、端末用ゲーム画像については１／６０秒周期で送信するようにし、端末用ゲーム音声については１／１８０秒周期で送信するようにしてもよい。

次に、ステップＳ９において、ＣＰＵ１１は、上記ステップＳ６で生成されたモニタ用ゲーム画像をモニタ２に出力する。続くステップＳ１０において、ＣＰＵ１１は、上記ステップＳ７で生成されたモニタ用ゲーム音声をスピーカ２Ｌおよび２Ｒに出力する。

次に、ステップＳ１１で、ＣＰＵ１１は、ゲーム処理を終了するための所定の条件が満たされたか否かを判定する。その結果、所定の条件が満たされていないときは（ステップＳ１１でＮＯ）、上記ステップＳ２に戻り、上述の処理を繰り返す。所定の条件が満たされたときは（ステップＳ１１でＹＥＳ）、ＣＰＵ１１は当該ゲーム処理を終了する。

次に、図１８のフローチャートを参照して、端末装置６の制御部３３が実行する制御処理の流れを説明する。まず、ステップＳ４１において、制御部３３は、ゲーム装置本体５から送信された端末送信用データ８４を受信する。

次に、ステップＳ４２において、制御部３３は、上記受信した端末送信用データ８４に含まれている端末用ゲーム画像をＬＣＤ２１に出力する。

次に、ステップＳ４３において、制御部３３は、上記受信した端末送信用データ８４に含まれている端末用ゲーム音声をスピーカ２３Ｌおよび２３Ｒに出力する。また、その音量バランスは、上記ステップＳ２４で決定された音量に従う。

次に、ステップＳ４４において、制御部３３は、操作部３１やモーションセンサ３２、タッチパネル２２に対する入力（操作内容）を検出し、操作ボタンデータ９１、タッチ位置データ９２、および、モーションセンサデータ９３を生成する。

次に、ステップＳ４５において、制御部３３は、上記ステップＳ４４で生成した操作ボタンデータ９１、タッチ位置データ９２、を含む端末操作データ８３を生成し、ゲーム装置本体５に送信する。

次に、ステップＳ４６において、制御部３３は、端末装置６の制御処理を終了するための所定の条件が満たされたか否かを判定する（例えば、電源オフ操作が行われたか否か等）。その結果、所定の条件が満たされていないときは（ステップＳ４６でＮＯ）、上記ステップＳ４１に戻り、上述の処理を繰り返す。所定の条件が満たされたときは（ステップＳ４６でＹＥＳ）、制御部３３は当該端末装置６の制御処理を終了する。

このように、本実施形態では、仮想空間内の音源オブジェクト（特に、セット型音源オブジェクト）と仮想マイクとの位置関係やその向きを反映したＢＧＭの再生処理を行っている。これにより、仮想空間内の音源から２ｃｈで構成されたＢＧＭが再生されるときの音響表現をより正確に表現でき、仮想空間の臨場感をより高めることができる。特に、上述したような、端末装置６自体の姿勢を変化させて「覗き窓」のように仮想空間の様子を表示するようなシステムのゲーム処理等に上記の処理は好適である。

なお、上記実施形態では、初期設定処理において所定のＢＧＭをＬＲチャンネルのデータに分離し、異なる音源オブジェクトに割り当てる処理を行っていた。このような処理の他、次のような処理を行っても良い。例えば、ゲームソフトの開発段階で上記のような２ｃｈのＢＧＭをチャンネル分離したサウンドデータ（ＬチャンネルデータおよびＲチャンネルデータ）を予め作成しておき、ゲーム音声データ８５に含めておくようにしてもよい。そして、所定の音源オブジェクトに対応するＢＧＭデータとして、ＬチャンネルデータあるいはＲチャンネルデータを対応付けた音源オブジェクトデータを予め作成しておくようにしてもよい。この場合は、図１４で示したような音源オブジェクトデータ８８の構成としては、オブジェクトＩＤ８８１および対応ＢＧＭ識別データ８８３のみが含まれる構成でもよい。そして、上記初期設定処理においては、他の音源オブジェクトのデータと共に、当該ＬチャンネルデータあるいはＲチャンネルデータを再生する音源オブジェクトのデータを読み出し、仮想空間内に適宜配置するだけでよい。これは、初期設定処理にかかる処理時間が短縮される点で有利である。

また、その他、上記ステップＳ７のゲーム音声生成処理において、上記のＢＧＭのチャンネル分離処理等をリアルタイムに実行するようにしてもよい。例えば、上記音源オブジェクトデータ８８の構成として、図１４に示した構成から分離後ＢＧＭデータ８８５のみを外した構成としておく。そして、ゲーム音声生成処理において、セット型音源オブジェクトについては、その組を構成する各音源オブジェクトの担当チャンネル識別データ８８４を参照する。そして、その音源オブジェクトが担当するチャンネルを識別できれば、ＢＧＭデータをＬチャンネルとＲチャンネルのサウンドデータに分離し、担当チャンネルのサウンドデータのみを再生するようにしてもよい。

また、上記実施形態では、モニタ２および端末装置６という、２つの画面と２セットのステレオスピーカ（４つのスピーカ）を有するゲームシステムを例に挙げた。このような構成に限らず、例えば、携帯型ゲーム装置のように、画面およびステレオスピーカがハウジングに一体化するよう設けられている情報処理装置にも上記の処理は適用可能である。また、このような情報処理装置は、モーションセンサを内蔵しており、自身の姿勢が検知可能な情報処理装置であることが好ましい。そして、このような情報処理装置で、上述したような仮想空間の表示システムを利用する処理を行う場合に好適である。この場合は、仮想カメラや仮想マイクを一つだけにして上記と同様の処理を行えばよい。

また、例えば、プレイヤの直接的な操作対象となるゲーム画面の表示や各種操作に関しては端末装置６を用いるが、音声出力に関しては、端末装置６のスピーカ２３は使わずにモニタ２のスピーカのみを利用するような構成の場合も上記のような処理は適用可能である。例えば、プレイヤが端末装置６を把持したまま、モニタ２に対面している姿勢から１８０度回転した場合（つまり、モニタ２に背を向けた場合）、上記の処理を用いてセット型音源オブジェクトの音声をモニタ２のスピーカ２Ｌおよび２Ｒに出力するようにすればよい。

また、外付けスピーカとして、例えば５．１ｃｈサラウンドシステムのスピーカを用いるような場合も、同様の処理が適用できる。この場合は、例えば、５．１ｃｈ対応のＢＧＭデータをチャンネル毎のデータに分離し（６つのサウンドデータとなる）、これらを６つの音源オブジェクトに割り当てるようにすればよい、そして、上記のように端末装置６の姿勢変化に応じて仮想マイクの向きを変化させ、仮想空間内の音源オブジェクトと仮想マイクとの位置関係や向きに基づいてＢＧＭ再生処理を行えば、スピーカの数が多い分、より臨場感の高いＢＧＭ再生の音響効果を提供することができる。

また、例えば端末装置６にステレオヘッドホンを接続し、プレイヤがこれを用いてゲーム音声を聴くような場合も上記処理は適用可能である。この場合は、ヘッドホン端子２４へのヘッドホンの接続状態をゲーム装置本体５が検出できるように構成する。例えば、接続状態を示すデータを上記端末操作データ８３に含めるように構成する。そして、上述の処理におけるスピーカ２３Ｌおよび２３Ｒへの出力をこのようなヘッドホンの左右スピーカへの出力に置き換えるようにして上記処理を適用すればよい。但し、上記図１１で示したような、端末装置６を縦持ちにしたときの上下方向にかかる音声の鳴らし分けの処理に関しては、ヘッドホン装着時は適用しないようにしてもよい。プレイヤがヘッドホンを装着しているときは、スピーカの位置関係は左右方向にかかる配置という位置関係に固定されるためである。

また、その他、端末装置６自体の姿勢は変更せずに、仮想カメラの向きのみをプレイヤが操作可能な場合にも上記処理を適用してもよい（例えば、アナログスティック２５を用いて仮想カメラの向きを変更する等）。プレイヤからすると、仮想カメラの向きの操作によって、自分を中心にして仮想空間自体が回転しているような感覚となる。この場合は、端末装置６の姿勢の代わりに、プレイヤの操作によって変更された仮想カメラの姿勢に併せて仮想マイクの向きを変更すればよい。すなわち、仮想マイクの正面方向（ｚ軸正方向）が仮想カメラの正面方向（ｚ軸正方向）に一致するように仮想マイクの姿勢を変更し、上記のような処理を行うようにしてもよい。

また、その他、モニタ２のスピーカ２Ｌおよび２Ｒと、端末装置６のスピーカ２３Ｌおよび２３Ｒの、合計２セットのステレオスピーカ（計４つのスピーカ）を用いて上記の処理を適用しても良い。特に、端末装置６を主に「縦向き姿勢」で利用する場合に好適である。この場合、例えば、仮想空間内の左右方向についての音源オブジェクトの移動に関してはモニタ２のスピーカ２３Ｌおよび２３Ｒからの出力に反映させる。そして、上下方向についての音源オブジェクトの移動については、端末装置６のスピーカ２３Ｌおよび２３Ｒからの出力に反映させる。これにより、例えば５．１ｃｈのスピーカセットを用いずとも、臨場感の高い音響効果を得られる。

また、上述の実施例にかかる処理を実行するためのゲーム処理プログラムは、任意のコンピュータ読み取り可能な記憶媒体（例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、半導体メモリカード、ＲＯＭ、ＲＡＭなど）に格納され得る。

また、上記実施例ではゲーム処理を一例に説明しているが、情報処理の内容はゲーム処理に限るものではなく、上記のような仮想空間の表示システムを利用する他の情報処理においても上記実施例の処理は適用可能である。

また、上記実施形態においては、２ｃｈで構成されるＢＧＭデータをＬＲそれぞれのチャンネルに分離し、別々の音源オブジェクトで再生するような制御を行うための一連の処理が単一の装置（ゲーム装置本体５）において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、ゲーム装置本体５と、当該ゲーム装置本体５とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

１…ゲームシステム
２…モニタ
２Ｌ、２Ｒ…スピーカ
３…ゲーム装置
５…ゲーム装置本体
６…端末装置
２０…ハウジング
２１…ＬＣＤ
２３Ｌ、２３Ｒ…スピーカ

Claims (11)

1. 情報処理部と、第１のスピーカおよび第２のスピーカとを備える情報処理システムであって、
   ２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する音楽データ分離手段と、
   前記分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第２の音源オブジェクトとを仮想３次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
   前記仮想３次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
   前記仮想３次元空間内に配置された前記仮想マイクの向きと前記第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、前記第１のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、前記第２のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量とを決定する音声出力制御手段と、を備える、情報処理システム。
2. 前記情報処理システムは、
   動きセンサ、前記第１のスピーカ、前記第２のスピーカ、および前記仮想３次元空間の様子が表示される第１の表示部とが設けられているハウジングを有する第１出力装置と、
   前記動きセンサの出力に基づいて前記第１出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
   前記第１出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段と、を更に備える、請求項１に記載の情報処理システム。
3. 前記情報処理システムは、前記第１出力装置の姿勢に基づいて前記第１のスピーカと前記第２のスピーカとの位置関係を認識するスピーカ位置関係認識部を更に備え、
   前記音声出力制御手段は、前記仮想３次元空間内に配置された前記仮想マイクの向きと前記第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に加え、更に前記第１のスピーカおよび前記第２のスピーカの位置関係に基づいて、当該第１のスピーカから出力される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、当該第２のスピーカから出力される第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量を決定する、請求項２に記載の情報処理システム。
4. 前記情報処理システムは、第３のスピーカ、第４のスピーカ、および第２の表示部を有する第２出力装置を更に備え、
   前記音声出力制御部は、前記第１出力装置が有する第１のスピーカおよび第２のスピーカと、前記第２出力装置が有する第３のスピーカおよび第４のスピーカとの間の位置関係に基づいて、各スピーカからの前記再生音量を決定する、請求項２に記載の情報処理システム。
5. 前記音楽データはステレオ２チャンネルで構成された音楽データであり、
   前記第１のスピーカおよび第２のスピーカは、組となるステレオスピーカである、請求項１ないし４のいずれかに記載の情報処理システム。
6. 情報処理部と、第１のスピーカおよび第２のスピーカを備える音声出力システムのコンピュータに実行させる情報処理プログラムであって
   ２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する音楽データ分離手段と、
   前記分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第２の音源オブジェクトとを仮想３次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
   前記仮想３次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
   前記仮想３次元空間内に配置された前記仮想マイクの向きと前記第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、前記第１のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、前記第２のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量とを決定する音声出力制御手段として前記コンピュータを機能させる、情報処理プログラム。
7. 前記情報処理システムは、動きセンサ、前記第１のスピーカ、前記第２のスピーカ、および前記仮想３次元空間の様子が表示される第１の表示部とが設けられているハウジングを有する第１出力装置を更に備え、
   前記情報処理プログラムは、前記コンピュータを、
   前記動きセンサの出力に基づいて前記第１出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
   前記第１出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段として更に機能させる、請求項６に記載の情報処理プログラム。
8. 情報処理部と、第１のスピーカおよび第２のスピーカを備える情報処理システムを制御するための情報処理制御方法であって
   ２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する音楽データ分離ステップと、
   前記分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第２の音源オブジェクトとを仮想３次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置ステップと、
   前記仮想３次元空間内の所定の位置に仮想マイクを配置するマイク配置ステップと、
   前記仮想３次元空間内に配置された前記仮想マイクの向きと前記第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、前記第１のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、前記第２のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量とを決定する音声出力制御ステップとを備える、情報処理制御方法。
9. 前記情報処理システムには、動きセンサ、前記第１のスピーカ、前記第２のスピーカ、および前記仮想３次元空間の様子が表示される第１の表示部とが設けられているハウジングを有する第１出力装置を有しており、
   前記情報処理制御方法は、
   前記動きセンサの出力に基づいて前記第１出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出ステップと、
   前記第１出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更ステップと、を更に備える、請求項８に記載の情報処理システム。
10. 第１のスピーカおよび第２のスピーカを備える情報処理装置であって、
    ２チャンネルで構成されている所定の音楽データを第１チャンネル音楽データと第２チャンネル音楽データとに分離する音楽データ分離手段と、
    前記分離された音楽データのうちの一方に対応付けられた第１の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第２の音源オブジェクトとを仮想３次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
    前記仮想３次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
    前記仮想３次元空間内に配置された前記仮想マイクの向きと前記第１の音源オブジェクトおよび第２の音源オブジェクトとの位置関係に基づいて、前記第１のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量と、前記第２のスピーカから再生される前記第１チャンネル音楽データおよび第２チャンネル音楽データの再生音量とを決定する音声出力制御手段と、を備える、情報処理装置。
11. 前記情報処理装置は、
    動きセンサと、
    前記仮想３次元空間の様子が表示される第１の表示手段と、
    前記動きセンサの出力に基づいて前記情報処理装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
    前記情報処理の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段と、を更に備える、請求項１０に記載の情報処理装置。

Images