JP2014097266A - 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】変化に富んだ音声出力が可能となる情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供する。
【解決手段】第１表示画像生成手段は、仮想世界の少なくとも一部を含む画像を第１表示画像として生成する。第１サウンド生成手段は、仮想世界において生じている第１サウンドを生成する。第２サウンド選択手段は、ユーザ操作に応じて、第１サウンドの一部を構成する第２サウンドを選択する。第１表示制御手段は、第１表示画像を第１の表示装置に表示する制御を行う。第１サウンド出力制御手段は、第１サウンド生成手段が生成した第１サウンドを、第１の表示装置に表示する第１表示画像と同期して第１のスピーカから出力する制御を行う。第２サウンド出力制御手段は、第２サウンド選択手段が選択した第２サウンドを、第２のスピーカから出力する制御を行う。
【選択図】図４

Description

本発明は、情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関し、特に例えば、スピーカから音声を出力する情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関する。

従来、１つの楽曲を複数の楽器を用いて合奏した音声を出力するゲーム装置がある（例えば、特許文献１参照）。上記特許文献１に記載されたゲーム装置は、ユーザ自身が担当するパートを選択し、担当パートの選択が完了すると、合奏が開始される。そして、ユーザは、担当パートに応じた入力操作を行うことによって、合奏に参加することができる。

特開２００９−２９７２２１号公報

しかしながら、上記特許文献１で開示されたゲーム装置は、合奏される楽曲がモニタに設けられた１組のスピーカ等から音声出力されるだけである。したがって、合奏された楽曲であっても、他の音声出力と比べて変化に乏しいものになることがある。

それ故に、本発明の目的は、変化に富んだ音声出力が可能となる情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理プログラムの一構成例は、第１のスピーカが設けられた第１の表示装置に画像およびサウンドを出力し、第２のスピーカが設けられた別の装置に少なくともサウンドを出力する情報処理装置に含まれるコンピュータで実行される。情報処理プログラムは、第１表示画像生成手段、第１サウンド生成手段、第２サウンド選択手段、第１表示制御手段、第１サウンド出力制御手段、および第２サウンド出力制御手段としてコンピュータを機能させる。第１表示画像生成手段は、仮想世界の少なくとも一部を含む画像を第１表示画像として生成する。第１サウンド生成手段は、仮想世界において生じている第１サウンドを生成する。第２サウンド選択手段は、ユーザ操作に応じて、第１サウンドの一部を構成する第２サウンドを選択する。第１表示制御手段は、第１表示画像を第１の表示装置に表示する制御を行う。第１サウンド出力制御手段は、第１サウンド生成手段が生成した第１サウンドを、第１の表示装置に表示する第１表示画像と同期して第１のスピーカから出力する制御を行う。第２サウンド出力制御手段は、第２サウンド選択手段が選択した第２サウンドを、第２のスピーカから出力する制御を行う。

上記によれば、ユーザ操作に応じて、第１サウンドの一部を構成する第２サウンドを選択して別の装置を用いて聴くことができるため、変化に富んだ音声出力が可能となる。

また、上記第１サウンド生成手段は、第２サウンド選択手段によって第２サウンドが選択された場合、当該第２サウンドを除いて新たに第１サウンドを生成してもよい。

上記によれば、第１のサウンドから第２サウンドを除いた音声を第１の表示装置を用いて聴くことができるため、さらに変化に富んだ音声出力が可能となる。

また、上記第１表示画像生成手段は、仮想世界に複数のオブジェクトが配置された画像を、第１表示画像として生成してもよい。上記情報処理プログラムは、オブジェクト選択手段として、さらにコンピュータを機能させてもよい。オブジェクト選択手段は、ユーザ操作に応じて、複数のオブジェクトから少なくとも１つのオブジェクトを選択する。この場合、上記第１サウンド生成手段は、第１表示画像として表示されているオブジェクトに応じて、第１サウンドを生成してもよい。上記第２サウンド選択手段は、オブジェクト選択手段によって選択されたオブジェクトに応じて、第２サウンドを選択してもよい。

上記によれば、第１の表示装置に表示された複数のオブジェクトの少なくとも１つを選択することによって、当該オブジェクトに応じたサウンドが第２のスピーカから音声出力されるため、オブジェクト選択によって当該オブジェクトに応じた音声を選択して第２のスピーカから聴くような操作が可能となる。

また、上記第１表示画像生成手段は、オブジェクト選択手段によって選択されたオブジェクトを複数のオブジェクトから除いて、当該除いた後のオブジェクトが配置された画像を、第１表示画像として生成してもよい。上記第１サウンド生成手段は、オブジェクト選択手段によって選択されたオブジェクトに応じた第２サウンドを複数のオブジェクトに応じた第１サウンドから除くことによって除いた後のオブジェクトに応じたサウンドを生成し、当該サウンドを新たに第１サウンドとして生成してもよい。

上記によれば、第１の表示装置に表示された複数のオブジェクトの少なくとも１つを選択することによって、当該オブジェクトに応じたサウンドが第２のスピーカから音声出力されるとともに、当該オブジェクトに応じたサウンドが除かれた第１サウンドが第１のスピーカから音声出力されるため、オブジェクト選択によって当該オブジェクトに応じた音声出力を第１のスピーカから第２のスピーカへ移動させるような操作が可能となる。

また、上記別の装置は、表示画面を有する第２の表示装置であってもよい。上記情報処理プログラムは、第２表示画像生成手段、および第２表示制御手段として、さらにコンピュータを機能させてもよい。第２表示画像生成手段は、オブジェクト選択手段によって選択されたオブジェクトを示す画像を第２表示画像として生成する。第２表示制御手段は、第２表示画像を第２の表示装置に表示する制御を行う。この場合、上記第２サウンド選択手段は、第２表示画像として表示されているオブジェクトに応じて、第２サウンドを選択してもよい。

上記によれば、第１の表示装置に表示された複数のオブジェクトの少なくとも１つを第２の表示装置に表示させることによって、当該オブジェクトに応じたサウンドが第２の表示装置から音声出力されるため、画像ともに音声を選択して第２の表示装置を用いて視聴するような操作が可能となる。

また、上記第１サウンド生成手段は、第１表示画像として表示されているオブジェクトを音源とするサウンドを、第１サウンドとして生成してもよい。上記第２サウンド選択手段は、第２表示画像として表示されているオブジェクトを音源とするサウンドを、第２サウンドとして選択してもよい。

上記によれば、サウンドの音源となるオブジェクトを第２の表示装置に表示させることによって、当該オブジェクトを音源とするサウンドが第２の表示装置から音声出力されるため、音源を選択して第２の表示装置を用いて視聴するような操作が可能となる。

また、上記第１の表示装置は、据置型の表示装置であってもよい。上記第２の表示装置は、可搬型の表示装置であってもよい。

上記によれば、複数のオブジェクトが配置された仮想世界を据置型の表示装置に表示して当該複数のオブジェクトに応じたサウンドを当該据置型の表示装置から音声出力しながら、選択されたオブジェクトが配置された仮想世界を可搬型の表示装置に表示して当該選択されたオブジェクトに応じたサウンドを当該可搬型の表示装置から音声出力することができる。

また、上記第２の表示装置は、ユーザ操作入力に応じたデータを出力する操作入力手段を備えてもよい。この場合、上記情報処理プログラムは、データ取得手段、オブジェクト制御手段、第２サウンド変化手段として、さらにコンピュータを機能させてもよい。データ取得手段は、操作入力手段から出力されたデータを取得する。オブジェクト制御手段は、データ取得手段が取得したデータに応じて、第２表示画像として表示されているオブジェクトを制御する。第２サウンド変化手段は、データ取得手段が取得したデータに応じて、第２サウンドの音量、音質、音程、および発音数の少なくとも１つを変化させる。

上記によれば、第２の表示装置から音声出力する第２サウンドを変化させて聴くことができる。

また、上記第１サウンド生成手段は、仮想世界において１つの楽曲を複数の楽器を用いて合奏されるサウンドを、第１サウンドとして生成してもよい。上記第２サウンド選択手段は、ユーザ操作に応じて複数の楽器から選択された少なくとも１つの楽器が楽曲を演奏しているサウンドを、第２サウンドとして生成してもよい。上記第２サウンド出力制御手段は、第１のスピーカから第１サウンドとして出力されている楽曲の演奏と同期するように、第２のスピーカから当該楽曲を演奏している第２サウンドを出力してもよい。

上記によれば、複数の楽器を用いて合奏しているサウンドから、少なくとも１つの楽器が演奏しているサウンドを取り出して聴くことができる。

また、上記情報処理プログラムは、決定手段として、さらにコンピュータを機能させてもよい。決定手段は、ユーザ操作に応じて、第１表示画像として表示された仮想世界内に対する指示位置および／または指示方向を決定する。この場合、上記第１サウンド生成手段は、第１表示画像として表示されている仮想世界全体において生じている全体音を、第１サウンドとして生成してもよい。上記第２サウンド選択手段は、仮想世界における指示位置および／または指示方向に基づいて、当該仮想世界における指示位置の周辺に生じる音および／または指示方向に対して所定の範囲内に生じる音を生成し、当該音を第２サウンドとして選択してもよい。

上記によれば、仮想世界全体において生じている全体音を第１のスピーカから音声出力するとともに、仮想世界に対して指示した位置および／または方向に応じた音声を第２のスピーカから音声出力することができる。

また、本発明は、上記各手段を備える情報処理装置および情報処理システムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

本発明によれば、ユーザ操作に応じて、あるサウンドの一部を構成するサウンドを選択して別の装置を用いて聴くことができるため、変化に富んだ音声出力が可能となる。

情報処理システム１の一例を示すブロック図 情報処理システム１において表示される画像の一例を示す図 モニタ４に表示される仮想世界の全体画像および出力されるサウンドの一例を示す図 選択オブジェクトが選択された場合の端末装置２の表示画像および出力サウンドと、モニタ４の表示画像および出力サウンドとの一例を示す図 端末装置２に対する操作によって選択オブジェクトおよび出力サウンドが制御される一例を示す図 情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図 楽曲データＤｃの一例を示す図 情報処理装置３において実行される情報処理の前半の一例を示すフローチャート 情報処理装置３において実行される情報処理の後半の一例を示すフローチャート

図１を参照して、本実施例に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについて説明する。なお、図１は、情報処理装置３を含む情報処理システム１の一例を示すブロック図である。一例として、情報処理装置３は据置型のゲーム装置で構成され、情報処理システム１は当該ゲーム装置を含むゲームシステムで構成される。

図１において、情報処理システム１は、端末装置２、情報処理装置３、およびモニタ４を備える。本実施例における情報処理システム１は、画像（例えば、ゲーム画像）を生成して表示装置（端末装置２およびモニタ４）に表示するものである。

情報処理システム１においては、端末装置２に対する入力に応じて情報処理装置３が情報処理を実行し、実行の結果得られた画像が端末装置２および／またはモニタ４に表示される。このように、本実施例においては、情報処理システム１は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施例においては、情報処理システム１は、これらの機能を有する単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。

端末装置２は、ユーザが把持可能な（可搬型の）入力装置である。端末装置２は、情報処理装置３と通信可能である。端末装置２は、端末装置２に対する操作を表す操作データを情報処理装置３へ送信する。また、本実施例においては、端末装置２は、表示部（ＬＣＤ１１）を備えており、端末装置２は表示装置でもある。情報処理装置３から画像が送信されてくる場合、端末装置２は、ＬＣＤ１１に当該画像を表示する。

また、端末装置２は、スピーカ１２を備えており、端末装置２は表示装置および音声出力装置でもある。スピーカ１２は、例えば一対のステレオスピーカであり、音声データの出力を制御する回路であるサウンドＩＣによって出力制御されてもよい。情報処理装置３から音声が送信されてくる場合、端末装置２は、サウンドＩＣを介してスピーカ１２から当該音声を出力する。

また、端末装置２は、入力部として操作部１３を備える。一例として、操作部１３は、ハウジングに設けられる所定の入力面（例えば、表示部の画面）に対して入力された位置を検出するタッチパネルや、アナログスティック、十字キー、操作ボタン等を備えている。また、端末装置２は、入力部として加速度センサやジャイロセンサ等を備えてもよい。加速度センサやジャイロセンサは、端末装置２の所定軸方向に関する加速度や角速度を検出する。

情報処理装置３は、画像を生成する処理等、情報処理システム１において実行される各種の情報処理を実行する。本実施例においては、情報処理装置３は、ＣＰＵ（制御部）５およびメモリ６を有し、ＣＰＵ５がメモリ６を用いて所定の情報処理プログラムを実行することによって、情報処理装置３における各種機能が実現される。なお、情報処理装置３は、上記の情報処理を実行することができればどのような構成であってもよい。本実施例においては、情報処理装置３によって画像（例えば、ゲーム画像）が生成され、生成された画像は、表示装置である端末装置２およびモニタ４へ出力される。

モニタ４は、生成された画像を表示し生成された音声を出力する表示装置および音声出力装置の一例である。モニタ４は、情報処理装置３から送信されるデータを受信可能である。情報処理装置３において生成された画像および音声がモニタ４へ送信されてくると、モニタ４は当該画像を表示するとともにスピーカ４１から当該音声を出力する。

次に、情報処理装置３が行う具体的な処理を説明する前に、図２〜図５を用いて情報処理装置３で行う情報処理の概要について説明する。図２は、情報処理システム１において表示される画像の一例を示す図である。図３は、モニタ４に表示される仮想世界の全体画像および出力されるサウンドの一例を示す図である。図４は、選択オブジェクトが選択された場合の端末装置２の表示画像および出力サウンドと、モニタ４の表示画像および出力サウンドとの一例を示す図である。図５は、端末装置２に対する操作によって選択オブジェクトおよび出力サウンドが制御される一例を示す図である。

図２に示すように、本実施例においては、一例として端末装置２およびモニタ４にそれぞれゲーム画像が表示される。例えば、ユーザは、端末装置２を把持しながら操作することによって、モニタ４に表示された仮想世界に配置されたオブジェクトを選択して端末装置２のＬＣＤ１１に当該選択されたオブジェクトを表示することができる。

図２および図３に示すように、モニタ４には例えば仮想世界の全体画像が表示される。例えば、上記全体画像は、複数のオブジェクトＯＢＪ（図３においては５つのオブジェクトＯＢＪ１〜ＯＢＪ５）が表示される。そして、モニタ４のスピーカ４１からは、複数のオブジェクトＯＢＪがそれぞれ音源となって仮想世界に生じているサウンド全て（全体音）が出力される。一例として、複数のオブジェクトＯＢＪは、仮想世界においてそれぞれ楽器を用いて同じ楽曲を演奏しており、複数のオブジェクトＯＢＪが合奏している楽曲（すなわち、それぞれのオブジェクトＯＢＪが同じ楽曲を演奏している音全てを合成した音声）が上記全体音として音声出力される。

ここで、ユーザは、端末装置２を操作（例えば、操作部１３を用いた操作）することによって、モニタ４に表示された複数のオブジェクトＯＢＪからオブジェクトＯＢＪを選択することができる（以下、ユーザが選択したオブジェクトを選択オブジェクトと記載する）。なお、選択オブジェクトは、モニタ４に表示された複数のオブジェクトＯＢＪから１つ選択されてもいいし、複数選択されてもよい。例えば、図４に示した一例では、ユーザがモニタ４に表示されたオブジェクトＯＢＪ１を選択オブジェクトとして選択している。そして、選択オブジェクトＯＢＪ１が選択された場合、モニタ４に表示された全体画像から選択オブジェクトＯＢＪ１が消去され、端末装置２のＬＣＤ１１に選択オブジェクトＯＢＪ１が表示される。このように選択オブジェクトを表示制御することによって、モニタ４に表示された仮想世界から端末装置２に表示される仮想世界にあたかも選択オブジェクトが移動したかのように表現することができる。

このとき、端末装置２のスピーカ１２からは、ＬＣＤ１１に表示されたオブジェクト（すなわち、選択オブジェクト）が音源となって仮想世界に生じているサウンド（選択音）が音声出力される。例えば、図４に示した一例では、選択オブジェクトＯＢＪ１がＬＣＤ１１に表示されており、選択オブジェクトＯＢＪ１が上記楽曲を演奏しているサウンドがスピーカ１２から音声出力される。つまり、ユーザが選択オブジェクトを選択する操作を行うことによって、モニタ４から音声出力されていた全体音の一部を構成するサウンドが選択音として端末装置２から音声出力されることになる。これによって、ユーザは、全体音としてモニタ４から音声出力されているサウンドに注目して視聴したいサウンドが含まれている場合、当該サウンドを取り出して端末装置２から音声出力することができるため、今までにない視聴環境をユーザに提供することができる。

また、モニタ４に表示されている複数のオブジェクトＯＢＪから選択オブジェクトＯＢＪ１が選択された場合、当該選択前にスピーカ４１から音声出力されていた全体音から選択オブジェクトＯＢＪ１を音源とするサウンドを除いた新たな全体音が生成され、当該新たな全体音がスピーカ４１から音声出力される。例えば、図４に示した一例では、複数のオブジェクトＯＢＪ１〜ＯＢＪ５が合奏することによって生成されていた全体音から、選択オブジェクトＯＢＪ１が演奏していた選択音を除いたサウンド、すなわち複数のオブジェクトＯＢＪ２〜ＯＢＪ５が合奏することによって生成されるサウンドが新たに全体音として生成されてスピーカ４１から音声出力される。これによって、ユーザは、全体音としてモニタ４から音声出力されているサウンドに除きたいサウンドが含まれている場合、当該サウンドを除いてモニタ４から音声出力することができるため、今までにない視聴環境をユーザに提供することができる。

さらに、ユーザは、選択オブジェクトがＬＣＤ１１に表示された状態で端末装置２を操作することによって、表示された選択オブジェクトの状態や動作等を制御することができる。例えば、図５に示した一例では、選択オブジェクトＯＢＪ１がＬＣＤ１１に表示された状態で操作部１３を操作（例えば、ＬボタンやＲボタンの操作）することによって、選択オブジェクトＯＢＪ１が演奏している楽器が変更される。これによって、端末装置２のスピーカ１２から音声出力されていた選択音（すなわち、選択オブジェクトＯＢＪ１が変更前の楽器を演奏するサウンド）は、同じ楽曲であっても楽器変更に応じた音質（音色）が異なるサウンド（すなわち、選択オブジェクトＯＢＪ１が変更後の楽器を演奏するサウンド）に変化し、ユーザが所望するサウンドを音声出力することができる。なお、選択オブジェクトに対する操作は、楽器変更に限らず、選択オブジェクトに対する他の状態や他の動作を変更可能にしてもかまわない。例えば、端末装置２を操作することによって、選択オブジェクトが使用している他の機器（例えば、エフェクタやエコー等、演奏や演唱に音響効果を加える機器）が変更されてもいいし、選択オブジェクトの演奏自体が当該操作に応じて行われるようにしてもいいし、選択オブジェクトの演奏動作が変更（例えば、演奏強弱、演奏手法、演奏優劣の変更）されてもよい。この場合、スピーカ１２から音声出力されていた選択音は、上記操作に応じて、音質に限られず、音質、音量、音程、発音数の少なくとも１つが変化することになる。

なお、上述した説明では、選択オブジェクトが端末装置２に表示される例を用いたが、選択オブジェクトが端末装置２に表示されなくてもかまわない。この場合、第１の例として、端末装置２には選択オブジェクトが表示されずに選択音のみがスピーカ１２から音声出力され、モニタ４には選択オブジェクトが消去された全体画像が表示されて当該選択音を除いた全体音がスピーカ４１から音声出力される。第２の例として、端末装置２には選択オブジェクトが表示されずに選択音のみがスピーカ１２から音声出力され、モニタ４には選択オブジェクトが消去されずに選択前の全体画像がそのまま表示されて選択前に音声出力されていた全体音がそのままスピーカ４１から音声出力される。何れの例であっても、全体音から一部のサウンドを取り出して端末装置２から音声出力することが可能となるため、上述した効果の一部を得ることができる。

また、端末装置２に表示された選択オブジェクトは、所定の操作に応じてモニタ４に戻されて再び表示されてもよい。例えば、端末装置２に表示されたゲーム画像から選択オブジェクトが消去され、モニタ４の全体画像に選択オブジェクトが追加される。この場合、当該選択オブジェクトが全体画像に追加表示される前にスピーカ４１から音声出力されていた全体音に、選択オブジェクトを音源とするサウンドを加えた新たな全体音が生成され、当該新たな全体音がスピーカ４１から音声出力される。ここで、上述したように選択オブジェクトが演奏している選択音は、端末装置２に対する操作に応じて音質、音量、音程、発音数の少なくとも１つを変化させることができるため、新たに生成される全体音は、選択オブジェクトを選択する前と比較すると当該変化が加えられたサウンドとなる。

また、上述した説明では、それぞれ音源として配置された複数のオブジェクトの少なくとも１つを選択することによって、選択オブジェクトを音源とするサウンドが端末装置２から音声出力される例を用いたが、他の態様によって選択音が端末装置２から音声出力されてもかまわない。例えば、端末装置２の操作に応じて、モニタ４に表示された仮想世界に対する位置（指示位置）および／または方向（指示方向）が設定される。そして、モニタ４から音声出力されている上記仮想世界に生じている全体音のうち、上記仮想世界に対して設定された指示位置の周辺に生じている当該仮想世界の音（例えば、指示位置を基準に所定の範囲内に存在する音源からのサウンド）や、上記仮想世界に対して設定された指示方向に生じている当該仮想世界の音（例えば、指示方向を中心に所定の範囲内に存在する音源からのサウンド）が、端末装置２から音声出力される。具体的には、端末装置２の操作に応じて、モニタ４に表示された仮想世界に配置されたオブジェクトが選択された場合、当該オブジェクトの周辺に生じている音や当該オブジェクトの正面方向を基準とした所定範囲内に生じている音が、端末装置２から音声出力される。このように、モニタ４に表示された仮想世界に対する指示位置および／または指示方向が設定される場合であっても、モニタ４から音声出力されている全体音から一部を取り出して端末装置２から音声出力することができる。

次に、情報処理装置３において行われる情報処理（例えば、ゲーム処理）の詳細を説明する。なお、後述する情報処理の説明では、モニタ４に表示された複数のオブジェクトから選択された選択オブジェクトが端末装置２に表示され、同じ楽曲を演奏しているサウンドがモニタ４および端末装置２からそれぞれ音声出力される例（図２〜図５参照）を用いる。まず、図６および図７を参照して、情報処理において用いられる主なデータについて説明する。なお、図６は、情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図である。図７は、楽曲データＤｃの一例を示す図である。

図６に示すように、メモリ６のデータ記憶領域には、端末操作データＤａ、オブジェクトデータＤｂ、楽曲データＤｃ、第１サウンドデータＤｄ、第２サウンドデータＤｅ、および画像データＤｆ等が記憶される。なお、メモリ６には、図６に示すデータの他、実行するアプリケーションで用いるデータ等、情報処理に必要なデータ等が記憶されてもよい。また、メモリ６のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。

端末操作データＤａは、端末装置２から送信データとして送信されてくる一連の操作情報（端末操作データ）が格納され、最新の端末操作データに更新される。例えば、端末操作データＤａは、操作入力データＤａ１等を含んでいる。操作入力データＤａ１は、操作部１３に対する操作内容を示すデータである。

オブジェクトデータＤｂは、端末装置２およびモニタ４にそれぞれ表示するオブジェクトを設定するためのデータである。例えば、オブジェクトデータＤｂは、表示位置データＤｂ１および演奏楽器データＤｂ２等を含んでいる。表示位置データＤｂ１は、端末装置２および／またはモニタ４に表示されるオブジェクトそれぞれの表示位置を示すデータである。演奏楽器データＤｂ２は、端末装置２および／またはモニタ４に表示されるオブジェクトそれぞれが演奏に用いる楽器の種類や演奏方法（演奏や演唱に音響効果を加える機器の種類、演奏強弱、演奏手法、演奏優劣等）を示すデータである。

楽曲データＤｃは、例えばストリーム形式で構成され、端末装置２およびモニタ４において音声出力される複数の楽曲を示すデータを含んでいる。例えば、図７に示すように、楽曲データＤｃは、複数の楽器をそれぞれ複数のストリームに割り当てることによって、各楽器に割り当てたストリーム番号で各々の楽器を指定して、複数の楽器による同じ楽曲の演奏を選択的に制御できるように構成されている。つまり、楽曲データＤｃでは、１つのストリームが音楽演奏上の１パート（１つの楽器）に割り当てられて構成されている。例えば、楽曲データＤｃは、情報処理装置３に設けられた音源（ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）およびＡＲＡＭ（Ａｕｄｉｏ ＲＡＭ）等）によって、同じ楽曲を複数の楽器で合奏するために利用される。上記音源は、指定されたストリーム番号の演奏ストリームを重ね合わせて楽音を出力する。そして、上記音源は、ＣＰＵ５から指示される演奏パラメータに基づいて指定された音程、音質、音量の楽音を指定された演奏テンポで上記楽音を発音する。

例えば、楽曲データＤｃは、用意される楽曲毎に複数の演奏ストリームを有している。各演奏ストリームには、ストリーム番号および楽器名称がそれぞれ対応付けられている。一例として、ストリーム番号「１」には楽器名称「ギター」の演奏ストリーム１、ストリーム番号「２」には楽器名称「ピアノ」の演奏ストリーム２のように、楽曲データＤｃには各ストリーム番号に異なった楽器が割り当てられ、それぞれ対応する演奏ストリームが記述されている。そして、情報処理装置３に設けられた音源（ＤＳＰおよびＡＲＡＭ）は、ストリーム番号および演奏タイミングが指示されることによって、指示されたストリーム番号の演奏ストリームを重ね合わせて指示された演奏タイミングで端末装置２のスピーカ１２およびモニタ４のスピーカ４１から音声出力することができる。

なお、楽曲データＤｃは、音声出力する装置（すなわち、端末装置２のスピーカ１２およびモニタ４のスピーカ４１）毎にそれぞれ演奏ストリームを用意してもかまわない。また、楽曲データＤｃは、他の形式のデータで構成されてもかまわない。例えば、楽曲データＤｃは、ＭＩＤＩ形式の音源制御データで構成されてもよい。具体的には、楽曲データＤｃは、複数の楽器をＭＩＤＩチャンネルと称する複数のトラック（チャンネル）に割り当てることによって、各楽器に割り当てたトラック番号で各々の楽器を指定して、複数の楽器による同じ楽曲の演奏を選択的に制御できるように構成されてもよい。また、出力される音声の音量は、端末装置２のスピーカ１２から音声出力される場合とモニタ４のスピーカ４１から音声出力する場合とによって、異なる音量に制御されてもよい。一例として、スピーカ４１から音声出力される音量に対してスピーカ１２から音声出力される音量が小さくなる場合、スピーカ４１から音声出力される場合の音量に対してスピーカ１２から音声出力される音量を所定倍（例えば、２倍）にして上記楽音を発音するようにしてもよい。

第１サウンドデータＤｄは、モニタ４のスピーカ４１から音声出力する第１サウンド（モニタ用ゲーム音声）を示すデータであり、当該第１サウンドとして音声出力するストリーム番号や音程、音質、音量等を指定する演奏パラメータを示すデータである。第２サウンドデータＤｅは、端末装置２のスピーカ１２から音声出力する第２サウンド（端末装置用ゲーム音声）を示すデータであり、当該第２サウンドとして音声出力するストリーム番号や音程、音質、音量等を指定する演奏パラメータおよび演奏ストリーム毎の演奏タイミング等を示すデータである。

画像データＤｆは、オブジェクト画像データＤｆ１および背景画像データＤｆ２等を含んでいる。オブジェクト画像データＤｆ１は、仮想世界に各オブジェクトを配置してゲーム画像を生成するためのデータである。背景画像データＤｆ２は、仮想世界に背景を配置してゲーム画像を生成するためのデータである。

次に、図８および図９を参照して、情報処理装置３において行われる情報処理の詳細を説明する。なお、図８は、情報処理装置３において実行される情報処理の前半の一例を示すフローチャートである。図９は、情報処理装置３において実行される情報処理の後半の一例を示すフローチャートである。ここで、図８および図９に示すフローチャートにおいては、情報処理装置３における情報処理のうち、端末装置２およびモニタ４にオブジェクトを表示してそれぞれの音声出力する処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。

ＣＰＵ５は、メモリ６等を初期化し、情報処理装置３内の不揮発メモリまたは光ディスクに記憶される情報処理プログラムをメモリ６に読み込む。そして、ＣＰＵ５によって当該情報処理プログラムの実行が開始される。図８および図９に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図８および図９に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理をＣＰＵ５が実行するものとして説明するが、上記フローチャートにおける一部または全部のステップの処理を、上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図８において、ＣＰＵ５は、初期設定処理を実行し（ステップ６１）、次のステップに処理を進める。例えば、ＣＰＵ５は、以降の処理において複数のオブジェクトを配置してモニタ４に表示するための仮想世界および選択オブジェクトを配置して端末装置２に表示するための仮想世界をそれぞれ構築し、ゲーム処理で用いられる各パラメータを初期設定（例えば、第２サウンドデータＤｅはサウンドが音声出力されないように初期設定）する。

次に、ＣＰＵ５は、以降の処理によって行われるゲームにおいて演奏される楽曲を選択し（ステップ６２）、次のステップに処理を進める。例えば、ＣＰＵ５は、ユーザ操作や所定のアルゴリズムに基づいて楽曲を選択し、当該楽曲に対して用意された複数の演奏ストリーム（図７参照）を準備して楽曲データＤｃに格納する。

次に、ＣＰＵ５は、選択された楽曲を合奏するオブジェクトを設定し（ステップ６３）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記ステップ６２で選択された楽曲を合奏する複数のオブジェクト（複数の楽器）を抽出する。そして、ＣＰＵ５は、抽出された複数のオブジェクトが仮想世界に表示される位置および演奏する楽器をそれぞれ設定し、当該複数のオブジェクト毎に当該設定を示すデータを表示位置データＤｂ１および演奏楽器データＤｂ２に格納する。

次に、ＣＰＵ５は、第１サウンドに採用する演奏ストリームを選択し（ステップ６４）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記ステップ６３において設定されたオブジェクトがそれぞれ演奏する楽器に対応するストリーム番号を第１サウンドとして音声出力するストリーム番号として設定し、当該設定を示すデータを第１サウンドデータＤｄに格納する。また、ＣＰＵ５は、第１サウンドとして音声出力する音程、音質、音量等を指定する演奏ストリーム毎の演奏パラメータおよび演奏ストリーム毎の演奏タイミングをそれぞれデフォルト設定し、当該設定を示すデータを第１サウンドデータＤｄに格納する。

次に、ＣＰＵ５は、端末装置２から操作データを取得し、端末操作データＤａを更新して（ステップ６５）、次のステップに処理を進める。例えば、ＣＰＵ５は、操作部１３に対する操作内容を示すデータを用いて、操作入力データＤａ１を更新する。

次に、ＣＰＵ５は、上記ステップ６５で取得した操作データがオブジェクトを選択して端末装置２に表示された仮想世界へ移動させること示す操作であるか否かを判断する（ステップ６６）。そして、ＣＰＵ５は、オブジェクトを選択して移動させる操作である場合、ステップ６７に処理を進める。一方、ＣＰＵ５は、オブジェクトを選択して移動させる操作でない場合、ステップ７１（図９参照）に処理を進める。

ステップ６７において、上記ステップ６５で取得した操作データに基づいてオブジェクトを設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、モニタ４に表示された複数のオブジェクトから、ユーザによって選択された選択オブジェクトを抽出する。そして、ＣＰＵ５は、抽出された選択オブジェクトの表示位置を、端末装置２に表示される仮想世界内（例えば、ＬＣＤ１１の中央に選択オブジェクトが表示される位置）に変更し、当該変更後の表示位置を用いて当該選択オブジェクトの表示位置データＤｂ１を更新する。

次に、ＣＰＵ５は、第１サウンドに採用する演奏ストリームを設定し（ステップ６８）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記ステップ６５およびステップ６６において選択された選択オブジェクトが演奏する楽器に対応するストリーム番号を第１サウンドとして音声出力するストリーム番号から削除し、当該ストリーム番号に対して設定されていた演奏パラメータおよび演奏タイミングを削除して、第１サウンドデータＤｄを更新する。なお、選択オブジェクトが移動することによって第１サウンドデータＤｄから削除されるストリーム番号、演奏パラメータ、および演奏タイミングを示すデータは、後述するステップ６９の処理によって第２サウンドデータＤｅへ移動する。

次に、ＣＰＵ５は、第２サウンドに採用する演奏ストリームを設定し（ステップ６９）、ステップ７１（図９参照）に処理を進める。例えば、ＣＰＵ５は、上記ステップ６５およびステップ６６において選択された選択オブジェクトが演奏する楽器に対応するストリーム番号（すなわち、選択オブジェクトが移動することによって第１サウンドデータＤｄから削除されたストリーム番号）を第２サウンドとして音声出力するストリーム番号として設定し、当該設定を示すデータを第２サウンドデータＤｅに格納する。また、ＣＰＵ５は、第２サウンドとして音声出力する音程、音質、音量等を指定する演奏ストリーム毎の演奏パラメータおよび演奏ストリーム毎の演奏タイミングを、それぞれ上記ステップ６８においてデータを削除する前に設定されていた状態に設定し、当該設定を示すデータを第２サウンドデータＤｅに格納する。

図９に進み、ステップ７１において、ＣＰＵ５は、上記ステップ６５で取得した操作データが選択オブジェクトに対する演奏操作を示すものであるか否かを判断する。ここで、上記演奏操作は、選択オブジェクトの状態や動作等を制御する操作であり、結果的に端末装置２のスピーカ１２から音声出力されるサウンドの音量、音質、音程、発音数等が変化する操作を示している。そして、ＣＰＵ５は、演奏操作である場合、ステップ７２に処理を進める。一方、ＣＰＵ５は、演奏操作でない場合、ステップ８２に処理を進める。

ステップ７２において、ＣＰＵ５は、上記ステップ６５で取得した操作データが選択オブジェクトによって演奏される楽器を変更する操作を示すものであるか否かを判断する。そして、ＣＰＵ５は、楽器を変更する操作である場合、ステップ７３に処理を進める。一方、ＣＰＵ５は、楽器を変更する操作でない場合、ステップ７５に処理を進める。

ステップ７３において、ＣＰＵ５は、上記ステップ６５で取得した操作データに基づいてオブジェクトを設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、上記操作データに基づいて、選択オブジェクトによって演奏される楽器を変更し、変更後の楽器に応じて当該選択オブジェクトの演奏楽器データＤｂ２を更新する。

次に、ＣＰＵ５は、第２サウンドに採用する演奏ストリームを設定し（ステップ７４）、ステップ８２に処理を進める。例えば、ＣＰＵ５は、上記ステップ７３における楽器変更に基づいて、変更前の楽器に対応するストリーム番号に代えて変更後の楽器に対応するストリーム番号を第２サウンドとして音声出力するストリーム番号として設定して、第２サウンドデータＤｅを更新する。また、ＣＰＵ５は、第２サウンドとして音声出力する音程、音質、音量等を指定する演奏ストリーム毎の演奏パラメータをデフォルト設定または楽器変更前の設定にするとともに、変更後のストリーム番号に対応する演奏ストリームの演奏タイミングを楽器変更前に設定されていたタイミングに設定して、第２サウンドデータＤｅを更新する。

ステップ７５において、ＣＰＵ５は、上記ステップ６５で取得した操作データがユーザ演奏を行う操作を示すものであるか否かを判断する。そして、ＣＰＵ５は、ユーザ演奏を行う操作である場合、ステップ７６に処理を進める。一方、ＣＰＵ５は、ユーザ演奏を行う操作でない場合、ステップ７８に処理を進める。

ステップ７６において、ＣＰＵ５は、上記ステップ６５で取得した操作データに基づいてオブジェクトを設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、上記操作データに基づいて、選択オブジェクトが楽器を演奏する動作を制御する。

次に、ＣＰＵ５は、ユーザ操作に応じて、第２サウンドを生成し（ステップ７７）、ステップ８２に処理を進める。第１の例として、ＣＰＵ５は、操作部１３を操作されたタイミング（例えば、操作ボタンが押下されたタイミング）と選択オブジェクトが演奏する楽器に対応する演奏ストリームにおいて発音開始するタイミングとが所定の時間差内である場合、当該演奏ストリームに基づいたサウンドを第２サウンドとして設定して、第２サウンドデータＤｅを更新する。第２の例として、操作部１３の操作に応じて設定されたサウンド（例えば、タッチパネルのタッチ位置と重なる仮想世界の位置に設定されている音程、かつ、選択オブジェクトが操作している楽器音色のサウンド）を第２サウンドとして設定して、第２サウンドデータＤｅを更新する。なお、他の例においては、ユーザ操作に応じた第２サウンドの生成は、他の方式を用いて生成されてもよい。

ステップ７８において、ＣＰＵ５は、上記ステップ６５で取得した操作データが演奏や演唱に音響効果を加える機器の変更を行う操作を示すものであるか否かを判断する。そして、ＣＰＵ５は、上記機器の変更を行うユーザ操作である場合、ステップ７９に処理を進める。一方、ＣＰＵ５は、上記機器の変更を行うユーザ操作でない場合、ステップ８１に処理を進める。

ステップ７９において、ＣＰＵ５は、上記ステップ６５で取得した操作データに基づいてオブジェクトを設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、上記操作データに基づいて、上記機器を変更し、変更後の機器に応じて当該選択オブジェクトの演奏楽器データＤｂ２を更新する。

次に、ＣＰＵ５は、ユーザ操作に応じて、第２サウンドの音量、音質、音程等を変更し（ステップ８０）、ステップ８２に処理を進める。例えば、ＣＰＵ５は、上記ステップ７９において行われた演奏方法の変更（演奏や演唱に音響効果を加える機器の変更）に応じて、演奏ストリームを第２サウンドとして音声出力する際の音程、音質、音量等を指定する演奏パラメータを変更し、当該変更後の演奏パラメータを用いて第２サウンドデータＤｅを更新する。

ステップ８１において、ＣＰＵ５は、上記ステップ６５で取得した操作データに基づいて、その他の処理を行って、ステップ８２に処理を進める。ここで、上記その他の処理は、上記ステップ７２〜ステップ８０において行った演奏操作に対応する処理とは異なる処理を示しており、上記操作データに基づいて選択オブジェクトの状態や動作等を制御するとともに、第２サウンドの音量、音質、音程、発音数等を変化させる処理である。そして、上記その他の処理においても、上記操作データに基づいて、オブジェクトデータＤｂおよび第２サウンドデータＤｅが更新される。

ステップ８２において、ＣＰＵ５は、端末装置２に表示するための端末装置用ゲーム画像を生成し、次のステップに処理を進める。例えば、ＣＰＵ５は、上記ステップ６１〜ステップ８１のゲーム処理の結果を表す各データをメモリ６から読み出し、端末装置用ゲーム画像を生成するために必要なデータをＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等から読み出してゲーム画像を生成し、生成された端末装置用ゲーム画像をＶＲＡＭに記憶する。一例として、端末装置用ゲーム画像は、オブジェクトデータＤｂに基づいて、端末装置２に表示する仮想世界にオブジェクトを配置して、所定の仮想カメラから見た当該仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。

次に、ＣＰＵ５は、モニタ４に表示するためのモニタ用ゲーム画像を生成し（ステップ８３）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記ステップ６１〜ステップ８１のゲーム処理の結果を表す各データをメモリ６から読み出し、モニタ用ゲーム画像を生成するために必要なデータをＶＲＡＭ等から読み出してゲーム画像を生成し、生成されたモニタ用ゲーム画像をＶＲＡＭに記憶する。一例として、モニタ用ゲーム画像は、オブジェクトデータＤｂに基づいて、モニタ４に表示する仮想世界にオブジェクトを配置して、所定の仮想カメラから見た当該仮想世界を計算することによって得られる３次元のＣＧ画像によって生成される。

次に、ＣＰＵ５は、端末装置２のスピーカ１２に出力するための端末装置用ゲーム音声を生成し（ステップ８４）、次のステップに処理を進める。例えば、ＣＰＵ５は、第２サウンドデータＤｅを参照して音声出力するストリーム番号、演奏パラメータ、および演奏タイミングを設定する。そして、ＣＰＵ５は、設定されている演奏パラメータおよび演奏タイミングに基づいて、設定されたストリーム番号に対応する演奏ストリームを演奏対象として重ね合わせて端末装置用ゲーム音声を生成する。具体的には、ＣＰＵ５は、設定されたストリーム番号に対応する演奏ストリームをそれぞれ演奏パラメータに基づいて演奏音量、演奏音質、演奏音程等を調整し、当該演奏ストリームを重ね合わせることによって、端末装置用ゲーム音声を生成する。

次に、ＣＰＵ５は、モニタ４のスピーカ４１に出力するためのモニタ用ゲーム音声を生成し（ステップ８５）、次のステップに処理を進める。例えば、ＣＰＵ５は、第１サウンドデータＤｄを参照して音声出力するストリーム番号、演奏パラメータ、および演奏タイミングを設定し、当該ストリーム番号、演奏パラメータ、および演奏タイミングに基づいて、上記ステップ８４と同様に演奏ストリームを重ね合わせることによってモニタ用ゲーム音声を生成する。

次に、ＣＰＵ５は、端末装置用ゲーム画像および端末装置用ゲーム音声を端末装置２へ送信し（ステップ８６）、次のステップに処理を進める。例えば、端末装置用ゲーム画像は、端末装置２によって受信され、ＬＣＤ１１に出力されて表示される。また、端末装置用ゲーム音声は、端末装置２によって受信され、スピーカ１２から出力される。なお、情報処理装置３から端末装置２へ端末装置用ゲーム画像を送信する際、所定の圧縮処理が行われてもよい。この場合、圧縮処理が施された端末装置用ゲーム画像のデータが端末装置２に送られ、端末装置２によって所定の伸張処理が行われた後、端末装置用ゲーム画像の表示が行われる。

次に、ＣＰＵ５は、モニタ用ゲーム画像およびモニタ用ゲーム音声をモニタ４へ出力し（ステップ８７）、次のステップに処理を進める。例えば、モニタ用ゲーム画像は、モニタ４によって取得され、モニタ４の表示画面に出力されて表示される。また、モニタ用ゲーム音声は、モニタ４によって取得され、スピーカ４１から出力される。

次に、ＣＰＵ５は、ゲームを終了するか否かを判定する（ステップ８８）。ゲームを終了する条件としては、例えば、ゲームオーバーやゲームクリアとなる条件が満たされたことや、ユーザがゲームを終了する操作を行ったこと等がある。ＣＰＵ５は、ゲームを終了しない場合に上記ステップ６５に戻って処理を繰り返し、ゲームを終了する場合に当該フローチャートによる処理を終了する。以降、ステップ６５〜ステップ８８の一連の処理は、ステップ８８でゲームを終了すると判定されるまで繰り返し実行される。

なお、上記実施例においては、情報処理システム１は端末装置２を１つのみ有する構成であったが、情報処理システム１は複数の端末装置２を有する構成であってもよい。すなわち、情報処理装置３は、複数の端末装置２とそれぞれ無線通信可能であり、画像および音声のデータを各端末装置２へ送信し、端末操作データを各端末装置２から受信するものであってもよい。そして、各端末装置２によって選択された選択オブジェクトを各端末装置２のＬＣＤ１１に表示して各選択オブジェクトに対応する選択音が各端末装置２のスピーカ１２からそれぞれ出力してもよい。なお、情報処理装置３は、複数の端末装置２のそれぞれと無線通信を行うが、このとき、情報処理装置３は、各端末装置２との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。

また、上述した端末装置２は、図８および図９を用いて説明した一連の処理や情報処理装置３で行われるような情報処理を実行しない、いわゆるシンクライアント端末として機能するものであった。例えば、複数の情報処理装置において情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、処理が複雑になってしまう。これに対して、上記実施例のように、情報処理が１つの情報処理装置３によって実行され、端末装置２が画像を受信して表示する場合（つまり、端末装置２がシンクライアント端末である場合）には、複数の情報処理装置間で処理の同期をとる必要がなく、処理を簡易化することができる。しかしながら、端末装置２は、例えば携帯ゲーム機のように、所定のプログラム（情報処理プログラム）によって所定の情報処理を実行する機能を有する装置であってもよい。この場合、上記実施例において情報処理装置３によって実行される一連の処理のうち、少なくとも一部の処理が端末装置２によって実行されてもよい。一例として、上記一連の処理の全部を実行可能な端末装置を少なくとも１つ用いて複数の端末装置にゲーム画像をそれぞれ表示する場合、当該実行可能な端末装置の１つを当該一連の処理を実行する主処理実行装置とし、他の端末装置の姿勢や操作に応じたゲーム画像を当該主処理実行装置から他の端末装置へ送信することによって、同様のゲーム画像を各端末装置に表示して出力することができる。

また、上述した説明では情報処理を情報処理装置３で行う例を用いたが、上記処理における処理ステップの少なくとも一部を端末装置２以外の他の装置で行ってもかまわない。例えば、情報処理装置３がさらに端末装置２以外の他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、上記他の装置において、仮想世界および音声の生成や当該仮想世界を用いたゲーム処理が行われ、当該ゲーム処理の結果が端末装置２やモニタ４に表示されることも考えられる。このように、上記処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置３のＣＰＵ５が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置３が備える専用回路によって上記処理の一部または全部が行われてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述したゲーム処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。

また、上記プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置３に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、変化に富んだ音声出力を得ること等を目的として、例えば情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法等として有用である。

１…情報処理システム
２…端末装置
３…情報処理装置
４…モニタ
５…ＣＰＵ
６…メモリ
１１…ＬＣＤ
１２、４１…スピーカ
１３…操作部

Claims (13)

1. 第１のスピーカが設けられた第１の表示装置に画像およびサウンドを出力し、第２のスピーカが設けられた別の装置に少なくともサウンドを出力する情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
   前記コンピュータを、
   仮想世界の少なくとも一部を含む画像を第１表示画像として生成する第１表示画像生成手段と、
   前記仮想世界において生じている第１サウンドを生成する第１サウンド生成手段と、
   ユーザ操作に応じて、前記第１サウンドの一部を構成する第２サウンドを選択する第２サウンド選択手段と、
   前記第１表示画像を前記第１の表示装置に表示する制御を行う第１表示制御手段と、
   前記第１サウンド生成手段が生成した第１サウンドを、前記第１の表示装置に表示する第１表示画像と同期して前記第１のスピーカから出力する制御を行う第１サウンド出力制御手段と、
   前記第２サウンド選択手段が選択した第２サウンドを、前記第２のスピーカから出力する制御を行う第２サウンド出力制御手段として機能させる、情報処理プログラム。
2. 前記第１サウンド生成手段は、前記第２サウンド選択手段によって前記第２サウンドが選択された場合、当該第２サウンドを除いて新たに前記第１サウンドを生成する、請求項１に記載の情報処理プログラム。
3. 前記第１表示画像生成手段は、仮想世界に複数のオブジェクトが配置された画像を、前記第１表示画像として生成し、
   前記情報処理プログラムは、ユーザ操作に応じて、前記複数のオブジェクトから少なくとも１つのオブジェクトを選択するオブジェクト選択手段として、さらに前記コンピュータを機能させ、
   前記第１サウンド生成手段は、前記第１表示画像として表示されているオブジェクトに応じて、前記第１サウンドを生成し、
   前記第２サウンド選択手段は、前記オブジェクト選択手段によって選択されたオブジェクトに応じて、前記第２サウンドを選択する、請求項１または２に記載の情報処理プログラム。
4. 前記第１表示画像生成手段は、前記オブジェクト選択手段によって選択されたオブジェクトを前記複数のオブジェクトから除いて、当該除いた後のオブジェクトが配置された画像を、前記第１表示画像として生成し、
   前記第１サウンド生成手段は、前記オブジェクト選択手段によって選択されたオブジェクトに応じた第２サウンドを前記複数のオブジェクトに応じた第１サウンドから除くことによって前記除いた後のオブジェクトに応じたサウンドを生成し、当該サウンドを新たに前記第１サウンドとして生成する、請求項３に記載の情報処理プログラム。
5. 前記別の装置は、表示画面を有する第２の表示装置であり、
   前記情報処理プログラムは、
   前記オブジェクト選択手段によって選択されたオブジェクトを示す画像を第２表示画像として生成する第２表示画像生成手段と、
   前記第２表示画像を前記第２の表示装置に表示する制御を行う第２表示制御手段として、さらに前記コンピュータを機能させ、
   前記第２サウンド選択手段は、前記第２表示画像として表示されているオブジェクトに応じて、前記第２サウンドを選択する、請求項３または４に記載の情報処理プログラム。
6. 前記第１サウンド生成手段は、前記第１表示画像として表示されているオブジェクトを音源とするサウンドを、前記第１サウンドとして生成し、
   前記第２サウンド選択手段は、前記第２表示画像として表示されているオブジェクトを音源とするサウンドを、前記第２サウンドとして選択する、請求項５に記載の情報処理プログラム。
7. 前記第１の表示装置は、据置型の表示装置であり、
   前記第２の表示装置は、可搬型の表示装置である、請求項５または６に記載の情報処理プログラム。
8. 前記第２の表示装置は、ユーザ操作入力に応じたデータを出力する操作入力手段を備え、
   前記情報処理プログラムは、
   前記操作入力手段から出力されたデータを取得するデータ取得手段と、
   前記データ取得手段が取得したデータに応じて、前記第２表示画像として表示されているオブジェクトを制御するオブジェクト制御手段と、
   前記データ取得手段が取得したデータに応じて、前記第２サウンドの音量、音質、音程、および発音数の少なくとも１つを変化させる第２サウンド変化手段として、さらに前記コンピュータを機能させる、請求項５乃至７の何れか１つに記載の情報処理プログラム。
9. 前記第１サウンド生成手段は、仮想世界において１つの楽曲を複数の楽器を用いて合奏されるサウンドを、前記第１サウンドとして生成し、
   前記第２サウンド選択手段は、ユーザ操作に応じて前記複数の楽器から選択された少なくとも１つの楽器が前記楽曲を演奏しているサウンドを、前記第２サウンドとして生成し、
   前記第２サウンド出力制御手段は、前記第１のスピーカから前記第１サウンドとして出力されている前記楽曲の演奏と同期するように、前記第２のスピーカから当該楽曲を演奏している前記第２サウンドを出力する、請求項１乃至８の何れか１つに記載の情報処理プログラム。
10. 前記情報処理プログラムは、ユーザ操作に応じて、前記第１表示画像として表示された仮想世界内に対する指示位置および／または指示方向を決定する決定手段として、さらに前記コンピュータを機能させ、
    前記第１サウンド生成手段は、前記第１表示画像として表示されている仮想世界全体において生じている全体音を、前記第１サウンドとして生成し、
    前記第２サウンド選択手段は、前記仮想世界における指示位置および／または指示方向に基づいて、当該仮想世界における指示位置の周辺に生じる音および／または指示方向に対して所定の範囲内に生じる音を生成し、当該音を前記第２サウンドとして選択する、請求項１または２に記載の情報処理プログラム。
11. 第１のスピーカが設けられた第１の表示装置に画像およびサウンドを出力し、第２のスピーカが設けられた別の装置に少なくともサウンドを出力する情報処理装置であって、
    仮想世界の少なくとも一部を含む画像を第１表示画像として生成する第１表示画像生成手段と、
    前記仮想世界において生じている第１サウンドを生成する第１サウンド生成手段と、
    ユーザ操作に応じて、前記第１サウンドの一部を構成する第２サウンドを選択する第２サウンド選択手段と、
    前記第１表示画像を前記第１の表示装置に表示する制御を行う第１表示制御手段と、
    前記第１サウンド生成手段が生成した第１サウンドを、前記第１の表示装置に表示する第１表示画像と同期して前記第１のスピーカから出力する制御を行う第１サウンド出力制御手段と、
    前記第２サウンド選択手段が選択した第２サウンドを、前記第２のスピーカから出力する制御を行う第２サウンド出力制御手段とを備える、情報処理装置。
12. 複数の装置が通信可能に構成され、第１のスピーカが設けられた第１の表示装置に画像およびサウンドを出力し、第２のスピーカが設けられた別の装置に少なくともサウンドを出力する情報処理システムであって、
    仮想世界の少なくとも一部を含む画像を第１表示画像として生成する第１表示画像生成手段と、
    前記仮想世界において生じている第１サウンドを生成する第１サウンド生成手段と、
    ユーザ操作に応じて、前記第１サウンドの一部を構成する第２サウンドを選択する第２サウンド選択手段と、
    前記第１表示画像を前記第１の表示装置に表示する制御を行う第１表示制御手段と、
    前記第１サウンド生成手段が生成した第１サウンドを、前記第１の表示装置に表示する第１表示画像と同期して前記第１のスピーカから出力する制御を行う第１サウンド出力制御手段と、
    前記第２サウンド選択手段が選択した第２サウンドを、前記第２のスピーカから出力する制御を行う第２サウンド出力制御手段とを備える、情報処理システム。
13. 第１のスピーカが設けられた第１の表示装置に画像およびサウンドを出力し、第２のスピーカが設けられた別の装置に少なくともサウンドを出力する少なくとも１つの情報処理装置により構成されるシステムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    仮想世界の少なくとも一部を含む画像を第１表示画像として生成する第１表示画像生成ステップと、
    前記仮想世界において生じている第１サウンドを生成する第１サウンド生成ステップと、
    ユーザ操作に応じて、前記第１サウンドの一部を構成する第２サウンドを選択する第２サウンド選択ステップと、
    前記第１表示画像を前記第１の表示装置に表示する制御を行う第１表示制御ステップと、
    前記第１サウンド生成ステップにおいて生成された第１サウンドを、前記第１の表示装置に表示する第１表示画像と同期して前記第１のスピーカから出力する制御を行う第１サウンド出力制御ステップと、
    前記第２サウンド選択ステップにおいてが選択された第２サウンドを、前記第２のスピーカから出力する制御を行う第２サウンド出力制御ステップとを含む、情報処理方法。

Images