JP6322830B2 - 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関し、特に例えば、装置のユーザに与える振動を制御する情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関する。

従来、装置本体に振動を与えるゲーム装置が知られている（例えば、特許文献１参照）。例えば、上記特許文献１で開示されたゲーム装置は、ゲーム状況に応じて装置本体に振動を与え、当該装置を把持するユーザの指や手に振動を伝える。

特開２００６−６８２１０号公報

しかしながら、上記特許文献１で開示されたゲーム装置では、ユーザの指や手に与える振動が一意的なものである。

それ故に、本発明の目的は、振動装置を振動させる振動制御を行うことができる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理装置の一構成例は、複数の音声出力装置から選択して所定の音声を出力するとともに、所定の振動装置を振動させる。情報処理装置は、選択手段および振動制御手段を備える。選択手段は、音声を出力する音声出力装置を複数の音声出力装置から選択する。振動制御手段は、振動装置を振動させる振動制御を行う。振動制御手段は、選択手段が選択した音声出力装置に応じて、異なる振動制御を行う。

上記によれば、振動装置を振動させる振動制御を、音声を出力する音声出力装置に応じて行うことができる。

また、上記振動制御手段は、選択手段が選択した音声出力装置に応じて、振動装置を振動させるための振動信号に対して加工を施すことにより、異なる振動制御を行ってもよい。

上記によれば、音声を出力する音声出力装置に応じた振動制御が容易となる。

また、上記振動制御手段は、選択手段が選択した音声出力装置に応じて、振動信号の可聴域周波数成分を減少させてもよい。

上記によれば、振動信号の可聴域周波数成分を減少させることによって、振動装置が振動する際の振動音を低減させることができる。

また、上記振動制御手段は、選択手段が選択した音声出力装置に応じて、振動信号によって振動装置を振動させるエネルギーの大きさを変化させてもよい。

上記によれば、振動信号によって振動装置を振動させるエネルギーの大きさを変化させることによって、当該振動装置が振動する際の振動音を変化させることができる。

また、上記情報処理装置は、記憶手段を、さらに備えてもよい。記憶手段は、振動装置を振動させるための振動信号と当該振動信号に対して加工を施した加工振動信号とを記憶する。振動制御手段は、選択手段が選択した音声出力装置に応じて、振動信号および加工振動信号の何れかを選択して振動制御に用いてもよい。

上記によれば、予め振動信号を用意することによって、振動制御のための処理負荷が軽減される。

また、上記複数の音声出力装置は、ユーザおよび当該ユーザ以外に対して音声を出力する第１の音声出力装置と、当該ユーザに対して音声を出力する第２の音声出力装置とを含んでもよい。上記選択手段は、第１の音声出力装置および第２の音声出力装置の一方を選択してもよい。

上記によれば、音声出力装置を用いるユーザに応じて、振動制御を行うことが可能となる。

また、上記振動制御手段は、選択手段が第２の音声出力装置を選択した場合、振動装置が生じさせる振動音が小さくなるように振動制御を行ってもよい。

上記によれば、ユーザに対して音声を出力する第２の音声出力装置が音声の出力先として選択された場合に振動音が小さくなるため、音を外部に出せない環境等において好適となる。

また、上記振動制御手段は、選択手段が第２の音声出力装置を選択した場合、振動装置を振動させるための振動信号の可聴域周波数成分を減少させることにより、振動音を小さくしてもよい。

上記によれば、振動信号の可聴域周波数成分を減少させることによって、音を外部に出せない環境等において好適となる。

また、上記振動制御手段は、選択手段が第２の音声出力装置を選択した場合、振動装置を振動させるための振動信号によって、当該振動装置を振動させるエネルギーを小さくすることにより、振動音を小さくしてもよい。

上記によれば、振動信号によって、振動装置を振動させるエネルギーを小さくすることによって、音を外部に出せない環境等において好適となる。

また、上記第１の音声出力装置は、スピーカでもよい。

上記によれば、ユーザおよび当該ユーザ以外に対して音声を出力するスピーカかユーザに対して音声を出力する他の音声出力装置かによって、異なる振動制御を行うことが可能となる。

また、上記第２の音声出力装置は、ヘッドホンでもよい。

上記によれば、ユーザに対して音声を出力するヘッドホンかユーザおよび当該ユーザ以外に対して音声を出力する他の音声出力装置かによって、異なる振動制御を行うことが可能となる。

また、上記振動信号は、可聴域周波数成分を含む信号でもよい。

上記によれば、振動装置から振動音が生じ得る振動信号に対して、選択した音声出力装置に応じた加工を行うことができる。

また、上記振動信号は、アナログ信号でもよい。

上記によれば、アナログ信号によって振動装置を駆動することによって、振動部を容易に振動させることができる。

また、上記情報処理装置は、複数の音声出力装置の少なくとも１つと振動装置とを内蔵した可搬型装置であってもよい。この場合、上記振動制御手段は、情報処理装置に内蔵された音声出力装置を選択手段が選択したか否かに応じて、異なる振動制御を行ってもよい。

上記によれば、可搬型装置に内蔵された音声出力装置が音声の出力先として選択されたか否かに応じて、異なる振動制御が可能となる。

また、上記情報処理装置は、音声制御手段、表示画面、および画像制御手段を、さらに備えてもよい。音声制御手段は、音声出力装置に出力する音声を制御する。画像制御手段は、表示画面に表示する画像を制御する。この場合、上記音声制御手段は、表示画面に表示される画像に応じて音声を制御してもよい。上記振動制御手段は、表示画面に表示される画像に応じて振動を制御してもよい。

上記によれば、表示画面を備えた可搬型装置において、当該表示画面に表示される画像に応じた振動制御も可能となる。

また、上記情報処理装置に内蔵された振動装置は、可搬型装置本体の左右にそれぞれ設けられてもよい。この場合、上記振動制御手段は、左右に設けられた一対の振動装置に対して、振動制御を行ってもよい。

上記によれば、可搬型装置本体の左右にそれぞれ設けられた振動装置を用いて、左右方向に振動源が移動するような振動制御が可能となる。

また、上記情報処理装置に内蔵された音声出力装置は、ステレオスピーカでもよい。この場合、上記音声制御手段は、音声出力装置へ出力するステレオ音声を制御してもよい。

上記によれば、可搬型装置に設けられたステレオスピーカを用いて、様々な位置に音源として定位させる音声を出力することが可能となる。

また、上記振動制御手段は、複数の音声出力装置から出力されてユーザが体感する音量それぞれに応じて振動装置を振動させる振動エネルギーを制御してもよい。

上記によれば、ユーザが体感する音量に応じた振動の大きさに制御することが可能となる。

また、上記振動制御手段は、音量が大きくなるにしたがって振動エネルギーが大きくなるように当該振動エネルギーを制御してもよい。

上記によれば、ユーザが体感する音量が大きくなるほど振動が大きくなるような制御が可能となる。

また、上記振動制御手段は、出力する音声に同期した振動で振動装置を振動させる制御を行い、選択手段が選択した音声出力装置に応じて、当該振動が同期するタイミングを所定時間ずらして変化させてもよい。

上記によれば、音声が出力されるタイミングに対して、当該音声と同期する振動を所定のタイミングだけずらして情報処理装置本体に与えることが可能となる。

また、本発明は、上記各手段としてコンピュータを機能させる情報処理プログラム、上記各手段を備える情報処理システム、または上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

本発明によれば、振動装置を振動させる振動制御を、音声を出力する音声出力装置に応じて行うことができる。

本発明の一実施例に係る情報処理装置３の外観の一例を示す平面図 情報処理装置３の構成の一例を示すブロック図 振動発生部３７の構成の一例を示すブロック図 表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、情報処理装置３本体が振動するとともに音声が出力される一例を示す図 情報処理装置３本体に与えられる振動の一例および情報処理装置３から出力される音声の一例を説明するための図 音声出力端子３８にヘッドホンを接続した状態でゲームを行う一例を示す図 情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図 情報処理装置３において実行されるゲーム処理の一例を示すフローチャート

図面を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置について説明する。本発明の情報処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置の一例として携帯型の情報処理装置３（タブレット端末）を用い、情報処理装置３で実行される情報処理プログラムを用いて説明する。例えば、情報処理装置３は、交換可能な光ディスクやメモリーカード等の記憶媒体内に記憶された、または、他の装置から受信したプログラムや予めインストールされたプログラム（例えば、ゲームプログラム）を実行可能であり、一例として、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することができる。情報処理装置３は、一般的なパーソナルコンピュータ、据置型ゲーム機、携帯電話機、携帯ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のデバイスであってもかまわない。なお、図１は、情報処理装置３の外観の一例を示す平面図である。

図１において、情報処理装置３は、表示部３５、音声出力部３６、音声出力端子３８、およびアクチュエータ３７３を備えている。一例として、表示部３５は、情報処理装置３本体前面に設けられている。例えば、表示部３５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）によって構成されるが、例えばＥＬを利用した表示装置などが利用されてもよい。また、表示部３５は、立体視可能な画像を表示することが可能な表示装置であってもよい。

表示部３５の表示画面を覆うように、入力部３４の一例であるタッチパネル３４１が設けられている。タッチパネル３４１は、所定の入力面（例えば、表示部３５の表示画面）に対して入力された位置を検出する。なお、入力部３４は、情報処理装置３のユーザが操作入力可能な入力装置であり、どのような入力装置であってもよい。例えば、入力部３４として、スライドパッド、アナログスティック、十字キー、および操作ボタン等の操作部が、情報処理装置３本体の側面や背面等に備えられてもよい。また、入力部３４は、情報処理装置３本体の姿勢や動きを検出するためのセンサであってもよい。例えば、入力部３４は、情報処理装置３本体に生じる加速度を検出する加速度センサや情報処理装置３本体の回転量を検出する角速度センサ（ジャイロセンサ）等であってもよい。

音声出力部３６は、音声を出力するスピーカを含み、図１に示した一例では、情報処理装置３の上側面や背面の左右に設けられた一対のステレオスピーカ（左スピーカ３６Ｌおよび右スピーカ３６Ｒ）を含んでいる。音声出力部３６は、後述する制御部３１から出力される音声信号（左音声制御信号および右音声制御信号）をＤ／Ａ変換してアナログ音声信号（左アナログ音声信号および右アナログ音声信号）を生成し、当該アナログ音声信号をスピーカ（例えば、ステレオスピーカ）へそれぞれ出力して音声を出力させる。また、音声出力部３６は、音声出力端子３８に接続端子が接続された場合、上記スピーカに代えて音声出力端子３８へアナログ音声信号を出力し、当該接続端子が接続されて音声出力先を切り替えたことを示す音声切替信号を制御部３１へ出力する。

アクチュエータ３７３は、情報処理装置３の本体に所定の振動を与える振動アクチュエータ（振動子）であり、後述する振動発生部３７に含まれる。図１に示した一例では、アクチュエータ３７３は、情報処理装置３本体内部の左側に設けられた左アクチュエータ３７３Ｌと、情報処理装置３本体内部の右側に設けられた右アクチュエータ３７３Ｒとを有する。具体的には、図１の破線領域で示すように、ユーザが情報処理装置３の左端部を左手で把持した場合に当該左手に近い位置となる表示部３５の左側に左アクチュエータ３７３Ｌが設けられる。また、ユーザが情報処理装置３の右端部を右手で把持した場合に当該右手に近い位置となる表示部３５の右側に右アクチュエータ３７３Ｒが設けられる。また、振動発生部３７は、後述する制御部３１から出力される振動制御信号（左振動制御信号および右振動制御信号）をＤ／Ａ変換してアナログ振動信号（左アナログ振動信号および右アナログ振動信号）を生成し、当該アナログ振動信号を増幅した駆動信号をアクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力してアクチュエータ３７３を駆動させる。

なお、図１から明らかなように、情報処理装置３に設けられる表示部３５の表示画面と左音声出力部３６Ｌおよび右音声出力部３６Ｒとがそれぞれ近接する位置に配置されており、表示部３５の表示画面と左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒとがそれぞれ近接する位置に配置されている。また、左音声出力部３６Ｌおよび左アクチュエータ３７３Ｌと、右音声出力部３６Ｒおよび右アクチュエータ３７３Ｒとは、それぞれ互いに近接する位置に配置されているが、それぞれ別の位置に配設される別のユニットである。これによって、振動出力専用のユニットと音声出力専用のユニットとを備えることができるため、汎用のユニットを共用する場合と比較すると精度の高い振動および音声をそれぞれ出力することができる。なお、振動出力するためのユニットと音声出力するためのユニットとが組み合わせられて一体化されたモジュールを、情報処理装置３の左右に設けてもよい。

音声出力端子３８は、情報処理装置３の外部に設けられた音声出力装置へ音声信号を出力する端子である。例えば、音声出力端子３８は、ヘッドホンやイヤホン等のユーザの頭部や耳に装着して音声を出力する装置や外部スピーカ等と接続するためのコードに設けられた接続端子と接続される。そして、音声出力端子３８は、上記接続端子が接続された場合、当該接続端子が接続されたことを示す信号を音声出力部３６へ出力する。なお、上記接続端子が接続されたことを検出するための機構については、任意な方式を用いればよい。例えば、物理的回路で音声出力端子３８に上記接続端子が接続されているか否かを検出してもいいし、上記接続端子に備えられた付加機能（例えば、当該接続端子が接続されたことを検出するためのスイッチ機能）を利用して音声出力端子３８への接続有無を検出してもよい。

次に、図２を参照して、情報処理装置３の内部構成について説明する。なお、図２は、情報処理装置３の構成の一例を示すブロック図である。

図２において、上述した入力部３４、表示部３５、音声出力部３６、振動発生部３７、および音声出力端子３８の他に、制御部３１、記憶部３２、およびプログラム格納部３３を備える。なお、情報処理装置３は、制御部３１を少なくとも含む情報処理装置と他の装置とを含む１以上の装置によって構成されてもよい。

制御部３１は、各種の情報処理を実行するための情報処理手段（コンピュータ）であり、例えばＣＰＵである。制御部３１は、各種の情報処理として、入力部３４に対するユーザの操作に応じた処理等を実行する機能を有する。例えば、ＣＰＵが所定のプログラムを実行することによって、制御部３１における各機能が実現される。

制御部３１は、各種の情報処理として、表示部３５に表示する画像の表示制御を行う。また、制御部３１は、各種の情報処理として、ステレオスピーカまたは音声出力端子３８から出力する音声を制御するための音声制御信号（例えば、デジタル音声信号）を、音声出力部３６へ出力する。また、制御部３１は、各種の情報処理として、アクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）の振動を制御するための振動制御信号（例えば、デジタル振動信号）を、振動発生部３７へ出力する。

記憶部３２は、制御部３１が上記情報処理を実行する際に用いる各種のデータを記憶する。記憶部３２は、例えばＣＰＵ（制御部３１）がアクセス可能なメモリである。

プログラム格納部３３は、プログラムを記憶（格納）する。プログラム格納部３３は、制御部３１がアクセス可能な記憶装置（記憶媒体）であればどのようなものであってもよい。例えば、プログラム格納部３３は、制御部３１を含む情報処理装置３内に設けられる記憶装置であってもよいし、制御部３１を含む情報処理装置３に着脱自在に装着される記憶媒体であってもよい。また、プログラム格納部３３は、制御部３１とネットワークを介して接続される記憶装置（サーバ等）であってもよい。制御部３１（ＣＰＵ）は、ゲームプログラムの一部または全部を適宜のタイミングで記憶部３２に読み出し、読み出されたプログラムを実行するようにしてもよい。

次に、図３を参照して、振動発生部３７の構成について説明する。なお、図３は、振動発生部３７の構成の一例を示すブロック図である。

図３において、振動発生部３７は、コーデック部３７１、増幅部３７２、左アクチュエータ（左振動子）３７３Ｌ、および右アクチュエータ（右振動子）３７３Ｒを備えている。

コーデック部３７１は、制御部３１から出力された振動制御信号を取得して所定の復号処理を行ってアナログ振動信号を生成し、増幅部３７２へ出力する。例えば、アクチュエータ３７３が複数設けられており、それぞれのアクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）から独立した振動を発生させる場合、アクチュエータ３７３毎に振動を制御するための振動制御信号（例えば、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ）が制御部３１から出力される。この場合、コーデック部３７１は、制御部３１から出力された振動制御信号をそれぞれ復号して、アクチュエータ３７３毎に振動を発生させるためのアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）を生成して、増幅部３７２へそれぞれ出力する。

増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号を増幅してアクチュエータ３７３を駆動するための駆動信号を生成し、アクチュエータ３７３へ出力する。例えば、アクチュエータ３７３が複数設けられている場合（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒが設けられている場合）、増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）の電流／電圧の振幅変化をそれぞれ増大させて駆動信号（例えば、左駆動信号ＤＳＬおよび右駆動信号ＤＳＲ）を生成して、アクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力する。

アクチュエータ３７３は、増幅部３７２から出力された駆動信号に応じて駆動することによって、情報処理装置３の本体に当該駆動信号に応じた振動を与える。例えば、アクチュエータ３７３は、図１に示すように、表示部３５の表示画面の中心に対して情報処理装置３本体の左側と右側とにそれぞれ設けられた、左アクチュエータ３７３Ｌと右アクチュエータ３７３Ｒとによって構成される。一例として、左アクチュエータ３７３Ｌは、情報処理装置３本体においてユーザが左手で把持する部位内に配置され、右アクチュエータ３７３Ｒは、情報処理装置３本体においてユーザが右手で把持する部位内に配置される。ここで、アクチュエータ３７３が情報処理装置３本体に振動を与える方式は、どのようなものでもかまわない。例えば、アクチュエータ３７３は、偏心モーター（ＥＲＭ：Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）によって振動を生じさせる方式や、リニア・バイブレータ（ＬＲＡ：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）によって振動を生じさせる方式や、ピエゾ（圧電）素子によって振動を生じさせる方式等を用いた構成であってもよい。アクチュエータ３７３が振動を生じさせる方式に応じて、増幅部３７２から出力される駆動信号が生成されれば、どのような方式のアクチュエータであっても様々な振動を情報処理装置３のユーザに与えることができる。

なお、振動発生部３７の構成については、１以上のコーデック部や１以上の増幅部が設けられてもよい。例えば、設けられている複数のアクチュエータ３７３毎にコーデック部や増幅部を設けることが考えられる。また、上述した説明では、コーデック部３７１で生成されたアナログ振動信号が増幅されてアクチュエータ３７３を駆動するための駆動信号が生成される例を用いたが、コーデック部３７１から増幅部３７２へ出力される信号は、デジタル信号であってもよい。例えば、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御によってアクチュエータ３７３を駆動する場合、コーデック部３７１がアクチュエータ３７３をオン／オフするためのパルス信号を生成すればよい。この場合、コーデック部３７１から増幅部３７２へ出力される信号は、パルス波を用いて駆動が制御されるデジタル振動信号となり、増幅部３７２は、当該デジタル振動信号を増幅することになる。

次に、情報処理装置３が行う具体的な処理を説明する前に、図４〜図６を用いて情報処理装置３において行われる処理の概要について説明する。以下の説明では、表示部３５の表示画面に表示された仮想オブジェクトＯＢＪが移動して表示されるゲームを行う処理を、情報処理装置３において行われる処理情報処理の一例として用いる。なお、図４は、情報処理装置３に設けられたスピーカから音声出力した状態で上記ゲームを行う一例を示す図である。図５は、上記ゲームを行う際に、情報処理装置３本体に与えられる振動のスペクトラムの一例および情報処理装置３に設けられたスピーカから出力される音声のスペクトラムの一例を説明するための図である。図６は、音声出力端子３８にヘッドホンを接続した状態で上記ゲームを行う一例を示す図である。

図４において、表示部３５の表示画面に仮想世界内に配置された仮想オブジェクトＯＢＪが表示される。仮想オブジェクトＯＢＪは、ユーザ操作に応じて、または自動的に仮想世界内を移動して表示部３５の表示画面に表示される。

仮想オブジェクトＯＢＪの移動に応じて、情報処理装置３本体が振動するとともに音声がスピーカから出力される。例えば、情報処理装置３本体に設けられた左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、それぞれ仮想オブジェクトＯＢＪが移動する際に生じる振動を生じさせる。一例として、ユーザの皮膚における異なる２点（具体的には、情報処理装置３本体を把持するユーザの左手と右手）に刺激を与えることによって擬似的な１点の刺激を知覚させるファントムセンセーションを利用して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、仮想オブジェクトＯＢＪの表示位置が振動源であるように擬似的に知覚させる振動（仮想オブジェクトＯＢＪの表示位置が疑似力覚を提示する位置となる振動）を情報処理装置３のユーザに与える。また、情報処理装置３本体に設けられた一対のステレオスピーカ（左音声出力部３６Ｌおよび右音声出力部３６Ｒ）は、音源が定位する位置が、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置となるような音声を出力する。このように、仮想オブジェクトＯＢＪの表示位置と振動源として擬似的に知覚させる位置（疑似力覚提示位置）と音源定位位置とを実質的に一致させることによって、視覚と触覚と聴覚とを利用したリアルな体験をユーザに与えることができる。また、仮想オブジェクトＯＢＪが移動する際の振動と音とを模して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからユーザに与える振動と左音声出力部３６Ｌおよび右音声出力部３６Ｒから出力する音声とを生成することによって、さらにリアリティを高めることが可能となる。

例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ異なる振動が所定のバランスで情報処理装置３本体に与えられることによって、上述したファントムセンセーションを実現している。例えば、表示部３５の表示画面における中央から左寄りの領域で仮想オブジェクトＯＢＪが移動表示されている場合、左アクチュエータ３７３Ｌから情報処理装置３本体に与えられる振動の振幅は、右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動の振幅より相対的に大きくなる。このように、右側からユーザに与える振動より左側からユーザに与える振動を強くすることによって、仮想オブジェクトＯＢＪを移動表示する表示画面左寄りの位置が振動源であるようにユーザに知覚させることができる。

ここで、図５に示すように、上記ゲーム例では、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ複数の周波数成分を有する振動（単一の周波数成分のみの振動ではない振動）が情報処理装置３本体に与えられ、スピーカから複数の周波数成分を有する音声が出力される。例えば、図５（Ａ）および図５（Ｂ）は、上記ゲーム例において情報処理装置３本体に与えられる振動のスペクトラムの一例を示しており、所定幅を有する周波数帯域の振動（広帯域の振動）が左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられていることが示されている。より具体的には、１０Ｈｚ（ヘルツ）より低い周波数成分から１ｋＨｚ（キロヘルツ）より高い周波数成分までの周波数帯域に対する全域に対してパワーを有する振動が、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる。ここで、人間の皮膚感覚を受容する感覚受容器は、メルケル盤、マイスナー小体、パチニ小体、およびルフィニ終末等で構成されており、メルケル盤が０−２００Ｈｚの振動に応答するとされ、マイスナー小体が２０−１００Ｈｚの振動に応答し３０Ｈｚ付近の振動が最も感度が高いとされ、パチニ小体が１００−３００Ｈｚの振動に応答し２００Ｈｚ付近の振動が最も感度が高いとされている。左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動は、人間が振動を感じることができるとされる０−１ｋＨｚの周波数帯域の振動または当該周波数帯域の一部の振動を有するとともに、これらの感覚受容器がそれぞれ応答可能な周波数成分（図５（Ａ）および図５（Ｂ）に示すＡ〜Ｃ領域の周波数成分）を有しており、リアリティに富んだ触り心地を再現してユーザに提示することができる。

また、図５に示すように、情報処理装置３のユーザに与えることができる振動および情報処理装置３から出力する音声は、それぞれ別のスペクトラムを有することができる。例えば、情報処理装置３は、人間が振動を感じることができるとされる０−１０００Ｈｚの広帯域を中心とした振動をユーザに与えることができるとともに、人間が耳に聞こえる可聴周波数である２０−２００００Ｈｚの広帯域を中心とした音声を出力することができ、それぞれ別の制御信号によって別の振動体（左アクチュエータ３７３Ｌ、右アクチュエータ３７３Ｒ、およびステレオスピーカ）を制御することによってそれぞれ別のスペクトラムを有することができる。

本実施例では、情報処理装置３本体に振動を与えるための振動データと情報処理装置３から音声を出力するための音声データとが、それぞれ別に予め用意されていてもよい。この場合、情報処理装置３のユーザに与える振動の種類に応じた振動データを、上記用意された振動データの中から抽出して読み出すことによって、振動制御信号が生成される。また、情報処理装置３から出力する音声に応じた音声データを、上記用意された音声データの中から抽出して読み出すことによって、音声制御信号が生成される。なお、上記振動データは、左アクチュエータ３７３Ｌから振動を与えるための振動データと右アクチュエータ３７３Ｒから振動を与えるための振動データとを、それぞれ別に用意してもかまわない。一例として、振動源の位置に基づいて左右一対の振動データを予め用意し、情報処理装置３本体に振動を与える際には知覚させる振動源の位置に応じた左右一対の振動データを読み出してもかまわない。また、上記音声データについても、左スピーカから音声出力するための音声データと右スピーカから音声出力するための音声データとを、それぞれ別に用意してもよいことは言うまでもない。また、予め用意されている音声データを振動データとして用いてもかまわない。音声データもスピーカの振動板を振動させて駆動するために用いられるデータであるため、振動子を振動させて駆動させるためのデータ（すなわち、振動データ）として用いることも可能である。

また、本実施例では、左アクチュエータ３７３Ｌを駆動するための振動制御信号（左振動制御信号ＣＳＬ）と右アクチュエータ３７３Ｒを駆動するための振動制御信号（右振動制御信号ＣＳＲ）とは、それぞれ独立して生成されてもいいし、１つの振動制御信号を加工することによってそれぞれ生成されてもよい。例えば、後者の場合、各アクチュエータを振動させる振動強度に応じて予め用意されている１つの振動制御信号を加工することによって、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲを生成することが考えられる。

次に、図６を参照して、音声出力端子３８にヘッドホンを接続した状態で上記ゲームを行う場合について説明する。情報処理装置３の音声出力端子３８にヘッドホンを接続した場合、仮想オブジェクトＯＢＪの移動に応じた音声がヘッドホンから出力されるとともに、情報処理装置３のスピーカから出力されていた音声は消音される。これによって、ユーザは、情報処理装置３のスピーカから外部へ音を出すことなく上記ゲームをプレイすることができ、音を消さなければならない状況において好適な操作環境となる。例えば、情報処理装置３は、音声出力端子３８に上記接続端子が接続された際、物理的回路によってスピーカへ音声信号を供給する回路を切断（例えば、所定の接点を切断）してもいいし、当該接続が検出されたことに応じた制御部３１の制御によってスピーカからの音声を消音してもよい。

また、情報処理装置３の音声出力端子３８にヘッドホンを接続した場合、仮想オブジェクトＯＢＪの移動に応じて情報処理装置３のユーザに与えられる振動の大きさも小さくなる。例えば、上述したように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ広帯域の振動が情報処理装置３本体に与えられると、当該振動の振動音が情報処理装置３の周辺に漏れてしまう。したがって、情報処理装置３のスピーカを消音したとしても、結果的に情報処理装置３から外部へ音を出すことになる。しかしながら、情報処理装置３の音声出力端子３８にヘッドホンを接続した場合に、振動音も小さくする制御を行うことによって、音を消さなければならない状況において好適な操作環境となる。例えば、情報処理装置３は、音声の出力先として選択される音声出力装置に応じて、左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒを駆動させるための振動信号に対して異なる加工を施すことによって、異なる振動制御が行うことが考えられる。なお、上記振動信号を加工する処理については、制御部３１で行ってもいいし、振動発生部３７で行ってもよい。また、上記異なる振動制御を行う際、第１の振動制御（例えば、スピーカが音声の出力先として選択された場合の振動制御）において左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒを駆動させるための振動信号と、第２の振動制御（例えば、ヘッドホンやイヤホンが音声の出力先として選択された場合の振動制御）において用いられる当該振動信号に対して加工を施した加工振動信号とを、予め記憶してもよい。この場合、情報処理装置３では、音声の出力先として選択される音声出力装置に応じて、上記加工を施す前の振動信号および上記加工振動信号の何れかを選択して、異なる振動制御を行うことになる。

なお、上述した実施例では、情報処理装置３の音声出力端子３８にヘッドホンを接続した場合、すなわち異なる音声出力装置が選択された場合に情報処理装置３のユーザに与える振動を小さくする例を用いたが、選択される音声出力装置に応じて他の振動制御が行われてもかまわない。例えば、情報処理装置３の音声出力端子３８にヘッドホンを接続した場合に、情報処理装置３のユーザに与える振動が停止されてもよい。この場合、音声出力端子３８に上記接続端子が接続された際、物理的回路によって左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒへ振動信号を供給する回路を切断（例えば、所定の接点を切断）してもいいし、当該接続が検出されたことに応じた制御部３１の制御によって左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒの駆動を停止してもよい。

第１の例として、音声の出力先としてヘッドホンやイヤホンが選択された場合（音声出力端子３８にヘッドホンやイヤホンが接続された場合）、当該選択前より振動音が小さくなる振動が左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒから与えられるように上記振動信号を加工する。具体的には、左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒが振動する全帯域または可聴域周波数成分（例えば、人間が耳に聞こえる可聴周波数である２０−２００００Ｈｚの周波数成分）のエネルギーが減少するような振動信号に加工したり、可聴域周波数成分自体を減少または除去した振動信号に加工したりすることが考えられる。なお、可聴域周波数成分自体を減少または除去した振動信号に加工する場合、当該可聴域周波数成分を除いた周波数成分の振動に対しては、振動エネルギーが増加するように当該振動信号を加工してもよい。

第２の例として、音声の出力先として選択された音声出力装置から出力されてユーザが体感すると予測される音質（例えば、音量）に応じた振動が、左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒから与えられるように上記振動信号を加工する。例えば、相対的に小さな音量が体感されると予測される音声出力装置（例えば、小口径のスピーカ）から相対的に大きな音量が体感されると予測される音声出力装置（例えば、大口径のスピーカやユーザの耳に直接音声を聴音させる発音装置）に、音声の出力先が切り替えられた場合、左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒが振動するエネルギーが増加するように、上記振動信号を加工することが考えられる。

第３の例として、音声の出力先として選択された音声出力装置に応じて、左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動のタイミングが変化するように上記振動信号を加工する。一例として、ユーザがから遠い位置に配設されている音声出力装置に音声の出力先が切り替えられた場合、当該音声出力装置から出力される音声に応じた振動を遅延させて／または先行させて情報処理装置３本体に与えられるように上記振動信号を加工する。特に、据置型のモニタに備えられたまたは当該モニタと近接するスピーカに音声の出力先が切り替えられるとともに、当該モニタに上記ゲーム例のゲーム画像が表示される場合、当該モニタに表示される仮想オブジェクトの状況に応じて音声および振動の発生タイミングを変化させることが考えられる。具体的には、情報処理装置３を把持するユーザの方へ上記モニタから近づくように移動する仮想オブジェクトが当該モニタに表示される場合、当該モニタのスピーカからは当該モニタに表示される仮想オブジェクトの移動に応じた音声が出力し、上記移動においてユーザの位置に仮想オブジェクトが到達すると想定されるタイミングに基づいた振動を情報処理装置３本体に与えることが考えられる。この場合、移動する仮想オブジェクトがモニタに表示しているゲーム画像を生成する仮想カメラの視点に最も接近するタイミングで当該モニタのスピーカから出力される音声（仮想オブジェクトの移動に応じた音声）が最大となり、情報処理装置３を把持するユーザの位置に仮想オブジェクトが最も接近すると想定されるタイミングで左アクチュエータ３７３Ｌおよび／または右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動（仮想オブジェクトの移動に応じた振動）が最大となる。

また、上述した説明では、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置として、情報処理装置３の音声出力端子３８に有線接続されるヘッドホンやイヤホンを例示したが、情報処理装置３と無線接続される音声出力装置でもよい。例えば、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置として、情報処理装置３と無線接続される無線ヘッドホンが用いられる場合、当該音声出力装置が無線接続されたか否かを検出することによって、上述した振動制御を行ってもよい。

また、上述した説明では、情報処理装置３を把持するユーザ以外も聴音可能な音声を出力する音声出力装置として情報処理装置３のスピーカを例示し、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置としてヘッドホンやイヤホンを例示したが、他の音声出力装置でもかまわない。例えば、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置として、当該ユーザのみが聴音可能な音声を出力する指向性の高いスピーカも考えられる。また、装置をそれぞれ把持する複数のユーザがそれぞれ聴音するための音声を出力する音声出力装置を各ユーザがそれぞれ手持ちしている装置から音声を出力するスピーカとし、当該装置を把持するユーザ以外も聴音可能な音声を出力する音声出力装置を当該複数のユーザが同時に聴音可能なスピーカ（例えば、複数のユーザがいる場所全体で聴音可能な音声を出力するスピーカ）としてもよい。

また、上述したゲーム例では、仮想世界内を移動する仮想オブジェクトＯＢＪの位置に応じて、知覚させる振動源の位置や音源を定位させる位置が設定されるが、本発明で知覚させる振動源の位置は、移動表示される画像の位置でなくてもよい。例えば、表示部３５の表示画面に固定表示された仮想オブジェクトが振動源や音源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。また、実世界を撮像した画像を表示部３５の表示画面に表示する場合、当該画像に出現する実世界の撮像物の位置が振動源や音源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。

また、上述したゲーム例では、複数の周波数成分を有する振動を情報処理装置３本体に与えるとともに、複数の周波数成分を有する音声が出力される例を用いたが、他の振動が情報処理装置３本体に与えられたり、他の音声が出力されたりしてもよい。例えば、単一の周波数成分を有する振動を情報処理装置３本体に与えたり、単一の周波数成分を有する音声を出力したりしてもかまわない。

次に、情報処理装置３において行われる処理の詳細を説明する。まず、図７を参照して、処理において用いられる主なデータについて説明する。図７は、情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図である。なお、以下の処理例においては、上述したゲーム例のゲーム処理を行う際の情報処理を用いて説明を行う。

図７に示すように、記憶部３２のデータ記憶領域には、操作データＤａ、オブジェクト位置データＤｂ、振動設定情報データＤｃ、音声設定情報データＤｄ、振動制御信号データＤｅ、音声制御信号データＤｆ、振動データＤｇ、音声データＤｈ、および表示画像データＤｉ等が記憶される。なお、記憶部３２には、図７に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、記憶部３２のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。例えば、各種プログラム群Ｐａは、振動制御信号を生成して情報処理装置３に振動を与えるための振動生成プログラム、音声制御信号を生成して情報処理装置３から音声を出力するための音声生成プログラム、および表示部３５に画像を表示するための画像表示プログラム等が含まれる。

操作データＤａは、入力部３４に対する操作内容を示すデータであり、例えばタッチパネル３４１に対するタッチ位置を示すデータを含んでいる。なお、入力部３４が情報処理装置３本体の姿勢や動きを検出するためのセンサを含んでいる場合、操作データＤａは、情報処理装置３本体の姿勢や動きを算出するためのデータ（例えば、情報処理装置３本体に生じる加速度を示すデータや情報処理装置３本体の角速度を示すデータ）を含んでもよい。

オブジェクト位置データＤｂは、仮想世界内を移動する仮想オブジェクトＯＢＪ（図４、図５参照）の位置を示すデータである。

振動設定情報データＤｃは、振動種類データＤｃ１および振動源位置データＤｃ２等を含む。振動種類データＤｃ１は、情報処理装置３のユーザに与える振動の種類を示すデータである。振動源位置データＤｃ２は、情報処理装置３のユーザに知覚させる振動源の位置を示すデータである。

音声設定情報データＤｄは、音源種類データＤｄ１および音源定位位置データＤｄ２等を含む。音源種類データＤｄ１は、情報処理装置３から出力する音声の種類を示すデータである。音源定位位置データＤｄ２は、情報処理装置３から出力する音声の音源定位位置を示すデータである。

振動制御信号データＤｅは、制御部３１から振動発生部３７へ出力する振動制御信号（左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を示すデータである。音声制御信号データＤｆは、制御部３１から音声出力部３６へ出力する音声制御信号（左音声制御信号および右音声制御信号）を示すデータである。

振動データＤｇは、振動制御信号を生成するために予め用意されたデータであり、情報処理装置３のユーザに与える振動の種類毎（例えば、振動を生じさせる仮想オブジェクト毎）にそれぞれ格納されている。音声データＤｈは、音声制御信号を生成するために予め用意されたデータであり、情報処理装置３から出力する音声の種類毎（例えば、音声を生じさせる仮想オブジェクト毎やＢＧＭの種類毎）にそれぞれ格納されている。

表示画像データＤｉは、仮想オブジェクトＯＢＪ等の各仮想オブジェクトの画像や背景画像等を生成して表示部３５に表示するためのデータである。

次に、図８を参照して、情報処理装置３において行われる情報処理の一例であるゲーム処理の詳細を説明する。なお、図８は、情報処理装置３において実行されるゲーム処理の一例を示すフローチャートである。ここで、図８に示すフローチャートにおいては、情報処理装置３における処理のうち、上記ゲーム例における仮想オブジェクトＯＢＪが仮想世界を移動することに応じた振動および音声が出力される処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。また、図８では、制御部３１が実行する各ステップを「Ｓ」と略称する。

制御部３１のＣＰＵは、記憶部３２のメモリ等を初期化し、プログラム格納部３３から情報処理プログラムをメモリに読み込む。そして、ＣＰＵによって当該情報処理プログラムの実行が開始される。図８に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図８に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートにおける一部のステップの処理を上記ＣＰＵが実行し、その他のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよく、上記フローチャートにおける全部のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図８において、制御部３１は、初期設定を行い（ステップ４１）、次のステップに処理を進める。例えば、制御部３１は、表示部３５に表示するための仮想世界を構築し、各パラメータを初期設定する。一例として、制御部３１は、仮想世界における初期位置に仮想オブジェクトＯＢＪを配置してオブジェクト位置データＤｂを設定する。また、制御部３１は、表示部３５の表示画面に表示する表示範囲を仮想世界に対して設定する。

次に、制御部３１は、入力部３４から操作データを取得し、操作データＤａを更新して（ステップ４２）、次のステップに処理を進める。

次に、制御部３１は、仮想世界において仮想オブジェクトＯＢＪを移動させる処理を行い（ステップ４３）、次のステップに処理を進める。例えば、制御部３１は、仮想世界内に予め定められた移動経路に沿って、予め定められた移動速度で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。他の例として、制御部３１は、入力部３４に対する操作（情報処理装置３本体を移動させたり傾けたりする操作を含む）に応じて仮想オブジェクトＯＢＪを移動させる場合、上記ステップ４２において取得した操作データに応じて、仮想世界内で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。

次に、制御部３１は、音声出力端子３８に対する接続の有無を示す接続情報を音声出力部３６から取得し（ステップ４４）、次のステップに処理を進める。例えば、音声出力端子３８に接続端子が接続されて音声出力先を切り替えたことを示す音声切替信号が音声出力部３６から出力されている場合、制御部３１は、当該音声切替信号を接続情報として取得する。

次に、制御部３１は、振動の種類および振動源の位置を設定して（ステップ４５）、次のステップに処理を進める。例えば、制御部３１は、振動生成プログラムおよび仮想世界に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の振動の種類を設定し、当該振動の種類を示すデータを用いて振動種類データＤｃ１を更新する。また、制御部３１は、振動生成プログラムに基づいて、オブジェクト位置データＤｂが示す仮想オブジェクトＯＢＪの位置が、ユーザに知覚させる振動源となるように当該振動源の位置を設定し、当該位置を示すデータを用いて振動源位置データＤｃ２を更新する。

次に、制御部３１は、上記接続情報に基づいて、音声出力端子３８にヘッドホンが接続されているか否かを判定する（ステップ４６）。例えば、制御部３１は、上記音声切替信号が音声出力部３６から出力されている場合、音声出力端子３８にヘッドホンが接続されていないと判定する。そして、制御部３１は、音声出力端子３８にヘッドホンが接続されていない場合、ステップ４７に処理を進める。一方、制御部３１は、音声出力端子３８にヘッドホンが接続されている場合、ステップ４８に処理を進める。

ステップ４７において、制御部３１は、振動設定情報に基づいて、振動制御信号を設定し、ステップ４９に処理を進める。例えば、制御部３１は、振動生成プログラムおよび振動設定情報データＤｃ（振動種類データＤｃ１および振動源位置データＤｃ２）に基づいて、振動データＤｇから読み出した振動データを用いて振動制御信号（振動発生部３７へ出力する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を生成し、振動制御信号データＤｅに格納する。具体的には、制御部３１は、振動種類データＤｃ１が示す種類の振動を情報処理装置３本体に与えるとともに、振動源位置データＤｃ２が示す位置が当該振動の振動源として知覚されるように、振動データＤｇからデータを読み出して当該振動に対応する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ生成する。

一方、ステップ４８において、制御部３１は、振動設定情報に基づいて、振動音を小さくした振動制御信号を設定し、ステップ４９に処理を進める。例えば、制御部３１は、振動生成プログラムおよび振動設定情報データＤｃ（振動種類データＤｃ１および振動源位置データＤｃ２）に基づいて、振動データＤｇから読み出した振動データを用いて上記ステップ４７で生成された振動制御信号によってユーザに与えられる振動の大きさより相対的に大きさが小さい振動が与えられるように振動制御信号（振動発生部３７へ出力する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を生成し、振動制御信号データＤｅに格納する。具体的には、制御部３１は、振動種類データＤｃ１が示す種類の振動を情報処理装置３本体に与えるとともに、振動源位置データＤｃ２が示す位置が当該振動の振動源として知覚されるように、振動データＤｇからデータを読み出して当該振動に対応する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ生成し、当該振動の大きさが相対的に小さくなるように左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲを調整して出力する。なお、上記ステップ４８において、制御部３１は、情報処理装置３本体に振動を与えない設定を行ってもよい。この場合、制御部３１は、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒを駆動するための振動制御信号が振動制御信号データＤｅに設定されている場合、当該データを削除することによって情報処理装置３本体に振動を与えない設定を行ってもよい。

ステップ４９において、制御部３１は、音源の種類および当該音源を定位させる位置を設定して、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび仮想世界に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の音声の種類を設定し、当該音声の種類を示すデータを用いて音源種類データＤｄ１を更新する。また、制御部３１は、音声生成プログラムに基づいて、オブジェクト位置データＤｂが示す仮想オブジェクトＯＢＪの位置が、上記音声の音源定位位置となるように当該音源定位位置を設定し、当該音源定位位置を示すデータを用いて音源定位位置データＤｄ２を更新する。

次に、制御部３１は、音声設定情報に基づいて、音声制御信号を設定し（ステップ５０）、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび音声設定情報データＤｄ（音源種類データＤｄ１および音源定位位置データＤｄ２）に基づいて、音声制御信号（音声出力部３６へ出力する左音声制御信号および右音声制御信号）を生成して音声制御信号データＤｆに格納する。具体的には、制御部３１は、音源種類データＤｄ１が示す種類の音声を情報処理装置３のステレオスピーカまたは音声出力端子３８に接続された音声出力装置（例えば、ヘッドホン）から出力するとともに、音源定位位置データＤｄ２が示す位置が音声定位位置となるように、音声データＤｈからデータを読み出して左音声制御信号および右音声制御信号をそれぞれ生成する。

次に、制御部３１は、表示制御処理を行い（ステップ５１）、次のステップに処理を進める。例えば、制御部３１は、画像生成プログラムおよびオブジェクト位置データＤｂに基づいて、仮想オブジェクトＯＢＪを配置した仮想世界の画像を生成し、設定されている表示範囲内の仮想世界の画像を表示部３５に表示する処理を行う。

次に、制御部３１は、制御信号出力処理を行い（ステップ５２）、次のステップに処理を進める。例えば、制御部３１は、振動制御信号データＤｅが示す左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ振動発生部３７へ出力する。これによって、振動発生部３７は、左振動制御信号ＣＳＬに応じた振動を左アクチュエータ３７３Ｌから発生させ、右振動制御信号ＣＳＲに応じた振動を右アクチュエータ３７３Ｒから発生させる。また、制御部３１は、音声制御信号データＤｆが示す左音声制御信号および右音声制御信号をそれぞれ音声出力部３６へ出力する。これによって、音声出力部３６は、音声出力端子３８に音声出力装置が接続されていない場合、左音声制御信号に応じた音声を左スピーカから出力し、右音声制御信号に応じた音声を右スピーカから出力する。また、音声出力部３６は、音声出力端子３８に音声出力装置が接続されている場合、左音声制御信号に応じた音声を当該音声出力装置の左側の発音装置からから出力し、右音声制御信号に応じた音声を右側の発音装置から出力する。

次に、制御部３１は、ゲーム処理を終了するか否かを判断する（ステップ５３）。ゲーム処理を終了する条件としては、例えば、ゲーム処理を終了させる条件が満たされたことや、ユーザがゲーム処理を終了する操作を行ったこと等がある。制御部３１は、ゲーム処理を終了しない場合に上記ステップ４２に戻って処理を繰り返し、ゲーム処理を終了する場合に当該フローチャートによる処理を終了する。

このように、上述した実施例に係るゲーム処理では、音声の出力先として選択される音声出力装置に応じて、異なる振動制御が行われる。これによって、情報処理装置３のユーザに与えられる振動を一意的なものではなく、様々な形態で制御することができる。例えば、ヘッドホンやイヤホン等を音声の出力先とすることによって、情報処理装置３の周辺に音が出ないようにしたとしても、情報処理装置３のユーザに振動が与えられることによって振動音が情報処理装置３の周辺にもれてしまうことが考えられる。しかしながら、情報処理装置３のユーザに与えられる振動を音声の出力先として選択される音声出力装置に応じて制御することによって、振動音がもれてしまうことも防止することができる。

また、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒによって与えられる広帯域の振動を情報処理装置３のユーザに与えることによって、バリエーションに富んだ振動をユーザに与えることができる。また、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトＯＢＪが配置されている位置が振動源であるようにユーザに知覚させることができる。ここで、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトＯＢＪが配置されている位置が情報処理装置３から出力される音声の音源定位位置となるように、仮想オブジェクトＯＢＪが移動する際の広帯域の音声が出力される。また、表示部３５の表示画面に表示されている仮想世界に仮想オブジェクトＯＢＪが配置されている場合、仮想オブジェクトＯＢＪが配置されている位置が表示部３５の表示画面に表示される。このように、広帯域の振動による触覚、広帯域の音声による聴覚、表示画面に移動体を表示する視覚を用いて仮想オブジェクトＯＢＪの位置を提示することによって、今までにないリアリティに富んだ体感をユーザに与えることができる。

なお、上述した説明では情報処理（ゲーム処理）を情報処理装置３で行う例を用いたが、上記情報処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、情報処理装置３がさらに他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記情報処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、他の装置において、仮想世界の画像の生成処理、振動制御信号の生成処理、および音声制御信号の生成処理の少なくとも１つが行われ、当該処理の結果を示す画像データや制御信号を情報処理装置３が取得することも考えられる。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置３の制御部３１が所定の情報処理プログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置３が備える専用回路によって上記情報処理の一部または全部が行われてもよい。

また、情報処理装置３にマイク等の音声入力部が設けられている場合、当該音声入力部からの音声入力に応じて、異なる振動制御を行ってもよい。第１の例として、上記音声入力部からの音声入力に基づいて、情報処理装置３の周囲が騒がしい状況にあるか否かを判定し、当該判定結果に応じて異なる振動制御を行ってもよい。具体的には、上記音声入力部からの音声入力の大きさが所定の閾値より大きい場合、情報処理装置３の周囲が騒がしい状況にあるために振動音がもれても周囲への影響が小さいと判定する。この場合、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置（例えば、ヘッドホンやイヤホン）が音声出力先であったとしても、当該ユーザ以外も聴音可能な音声を出力する音声出力装置（例えば、拡声器）が音声出力先である場合に当該ユーザに与えられる振動の大きさと同じ大きさまたは当該大きさより強い振動が与えられてもよい。これによって、情報処理装置３の周囲が騒がしい状況にある場合、振動強度レベルを落とさずに情報処理装置３を利用することができるため、情報処理装置３のユーザの没入感を高めることができる。一方、上記音声入力部からの音声入力の大きさが所定の閾値と同じまたは小さい場合、情報処理装置３の周囲が静かな状況にあるために振動音がもれると周囲への影響が大きいと判定する。この場合、情報処理装置３を把持するユーザが聴音するための音声を出力する音声出力装置が音声出力先である場合、当該ユーザ以外も聴音可能な音声を出力する音声出力装置が音声出力先である場合に当該ユーザに与えられる振動の大きさより弱い振動が与えられる。これによって、情報処理装置３の周囲が静かな状況にある場合、振動強度レベルを落として利用することができるため、周囲の迷惑となる振動音を低減することができる。なお、情報処理装置３の周囲の状況を判定するための閾値は、情報処理装置３において予め設定されてもいいし、情報処理装置３のユーザによって設定されてもよい。

第２の例として、上記音声入力部からの音声入力が示す入力音の大きさまたは当該音声入力に含まれる振動音の大きさに基づいて、異なる振動制御を行ってもよい。具体的には、上記音声入力部からの音声入力が示す入力音または振動音の大きさが所定の閾値より大きい場合、当該入力音または当該振動音の大きさが当該閾値と同じまたは小さくなるように、情報処理装置３のユーザに与える振動強度レベルを下げる。そして、入力音または振動音の大きさに応じた振動制御は、ユーザが情報処理装置３を操作している間においてリアルタイムに行われる。この場合、情報処理装置３は、以下に示す構成であってもよい。情報処理装置の一構成例は、所定の音声出力装置から所定の音声を出力するとともに、所定の振動装置を振動させる。情報処理装置は、比較手段および振動制御手段を備える。比較手段は、音声入力装置からの音声の大きさと所定の大きさとを比較する。振動制御手段は、振動装置を振動させる振動制御を行う。また、振動制御手段は、比較手段による比較結果に応じて、異なる振動制御を行う。なお、上記振動制御で用いられる閾値は、情報処理装置３において予め設定されてもいいし、情報処理装置３のユーザによって設定されてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記情報処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した情報処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。また、上述した情報処理装置で用いられる各構成部品の形状、数、配置位置、部品が有する機能等は、単なる一例に過ぎず他の形状、数、配置位置であってもいいし、他の機能を有するものであっても、本実施例を実現できることは言うまでもない。一例として、情報処理装置に振動を与えるアクチュエータや情報処理装置から音声を出力するスピーカは、３つ以上であってもよい。また、情報処理装置は、複数の表示部を有してもよい。また、上述した説明では、携帯型の装置（例えば、タブレット端末）を情報処理装置３の一例として用いたが、情報処理装置３は、携帯型の装置より相対的に大きな可搬型の装置でもよい。ここで、可搬型の装置とは、当該装置を用いる際に当該装置本体を移動させたり、当該装置を用いる際に当該本体の姿勢を変えたり、当該装置本体を持ち運びしたりできる装置であり、上述した携帯型の装置を含む概念である。

また、上記情報処理プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置３に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記情報処理プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、上記情報処理プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のゲームプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、振動装置を振動させる振動制御を行うこと等を目的として、例えば情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法等として有用である。

３…情報処理装置
３１…制御部
３２…記憶部
３３…プログラム格納部
３４…入力部
３４１…タッチパネル
３５…表示部
３６…音声出力部
３７…振動発生部
３７１…コーデック部
３７２…増幅部
３７３…アクチュエータ
３８…音声出力端子

Claims (23)

1. 複数の音声出力装置から選択して所定の音声を出力するとともに、所定の振動装置を振動させる情報処理装置であって、
   前記音声を出力する音声出力装置を前記複数の音声出力装置から選択する選択手段と、
   前記選択手段が選択した音声出力装置に関わらず、前記複数の音声出力装置の何れかから出力する音声を制御する音声信号を生成する音声制御手段と、
   前記振動装置を振動させる振動制御を行う振動制御手段とを備え、
   前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、異なる振動制御を行う、情報処理装置。
2. 前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、前記振動装置を振動させるための振動信号に対して加工を施すことにより、異なる振動制御を行う、請求項１に記載の情報処理装置。
3. 前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、前記振動信号の可聴域周波数成分を減少させる、請求項２に記載の情報処理装置。
4. 前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、前記振動信号によって前記振動装置を振動させるエネルギーの大きさを変化させる、請求項２または３に記載の情報処理装置。
5. 前記振動装置を振動させるための振動信号と当該振動信号に対して加工を施した加工振動信号とを記憶する記憶手段を、さらに備え、
   前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、前記振動信号および前記加工振動信号の何れかを選択して前記振動制御に用いる、請求項１乃至４の何れか１つに記載の情報処理装置。
6. 前記複数の音声出力装置は、ユーザおよび当該ユーザ以外に対して音声を出力する第１の音声出力装置と、当該ユーザに対して音声を出力する第２の音声出力装置とを含み、
   前記選択手段は、前記第１の音声出力装置および前記第２の音声出力装置の一方を選択する、請求項１乃至５の何れか１つに記載の情報処理装置。
7. 前記振動制御手段は、前記選択手段が前記第２の音声出力装置を選択した場合、前記振動装置が生じさせる振動音が小さくなるように前記振動制御を行う、請求項６に記載の情報処理装置。
8. 前記振動制御手段は、前記選択手段が前記第２の音声出力装置を選択した場合、前記振動装置を振動させるための振動信号の可聴域周波数成分を減少させることにより、前記振動音を小さくする、請求項７に記載の情報処理装置。
9. 前記振動制御手段は、前記選択手段が前記第２の音声出力装置を選択した場合、前記振動装置を振動させるための振動信号によって、当該振動装置を振動させるエネルギーを小さくすることにより、前記振動音を小さくする、請求項７または８に記載の情報処理装置。
10. 前記第１の音声出力装置は、スピーカである、請求項６乃至９の何れか１つに記載の情報処理装置。
11. 前記第２の音声出力装置は、ヘッドホンである、請求項６乃至１０の何れか１つに記載の情報処理装置。
12. 前記振動信号は、可聴域周波数成分を含む信号である、請求項２乃至５、８、および９のいずれか１つに記載の情報処理装置。
13. 前記振動信号は、アナログ信号である、請求項２乃至５、８、および９のいずれか１つに記載の情報処理装置。
14. 前記情報処理装置は、前記複数の音声出力装置の少なくとも１つと前記振動装置とを内蔵した可搬型装置であり、
    前記振動制御手段は、前記情報処理装置に内蔵された音声出力装置を前記選択手段が選択したか否かに応じて、異なる振動制御を行う、請求項１乃至１３の何れか１つに記載の情報処理装置。
15. 前記情報処理装置は、
    表示画面と、
    前記表示画面に表示する画像を制御する画像制御手段とを、さらに備え、
    前記音声制御手段は、前記表示画面に表示される画像に応じて音声を制御し、
    前記振動制御手段は、前記表示画面に表示される画像に応じて振動を制御する、請求項１４に記載の情報処理装置。
16. 前記情報処理装置に内蔵された前記振動装置は、前記可搬型装置本体の左右にそれぞれ設けられ、
    前記振動制御手段は、前記左右に設けられた一対の振動装置に対して、前記振動制御を行う、請求項１４または１５に記載の情報処理装置。
17. 前記情報処理装置に内蔵された音声出力装置は、ステレオスピーカであり、
    前記音声制御手段は、前記音声出力装置へ出力するステレオ音声を制御する、請求項１４乃至１６の何れか１つに記載の情報処理装置。
18. 前記振動制御手段は、前記複数の音声出力装置から出力されてユーザが体感する音量それぞれに応じて前記振動装置を振動させる振動エネルギーを制御する、請求項１乃至１７の何れか１つに記載の情報処理装置。
19. 前記振動制御手段は、前記音量が大きくなるにしたがって前記振動エネルギーが大きくなるように当該振動エネルギーを制御する、請求項１８に記載の情報処理装置。
20. 前記振動制御手段は、前記出力する音声に同期した振動で前記振動装置を振動させる制御を行い、前記選択手段が選択した音声出力装置に応じて、当該振動が同期するタイミングを所定時間ずらして変化させる、請求項１乃至１９の何れか１つに記載の情報処理装置。
21. 複数の音声出力装置から選択して所定の音声を出力するとともに、所定の振動装置を振動させる情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
    前記コンピュータを、
    前記音声を出力する音声出力装置を前記複数の音声出力装置から選択する選択手段と、
    前記選択手段が選択した音声出力装置に関わらず、前記複数の音声出力装置の何れかから出力する音声を制御する音声信号を生成する音声制御手段と、
    前記振動装置を振動させる振動制御を行う振動制御手段として機能させ、
    前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、異なる振動制御を行う、情報処理プログラム。
22. 複数の装置が通信可能に構成され、複数の音声出力装置から選択して所定の音声を出力するとともに、所定の振動装置を振動させる情報処理システムであって、
    前記音声を出力する音声出力装置を前記複数の音声出力装置から選択する選択手段と、
    前記選択手段が選択した音声出力装置に関わらず、前記複数の音声出力装置の何れかから出力する音声を制御する音声信号を生成する音声制御手段と、
    前記振動装置を振動させる振動制御を行う振動制御手段とを備え、
    前記振動制御手段は、前記選択手段が選択した音声出力装置に応じて、異なる振動制御を行う、情報処理システム。
23. 複数の音声出力装置から選択して所定の音声を出力するとともに、所定の振動装置を振動させる少なくとも１つの装置により構成されるシステムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    前記音声を出力する音声出力装置を前記複数の音声出力装置から選択する選択ステップと、
    前記選択ステップにおいて選択された音声出力装置に関わらず、前記複数の音声出力装置の何れかから出力する音声を制御する音声信号を生成する音声制御ステップと、
    前記振動装置を振動させる振動制御を行う振動制御ステップとを含み、
    前記振動制御ステップでは、前記選択ステップにおいて選択された音声出力装置に応じて、異なる振動制御が行われる、情報処理方法。
    
    

Images