JP2012249866A - 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】ゲームのプレイやテレビ番組の視聴などに影響を与えることなく、離れた場所にいるユーザ間で、ビデオチャットやテキストチャットのように、画面に表示される画像を見ながらのリアルタイムなコミュニケーションを可能とすること。
【解決手段】ゲームシステムは、ゲーム画像またはテレビ番組を表示するためのモニタと、カメラ、マイクおよびスピーカを有する端末装置とを備えている。或るユーザがモニタを利用してゲームをプレイしたりテレビ番組を視聴したりしている間、別のユーザは端末装置を利用してチャットを行うことができる。
【選択図】図１０

Description

本発明は、情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法に関し、特に、離れた場所にいるユーザ間でチャットをすることのできる情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法に関する。

特許文献１には、ネットワークゲームをプレイしながら、一緒にネットワークゲームをプレイしている他のユーザとチャットを行うことが可能なゲームシステムが開示されている。

特許文献２には、放送局から送出される番組の属性情報に基づいて、メッセージ交換装置にコミュニケーションスペースを設け、このコミュニケーションスペースを使用して端末装置間でメッセージ交換を行い、端末装置に接続された画像表示装置の画面上に、放送番組の画像とメッセージ交換に関する情報を表示させる、コミュニケーションシステムが開示されている。

特開２００４−２１６０３３号公報 特開２００５−１６７３４５号公報

しかしながら、特許文献１に記載のゲームシステムでは、モニタの画面上に、ゲーム画像だけでなく、他のユーザへ送信したい文字列を入力するための入力ボックスや、他のユーザから受け取った文字列を表示するためのチャットボックスが表示されるため、ゲーム画像が見づらくなるという問題がある。

また、特許文献２に記載のコミュニケーションシステムでも、画像表示装置の画面上に、放送番組の画像と、メッセージ交換に関する情報とが表示されるため、放送番組が見づらくなるという問題がある。

本発明は、ゲームのプレイやテレビ番組の視聴などに影響を与えることなく、離れた場所にいるユーザ間で、ビデオチャットやテキストチャットのように、画面に表示される画像を見ながらリアルタイムにコミュニケーションすることが可能な情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法を提供することを目的とする。

上記目的は、例えば以下のような構成により達成される。

第１の構成例は、据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能であって、入力装置と、他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段とを備えた情報処理装置のコンピュータを、処理手段、第１表示制御手段、送信手段、受信手段、および第２表示制御手段として機能させる情報処理プログラムである。

上記処理手段は、上記入力装置からの入力に基づいて所定の情報処理を実行する。上記第１表示制御手段は、上記所定の情報処理に基づく画像を上記据置型表示装置に表示させる。上記送信手段は、上記所定の入力部より入力される文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置へ送信する。上記受信手段は、上記通信相手装置において入力された文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置から受信する。上記第２表示制御手段は、上記受信手段によって受信された文字情報またはカメラ画像を、上記可搬型表示装置に表示させる。

なお、上記所定の情報処理はゲーム処理であってもよい。

また、上記送信手段は、通信ゲーム処理のためのゲームデータと、上記所定の入力部より入力される文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置へ送信してもよい。そして、上記受信手段は、通信ゲーム処理のためのゲームデータと、上記通信相手装置において入力された文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置から受信してもよい。そして、上記処理手段は、上記入力装置からの入力と、上記通信相手装置から受信したゲームデータとに基づいて、通信ゲーム処理を実行してもよい。

また、上記情報処理装置は第１スピーカに接続され、上記所定の入力部はカメラとマイクを含み、上記可搬型表示装置は第２スピーカを有していてもよい。そして、上記送信手段は、上記カメラより入力されるカメラ画像と、上記マイクより入力されるマイク音声とを、上記通信手段を通じて上記通信相手装置へ送信し、上記受信手段は、上記通信相手装置において入力されたカメラ画像およびマイク音声を、上記通信手段を通じて上記通信相手装置から受信してもよい。そして、上記情報処理プログラムは、上記コンピュータを、第１音声制御手段および第２音声制御手段としてさらに機能させてもよい。そして、上記第１音声制御手段は、上記ゲーム処理に応じてゲーム音声を生成して当該ゲーム音声を上記第１スピーカから出力させ、上記第２音声制御手段は、上記受信手段によって受信されたマイク音声を上記第２スピーカから出力させてもよい。

また、上記第２表示制御手段は、上記受信手段によって受信された文字情報またはカメラ画像に基づいて、上記可搬型表示装置に表示すべき画像を生成する画像生成手段、および上記画像生成手段によって生成された画像を無線送信により上記可搬型表示装置へ出力する画像出力手段を含んでいてもよい。

また、上記第２表示制御手段は、上記受信手段によって受信された文字情報またはカメラ画像に基づいて、上記可搬型表示装置に表示すべき画像を生成する画像生成手段、および上記画像生成手段によって生成された画像を圧縮して上記可搬型表示装置へ出力する画像出力手段を含んでいてもよい。

また、上記所定の入力部はタッチパネルを含み、上記文字情報は、上記タッチパネルを用いて入力されてもよい。

また、上記据置型表示装置は、テレビ放送を受信して表示する機能を有していてもよい。そして、上記可搬型表示装置は、上記所定の入力部を通じて入力されるチャンネル選択指示に応じて上記据置型表示装置に制御信号を出力して当該据置型表示装置に表示されるテレビチャンネルを切り替える機能を有していてもよい。

また、上記情報処理装置は、上記通信手段を通じてサーバ装置と通信可能であってもよい。そして、上記情報処理プログラムは、上記コンピュータを、アップロード手段、ダウンロード手段、および通信相手決定手段としてさらに機能させてもよい。上記アップロード手段は、上記チャンネル選択指示に応じて、当該情報処理装置のユーザが視聴しているテレビチャンネルを示すチャンネル情報を、当該ユーザを識別するためのユーザ識別情報とともに上記サーバ装置にアップロードする。上記ダウンロード手段は、他の情報処理装置から上記サーバ装置にアップロードされたユーザ識別情報のうち、上記アップロード手段によってアップロードされたチャンネル情報に対応するユーザ識別情報を、上記サーバ装置からダウンロードする。上記通信相手決定手段は、上記ダウンロード手段によってダウンロードされたユーザ識別情報に基づいて上記通信相手装置を決定する。

また、上記情報処理装置は、他の情報処理装置のユーザのユーザ識別情報を記憶する他ユーザ情報記憶手段をさらに備えてもよい。そして、上記情報処理プログラムは、上記コンピュータを、上記他ユーザ情報記憶手段に記憶されている他の情報処理装置のユーザのユーザ識別情報に基づいて上記通信相手装置を決定する通信相手決定手段としてさらに機能させてもよい。

また、上記通信相手決定手段は、上記他ユーザ情報記憶手段に記憶されている他の情報処理装置のユーザのユーザ識別情報の中から、上記入力装置または上記所定の入力部からの入力に基づいてユーザ識別情報を選出し、当該選出したユーザ識別情報に対応する他の情報処理装置を上記通信相手装置として決定してもよい。

また、上記所定の入力部はマイクを含み、上記可搬型表示装置はスピーカを有していてもよい。そして、上記送信手段は、上記文字情報またはカメラ画像に加えて、上記マイクより入力されるマイク音声を、上記通信手段を通じて上記通信相手装置へ送信し、上記受信手段は、上記通信相手装置において入力された文字情報またはカメラ画像に加えて、上記通信相手装置において入力されたマイク音声を、上記通信手段を通じて上記通信相手装置から受信してもよい。そして、上記情報処理プログラムは、上記コンピュータを、上記受信手段によって受信されたマイク音声を上記スピーカから出力させる音声制御手段としてさらに機能させてもよい。

第２の構成例は、据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能な情報処理装置である。当該情報処理装置は、入力装置、他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段、上記入力装置からの入力に基づいて所定の情報処理を実行する処理手段、上記所定の情報処理に基づく画像を上記据置型表示装置に表示させる第１表示制御手段、上記所定の入力部より入力される文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置へ送信する送信手段、上記通信相手装置において入力された文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置から受信する受信手段、および上記受信手段によって受信された文字情報またはカメラ画像を、上記可搬型表示装置に表示させる第２表示制御手段を備える。

第３の構成例は、据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能な情報処理システムである。当該情報処理システムは、入力装置、他の情報処理システム（以下、通信相手システムと称す）と通信するための通信手段、上記入力装置からの入力に基づいて所定の情報処理を実行する処理手段、上記所定の情報処理に基づく画像を上記据置型表示装置に表示させる第１表示制御手段、上記所定の入力部より入力される文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手システムへ送信する送信手段、上記通信相手システムにおいて入力された文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手システムから受信する受信手段、および上記受信手段によって受信された文字情報またはカメラ画像を、上記可搬型表示装置に表示させる第２表示制御手段を備える。

第４の構成例は、据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能であって、入力装置と、他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段とを備えた情報処理装置において実行される情報処理方法である。当該情報処理方法は、上記入力装置からの入力に基づいて所定の情報処理を実行する処理ステップ、上記所定の情報処理に基づく画像を上記据置型表示装置に表示させる第１表示制御ステップ、上記所定の入力部より入力される文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置へ送信する送信ステップ、上記通信相手装置において入力された文字情報またはカメラ画像を、上記通信手段を通じて上記通信相手装置から受信する受信ステップ、および上記受信ステップにおいて受信された文字情報またはカメラ画像を、上記可搬型表示装置に表示させる第２表示制御ステップを備える。

本発明によれば、ゲームのプレイやテレビ番組の視聴などに影響を与えることなく、離れた場所にいるユーザ間で、ビデオチャットやテキストチャットのように、画面に表示される画像を見ながらリアルタイムにコミュニケーションすることが可能である。

本発明の一実施形態に係るゲームシステム１の一例を示す外観図 図１のゲーム装置本体５の一例を示す機能ブロック図 図１の端末装置６の外観構成の一例を示す図 ユーザが端末装置６を把持した様子の一例を示す図 図３の端末装置６の内部構成の一例を示すブロック図 複数のゲーム装置本体がネットワークを通じて接続されている様子を示す図 通信ゲームをしているときのモニタ２およびＬＣＤ６１の表示画像の一例 ＬＣＤ６１に表示される端末用ゲーム画像の一例 ＬＣＤ６１に表示されるビデオチャット画像の一例 通信ゲームおよびビデオチャットをしているときのモニタ２およびＬＣＤ６１の表示画像の一例 テレビ番組を視聴しているときのモニタ２およびＬＣＤ６１の表示画像の一例 ＬＣＤ６１に表示されるモニタ制御用画像の一例 ＬＣＤ６１に表示されるチャット画像の一例 ＬＣＤ６１に表示されるチャット画像の一例 ＬＣＤ６１に表示されるチャット画像の一例 外部メインメモリ１２のメモリマップ 情報処理プログラムＤ１に基づく情報処理の流れを示すフローチャート 通信ゲーム処理の流れを示すフローチャート モニタ制御処理の流れを示すフローチャート

（第１の実施形態）
図１を参照して、本発明の一実施形態（第１の実施形態）に係るゲームシステムについて説明する。

図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。また、ゲーム装置３は、光ディスク４と、ゲーム装置本体５と、端末装置６と、コントローラ７とを含む。

光ディスク４には、ゲーム装置本体５において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。

モニタ２は、ゲーム装置本体５から出力されるゲーム画像を表示する。モニタ２はスピーカ２Ｒ，２Ｌを有しており、スピーカ２Ｒ，２Ｌは、ゲーム装置本体５から出力されるゲーム音声を出力する。

ゲーム装置本体５は、光ディスク４に記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。

コントローラ７には、複数の操作部（操作ボタン）が設けられている。そして、コントローラ７は、操作部に対する入力状態（各操作ボタンが押下されたか否か）を示す操作データ（コントローラ操作データ）を例えばＢｌｕｅｔｏｏｔｈ（登録商標）の技術を用いてゲーム装置本体５に送信する。

また、コントローラ７には、モニタ２の表示画面近傍（図１では画面の上側）に設けられた２つのＬＥＤモジュール（以下、マーカと記載する）８Ｌおよび８Ｒを有するマーカ８を撮像するための撮像部と、当該撮像部によって撮像された画像内におけるマーカの位置を算出する撮像情報演算部が設けられている。撮像情報演算部によって算出されたマーカの位置は、マーカ座標データとしてゲーム装置本体５に送信される。ゲーム装置本体５では、当該マーカ座標データに基づいて、コントローラ７の動きや位置や姿勢等を算出することができる。

さらに、コントローラ７には、加速度センサおよびジャイロセンサが設けられている。加速度センサによって検出された加速度を示す加速度データと、ジャイロセンサによって検出された角速度を示す角速度データは、ゲーム装置本体５に送信される。ゲーム装置本体５では、当該加速度データおよび／または角速度データに基づいて、コントローラ７の向きや動きを算出することができる。

端末装置６は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置６を手に持って動かしたり、あるいは、端末装置６を自由な位置に配置したりして使用することが可能な可搬型の装置である。詳細な構成は後述するが、端末装置６は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）６１、および入力手段（後述するタッチパネル６２やジャイロセンサ６０４等）を備える。端末装置６とゲーム装置本体５とは無線（有線であってもよい）によって通信可能である。端末装置６は、ゲーム装置本体５で生成された画像（例えばゲーム画像）のデータをゲーム装置本体５から受信し、当該データが示す画像をＬＣＤ６１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置６は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置６は、ゲーム装置本体５へ、自機に対して行われた操作の内容を表す操作データを送信する。

次に、図２を参照して、ゲーム装置本体５の内部構成について説明する。図２は、ゲーム装置本体５の構成の一例を示すブロック図である。ゲーム装置本体５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１３、ディスクドライブ１４、およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５が接続される。揮発性の外部メインメモリ１２は、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置本体５の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ３５または外部メインメモリ１２に読み出したデータを書き込む。

システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）３１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３３、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３４、および内部メインメモリ３５が設けられる。

ＧＰＵ３２は、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。なお、本実施形態においては、ゲーム装置本体５は、モニタ２に表示するゲーム画像と、端末装置６に表示するゲーム画像との両方を生成することがある。以下では、モニタ２に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置６に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。

ＤＳＰ３３は、オーディオプロセッサとして機能し、内部メインメモリ３５や外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ２のスピーカ２Ｒ，２Ｌから出力するゲーム音声と、端末装置６のスピーカから出力するゲーム音声との両方が生成されることがある。以下では、モニタ２から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置６から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。

上記のようにゲーム装置本体５において生成される画像および音声のうち、モニタ２に出力される画像データおよび音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、ＡＶコネクタ１６を介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２Ｒ，２Ｌに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２Ｒ，２Ｌから音が出力される。

また、ゲーム装置本体５において生成される画像および音声のうち、端末装置６に出力される画像データおよび音声のデータは、入出力プロセッサ３１等によって端末装置６へ送信される。入出力プロセッサ３１等による端末装置６へのデータの送信については後述する。

入出力プロセッサ３１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ３１は、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続される。

ゲーム装置本体５は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ３１は、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。フラッシュメモリ１７には、ゲーム装置本体５と外部情報処理装置との間で送受信されるデータの他、ゲーム装置本体５を利用してプレイしたゲームのセーブデータ（処理の結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７には、ゲームプログラム等のプログラムが記憶されてもよい。

また、ゲーム装置本体５は、コントローラ７からの操作データを受信することが可能である。すなわち、入出力プロセッサ３１は、アンテナ２３およびコントローラ通信モジュール１９を介して、コントローラ７から送信される操作データ等を受信し、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。

また、ゲーム装置本体５は、端末装置６との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ３１は、ＧＰＵ３２が生成したゲーム画像（端末用ゲーム画像）のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ３１からの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置６との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置６へ送信される。なお、本実施形態では、ゲーム装置本体５から端末装置６へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置本体５から端末装置６への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置６との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。

また、ゲーム装置本体５は、画像データの他、音声データを端末装置６へ送信する。すなわち、入出力プロセッサ３１は、ＤＳＰ３３が生成した音声データ（端末用ゲーム音声）を、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置６へ送信する。

さらに、ゲーム装置本体５は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置６へ送信する。制御データは、端末装置６が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図５に示すマーカ部６５）の点灯を制御する指示や、カメラ（図５に示すカメラ６６）の撮像を制御する指示等を表す。入出力プロセッサ３１は、ＣＰＵ１０の指示に応じて制御データを端末装置６へ送信する。

また、ゲーム装置本体５は、端末装置６から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置６は、操作データ、画像データ、および音声データを送信する。端末装置６から送信される各データは、アンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置６からの画像データおよび音声データは、ゲーム装置本体５から端末装置６への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ３１に出力される。操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ３１に出力される。入出力プロセッサ３１は、端末装置６から受信したデータを、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。

また、ゲーム装置本体５は、拡張コネクタ２０やメモリカード用コネクタ２１を介して、他の機器や外部記憶媒体に接続することが可能である。

ゲーム装置本体５（例えば、前部主面）には、電源ボタン２４、リセットボタン２５、光ディスク４を脱着する投入口、およびゲーム装置本体５の投入口から光ディスク４を取り出すイジェクトボタン２６等が設けられている。

なお、他の実施形態においては、ゲーム装置本体５が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置本体５とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば拡張コネクタ２０を介してゲーム装置本体５と接続されるようにしてもよい。具体的には、拡張機器は、例えばコーデックＬＳＩ２７、端末通信モジュール２８、およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置本体に対して上記拡張機器を接続することによって、当該ゲーム装置本体を端末装置６と通信可能な構成とすることができる。

次に、図３〜図５を参照して、端末装置６の構成について説明する。なお、図３は、端末装置６の外観構成の一例を示す図である。図３の（ａ）部は端末装置６の正面図であり、（ｂ）部は上面図であり、（ｃ）部は右側面図であり、（ｄ）部は下面図である。図４は、ユーザが端末装置６を把持した様子の一例を示す図である。

図３に示されるように、端末装置６は、大略的には横長の長方形の板状形状であるハウジング６０を備える。ハウジング６０は、ユーザが把持することができる程度の大きさである。

端末装置６は、ハウジング６０の表面にＬＣＤ６１を有する。ＬＣＤ６１は、ハウジング６０の表面の中央付近に設けられる。したがって、ユーザは、図４に示すようにＬＣＤ６１の両側部分のハウジング６０を持つことによって、ＬＣＤ６１の画面を見ながら端末装置６を持って動かすことができる。

図３の（ａ）部に示すように、端末装置６は、操作手段として、ＬＣＤ６１の画面上にタッチパネル６２を有する。本実施形態では、タッチパネル６２は、抵抗膜方式のタッチパネルである。ただし、タッチパネル６２は、抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル６２は、シングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル６２として、ＬＣＤ６１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル６２の解像度とＬＣＤ６１の解像度とが一致している必要はない。このように、端末装置６がタッチパネル６２を備えているため、ユーザは、端末装置６を動かしながらタッチパネル６２を操作することができる。つまり、ユーザは、ＬＣＤ６１の画面を動かしつつ、その画面に対して直接（タッチパネル６２によって）入力を行うことができる。

図３に示すように、端末装置６は、操作手段として、２つのアナログスティック６３Ａおよび６３Ｂと、複数の操作ボタン６４Ａ〜６４Ｌとを備えている。各アナログスティック６３Ａおよび６３Ｂは、方向を指示するデバイスである。各アナログスティック６３Ａおよび６３Ｂは、ユーザの指で操作されるスティック部がハウジング６０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドまたは傾倒することができるように構成されている。

各操作ボタン６４Ａ〜６４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン６４Ａおよび操作ボタン６４Ｅ〜６４Ｈは、方向指示操作や選択操作等に用いられてもよいし、各操作ボタン６４Ｂ〜６４Ｅは、決定操作やキャンセル操作等に用いられてもよい。

図３の（ａ）部に示すように、端末装置６は、マーカ６５Ａおよびマーカ６５Ｂからなるマーカ部（図５に示すマーカ部６５）をハウジング６０の表面に備えている。マーカ６５Ａおよびマーカ６５Ｂは、それぞれ１以上の赤外ＬＥＤで構成される。マーカ部６５は、上述したマーカ８と同様、マーカ部６５に対するコントローラ７の動き等をゲーム装置本体５が算出するために用いられる。また、ゲーム装置本体５は、マーカ部６５が備える各赤外ＬＥＤの点灯を制御することが可能である。

端末装置６は、カメラ６６を備えている。カメラ６６は、ハウジング６０の表面に設けられる。したがって、カメラ６６は、端末装置６を持っているユーザの顔を撮像することができ、一例としてＬＣＤ６１を見ながらゲームを行っている状態におけるユーザを撮像することができる。

なお、端末装置６は、音声入力手段であるマイク（図５に示すマイク６０９）を備えている。マイク６０９は、マイクロフォン用孔６０ｂの内側となるハウジング６０内部に設けられる。マイク６０９は、ユーザの音声等、端末装置６の周囲の音を検出する。

端末装置６は、スピーカ（図５に示すスピーカ６０７）を備えている。スピーカ６０７の出力音は、ハウジング６０の下側側面に設けられたスピーカ孔６０ａから出力される。

また、端末装置６は、他の装置を端末装置６に接続するための拡張コネクタ６７を備えている。

なお、図３に示した端末装置６に関して、各操作ボタンやハウジング６０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。

次に、図５を参照して、端末装置６の内部構成について説明する。図５は、端末装置６の内部構成の一例を示すブロック図である。図５に示すように、端末装置６は、図３に示した構成の他、タッチパネルコントローラ６０１、磁気センサ６０２、加速度センサ６０３、ジャイロセンサ６０４、ユーザインタフェースコントローラ（ＵＩコントローラ）６０５、コーデックＬＳＩ６０６、スピーカ６０７、サウンドＩＣ６０８、マイク６０９、無線モジュール６１０、アンテナ６１１、赤外線通信モジュール６１２、フラッシュメモリ６１３、電源ＩＣ６１４、電池６１５、およびバイブレータ６１９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング６０内に収納される。

ＵＩコントローラ６０５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６０５は、タッチパネルコントローラ６０１、アナログスティック６３（アナログスティック６３Ａおよび６３Ｂ）、操作ボタン６４（各操作ボタン６４Ａ〜６４Ｌ）、マーカ部６５、磁気センサ６０２、加速度センサ６０３、ジャイロセンサ６０４、およびバイブレータ６１９に接続される。また、ＵＩコントローラ６０５は、コーデックＬＳＩ６０６と拡張コネクタ６７とに接続される。また、ＵＩコントローラ６０５には電源ＩＣ６１４が接続され、ＵＩコントローラ６０５を介して各部に電力が供給される。電源ＩＣ６１４には内蔵の電池６１５が接続され、電力が供給される。また、電源ＩＣ６１４には、コネクタ等を介して外部電源から電力を取得可能な充電器６１６またはケーブルを接続することが可能であり、端末装置６は、充電器６１６またはケーブルを用いて外部電源からの電力供給と充電とを行うことができる。

タッチパネルコントローラ６０１は、タッチパネル６２に接続され、タッチパネル６２の制御を行う回路である。タッチパネルコントローラ６０１は、タッチパネル６２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６０５へ出力する。タッチ位置データは、タッチパネル６２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６０１は、タッチパネル６２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６０５からタッチパネルコントローラ６０１へは、各種の制御指示が出力される。

アナログスティック６３は、スティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６０５へ出力する。また、操作ボタン６４は、各操作ボタン６４Ａ〜６４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６０５へ出力する。

磁気センサ６０２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５から磁気センサ６０２へは、磁気センサ６０２に対する制御指示が出力される。磁気センサ６０２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。

加速度センサ６０３は、ハウジング６０の内部に設けられ、３軸（図３の（ａ）部に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５から加速度センサ６０３へは、加速度センサ６０３に対する制御指示が出力される。

ジャイロセンサ６０４は、ハウジング６０の内部に設けられ、上記ｘ軸、ｙ軸、およびｚ軸の３軸周りの角速度をそれぞれ検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６０５へ出力される。また、ＵＩコントローラ６０５からジャイロセンサ６０４へは、ジャイロセンサ６０４に対する制御指示が出力される。

バイブレータ６１９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６０５からバイブレータ６１９へ出力される制御指示に応じて、バイブレータ６１９が作動することによって端末装置６に振動が発生する。

ＵＩコントローラ６０５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データ（以下、端末操作データと称す）をコーデックＬＳＩ６０６に出力する。

コーデックＬＳＩ６０６は、ゲーム装置本体５へ送信するデータに対する圧縮処理、およびゲーム装置本体５から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６０６には、ＬＣＤ６１、カメラ６６、サウンドＩＣ６０８、無線モジュール６１０、フラッシュメモリ６１３、および赤外線通信モジュール６１２が接続される。また、コーデックＬＳＩ６０６は、ＣＰＵ６１７と内部メモリ６１８とを含む。例えば、端末装置６は、ゲーム処理自体を行わない構成であるが、端末装置６の管理や通信のための最小限のプログラムを実行する必要がある。一例として、電源投入時にフラッシュメモリ６１３に格納されたプログラムを内部メモリ６１８に読み出してＣＰＵ６１７が実行することで、端末装置６が起動する。また、内部メモリ６１８の一部の領域は、ＬＣＤ６１のためのＶＲＡＭとして使用される。

カメラ６６は、ゲーム装置本体５からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６０６へ出力する。また、コーデックＬＳＩ６０６からカメラ６６へは、画像の撮像指示等、カメラ６６に対する制御指示が出力される。なお、カメラ６６は、動画の撮影も可能である。すなわち、カメラ６６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６０６へ繰り返し出力することも可能である。

サウンドＩＣ６０８は、スピーカ６０７およびマイク６０９への音声データの入出力を制御する回路である。

コーデックＬＳＩ６０６は、カメラ６６からの画像データ、マイク６０９からの音声データ、およびＵＩコントローラ６０５からの端末操作データを、無線モジュール６１０を介してゲーム装置本体５へ送信する。本実施形態では、コーデックＬＳＩ６０６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。圧縮された画像データおよび音声データと、端末操作データとは、送信データとして無線モジュール６１０に出力される。無線モジュール６１０にはアンテナ６１１が接続されており、無線モジュール６１０はアンテナ６１１を介してゲーム装置本体５へ上記送信データを送信する。無線モジュール６１０は、ゲーム装置本体５の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール６１０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。

以上のように、端末装置６からゲーム装置本体５へ送信される送信データには、端末操作データ、画像データ、および音声データが含まれる。なお、拡張コネクタ６７を介して端末装置６に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール６１２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ６０６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置本体５へ送信してもよい。

また、上述のように、ゲーム装置本体５から端末装置６へは、圧縮された画像データおよび音声データが送信される。これらのデータは、アンテナ６１１および無線モジュール６１０を介してコーデックＬＳＩ６０６で受信される。コーデックＬＳＩ６０６は、受信した画像データおよび音声データを伸張する。伸張された画像データは、ＬＣＤ６１へ出力され、当該画像データに応じた画像がＬＣＤ６１に表示される。また、伸張された音声データは、サウンドＩＣ６０８へ出力され、当該音声データに応じた音がスピーカ６０７から出力される。

また、ゲーム装置本体５から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６０６およびＵＩコントローラ６０５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置６が備える各構成要素（本実施形態では、カメラ６６、タッチパネルコントローラ６０１、マーカ部６５、各センサ６０２〜６０４、バイブレータ６１９、および赤外線通信モジュール６１２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置６からゲーム装置本体５へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。

次に、図６〜図１５を参照して、上記ゲームシステム１において実行される情報処理の概要を説明する。

上記ゲームシステム１のゲーム装置本体５は、インターネットなどを通じて他のゲーム装置本体と通信することができる。例えば、図６において、ゲーム装置本体５ａは、インターネットに接続されている他のゲーム装置本体５ｂやサーバ装置９と通信することができる。ゲーム装置本体５ａとゲーム装置本体５ｂとがゲームに必要なゲームデータをやりとりすることによって、ゲーム装置本体５ａのユーザ（ユーザＵａ１および／またはユーザＵａ２）と、ゲーム装置本体５ｂのユーザ（ユーザＵｂ１および／またはユーザＵｂ２）とが一緒にゲームをプレイすることが可能である。

以下の説明では、必要に応じて、図６のゲーム装置本体５ａとゲーム装置本体５ｂのうちのゲーム装置本体５ａ側のゲームシステムの構成要素には、参照符号の末尾に「ａ」を付し、ゲーム装置本体５ｂ側のゲームシステムの構成要素には、参照符号の末尾に「ｂ」を付す。

図７は、ゲーム装置本体５ａのユーザ（ユーザＵａ１）と、ゲーム装置本体５ｂのユーザ（ユーザＵｂ１）とが一緒にボーリングゲームをプレイしているときの、ゲーム装置本体５ａ側の様子を示している。

図７において、モニタ２ａにはメインゲーム画像が表示されている。メインゲーム画像には、ボーリングの球を持ったキャラクタが表示されており、ユーザＵａ１は、コントローラ７ａを用いて、当該キャラクタを操作することができる。

一方、端末装置６ａのＬＣＤ６１にはサブゲーム画像が表示されている。メインゲーム画像がゲームのプレイに必須の画像であるのに対して、サブゲーム画像は、ゲームのプレイには必須ではなく、ゲームに関する各種情報をユーザに提供するための画像である。図７の例では、端末装置６ａのＬＣＤ６１にはボーリングのスコアが表示されている。

ＬＣＤ６１に表示されるサブゲーム画像には、図８に示すように、ビデオチャットの開始を指示するためのビデオチャット開始ボタンＢ１が含まれている。ユーザＵａ２は、ビデオチャット開始ボタン画像Ｂ１にタッチすることによって、ゲーム装置本体５ｂ側のユーザ（ユーザＵｂ２）とビデオチャットを行うことができる。

ユーザＵａ２がビデオチャット開始ボタンＢ１にタッチすると、端末装置６ａのＬＣＤ６１には、図９に示すように、ユーザＵｂ２の顔がリアルタイムで表示される。そして、端末装置６ａのスピーカ６０７からは、ユーザＵｂ２の声がリアルタイムで出力される。一方、端末装置６ａのカメラ６６から入力される画像データ（カメラ画像）と、端末装置６ａのマイク６０９から入力される音声データ（マイク音声）が、ゲーム装置本体５ａを通じてゲーム装置本体５ｂへ送信されて、ゲーム装置本体５ｂ側の端末装置６ｂのＬＣＤ６１には、ユーザＵａ２の顔がリアルタイムで表示され、端末装置６ｂのスピーカ６０７からは、ユーザＵａ２の声がリアルタイムで出力される。

こうして、図１０に示すように、ユーザＵａ１とユーザＵｂ１がゲームをプレイしている間、ユーザＵａ２とユーザＵｂ２は、お互いの顔を見ながらリアルタイムで会話を楽しむことができる。

なお、ユーザＵａ２がユーザＵｂ２とビデオチャットをしている間、モニタ２ａには通常と同様にゲーム画像が表示され、スピーカ２Ｒａおよび２Ｌａからは通常と同様にゲーム音声が出力されるので、ユーザＵａ１にとって、ゲーム画像が見づらくなったり、ゲーム音声が聞こえにくくなったりすることがない。

図９において、ユーザＵａ２が終了ボタンＢ２にタッチするとビデオチャットは終了して、端末装置６ａのＬＣＤ６１には、図８に示すようなゲーム画像（サブゲーム画像）が再び表示される。

なお、ゲームシステム１は、ゲーム以外の用途にも利用することができる。例えば、図１１に示すように、ユーザは、モニタ２でテレビ番組を視聴することができる。このとき、端末装置６のＬＣＤ６１には、図１２に示すようなモニタ制御用画像が表示され、ユーザが、モニタ制御用画像に表示されている複数のチャンネル選択ボタンＢ３のうちの所望のチャンネル選択ボタンＢ３をタッチすると、タッチされたチャンネル選択ボタンＢ３に応じた赤外線信号（モニタ制御信号）が、端末装置６の赤外線通信モジュール６１２から出力される（図１１参照）。このようにして、ユーザは、端末装置６を操作することによって、モニタ２に表示される放送チャンネル（テレビ番組）を切り替えることができる。

なお、モニタ制御用画像において、ユーザが視聴中の放送チャンネルに対応するチャンネル選択ボタンＢ３が強調表示されてもよい。例えば、図１２の例では、６チャンネルのチャンネル選択ボタンＢ３が強調表示されている。そして、ユーザが他のチャンネル選択ボタンＢ３にタッチするまで、６チャンネルのチャンネル選択ボタンＢ３が強調表示されたままとなる。

なお、図１２に示すように、モニタ制御用画像には、チャット開始ボタンＢ４も表示されている。ユーザは、チャット開始ボタンＢ４にタッチすることによって、当該ユーザと同じ放送チャンネル（テレビ番組）を視聴中の他のユーザと、チャットを楽しむことができる。

図１２において、ユーザがチャット開始ボタンＢ４にタッチすると、当該ユーザを示すユーザ識別情報と、当該ユーザが現在視聴中の放送チャンネル（図１２の例では６チャンネル）を示す視聴中チャンネル情報が、ゲーム装置本体５からサーバ装置９（図６参照）へアップロードされる。そして、当該ユーザと同じテレビ番組を視聴中の他のユーザのユーザ識別情報（例えば、ユーザ名）や接続情報（例えば、当該他のユーザのグローバルＩＰアドレス）等が、サーバ装置９からゲーム装置本体５へダウンロードされる。こうして、ユーザがチャットをするための準備が整う。なお、ゲーム装置本体５からサーバ装置９へ後述のフレンドリストＤ３等をアップロードすることによって、同じテレビ番組を視聴中の他のユーザのうち、予め登録されたユーザ（例えば、友人）に関するユーザ識別情報や接続情報等が、サーバ装置９からゲーム装置本体５へダウンロードされるようにしてもよい。

ユーザがチャットをするための準備が整うと、端末装置６のＬＣＤ６１には、図１３に示すようなチャット画像が表示される。当該チャット画像には、ユーザと同じテレビ番組を視聴中の他のユーザに対応するキャラクタとユーザ名が表示される。図１３の例では、「いちろう」と「けい」の２人が６チャンネルのテレビ番組を視聴していることが分かる。

図１３において、ユーザが、メッセージを送信したい相手のユーザ選択ボタンＢ５をタッチすると、図１４に示すようなメッセージ入力画像が表示される。そして、ユーザが、例えばソフトウェアキーボード等を用いてメッセージを入力してから、送信ボタンＢ７をタッチすると、ユーザ選択ボタンＢ５で選択した相手に、そのメッセージが送信される。

他のユーザからメッセージが届くと、図１５に示すように、チャット画像に受信したメッセージが表示される。

図１３または図１５において、ユーザが終了ボタンＢ６にタッチするとチャットは終了して、端末装置６のＬＣＤ６１には、図１２に示すようなモニタ制御用画像が再び表示される。

次に、図１６〜図１９を参照して、上記情報処理を実現するためのゲームシステム１の動作について詳細に説明する。

図１６は、上記情報処理を実行するときにゲーム装置本体５の外部メインメモリ１２に記憶される各種データの一例を示している。

情報処理プログラムＤ１は、ゲーム装置本体５のＣＰＵ１０に、上記情報処理を実行させるためのプログラムである。情報処理プログラムＤ１は、例えば、光ディスク４から外部メインメモリ１２にロードされる。

ユーザ識別情報Ｄ２は、ゲーム装置本体５のユーザを識別するための情報（例えば、ユーザ名）である。

フレンドリストＤ３は、ユーザの友人を識別するための情報であり、ユーザは、当該フレンドリストＤ３に登録されている友人の中から所望の友人を選択して、一緒に通信ゲームをプレイすることができる。

コントローラ操作データＤ４は、コントローラ７から周期的に送信される操作データである。

端末操作データＤ５は、端末装置６から周期的に送信される操作データである。前述のように、端末操作データＤ５には、タッチ位置データ等が含まれている。

送信データバッファＤ６は、他のゲーム装置本体５へ送信すべき通信ゲームデータＤ６１およびチャットデータＤ６２を一時的に記憶するための記憶領域である。通信ゲームデータは、通信ゲームを実行するために他のゲーム装置本体５との間でやりとりするデータであり、例えば、コントローラ操作データであってもよい。チャットデータには、端末装置６のカメラ６６、マイク６０９、タッチパネル６２を通じてそれぞれ入力される画像データ、音声データ、文字データが含まれる。

受信データバッファＤ７は、他のゲーム装置本体５から受信した通信ゲームデータＤ７１およびチャットデータＤ７２を一時的に記憶するための記憶領域である。

視聴中チャンネル情報は、ユーザが現在視聴中の放送チャンネルを示す情報である。

次に、図１７〜図１９のフローチャートを参照して、情報処理プログラムＤ１に基づいてゲーム装置本体５のＣＰＵ１０によって実行される情報処理の流れを説明する。

情報処理プログラムＤ１の実行が開始されると、まず図１７のステップＳ１０において、ＣＰＵ１０は、通信ゲームを実行するかどうかを判定する。当該判定は、例えば、モニタ２または端末装置６のＬＣＤ６１にメニュー画像を表示し、通信ゲームを実行するか、モニタ制御を行うかをユーザに選択させることによって行われる。通信ゲームを実行する場合には処理はステップＳ１１に進み、そうでない場合には処理はステップＳ１２に進む。

ステップＳ１１において、ＣＰＵ１０は、通信ゲーム処理を実行する。通信ゲーム処理の詳細は後述する。通信ゲーム処理が終了すると、ＣＰＵ１０は、情報処理プログラムＤ１の実行を終了する。

ステップＳ１２において、ＣＰＵ１０は、モニタ制御を行うかどうかを判定する。そして、モニタ制御を行う場合には処理はステップＳ１３に進み、そうでない場合には処理はステップＳ１０に戻る。

ステップＳ１３において、ＣＰＵ１０は、モニタ制御処理を実行する。モニタ制御処理の詳細は後述する。モニタ制御処理が終了すると、ＣＰＵ１０は、情報処理プログラムＤ１の実行を終了する。

次に、図１８を参照して、図１７のステップＳ１１の通信ゲーム処理の詳細を説明する。

ステップＳ２０において、ＣＰＵ１０は、通信ゲームをプレイする通信相手となるユーザを選択する。通信相手の選択方法としては、種々の方法が考えられる。例えば、フレンドリストＤ３に登録されている友人の中から、１人または複数の所望の友人をユーザに選択させてもよい。また、他の方法として、ゲーム装置本体５からサーバ装置９へ問い合わせて、通信ゲームをプレイ可能な他のユーザをサーバ装置９から紹介してもらうようにしてもよい。

ステップＳ２１において、ＣＰＵ１０は、ステップＳ２０において選択された通信相手のゲーム装置本体５と接続する。例えば、フレンドリストＤ３に登録されている友人の中から接続相手を選んだ場合には、当該友人の識別情報をサーバ装置９へ送信して、当該友人のゲーム装置本体５のグローバルＩＰアドレスをサーバ装置９から取得して、当該友人のゲーム装置本体５に接続要求を送信してもよい。

ステップＳ２２において、ＣＰＵ１０は、コントローラ７および端末装置６から、コントローラ操作データＤ４および端末操作データＤ５をそれぞれ取得する。

ステップＳ２３において、ＣＰＵ１０は、ビデオチャット中であるかどうかを判断し、ビデオチャット中である場合（例えば、ユーザが図８のビデオチャット開始ボタンＢ１をタッチしてから、図９の終了ボタンＢ２をタッチするまでの間）には処理はステップＳ２６に進み、そうでない場合には処理はステップＳ２４に進む。

ステップＳ２４において、ＣＰＵ１０は、通信相手のゲーム装置本体５へ通信ゲームデータＤ６１を送信する。

ステップＳ２５において、ＣＰＵ１０は、通信相手のゲーム装置本体５から通信ゲームデータＤ７１を受信する。

ステップＳ２６において、ＣＰＵ１０は、通信相手のゲーム装置本体５へ通信ゲームデータＤ６１およびチャットデータＤ６２を送信する。ここでは、ビデオチャット中であるため、送信されるチャットデータＤ６２には、端末装置６のカメラ６６およびマイク６０９からそれぞれ入力される画像データおよび音声データが含まれる。

ステップＳ２７において、ＣＰＵ１０は、通信相手のゲーム装置本体５から通信ゲームデータＤ７１およびチャットデータＤ７２を受信する。

ステップＳ２８において、ＣＰＵ１０は、コントローラ操作データＤ４と受信した通信ゲームデータＤ７１とに基づいて、ゲーム処理（例えば、ゲーム世界のキャラクタの制御など）を行う。

ステップＳ２９において、ＣＰＵ１０は、モニタ用ゲーム画像を生成して、モニタ２へと出力する。出力されたモニタ用ゲーム画像は、モニタ２に表示される。なお、モニタ用ゲーム画像の生成処理の一部または全部が、ＣＰＵ１０からの指示に応じてＧＰＵ３２によって行われてもよい。

ステップＳ３０において、ＣＰＵ１０は、ビデオチャット中であるかどうかを判断し、ビデオチャット中である場合には処理はステップＳ３３に進み、そうでない場合には処理はステップＳ３１に進む。

ステップＳ３１において、ＣＰＵ１０は、端末用ゲーム画像（例えば、図８のサブゲーム画像）を生成して、端末装置６へと出力する。出力された端末用ゲーム画像は、端末装置６のＬＣＤ６１に表示される。なお、端末用ゲーム画像の生成処理の一部または全部が、ＣＰＵ１０からの指示に応じてＧＰＵ３２によって行われてもよい。

ステップＳ３２において、ＣＰＵ１０は、ゲーム音声をスピーカ２Ｒ，２Ｌへと出力する。

ステップＳ３３において、ＣＰＵ１０は、受信したチャットデータ（画像データおよび音声データ）を端末装置６へと出力する。これにより、通信相手のユーザの顔が端末装置６のＬＣＤ６１に表示され、通信相手のユーザの声が端末装置６のスピーカ６０７から出力される。

ステップＳ３４において、ＣＰＵ１０は、ゲームが終了したかどうかを判断し、ゲームが終了した場合には通信ゲーム処理を終了し、そうでない場合には処理はステップＳ２２に戻る。

次に、図１９を参照して、図１７のステップＳ１３のモニタ制御処理の詳細を説明する。

ステップＳ４０において、ＣＰＵ１０は、モニタ制御用画像（例えば、図１２のモニタ制御用画像）を生成して、端末装置６へと出力する。出力されたモニタ制御用画像は、端末装置６のＬＣＤ６１に表示される。

ステップＳ４１において、ＣＰＵ１０は、端末装置６から端末操作データＤ５を取得する。

ステップＳ４２において、ＣＰＵ１０は、端末操作データＤ５に基づいて、チャンネル選択指示が入力されたかどうか（例えば、図１２のいずれかのチャンネル選択ボタンＢ３がタッチされたかどうか）を判断する。そして、チャンネル選択指示が入力された場合には処理はステップＳ４３に進み、そうでない場合には処理はステップＳ４５に進む。

ステップＳ４３において、ＣＰＵ１０は、チャンネル選択指示によって選択された放送チャンネルに応じて、端末装置６にモニタ制御信号を出力させる。具体的には、ＣＰＵ１０は、端末操作データＤ５に含まれるタッチ位置データに基づいて、モニタ制御用画像上のどの位置をユーザがタッチしたかを検出する。そして、ユーザがタッチした位置に対応するモニタ制御信号が端末装置６の赤外線通信モジュール６１２から出力されるように、端末装置６へ制御データを送信する。

ステップＳ４４において、ＣＰＵ１０は、チャンネル選択指示によって選択された放送チャンネルに応じて、視聴中チャンネル情報Ｄ８を更新する。

ステップＳ４５において、ＣＰＵ１０は、チャット開始指示が入力されたかどうか（例えば、図１２のチャット開始ボタンＢ４がタッチされたかどうか）を判断する。そして、チャット開始指示が入力された場合には処理はステップＳ４６に進み、そうでない場合には処理はステップＳ５１に進む。

ステップＳ４６において、ＣＰＵ１０は、視聴中チャンネル情報Ｄ８、ユーザ識別情報Ｄ２等をサーバ装置９へアップロードする。

サーバ装置９には、複数のゲーム装置本体５からアップロードされた視聴中チャンネル情報Ｄ８およびユーザ識別情報Ｄ２が保持されている。よって、サーバ装置９は、新たなゲーム装置本体５から視聴中チャンネル情報Ｄ８およびユーザ識別情報Ｄ２がアップロードされた場合に、当該新たなゲーム装置本体５のユーザが視聴中のテレビ番組と同じテレビ番組を視聴している他のユーザのユーザ識別情報Ｄ２を、当該新たなゲーム装置本体５へ提供することができる。

ステップＳ４７において、ＣＰＵ１０は、自身のゲーム装置本体５のユーザと同じテレビ番組を視聴している他のユーザのユーザ識別情報Ｄ２をサーバ装置９からダウンロードする。

ステップＳ４８において、ＣＰＵ１０は、端末操作データＤ５に基づいて、チャット処理を行う。具体的には、ＣＰＵ１０は、ユーザによって指示された他のユーザのゲーム装置本体５へ、ユーザによって入力されたメッセージ（文字データ）をチャットデータＤ６２として送信する処理（図１４参照）や、他のゲーム装置本体５から受信したチャットデータＤ７２に含まれるメッセージ（文字データ）を含むチャット画像を生成してＬＣＤ６１に表示させる処理（図１５参照）などを行う。

ステップＳ４９において、ＣＰＵ１０は、チャット終了指示が入力されたかどうか（例えば、図１３または図１５の終了ボタンＢ６がタッチされたかどうか）を判断する。そして、チャット終了指示が入力された場合には処理はステップＳ５０に進み、そうでない場合には処理はステップＳ４７に戻る。

ステップＳ５０において、ＣＰＵ１０は、チャット終了通知をサーバ装置９へ送信する。これにより、当該ゲーム装置本体５のユーザに関する視聴中チャンネル情報Ｄ８およびユーザ識別情報Ｄ２が、サーバ装置９から削除される。

ステップＳ５１において、ＣＰＵ１０は、モニタ制御が終了したかどうかを判断し、モニタ制御が終了した場合にはモニタ制御処理を終了し、そうでない場合には処理はステップＳ４０に戻る。

以上のように、本実施形態によれば、或るユーザ（メインユーザ）がモニタ２を用いてゲームをプレイしている間や、モニタ２を用いてテレビ番組を視聴している間に、別のユーザ（サブユーザ）が端末装置６のＬＣＤ６１を利用してビデオチャットやテキストチャットを行うことができる。よって、ゲームのプレイやテレビ番組の視聴に影響を与えることなしに、チャットを行うことができる。

また、本実施形態によれば、１台のゲーム装置３を用いて、ゲーム処理とチャット処理とを別々に並行して行うことができる。よって、或るユーザ（ユーザＡ）がゲームをプレイしている横で、当該ゲーム装置３の端末装置６を使って別のユーザ（ユーザＢ）がチャットをすることができるので、ゲームが下手な人であっても、実際にゲームに参加することなく、端末装置６を使ってチャットをすることでゲームに参加している気分になれるため、気軽に楽しむことができる。また、端末装置６にはタッチパネル６２が設けられているので、ゲームに不慣れな人にとっても、メニュー操作や文字入力操作が簡単に行える。また、ゲームに興味がないユーザであっても、他のユーザがゲームをプレイしている横でチャットをすることによって、ゲームの面白さに気付いてゲームに興味を持つきっかけとなり得る。

また、本実施形態によれば、メインユーザが通信ゲームをプレイしている間に、サブユーザは、ビデオチャット開始ボタンＢ１（図８）をタッチするだけで簡単にビデオチャットを開始することができるので、ビデオチャットを開始するためにチャット相手を選択したりチャット相手のアドレス情報を入力したりする手間が不要である。また、ゲームをプレイすることが苦手なユーザであっても、チャットに参加することによって、通信ゲームをプレイしているユーザと一緒に楽しい時間を共有することができる。

また、本実施形態によれば、ゲーム音声はスピーカ２Ｒ，２Ｌから出力され、チャット相手の声は端末装置６のスピーカ６０７から出力されるので、メインユーザにとってゲーム音声が聞こえにくくなったり、サブユーザにとってチャット相手の声が聞き取りにくくなったりすることがない。

また、本実施形態によれば、端末装置６を利用してモニタ２に表示される放送チャンネル（テレビ番組）を切り替えることができ、さらにユーザの希望に応じて、同じテレビ番組を視聴中の他のユーザと簡単にチャットを開始して、視聴中のテレビ番組を共通の話題としてチャットを楽しむことができる。

なお、上記実施形態は、あくまでも本発明の一実施形態に過ぎず、本発明の範囲を何ら限定するものではない。

例えば、上記実施形態では、２台のゲーム装置３の間で通信ゲームやチャットを行っているが、他の実施形態では、３台以上のゲーム装置３の間で通信ゲームやチャットを行ってもよい。３台以上のゲーム装置３の間でビデオチャットを行う場合には、ＬＣＤ６１の画面を分割して、通信相手の複数のユーザの顔を同時に表示するようにしてもよい。

また、上記実施形態では、モニタ２を利用して通信ゲームをプレイしている間に、端末装置６を利用してビデオチャットを行っているが、ビデオチャットではなくテキストチャットを行うようにしてもよい。

また、上記実施形態では、モニタ２を利用してテレビ番組を視聴している間に、端末装置６を利用してテキストチャットを行っているが、テキストチャットではなくビデオチャットを行うようにしてもよい。

また、上記実施形態では、モニタ２を利用してテレビ番組を視聴している間に、同じテレビ番組を視聴中の他のユーザのユーザ識別情報等をサーバ装置９から取得して、他のユーザとチャットを行っているが、他の実施形態では、フレンドリストＤ３に登録されている友人の中からユーザに所望の友人を選択させて、当該選択された友人とチャットを行うようにしてもよい。

また、上記実施形態によれば、ゲーム音声はスピーカ２Ｒ，２Ｌから出力され、チャット相手の声は端末装置６のスピーカ６０７から出力されるが、他の実施形態では、ゲーム音声が端末装置６のスピーカ６０７から出力されてもよい。同様に、チャット相手の声がスピーカ２Ｒ，２Ｌから出力されてもよい。

また、上記実施形態では、図１７〜図１９に示した複数の処理を１つのコンピュータ（ＣＰＵ１０）が実行しているが、他の実施形態では、これらの複数の処理を複数のコンピュータが分担して実行してもよい。さらに他の実施形態では、これらの複数の処理の一部をハードウェア回路によって実現してもよい。

また、上記実施形態では、ゲーム装置３によって上記情報処理を実行しているが、他の実施形態では、ゲーム装置以外の情報処理装置（例えば、汎用コンピュータなど）によって上記情報処理を実行してもよい。

また、上記実施形態では、図１７〜図１９に示した複数の処理を１台の情報処理装置（ゲーム装置本体５）において実行しているが、他の実施形態では、これらの複数の処理を複数の情報処理装置（例えば、ゲーム装置本体５と端末装置６）が分担して実行してもよい。

また、上記実施形態では、光ディスク４からゲーム装置本体５へ情報処理プログラムＤ１が供給されているが、他の実施形態では、任意のコンピュータ読み取り可能な記憶媒体（例えば、ＣＤ−ＲＯＭ、半導体メモリ等）からゲーム装置本体５へ情報処理プログラムＤ１が供給されてもよい。さらに他の実施形態では、ゲーム装置本体５内部の不揮発性メモリ（ＲＯＭ／ＲＴＣ１３、フラッシュメモリ１７）に情報処理プログラムＤ１が予め格納されていてもよい。さらに他の実施形態では、他の情報処理装置（ゲーム装置やサーバ装置）からゲーム装置本体５へ情報処理プログラムＤ１が送信されてもよい。

１…ゲームシステム
２…モニタ
２Ｒ，２Ｌ…スピーカ
３…ゲーム装置
４…光ディスク
５…ゲーム装置本体
６…端末装置
６０…ハウジング
６１…ＬＣＤ
６２…タッチパネル
６３…アナログスティック
６４…操作ボタン
６５…マーカ部
６６…カメラ
６７…拡張コネクタ
６８…足部
７ａ〜７ｄ…コントローラ
８（８Ｌ，８Ｒ）…マーカ
９…サーバ装置
Ｕａ１，Ｕａ２，Ｕｂ１，Ｕｂ２…ユーザ
Ｂ１…ビデオチャット開始ボタン
Ｂ２…終了ボタン
Ｂ３…チャンネル選択ボタン
Ｂ４…チャット開始ボタン
Ｂ５…ユーザ選択ボタン
Ｂ６…終了ボタン
Ｂ７…送信ボタン

Claims (15)

1. 据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能であって、入力装置と、他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段とを備えた情報処理装置のコンピュータを、
   前記入力装置からの入力に基づいて所定の情報処理を実行する処理手段、
   前記所定の情報処理に基づく画像を前記据置型表示装置に表示させる第１表示制御手段、
   前記所定の入力部より入力される文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置へ送信する送信手段、
   前記通信相手装置において入力された文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置から受信する受信手段、および
   前記受信手段によって受信された文字情報またはカメラ画像を、前記可搬型表示装置に表示させる第２表示制御手段として機能させる、情報処理プログラム。
2. 前記所定の情報処理はゲーム処理である、請求項１に記載の情報処理プログラム。
3. 前記送信手段は、通信ゲーム処理のためのゲームデータと、前記所定の入力部より入力される文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置へ送信し、
   前記受信手段は、通信ゲーム処理のためのゲームデータと、前記通信相手装置において入力された文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置から受信し、
   前記処理手段は、前記入力装置からの入力と、前記通信相手装置から受信したゲームデータとに基づいて、通信ゲーム処理を実行する、請求項２に記載の情報処理プログラム。
4. 前記情報処理装置は第１スピーカに接続され、
   前記所定の入力部はカメラとマイクを含み、
   前記可搬型表示装置は第２スピーカを有し、
   前記送信手段は、前記カメラより入力されるカメラ画像と、前記マイクより入力されるマイク音声とを、前記通信手段を通じて前記通信相手装置へ送信し、
   前記受信手段は、前記通信相手装置において入力されたカメラ画像およびマイク音声を、前記通信手段を通じて前記通信相手装置から受信し、
   前記情報処理プログラムは、前記コンピュータを、
   前記ゲーム処理に応じてゲーム音声を生成して当該ゲーム音声を前記第１スピーカから出力させる第１音声制御手段、および
   前記受信手段によって受信されたマイク音声を前記第２スピーカから出力させる第２音声制御手段としてさらに機能させる、請求項２に記載の情報処理プログラム。
5. 前記第２表示制御手段は、
   前記受信手段によって受信された文字情報またはカメラ画像に基づいて、前記可搬型表示装置に表示すべき画像を生成する画像生成手段、および
   前記画像生成手段によって生成された画像を無線送信により前記可搬型表示装置へ出力する画像出力手段を含む、請求項１〜４のいずれかに記載の情報処理プログラム。
6. 前記第２表示制御手段は、
   前記受信手段によって受信された文字情報またはカメラ画像に基づいて、前記可搬型表示装置に表示すべき画像を生成する画像生成手段、および
   前記画像生成手段によって生成された画像を圧縮して前記可搬型表示装置へ出力する画像出力手段を含む、請求項１〜４のいずれかに記載の情報処理プログラム。
7. 前記所定の入力部はタッチパネルを含み、
   前記文字情報は、前記タッチパネルを用いて入力される、請求項１〜６のいずれかに記載の情報処理プログラム。
8. 前記据置型表示装置は、テレビ放送を受信して表示する機能を有しており、
   前記可搬型表示装置は、前記所定の入力部を通じて入力されるチャンネル選択指示に応じて前記据置型表示装置に制御信号を出力して当該据置型表示装置に表示されるテレビチャンネルを切り替える機能を有している、請求項１〜７のいずれかに記載の情報処理プログラム。
9. 前記情報処理装置は、前記通信手段を通じてサーバ装置と通信可能であり、
   前記情報処理プログラムは、前記コンピュータを、
   前記チャンネル選択指示に応じて、当該情報処理装置のユーザが視聴しているテレビチャンネルを示すチャンネル情報を、当該ユーザを識別するためのユーザ識別情報とともに前記サーバ装置にアップロードするアップロード手段、
   他の情報処理装置から前記サーバ装置にアップロードされたユーザ識別情報のうち、前記アップロード手段によってアップロードされたチャンネル情報に対応するユーザ識別情報を、前記サーバ装置からダウンロードするダウンロード手段、および
   前記ダウンロード手段によってダウンロードされたユーザ識別情報に基づいて前記通信相手装置を決定する通信相手決定手段としてさらに機能させる、請求項８に記載の情報処理プログラム。
10. 前記情報処理装置は、他の情報処理装置のユーザのユーザ識別情報を記憶する他ユーザ情報記憶手段をさらに備え、
    前記情報処理プログラムは、前記コンピュータを、前記他ユーザ情報記憶手段に記憶されている他の情報処理装置のユーザのユーザ識別情報に基づいて前記通信相手装置を決定する通信相手決定手段としてさらに機能させる、請求項１〜８のいずれかに記載の情報処理プログラム。
11. 前記通信相手決定手段は、前記他ユーザ情報記憶手段に記憶されている他の情報処理装置のユーザのユーザ識別情報の中から、前記入力装置または前記所定の入力部からの入力に基づいてユーザ識別情報を選出し、当該選出したユーザ識別情報に対応する他の情報処理装置を前記通信相手装置として決定する、請求項１０に記載の情報処理プログラム。
12. 前記所定の入力部はマイクを含み、
    前記可搬型表示装置はスピーカを有し、
    前記送信手段は、前記文字情報またはカメラ画像に加えて、前記マイクより入力されるマイク音声を、前記通信手段を通じて前記通信相手装置へ送信し、
    前記受信手段は、前記通信相手装置において入力された文字情報またはカメラ画像に加えて、前記通信相手装置において入力されたマイク音声を、前記通信手段を通じて前記通信相手装置から受信し、
    前記情報処理プログラムは、前記コンピュータを、前記受信手段によって受信されたマイク音声を前記スピーカから出力させる音声制御手段としてさらに機能させる、請求項１に記載の情報処理プログラム。
13. 据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能な情報処理装置であって、
    入力装置、
    他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段、
    前記入力装置からの入力に基づいて所定の情報処理を実行する処理手段、
    前記所定の情報処理に基づく画像を前記据置型表示装置に表示させる第１表示制御手段、
    前記所定の入力部より入力される文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置へ送信する送信手段、
    前記通信相手装置において入力された文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置から受信する受信手段、および
    前記受信手段によって受信された文字情報またはカメラ画像を、前記可搬型表示装置に表示させる第２表示制御手段を備える、情報処理装置。
14. 据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能な情報処理システムであって、
    入力装置、
    他の情報処理システム（以下、通信相手システムと称す）と通信するための通信手段、
    前記入力装置からの入力に基づいて所定の情報処理を実行する処理手段、
    前記所定の情報処理に基づく画像を前記据置型表示装置に表示させる第１表示制御手段、
    前記所定の入力部より入力される文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手システムへ送信する送信手段、
    前記通信相手システムにおいて入力された文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手システムから受信する受信手段、および
    前記受信手段によって受信された文字情報またはカメラ画像を、前記可搬型表示装置に表示させる第２表示制御手段を備える、情報処理システム。
15. 据置型表示装置と、所定の入力部を有する可搬型表示装置に画像を表示させることが可能であって、入力装置と、他の情報処理装置（以下、通信相手装置と称す）と通信するための通信手段とを備えた情報処理装置において実行される情報処理方法であって、
    前記入力装置からの入力に基づいて所定の情報処理を実行する処理ステップ、
    前記所定の情報処理に基づく画像を前記据置型表示装置に表示させる第１表示制御ステップ、
    前記所定の入力部より入力される文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置へ送信する送信ステップ、
    前記通信相手装置において入力された文字情報またはカメラ画像を、前記通信手段を通じて前記通信相手装置から受信する受信ステップ、および
    前記受信ステップにおいて受信された文字情報またはカメラ画像を、前記可搬型表示装置に表示させる第２表示制御ステップを備える、情報処理方法。

Images