JP2012249644A - 操作装置および操作システム - Google Patents

操作装置および操作システム Download PDF

Info

Publication number
JP2012249644A
JP2012249644A JP2011118488A JP2011118488A JP2012249644A JP 2012249644 A JP2012249644 A JP 2012249644A JP 2011118488 A JP2011118488 A JP 2011118488A JP 2011118488 A JP2011118488 A JP 2011118488A JP 2012249644 A JP2012249644 A JP 2012249644A
Authority
JP
Japan
Prior art keywords
game
terminal device
data
controller
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011118488A
Other languages
English (en)
Other versions
JP5936315B2 (ja
Inventor
Kenichiro Ashida
健一郎 芦田
Junji Takamoto
純治 高本
Masato Ibuki
真人 伊吹
Nobuki Yamamoto
伸樹 山本
Hitoshi Tsuchiya
人詩 土屋
Fumiyoshi Suetake
史佳 末武
Akiko Suga
明子 須賀
Naoya Yamamoto
直弥 山本
Daisuke Kumazaki
大助 熊崎
Noboru Wakitani
昇 脇谷
Yoshitomo Goto
義智 後藤
Yuji Hori
祐治 堀
Takashi Nishida
隆史 西田
Hiroki Ikuta
紘樹 生田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2011118488A priority Critical patent/JP5936315B2/ja
Priority to TW100126151A priority patent/TWI440496B/zh
Priority to TW100126152A priority patent/TWI442963B/zh
Priority to KR1020110075093A priority patent/KR101364826B1/ko
Priority to KR20110075100A priority patent/KR101492310B1/ko
Priority to EP11176479.1A priority patent/EP2446946B1/en
Priority to EP11176475.9A priority patent/EP2446943B1/en
Priority to EP11176478.3A priority patent/EP2446945B1/en
Priority to EP11176477.5A priority patent/EP2446944B1/en
Priority to CA2748627A priority patent/CA2748627C/en
Priority to US13/206,059 priority patent/US8827818B2/en
Priority to AU2011213764A priority patent/AU2011213764B2/en
Priority to US13/206,767 priority patent/US8814680B2/en
Priority to US13/206,914 priority patent/US8702514B2/en
Priority to AU2011213765A priority patent/AU2011213765B2/en
Priority to US13/207,867 priority patent/US8804326B2/en
Priority to CN201110303989.XA priority patent/CN102600614B/zh
Priority to CN201110303971.XA priority patent/CN102600612B/zh
Priority to CN2011203784309U priority patent/CN202355827U/zh
Priority to CN201110303781.8A priority patent/CN102462960B/zh
Priority to CN201110303925.XA priority patent/CN102600611B/zh
Priority to CN2011203784525U priority patent/CN202355829U/zh
Priority to CN2011203784436U priority patent/CN202398092U/zh
Priority to CN2011203784510U priority patent/CN202398095U/zh
Priority to HK12106413.2A priority patent/HK1165745A1/xx
Priority to HK12112241.8A priority patent/HK1171400A1/zh
Priority to HK12112245.4A priority patent/HK1171403A1/xx
Priority to HK12112240.9A priority patent/HK1171399A1/zh
Publication of JP2012249644A publication Critical patent/JP2012249644A/ja
Priority to KR1020130014536A priority patent/KR20130020715A/ko
Priority to US14/302,248 priority patent/US9272207B2/en
Priority to US14/983,173 priority patent/US9889384B2/en
Application granted granted Critical
Publication of JP5936315B2 publication Critical patent/JP5936315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザが容易に把持することを可能な操作装置を提供する。
【解決手段】操作システムは、端末装置７と、当該端末装置７に着脱可能な付加装置である入力装置２００とを含む。操作装置７は、略板状のハウジング５０と、ハウジングの表側に設けられるＬＣＤ５１とを備える。入力装置２００は、スティック２０４等の操作部と、棒状の第１グリップ部２００ａと、支持部２０５とを備える。支持部２０５は、第１グリップ部２００ａが鉛直方向を向く場合にＬＣＤ５１の画面が略鉛直向きとなるように端末装置７を着脱可能に支持する。
【選択図】図１５

Description

本発明は、プレイヤが把持して操作することが可能な操作装置および操作システムに関する。
従来、プレイヤが手に持って使用する操作装置がある（例えば、特許文献１参照）。例えば特許文献１に記載の携帯型のゲーム装置は、折りたたみ式であり、下側のハウジングに操作ボタンやタッチパネルが設けられている。このゲーム装置によれば、ユーザは、ゲーム装置を把持し、画面を見ながら画面の両側に設けられる操作ボタンを用いてゲーム操作を行うことができる。
特許第３７０３４７３号明細書
近年、携帯型の端末装置（操作装置）に関しては、画面等がより大きくなり、装置自体も大型化したものが増えている。ここで、ユーザが手に持って使用する装置自体が大きくなると、ユーザが把持して使用する場合に不安定になったり、長時間把持して使用し続けると手が疲れてしまったりする等の問題が生じる。例えば、特許文献１に記載のゲーム装置を大型化すると、ユーザは指で操作をしながらゲーム装置を安定して把持することが難しく、また、長時間使用すると手が疲れてしまうおそれがある。また、特許文献１に記載のゲーム装置を操作する場合には、ゲーム装置を把持して操作ボタンやタッチパネルを操作するような操作に限られ、操作方法が限られていた。
それ故、本発明の目的は、ユーザに多様な操作方法を提供することができる操作システムを提供することである。また、本願発明の別の目的は、ユーザが容易に把持することが可能な操作装置および操作システムを提供することである。
本発明は、上記の課題を解決するために、以下の（１）〜（１２）の構成を採用した。
（１）
本発明の一例は、操作装置と、当該操作装置に着脱可能な付加装置とを含む操作システムである。操作装置は、略板状のハウジングと、ハウジングの表側に設けられる表示部とを備える。付加装置は、操作部と、棒状の第１グリップ部と、支持部とを備える。支持部は、第１グリップ部が鉛直方向を向く場合に表示部の画面が略鉛直向きとなるように操作装置を着脱可能に支持する。
上記「操作部」は、ユーザが操作可能な操作デバイスであればどのようなものであってもよく、例えば、後述する実施形態におけるスティック（アナログスティック）、キー（ボタン）、タッチパネル、タッチパッド等である。
上記（１）の構成によれば、略板状のハウジングを有する操作装置は、第１グリップ部を備える付加装置に装着可能である。したがって、ユーザは、操作装置を付加装置に装着し、第１グリップ部を掴むことで、表示部が自分の方を向くようにして付加装置（操作システム）を容易に把持することができる。なお、上記（１）の構成によれば、比較的大型の画面を有する操作装置であっても、ユーザが容易に把持することが可能となる。そして、操作装置の表示部を見ながら、付加装置のグリップ部を把持し、付加装置の操作部を操作して操作をすることができる。したがって、付加装置の種類によってさまざまな操作を提供することができる。
（２）
付加装置は、第１グリップ部と略平行な方向を向く棒状の第２グリップ部をさらに備えていてもよい。このとき、操作部は、第１グリップ部および第２グリップ部のいずれかを把持した場合に把持した手の指で操作可能な位置に設けられる。
上記「第１グリップ部および第２グリップ部のいずれかを把持した場合に把持した手の指で操作可能な位置」とは、いずれかのグリップ部の側面の位置、あるいは、いずれかのグリップ部の上端部分（上端付近）の位置を含む。操作部が上記グリップ部の側面の位置に設けられれば、ユーザは親指以外の指で操作部を操作可能である。また、操作部が上記上端部分の位置に設けられれば、ユーザは親指で操作部を操作可能である。
上記（２）の構成によれば、付加装置は２つのグリップ部を備えるので、ユーザは、各グリップ部を両手で掴むことで付加装置および操作装置をしっかりと把持することができる。また、操作部は、グリップ部を把持した手で操作可能であるので、付加装置および操作装置をしっかりと把持したまま容易に操作を行うことができる。
（３）
支持部は、第１グリップ部と第２グリップ部とを接続する部材に設けられてもよい。
上記（３）の構成によれば、２つのグリップ部の間に設けられる支持部に操作装置が装着される。したがって、例えば、操作装置が比較的大型である場合でも、ユーザは２つのグリップ部を掴んで把持することによって付加装置および操作装置を楽に把持することができる。
（４）
第１グリップ部は、操作装置に装着された場合に画面の前側となる位置に設けられてもよい。第２グリップ部は、操作装置に装着された場合に画面の後側となる位置に設けられてもよい。
上記（４）の構成によれば、ユーザは、一方の手を画面の前方にし、他方の手を画面の後方にして２つのグリップを把持することで、容易に付加装置および操作装置を把持することができる。なお、このような持ち方は、付加装置および操作装置を銃に見立ててゲーム操作を行う場合に特に好適である。
（５）
付加装置は、操作装置が装着された場合に画面の後方を撮像する向きに配置される撮像部をさらに備えていてもよい。
上記「撮像部」は、後述する実施形態におけるカメラ５６のような通常のカメラであってもよいし、例えば後述する実施形態における撮像情報演算部３５のような、所定のマーカから出射される赤外線を検知するためのカメラであってもよい。
上記（５）の構成によれば、撮像部による撮像結果がユーザの入力操作として用いられる場合には、ユーザは、付加装置を所望の方向へ向ける操作を行うことができ、付加装置を用いて直感的かつ容易な操作を行うことができる。
（６）
操作装置は、ハウジングの裏側に突起して設けられる突起部を備えていてもよい。このとき、突起部の下面には第１係止穴が設けられる。ハウジングの下面には第２係止穴が設けられる。支持部は、第１係止穴および第２係止穴に係止可能な爪部を有し、第１係止穴および第２係止穴に爪部が係止した場合にハウジングの裏面を支持する。
上記（６）の構成によれば、操作装置は裏面と下面とにおいて支持部と接続されるので、操作装置と付加装置とを強固に接続することができる。なお、上記（６）の構成と上記（５）または下記（７）の構成とを組み合わせる場合には、付加装置を動かして操作することが想定されるので、操作装置と付加装置とを強固に接続することが特に有効である。また、操作装置と付加装置とが接続される場合に支持部はハウジングの裏面を支持するので、表示部の画面が見づらくなることなく、見やすい表示部を提供することができる。
（７）
操作装置は、ハウジングの内部に慣性センサをさらに備えていてもよい。
上記（７）の構成によれば、操作装置自体を振ったり動かしたりする操作が可能となり、ユーザは、操作装置および付加装置を用いて直感的かつ容易な操作を行うことができる。
（８）
表示部は５インチ以上の画面を有していてもよい。
上記（８）の構成によれば、大きな画面を用いて見やすく迫力のある画像を表示することができる。なお、上記（８）の構成のように大きな画面の表示部が用いられる場合には、必然的に操作装置自体の大きさも大きくなるので、ユーザが容易に把持することが可能となる上記（１）〜（７）の構成が特に有効である。
（９）
付加装置は、操作装置に装着された場合、自機に対して行われた操作を表す操作データを操作装置へ送信してもよい。このとき、操作装置は、ゲーム処理を実行可能なゲーム装置と無線通信可能であり、自機に対して行われた操作を表す操作データと、付加装置から送信されてきた操作データとを当該ゲーム装置へ無線で送信する。
上記（９）の構成によれば、ユーザは、容易に把持することが可能で、かつ、操作性の良い操作装置を用いてゲーム操作を行うことができる。
（１０）
本発明の他の一例は、棒状の第１グリップ部と、棒状の第２グリップ部と、表示部と、操作部とを備える、操作装置である。表示部は、第１グリップ部および第２グリップ部の少なくとも一方が鉛直方向を向く場合に画面が略鉛直向きとなるように配置される。操作部は、第１グリップ部および第２グリップ部のいずれかを把持した場合に把持した手の指で操作可能な位置に設けられる。
上記（１０）の構成によれば、操作装置は２つのグリップ部を備えるので、ユーザは、各グリップ部を両手で掴むことで操作装置をしっかりと把持することができる。また、ユーザは、各グリップ部を掴むことで、表示部の画面が自分の方を向くようにして操作装置を容易に把持することができる。さらに、操作部は、グリップ部を把持した手で操作可能であるので、ユーザは、操作装置をしっかりと把持したまま容易に操作を行うことができる。以上のように、上記（１０）の構成によれば、ユーザが容易に把持することが可能な操作装置を提供することができる。なお、上記（１０）の構成によれば、比較的大型の画面を有する操作装置であっても、ユーザが容易に把持することが可能となる。
（１１）
表示部は、第１グリップ部と第２グリップ部との間に設けられてもよい。
上記（１１）の構成によれば、上記（３）の構成と同様、２つのグリップ部の間に表示部が配置される。したがって、例えば、表示部が比較的大型である場合でも、ユーザは２つのグリップ部を掴んで把持することによって操作装置を楽に把持することができる。
（１２）
第１グリップ部は、画面の前側となる位置に設けられてもよく、第２グリップ部は、画面の後側となる位置に設けられてもよい。
上記（１２）の構成によれば、上記（４）の構成と同様、ユーザは、一方の手を画面の前方にし、他方の手を画面の後方にして２つのグリップを把持することで、容易に付加装置および操作装置を把持することができる。なお、このような持ち方は、付加装置および操作装置を銃に見立ててゲーム操作を行う場合に特に好適である。
本発明によれば、付加装置は、第１グリップ部が鉛直方向を向く場合に操作装置の画面が略鉛直向きとなるように操作装置を着脱可能に支持する。ユーザは、操作装置を付加装置に装着し、第１グリップ部を掴むことで、表示部が自分の方を向くようにして付加装置（操作システム）を容易に把持することができる。これによって、ユーザは操作装置を容易に把持することが可能となる。
ゲームシステム１の外観図 ゲーム装置３の内部構成を示すブロック図 コントローラ５の外観構成を示す斜視図 コントローラ５の外観構成を示す斜視図 コントローラ５の内部構造を示す図 コントローラ５の内部構造を示す図 コントローラ５の構成を示すブロック図 端末装置７の外観構成を示す図 端末装置７の外観構成を示す図 ユーザが端末装置７を横向きで把持した様子を示す図 ユーザが端末装置７を横向きで把持した様子を示す図 ユーザが端末装置７を縦向きで把持した様子を示す図 ユーザが端末装置７を縦向きで把持した様子を示す図 端末装置７の内部構成を示すブロック図 端末装置７に付加装置（入力装置２００）を装着した一例を示す図 端末装置７に付加装置（入力装置２００）を装着した一例を示す図 入力装置の他の例を示す図 図１７に示す入力装置２２０を端末装置７に装着した様子を示す図 図１７に示す入力装置２２０を端末装置７に装着した様子を示す図 端末装置７に付加装置（スタンド２１０）を接続した他の一例を示す図 ゲーム処理において用いられる各種データを示す図 ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャート ゲーム制御処理の詳細な流れを示すフローチャート 第１のゲーム例におけるテレビ２の画面と端末装置７とを示す図 第２のゲーム例におけるテレビ２の画面と端末装置７とを示す図 第３のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図 第３のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図 第４のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図 第４のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図 第５のゲーム例におけるゲームシステム１の使用の様子を示す図 ネットワークを介して外部装置と接続される場合におけるゲームシステム１に含まれる各装置の接続関係を示す図 本実施形態の変形例に係る端末装置の外観構成を示す図 図３２に示す端末装置をユーザが把持した様子を示す図 本実施形態の他の変形例に係る端末装置の外観構成を示す図 本実施形態の他の変形例に係る端末装置の外観構成を示す図
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ７４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
ゲーム装置３は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
なお、加速度センサ３７（後述する加速度センサ７３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
［４．端末装置７の構成］
次に、図８〜図１３を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す平面図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。図９は端末装置７の背面図である。また、図１０および図１１は、ユーザが端末装置７を横向きで把持した様子を示す図である。図１２および図１３は、ユーザが端末装置７を縦向きで把持した様子を示す図である。
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。すなわち、端末装置７は、タブレット型の情報処理装置であるということもできる。なお、ハウジング５０は全体として板状形状であれば、曲面を有していてもよいし、一部に突起等を有していてもよい。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。端末装置７の縦（ｚ軸方向）の長さは、１００〜１５０［ｍｍ］が好ましく、本実施形態では、１３３．５［ｍｍ］である。端末装置７の横（ｘ軸方向）の長さは、２００〜２５０［ｍｍ］が好ましく、本実施形態では、２２８．２６［ｍｍ］である。端末装置７の厚さ（ｙ軸方向の長さ）は、板状の部分で１５〜３０［ｍｍ］程度、最厚部まで含めて３０〜５０［ｍｍ］程度が好ましく、本実施形態では、２３．６（最厚部は４０．２６）［ｍｍ］である。また、端末装置７の重量は、４００〜６００［ｇ］程度であって、本実施形態においては、５３０［ｇ］である。詳細は後述するが、端末装置７は、上記のような比較的大型の端末装置（操作装置）であっても、ユーザが持ちやすく操作しやすい構成となっている。
端末装置７は、ハウジング５０の表面（表側）にＬＣＤ５１を有する。なお、ＬＣＤ５１の画面の大きさは５インチ以上であることが好ましく、ここでは６．２インチである。本実施形態の操作装置７は、持ちやすく操作しやすい構成によって、大きなＬＣＤを設けても操作がしやすいものとなっている。なお、別の実施形態においては、より小さいＬＣＤ５１を設け、操作装置７の大きさを比較的小さいものとするようにしてもよい。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図１０および図１１に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置７を持って動かすことができる。なお、図１０および図１１ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、図１２および図１３に示すように、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペン６０を用いて行われるが、タッチペン６０に限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペン６０を収納する収納穴６０ａが設けられている（図８（ｂ）参照）。なお、ここでは、タッチペン６０が落ちないように、収納穴６０ａはハウジング５０の上面に設けられるが、側面や下面に設けられてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
図８に示すように、端末装置７は、操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｍとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。本実施形態では、可動部材がスライドする種類のアナログスティックを用いるので、ユーザは親指を大きく動かさなくても各アナログスティック５３Ａおよび５３Ｂを操作することができ、ハウジング５０をよりしっかりと把持した状態で操作を行うことができる。なお、各アナログスティック５３Ａおよび５３Ｂとして、可動部材が傾倒する種類のものを用いる場合には、入力の程度（傾きの程度）がユーザにとってわかりやすく、詳細な操作をより容易に行うことができる。
また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図１０および図１１に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分（ＬＣＤ５１の左右両側の部分）を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段（操作部）であり、押下可能なキーである。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図１０および図１１参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈおよび５４Ｍとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｈおよび５４Ｍは、ユーザの親指で操作可能な位置に配置されている（図１０および図１１参照）。
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能なボタンである。
また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、端末装置７は、端末装置７の電源をオン／オフするための電源ボタン５４Ｍを有している。電源ボタン５４Ｍの操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄと同様、ＬＣＤ５１の下側に設けられる。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄの右側に設けられる。したがって、電源ボタン５４Ｍは、右手で操作可能な（操作しやすい）位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
なお、本実施形態においては、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置される。ここで、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも厚さ方向（ｙ軸方向）に関して突出している。そのため、仮にアナログスティック５３Ａと十字ボタン５４Ａとの配置を逆にした場合には、ユーザが十字ボタン５４Ａを親指で操作する際にアナログスティック５３Ａに親指が当たってしまい、操作を誤ってしまうおそれがある。なお、アナログスティック５３Ｂと各ボタン５４Ｅ〜５４Ｈとの配置を逆にする場合も同様の問題が生じる。これに対して、本実施形態では、各アナログスティック５３Ａおよび５３Ｂを十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置するので、ユーザがアナログスティック５３Ａおよび５３Ｂを操作する際に十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈに指が当たってしまう可能性は上記の場合に比べて低くなる。このように、本実施形態においては、誤操作の可能性を低減することができ、端末装置７の操作性を向上することができる。ただし、別の実施形態においては、必要に応じてアナログスティック５３Ａが十字ボタン５４Ａと逆の配置であってもよいし、アナログスティック５３Ｂが各ボタン５４Ｅ〜５４Ｈと逆の配置であってもよい。
ここで、本実施形態では、いくつかの操作部（各アナログスティック５３Ａおよび５３Ｂ、十字ボタン５４Ａ、ならびに、３つのボタン５４Ｅ〜５４Ｇ）は、表示部（ＬＣＤ５１）の左右両側において、ハウジング５０における上下方向（ｙ軸方向）の中心よりも上側に設けられる。これらの操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持する。ここで、ユーザがハウジング５０の下側を把持する場合には、（端末装置７が本実施形態のように比較的大きなサイズである場合には特に）把持される端末装置７が不安定になり、ユーザは端末装置７を持ちにくくなる。これに対して、本実施形態では、上記操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持することになり、また、手のひらでハウジング５０を横から支えることができる。したがって、ユーザは、安定した状態でハウジング５０を把持することができ、端末装置７が持ちやすくなるので、上記操作部も操作しやすくなる。なお、他の実施形態においては、ハウジング５０の中央よりも上側において表示部の左右にそれぞれ少なくとも１つずつ操作部が設けられてもよい。例えば、各アナログスティック５３Ａおよび５３Ｂのみがハウジング５０の中央よりも上側に設けられてもよい。また例えば、十字ボタン５４Ａが左アナログスティック５３Ａよりも上側に設けられ、４つのボタン５４Ｅ〜５４Ｈが右アナログスティック５３Ｂよりも上側に設けられる場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈがハウジング５０の中央よりも上側に設けられても良い。
また、本実施形態では、ハウジング５０の裏側（ＬＣＤ５１が設けられる表面の反対側）には、突起部（庇部５９）が設けられる（図８（ｃ）および図９参照）。図８（ｃ）に示すように、庇部５９は、略板状のハウジング５０の裏面から突起して設けられる、山状の部材である。突起部は、ハウジング５０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。突起部の高さは、１０〜２５［ｍｍ］であることが好ましく、本実施形態では１６．６６［ｍｍ］である。また、突起部の下面は、突起部がユーザの指に掛かりやすいように、ハウジング５０の裏面に対して４５°以上（より好ましくは６０°以上）の傾斜を有することが好ましい。図８（ｃ）に示すように、突起部の下面は、上面よりも傾斜角度が大きくなるように形成されてもよい。図１０および図１１に示すように、ユーザは、指を庇部５９に掛けて（指の上に庇部５９を乗せて）把持することによって、端末装置７が比較的大きなサイズであっても、疲れることなく安定した状態で端末装置７を把持することができる。すなわち、庇部５９は、指でハウジング５０を支えるための支持部材であるということができ、また、指掛部ということもできる。
また、庇部５９は、ハウジング５０の上下方向に関しては中央よりも上側に設けられる。庇部５９は、ハウジング５０の表面に設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の概ね反対側の位置に設けられる。つまり、突起部は、表示部の左右にそれぞれ設けられる操作部の反対側の位置を含む領域に設けられる。したがって、上記操作部を操作する場合、ユーザは、中指あるいは薬指で庇部５９を支えるようにして端末装置７を把持することができる（図１０および図１１参照）。これによって、端末装置７がより持ちやすくなり、上記操作部もより操作しやすくなる。また、本実施形態では、突起部は、（突起した部分が）左右に延びる庇状の形状を有するので、ユーザは、中指あるいは薬指を突起部の下面に沿わせて端末装置７を把持することができ、端末装置７がより持ちやすくなる。なお、庇部５９は、（突起した部分が）左右方向に延びるように形成されればよく、図９に示すような水平方向に延びる形状に限られない。他の実施形態においては、庇部５９は水平方向から若干傾いた方向に延びていてもよい。例えば、庇部５９は、左右両端から中央に向かうにつれて上に（または下に）傾斜するように設けられてもよい。
なお、本実施形態においては、後述する係止穴を庇部５９に設けることが理由で、ハウジングの裏面に形成される突起部として、庇状の形状をした庇部５９を採用するが、突起部はどのような形状であってもよい。例えば、他の実施形態においては、ハウジング５０の裏側において、２つの突起部が左右両側に設けられる（左右方向の中央には突起部が設けられない）構成であってもよい（図３２参照）。また、他の実施形態においては、突起部の断面形状（ｘ軸方向に垂直な断面における形状）は、ユーザの指で端末装置７をよりしっかりと支えることができるように（突起部が指によりしっかりと掛かるように）、鈎型（下面が凹んだ形状）であってもよい。
なお、突起部（庇部５９）の上下方向に関する幅は、いくらであってもよい。例えば、突起部は、ハウジング５０の上辺まで形成されてもよい。すなわち、突起部の上面がハウジング５０の上側の側面と同じ位置に形成されてもよい。このとき、ハウジング５０は、下側が薄く、上側が厚い２段の構成となる。このように、ハウジング５０は、裏面における左右両側に、下方を向く面（突起部の下面）が形成されることが好ましい。これによって、ユーザは、当該面に指を当てることで楽に操作装置を把持することができる。なお、上記「下方を向く面」は、ハウジング５０の裏面におけるどの位置に形成されてもよいが、ハウジング５０の中央よりも上側に位置することが好ましい。
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の上側の面における左右の両側にそれぞれ設けられる。本実施形態では、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、左上側の側面から露出している（換言すれば上側および左側の両方の側面から露出している）。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、右上側の側面から露出している（換言すれば上側および右側の両方の側面から露出している）。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図１０参照）。なお、他の実施形態においては、ハウジング５０の上側の面における左右にそれぞれ設けられる操作部は、左右の端部に設けられる必要はなく、端部以外の位置に設けられてもよい。また、ハウジング５０の左右の側面に操作部がそれぞれ設けられてもよい。
また、図８の（ｃ）図および図９に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上記突起部（庇部５９）に配置される。第２Ｌボタン５４Ｋは、庇部５９の左端付近に設けられる。第２Ｒボタン５４Ｌは、庇部５９の右端付近に設けられる。つまり、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの（概ね）反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの（概ね）反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指または人差し指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指または人差し指で操作可能な位置に配置される（図１０および図１１参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記庇部５９の上面に設けられる。そのため、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上方（斜め上方）を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指または人差し指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。
上記のように、本実施形態においては、ハウジング５０の中央よりも上側において表示部（ＬＣＤ５１）の左右に操作部（アナログスティック５３Ａおよび５３Ｂ）がそれぞれ設けられ、さらに、ハウジング５０の裏側において当該操作部の反対側の位置に別の操作部（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）がそれぞれ設けられる。これによれば、上記操作部と別の操作部とがハウジング５０の表側と裏側との互いに対向する位置に配置されるので、ユーザは、これらの操作部を操作する際にハウジング５０を表側と裏側から挟むように把持することができる。また、これらの操作部を操作する際にユーザは、ハウジング５０における上下方向の中心よりも上側を把持するので、端末装置７を上側で把持できるとともに、手のひらで端末装置７を支えることができる（図１０および図１１参照）。以上によって、ユーザは、少なくとも４つの操作部を操作することができる状態で、ハウジング５０を安定的に把持することができ、ユーザが容易に把持することが可能で、かつ操作性の良い操作装置（端末装置７）を提供することができる。
以上のように、本実施形態においては、突起部（庇部５９）の下面に指を当てた状態で端末装置７を把持することによって、ユーザは楽に端末装置７を把持することができる。また、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。ユーザは、例えば次のような持ち方で端末装置７を容易に把持することができる。
すなわち、ユーザは、図１０に示すように、薬指を庇部５９の下面（図１０に示す一点鎖線）に当てて（薬指で庇部５９を支えるように）端末装置７を把持することも可能である。このとき、ユーザは、４つのボタン（第１Ｌボタン５４Ｉ、第１Ｒボタン５４Ｊ、第２Ｌボタン５４Ｋ、および第２Ｒボタン５４Ｌ）を人差し指および中指で操作することができる。例えば、要求されるゲーム操作が、使用するボタンが多く、比較的複雑である場合には、図１０に示すように把持することで、多くのボタンを容易に操作することができる。なお、各アナログスティック５３Ａおよび５３Ｂは十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈの上側に設けられるので、比較的複雑な操作が要求される場合にユーザは親指でアナログスティック５３Ａおよび５３Ｂを操作することができ、好都合である。また、図１０においては、ユーザは、ハウジング５０の表面に親指を、ハウジング５０の上面に人差し指を、ハウジング５０の裏面における庇部５９の上面に中指を、庇部５９の下面に薬指を、ハウジング５０の裏面に小指を当てて端末装置７を把持する。このように、ユーザは、ハウジング５０を四方から包み込むようにして端末装置７をしっかりと把持することができる。
また、ユーザは、図１１に示すように、中指を庇部５９の下面（図１１に示す一点鎖線）に当てて端末装置７を把持することも可能である。このとき、ユーザは、２つのボタン（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を人差し指で容易に操作することができる。例えば、要求されるゲーム操作が、使用するボタンが少なく、比較的単純である場合には、図１１に示すように把持してもよい。図１１においては、ユーザは、２本の指（薬指および小指）でハウジング５０の下側を把持することができるので、しっかりと端末装置７を把持することができる。
なお、本実施形態においては、庇部５９の下面が、各アナログスティック５３Ａおよび５３Ｂと、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈとの間に位置するように（各アナログスティック５３Ａおよび５３Ｂよりも下方で、かつ、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈよりも上方に位置するように）設けられる。したがって、薬指を庇部５９に当てて端末装置７を把持する場合（図１０）には、各アナログスティック５３Ａおよび５３Ｂを親指で操作しやすくなり、中指を庇部５９に当てて端末装置７を把持する場合（図１１）には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈを親指で操作しやすくなっている。つまり、上記２種類の場合のいずれにおいても、ユーザは、端末装置７をしっかりと把持した状態で方向入力操作を行うことができる。
また、上述のように、ユーザは端末装置７を縦持ちで把持することも可能である。すなわち、図１２に示すように、ユーザは端末装置７の上辺を左手で把持することで端末装置７を縦向きで把持することが可能である。また、図１３に示すように、ユーザは端末装置７の下辺を左手で把持することで端末装置７を縦向きで把持することが可能である。なお、図１２および図１３では端末装置７を左手で把持する場合を示しているが、右手で把持することも可能である。このように、ユーザは端末装置７を片手で把持することが可能であるので、例えば、一方の手で端末装置７を把持しながら他方の手でタッチパネル５２に対する入力を行うといった操作を行うことも可能である。
また、図１２に示す持ち方で端末装置７を把持する場合、ユーザは親指以外の指（図１２にでは中指、薬指および小指）を庇部５９の下面（図１２に示す一点鎖線）に当てることで、端末装置７をしっかりと把持することができる。特に、本実施形態においては、庇部５９が左右に（図１２では上下に）延びて形成されているので、ユーザは端末装置７の上辺におけるどこの位置で把持しても、親指以外の指を庇部５９に当てることができ、端末装置７をしっかりと把持することができる。すなわち、端末装置７を縦持ちで使う場合には、庇部５９は取っ手として使うことができる。一方、図１３に示す持ち方で端末装置７を把持する場合、ユーザは、左手でボタン５４Ｂ〜５４Ｄを操作することができる。したがって、例えば片手でタッチパネル５２に対する入力を行いつつ、端末装置７を把持する手でボタン５４Ｂ〜５４Ｄに対する操作を行うことができ、より多くの操作を行うことができる。
なお、本実施形態における端末装置７に関しては、突起部（庇部５９）が裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面がやや傾いた状態となる。これによって、端末装置７を載置した状態において画面がより見やすくなる。また、端末装置７を載置した状態においてタッチパネル５２に対する入力操作が行いやすくなる。また、他の実施形態においては、上記庇部５９と同程度の高さを有する追加の突起部がハウジング５０の裏面に形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では、各突起部が床面に接することで、画面が水平になるように端末装置７を載置することができる。また、追加の突起部を着脱可能な（または折り畳み可能な）ものにしてもよい。これによれば、画面がやや傾いた状態と、画面が水平になる状態との両方で端末装置を載置することができる。すなわち、端末装置７を置いて使う場合には、庇部５９は、脚部として使うことができる。
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンを有していてもよい。
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部５５をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ５５Ａおよび５５Ｂを構成する赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。本実施形態においては、カメラ５６は、２つのマーカ５５Ａおよび５５Ｂの間に配置される。
なお、端末装置７は、音声入力手段であるマイク６９を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク６９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイク６９は、ユーザの音声等、端末装置７の周囲の音を検出する。
端末装置７は、音声出力手段であるスピーカ７７を備えている。図８の（ｄ）図に示すように、ハウジング５０の表面の下側にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。なお、端末装置７は、スピーカ７７の音量を調節するためのつまみ６４を備える。また、端末装置７は、イヤホン等の音声出力部を接続するための音声出力端子６２を備える。ここでは、ハウジングの下側の側面に付加装置が接続されることを考慮して、上記音声出力端子６２およびつまみ６４はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
また、ハウジング５０には、赤外線通信モジュール８２からの赤外線信号を端末装置７の外部に出射するための窓６３が設けられる。ここでは、ＬＣＤ５１の両側を把持した場合にユーザの前方へ赤外線信号が発射されるように、窓６３はハウジング５０の上側の側面に設けられる。ただし、他の実施形態においては、窓６３は、例えばハウジング５０の裏面等、どの位置に設けられてもよい。
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。拡張コネクタ５８は、端末装置７に接続される他の装置との間でデータ（情報）を送受信するための通信端子である。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の付加装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。付加装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。拡張コネクタ５８には、付加装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
また、端末装置７は、拡張コネクタ５８とは別に、付加装置から電力を取得するための充電端子６６を有する。後述するスタンド２１０に充電端子６６が接続された場合、スタンド２１０から端末装置７へ電力が供給される。本実施形態では、充電端子６６はハウジング５０の下側側面に設けられる。したがって、端末装置７と付加装置（例えば図１５に示す入力装置２００または図１７に示す入力装置２２０）とが接続される際には、拡張コネクタ５８を介して情報を送受信することに加えて、一方から他方への電力供給を行うことも可能である。このように、拡張コネクタ５８の周囲（左右両側）に充電端子６６を設けることによって、端末装置７と付加装置とが接続される際に、情報の送受信とともに、電力供給を行うことも可能である。また、端末装置７は充電コネクタを有し、ハウジング５０は充電コネクタを保護するためのカバー部６１を有する。充電コネクタは、後述する充電器８６に接続可能であり、充電器に充電コネクタが接続された場合、充電器８６から端末装置７へ電力が供給される。本実施形態では、ハウジングの下側の側面に付加装置が接続されることを考慮して、充電コネクタ（カバー部６１）はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
また、端末装置７は、ハウジング５０に対して着脱可能な電池蓋６７を有している。電池蓋６７の内側には電池（図１４に示す電池８５）が配置される。本実施形態においては、電池蓋６７はハウジング５０の裏側に設けられ、突起部（庇部５９）の下側に設けられる。
また、端末装置７のハウジング５０には、ストラップの紐を結びつけるための孔６５ａおよび６５ｂが設けられる。図８（ｄ）に示すように、本実施形態においては、孔６５ａおよび６５ｂはハウジング５０の下面に設けられる。また、本実施形態においては、２つの孔６５ａおよび６５ｂがハウジング５０の左右両側にそれぞれ１つずつ設けられる。すなわち、孔６５ａがハウジング５０の下面の中央より左側に設けられ、孔６５ｂがハウジング５０の下面の中央より右側に設けられる。ユーザは、孔６５ａおよび６５ｂのいずれかにストラップを結びつけ、ストラップを自身の手首に結びつけてもよい。これによって、万一ユーザが端末装置７を落としたり、端末装置７が手から離れたりした場合でも、端末装置７が落下したり他の物に衝突したりすることを防止することができる。なお、本実施形態においては、左右両側にそれぞれ孔が設けられるので、ユーザは、どちらの手にもストラップを結びつけることができ、便利である。
なお、図８〜図１３に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
次に、図１４を参照して、端末装置７の内部構成について説明する。図１４は、端末装置７の内部構成を示すブロック図である。図１４に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ７１、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、ユーザインタフェースコントローラ（ＵＩコントローラ）７５、コーデックＬＳＩ７６、スピーカ７７、サウンドＩＣ７８、マイク７９、無線モジュール８０、アンテナ８１、赤外線通信モジュール８２、フラッシュメモリ８３、電源ＩＣ８４、および電池８５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
ＵＩコントローラ７５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ７５は、タッチパネルコントローラ７１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４に接続される。また、ＵＩコントローラ７５は、コーデックＬＳＩ７６と拡張コネクタ５８に接続される。また、ＵＩコントローラ７５には電源ＩＣ８４が接続され、ＵＩコントローラ７５を介して各部に電力が供給される。電源ＩＣ８４には内蔵の電池８５が接続され、電力が供給される。また、電源ＩＣ８４には、外部電源から電力を取得可能な充電器８６またはケーブルを充電コネクタを介して接続することが可能であり、端末装置７は、当該充電器８６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うことも可能である。すなわち、図示しないが、電源ＩＣ８４には、外部電源から電力を取得可能なクレイドル（図２０に示すスタンド２１０）を充電端子６６を介して接続することが可能であり、端末装置７は、クレイドルを用いて外部電源からの電力供給と充電を行うことができる。
タッチパネルコントローラ７１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ７１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ７５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ７１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ７５からタッチパネルコントローラ７１へは、タッチパネル５２に対する各種の制御指示が出力される。
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ７５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ７５へ出力する。
磁気センサ７２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から磁気センサ７２へは、磁気センサ７２に対する制御指示が出力される。磁気センサ７２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
加速度センサ７３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ７３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の表面に対して垂直な方向をｙ軸、ハウジング５０の短辺方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から加速度センサ７３へは、加速度センサ７３に対する制御指示が出力される。加速度センサ７３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ７３は１軸または２軸方向を検出する加速度センサであってもよい。
ジャイロセンサ７４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５からジャイロセンサ７４へは、ジャイロセンサ７４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ７４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ７４は１軸または２軸方向を検出するジャイロセンサであってもよい。
ＵＩコントローラ７５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ７６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
コーデックＬＳＩ７６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ７６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ７８、無線モジュール８０、フラッシュメモリ８３、および赤外線通信モジュール８２が接続される。また、コーデックＬＳＩ７６はＣＰＵ８７と内部メモリ８８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ８３に格納されたプログラムを内部メモリ８８に読み出してＣＰＵ８７が実行することで、端末装置７が起動する。また、内部メモリ８８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ７６へ出力する。また、コーデックＬＳＩ７６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ７６へ繰り返し出力することも可能である。
サウンドＩＣ７８は、スピーカ７７およびマイク７９に接続され、スピーカ７７およびマイク７９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ７６から音声データを受け取った場合、サウンドＩＣ７８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ７７へ出力し、スピーカ７７から音を出力させる。また、マイク７９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ７８へ出力する。サウンドＩＣ７８は、マイク７９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ７６へ出力する。
コーデックＬＳＩ７６は、カメラ５６からの画像データ、マイク７９からの音声データ、および、ＵＩコントローラ７５からの操作データを、端末操作データとして無線モジュール８０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ７６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール８０に出力される。無線モジュール８０にはアンテナ８１が接続されており、無線モジュール８０はアンテナ８１を介してゲーム装置３へ上記送信データを送信する。無線モジュール８０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール８０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール８２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ７６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ８１および無線モジュール８０を介してコーデックＬＳＩ７６に受信される。コーデックＬＳＩ７６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。つまり、コーデックＬＳＩ７６（ＣＰＵ８７）は、受信された画像データを表示部に表示させる。また、伸張された音声データはサウンドＩＣ７８へ出力され、サウンドＩＣ７８はスピーカ７７から音を出力させる。
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ７６およびＵＩコントローラ７５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ７１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール８２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
また、端末装置７は、カメラ５６およびマイク７９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク７９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
（付加装置の構成）
次に、図１５〜図２０を参照して、端末装置７に装着（接続）可能な付加装置の例について説明する。付加装置は、どのような機能を有するものであってもよく、例えば、所定の操作を行うために端末装置７に装着される追加の操作装置であってもよいし、端末装置７に対して給電を行う充電器であってもよいし、端末装置７を所定の姿勢にして立てるためのスタンドであってもよい。
図８（ｄ）および図９に示すように、突起部（庇部５９）の下面には、付加装置が有する爪部が係止可能な係止穴５９ａおよび５９ｂが設けられる。係止穴５９ａおよび５９ｂは、端末装置７に他の付加装置を接続する際に用いられる。すなわち、付加装置は係止穴５９ａおよび５９ｂに係止可能な爪部を有し、端末装置７に付加装置を接続する場合には、爪部が係止穴５９ａおよび５９ｂに係止することによって端末装置７と付加装置とが固定される。また、係止穴５９ａおよび５９ｂの内部に、さらにネジ穴を設けてもよく、付加装置をネジで強固に固定するようにしてもよい。なお、ここでは、端末装置７の裏面に設けられる突起部は、庇状の形状を有する庇部５９である。すなわち、庇部５９は左右方向に延びて設けられる。図９に示すように、係止穴５９ａおよび５９ｂは、庇部５９の下面の（左右方向に関して）中央付近に設けられる。なお、庇部５９の下面に設けられる係止穴５９ａおよび５９ｂの個数はいくつであってもよいが、１つである場合には庇部５９の中央に設けられることが好ましく、複数である場合には左右対称に配置されることが好ましい。これによれば、左右のバランスを均等に保って付加装置を安定的に接続することができる。また、係止穴が中央付近に設けられる場合には、左右の両端に設けられる場合に比べて、付加装置のサイズを小さくすることができる。すなわち、庇部５９は、付加装置の係止部材として使うことができる。
また、本実施形態においては、図８（ｄ）に示すように、ハウジング５０の下面に係止穴５０ａおよび５０ｂが設けられる。したがって、端末装置７に付加装置を接続する場合には、４つの爪部が４つの各係止穴にそれぞれ係止することによって端末装置７と付加装置とが固定される。これによって、付加装置を端末装置７により強固に接続することができる。なお、係止穴５０ａおよび５０ｂの内部にもネジ穴を設け、付加装置をネジ止めするようにしてもよい。また、他の実施形態においては、ハウジングに設けられる係止穴は、どのような配置であってもよい。
図１５および図１６は、端末装置７に付加装置を装着した一例を示す図である。図１５は、端末装置７の表面側から端末装置７および入力装置２００を見た図であり、図１６は、端末装置７の裏面側から端末装置７および入力装置２００を見た図である。図１５および図１６においては、付加装置の一例である入力装置２００が端末装置７に装着されている。
入力装置２００は、第１グリップ部２００ａと第２グリップ部２００ｂとを備えている。各グリップ部２００ａおよび２００ｂは、それぞれ、棒状（柱状）の形状であり、ユーザが片手で把持可能である。ユーザは、各グリップ部２００ａおよび２００ｂのいずれか一方のみを把持して入力装置２００（および端末装置７）を使用することも、両方を把持して入力装置２００を使用することも可能である。なお、入力装置２００は、グリップ部を１つのみ備える構成であってもよい。また、入力装置２００は、支持部２０５を備えている。本実施形態においては、支持部２０５は、端末装置７の背面（裏面）を支持する。具体的には、支持部２０５は４つの爪部（凸部）を有し、４つの爪部は、それぞれ係止穴５０ａ、５０ｂ、５９ａおよび５９ｂにそれぞれ係止可能である。
図１５に示すように、端末装置７に入力装置２００を接続する場合には、４つの爪部が上記４つの係止穴５０ａ、５０ｂ、５９ａおよび５９ｂにそれぞれ係止することによって端末装置７と付加装置とが固定される。これによって、入力装置２００を端末装置７に強固に固定することができる。なお、他の実施形態においては、爪部と係止穴との係止に加えて（または係止に代えて）、入力装置２００と端末装置７とをネジ止めする等によって、端末装置７に入力装置２００がより強固に固定されてもよい。なお、ネジ止めの位置は、どこであってもよいが、例えば、ハウジング５０の背面に当接する入力装置２００の支持部２０５と、庇部５９とがネジ止めされてもよい。
このように、本実施形態においては、係止穴５９ａおよび５９ｂによって付加装置を端末装置７にしっかりと固定することができる。なお、端末装置７は、端末装置７の動きや傾きを検出するためのセンサ（磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４）を有しているので、端末装置７自体を動かして使用することも可能である。例えば、図１５および図１６に示した入力装置２００を端末装置７に接続する場合には、ユーザが入力装置２００のグリップ部２００ａおよび／または２００ｂを持って、入力装置２００を銃のように動かして操作する態様も可能である。本実施形態のように、端末装置７自体を動かして使用することが想定される場合には、係止穴５９ａおよび５９ｂによって付加装置をしっかりと固定することが特に有効である。
また、本実施形態においては、支持部２０５は、第１グリップ部２００ａ（または第２グリップ部２００ｂ）が鉛直方向を向く場合にＬＣＤ５１の画面が略鉛直向きとなるように端末装置７を着脱可能に支持する。各グリップ部２００ａおよび２００ｂは、入力装置２００に接続された端末装置７の表示部（ハウジング５０の表面）と略平行となるように形成される。換言すれば、各グリップ部２００ａおよび２００ｂは、入力装置２００に接続された端末装置７の表示部の上下方向を向くように形成される。このように、入力装置２００は、（ユーザが入力装置２００を把持した場合に）端末装置７の表示部がユーザの方を向く姿勢で端末装置７と接続される。ユーザは、各グリップ部２００ａおよび２００ｂ（の少なくともいずれか）を略鉛直にして把持することで、表示部の画面を自分の方を向けることができるので、表示部の画面を見ながら入力装置２００を用いて操作を行うことができる。なお、本実施形態においては、第２グリップ部２００ｂは、第１グリップ部２００ａと略平行な方向を向くが、他の実施形態においては、少なくとも１つのグリップ部がＬＣＤ５１の画面と略平行な向きに形成されてもよい。これによって、ユーザは、当該グリップ部を掴むことで、ＬＣＤ５１が自分の方を向くようにして入力装置２００（および端末装置７）を容易に把持することができる。
また、上記実施形態では、支持部２０５は、第１グリップ部２００ａと第２グリップ部２００ｂとを接続する接続部材２０６に設けられる。つまり、支持部２０５は２つのグリップ部２００ａおよび２００ｂの間に設けられるので、入力装置２００に接続された端末装置７は、２つのグリップ部２００ａおよび２００ｂの間に配置される。このとき、端末装置７と入力装置２００とからなる操作装置（操作システム）の重心は２つのグリップ部２００ａおよび２００ｂの間となるので、ユーザは２つのグリップ部２００ａおよび２００ｂを掴んで把持することによって操作装置を楽に把持することができる。なお、上記実施形態では、一方のグリップ部（第１グリップ部２００ａ）は、入力装置２００に装着された端末装置７の画面の前側となる位置に設けられ、他方のグリップ部（第２グリップ部２００ｂ）は、当該画面の後側となる位置に設けられる。そのため、ユーザは、一方の手を画面の前方にし、他方の手を画面の後方にして、銃を持つような持ち方で２つのグリップを把持することで、容易に操作装置を把持することができる。したがって、例えば上記操作装置を銃に見立ててゲーム操作を行う射撃ゲーム等において上記操作装置が特に好適である。
また、入力装置２００は、操作部として、第１ボタン２０１、第２ボタン２０２、第３ボタン２０３、およびスティック２０４を備えている。各ボタン２０１〜２０３は、それぞれユーザによって押下可能なボタン（キー）である。スティック２０４は、方向を指示することが可能なデバイスである。上記操作部は、ユーザがグリップ部を把持した場合に把持した手の指で操作可能な位置に設けられることが好ましい。本実施形態においては、第１ボタン２０１と第２ボタン２０２とスティック２０４は、第１グリップ部２００ａを把持した手の親指で操作可能な位置に設けられる。また、第３ボタン２０３は、第２グリップ部２００ｂを把持した手の人差し指で操作可能な位置に設けられる。
なお、入力装置２００は、撮像装置（撮像部）を備えていてもよい。例えば、入力装置２００は、上記コントローラ５が備える撮像情報演算部３５と同様の構成を備えていてもよい。このとき、撮像情報演算部の撮像素子は、入力装置２００の前方（端末装置７の画面の後方）を撮像する向きに設けられてもよい。例えば、赤外線フィルタが第３ボタン２０３に代えて第３ボタン２０３の位置に配置され、その内側に撮像素子が配置されてもよい。これによれば、ユーザが入力装置２００の前方をテレビ２（マーカ装置６）に向けて使用することで、ゲーム装置３は入力装置２００の向きや位置を算出することができる。したがって、ユーザは、入力装置２００を所望の方向へ向ける操作を行うことができ、入力装置２００を用いて直感的かつ容易な操作を行うことができる。また、入力装置２００は、撮像情報演算部に代えて、カメラ５６と同様のカメラを備える構成であってもよい。このとき、カメラは、上記撮像素子と同様、入力装置２００の前方を撮像する向きに設けられてもよい。これによれば、ユーザが入力装置２００の前方をテレビ２（マーカ装置６）に向けて使用することで、端末装置７のカメラ５６とは反対向きの撮像方向で画像を撮像することができる。
また、入力装置２００は、図示しないコネクタを備えており、コネクタは、端末装置７が入力装置２００に装着された場合に端末装置７の拡張コネクタ５８と接続される。これによって、入力装置２００と端末装置７との間でデータの送受信が可能となる。例えば、入力装置２００に対する操作を表すデータや、上記撮像装置による撮像結果を表すデータが端末装置７へ送信されてもよい。このとき、端末装置７は、端末装置７に対して行われた操作を表す操作データと、入力装置から送信されてきたデータとをゲーム装置３へ無線で送信してもよい。また、入力装置２００は、端末装置７が入力装置２００に装着された場合に端末装置７の充電端子６６と接続される充電端子を備えていてもよい。これによれば、端末装置７が入力装置２００に装着された場合に、一方の装置から他方の装置へ電力を供給することができる。例えば、入力装置２００が充電器に接続され、端末装置７は入力装置２００を介して充電器から電力を取得することによって充電が行われてもよい。
なお、入力装置２００は、例えば次のような構成であってもよい。図１７は、入力装置の他の例を示す図である。また、図１８および図１９は、図１７に示す入力装置２２０を端末装置７に装着した様子を示す図である。図１８は、端末装置７の裏面側から端末装置７および入力装置２２０を見た図であり、図１９は、端末装置７の表面側から端末装置７および入力装置２２０を見た図である。端末装置７には、例えば図１７に示す入力装置２２０を装着することも可能である。以下、入力装置２２０について説明する。なお、図１７〜図２０において、図１５および図１６に示す入力装置２００の構成要素に対応する構成要素については図１５および図１６と同じ参照符号を付し、詳細な説明を省略する。
図１７に示すように、入力装置２２０は、入力装置２００と同様の第１グリップ部２００ａと第２グリップ部２００ｂとを備えている。したがって、ユーザは、各グリップ部２００ａおよび２００ｂのいずれか一方のみを把持して入力装置２２０（および端末装置７）を使用することも、両方を把持して入力装置２２０を使用することも可能である。
また、入力装置２２０は、入力装置２００と同様の支持部２０５を備えている。支持部２０５は入力装置２００の支持部と同様、４つの爪部（図１７では３つの爪部２０５ａ〜２０５ｃのみ図示されている）を有する。各爪部のうち上側の２つの爪部２０５ａおよび２０５ｂは、端末装置７の係止穴５９ａおよび５９ｂにそれぞれ係止可能である。残りの下側の２つの爪部は、端末装置７の係止穴５０ａおよび５０ｂにそれぞれ係止可能である。なお、図示されない爪部は、左右方向（支持部２０５に装着される端末装置７の左右方向）に関して爪部２０５ｃと対称な位置に設けられている。
図１８および図１９に示すように、端末装置７に入力装置２２０を接続する場合には、４つの爪部が上記４つの係止穴５０ａ、５０ｂ、５９ａおよび５９ｂにそれぞれ係止することによって端末装置７と入力装置２２０とが固定される。これによって、入力装置２２０を端末装置７に強固に固定することができる。なお、他の実施形態においては、爪部と係止穴との係止に加えて（または係止に代えて）、入力装置２２０と端末装置７とをネジ止めする等によって、端末装置７に入力装置２２０がより強固に固定されてもよい。例えば、係止穴５０ａおよび５０ｂの内部にネジ穴を設け、上記下側の２つの爪部を係止穴５０ａおよび５０ｂにネジ止めするようにしてもよい。また、ネジ止めの位置はどこであってもよい。
以上のように、入力装置２２０に関しても入力装置２００と同様、端末装置７にしっかりと固定することができる。
また、入力装置２２０に関しても入力装置２００と同様、支持部２０５は、第１グリップ部２００ａ（または第２グリップ部２００ｂ）が鉛直方向を向く場合にＬＣＤ５１の画面が略鉛直向きとなるように端末装置７を着脱可能に支持する。各グリップ部２００ａおよび２００ｂは、入力装置２２０に接続された端末装置７の表示部（ハウジング５０の表面）と略平行となるように形成される。したがって、ユーザは、各グリップ部２００ａおよび２００ｂ（の少なくともいずれか）を略鉛直にして把持することで、表示部の画面を自分の方を向けることができ、表示部の画面を見ながら入力装置２００を用いて操作を行うことができる。また、入力装置２２０に関しても入力装置２００と同様、支持部２０５はグリップ部よりも上方で端末装置７を支持するので、グリップ部を把持することでユーザにとって画面が見やすい配置となる。なお、他の実施形態においては、少なくとも１つのグリップ部がＬＣＤ５１の画面と略平行な向きに形成されてもよい。
入力装置２２０においては、接続部の形状が入力装置２００とは異なっている。図１７に示す接続部２０９は、第１グリップ部２００ａの上側と下側との２箇所に接続されるとともに、第２グリップ部２００ｂの上側（上端）に接続されている。また、入力装置２２０に関しても入力装置２００と同様、接続部２０９は、第２グリップ部２００ｂよりも前方に突出して形成されている。入力装置２２０に関しても入力装置２００と同様、支持部２０５は、第１グリップ部２００ａと第２グリップ部２００ｂとを接続する接続部材２０９に設けられる。したがって、ユーザは２つのグリップ部２００ａおよび２００ｂを掴んで把持することによって操作装置を楽に把持することができる。
また、接続部２０９は、支持部２０５との接続部分から下方に延びる部材を有している。この部材は、支持部２０５に接続された端末装置７のＬＣＤ５１の画面が略鉛直向きとなる場合に、略鉛直方向に延びる向きとなる。つまり、上記部材は、各グリップ部２００ａおよび２００ｂと略並行な向きとなる。したがって、ユーザは、上記部材をグリップ部として把持する場合にも、上記部材を略鉛直にして把持することで、ＬＣＤ５１の画面を見ながら入力装置２００を用いて操作を行うことができる。また、上記部材は支持部２０５の下方に配置されるので、上記部材を把持することでユーザにとって画面が見やすい配置となる。
入力装置２２０に関しても入力装置２００と同様、一方のグリップ部（第１グリップ部２００ａ）は、入力装置２２０に装着された端末装置７の画面の前側となる位置に設けられ、他方のグリップ部（第２グリップ部２００ｂ）は、当該画面の後側となる位置に設けられる。そのため、入力装置２００と同様、入力装置２２０は、銃を持つような持ち方で容易に把持することができ、操作装置を銃に見立ててゲーム操作を行う射撃ゲーム等において特に好適である。
また、入力装置２２０は、操作部として、入力装置２００と同様の第２ボタン２０２およびスティック２０４の他、第４ボタン２０７を備えている。第２ボタン２０２およびスティック２０４は、入力装置２００と同様、第１グリップ部２００ａの上側に設けられる。第４ボタン２０７は、ユーザによって押下可能なボタン（キー）である。第４ボタン２０７は、第２グリップ部２００ｂの上側に設けられる。つまり、第４ボタン２０７は、第２グリップ部２００ｂを把持した手の人差し指等で操作可能な位置に設けられる。
入力装置２２０は、撮像素子（撮像装置）を備えている。ここでは、入力装置２２０は、上記コントローラ５が備える撮像情報演算部３５と同様の構成を備えている。撮像情報演算部の撮像素子は、入力装置２２０の前方（端末装置７の画面の後方）を撮像する向きに設けられる。具体的には、入力装置２２０の前端部（接続部２０６の前端部）に窓部（赤外線フィルタ）２０８が設けられ、撮像素子は、窓部２０８の内側に設けられ、窓部２０８から前方を撮像する向きに設けられる。以上によれば、ユーザが入力装置２２０の前方をテレビ２（マーカ装置６）に向けて使用することで、ゲーム装置３は入力装置２２０の向きや位置を算出することができる。したがって、ユーザは、入力装置２２０を所望の方向へ向ける操作を行うことができ、入力装置２２０を用いて直感的かつ容易な操作を行うことができる。
なお、入力装置２２０は、撮像情報演算部に代えて、カメラ５６と同様のカメラを備える構成であってもよい。これによれば、ユーザが入力装置２２０の前方をテレビ２（マーカ装置６）に向けて使用することで、端末装置７のカメラ５６とは反対向きの撮像方向で画像を撮像することができる。
入力装置２２０は入力装置２００と同様、図示しないコネクタを備えており、コネクタは、端末装置７が入力装置２２０に装着された場合に端末装置７の拡張コネクタ５８と接続される。これによって、入力装置２２０と端末装置７との間でデータの送受信が可能となる。したがって、入力装置２２０に対する操作を表すデータ、および、上記撮像装置による撮像結果を表すデータは、端末装置７を介してゲーム装置３へ送信されてもよい。また、他の実施形態においては、入力装置２２０がゲーム装置３と通信を直接行う構成としてもよい。すなわち、入力装置２２０に対する操作を表すデータは、例えばコントローラ５とゲーム装置３との間の無線通信と同様、Ｂｌｕｅｔｏｏｔｈ（登録商標）の技術等を用いて、入力装置２２０からゲーム装置３へ直接送信されてもよい。このとき、端末装置７に対して行われた操作を表す操作データは、端末装置７からゲーム装置３へ送信される。また、入力装置２２０は入力装置２００と同様、端末装置７が入力装置２２０に装着された場合に端末装置７の充電端子６６と接続される充電端子を備えていてもよい。
また、他の実施形態においては、端末装置７と入力装置２００（または入力装置２２０）とが一体となった操作装置が提供されてもよい。この場合、端末装置７における各係止穴５０ａ、５０ｂ、５９ａおよび５９ｂや、入力装置２００における爪部等、端末装置７と入力装置２００とを着脱可能に接続するための機構は不要である。
図２０は、端末装置７に付加装置を接続した他の一例を示す図である。図２０においては、付加装置の一例であるスタンド２１０に端末装置７が接続（装着）されている。スタンド２１０は、端末装置７を所定の角度に立てて載置（支持）するための支持装置である。スタンド２１０は、支持部材２１１と、充電端子２１２と、ガイド部材２１３ａおよび２１３ｂとを備えている。
本実施形態においては、スタンド２１０は、充電器としての機能も有しており、充電端子２１２を有する。充電端子２１２は、端末装置７の充電端子６６と接続可能な端子である。なお、本実施形態においては各充電端子６６および２１２は金属端子であるが、一方が他方に接続可能な形状を有するコネクタであってもよい。端末装置７がスタンド２１０に接続された場合には、スタンド２１０の充電端子２１２と端末装置７の充電端子６６とが接触し、スタンド２１０から端末装置７に電力が供給され、充電を行うことができる。
支持部材２１１は、端末装置７の裏面を所定の角度で支持するためのものである。支持部材２１１は、端末装置７の端子（充電端子６６）とスタンド２１０の端子（充電端子２１２）とが接続される場合にハウジング５０の所定面（ここでは裏面）を支える。図２０に示すように、支持部材２１１は、壁部２１１ａと溝部２１１ｂとを有している。支持部材２１１は、壁部２１１ａによって、ハウジング５０の裏面が所定の支持面（ここでは、壁部２１１ａによって形成される面）に沿って載置されるようにハウジング５０を支持する。また、溝部２１１ｂは、端末装置７とスタンド２１０とが接続される場合にハウジング５０の一部（下側部分）が挿入される部分である。そのため、溝部２１１ｂは、ハウジング５０の上記一部の形状に概ね適合するように形成される。溝部２１１ｂは、上記支持面と平行な方向に延びる。
また、ガイド部材２１３ａおよび２１３ｂは、端末装置７の第２係止穴５０ａおよび５０ｂに挿入可能であり、スタンド２１０に対して端末装置７が接続される位置を決めるためのものである。各ガイド部材２１３ａおよび２１３ｂは、端末装置７の係止穴５０ａおよび５０ｂに対応する位置に設けられる。つまり、各ガイド部材２１３ａおよび２１３ｂは、端末装置７とスタンド２１０とが正しく接続される場合に係止穴５０ａおよび５０ｂに挿入される位置に設けられる。なお、端末装置７とスタンド２１０とが正しく接続される場合とは、スタンド２１０の充電端子２１２と端末装置７の充電端子６６とが接続される場合である。また、ガイド部材２１３ａおよび２１３ｂは、その一部が溝部２１１ｂの底面から突出するように設けられる。つまり、ガイド部材２１３ａおよび２１３ｂは、その一部が支持部材２１１の表面から上方に向けて突出するように設けられる。端末装置７がスタンド２１０に接続された場合には、ガイド部材２１３ａおよび２１３ｂの一部がそれぞれ係止穴５０ａおよび５０ｂに挿入された状態となる。
本実施形態においては、各ガイド部材２１３ａおよび２１３ｂはそれぞれ、回転可能な車輪部材（ローラー部）である。各ガイド部材２１３ａおよび２１３ｂは、所定方向に回転可能である。ここでは、所定方向とは、（水平方向であって）上記支持面と平行な方向であり、換言すれば、端末装置７がスタンド２１０に接続された場合における端末装置７の左右方向である。ガイド部材は、少なくとも所定方向に回転可能な回転部材であればよい。例えば、他の実施形態においては、ガイド部材は、球状の凹部によって回転可能に支持される球体であってもよい。また、本実施形態においては、ガイド部材の数は２つであるが、端末装置７の下面に設けられる係止穴の数に応じた数のガイド部材が設けられてもよく、スタンド２１０はガイド部材を１つのみ備えていてもよいし、３つ以上備えていてもよい。
端末装置７がスタンド２１０に接続される場合には、端末装置７の裏面が支持部材２１１に当接することによって、端末装置７が所定の角度でスタンド２１０上に載置される。すなわち、ハウジング５０の下側の一部が溝部２１１ｂに挿入され、壁部２１１ａがハウジング５０の裏面を支えることによって、端末装置７が所定の角度でスタンド２１０上に載置される。したがって、本実施形態においては、上記所定方向に垂直な方向に関しては、支持部材２１１によって端末装置７の位置が正しい位置に決められる。
ここで、端末装置７がスタンド２１０に接続される際、端末装置７とスタンド２１０とが正しい位置関係にない場合には、各ガイド部材２１３ａおよび２１３ｂによって端末装置７の位置が修正されて接続される。すなわち、上記所定方向に関して係止穴５０ａおよび５０ｂがガイド部材２１３ａおよび２１３ｂからずれている場合には、係止穴５０ａおよび５０ｂの周辺のハウジング５０に各ガイド部材２１３ａおよび２１３ｂが接触する。これに応じて、ガイド部材２１３ａおよび２１３ｂが回転することによって端末装置７が所定方向にスライド移動する。なお、本実施形態では、２つのガイド部材２１３ａおよび２１３ｂが所定方向に並んで設けられるので、端末装置７の下面をガイド部材２１３ａおよび２１３ｂにのみ接触させることができ、端末装置７をよりスムーズに移動させることができる。また、係止穴５０ａおよび５０ｂの周囲に傾斜（凹んでいる傾斜）を設けるようにすれば、端末装置７をよりスムーズに移動させることができる。上記のように端末装置７がスライド移動する結果、ガイド部材２１３ａおよび２１３ｂの各一部が係止穴５０ａおよび５０ｂに挿入された状態となる。これによって、スタンド２１０の充電端子２１２と端末装置７の充電端子６６とが接触し、充電が確実に行われる。
以上のように、ユーザは、端末装置７を正確な位置に載置しなくても、端末装置７をスタンド２１０に容易に接続することができる。本実施形態によれば、スタンド２１０に対する端末装置７の位置決めを、端末装置７の係止穴とスタンド２１０のガイド部材という簡易な構成によって行うことができるので、スタンド２１０を小型で簡易な構成とすることができる。本実施形態においては、端末装置７は比較的大型の可搬型装置であるが、このような大型の可搬型装置であっても、スタンド２１０自体は図２０に示すような小型の構成にすることができる。また、スタンド２１０は、いろいろな形状または大きさの端末装置を接続することができるので、汎用性の高い支持装置を提供することができる。
また、本実施形態においては、係止穴５０ａおよび５０ｂは、付加装置の爪部を係止するための穴として用いられるとともに、ガイド部材を挿入する対象としても用いられる。したがって、端末装置７のハウジング５０に設ける穴の数を少なくすることができ、ハウジング５０の形状を簡易にすることができる。
なお、上記実施形態においては、スタンド２１０のガイド部材が挿入される対象となる穴は、ハウジング５０の下側の側面に設けられる穴（係止穴５０ａおよび５０ｂ）であったが、穴の位置はどこであってもよい。例えば、ハウジング５０の他の側面に穴が設けられてもよいし、ハウジング５０の表面または裏面に穴が設けられてもよい。なお、ガイド部は穴の位置に応じた位置に設けられる必要があるので、ハウジング５０の表面または裏面に穴が設けられる場合には、スタンド２１０のガイド部は例えば壁部２１１ａの位置に設けられてもよい。なお、ハウジング５０の複数の面に穴を設けるようにしてもよく、このとき、端末装置７を様々な向きでスタンド２１０上に載置することができる。
［５．ゲーム処理］
次に、本ゲームシステムにおいて実行されるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる各種データについて説明する。図２１は、ゲーム処理において用いられる各種データを示す図である。図２１において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図２１に示すように、ゲーム装置３のメインメモリには、ゲームプログラム９０、受信データ９１、および処理用データ１０６が記憶される。なお、メインメモリには、図２１に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。
ゲームプログラム９０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム９０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム９０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。
受信データ９１は、コントローラ５および端末装置７から受信される各種のデータである。受信データ９１は、コントローラ操作データ９２、端末操作データ９７、カメラ画像データ１０４、および、マイク音データ１０５を含む。コントローラ５が複数接続される場合には、コントローラ操作データ９２も複数になる。端末装置７が複数接続される場合には、端末操作データ９７、カメラ画像データ１０４、および、マイク音データ１０５も複数になる。
コントローラ操作データ９２は、コントローラ５に対するユーザ（プレイヤ）の操作を表すデータである。コントローラ操作データ９２は、コントローラ５から送信されてゲーム装置３において取得され、メインメモリに記憶される。コントローラ操作データ９２は、第１操作ボタンデータ９３、第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６を含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のコントローラ操作データが記憶されてもよい。
第１操作ボタンデータ９３は、コントローラ５に設けられる各操作ボタン３２ａ〜３２ｉに対する入力状態を表すデータである。具体的には、第１操作ボタンデータ９３は、各操作ボタン３２ａ〜３２ｉが押下されているか否かを表す。
第１加速度データ９４は、コントローラ５の加速度センサ３７によって検出された加速度（加速度ベクトル）を表すデータである。ここでは、第１加速度データ９４は、図３に示すＸＹＺの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
第１角速度データ９５は、コントローラ５におけるジャイロセンサ４８によって検出された角速度を表すデータである。ここでは、第１角速度データ９５は、図３に示すＸＹＺの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。
マーカ座標データ９６、撮像情報演算部３５の画像処理回路４１によって算出される座標、すなわち上記マーカ座標を表すデータである。マーカ座標は、撮像画像に対応する平面上の位置を表すための２次元座標系で表現され、マーカ座標データ９６は、当該２次元座標系における座標値を表す。
なお、コントローラ操作データ９２は、コントローラ５を操作するユーザの操作を表すものであればよく、上記各データ９３〜９６の一部のみを含むものであってもよい。また、コントローラ５が他の入力手段（例えば、タッチパネルやアナログスティック等）を有する場合には、コントローラ操作データ９２は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のようにコントローラ５自体の動きをゲーム操作として用いる場合には、コントローラ操作データ９２は、第１加速度データ９４、第１角速度データ９５、またはマーカ座標データ９６のように、コントローラ５自体の動きに応じて値が変化するデータを含むようにする。
端末操作データ９７は、端末装置７に対するユーザの操作を表すデータである。端末操作データ９７は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。端末操作データ９７は、第２操作ボタンデータ９８、スティックデータ９９、タッチ位置データ１００、第２加速度データ１０１、第２角速度データ１０２、および方位データを含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
第２操作ボタンデータ９８は、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、第２操作ボタンデータ９８は、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。
スティックデータ９９は、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。上記方向および量は、例えば２次元座標や２次元ベクトルとして表されてもよい。
タッチ位置データ１００は、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データ１００は、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データ１００は複数のタッチ位置を表すこともある。
第２加速度データ１０１は、加速度センサ７３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、第２加速度データ１０１は、図８に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
第２角速度データ１０２は、ジャイロセンサ７４によって検出された角速度を表すデータである。本実施形態では、第２角速度データ１０２は、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。
方位データ１０３は、磁気センサ７２によって検出された方位を表すデータである。本実施形態では、方位データ１０３は、端末装置７を基準として所定の方位（例えば北）の向きを表す。ただし、地磁気以外の磁界が発生している場所においては、方位データ１０３は厳密には絶対的な方位（北等）を示さないことになるが、その場所における磁界の方向に対する端末装置７の相対的な方向が示されるので、そのような場合であっても端末装置７の姿勢変化を算出することが可能である。
なお、端末操作データ９７は、端末装置７を操作するユーザの操作を表すものであればよく、上記各データ９８〜１０３のいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ９７は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ９７は、第２加速度データ１０１、第２角速度データ１０２、または方位データ１０３のように、端末装置７自体の動きに応じて値が変化するデータを含むようにする。
カメラ画像データ１０４は、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。カメラ画像データ１０４は、端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
マイク音データ１０５は、端末装置７のマイク７９によって検出された音声（マイク音）を表すデータである。マイク音データ１０５は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
処理用データ１０６は、後述するゲーム処理（図２２）において用いられるデータである。処理用データ１０６は、制御データ１０７、コントローラ姿勢データ１０８、端末姿勢データ１０９、画像認識データ１１０、および音声認識データ１１１を含む。なお、図２１に示すデータの他、処理用データ１０６は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
制御データ１０７は、端末装置７が備える構成要素に対する制御指示を表すデータである。制御データ１０７は、例えば、マーカ部５５の点灯を制御する指示や、カメラ５６の撮像を制御する指示等を表す。制御データ１０７は、適宜のタイミングで端末装置７へ送信される。
コントローラ姿勢データ１０８は、コントローラ５の姿勢を表すデータである。本実施形態では、コントローラ姿勢データ１０８は、上記コントローラ操作データ９２に含まれる第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６に基づいて算出される。コントローラ姿勢データ１０８の算出方法についてはステップＳ２３で後述する。
端末姿勢データ１０９は、端末装置７の姿勢を表すデータである。本実施形態では、端末姿勢データ１０９は、上記端末操作データ９７に含まれる第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３に基づいて算出される。端末姿勢データ１０９の算出方法についてはステップＳ２４で後述する。
画像認識データ１１０は、上記カメラ画像に対する所定の画像認識処理の結果を表すデータである。この画像認識処理は、カメラ画像から何らかの特徴を検知してその結果を出力するものであればどのような処理であってもよく、例えば、カメラ画像から所定の対象（例えば、ユーザの顔やマーカ等）を抽出し、抽出した対象に関する情報を算出する処理であってもよい。
音声認識データ１１１は、上記マイク音声に対する所定の音声認識処理の結果を表すデータである。この音声認識処理は、マイク音声から何らかの特徴を検知してその結果を出力するものであればどのような処理であってもよく、例えば、ユーザの言葉を検知する処理であってもよいし、単に音量を出力する処理であってもよい。
次に、図２２を参照して、ゲーム装置３において行われるゲーム処理の詳細を説明する。図２２は、ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。なお、ゲーム装置３においては、電源投入後に光ディスク４に記憶されたゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後ユーザによってゲームの開始が指示されたときに光ディスク４に記憶されたゲームプログラムが実行される構成であってもよい。図２２に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
なお、図２２に示すフローチャートの各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が上記各ステップの一部のステップの処理を実行するようにしてもよい。
まずステップＳ１において、ＣＰＵ１０は初期処理を実行する。初期処理は、例えば、仮想のゲーム空間を構築し、ゲーム空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。
また、本実施形態においては、初期処理において、ＣＰＵ１０は、ゲームプログラムの種類に基づいてマーカ装置６およびマーカ部５５の点灯を制御する。ここで、ゲームシステム１は、コントローラ５の撮像手段（撮像情報演算部３５）の撮像対象として、マーカ装置６と端末装置７のマーカ部５５との２つを有している。ゲームの内容（ゲームプログラムの種類）によっては、マーカ装置６とマーカ部５５のうちいずれかが使用されたり、あるいは、両方が使用されたりする。なお、ゲームプログラム９０には、マーカ装置６およびマーカ部５５のそれぞれについて点灯させるか否かを表すデータ含まれている。ＣＰＵ１０は、当該データを読み出して点灯させるか否かを判断する。そして、マーカ装置６および／またはマーカ部５５を点灯させる場合には以下の処理を実行する。
すなわち、マーカ装置６を点灯する場合、ＣＰＵ１０は、マーカ装置６が備える各赤外ＬＥＤを点灯させる旨の制御信号をマーカ装置６へ送信する。この制御信号の送信は単に電力を供給するというだけのことであってもよい。これに応じてマーカ装置６の各赤外ＬＥＤが点灯される。一方、マーカ部５５を点灯する場合、ＣＰＵ１０は、マーカ部５５を点灯する指示を表す制御データを生成してメインメモリに記憶する。生成された制御データは、後述するステップＳ１０において端末装置７へ送信される。端末装置７の無線モジュール８０において受信された制御データは、コーデックＬＳＩ７６を介してＵＩコントローラ７５へ送られ、ＵＩコントローラ７５はマーカ部５５に点灯する指示を行う。これによってマーカ部５５の赤外ＬＥＤが点灯する。なお、上記においてはマーカ装置６およびマーカ部５５を点灯させる場合を説明したが、マーカ装置６およびマーカ部５５の消灯は、点灯する場合と同様の処理によって行うことができる。
以上のステップＳ１の次にステップＳ２の処理が実行される。以降、ステップＳ２〜Ｓ１１の一連の処理からなる処理ループが所定時間（１フレーム時間）に１回の割合で繰り返し実行される。
ステップＳ２において、ＣＰＵ１０は、コントローラ５から送信されてくるコントローラ操作データを取得する。コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９が当該コントローラ操作データを逐次受信し、受信されたコントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。送受信の間隔はゲームの処理時間よりも短い方が好ましく、例えば２００分の１秒である。ステップＳ２においては、ＣＰＵ１０は、最新のコントローラ操作データ９２をメインメモリから読み出す。ステップＳ２の次にステップＳ３の処理が実行される。
ステップＳ３において、ＣＰＵ１０は、端末装置７から送信されてくる各種のデータを取得する。端末装置７は、端末操作データとカメラ画像データとマイク音データとをゲーム装置３へ繰り返し送信するので、ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ステップＳ３においては、ＣＰＵ１０は、最新の端末操作データ９７をメインメモリから読み出す。ステップＳ３の次にステップＳ４の処理が実行される。
ステップＳ４において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、ユーザによるゲーム操作に従ってゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ユーザは、コントローラ５および／または端末装置７を用いて種々のゲームを行うことが可能である。以下、図２３を参照して、ゲーム制御処理について説明する。
図２３は、ゲーム制御処理の詳細な流れを示すフローチャートである。なお、図２３に示す一連の処理は、コントローラ５および端末装置７を操作装置として用いる場合において実行され得る種々の処理であるが、各処理の必ずしも全てが実行される必要はなく、ゲームの種類や内容によっては一部の処理のみが実行されてもよい。
ゲーム制御処理においては、まずステップＳ２１において、ＣＰＵ１０は、使用するマーカを変更するか否かを判定する。上述のように、本実施形態においては、ゲーム処理の開始時（ステップＳ１）において、マーカ装置６およびマーカ部５５の点灯を制御する処理が実行される。ここで、ゲームによっては、ゲームの途中でマーカ装置６およびマーカ部５５のうちで使用する（点灯する）対象を変更する場合も考えられる。また、ゲームによってはマーカ装置６およびマーカ部５５の両方を使用することも考えられるが、両方を点灯させると、一方のマーカを他方のマーカと誤検出してしまうおそれがある。そのため、ゲーム中において、いずれか一方のみを点灯させるように点灯を切り替えて使用することが好ましい場合もある。ステップＳ２１の処理は、かかる場合を考慮し、点灯する対象をゲーム途中で変更するか否かを判定する処理である。
上記ステップＳ２１の判定は、例えば以下の方法で行うことができる。すなわち、ＣＰＵ１０は、ゲーム状況（ゲームのステージや操作対象等）が変化したか否かによって上記判定を行うことができる。ゲーム状況が変化する場合、マーカ装置６の方を向けてコントローラ５を操作する操作方法と、マーカ部５５の方を向けてコントローラ５を操作する操作方法との間で、操作方法が変更されることが考えられるからである。また、ＣＰＵ１０は、コントローラ５の姿勢に基づいて上記判定を行うことができる。すなわち、コントローラ５がマーカ装置６の方を向いているか、マーカ部５５の方を向いているかによって上記判定を行うことができる。なお、コントローラ５の姿勢は、例えば加速度センサ３７やジャイロセンサ４８の検出結果に基づいて算出することができる（後述するステップＳ２３参照）。また、ＣＰＵ１０は、ユーザによる変更指示があったか否かによって上記判定を行うこともできる。
上記ステップＳ２１の判定結果が肯定である場合、ステップＳ２２の処理が実行される。一方、上記ステップＳ２１の判定結果が否定である場合、ステップＳ２２の処理がスキップされてステップＳ２３の処理が実行される。
ステップＳ２２において、ＣＰＵ１０は、マーカ装置６およびマーカ部５５の点灯を制御する。すなわち、マーカ装置６および／またはマーカ部５５の点灯状態を変更する。なお、マーカ装置６および／またはマーカ部５５を点灯または消灯する具体的な処理は、上記ステップＳ１の場合と同様に行うことができる。ステップＳ２２の次にステップＳ２３の処理が実行される。
以上のように本実施形態によれば、上記ステップＳ１の処理によって、ゲームプログラムの種類に応じてマーカ装置６およびマーカ部５５の発光（点灯）を制御することができるとともに、上記ステップＳ２１およびＳ２２の処理によって、ゲーム状況に応じてマーカ装置６およびマーカ部５５の発光（点灯）を制御することができる。
ステップＳ２３において、ＣＰＵ１０はコントローラ５の姿勢を算出する。本実施形態では、コントローラ５の姿勢は、第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６に基づいて算出される。以下、コントローラ５の姿勢の算出方法について説明する。
まず、ＣＰＵ１０は、メインメモリに記憶されている第１角速度データ９５に基づいてコントローラ５の姿勢を算出する。コントローラ５の姿勢を角速度から算出する方法はどのような方法であってもよいが、当該姿勢は、前回の姿勢（前回に算出された姿勢）と、今回の角速度（今回の処理ループにおけるステップＳ２で取得された角速度）とを用いて算出される。具体的には、ＣＰＵ１０は、前回の姿勢を今回の角速度で単位時間分だけ回転させることによって姿勢を算出する。なお、前回の姿勢は、メインメモリに記憶されているコントローラ姿勢データ１０８により表され、今回の角速度は、メインメモリに記憶されている第１角速度データ９５により表される。したがって、ＣＰＵ１０は、メインメモリからコントローラ姿勢データ１０８および第１角速度データ９５を読み出して、コントローラ５の姿勢を算出する。以上のようにして算出された「角速度に基づく姿勢」を表すデータはメインメモリに記憶される。
なお、角速度から姿勢を算出する場合、初期姿勢を定めておくのがよい。つまり、コントローラ５の姿勢を角速度から算出する場合には、ＣＰＵ１０は、最初にコントローラ５の初期姿勢を算出しておく。コントローラ５の初期姿勢は、加速度データに基づいて算出されてもよいし、コントローラ５を特定の姿勢にした状態でプレイヤに所定の操作を行わせることで、所定の操作が行われた時点における特定の姿勢を初期姿勢として用いるようにしてもよい。なお、空間における所定方向を基準とした絶対的な姿勢としてコントローラ５の姿勢を算出する場合には上記初期姿勢を算出することが良いが、例えばゲーム開始時点におけるコントローラ５の姿勢を基準とした相対的な姿勢としてコントローラ５の姿勢を算出する場合には、上記初期姿勢は算出されなくても良い。
次に、ＣＰＵ１０は、角速度に基づいて算出したコントローラ５の姿勢を、第１加速度データ９４を用いて補正する。具体的には、ＣＰＵ１０はまず、メインメモリから第１加速度データ９４を読み出して、第１加速度データ９４に基づいてコントローラ５の姿勢を算出する。ここで、コントローラ５がほぼ静止している状態では、コントローラ５に対して加えられる加速度は重力加速度を意味する。したがって、この状態においては、加速度センサ３７が出力する第１加速度データ９４を用いて重力加速度の方向（重力方向）を算出することができるので、重力方向に対するコントローラ５の向き（姿勢）を当該第１加速度データ９４に基づいて算出することができる。以上のようにして算出された「加速度に基づく姿勢」を表すデータはメインメモリに記憶される。
加速度に基づく姿勢を算出すると、ＣＰＵ１０は次に、加速度に基づく姿勢を用いて、角速度に基づく姿勢を補正する。具体的には、ＣＰＵ１０は、角速度に基づく姿勢を表すデータと加速度に基づく姿勢を表すデータとをメインメモリから読み出し、角速度データに基づく姿勢を、加速度データに基づく姿勢へ所定の割合で近づける補正を行う。この所定の割合は、予め定められた固定値であってもよいし、第１加速度データ９４が示す加速度等に応じて設定されてもよい。また、加速度に基づく姿勢に関しては、重力方向を軸とする回転方向については姿勢を算出することができないので、ＣＰＵ１０は、当該回転方向に関しては補正を行わないようにしてもよい。本実施形態においては、以上のようにして得られた補正後の姿勢を表すデータはメインメモリに記憶される。
上記のようにして角速度に基づく姿勢を補正した後、ＣＰＵ１０は、補正後の姿勢をマーカ座標データ９６を用いてさらに補正する。まず、ＣＰＵ１０は、マーカ座標データ９６に基づいてコントローラ５の姿勢（マーカ座標に基づく姿勢）を算出する。マーカ座標データ９６は、撮像画像内におけるマーカ６Ｒおよび６Ｌの位置を示すので、これらの位置から、ロール方向（Ｚ軸回りの回転方向）に関するコントローラ５の姿勢を算出することができる。つまり、撮像画像内においてマーカ６Ｒの位置とマーカ６Ｌの位置とを結ぶ直線の傾きから、ロール方向に関するコントローラ５の姿勢を算出することができる。また、マーカ装置６に対するコントローラ５の位置が特定できる場合（例えば、マーカ装置６の正面にコントローラ５が位置すると想定できる場合）には、撮像画像内におけるマーカ装置６の位置から、ピッチ方向およびヨー方向に関するコントローラ５の姿勢を算出することができる。例えば、撮像画像内においてマーカ６Ｒおよび６Ｌの位置が左に移動した場合、コントローラ５は右に向き（姿勢）を変えたと判断することができる。このように、マーカ６Ｒおよびマーカ６Ｌの位置から、ピッチ方向およびヨー方向に関するコントローラ５の姿勢を算出することができる。以上のようにして、マーカ座標データ９６に基づいてコントローラ５の姿勢を算出することができる。
マーカ座標に基づく姿勢を算出すると、ＣＰＵ１０は次に、上記補正後の姿勢（加速度に基づく姿勢によって補正された姿勢）を、マーカ座標に基づく姿勢で補正する。すなわち、ＣＰＵ１０は、補正後の姿勢を、マーカ座標に基づく姿勢へ所定の割合で近づける補正を行う。この所定の割合は、予め定められた固定値であってもよい。また、マーカ座標に基づく姿勢による補正は、ロール方向、ピッチ方向、およびヨー方向のいずれか１つまたは２つの方向のみについて行われてもよい。例えば、マーカ座標データ９６を用いる場合、ロール方向については精度良く姿勢を算出することができるので、ＣＰＵ１０は、ロール方向についてのみ、マーカ座標データ９６に基づく姿勢を用いて補正を行ってもよい。また、コントローラ５の撮像素子４０によってマーカ装置６またはマーカ部５５が撮像されていない場合は、マーカ座標データ９６に基づく姿勢を算出することができないので、この場合にはマーカ座標データ９６を用いる補正処理は実行されなくてもよい。
上記によれば、ＣＰＵ１０は、第１角速度データ９５に基づいて算出されたコントローラ５の第１姿勢を、第１加速度データ９４およびマーカ座標データ９６を用いて補正した。ここで、コントローラ５の姿勢を算出する方法のうち、角速度を用いる方法では、コントローラ５がどのように動いているときであっても姿勢を算出することができる。一方、角速度を用いる方法では、逐次検出される角速度を累積加算していくことによって姿勢を算出するので、誤差が累積すること等によって精度が悪くなったり、いわゆる温度ドリフトの問題でジャイロセンサの精度が悪くなったりするおそれがある。また、加速度を用いる方法は、誤差が蓄積しない一方、コントローラ５が激しく動かされている状態では、（重力方向を正確に検出することができないので）姿勢を精度良く算出することができない。また、マーカ座標を用いる方法は、（特にロール方向に関して）姿勢を精度良く算出することができる一方、マーカ部５５を撮像できない状態では姿勢を算出することができない。これに対して、本実施形態によれば、上記のように特長の異なる３種類の方法を用いるので、コントローラ５の姿勢をより正確に算出することができる。なお、他の実施形態においては、上記３つの方法のうちいずれか１つまたは２つを用いて姿勢を算出するようにしてもよい。また、上記ステップＳ１またはＳ２２の処理においてマーカの点灯制御を行う場合には、ＣＰＵ１０は、少なくともマーカ座標を用いてコントローラ５の姿勢を算出することが好ましい。
上記ステップＳ２３の次に、ステップＳ２４の処理が実行される。ステップＳ２４においては、ＣＰＵ１０は、端末装置７の姿勢を算出する。すなわち、端末装置７から取得される端末操作データ９７には、第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３が含まれるので、ＣＰＵ１０は、これらのデータに基づいて端末装置７の姿勢を算出する。ここで、ＣＰＵ１０は、第２角速度データ１０２によって端末装置７の単位時間当たりにおける回転量（姿勢の変化量）を知ることができる。また、端末装置７がほぼ静止している状態では、端末装置７に対して加えられる加速度は重力加速度を意味するので、第２加速度データ１０１によって端末装置７に加えられる重力方向（すなわち、重力方向を基準とした端末装置７の姿勢）を知ることができる。また、方位データ１０３によって、端末装置７を基準とした所定の方位（すなわち、所定の方位を基準とした端末装置７の姿勢）を知ることができる。なお、地磁気以外の磁界が発生している場合であっても、端末装置７の回転量を知ることができる。したがって、ＣＰＵ１０は、これら第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３に基づいて端末装置７の姿勢を算出することができる。なお、本実施形態においては、上記３つのデータに基づいて端末装置７の姿勢を算出するが、他の実施形態においては、上記３つのデータのうち１つまたは２つに基づいて姿勢を算出するようにしてもよい。
なお、端末装置７の姿勢の具体的な算出方法はどのような方法であってもよいが、例えば、第２角速度データ１０２が表す角速度に基づいて算出される姿勢を、第２加速度データ１０１および方位データ１０３を用いて補正する方法が考えられる。具体的には、ＣＰＵ１０は、まず、第２角速度データ１０２に基づいて端末装置７の姿勢を算出する。なお、角速度に基づいて姿勢を算出する方法は、上記ステップＳ２３における方法と同様であってもよい。次に、ＣＰＵ１０は、適宜のタイミング（例えば、端末装置７が静止状態に近い場合に）で、角速度に基づいて算出される姿勢を、第２加速度データ１０１に基づいて算出される姿勢、および／または、方位データ１０３に基づいて算出される姿勢によって補正する。なお、角速度に基づく姿勢を加速度に基づく姿勢で補正する方法は、上述したコントローラ５の姿勢を算出する場合と同様の方法であってもよい。また、角速度に基づく姿勢を方位データに基づく姿勢で補正する場合には、ＣＰＵ１０は、角速度に基づく姿勢を、方位データに基づく姿勢へと所定の割合で近づけるようにしてもよい。以上によれば、ＣＰＵ１０は、端末装置７の姿勢を正確に算出することができる。
なお、コントローラ５は、赤外線検知手段である撮像情報演算部３５を備えているので、ゲーム装置３はマーカ座標データ９６を取得することができる。そのため、コントローラ５に関しては、ゲーム装置３は、実空間における絶対的な姿勢（実空間に設定された座標系においてコントローラ５がどのような姿勢であるか）をマーカ座標データ９６から知ることができる。一方、端末装置７は撮像情報演算部３５のような赤外線検知手段を備えていない。そのため、ゲーム装置３は、第２加速度データ１０１および第２角速度データ１０２からのみでは、重力方向を軸とした回転方向に関して実空間における絶対的な姿勢を知ることができない。そこで、本実施形態では端末装置７が磁気センサ７２を備える構成とし、ゲーム装置３は方位データ１０３を取得するようにしている。これによれば、ゲーム装置３は、重力方向を軸とした回転方向に関して実空間における絶対的な姿勢を方位データ１０３から算出することができ、端末装置７の姿勢をより正確に算出することができる。
上記ステップＳ２４の具体的な処理としては、ＣＰＵ１０は、第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３をメインメモリから読み出し、これらのデータに基づいて端末装置７の姿勢を算出する。そして、算出された端末装置７の姿勢を表すデータを端末姿勢データ１０９としてメインメモリに記憶する。ステップＳ２４の次にステップＳ２５の処理が実行される。
ステップＳ２５において、ＣＰＵ１０は、カメラ画像の認識処理を実行する。すなわち、ＣＰＵ１０は、カメラ画像データ１０４に対して所定の認識処理を行う。この認識処理は、カメラ画像から何らかの特徴を検知してその結果を出力するものであればどのようなものであってもよい。例えば、カメラ画像にプレイヤの顔が含まれている場合には、顔を認識する処理であってもよい。具体的には、顔の一部（目や鼻や口等）を検出する処理であってもよいし、顔の表情を検出する処理であってもよい。また、認識処理の結果を表すデータは、画像認識データ１１０としてメインメモリに記憶される。ステップＳ２５の次にステップＳ２６の処理が実行される。
ステップＳ２６において、ＣＰＵ１０は、マイク音声の認識処理を実行する。すなわち、ＣＰＵ１０は、マイク音データ１０５に対して所定の認識処理を行う。この認識処理は、マイク音声から何らかの特徴を検知してその結果を出力するものであればどのようなものであってもよい。例えば、マイク音声からプレイヤの指示を検出する処理であってもよいし、単にマイク音声の音量を検出する処理であってもよい。また、認識処理の結果を表すデータは、音声認識データ１１１としてメインメモリに記憶される。ステップＳ２６の次にステップＳ２７の処理が実行される。
ステップＳ２７において、ＣＰＵ１０は、ゲーム入力に応じたゲーム処理を実行する。ここで、ゲーム入力とは、コントローラ５または端末装置７から送信されてくるデータ、あるいは、当該データから得られるデータであればどのようなものであってもよい。具体的には、ゲーム入力は、コントローラ操作データ９２および端末操作データ９７に含まれる各データの他、当該各データから得られるデータ（コントローラ姿勢データ１０８、端末姿勢データ１０９、画像認識データ１１０、および音声認識データ１１１）であってもよい。また、ステップＳ２７におけるゲーム処理の内容はどのようなものであってもよく、例えば、ゲームに登場するオブジェクト（キャラクタ）を動作させる処理、仮想カメラを制御する処理、または、画面に表示されるカーソルを移動する処理であってもよい。また、カメラ画像（またはその一部）をゲーム画像として用いる処理、または、マイク音声をゲーム音声として用いる処理等であってもよい。なお上記ゲーム処理の例については後述する。ステップＳ２７においては、例えば、ゲームに登場するキャラクタ（オブジェクト）に設定される各種パラメータのデータや、ゲーム空間に配置される仮想カメラに関するパラメータのデータや、得点のデータ等、ゲーム制御処理の結果を表すデータがメインメモリに記憶される。ステップＳ２７の後、ＣＰＵ１０はステップＳ４のゲーム制御処理を終了する。
図２２の説明に戻り、ステップＳ５において、テレビ２に表示するためのテレビ用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ４のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、ゲーム画像を生成する。ゲーム画像は、ステップＳ４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、ゲーム画像の生成方法は、仮想のゲーム空間内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって３次元のＣＧ画像を生成する方法であってもよいし、（仮想カメラを用いずに）２次元の画像を生成する方法であってもよい。生成されたテレビ用ゲーム画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ５の次にステップＳ６の処理が実行される。
ステップＳ６において、端末装置７に表示するための端末用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。端末用ゲーム画像も上記テレビ用ゲーム画像と同様、ステップＳ４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記テレビ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。生成された端末用ゲーム画像はＶＲＡＭ１１ｄに記憶される。なお、ゲームの内容によってはテレビ用ゲーム画像と端末用ゲーム画像とは同一であってもよく、この場合、ステップＳ６においてゲーム画像の生成処理は実行されなくてもよい。上記ステップＳ６の次にステップＳ７の処理が実行される。
ステップＳ７においては、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ４のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、生成されるゲーム音声は、例えばゲームの効果音や、ゲームに登場するキャラクタの声や、ＢＧＭ等であってもよい。上記ステップＳ７の次にステップＳ８の処理が実行される。
ステップＳ８においては、端末装置７のスピーカ７７に出力するための端末用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ４のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、端末用ゲーム音声は、上記テレビ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、例えば効果音は異なるが、ＢＧＭは同じである、というように、一部のみが異なっていてもよい。なお、テレビ用ゲーム音声と端末用ゲーム音声とが同一である場合、ステップＳ８においてゲーム音声の生成処理は実行されなくてもよい。上記ステップＳ８の次にステップＳ９の処理が実行される。
ステップＳ９において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用ゲーム画像のデータと、ステップＳ７でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声のデータとをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５は画像および音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用ゲーム画像がテレビ２に表示されるとともに、テレビ用ゲーム音声がスピーカ２ａから出力される。ステップＳ９の次にステップＳ１０の処理が実行される。
ステップＳ１０において、ＣＰＵ１０は、端末装置７へゲーム画像およびゲーム音声を送信する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用ゲーム画像の画像データ、および、ステップＳ８でＤＳＰ１１ｃによって生成された音声データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール８０によって受信し、コーデックＬＳＩ７６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ７８に出力される。これによって、端末用ゲーム画像がＬＣＤ５１に表示されるとともに、端末用ゲーム音声がスピーカ７７から出力される。ステップＳ１０の次にステップＳ１１の処理が実行される。
ステップＳ１１において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ１１の判定は、例えば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ１１の判定結果が否定の場合、ステップＳ２の処理が再度実行される。一方、ステップＳ１１の判定結果が肯定の場合、ＣＰＵ１０は図２２に示すゲーム処理を終了する。以降、ステップＳ２〜Ｓ１１の一連の処理は、ステップＳ１１でゲームを終了すると判定されるまで繰り返し実行される。
以上のように、本実施形態では、端末装置７は、タッチパネル５２と、加速度センサ７３またはジャイロセンサ７４といった慣性センサとを備えており、タッチパネル５２および慣性センサの出力が操作データとしてゲーム装置３へ送信されてゲームの入力として用いられる（ステップＳ３，Ｓ４）。さらに、端末装置７は表示装置（ＬＣＤ５１）を備えており、ゲーム処理によって得られるゲーム画像がＬＣＤ５１に表示される（ステップＳ６，Ｓ１０）。したがって、ユーザは、タッチパネル５２を用いてゲーム画像に対して直接タッチする操作を行うことができ、また、（端末装置７の動きが慣性センサによって検出されるため）ゲーム画像が表示されるＬＣＤ５１自体を動かす操作を行うことができる。ユーザは、これらの操作によってゲーム画像に対して直接操作を行うような操作感覚でゲームを行うことができるので、例えば後述する第１および第２のゲーム例のような新規な操作感覚のゲームを提供することができる。
さらに、本実施形態では、端末装置７は、端末装置７を把持した状態で操作可能なアナログスティック５３および操作ボタン５４を備えており、ゲーム装置３は、アナログスティック５３および操作ボタン５４に対する操作をゲームの入力として用いることができる（ステップＳ３，Ｓ４）。したがって、上記のようにゲーム画像に対して直接操作を行う場合においても、ユーザはボタン操作やスティック操作によってより詳細なゲーム操作を行うことができる。
さらに、本実施形態では、端末装置７はカメラ５６およびマイク７９を備えており、カメラ５６が撮像するカメラ画像のデータ、および、マイク７９が検出するマイク音のデータはゲーム装置３へ送信される（ステップＳ３）。したがって、ゲーム装置３は、上記カメラ画像および／またはマイク音をゲーム入力として用いることが可能であるので、ユーザは、カメラ５６で画像を撮像する操作や、マイク７９に音声を入力する操作によってゲーム操作を行うことも可能である。なお、これらの操作は端末装置７を把持した状態で行うことが可能であるので、上記のようにゲーム画像に対して直接操作を行う場合においてこれらの操作を行うことによって、ユーザはより多彩なゲーム操作を行うことができる。
また、本実施形態では、可搬型である端末装置７のＬＣＤ５１にゲーム画像が表示される（ステップＳ６，Ｓ１０）ので、ユーザは、端末装置７を自由に配置することができる。したがって、コントローラ５をマーカの方へ向けて操作を行う場合において、ユーザは、端末装置７を自由な位置に配置することによってコントローラ５を自由な方向に向けてゲームを行うことができ、コントローラ５に対する操作の自由度を向上することができる。また、端末装置７を任意の位置に配置することができるので、例えば後述する第５のゲーム例のように、ゲーム内容に適した位置に端末装置７を配置することによって、より現実感のあるゲームを提供することができる。
また、本実施形態によれば、ゲーム装置３は、コントローラ５および端末装置７から操作データ等を取得する（ステップＳ２，Ｓ３）ので、ユーザは、コントローラ５および端末装置７という２つの装置を操作手段として用いることができる。したがって、ゲームシステム１においては、各装置を複数人のユーザが使用することによって複数人でゲームを行うこともでき、また、１人のユーザが２つの装置を使用してゲームを行うこともできる。
また、本実施形態によれば、ゲーム装置３は２種類のゲーム画像を生成し（ステップＳ５，Ｓ６）、テレビ２と端末装置７とにゲーム画像を表示させる（ステップＳ９，Ｓ１０）ことができる。このように、２種類のゲーム画像を異なる装置に表示させることによって、ユーザにとってより見やすいゲーム画像を提供することができ、ゲームの操作性を向上することができる。例えば、２人でゲームを行う場合には、後述する第３または第４のゲーム例のように、一方のユーザにとって見やすい視点のゲーム画像をテレビ２に表示し、他方のユーザにとって見やすい視点のゲーム画像を端末装置７に表示することによって、それぞれのプレイヤが見やすい視点でゲームを行うことができる。また、例えば１人でゲームを行う場合においても、後述する第１、第２および第５のゲーム例のように、異なる２箇所の視点で２種類のゲーム画像を表示することによって、プレイヤはゲーム空間の様子をより容易に把握することができ、ゲームの操作性を向上することができる。
［６．ゲーム例］
次に、ゲームシステム１において行われるゲームの具体例について説明する。なお、以下に説明するゲーム例においては、ゲームシステム１における各装置の構成のうち一部を利用しない場合もあり、また、図２２および図２３に示す一連の処理のうち一部の処理を実行しない場合もある。つまり、ゲームシステム１は、上述した全ての構成を備えていなくてもよく、また、ゲーム装置３は図２２および図２３に示す一連の処理の一部を実行しなくてもよい。
（第１のゲーム例）
第１のゲーム例は、端末装置７を操作することによってゲーム空間内においてオブジェクト（手裏剣）を飛ばすゲームである。プレイヤは、端末装置７の姿勢を変化させる操作と、タッチパネル５２上に線を描く操作とによって、手裏剣を発射する方向を指示することができる。
図２４は、第１のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。図２４においては、テレビ２および端末装置７のＬＣＤ５１には、ゲーム空間を表すゲーム画像が表示されている。テレビ２には、手裏剣１２１、制御面１２２、および標的１２３が表示されている。ＬＣＤ５１には、制御面１２２（および手裏剣１２１）が表示されている。第１のゲーム例においては、プレイヤは、端末装置７を用いた操作によって手裏剣１２１を飛ばして標的１２３に当てて遊ぶ。
手裏剣１２１を飛ばす場合、プレイヤは、まず、端末装置７の姿勢を操作することによって、仮想のゲーム空間内に配置される制御面１２２の姿勢を変化させて所望の姿勢にする。すなわち、ＣＰＵ１０は、慣性センサ（加速度センサ７３およびジャイロセンサ７４）ならびに磁気センサ７２の出力に基づいて端末装置７の姿勢を算出し（ステップＳ２４）、算出された姿勢に基づいて制御面１２２の姿勢を変化させる（ステップＳ２７）。第１のゲーム例では、制御面１２２の姿勢は、現実空間における端末装置７の姿勢に応じた姿勢となるように制御される。つまり、プレイヤは、端末装置７（端末装置７に表示されている制御面１２２）の姿勢を変化させることで、ゲーム空間内において制御面１２２の姿勢を変化させることができる。なお、第１のゲーム例においては、制御面１２２の位置は、ゲーム空間における所定位置に固定される。
次に、プレイヤは、タッチペン１２４等を用いてタッチパネル５２上に線を描く操作を行う（図２４に示す矢印参照）。ここで、第１のゲーム例においては、端末装置７のＬＣＤ５１には、タッチパネル５２の入力面と制御面１２２とが対応するように制御面１２２が表示される。したがって、タッチパネル５２上に描かれた線によって、制御面１２２上での方向（当該線が表す方向）を算出することができる。手裏剣１２１は、このようにして決定された方向へ発射される。以上より、ＣＰＵ１０は、タッチパネル５２のタッチ位置データ１００から制御面１２２上での方向を算出し、算出された方向へ手裏剣１２１を移動させる処理を行う（ステップＳ２７）。なお、ＣＰＵ１０は、例えば線の長さや線を描く速度に応じて手裏剣１２１の速度を制御するようにしてもよい。
以上のように、第１のゲーム例によれば、ゲーム装置３は、慣性センサの出力をゲーム入力として用いることによって、端末装置７の動き（姿勢）に応じて制御面１２２を動かすとともに、タッチパネル５２の出力をゲーム入力として用いることによって、制御面１２２上における方向を特定することができる。これによれば、プレイヤは、端末装置７に表示されたゲーム画像（制御面１２２の画像）を動かしたり、当該ゲーム画像に対してタッチ操作を行ったりすることができるので、ゲーム画像に対して直接操作を行っているような新規な操作感覚でゲームを行うことができる。
また、第１のゲーム例においては、慣性センサおよびタッチパネル５２のセンサ出力をゲーム入力として用いることで、３次元空間における方向を容易に指示することができる。すなわち、プレイヤは、一方の手で端末装置７の姿勢を実際に調整し、もう一方の手でタッチパネル５２に線で方向を入力することによって、空間内で実際に方向を入力しているような直感的な操作で容易に方向を指示することができる。さらに、プレイヤは、端末装置７の姿勢の操作とタッチパネル５２に対する入力操作とを同時に並行して行うことができるので、３次元空間における方向を指示する操作を迅速に行うことができる。
また、第１のゲーム例によれば、制御面１２２に対するタッチ入力の操作を行いやすくするために、端末装置７には画面全体に制御面１２２が表示される。一方、テレビ２には、制御面１２２の姿勢を把握しやすいように、また、標的１２３を狙いやすいように、制御面１２２の全体および標的１２３を含むゲーム空間の画像が表示される（図２４参照）。すなわち、上記ステップＳ２７においては、テレビ用ゲーム画像を生成するための第１仮想カメラは、制御面１２２の全体および標的１２３が視野範囲に含まれるように設定されるとともに、端末用ゲーム画像を生成するための第２仮想カメラは、ＬＣＤ５１の画面（タッチパネル５２の入力面）と制御面１２２とが画面上において一致するように設定される。したがって、第１のゲーム例においては、テレビ２と端末装置７とに異なる視点から見たゲーム空間の画像を表示することによって、ゲーム操作をより行いやすくしている。
（第２のゲーム例）
なお、慣性センサおよびタッチパネル５２のセンサ出力をゲーム入力として用いるゲームは、上記第１のゲーム例に限らず、種々のゲーム例が考えられる。第２のゲーム例は、第１のゲーム例と同様、端末装置７を操作することによってゲーム空間内においてオブジェクト（大砲の弾）を飛ばすゲームである。プレイヤは、端末装置７の姿勢を変化させる操作と、タッチパネル５２上の位置を指定する操作とによって、弾を発射する方向を指示することができる。
図２５は、第２のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。図２５においては、テレビ２には、大砲１３１、弾１３２、および標的１３３が表示されている。端末装置７には、弾１３２および標的１３３が表示されている。端末装置７に表示される端末用ゲーム画像は、大砲１３１の位置からゲーム空間を見た画像である。
第２のゲーム例においては、プレイヤは、端末装置７の姿勢を操作することによって、端末用ゲーム画像として端末装置７に表示される表示範囲を変化させることができる。すなわち、ＣＰＵ１０は、慣性センサ（加速度センサ７３およびジャイロセンサ７４）ならびに磁気センサ７２の出力に基づいて端末装置７の姿勢を算出し（ステップＳ２４）、算出された姿勢に基づいて、端末用ゲーム画像を生成するための第２仮想カメラの位置および姿勢を制御する（ステップＳ２７）。具体的には、第２仮想カメラは、大砲１３１の位置に設置され、端末装置７の姿勢に応じて向き（姿勢）が制御される。このように、プレイヤは、端末装置７の姿勢を変化させることによって、端末装置７に表示されるゲーム空間の範囲を変化させることができる。
また、第２のゲーム例においては、プレイヤは、タッチパネル５２上において点を入力する操作（タッチする操作）によって弾１３２の発射方向を指定する。具体的には、上記ステップＳ２７の処理として、ＣＰＵ１０は、タッチ位置に対応するゲーム空間内の位置（制御位置）を算出し、ゲーム空間内における所定位置（例えば大砲１３１の位置）から制御位置への方向を発射方向として算出する。そして、発射方向へ弾１３２を移動させる処理を行う。このように、上記第１のゲーム例ではプレイヤはタッチパネル５２上に線を描く操作を行ったが、第２のゲーム例では、タッチパネル５２上の点を指定する操作を行う。なお、上記制御位置は、上記第１のゲーム例と同様の制御面を設定する（ただし、第２のゲーム例では制御面は表示されない）ことで算出することができる。すなわち、端末装置７における表示範囲に対応するように、第２仮想カメラの姿勢に応じて制御面を配置する（具体的には、制御面は、大砲１３１の位置を中心として、端末装置７の姿勢の変化に応じて回転移動する）ことで、タッチ位置に対応する制御面上の位置を制御位置として算出することができる。
上記第２のゲーム例によれば、ゲーム装置３は、慣性センサの出力をゲーム入力として用いることによって、端末装置７の動き（姿勢）に応じて端末用ゲーム画像の表示範囲を変化させるとともに、当該表示範囲内の位置を指定するタッチ入力をゲーム入力として用いることによって、ゲーム空間内における方向（弾１３２の発射方向）を特定することができる。したがって、第２のゲーム例においても第１のゲーム例と同様、プレイヤは、端末装置７に表示されたゲーム画像を動かしたり、当該ゲーム画像に対してタッチ操作を行ったりすることができるので、ゲーム画像に対して直接操作を行っているような新規な操作感覚でゲームを行うことができる。
また、第２の実施例においても第１の実施例と同様、プレイヤは、一方の手で端末装置７の姿勢を実際に調整し、もう一方の手でタッチパネル５２に対してタッチ入力を行うことによって、空間内で実際に方向を入力しているような直感的な操作で容易に方向を指示することができる。さらに、プレイヤは、端末装置７の姿勢の操作とタッチパネル５２に対する入力操作とを同時に並行して行うことができるので、３次元空間における方向を指示する操作を迅速に行うことができる。
なお、第２のゲーム例において、テレビ２に表示される画像は端末装置７と同じ視点からの画像であってもよいが、図２５では、ゲーム装置３は別視点からの画像を表示させるようにしている。すなわち、端末用ゲーム画像を生成するための第２仮想カメラは大砲１３１の位置に設定されるのに対して、テレビ用ゲーム画像を生成するための第１仮想カメラは大砲１３１の後方の位置に設定される。ここで、例えば、端末装置７の画面には見えない範囲をテレビ２に表示させるようにすることによって、端末装置７の画面では見えない標的１３３をプレイヤがテレビ２の画面を見て狙うような遊び方を実現することができる。このように、テレビ２と端末装置７との表示範囲を異なるようにすることで、ゲーム空間内の様子をより把握しやすくするだけでなく、ゲームの興趣性をより向上することも可能である。
以上のように、本実施形態によれば、タッチパネル５２と慣性センサを備える端末装置７を操作装置として用いることができるので、上記第１および第２のゲーム例のような、ゲーム画像に対して直接操作を行うような操作感覚のゲームを実現することができる。
（第３のゲーム例）
以下、図２６および図２７を参照して、第３のゲーム例について説明する。第３のゲーム例は、２人のプレイヤが対戦する形式の野球ゲームである。すなわち、第１プレイヤは、コントローラ５を用いて打者を操作し、第２プレイヤは端末装置７を用いて投手を操作する。また、テレビ２および端末装置７には各プレイヤにとってゲーム操作が行いやすいゲーム画像が表示される。
図２６は、第３のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。図２６に示すテレビ用ゲーム画像は、主に第１プレイヤのための画像である。すなわち、テレビ用ゲーム画像は、第１プレイヤの操作対象である打者（打者オブジェクト）１４１の側から、第２プレイヤの操作対象である投手（投手オブジェクト）１４２の方を見たゲーム空間を表す。テレビ用ゲーム画像を生成するための第１仮想カメラは、打者１４１の後方の位置に、打者１４１から投手１４２の方へ向くように配置される。
一方、図２７は、第３のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。図２７に示す端末用ゲーム画像は、主に第２プレイヤのための画像である。すなわち、端末用ゲーム画像は、第２プレイヤの操作対象である投手１４２の側から、第１プレイヤの操作対象である打者１４１の方を見たゲーム空間を表す。具体的には、上記ステップＳ２７において、ＣＰＵ１０は、端末用ゲーム画像を生成するために用いる第２仮想カメラを端末装置７の姿勢に基づいて制御する。第２仮想カメラの姿勢は、上述した第２のゲーム例と同様、端末装置７の姿勢と対応するように算出される。また、第２仮想カメラの位置は、予め定められた所定位置に固定される。なお、端末用ゲーム画像には、投手１４２がボールを投げる方向を示すためのカーソル１４３が含まれる。
なお、第１プレイヤによる打者１４１の操作方法、および、第２プレイヤによる投手１４２の操作方法は、どのような方法であってもよい。例えば、ＣＰＵ１０は、コントローラ５の慣性センサの出力データに基づいてコントローラ５に対する振り操作を検出し、振り操作に応じて打者１４１にバットを振る動作を行わせるようにしてもよい。また例えば、ＣＰＵ１０は、アナログスティック５３に対する操作に従ってカーソル１４３を移動させ、操作ボタン５４のうちの所定のボタンが押下された場合、カーソル１４３が指し示す位置に向かってボールを投げる動作を投手１４２に行わせてもよい。また、カーソル１４３は、アナログスティック５３に対する操作に代えて、端末装置７の姿勢に応じて移動されてもよい。
以上のように、第３のゲーム例においては、テレビ２および端末装置７に互いに異なる視点でゲーム画像を生成することによって、各プレイヤにとって見やすく操作しやすいゲーム画像が提供される。
また、第３のゲーム例においては、単一のゲーム空間に２つの仮想カメラが設定され、ゲーム空間を各仮想カメラから見た２種類のゲーム画像がそれぞれ表示される（図２６および図２７）。したがって、第３のゲーム例において生成される２種類のゲーム画像に関しては、ゲーム空間に対するゲーム処理（ゲーム空間内のオブジェクトの制御等）はほとんどが共通であって、共通のゲーム空間に関して描画処理を２回行なうだけでそれぞれのゲーム画像が生成できるので、当該ゲーム処理をそれぞれ行う場合に比べると処理効率が高いという利点がある。
また、第３のゲーム例においては、投球方向を表すカーソル１４３は端末装置７側にのみ表示されるので、第１プレイヤはカーソル１４３が指し示す位置を見ることができない。そのため、第１プレイヤに投球方向が知られて第２プレイヤが不利になるといったゲーム上の不都合が生じない。このように、本実施形態においては、一方のプレイヤがそのゲーム画像を見てしまうと他方のプレイヤにとってゲーム上の不都合が生じる場合には、当該ゲーム画像を端末装置７に表示すればよい。これによって、ゲームの戦略性が低下する等の不都合を防止することができる。なお、他の実施形態において、ゲームの内容によっては（例えば、端末用ゲーム画像が第１プレイヤに見られても上記のような不都合が生じない場合には）、ゲーム装置３は、端末用ゲーム画像をテレビ用ゲーム画像とともにテレビ２に表示するようにしてもよい。
（第４のゲーム例）
以下、図２８および図２９を参照して、第４のゲーム例について説明する。第４のゲーム例は、２人のプレイヤが協力する形式のシューティングゲームである。すなわち、第１プレイヤは、コントローラ５を用いて飛行機を移動させる操作を行い、第２プレイヤは、端末装置７を用いて飛行機の大砲の発射方向を制御する操作を行う。第４のゲーム例においても第３のゲーム例と同様、テレビ２および端末装置７には各プレイヤにとってゲーム操作が行いやすいゲーム画像が表示される。
図２８は、第４のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。また、図２９は、第４のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。図２８に示すように、第４のゲーム例では、仮想のゲーム空間に飛行機（飛行機オブジェクト）１５１と標的（風船オブジェクト）１５３とが登場する。また、飛行機１５１は大砲（大砲オブジェクト）１５２を有している。
図２８に示すように、テレビ用ゲーム画像としては、飛行機１５１を含むゲーム空間の画像が表示される。テレビ用ゲーム画像を生成するための第１仮想カメラは、飛行機１５１を後方から見たゲーム空間の画像を生成するように設定される。すなわち、第１仮想カメラは、飛行機１５１の後方の位置に、飛行機１５１が撮影範囲（視野範囲）に含まれる姿勢で配置される。また、第１仮想カメラは、飛行機１５１の移動に伴って移動するように制御される。つまり、ＣＰＵ１０は、上記ステップＳ２７の処理において、コントローラ操作データに基づいて飛行機１５１の移動を制御するとともに、第１仮想カメラの位置および姿勢を制御する。このように、第１仮想カメラの位置および姿勢は、第１プレイヤの操作に応じて制御される。
一方、図２９に示すように、端末用ゲーム画像としては、飛行機１５１（より具体的には大砲１５２）から見たゲーム空間の画像が表示される。したがって、端末用ゲーム画像を生成するための第２仮想カメラは、飛行機１５１の位置（より具体的には大砲１５２の位置）に配置される。ＣＰＵ１０は、上記ステップＳ２７の処理において、コントローラ操作データに基づいて飛行機１５１の移動を制御するとともに、第２仮想カメラの位置を制御する。なお、第２仮想カメラは、飛行機１５１あるいは大砲１５２の周辺の位置（例えば、大砲１５２のやや後方の位置）に配置されてもよい。以上のように、第２仮想カメラの位置は、（飛行機１５１の移動を操作する）第１プレイヤの操作によって制御されることになる。したがって、第４のゲーム例においては、第１仮想カメラと第２仮想カメラは連動して移動する。
また、端末用ゲーム画像としては、大砲１５２の発射方向の向きに見たゲーム空間の画像が表示される。ここで、大砲１５２の発射方向は、端末装置７の姿勢に対応するように制御される。つまり、本実施形態においては、第２仮想カメラの姿勢は、第２仮想カメラの視線方向が大砲１５２の発射方向と一致するように制御される。ＣＰＵ１０は、上記ステップＳ２７の処理において、上記ステップＳ２４で算出される端末装置７の姿勢に応じて、大砲１５２の向きおよび第２仮想カメラの姿勢を制御する。このように、第２仮想カメラの姿勢は、第２プレイヤの操作によって制御される。また、第２プレイヤは、端末装置７の姿勢を変化させることによって、大砲１５２の発射方向を変化させることができる。
なお、大砲１５２から弾を発射する場合、第２プレイヤは、端末装置７の所定のボタンを押下する。所定のボタンが押下されると、大砲１５２の向きに弾が発射される。端末用ゲーム画像においては、ＬＣＤ５１の画面中央に照準１５４が表示され、照準１５４が指し示す方向へ弾が発射される。
以上のように、第４のゲーム例においては、第１プレイヤは、飛行機１５１の進行方向の方を見たゲーム空間を表すテレビ用ゲーム画像（図２８）を主に見ながら、（例えば所望の標的１５３の方向へ移動するように）飛行機１５１を操作する。一方、第２プレイヤは、大砲１５２の発射方向の方を見たゲーム空間を表す端末用ゲーム画像（図２９）を主に見ながら、大砲１５２を操作する。このように、第４のゲーム例においては、２人のプレイが協力する形式のゲームにおいて、それぞれのプレイヤにとって見やすく操作しやすいゲーム画像を、テレビ２と端末装置７とにそれぞれ表示することができる。
また、第４のゲーム例においては、第１プレイヤの操作によって第１仮想カメラおよび第２仮想カメラの位置が制御され、第２プレイヤの操作によって第２仮想カメラの姿勢が制御される。つまり、本実施形態においては、各プレイヤのそれぞれのゲーム操作に応じて仮想カメラの位置または姿勢が変化する結果、各表示装置に表示されるゲーム空間の表示範囲が変化する。表示装置に表示されるゲーム空間の表示範囲が各プレイヤの操作に応じて変化するので、各プレイヤは、自己のゲーム操作がゲーム進行に十分に反映されていることを実感することができ、ゲームを十分に楽しむことができる。
なお、第４のゲーム例においては、飛行機１５１の後方から見たゲーム画像がテレビ２に表示され、飛行機１５１の大砲の位置から見たゲーム画像が端末装置７に表示された。ここで、他のゲーム例においては、ゲーム装置３は、飛行機１５１の後方から見たゲーム画像を端末装置７に表示させ、飛行機１５１の大砲１５２の位置から見たゲーム画像がテレビ２に表示させるようにしてもよい。このとき、各プレイヤの役割は上記第４のゲーム例と入れ替わり、第１プレイヤがコントローラ５を用いて大砲１５２の操作を行い、第２プレイヤが端末装置７を用いて飛行機１５１の操作を行うようにするとよい。
（第５のゲーム例）
以下、図３０を参照して、第５のゲーム例について説明する。第５のゲーム例は、プレイヤがコントローラ５を用いて操作を行うゲームであり、端末装置７は操作装置ではなく表示装置として用いられる。具体的には、第５のゲーム例はゴルフゲームであり、プレイヤがコントローラ５をゴルフクラブのように振る操作（スイング操作）に応じて、ゲーム装置３は仮想のゲーム空間におけるプレイヤキャラクタにゴルフのスイング動作を行わせる。
図３０は、第５のゲーム例におけるゲームシステム１の使用の様子を示す図である。図３０において、テレビ２の画面には、プレイヤキャラクタ（のオブジェクト）１６１およびゴルフクラブ（のオブジェクト）１６２を含むゲーム空間の画像が表示される。なお、図３０では、ゴルフクラブ１６２に隠れているので表示されていないが、ゲーム空間に配置されたボール（のオブジェクト）１６３もテレビ２に表示される。一方、図３０に示すように、端末装置７は、ＬＣＤ５１の画面が鉛直上向きとなるように、テレビ２の前方正面の床面に配置される。端末装置７には、ボール１６３を表す画像と、ゴルフクラブ１６２の一部（具体的には、ゴルフクラブのヘッド１６２ａ）を表す画像と、ゲーム空間の地面を表す画像とが表示される。端末用ゲーム画像は、ボールの周囲を上から見た画像である。
ゲームを行う際、プレイヤ１６０は、端末装置７の近傍に立ち、コントローラ５をゴルフクラブのように振るスイング操作を行う。このとき、ＣＰＵ１０は、上記ステップＳ２７において、上記ステップＳ２３の処理で算出されるコントローラ５の姿勢に応じてゲーム空間におけるゴルフクラブ１６２の位置および姿勢を制御する。具体的には、ゴルフクラブ１６２は、コントローラ５の先端方向（図３に示すＺ軸正方向）がＬＣＤ５１に表示されるボール１６３の画像を向く場合に、ゲーム空間内のゴルフクラブ１６２がボール１６３に当たるように、制御される。
また、コントローラ５の先端方向がＬＣＤ５１の方へ向く場合には、ゴルフクラブ１６２の一部を表す画像（ヘッド画像）１６４がＬＣＤ５１に表示される（図３０参照）。なお、端末用ゲーム画像に関しては、現実感を増すために、ボール１６３の画像が実物大で表示されてもよいし、コントローラ５のＺ軸回りの回転に応じてヘッド画像１６４の向きが回転するように表示されてもよい。また、端末用ゲーム画像は、ゲーム空間に設置される仮想カメラを用いて生成されてもよいし、予め用意された画像データを用いて生成されてもよい。予め用意された画像データを用いて生成する場合には、ゴルフコースの地形モデルを詳細に構築することなく、詳細でリアルな画像を小さい処理負荷で生成することができる。
プレイヤ１６０が上記スイング操作を行うことによってゴルフクラブ１６２が振られた結果、ゴルフクラブ１６２がボール１６３に当たると、ボール１６３が移動する（飛んでいく）。すなわち、ＣＰＵ１０は、上記ステップＳ２７においてゴルフクラブ１６２とボール１６３とが接触したか否かを判定し、接触した場合にはボール１６３を移動させる。ここで、テレビ用ゲーム画像は、移動後のボール１６３が含まれるように生成される。すなわち、ＣＰＵ１０は、テレビ用ゲーム画像を生成するための第１仮想カメラは、移動するボールがその撮影範囲に含まれるように位置および姿勢が制御される。一方、端末装置７においては、ゴルフクラブ１６２がボール１６３に当たると、ボール１６３の画像が移動されてすぐに画面外に消える。したがって、第５のゲーム例においては、ボールが移動する様子は主にテレビ２に表示され、プレイヤ１６０は、スイング操作によって飛んでいったボールの行方をテレビ用ゲーム画像で確認することができる。
以上のように、第５のゲーム例においては、プレイヤ１６０は、コントローラ５を振ることでゴルフクラブ１６２を振る（プレイヤキャラクタ１６１にゴルフクラブ１６２を振らせる）ことができる。ここで、第５のゲーム例においては、コントローラ５の先端方向がＬＣＤ５１に表示されるボール１６３の画像を向く場合に、ゲーム空間内のゴルフクラブ１６２がボール１６３に当たるように制御される。したがって、プレイヤは、スイング操作によって実際のゴルフクラブを打っているかのような感覚を得ることができ、スイング操作をより現実感のあるものにすることができる。
第５のゲーム例においてはさらに、コントローラ５の先端方向が端末装置７の方を向く場合にはヘッド画像１６４がＬＣＤ５１に表示される。したがって、プレイヤは、コントローラ５の先端方向を端末装置７の方へ向けることによって、仮想空間におけるゴルフクラブ１６２の姿勢が現実空間におけるコントローラ５の姿勢と対応している感覚を得ることができ、スイング操作をより現実感のあるものにすることができる。
以上のように、第５のゲーム例は、端末装置７を表示装置として利用する場合には、端末装置７を適切な位置に配置することによって、コントローラ５を用いた操作をより現実感のあるものにすることができる。
また、上記第５のゲーム例においては、端末装置７は床面に配置され、端末装置７にはボール１６３の周辺のみのゲーム空間を表す画像が表示される。そのため、ゲーム空間におけるゴルフクラブ１６２全体の位置・姿勢を端末装置７では表示することはできず、また、スイング操作後においてボール１６３が移動する様子を端末装置７では表示することはできない。そこで、第５のゲーム例では、ボール１６３の移動前においてはゴルフクラブ１６２の全体がテレビ２に表示され、ボール１６３の移動後においてはボール１６３が移動する様子がテレビ２に表示される。このように、第５のゲーム例によれば、現実感のある操作をプレイヤに提供することができるとともに、テレビ２および端末装置７の２つの画面を用いることで見やすいゲーム画像をプレイヤに対して提示することができる。
また、上記第５のゲーム例においては、コントローラ５の姿勢を算出するために、端末装置７のマーカ部５５が用いられる。すなわち、ＣＰＵ１０は、上記ステップＳ１の初期処理においてマーカ部５５を点灯させ（マーカ装置６は点灯させない）、ＣＰＵ１０は、上記ステップＳ２３においてマーカ座標データ９６に基づいてコントローラ５の姿勢を算出する。これによれば、コントローラ５の先端方向がマーカ部５５の方を向く姿勢か否かを正確に判定することができる。なお、上記第５のゲーム例では、上記ステップＳ２１およびＳ２２は実行されなくてもよいが、他のゲーム例においては、上記ステップＳ２１およびＳ２２の処理を実行することによって、点灯すべきマーカをゲームの途中で変更するようにしてもよい。例えば、ＣＰＵ１０は、ステップＳ２１において、第１加速度データ９４に基づいてコントローラ５の先端方向が重力方向を向くか否かを判定し、ステップＳ２２において、重力方向を向く場合にはマーカ部５５を点灯させ、重力方向を向かない場合にはマーカ装置６を点灯させるように制御してもよい。これによれば、コントローラ５の先端方向が重力方向を向く場合には、マーカ部５５のマーカ座標データを取得することで、コントローラ５の姿勢を精度良く算出することができるとともに、コントローラ５の先端方向がテレビ２の方を向く場合には、マーカ装置６のマーカ座標データを取得することで、コントローラ５の姿勢を精度良く算出することができる。
上記第５のゲーム例で説明したように、ゲームシステム１は、端末装置７を自由な位置に設置して表示装置として利用することができる。これによれば、マーカ座標データをゲーム入力として用いる場合において、コントローラ５をテレビ２の方へ向けて使用する他、端末装置７を所望の位置に設定することによってコントローラ５を自由な方向に向けて使用することができる。すなわち、本実施形態によれば、コントローラ５を使用できる向きが制限されることないので、コントローラ５の操作の自由度を向上することができる。
［７．ゲームシステムの他の動作例］
上記ゲームシステム１は、上記で説明したように種々のゲームを行うための動作を行うことが可能である。端末装置７は、可搬形のディスプレイや第２のディスプレイとしても使用することができる一方で、タッチ入力や動きによる入力を行うコントローラとしても使用することができ、上記ゲームシステム１によれば、幅広いゲームを実施することが可能となる。また、ゲーム以外の用途も含め、以下のような動作を行うことも可能である。
（プレイヤが端末装置７のみを用いてゲームをプレイする動作例）
本実施形態において、端末装置７は、表示装置として機能するとともに、操作装置としても機能するものである。そのため、テレビ２およびコントローラ５を使用せずに端末装置７を表示手段および操作手段として使用することによって、端末装置７を携帯型のゲーム装置のように使用することも可能である。
図２２に示したゲーム処理に即して具体的に説明すると、ＣＰＵ１０は、ステップＳ３において端末装置７から端末操作データ９７を取得し、ステップＳ４において端末操作データ９７のみをゲーム入力として用いて（コントローラ操作データを用いずに）ゲーム処理を実行する。そして、ステップＳ６においてゲーム画像を生成し、ステップＳ１０においてゲーム画像を端末装置７へ送信する。なお、このとき、ステップＳ２、Ｓ５、およびＳ９は実行されなくてもよい。以上によれば、端末装置７に対する操作に応じてゲーム処理が行われ、ゲーム処理結果を表すゲーム画像が端末装置７に表示されることとなる。このようにすれば、（実際にはゲーム処理はゲーム装置で実行されるが、）端末装置７を携帯型のゲーム装置として利用することも可能である。したがって、本実施形態によれば、テレビ２が使用中である（例えば、他の人がテレビ放送を視聴中である）等の理由でテレビ２にゲーム画像を表示できない場合でも、ユーザは端末装置７を用いてゲームを行うことができる。
なお、ＣＰＵ１０は、ゲーム画像に限らず、電源投入後に表示される上述のメニュー画面についても画像を端末装置７へ送信して表示させるようにしてもよい。これによれば、プレイヤは最初からテレビ２を使用せずにゲームを行うことができるので、便利である。
さらに、上記において、ゲーム画像を表示する表示装置を端末装置７からテレビ２へとゲーム中に変更することも可能である。具体的には、ＣＰＵ１０は、上記ステップＳ９をさらに実行し、ゲーム画像をテレビ２へ出力するようにすればよい。なお、ステップＳ９でテレビ２へ出力される画像は、ステップＳ１０で端末装置７へ送信されるゲーム画像と同じである。これによれば、ゲーム装置３からの入力を表示させるようにテレビ２の入力を切り替えることで、端末装置７と同一のゲーム画像がテレビ２に表示されることとなるので、ゲーム画像を表示する表示装置をテレビ２に変更することができる。なお、テレビ２にゲーム画像が表示された後は、端末装置７の画面表示がオフにされてもよい。
なお、ゲームシステム１においては、テレビ２に対する赤外線リモコン信号を赤外線出力手段（マーカ装置６、マーカ部５５、あるいは赤外線通信モジュール８２）から出力可能であるようにしてもよい。これによれば、ゲーム装置３は、端末装置７に対する操作に応じて上記赤外線リモコン信号を赤外線出力手段から出力させることによって、テレビ２に対する操作を行うことができる。この場合、ユーザはテレビ２のリモコンを操作することなく、端末装置７を用いてテレビ２を操作することができるので、上記のようにテレビ２の入力を切り替える場合等において便利である。
（ネットワークを介して他の装置と通信を行う動作例）
上述のように、ゲーム装置３はネットワークに接続する機能を有しているので、ゲームシステム１は、ネットワークを介して外部装置と通信を行う場合にも利用することができる。図３１は、ネットワークを介して外部装置と接続される場合におけるゲームシステム１に含まれる各装置の接続関係を示す図である。図３１に示すように、ゲーム装置３は、外部装置１９１とネットワーク１９０を介して通信可能である。
上記のように外部装置１９１とゲーム装置３とが通信可能である場合、ゲームシステム１においては端末装置７をインターフェースとして外部装置１９１との間で通信を行うことができる。例えば、外部装置１９１と端末装置７との間で画像および音声を送受信することによって、ゲームシステム１をテレビ電話として使用することができる。具体的には、ゲーム装置３は、外部装置１９１からの画像および音声（電話相手の画像および音声）をネットワーク１９０を介して受信し、受信した画像および音声を端末装置７に送信する。これによって、端末装置７は、外部装置１９１からの画像をＬＣＤ５１に表示するとともに、外部装置１９１からの音声をスピーカ７７から出力する。また、ゲーム装置３は、カメラ５６で撮像されたカメラ画像と、マイク７９で検知されたマイク音声とを端末装置７から受信し、カメラ画像およびマイク音声をネットワーク１９０を介して外部装置１９１へ送信する。ゲーム装置３は、上記の画像および音声の送受信を外部装置１９１との間で繰り返すことによって、ゲームシステム１をテレビ電話として使用することができる。
なお、本実施形態においては端末装置７は可搬型であるので、ユーザは、端末装置７を自由な位置で使用したり、カメラ５６を自由な方向に向けたりすることができる。また、本実施形態においては端末装置７はタッチパネル５２を備えているので、ゲーム装置３は、タッチパネル５２に対する入力情報（タッチ位置データ１００）を外部装置１９１へ送信することも可能である。例えば、外部装置１９１からの画像および音声を端末装置７で出力するとともに、ユーザがタッチパネル５２上に書いた文字等を外部装置１９１へ送信する場合には、いわゆるｅラーニングシステムとしてゲームシステム１を使用することも可能である。
（テレビ放送と連動した動作例）
また、ゲームシステム１は、テレビ２でテレビ放送が視聴されている場合に、テレビ放送と連動して動作することも可能である。すなわち、ゲームシステム１は、テレビ２でテレビ番組が視聴されている場合に、そのテレビ番組に関する情報等を端末装置７に出力させる。以下、ゲームシステム１がテレビ放送と連動して動作する場合の動作例を説明する。
上記動作例においては、ゲーム装置３は、ネットワークを介してサーバと通信可能である（換言すれば、図３１に示す外部装置１９１がサーバである。）。サーバは、テレビ放送に関連する種々の情報（テレビ情報）をテレビ放送のチャンネル毎に記憶している。このテレビ情報は、字幕や出演者情報等の番組に関する情報でもよいし、ＥＰＧ（電子番組表）の情報や、データ放送として放送される情報でもよい。また、テレビ情報は、画像や、音声や、文字や、これらの組み合わせの情報であってもよい。また、サーバは１つである必要はなく、テレビ放送のチャンネル毎、あるいは番組毎にサーバが設置され、ゲーム装置３は各サーバと通信可能であってもよい。
テレビ２においてテレビ放送の映像・音声が出力されている場合において、ゲーム装置３は、視聴中のテレビ放送のチャンネルを端末装置７を用いてユーザに入力させる。そして、入力されたチャンネルに対応するテレビ情報を送信するように、ネットワークを介してサーバに要求する。これに応じて、サーバは上記チャンネルに対応するテレビ情報のデータを送信する。サーバから送信されてくるデータ受信すると、ゲーム装置３は、受信したデータを端末装置７へ出力する。端末装置７は、上記データのうち画像および文字のデータをＬＣＤ５１に表示し、音声のデータをスピーカから出力する。以上によって、ユーザは、現在視聴中のテレビ番組に関する情報等を端末装置７を用いて享受することができる。
上記のように、ゲームシステム１は、ネットワークを介して外部装置（サーバ）と通信を行うことによって、テレビ放送と連動した情報を端末装置７によってユーザに提供することも可能である。特に、本実施形態では端末装置７は可搬型であるので、ユーザは自由な位置で端末装置７を使用することができ、利便性が高い。
以上のように、本実施形態においては、ユーザは、ゲームに使用する他にも、種々の用途・形態で端末装置７を使用することができる。
［８．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
（複数の端末装置を有する変形例）
上記実施形態においては、ゲームシステム１は端末装置を１つのみ有する構成であったが、ゲームシステム１は複数の端末装置を有する構成であってもよい。すなわち、ゲーム装置３は、複数の端末装置とそれぞれ無線通信可能であり、ゲーム画像のデータとゲーム音声のデータと制御データとを各端末装置へ送信し、操作データとカメラ画像データとマイク音データとを各端末装置から受信するものであってもよい。なお、ゲーム装置３は、複数の端末装置のそれぞれと無線通信を行うが、このとき、ゲーム装置３は、各端末装置との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
上記のように複数の端末装置を有する場合には、ゲームシステムを用いてより多くの種類のゲームを行うことができる。例えば、ゲームシステム１が２つの端末装置を有する場合には、ゲームシステム１は３つの表示装置を有することになるので、３人のプレイヤのそれぞれのためのゲーム画像を生成し、各表示装置に表示させることができる。また、ゲームシステム１が２つの端末装置を有する場合には、コントローラと端末装置とを１組として用いるゲーム（例えば上記第５のゲーム例）において、２人のプレイヤが同時にゲームを行うことができる。さらに、２つのコントローラから出力されるマーカ座標データに基づいて上記ステップＳ２７のゲーム処理が行われる場合には、コントローラをマーカ（マーカ装置６またはマーカ部５５）に向けて行うゲーム操作を２人のプレイヤがそれぞれ行うことができる。すなわち、一方のプレイヤは、マーカ装置６の方へコントローラを向けてゲーム操作を行い、他方のプレイヤは、マーカ部５５の方へコントローラを向けてゲーム操作を行うことができる。
（端末装置の機能に関する変形例）
上記実施形態においては、端末装置７は、ゲーム処理を実行しない、いわゆるシンクライアント端末として機能するものであった。ここで、他の実施形態においては、上記実施形態においてゲーム装置３によって実行される一連のゲーム処理のうち、一部の処理は端末装置７等の他の装置によって実行されてもよい。例えば、一部の処理（例えば、端末用ゲーム画像の生成処理）を端末装置７が実行するようにしてもよい。つまり、端末装置は、操作部に対する操作に基づいてゲーム処理を行い、ゲーム処理に基づいてゲーム画像を生成して表示部に表示させる、携帯型のゲーム装置として機能するものであってもよい。また例えば、互いに通信可能な複数の情報処理装置（ゲーム装置）を有するゲームシステムにおいて、当該複数の情報処理装置がゲーム処理を分担して実行するようにしてもよい。
（端末装置の構成に関する変形例）
上記実施形態における端末装置は一例であり、端末装置の各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。例えば、端末装置は、以下に示す構成であってもよい。以下、図３２〜図３５を参照して、端末装置の変形例について説明する。
図３２は、上記実施形態の変形例に係る端末装置の外観構成を示す図である。図３２における（ａ）図は端末装置の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図３３は、図３２に示す端末装置をユーザが把持した様子を示す図である。なお、図３２および図３３において、上記実施形態における端末装置７の構成要素に対応する構成要素については図８と同じ参照符号を付しているが、同一の物で構成される必要はない。
図３２に示されるように、端末装置８は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置８を持って動かしたり、端末装置８の配置位置を変更したりすることができる。
端末装置８は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置８を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置８を縦持ちで（縦に長い向きにして）持つことも可能である。
図３２の（ａ）図に示すように、端末装置８は、操作手段（操作部）として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本変形例では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本変形例では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置８はタッチパネル５２を備えるので、ユーザは、端末装置８を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
図３２に示すように、端末装置８は、操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドまたは傾倒することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図３３に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置８の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置８を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置８の左右部分を把持した状態で操作可能な位置に設けられる（図３３参照）。したがって、ユーザは、端末装置８を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
図３２の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図３３参照）。
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置８は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
また、図３２の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
また、図３２の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。上記実施形態の庇部５９と同様、各足部５９Ａおよび５９Ｂは、表示部の左右にそれぞれ設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の反対側の位置を含む領域に設けられる。また、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図３２の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置８を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
なお、図３２に示す端末装置８に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置８を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置８を載置することができる。また、着脱可能な足部を追加することで端末装置８を水平に載置するようにしてもよい。
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
なお、図示しないが、端末装置８は、端末装置８の電源をオン／オフするための電源ボタンを有している。また、端末装置８は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ７７）の音量を調節するためのボタンを有していてもよい。
図３２の（ａ）図に示すように、端末装置８は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
端末装置８は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図３２に示すように、本変形例では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置８を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
なお、端末装置８は、音声入力手段であるマイク（図１０に示すマイク７９）を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク７９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置８の周囲の音を検出する。
端末装置８は、音声出力手段であるスピーカ（図１０に示すスピーカ７７）を備えている。図３２の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。本変形例では、端末装置８は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
また、端末装置８は、他の装置を端末装置８に接続するための拡張コネクタ５８を備えている。本変形例においては、図３２の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
なお、図３２に示した端末装置８に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
以上のように、上記変形例においては、ハウジング５０の裏面において左右両側の位置に設けられる２つの足部５９Ａおよび５９Ｂが突起部として設けられる。この場合も上記実施形態と同様、突起部の下面を薬指または中指に掛けた状態で端末装置８を把持することによって、ユーザは楽に端末装置８を把持することができる（図３３参照）。また、上記実施形態と同様、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。
上記実施形態および変形例のように、突起部は、ハウジングの裏側において、ハウジングの中央よりも上側であって少なくとも左右両側の位置に突起して設けられることが好ましい。これによれば、ユーザがハウジングの左右両側を把持した場合に、突起部が指に掛かるようにすることで楽に端末装置を把持することができる。また、突起部が上側に設けられることによって、ユーザは手のひらでもハウジングを支えることができるので（図１０等参照）、端末装置をしっかりと把持することができる。
なお、突起部は、ハウジングの中央よりも上側に設けられなくてもよい。例えば、表示部の左右に操作部がそれぞれ設けられる場合には、突起部は、ユーザが各操作部を両手の親指でそれぞれ操作可能なようにハウジングを把持した状態で、親指以外のいずれかの指に掛止可能な位置に設けられてもよい。これによっても、ユーザは、突起部が指に掛かるようにすることで楽に端末装置を把持することができる。
図３４および図３５は、上記実施形態の他の変形例に係る端末装置の外観構成を示す図である。図３４は端末装置の右側面図であり、図３５は下面図である。図３４および図３５に示す端末装置９は、凸部２３０ａおよび２３０ｂを備える点を除いて、上記実施形態における端末装置７と同様である。以下、上記実施形態との相違点を中心に、本変形例における端末装置９の構成を説明する。
凸部２３０ａおよび２３０ｂは、断面が凸型であり、ハウジング５０の裏側において左右の両側にそれぞれ設けられる。ここでは、ハウジング５０の左側（表面側から見たときの左側）に凸部２３０ａが設けられ、ハウジング５０の右側（表面側から見たときの右側）に凸部２３０ｂが設けられる。図３５に示すように、各凸部２３０ａおよび２３０ｂは、ハウジング５０の左右の両辺（両端部）に設けられている。また、各凸部２３０ａおよび２３０ｂは、突起部（庇部５９）よりも下方に設けられる。各凸部２３０ａおよび２３０ｂは、突起部との間に間隔を空けて設けられる。つまり、ハウジング５０において、各凸部２３０ａおよび２３０ｂと突起部との間の部分は、これらの各部よりも薄く構成される。各凸部２３０ａおよび２３０ｂは、突起する部分が上下方向に延び、上下方向に垂直な断面が凸型の形状である。
本変形例においては、ユーザは、小指（および薬指）で各凸部２３０ａおよび２３０ｂを包むように把持することで、端末装置９をよりしっかりと把持することができる。すなわち、凸部２３０ａおよび２３０ｂは、グリップ部の機能を有する。なお、凸部（グリップ部）は、どのような形状であってもよいが、上下方向に延びるように形成されると端末装置９が持ちやすくなり、好ましい。また、各凸部２３０ａおよび２３０ｂの高さは、どのくらいでもよいが、突起部よりも低く形成されてもよい。これによれば、ＬＣＤ５１の画面が上向きになるように端末装置９を載置した状態において画面の下側が上側よりも低くなるので、見やすい状態で端末装置９を載置することができる。また、各凸部２３０ａおよび２３０ｂは突起部との間に間隔を空けて設けられるので、ユーザは突起部の下面に指を当てて端末装置９を把持することができ、凸部が当該指の邪魔になることがない。以上のように、上記変形例によれば、突起部の下方に凸部が設けられることによって、ユーザは、端末装置をよりしっかりと把持することができる。なお、他の実施形態においては、ハウジング５０の裏面に上記突起部が設けられない構成としてもよく、その場合でも、凸部（グリップ部）によってユーザはハウジング５０をしっかりと把持することができる。また、凸部（グリップ部）表面は、グリップ機能をさらに向上させるために滑りにくい素材を用いるようにしてもよい。凸部が無い場合でも、ハウジング裏面に滑りにくい素材を用いてもよい。
（本構成を適用する装置に関する変形例）
上記実施形態においては、据置型のゲーム装置と共に用いられる端末装置を例として説明したが、本明細書に記載の操作装置の構成は、ユーザが把持して使用する任意の装置に適用することが可能である。例えば、操作装置は、携帯ゲーム機、携帯電話、スマートフォン、および電子書籍端末等の情報端末として実現されてもよい。
以上のように、本発明は、ユーザが容易に把持することを可能とすること等を目的として、例えばゲームシステムにおける操作装置（端末装置）等として利用することが可能である。
１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
５ コントローラ
６ マーカ装置
７〜９ 端末装置
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
５１ ＬＣＤ
５２ タッチパネル
５３ アナログスティック
５４ 操作ボタン
５５ マーカ部
５６ カメラ
５９ 庇部
６２ 磁気センサ
６３ 加速度センサ
６４ ジャイロセンサ
２００ 入力装置
２１０ スタンド
２３０ 凸部

Claims (12)

  1. 操作装置と、当該操作装置に着脱可能な付加装置とを含む操作システムであって、
    前記操作装置は、
    略板状のハウジングと、
    前記ハウジングの表側に設けられる表示部とを備え、
    前記付加装置は、
    操作部と、
    棒状の第１グリップ部と、
    前記第１グリップ部が鉛直方向を向く場合に前記表示部の画面が略鉛直向きとなるように前記操作装置を着脱可能に支持する支持部とを備える、操作システム。
  2. 前記第１グリップ部と略平行な方向を向く棒状の第２グリップ部をさらに備え、
    前記操作部は、前記第１グリップ部および前記第２グリップ部のいずれかを把持した場合に把持した手の指で操作可能な位置に設けられる、請求項１に記載の操作システム。
  3. 前記支持部は、前記第１グリップ部と前記第２グリップ部とを接続する部材に設けられる、請求項２に記載の操作システム。
  4. 前記第１グリップ部は、前記操作装置に装着された場合に前記画面の前側となる位置に設けられ、
    前記第２グリップ部は、前記操作装置に装着された場合に前記画面の後側となる位置に設けられる、請求項３に記載の操作システム。
  5. 前記付加装置は、前記操作装置が装着された場合に前記画面の後方を撮像する向きに配置される撮像部をさらに備える、請求項１から請求項４のいずれか１項に記載の操作システム。
  6. 前記操作装置は、前記ハウジングの裏側に突起して設けられる突起部を備え、
    前記突起部の下面には第１係止穴が設けられ、
    前記ハウジングの下面には第２係止穴が設けられ、
    前記支持部は、前記第１係止穴および第２係止穴に係止可能な爪部を有し、前記第１係止穴および第２係止穴に前記爪部が係止した場合に前記ハウジングの裏面を支持する、請求項１から請求項５のいずれか１項に記載の操作システム。
  7. 前記操作装置は、前記ハウジングの内部に慣性センサをさらに備える、請求項１から請求項６のいずれか１項に記載の操作システム。
  8. 前記表示部は５インチ以上の画面を有する、請求項１から請求項７のいずれか１項に記載の操作システム。
  9. 前記付加装置は、前記操作装置に装着された場合、自機に対して行われた操作を表す操作データを前記操作装置へ送信し、
    前記操作装置は、ゲーム処理を実行可能なゲーム装置と無線通信可能であり、自機に対して行われた操作を表す操作データと、前記付加装置から送信されてきた操作データとを当該ゲーム装置へ無線で送信する、請求項１から請求項８のいずれか１項に記載の操作システム。
  10. 棒状の第１グリップ部と、
    棒状の第２グリップ部と、
    前記第１グリップ部および前記第２グリップ部の少なくとも一方が鉛直方向を向く場合に画面が略鉛直向きとなるように配置される表示部と、
    前記第１グリップ部および前記第２グリップ部のいずれかを把持した場合に把持した手の指で操作可能な位置に設けられる操作部とを備える、操作装置。
  11. 前記表示部は、前記第１グリップ部と前記第２グリップ部との間に設けられる、請求項１０に記載の操作装置。
  12. 前記第１グリップ部は、前記画面の前側となる位置に設けられ、
    前記第２グリップ部は、前記画面の後側となる位置に設けられる、請求項１１に記載の操作装置。
JP2011118488A 2010-11-01 2011-05-26 情報処理システムおよび情報処理装置 Active JP5936315B2 (ja)

Priority Applications (31)

Application Number Priority Date Filing Date Title
JP2011118488A JP5936315B2 (ja) 2010-11-01 2011-05-26 情報処理システムおよび情報処理装置
TW100126151A TWI440496B (zh) 2010-11-01 2011-07-25 操作裝置及操作系統
TW100126152A TWI442963B (zh) 2010-11-01 2011-07-25 操作裝置及資訊處理裝置
KR20110075100A KR101492310B1 (ko) 2010-11-01 2011-07-28 조작 장치 및 정보 처리 장치
KR1020110075093A KR101364826B1 (ko) 2010-11-01 2011-07-28 조작 장치 및 조작 시스템
EP11176475.9A EP2446943B1 (en) 2010-11-01 2011-08-03 Controller device and controller system
EP11176479.1A EP2446946B1 (en) 2010-11-01 2011-08-03 Device support system and support device
EP11176478.3A EP2446945B1 (en) 2010-11-01 2011-08-03 Controller device and information processing device
EP11176477.5A EP2446944B1 (en) 2010-11-01 2011-08-03 Controller device and controller system
CA2748627A CA2748627C (en) 2010-11-01 2011-08-09 Controller device, controller system, and information processing device
US13/206,059 US8827818B2 (en) 2010-11-01 2011-08-09 Controller device and information processing device
AU2011213764A AU2011213764B2 (en) 2010-11-01 2011-08-10 Controller device and information processing device
US13/206,767 US8814680B2 (en) 2010-11-01 2011-08-10 Controller device and controller system
US13/206,914 US8702514B2 (en) 2010-11-01 2011-08-10 Controller device and controller system
AU2011213765A AU2011213765B2 (en) 2010-11-01 2011-08-10 Controller device and controller system
US13/207,867 US8804326B2 (en) 2010-11-01 2011-08-11 Device support system and support device
CN201110303989.XA CN102600614B (zh) 2010-11-01 2011-09-30 设备支承系统和支承装置
CN2011203784309U CN202355827U (zh) 2010-11-01 2011-09-30 操作装置和操作系统
CN201110303781.8A CN102462960B (zh) 2010-11-01 2011-09-30 操作装置和操作系统
CN201110303925.XA CN102600611B (zh) 2010-11-01 2011-09-30 操作装置和信息处理装置
CN2011203784525U CN202355829U (zh) 2010-11-01 2011-09-30 操作装置和信息处理装置
CN2011203784436U CN202398092U (zh) 2010-11-01 2011-09-30 操作装置和操作系统
CN2011203784510U CN202398095U (zh) 2010-11-01 2011-09-30 设备支承系统和支承装置
CN201110303971.XA CN102600612B (zh) 2010-11-01 2011-09-30 操作装置和操作系统
HK12106413.2A HK1165745A1 (en) 2010-11-01 2012-07-03 Controller device and controller system
HK12112241.8A HK1171400A1 (zh) 2010-11-01 2012-11-28 操作裝置和操作系統
HK12112245.4A HK1171403A1 (en) 2010-11-01 2012-11-28 Controller device and information processing device
HK12112240.9A HK1171399A1 (zh) 2010-11-01 2012-11-28 設備支承系統和支承裝置
KR1020130014536A KR20130020715A (ko) 2010-11-01 2013-02-08 조작 장치 및 조작 시스템
US14/302,248 US9272207B2 (en) 2010-11-01 2014-06-11 Controller device and controller system
US14/983,173 US9889384B2 (en) 2010-11-01 2015-12-29 Controller device and controller system

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2010245298 2010-11-01
JP2010245298 2010-11-01
JP2011092506 2011-04-18
JP2011092506 2011-04-18
JP2011103705 2011-05-06
JP2011103705 2011-05-06
JP2011118488A JP5936315B2 (ja) 2010-11-01 2011-05-26 情報処理システムおよび情報処理装置

Publications (2)

Publication Number Publication Date
JP2012249644A true JP2012249644A (ja) 2012-12-20
JP5936315B2 JP5936315B2 (ja) 2016-06-22

Family

ID=47523103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011118488A Active JP5936315B2 (ja) 2010-11-01 2011-05-26 情報処理システムおよび情報処理装置

Country Status (1)

Country Link
JP (1) JP5936315B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176462A (ja) * 2014-03-17 2015-10-05 祥司 鱒渕 操作装置
JP2017085743A (ja) * 2015-10-27 2017-05-18 任天堂株式会社 充電器および充電システム
JP2019522849A (ja) * 2016-06-11 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント 方向インタフェースオブジェクト
JPWO2021234951A1 (ja) * 2020-05-22 2021-11-25

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046095U (ja) * 1997-08-08 1998-02-20 株式会社アイマックス 波動信号に基づく対象物探索玩具
JP2002085833A (ja) * 2000-09-14 2002-03-26 Minolta Co Ltd ゲーム機用コントローラ
JP2002325969A (ja) * 2001-05-01 2002-11-12 Kenji Ichimori ゲームコントローラー
JP2007021065A (ja) * 2005-07-21 2007-02-01 Aruze Corp 携帯ゲーム機用コントローラ
JP2007300980A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲームコントローラ
JP2008067844A (ja) * 2006-09-13 2008-03-27 Namco Bandai Games Inc ゲームコントローラ及び充電クレードル
US20090197679A1 (en) * 2008-01-16 2009-08-06 Argentar Eric J Video Game Controller
JP2009219707A (ja) * 2008-03-17 2009-10-01 Sega Corp ゲーム制御プログラムおよびゲーム装置
JP3162279U (ja) * 2010-06-15 2010-08-26 道政 徐 表示装置を備えるゲーム機コントローラー

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046095U (ja) * 1997-08-08 1998-02-20 株式会社アイマックス 波動信号に基づく対象物探索玩具
JP2002085833A (ja) * 2000-09-14 2002-03-26 Minolta Co Ltd ゲーム機用コントローラ
JP2002325969A (ja) * 2001-05-01 2002-11-12 Kenji Ichimori ゲームコントローラー
JP2007021065A (ja) * 2005-07-21 2007-02-01 Aruze Corp 携帯ゲーム機用コントローラ
JP2007300980A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲームコントローラ
JP2008067844A (ja) * 2006-09-13 2008-03-27 Namco Bandai Games Inc ゲームコントローラ及び充電クレードル
US20090197679A1 (en) * 2008-01-16 2009-08-06 Argentar Eric J Video Game Controller
JP2009219707A (ja) * 2008-03-17 2009-10-01 Sega Corp ゲーム制御プログラムおよびゲーム装置
JP3162279U (ja) * 2010-06-15 2010-08-26 道政 徐 表示装置を備えるゲーム機コントローラー

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176462A (ja) * 2014-03-17 2015-10-05 祥司 鱒渕 操作装置
JP2017085743A (ja) * 2015-10-27 2017-05-18 任天堂株式会社 充電器および充電システム
US11171449B2 (en) 2015-10-27 2021-11-09 Nintendo Co., Ltd. Charger and charging system
US11171448B2 (en) 2015-10-27 2021-11-09 Nintendo Co., Ltd. Charger and charging system
JP2019522849A (ja) * 2016-06-11 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント 方向インタフェースオブジェクト
JPWO2021234951A1 (ja) * 2020-05-22 2021-11-25
WO2021234951A1 (ja) * 2020-05-22 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント 操作システム、情報処理システム、操作情報生成方法及び操作情報生成プログラム
JP7562659B2 (ja) 2020-05-22 2024-10-07 株式会社ソニー・インタラクティブエンタテインメント 操作システム、情報処理システム、操作情報生成方法及び操作情報生成プログラム

Also Published As

Publication number Publication date
JP5936315B2 (ja) 2016-06-22

Similar Documents

Publication Publication Date Title
KR101492310B1 (ko) 조작 장치 및 정보 처리 장치
JP6188766B2 (ja) 操作装置および操作システム
TWI442963B (zh) 操作裝置及資訊處理裝置
WO2011096204A1 (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP5745340B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5829020B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
TWI434717B (zh) 顯示裝置、遊戲系統及遊戲處理方法
JP4798809B1 (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP2012239746A (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
JP6103677B2 (ja) ゲームシステム、操作装置、およびゲーム処理方法
JP5936315B2 (ja) 情報処理システムおよび情報処理装置
JP2012096005A (ja) 表示装置、ゲームシステム、およびゲーム処理方法
KR20130020715A (ko) 조작 장치 및 조작 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160506

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160510

R150 Certificate of patent or registration of utility model

Ref document number: 5936315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250