JP2018038469A - 情報処理システム、拡張入力装置、および情報処理方法 - Google Patents

Abstract

【課題】簡易な構成で実現することができる情報処理システム、拡張入力装置、および情報処理方法を提供する。
【解決手段】拡張入力装置がデータ送信装置に固定された状態において、ユーザ入力および／またはユーザ操作に応じて撮像部が撮像可能な光を発する発光部を当該データ送信装置の撮像部が撮像し、少なくとも撮像した画像に基づいて生成されるデータを情報処理装置に送信する。そして、情報処理装置は、送信されたデータに基づいて情報処理を行う。
【選択図】図９

Description

本発明は、情報処理システム、拡張入力装置、および情報処理方法に関し、特に、情報処理装置とデータ送信装置と当該データ送信装置に固定される拡張入力装置とを含む情報処理システム、当該情報処理システムにおける拡張入力装置、および情報処理方法に関する。

従来、携帯装置に接続されることによって携帯装置に機能を付加する付属機器がある（例えば、特許文献１参照）。例えば、上記特許文献１には、ゲーム装置のコントローラに設けられたコネクタに、付属機器として他のコントローラを接続する技術が開示されている。これによれば、２つのコントローラを用いることによって、より多様なゲーム操作が可能となる。

特開２０１０−０１７３８７号公報

しかしながら、上記付属機器は、携帯装置と通信を行うための回路構成や、携帯装置へ送信する情報を生成する情報処理のための回路構成を有するので、付属機器の構成を簡易にすることについて改善の余地があった。

それ故、本発明の目的は、簡易な構成で実現することができる情報処理システム、拡張入力装置、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理システムの一構成例は、情報処理を行う情報処理装置と、当該情報処理装置にデータを送信するデータ送信装置と、当該データ送信装置に固定される拡張入力装置とを含む。データ送信装置は、撮像部および送信部を備える。送信部は、少なくとも撮像部が撮像した画像に基づいて生成されるデータを情報処理装置に送信する。拡張入力装置は、固定部、操作入力部、および発光部を備える。固定部は、データ送信装置に拡張入力装置を固定する。操作入力部は、情報処理を行うためにユーザが入力および／またはユーザが操作を行う。発光部は、データ送信装置に固定された状態において、撮像部によって撮像可能に配置され、操作入力部に対するユーザ入力および／またはユーザ操作に応じて撮像部が撮像可能な光を発する。情報処理装置は、受信部および処理部を備える。受信部は、送信部から送信されたデータを受信する。処理部は、受信部が受信したデータに基づいて情報処理を行う。

上記によれば、ユーザ入力および／またはユーザ操作に応じて発光する発光部を撮像するデータ送信装置に拡張入力装置を装着し、当該発光部を撮像した撮像画像に基づいて生成されるデータを用いて情報処理することができる。したがって、拡張入力装置は、ユーザ入力および／またはユーザ操作の検出結果を情報処理装置へ送信する電気的構成を必要としないため、簡易な構成で実現することができる。また、データ送信装置から撮像画像のそのものを情報処理装置へ送信する場合と比較して、送信データ量を削減することもできる。

また、上記操作入力部は、複数の操作入力部材を含んでもよい。上記発光部は、複数の発光部材を含んでもよく、ユーザ入力および／またはユーザ操作された操作入力部材に対応する少なくとも１つの発光部材が発光してもよい。

上記によれば、発光している発光部材を検出することによって、ユーザ入力および／またはユーザ操作された操作入力部材を判定することができる。

また、上記データ送信装置は、画像処理部を、さらに備えてもよい。画像処理部は、撮像部が撮像した画像において輝度の高い部分の座標情報を取得する。この場合、上記送信部は、画像処理部によって取得された座標情報を、撮像部が撮像した画像に基づいて生成されるデータとして送信してもよい。上記処理部は、受信部が受信したデータに基づいて、複数の発光部材の何れが発光しているかを特定し、当該発光している発光部材に対応する操作入力部材に対するユーザ入力および／またはユーザ操作に基づいて、情報処理を行ってもよい。

上記によれば、ユーザ入力および／またはユーザ操作に応じて発光する発光部を撮像することによって、拡張入力装置に対するユーザ入力やユーザ操作を判別することも可能となるため、新しいデータフォーマットを用意しなくとも同じ所定のデータフォーマットを用いて様々な種類の拡張入力装置を追加することができる。

また、上記撮像部は、赤外カメラでもよい。上記複数の発光部材は、複数の赤外ＬＥＤによって構成されてもよい。

上記によれば、赤外ＬＥＤが発する赤外光を赤外カメラによって撮像するため、外光による誤認識の可能性を低減することができる。

また、上記複数の赤外ＬＥＤは、所定の面上に設けられたマトリクス状の配置位置に含まれる何れかの位置に配置されてもよい。

上記によれば、複数の赤外ＬＥＤそれぞれの配置位置の管理や把握が容易となる。

また、上記所定の面は、データ送信装置に固定された状態において、撮像部の撮像方向に対して斜めに配置してもよい。

上記によれば、発光部を設置するためのスペースを小さくすることができる。

また、上記情報処理装置は、ゲーム機本体でもよい。上記データ送信装置は、操作部を備えるゲームコントローラでもよい。上記送信部は、データ送信装置の操作部からのデータと撮像部が撮像した画像に基づいて生成されるデータとを少なくとも含むデータを送信してもよい。

上記によれば、ゲーム機本体およびゲームコントローラに、ゲーム機本体との通信機能を有していない拡張入力装置を組み合わせることによって、情報処理システムを構成することができる。

また、上記操作入力部は、ユーザ入力および／またはユーザ操作に応じてそれぞれ開閉する複数のスイッチを含んでもよい。上記発光部は、複数の発光部材を含み、ユーザ入力および／またはユーザ操作に応じてオンにされたスイッチに対応する発光部材を通電することによって当該発光部材を発光させてもよい。

上記によれば、複数のスイッチを用いて、ユーザ入力および／またはユーザ操作に応じて複数の発光部材を発光させることができる。

また、上記操作入力部は、ユーザの身体が接触可能な複数の接触部材を含んでもよい。上記発光部は、複数の発光部材を含み、接触部材にユーザの身体が接触することに応じて当該接触部材に対応する発光部材を通電することによって当該発光部材を発光させてもよい。

上記によれば、複数の接触部材を用いて、ユーザ入力および／またはユーザ操作に応じて複数の発光部材を発光させることができる。

また、上記発光部は、操作入力部材に対する入力量および／または操作量に応じて、異なる発光部材を発光させてもよい。

上記によれば、発光部材の発光によって、ユーザ入力および／またはユーザ操作の有無だけでなく入力量や操作量の判定も可能となる。

また、上記データ送信装置は、近距離無線通信部を、さらに備えてもよい。近距離無線通信部は、他の装置との間で近距離無線通信を行う。上記拡張入力装置は、情報記憶媒体を、さらに備えてもよい。情報記憶媒体は、固定部によってデータ送信装置に固定された場合に近距離無線通信部との近距離無線通信が可能となる位置に備えられて、当該近距離無線通信部と近距離無線通信を行う。この場合、上記送信部は、近距離無線通信によって情報記憶媒体から取得したデータと撮像部が撮像した画像に基づいて生成されるデータとを少なくとも含むデータを送信してもよい。上記処理部は、情報記憶媒体から取得したデータおよび撮像部が撮像した画像に基づいて生成されるデータに基づいて、拡張入力装置を用いたユーザ入力および／またはユーザ操作に応じた情報処理を行ってもよい。

上記によれば、情報記憶媒体に記憶されている情報に基づいた処理が可能となり、例えば、拡張入力装置の種別を判定したり、拡張入力装置の認証を行ったり、拡張入力装置のキャリブレーション情報を取得したりする処理が可能となる。

また、本発明は、拡張入力装置や情報処理方法の形態で実施されてもよい。

本発明によれば、簡易な構成で拡張入力装置を実現することができる。

本体装置２に左コントローラ３および右コントローラ４を装着した状態を示す図 本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図 本体装置２の一例を示す六面図 左コントローラ３の一例を示す六面図 右コントローラ４の一例を示す六面図 本体装置２の内部構成の一例を示すブロック図 本体装置２と左コントローラ３および右コントローラ４との内部構成の一例を示すブロック図 ユーザが拡張入力装置２００を用いて文字入力する様子の一例を示す図 拡張入力装置２００の内部に設けられる発光部２０１および固定部２０２と当該内部に装着される右コントローラ４の一例を示す図 図９の発光部２０１と右コントローラ４との位置関係の一例を示す図 拡張入力装置２００の入力キー２０５の構造例を示す図 入力キー２０５に対する入力操作に応じて赤外ＬＥＤ２０３を発光させる回路の一例を示す図 入力キー２０５に対する入力操作に応じて赤外ＬＥＤ２０３を発光させる回路の他の例を示す図 ユーザが拡張入力装置２５０を用いてゲーム操作を行う様子の一例を示す図 複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙと、操作ボタン２５５ｓとに対する操作に応じて赤外ＬＥＤ２５３を発光させる回路の一例を示す図 マイク２５７ｍに対する音声入力に応じて赤外ＬＥＤ２５３を発光させる回路の例を示す図 第１モード（クラスタリングモード）において算出する撮像対象の情報の一例を説明するための図 第２モード（モーメントモード）において算出する撮像対象の情報の一例を説明するための図 右コントローラ４のメモリにおいて設定されるデータ領域の一例を示す図 処理部１２１のＣＰＵで実行される情報算出処理の一例を示すフローチャート 本体装置２のＤＲＡＭ８５に設定されるデータ領域の一例を示す図 本体装置２で実行される情報処理の一例を示すフローチャート

以下、本実施形態の一例に係る情報処理システムについて説明する。本実施形態における情報処理システムの一例は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４と拡張入力装置２００とによって構成される。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能であり、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用でき、また、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる（図２参照）。また、情報処理システムは、本体装置２に画像を表示する態様での利用と、テレビ等の他の表示装置（例えば、据置型モニタ）に画像を表示させる態様での利用が可能である。前者の態様において、情報処理システムは、携帯型装置（例えば、携帯ゲーム機）として利用することができる。また、後者の態様において、情報処理システムは、据置型装置（例えば、据置型ゲーム機）として利用することができる。また、情報処理システムにおける拡張入力装置２００は、その内部にコントローラ（例えば、右コントローラ４）を装着することによって、ユーザ入力および／またはユーザ操作を拡張することができる。

図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、情報処理システムにおける各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。

図２は、本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図である。図１および図２に示すように、左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。左コントローラ３は、本体装置２の左側面（図１に示すｘ軸正方向側の側面）に装着することができ、本体装置２の左側面に沿って図１に示すｙ軸方向にスライドさせることによって本体装置２に着脱可能となっている。また、右コントローラ４は、本体装置２の右側面（図１に示すｘ軸負方向側の側面）に装着することができ、本体装置２の右側面に沿って図１に示すｙ軸方向にスライドさせることによって本体装置２に着脱可能となっている。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。なお、本実施形態において、１人のユーザが操作する「操作装置」は、１つのコントローラ（例えば、左コントローラ３および右コントローラ４の一方）でも複数のコントローラ（例えば、左コントローラ３および右コントローラ４の両方、またはさらに他のコントローラを含んでもよい）でもよく、当該「操作装置」は、１以上のコントローラによって構成可能となる。また、本体装置２から外された左コントローラ３および／または右コントローラ４は、ゲームコントローラとして機能することもでき、この場合、本体装置２がゲーム装置本体として機能する。また、本実施形態において、１つのコントローラ（例えば、右コントローラ４）を拡張入力装置２００に装着することによって、拡張入力装置２００に対するユーザ入力および／またはユーザ操作に応じて本体装置２において実行されている情報処理（例えば文字入力処理やゲーム処理）を制御することができる。以下、本体装置２と左コントローラ３および右コントローラ４との具体的な構成の一例について説明する。

図３は、本体装置２の一例を示す六面図である。図３に示すように、本体装置２は、略板状のハウジング１１を備える。本実施形態において、ハウジング１１の主面（換言すれば、表側の面、すなわち、ディスプレイ１２が設けられる面）は、大略的には矩形形状である。本実施形態においては、ハウジング１１は、横長の形状であるものとする。つまり、本実施形態においては、ハウジング１１の主面の長手方向（すなわち、図１に示すｘ軸方向）を横方向（左右方向とも言う）と呼び、当該主面の短手方向（すなわち、図１に示すｙ軸方向）を縦方向（上下方向とも言う）と呼び、主面に垂直な方向（すなわち、図１に示すｚ軸方向）を奥行方向（前後方向とも言う）と呼ぶこととする。本体装置２は、本体装置２が横長となる向きで利用されることが可能である。また、本体装置２が縦長となる向きで利用されることも可能である。その場合には、ハウジング１１を縦長の形状であるものと見なしてもよい。

なお、ハウジング１１の形状および大きさは、任意である。一例として、ハウジング１１は、携帯可能な大きさであってよい。また、本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。

図３に示すように、本体装置２は、ハウジング１１の主面に設けられるディスプレイ１２を備える。ディスプレイ１２は、本体装置２が取得または生成した画像（静止画であってもよいし、動画であってもよい）を表示する。本実施形態においては、ディスプレイ１２は、液晶表示装置（ＬＣＤ）とする。ただし、ディスプレイ１２は任意の種類の表示装置であってよい。

また、本体装置２は、ディスプレイ１２の画面上にタッチパネル１３を備える。本実施形態においては、タッチパネル１３は、マルチタッチ入力が可能な方式（例えば、静電容量方式）のものである。ただし、タッチパネル１３は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式（例えば、抵抗膜方式）のものであってもよい。

本体装置２は、ハウジング１１の内部においてスピーカ（すなわち、図６に示すスピーカ８８）を備えている。図３に示すように、ハウジング１１の主面には、スピーカ孔１１ａおよび１１ｂが形成される。そして、スピーカ８８の出力音は、これらのスピーカ孔１１ａおよび１１ｂからそれぞれ出力される。

図３に示すように、本体装置２は、ハウジング１１の左側面において左レール部材１５を備える。左レール部材１５は、左コントローラ３を本体装置２に着脱可能に装着するための部材である。左レール部材１５は、ハウジング１１の左側面において、上下方向に沿って延びるように設けられる。左レール部材１５は、左コントローラ３のスライダ（すなわち、図４に示すスライダ４０）と係合可能な形状を有しており、左レール部材１５とスライダ４０とによってスライド機構が形成される。このスライド機構によって、左コントローラ３を本体装置２に対してスライド可能かつ着脱可能に装着することができる。

また、本体装置２は、左側端子１７を備える。左側端子１７は、本体装置２が左コントローラ３と有線通信を行うための端子である。左側端子１７は、左コントローラ３が本体装置２に装着された場合に、左コントローラ３の端子（図４に示す端子４２）と接触する位置に設けられる。左側端子１７の具体的な位置は任意である。本実施形態においては、図３に示すように、左側端子１７は、左レール部材１５の底面に設けられる。また、本実施形態においては、左側端子１７は、左レール部材１５の底面における下側の端部付近に設けられ、左レール部材１５の一部によって外部に露出しない位置に配置されている。

図３に示すように、ハウジング１１の右側面には、左側面に設けられる構成と同様の構成が設けられる。すなわち、本体装置２は、ハウジング１１の右側面において右レール部材１９を備える。右レール部材１９は、ハウジング１１の右側面において、上下方向に沿って延びるように設けられる。右レール部材１９は、右コントローラ４のスライダ（すなわち、図５に示すスライダ６２）と係合可能な形状を有しており、右レール部材１９とスライダ６２とによってスライド機構が形成される。このスライド機構によって、右コントローラ４を本体装置２に対してスライド可能かつ着脱可能に装着することができる。

また、本体装置２は右側端子２１を備える。右側端子２１は、本体装置２が右コントローラ４と有線通信を行うための端子である。右側端子２１は、右コントローラ４が本体装置２に装着された場合に、右コントローラ４の端子（図５に示す端子６４）と接触する位置に設けられる。右側端子２１の具体的な位置は任意である。本実施形態においては、図３に示すように、右側端子２１は、右レール部材１９の底面に設けられる。また、本実施形態においては、右側端子２１は、右レール部材１９の底面における下側の端部付近に設けられ、右レール部材１９の一部によって外部に露出しない位置に配置されている。

図３に示すように、本体装置２は、第１スロット２３を備える。第１スロット２３は、ハウジング１１の上側面に設けられる。第１スロット２３は、第１の種類の記憶媒体を装着可能な形状を有する。第１の種類の記憶媒体は、例えば、情報処理システムおよびそれと同種の情報処理装置に専用の記憶媒体（例えば、専用メモリカード）である。第１の種類の記憶媒体は、例えば、本体装置２で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、本体装置２で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。また、本体装置２は、電源ボタン２８を備える。図３に示すように、電源ボタン２８は、ハウジング１１の上側面に設けられる。電源ボタン２８は、本体装置２の電源のオン／オフを切り替えるためのボタンである。

本体装置２は、音声入出力端子（具体的には、イヤホンジャック）２５を備える。すなわち、本体装置２は、音声入出力端子２５にマイクやイヤホンを装着することができる。図３に示すように、音声入出力端子２５は、ハウジング１１の上側面に設けられる。

本体装置２は、音量ボタン２６ａおよび２６ｂを備える。図３に示すように、音量ボタン２６ａおよび２６ｂは、ハウジング１１の上側面に設けられる。音量ボタン２６ａおよび２６ｂは、本体装置２によって出力される音量を調整する指示を行うためのボタンである。すなわち、音量ボタン２６ａは、音量を下げる指示を行うためのボタンであり、音量ボタン２６ｂは、音量を上げる指示を行うためのボタンである。

また、ハウジング１１には、排気孔１１ｃが形成される。図３に示すように、排気孔１１ｃは、ハウジング１１の上側面に形成される。排気孔１１ｃは、ハウジング１１の内部で発生した熱をハウジング１１の外部へ排気する（換言すれば、放出する）ために形成される。すなわち、排気孔１１ｃは、排熱孔であるとも言える。

本体装置２は、下側端子２７を備える。下側端子２７は、本体装置２がクレードルと通信を行うための端子である。図３に示すように、下側端子２７は、ハウジング１１の下側面に設けられる。本体装置２がクレードルに装着された場合、下側端子２７は、クレードルの端子に接続される。本実施形態において、下側端子２７は、ＵＳＢコネクタ（より具体的には、メス側コネクタ）である。クレードルは、左コントローラ３および右コントローラ４を本体装置２から取り外した状態で本体装置２のみを載置することが可能である。また、さらに他の例として、クレードルは、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置を載置することも可能である。そして、クレードルは、本体装置２とは別体の外部表示装置の一例である据置型モニタ（例えば、据置型テレビ）と通信可能である（有線通信であってもよいし、無線通信であってもよい）。上記一体型装置または本体装置２単体をクレードルに載置した場合、情報処理システムは、本体装置２が取得または生成した画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置２単体を充電する機能を有する。また、クレードルは、ハブ装置（具体的には、ＵＳＢハブ）の機能を有する。

また、本体装置２は、第２スロット２４を備える。本実施形態においては、第２スロット２４は、ハウジング１１の下側面に設けられる。ただし、他の実施形態においては、第２スロット２４は、第１スロット２３とは同じ面に設けられてもよい。第２スロット２４は、第１の種類とは異なる第２の種類の記憶媒体を装着可能な形状を有する。第２の種類の記憶媒体は、例えば、汎用の記憶媒体であってもよい。例えば、第２の種類の記憶媒体は、ＳＤカードであってもよい。第２の種類の記憶媒体は、例えば、第１の種類の記憶媒体と同様、本体装置２で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、本体装置２で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。

また、ハウジング１１には、吸気孔１１ｄが形成される。図３に示すように、吸気孔１１ｄは、ハウジング１１の下側面に形成される。吸気孔１１ｄは、ハウジング１１の外部の空気をハウジング１１の内部へ吸気する（換言すれば、導入する）ために形成される。本実施形態においては、排気孔１１ｃが形成される面の反対側の面に吸気孔１１ｄが形成されるので、ハウジング１１内部の放熱を効率良く行うことができる。

以上に説明した、ハウジング１１に設けられる各構成要素（具体的には、ボタン、スロット、端子等）の形状、数、および設置位置は、任意である。例えば、他の実施形態においては、電源ボタン２８および各スロット２３および２４のうちのいくつかは、ハウジング１１の他の側面あるいは背面に設けられてもよい。また、他の実施形態においては、本体装置２は、上記各構成要素のうちいくつかを備えていない構成であってもよい。

図４は、左コントローラ３の一例を示す六面図である。図４に示すように、左コントローラ３は、ハウジング３１を備える。本実施形態において、ハウジング３１は、略板状である。また、ハウジング３１の主面（換言すれば、表側の面、すなわち、図１に示すｚ軸負方向側の面）は、大略的には矩形形状である。また、本実施形態においては、ハウジング３１は、縦長の形状、すなわち、上下方向（すなわち、図１に示すｙ軸方向）に長い形状である。左コントローラ３は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング３１は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ３は、横長となる向きで把持されることも可能である。左コントローラ３が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。なお、ハウジング３１の形状は任意であり、他の実施形態においては、ハウジング３１は略板状でなくてもよい。また、ハウジング３１は、矩形形状でなくてもよく、例えば半円状の形状等であってもよい。また、ハウジング３１は、縦長の形状でなくてもよい。

ハウジング３１の上下方向の長さは、本体装置２のハウジング１１の上下方向の長さとほぼ同じである。また、ハウジング３１の厚さ（すなわち、前後方向の長さ、換言すれば、図１に示すｚ軸方向の長さ）は、本体装置２のハウジング１１の厚さとほぼ同じである。したがって、左コントローラ３が本体装置２に装着された場合（図１参照）には、ユーザは、本体装置２と左コントローラ３とを一体の装置のような感覚で把持することができる。

また、図４に示すように、ハウジング３１の主面は、左側の角部分が、右側の角部分よりも丸みを帯びた形状になっている。すなわち、ハウジング３１の上側面と左側面との接続部分、および、ハウジング３１の下側面と左側面との接続部分は、その上側面と右側面との接続部分、および、その下側面と右側面との接続部分に比べて、丸くなっている（換言すれば、面取りにおけるＲが大きい）。したがって、左コントローラ３が本体装置２に装着された場合（図１参照）には、一体型装置の左側が丸みを帯びた形状となるので、ユーザにとって持ちやすい形状となる。

左コントローラ３は、アナログスティック３２を備える。図４に示すように、アナログスティック３２が、ハウジング３１の主面に設けられる。アナログスティック３２は、方向を入力することが可能な方向入力部の一例である。アナログスティック３２は、ハウジング３１の主面に平行な全方向（すなわち、上下左右および斜め方向を含む、３６０°の方向）に傾倒可能なスティック部材を有する。ユーザは、スティック部材を傾倒することによって傾倒方向に応じた方向の入力（および、傾倒した角度に応じた大きさの入力）が可能である。なお、方向入力部は、十字キーまたはスライドスティック等であってもよい。また、本実施形態においては、スティック部材を（ハウジング３１に垂直な方向に）押下する入力が可能である。すなわち、アナログスティック３２は、スティック部材の傾倒方向および傾倒量に応じた方向および大きさの入力と、スティック部材に対する押下入力とを行うことが可能な入力部である。

左コントローラ３は、４つの操作ボタン３３〜３６（具体的には、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および、左方向ボタン３６）を備える。図４に示すように、これら４つの操作ボタン３３〜３６は、ハウジング３１の主面においてアナログスティック３２の下側に設けられる。なお、本実施形態においては、左コントローラ３の主面に設けられる操作ボタンを４つとするが、操作ボタンの数は任意である。これらの操作ボタン３３〜３６は、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。なお、本実施形態においては、各操作ボタン３３〜３６は方向入力を行うために用いられてもよいことから、各操作ボタン３３〜３６を、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および、左方向ボタン３６と呼んでいる。ただし、各操作ボタン３３〜３６は、方向入力以外の指示を行うために用いられてもよい。

また、左コントローラ３は録画ボタン３７を備える。図４に示すように、録画ボタン３７は、ハウジング３１の主面に設けられ、より具体的には、主面における右下領域に設けられる。録画ボタン３７は、本体装置２のディスプレイ１２に表示される画像を保存する指示を行うためのボタンである。例えば、ディスプレイ１２にゲーム画像が表示されている場合において、ユーザは、録画ボタン３７を押下することによって、押下された時点で表示されているゲーム画像を、例えば本体装置２の記憶部に保存することができる。

また、左コントローラ３は−（マイナス）ボタン４７を備える。図４に示すように、−ボタン４７は、ハウジング３１の主面に設けられ、より具体的には、主面における右上領域に設けられる。−ボタン４７は、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。−ボタン４７は、例えば、ゲームアプリケーションにおいてセレクトボタン（例えば、選択項目の切り替えに用いられるボタン）として用いられる。

左コントローラ３の主面に設けられる各操作部（具体的には、アナログスティック３２および上記各ボタン３３〜３７、４７）は、左コントローラ３が本体装置２に装着される場合、一体型装置を把持するユーザの例えば左手の親指によって操作される。また、左コントローラ３が本体装置２から外された状態において両手で横向きに把持されて使用される場合、上記各操作部は、左コントローラ３を把持するユーザの例えば左右の手の親指で操作される。具体的には、この場合、アナログスティック３２はユーザの左手の親指で操作され、各操作ボタン３３〜３６はユーザの右手の親指で操作される。

左コントローラ３は、第１Ｌボタン３８を備える。また、左コントローラ３は、ＺＬボタン３９を備える。これらの操作ボタン３８および３９は、上記操作ボタン３３〜３６と同様、本体装置２で実行される各種プログラムに応じた指示を行うために用いられる。図４に示すように、第１Ｌボタン３８は、ハウジング３１の側面のうちの左上部分に設けられる。また、ＺＬボタン３９は、ハウジング３１の側面から裏面にかけての左上部分（厳密には、ハウジング３１を表側から見たときの左上部分）に設けられる。つまり、ＺＬボタン３９は、第１Ｌボタン３８の後側（図１に示すｚ軸正方向側）に設けられる。本実施形態においては、ハウジング３１の左上部分が丸みを帯びた形状であるので、第１Ｌボタン３８およびＺＬボタン３９は、ハウジング３１の当該左上部分の丸みに応じた丸みを帯びた形状を有する。左コントローラ３が本体装置２に装着される場合、第１Ｌボタン３８およびＺＬボタン３９は、一体型装置における左上部分に配置されることになる。

左コントローラ３は、上述のスライダ４０を備えている。図４に示すように、スライダ４０は、ハウジング３１の右側面において、上下方向に延びるように設けられる。スライダ４０は、本体装置２の左レール部材１５（より具体的には、左レール部材１５の溝）と係合可能な形状を有している。したがって、左レール部材１５に係合したスライダ４０は、スライド方向（換言すれば左レール部材１５が延びる方向）に垂直な向きに関しては固定されて外れないようになっている。

また、左コントローラ３は、左コントローラ３が本体装置２と有線通信を行うための端子４２を備える。端子４２は、左コントローラ３が本体装置２に装着された場合に、本体装置２の左側端子１７（図３）と接触する位置に設けられる。端子４２の具体的な位置は任意である。本実施形態においては、図４に示すように、端子４２は、スライダ４０の装着面によって外部に露出しない位置に設けられる。また、本実施形態においては、端子４２は、スライダ４０の装着面における下側の端部付近に設けられる。

また、左コントローラ３は、第２Ｌボタン４３および第２Ｒボタン４４を備える。これらのボタン４３および４４は、他の操作ボタン３３〜３６と同様、本体装置２で実行される各種プログラムに応じた指示を行うために用いられる。図４に示すように、第２Ｌボタン４３および第２Ｒボタン４４は、スライダ４０の装着面に設けられる。第２Ｌボタン４３は、スライダ４０の装着面において、上下方向（図１に示すｙ軸方向）に関する中央よりも上側に設けられる。第２Ｒボタン４４は、スライダ４０の装着面において、上下方向に関する中央よりも下側に設けられる。第２Ｌボタン４３および第２Ｒボタン４４は、左コントローラ３が本体装置２に装着されている状態では押下することができない位置に配置されている。つまり、第２Ｌボタン４３および第２Ｒボタン４４は、左コントローラ３を本体装置２から外した場合において用いられるボタンである。第２Ｌボタン４３および第２Ｒボタン４４は、例えば、本体装置２から外された左コントローラ３を把持するユーザの左右の手の人差し指または中指で操作される。

左コントローラ３は、ペアリングボタン４６を備える。本実施形態において、ペアリングボタン４６は、左コントローラ３と本体装置２との無線通信に関する設定（ペアリングとも言う）処理を指示するため、および、左コントローラ３のリセット処理を指示するために用いられる。なお、他の実施形態においては、ペアリングボタン４６は、上記設定処理およびリセット処理のいずれか一方の機能のみを有するものであってもよい。例えば、ペアリングボタン４６に対して短押し操作が行われた場合（具体的には、ペアリングボタン４６が所定時間よりも短い時間だけ押下された場合）、左コントローラ３は、上記設定処理を実行する。また、ペアリングボタン４６に対して長押し操作が行われた場合（具体的には、ペアリングボタン４６が上記所定時間以上押し続けられた場合）、左コントローラ３は、リセット処理を実行する。本実施形態においては、ペアリングボタン４６は、図４に示すように、スライダ４０の装着面に設けられる。このように、ペアリングボタン４６は、左コントローラ３が本体装置２に装着されている状態では見えない位置に配置されている。つまり、ペアリングボタン４６は、左コントローラ３を本体装置２から外した場合において用いられる。

なお、本実施形態において、スライダ４０の装着面に設けられるボタン（具体的には、第２Ｌボタン４３、第２Ｒボタン４４、およびペアリングボタン４６）は、当該装着面に対して突出しないように設けられる。すなわち、上記ボタンの上面（換言すれば押下面）は、スライダ４０の装着面と同じ面に配置されるか、あるいは、装着面よりも凹んだ位置に配置される。これによれば、スライダ４０が本体装置２の左レール部材１５に装着された状態において、スライダ４０を左レール部材１５に対してスムーズにスライドさせることができる。

図５は、右コントローラ４の一例を示す六面図である。図５に示すように、右コントローラ４は、ハウジング５１を備える。本実施形態において、ハウジング５１は、略板状である。また、ハウジング５１の主面（換言すれば、表側の面、すなわち、図１に示すｚ軸負方向側の面）は、大略的には矩形形状である。また、本実施形態においては、ハウジング５１は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ４は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング５１は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、右コントローラ４は、横長となる向きで把持されることも可能である。右コントローラ４が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。

右コントローラ４のハウジング５１は、左コントローラ３のハウジング３１と同様、その上下方向の長さは、本体装置２のハウジング１１の上下方向の長さとほぼ同じであり、その厚さは、本体装置２のハウジング１１の厚さとほぼ同じである。したがって、右コントローラ４が本体装置２に装着された場合（図１参照）には、ユーザは、本体装置２と右コントローラ４とを一体の装置のような感覚で把持することができる。

また、図５に示すように、ハウジング５１の主面は、右側の角部分が、左側の角部分よりも丸みを帯びた形状になっている。すなわち、ハウジング５１の上側面と右側面との接続部分、および、ハウジング５１の下側面と右側面との接続部分は、その上側面と左側面との接続部分、および、その下側面と左側面との接続部分に比べて、丸くなっている（換言すれば、面取りにおけるＲが大きい）。したがって、右コントローラ４が本体装置２に装着された場合（図１参照）には、一体型装置の右側が丸みを帯びた形状となるので、ユーザにとって持ちやすい形状となる。

右コントローラ４は、左コントローラ３と同様、方向入力部としてアナログスティック５２を備える。本実施形態においては、アナログスティック５２は、左コントローラ３のアナログスティック３２と同じ構成である。また、右コントローラ４は、左コントローラ３と同様、４つの操作ボタン５３〜５６（具体的には、Ａボタン５３、Ｂボタン５４、Ｘボタン５５、および、Ｙボタン５６）を備える。本実施形態においては、これら４つの操作ボタン５３〜５６は、左コントローラ３の４つの操作ボタン３３〜３６と同じ機構である。図５に示すように、これらアナログスティック５２および各操作ボタン５３〜５６は、ハウジング５１の主面に設けられる。なお、本実施形態においては、右コントローラ４の主面に設けられる操作ボタンを４つとするが、操作ボタンの数は任意である。

ここで、本実施形態においては、右コントローラ４における２種類の操作部（アナログスティックおよび操作ボタン）の位置関係は、左コントローラ３におけるこれら２種類の操作部の位置関係とは反対になっている。すなわち、右コントローラ４においては、アナログスティック５２は各操作ボタン５３〜５６の上方に配置されるのに対して、左コントローラ３においては、アナログスティック３２は各操作ボタン３３〜３６の下方に配置される。このような配置によって、左コントローラ３および右コントローラ４を本体装置２から外して使用する場合に似たような操作感覚で使用することができる。

また、右コントローラ４は、＋（プラス）ボタン５７を備える。図５に示すように、＋ボタン５７は、ハウジング５１の主面に設けられ、より具体的には、主面の左上領域に設けられる。＋ボタン５７は、他の操作ボタン５３〜５６と同様、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。＋ボタン５７は、例えば、ゲームアプリケーションにおいてスタートボタン（例えば、ゲーム開始の指示に用いられるボタン）として用いられる。

右コントローラ４は、ホームボタン５８を備える。図５に示すように、ホームボタン５８は、ハウジング５１の主面に設けられ、より具体的には、主面の左下領域に設けられる。ホームボタン５８は、本体装置２のディスプレイ１２に所定のメニュー画面を表示させるためのボタンである。メニュー画面は、例えば、本体装置２において実行可能な１以上のアプリケーションのうちからユーザが指定したアプリケーションを起動することが可能な画面である。メニュー画面は、例えば、本体装置２の起動時に表示されてもよい。本実施形態においては、本体装置２においてアプリケーションが実行されている状態（すなわち、当該アプリケーションの画像がディスプレイ１２に表示されている状態）において、ホームボタン５８が押下されると、所定の操作画面がディスプレイ１２に表示されてもよい（このとき、操作画面に代えてメニュー画面が表示されてもよい）。なお、操作画面は、例えば、アプリケーションを終了してメニュー画面をディスプレイ１２に表示させる指示、および、アプリケーションを再開する指示等を行うことが可能な画面である。

右コントローラ４の主面に設けられる各操作部（具体的には、アナログスティック５２および上記各ボタン５３〜５８）は、右コントローラ４が本体装置２に装着される場合、一体型装置を把持するユーザの例えば右手の親指によって操作される。また、右コントローラ４が本体装置２から外された状態において両手で横向きに把持されて使用される場合、上記各操作部は、右コントローラ４を把持するユーザの例えば左右の手の親指で操作される。具体的には、この場合、アナログスティック５２はユーザの左手の親指で操作され、各操作ボタン５３〜５６はユーザの右手の親指で操作される。

右コントローラ４は、第１Ｒボタン６０を備える。また、右コントローラ４は、ＺＲボタン６１を備える。図５に示すように、第１Ｒボタン６０は、ハウジング５１の側面のうちの右上部分に設けられる。また、ＺＲボタン６１は、ハウジング５１の側面から裏面にかけての右上部分（厳密には、ハウジング５１を表側から見たときの右上部分）に設けられる。つまり、ＺＲボタン６１は、第１Ｒボタン６０の後側（図１に示すｚ軸正方向側）に設けられる。本実施形態においては、ハウジング５１の右上部分が丸みを帯びた形状であるので、第１Ｒボタン６０およびＺＲボタン６１は、ハウジング５１の当該右上部分の丸みに応じた丸みを帯びた形状を有する。右コントローラ４が本体装置２に装着される場合、第１Ｒボタン６０およびＺＲボタン６１は、一体型装置における右上部分に配置されることになる。

右コントローラ４は、左コントローラ３と同様のスライダ機構を備えている。すなわち、右コントローラ４は、上述のスライダ６２を備えている。図５に示すように、スライダ６２は、ハウジング５１の左側面において、上下方向に延びるように設けられる。スライダ６２は、本体装置２の右レール部材１９（より具体的には、右レール部材１９の溝）と係合可能な形状を有している。したがって、右レール部材１９に係合したスライダ６２は、スライド方向（換言すれば右レール部材１９が延びる方向）に垂直な向きに関しては固定されて外れないようになっている。

また、右コントローラ４は、右コントローラ４が本体装置２と有線通信を行うための端子６４を備える。端子６４は、右コントローラ４が本体装置２に装着された場合に、本体装置２の右側端子２１（図３）と接触する位置に設けられる。端子６４の具体的な位置は任意である。本実施形態においては、図５に示すように、端子６４は、スライダ６２の装着面によって外部に露出しない位置に設けられる。本実施形態においては、端子６４は、スライダ６２の装着面における下側の端部付近に設けられる。

また、右コントローラ４は、左コントローラ３と同様、第２Ｌボタン６５および第２Ｒボタン６６を備える。これらのボタン６５および６６は、他の操作ボタン５３〜５６と同様、本体装置２で実行される各種プログラムに応じた指示を行うために用いられる。図５に示すように、第２Ｌボタン６５および第２Ｒボタン６６は、スライダ６２の装着面に設けられる。第２Ｌボタン６５は、スライダ６２の装着面において、上下方向（図１に示すｙ軸方向）に関する中央よりも下側に設けられる。第２Ｒボタン６６は、スライダ６２の装着面において、上下方向に関する中央よりも上側に設けられる。第２Ｌボタン６５および第２Ｒボタン６６は、左コントローラ３の第２Ｌボタン４３および第２Ｒボタン４４と同様、右コントローラ４が本体装置２に装着されている状態では押下することができない位置に配置されており、右コントローラ４を本体装置２から外した場合において用いられるボタンである。第２Ｌボタン６５および第２Ｒボタン６６は、例えば、本体装置２から外された右コントローラ４を把持するユーザの左右の手の人差し指または中指で操作される。

右コントローラ４は、ペアリングボタン６９を備える。ペアリングボタン６９は、左コントローラ３のペアリングボタン４６と同様、右コントローラ４と本体装置２との無線通信に関する設定（ペアリングとも言う）処理を指示するため、および、右コントローラ４のリセット処理を指示するために用いられる。上記設定処理およびリセット処理については、左コントローラ３におけるこれらの処理と同様であるので、詳細な説明を省略する。また、本実施形態においては、ペアリングボタン６９は、図５に示すように、スライダ６２の装着面に設けられる。つまり、ペアリングボタン６９は、左コントローラ３のペアリングボタン４６と同様の理由で、右コントローラ４が本体装置２に装着されている状態では見えない位置に配置されている。

また、右コントローラ４においても左コントローラ３と同様、スライダ６２の装着面に設けられるボタン（具体的には、第２Ｌボタン６５、第２Ｒボタン６６、およびペアリングボタン６９）は、当該装着面に対して突出しないように設けられる。これによって、スライダ６２が本体装置２の右レール部材１９に装着された状態において、スライダ６２を右レール部材１９に対してスムーズにスライドさせることができる。

また、ハウジング５１の下側面には、窓部６８が設けられる。詳細は後述するが、右コントローラ４は、ハウジング５１の内部に配置される赤外撮像部１２３および赤外発光部１２４を備えている。赤外撮像部１２３は、右コントローラ４の下方向（図５に示すｙ軸負方向）を撮像方向として、窓部６８を介して右コントローラ４の周囲を撮像する。赤外発光部１２４は、右コントローラ４の下方向（図５に示すｙ軸負方向）を中心とする所定範囲を照射範囲として、赤外撮像部１２３が撮像する撮像対象に窓部６８を介して赤外光を照射する。なお、図５の例では、赤外発光部１２４の赤外光照射範囲を大きくするために、照射方向が異なる複数の赤外発光部１２４が設けられている。窓部６８は、赤外撮像部１２３のカメラのレンズや赤外発光部１２４の発光体等を保護するためのものであり、当該カメラが検知する波長の光や当該発光体が照射する光を透過する材質（例えば、透明な材質）で構成される。なお、窓部６８は、ハウジング５１に形成された孔であってもよい。なお、本実施形態においては、カメラが検知する光（本実施形態においては、赤外光）以外の波長の光の透過を抑制するフィルタ部材を赤外撮像部１２３自身が有する。ただし、他の実施形態においては、窓部６８がフィルタの機能を有していてもよい。

また、詳細は後述するが、右コントローラ４は、ＮＦＣ通信部１２２を備える。ＮＦＣ通信部１２２は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の規格に基づく近距離無線通信を行う。ＮＦＣ通信部１２２は、近距離無線通信に用いられるアンテナ１２２ａと、アンテナ１２２ａから送出すべき信号（電波）を生成する回路（例えばＮＦＣチップ）とを有する。例えば、アンテナ１２２ａは、窓部６８が設けられているハウジング５１の下側面に近いハウジング５１の主面の下方部に設けられ、上記近距離無線通信の際にターゲットとなる他の無線通信装置（例えば情報記憶媒体として機能するＮＦＣタグ）が当該下方部と近接または接する位置に配置された場合に、当該無線通信装置と上記近距離無線通信が可能となるハウジング５１の内部の位置に設けられる。なお、近距離無線通信は、ＮＦＣの規格に基づくものに限らず、任意の近接通信（非接触通信とも言う）であってもよい。近接通信には、例えば、一方の装置からの電波によって（例えば電磁誘導によって）他方の装置に起電力を発生させる通信方式が含まれる。

なお、上記左コントローラ３および右コントローラ４において、ハウジング３１または５１に設けられる各構成要素（具体的には、スライダ、スティック、およびボタン等）の形状、数、および、設置位置は任意である。例えば、他の実施形態においては、左コントローラ３および右コントローラ４は、アナログスティックとは別の種類の方向入力部を備えていてもよい。また、スライダ４０または６２は、本体装置２に設けられるレール部材１５または１９の位置に応じた位置に配置されてよく、例えば、ハウジング３１または５１の主面または裏面に配置されてもよい。また、他の実施形態においては、左コントローラ３および右コントローラ４は、上記各構成要素のうちいくつかを備えていない構成であってもよい。

図６は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、図３に示す構成の他、図６に示す各構成要素８１〜９８を備える。これらの構成要素８１〜９８のいくつかは、電子部品として電子回路基板上に実装されてハウジング１１内に収納されてもよい。

本体装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１を備える。ＣＰＵ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部である。ＣＰＵ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、各スロット２３および２４に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラムや文字入力プログラム）を実行することによって、各種の情報処理を実行する。

本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、ＣＰＵ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。

本体装置２は、第１スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。また、本体装置２は、第２スロットＩ／Ｆ９２を備える。第１スロットＩ／Ｆ９１および第２スロットＩ／Ｆ９２は、ＣＰＵ８１に接続される。第１スロットＩ／Ｆ９１は、第１スロット２３に接続され、第１スロット２３に装着された第１の種類の記憶媒体（例えば、ＳＤカード）に対するデータの読み出しおよび書き込みを、ＣＰＵ８１の指示に応じて行う。第２スロットＩ／Ｆ９２は、第２スロット２４に接続され、第２スロット２４に装着された第２の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、ＣＰＵ８１の指示に応じて行う。

ＣＰＵ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。

本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、ＣＰＵ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ−Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。なお、上記第２の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置２との間で無線通信可能であり、複数の本体装置２の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、ＣＰＵ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

ＣＰＵ８１は、上述の左側端子１７、右側端子２１、および、下側端子２７に接続される。ＣＰＵ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信する。また、ＣＰＵ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信する。また、ＣＰＵ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、画像データや音声データ）を据置型モニタ等に出力することができる。

ここで、本体装置２は、複数の左コントローラ３と同時に（換言すれば、並行して）通信を行うことができる。また、本体装置２は、複数の右コントローラ４と同時に（換言すれば、並行して）通信を行うことができる。したがって、ユーザは、複数の左コントローラ３および複数の右コントローラ４を用いて本体装置２に対する入力を行うことができる。

本体装置２は、タッチパネル１３の制御を行う回路であるタッチパネルコントローラ８６を備える。タッチパネルコントローラ８６は、タッチパネル１３とＣＰＵ８１との間に接続される。タッチパネルコントローラ８６は、タッチパネル１３からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、ＣＰＵ８１へ出力する。

また、ディスプレイ１２は、ＣＰＵ８１に接続される。ＣＰＵ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、ＣＰＵ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。すなわち、コーデック回路８７は、ＣＰＵ８１から音声データを受け取った場合、当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ８８または音声入出力端子２５へ出力する。これによって、スピーカ８８あるいは音声入出力端子２５に接続された音声出力部（例えば、イヤホン）から音が出力される。また、コーデック回路８７は、音声入出力端子２５から音声信号を受け取った場合、音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをＣＰＵ８１へ出力する。また、音量ボタン２６は、ＣＰＵ８１に接続される。ＣＰＵ８１は、音量ボタン２６に対する入力に基づいて、スピーカ８８または上記音声出力部から出力される音量を制御する。

本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびＣＰＵ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、ＣＰＵ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。また、電力制御部９７は、電源ボタン２８に接続される。電力制御部９７は、電源ボタン２８に対する入力に基づいて、上記各部への電力供給を制御する。すなわち、電力制御部９７は、電源ボタン２８に対して電源をオフする操作が行われた場合、上記各部の全部または一部への電力供給を停止し、電源ボタン２８に対して電源をオンする操作が行われた場合、電力制御部９７は、上記各部の全部または一部への電力供給を開始する。また、電力制御部９７は、電源ボタン２８に対する入力を示す情報（具体的には、電源ボタン２８が押下されているか否かを示す情報）をＣＰＵ８１へ出力する。

また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。

また、本体装置２は、本体装置２内部の熱を放熱するための冷却ファン９６を備える。冷却ファン９６が動作することによって、ハウジング１１の外部の空気が吸気孔１１ｄから導入されるとともに、ハウジング１１内部の空気が排気孔１１ｃから放出されることで、ハウジング１１内部の熱が放出される。冷却ファン９６は、ＣＰＵ８１に接続され、冷却ファン９６の動作はＣＰＵ８１によって制御される。また、本体装置２は、本体装置２内の温度を検出する温度センサ９５を備える。温度センサ９５は、ＣＰＵ８１に接続され、温度センサ９５の検出結果がＣＰＵ８１へ出力される。ＣＰＵ８１は、温度センサ９５の検出結果に基づいて、冷却ファン９６の動作を制御する。

図７は、本体装置２と左コントローラ３および右コントローラ４との内部構成の一例を示すブロック図である。なお、本体装置２に関する内部構成の詳細については、図６で示しているため図７では省略している。

左コントローラ３は、本体装置２との間で通信を行う通信制御部１０１を備える。図７に示すように、通信制御部１０１は、端子４２を含む各構成要素に接続される。本実施形態においては、通信制御部１０１は、端子４２を介した有線通信と、端子４２を介さない無線通信との両方で本体装置２と通信を行うことが可能である。通信制御部１０１は、左コントローラ３が本体装置２に対して行う通信方法を制御する。すなわち、左コントローラ３が本体装置２に装着されている場合、通信制御部１０１は、端子４２を介して本体装置２と通信を行う。また、左コントローラ３が本体装置２から外されている場合、通信制御部１０１は、本体装置２（具体的には、コントローラ通信部８３）との間で無線通信を行う。コントローラ通信部８３と通信制御部１０１との間の無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に従って行われる。

また、左コントローラ３は、例えばフラッシュメモリ等のメモリ１０２を備える。通信制御部１０１は、例えばマイコン（マイクロプロセッサとも言う）で構成され、メモリ１０２に記憶されるファームウェアを実行することによって各種の処理を実行する。

左コントローラ３は、各ボタン１０３（具体的には、ボタン３３〜３９、４３、４４、および４６）を備える。また、左コントローラ３は、アナログスティック（図７では「スティック」と記載する）３２を備える。各ボタン１０３およびアナログスティック３２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１０１へ出力する。

左コントローラ３は、加速度センサ１０４を備える。本実施形態においては、加速度センサ１０４は、所定の３軸（例えば、図４に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。なお、加速度センサ１０４は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。また、左コントローラ３は、角速度センサ１０５を備える。本実施形態においては、角速度センサ１０５は、所定の３軸（例えば、図４に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ１０５は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。加速度センサ１０４および角速度センサ１０５は、それぞれ通信制御部１０１に接続される。そして、加速度センサ１０４および角速度センサ１０５の検出結果は、適宜のタイミングで繰り返し通信制御部１０１へ出力される。

通信制御部１０１は、各入力部（具体的には、各ボタン１０３、アナログスティック３２、各センサ１０４および１０５）から、入力に関する情報（具体的には、操作に関する情報、または、センサによる検出結果）を取得する。通信制御部１０１は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

上記操作データが本体装置２へ送信されることによって、本体装置２は、左コントローラ３に対して行われた入力を得ることができる。すなわち、本体装置２は、各ボタン１０３およびアナログスティック３２に対する操作を、操作データに基づいて判別することができる。また、本体装置２は、左コントローラ３の動きおよび／または姿勢に関する情報を、操作データ（具体的には、加速度センサ１０４および角速度センサ１０５の検出結果）に基づいて算出することができる。

左コントローラ３は、振動によってユーザに通知を行うための振動子１０７を備える。本実施形態においては、振動子１０７は、本体装置２からの指令によって制御される。すなわち、通信制御部１０１は、本体装置２からの上記指令を受け取ると、当該指令に従って振動子１０７を駆動させる。ここで、左コントローラ３は、増幅器１０６を備える。通信制御部１０１は、上記指令を受け取ると、指令に応じた制御信号を増幅器１０６へ出力する。増幅器１０６は、通信制御部１０１からの制御信号を増幅して、振動子１０７を駆動させるための駆動信号を生成して振動子１０７へ与える。これによって振動子１０７が動作する。

左コントローラ３は、電力供給部１０８を備える。本実施形態において、電力供給部１０８は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ３の各部（具体的には、バッテリの電力の給電を受ける各部）に接続される。電力制御回路は、バッテリから上記各部への電力供給を制御する。また、バッテリは、端子４２に接続される。本実施形態においては、左コントローラ３が本体装置２に装着される場合、所定の条件下で、バッテリは、端子４２を介して本体装置２からの給電によって充電される。また、左コントローラ３が他の装置に装着される場合、バッテリは、端子４２を介して他の装置へ給電することもできる。

図７に示すように、右コントローラ４は、本体装置２との間で通信を行う通信制御部１１１を備える。また、右コントローラ４は、通信制御部１１１に接続されるメモリ１１２を備える。通信制御部１１１は、端子６４を含む各構成要素に接続される。通信制御部１１１およびメモリ１１２は、左コントローラ３の通信制御部１０１およびメモリ１０２と同様の機能を有する。したがって、通信制御部１１１は、端子６４を介した有線通信と、端子６４を介さない無線通信（具体的には、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信）との両方で本体装置２と通信を行うことが可能であり、右コントローラ４が本体装置２に対して行う通信方法を制御する。

右コントローラ４は、左コントローラ３の各入力部と同様の各入力部（具体的には、各ボタン１１３、アナログスティック５２、加速度センサ１１４、および、角速度センサ１１５）を備える。これらの各入力部については、左コントローラ３の各入力部と同様の機能を有し、同様に動作する。

また、右コントローラ４は、振動子１１７および増幅器１１６を備える。振動子１１７および増幅器１１６は、左コントローラ３の振動子１０７および増幅器１０６と同様に動作する。すなわち、通信制御部１１１は、本体装置２からの指令に従って、増幅器１１６を用いて振動子１１７を動作させる。

右コントローラ４は、電力供給部１１８を備える。電力供給部１１８は、左コントローラ３の電力供給部１０８と同様の機能を有し、同様に動作する。すなわち、電力供給部１１８は、バッテリから給電を受ける各部への電力供給を制御する。また、右コントローラ４が本体装置２に装着される場合、所定の条件下で、バッテリは、端子６４を介して本体装置２からの給電によって充電される。また、右コントローラ４が他の装置（例えば、拡張入力装置２００）に装着される場合、バッテリは、端子６４を介して他の装置へ給電することもできる。

右コントローラ４は、ＮＦＣの規格に基づく近距離無線通信を行うＮＦＣ通信部１２２を備える。ＮＦＣ通信部１２２は、いわゆるＮＦＣリーダ・ライタの機能を有する。ここで、本明細書において近距離無線通信とは、一方の装置（ここでは、右コントローラ４）からの電波によって（例えば電磁誘導によって）他方の装置（ここでは、アンテナ１２２ａと近接する装置）に起電力を発生させる通信方式が含まれる。他方の装置は、発生した起電力によって動作することが可能であり、電源を有していてもよいし有していなくてもよい。ＮＦＣ通信部１２２は、右コントローラ４（アンテナ１２２ａ）と通信対象とが接近した場合（典型的には、両者の距離が十数センチ以下となった場合）に当該通信対象との間で通信可能となる。通信対象は、ＮＦＣ通信部１２２との間で近距離無線通信が可能な任意の装置であり、例えばＮＦＣタグやＮＦＣタグの機能を有する記憶媒体である。ただし、通信対象は、ＮＦＣのカードエミュレーション機能を有する他の装置であってもよい。一例として、本実施例では、ＮＦＣ通信部１２２は、拡張入力装置２００内に装着された通信対象（例えば、ＮＦＣタグ）との間で無線通信することによって、拡張入力装置２００の種別情報、識別情報、キャリブレーション情報、およびユーザ情報等を取得してもよい。

また、右コントローラ４は、赤外撮像部１２３を備える。赤外撮像部１２３は、右コントローラ４の周囲を撮像する赤外線カメラを有する。本実施形態においては、赤外撮像部１２３は、拡張入力装置２００の内部に配置された撮像対象（例えば、赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅが発する赤外光）を撮像するために用いられる。本体装置２および／または右コントローラ４は、撮像された撮像対象の情報（例えば、撮像対象の平均輝度、面積、重心座標等）を算出し、当該情報に基づいて、拡張入力装置２００に対して操作された操作内容を判別する。また、赤外撮像部１２３は、環境光によって撮像を行ったり暗所で撮像を行ったりしてもよいが、本実施例においては、赤外線を照射する赤外発光部１２４を有する。赤外発光部１２４は、例えば、赤外線カメラが画像を撮像するタイミングと同期して、赤外線を照射する。そして、赤外発光部１２４によって照射された赤外線が反射して赤外撮像部１２３によって受光されることで、赤外線の画像を取得することもできる。なお、赤外撮像部１２３と赤外発光部１２４とは、それぞれ別のデバイスとして右コントローラ４内に設けられてもよいし、同じパッケージ内に設けられた単一のデバイスとして右コントローラ４内に設けられてもよい。また、本実施例においては、赤外線カメラを有する赤外撮像部１２３が用いられるが、なお、他の実施形態においては、撮像手段として、赤外線カメラに代えて異なる波長の光を撮像するカメラ（例えば、可視光イメージセンサを用いた可視光カメラ）が用いられてもよい。

右コントローラ４は、処理部１２１を備える。処理部１２１は、通信制御部１１１に接続されるとともに、ＮＦＣ通信部１２２に接続される。処理部１２１は、本体装置２からの指令に応じて、ＮＦＣ通信部１２２に対する管理処理を実行する。例えば、処理部１２１は、本体装置２からの指令に応じてＮＦＣ通信部１２２の動作を制御する。また、処理部１２１は、ＮＦＣ通信部１２２の起動を制御したり、通信対象（例えば、ＮＦＣタグ）に対するＮＦＣ通信部１２２の動作（具体的には、読み出しおよび書き込み等）を制御したりする。また、処理部１２１は、通信制御部１１１を介して通信対象に送信されるべき情報を本体装置２から受信してＮＦＣ通信部１２２へ渡したり、通信対象から受信された情報をＮＦＣ通信部１２２から取得して通信制御部１１１を介して本体装置２へ送信したりする。

また、処理部１２１は、ＣＰＵやメモリ等を含み、右コントローラ４に備えられた図示しない記憶装置（例えば、不揮発性メモリやハードディスク等）に記憶された所定のプログラム（例えば、画像処理や各種演算を行うためのアプリケーションプログラム）に基づいて、本体装置２からの指令に応じて赤外撮像部１２３に対する管理処理を実行する。例えば、処理部１２１は、赤外撮像部１２３に撮像動作を行わせたり、撮像結果に基づく情報（撮像画像の情報、あるいは、当該情報から算出される情報等）を取得および／または算出して通信制御部１１１を介して本体装置２へ送信したりする。また、処理部１２１は、本体装置２からの指令に応じて赤外発光部１２４に対する管理処理を実行する。例えば、処理部１２１は、本体装置２からの指令に応じて赤外発光部１２４の発光を制御する。なお、処理部１２１が処理を行う際に用いるメモリは、処理部１２１内に設けられてもいいし、メモリ１１２であってもよい。

次に、図８を参照して、拡張入力装置２００を用いたユーザ入力について説明する。図８は、ユーザが拡張入力装置２００を用いて文字入力する様子の一例を示す図である。本実施例において、拡張入力装置２００には右コントローラ４を装着することが可能であり、拡張入力装置２００に装着された右コントローラ４から送信されるデータに基づいて、拡張入力装置２００に対する操作内容に応じた処理が実行される。ここで、詳細は後述するが、拡張入力装置２００に対する操作内容は、赤外撮像部１２３によって撮像された撮像画像に基づいて検出される。したがって、拡張入力装置２００は、ユーザによる入力や操作の検出結果を本体装置２へ送信する電子回路等の電気的構成を必要としない。そのため、本実施例によれば、拡張入力装置２００の構成を簡易化することができる。

例えば、本実施例では、図８に示すように、拡張入力装置２００は、複数の入力キー２０５を有するキーボード型の入力装置である。そして、ユーザは、拡張入力装置２００の入力キー２０５の何れかを選択して指で入力キー２０５をタッチ操作または指で入力キー２０５を押下操作することによって、操作された入力キー２０５に応じた文字が入力されたり、操作された入力キー２０５に応じて表示オブジェクト（例えば、カーソル）が移動したり、操作された入力キー２０５に応じたユーザ指示が実行されたりして、表示装置（例えば、本体装置１１のディスプレイ１２）に表示される。なお、拡張入力装置２００を用いた操作に応じて、仮想空間に配置されたプレイヤオブジェクトが動作するようなゲームが行われてもよいし、各種情報が表示されてもよい。本実施例では、いわゆるキーボードを用いてユーザ入力可能な様々な処理を行うことが可能である。

次に、図９〜図１３を参照して、拡張入力装置２００の内部構成ついて説明する。なお、図９は、拡張入力装置２００の内部に設けられる発光部２０１および固定部２０２と当該内部に装着される右コントローラ４の一例を示す図である。図１０は、図９の発光部２０１と右コントローラ４との位置関係の一例を示す図である。図１１は、拡張入力装置２００の入力キー２０５の構造例を示す図である。図１２は、入力キー２０５に対する入力操作に応じて赤外ＬＥＤ２０３を発光させる回路の一例を示す図である。図１３は、入力キー２０５に対する入力操作に応じて赤外ＬＥＤ２０３を発光させる回路の他の例を示す図である。

図９において、拡張入力装置２００の内部空間内には、発光部２０１および固定部２０２が設けられている。固定部２０２は、拡張入力装置２００の内部空間内に右コントローラ４を固定可能である。図９の例では、固定部２０２は、拡張入力装置２００の入力キー２０５が設けられている上面側に当該上面と対向するように右コントローラ４の上面が配置されるように、右コントローラ４を着脱可能に固定する。発光部２０１は、少なくとも１つ（図９の例では、複数）の赤外ＬＥＤ２０３を含んでおり、固定部２０２に固定された右コントローラ４の赤外撮像部１２３が全ての赤外ＬＥＤ２０３を撮像可能となる拡張入力装置２００の内部空間内に固定される。つまり、固定部２０２に右コントローラ４が装着された場合、赤外撮像部１２３の撮像方向となる右コントローラ４のｙ軸負方向側に発光部２０１が設けられていることになる。

図１０に示すように、発光部２０１は、固定板２０４の表面上に複数の赤外ＬＥＤ２０３を固設し、当該固定板２０４が拡張入力装置２００の内部空間内で斜めになるように固定されている。ここで、斜めとは、複数の赤外ＬＥＤ２０３が固設された固定板２０４の表面が拡張入力装置２００の上面方向、かつ赤外撮像部１２３に向く方向であって、拡張入力装置２００の上面および赤外撮像部１２３の撮像方向に対して何れも当該表面が斜めとなる位置関係である。このように、表面上に複数の赤外ＬＥＤ２０３が固設された固定板２０４を斜めに固定することによって、当該表面を赤外撮像部１２３に向けながら、拡張入力装置２００における上下方向厚さを薄くすることができる。このように、複数の赤外ＬＥＤ２０３が固設された固定板２０４の表面は、固定部２０２に装着された右コントローラ４の赤外撮像部１２３と対向する位置となる。したがって、右コントローラ４が固定部２０２に装着された状態では、赤外撮像部１２３は、複数の赤外ＬＥＤ２０３を撮像可能となる。

複数の赤外ＬＥＤ２０３は、固定板２０４の表面上にマトリックス状に並設されてもよいが、図１０に例示されているようにその配置位置に応じて左右間隔および前後間隔が調整されてもよい。例えば、図１０の例では、最も赤外撮像部１２３側となる最前列に配置されている赤外ＬＥＤ２０３は、それぞれの左右間隔が距離Ｗとなるように並設される。そして、赤外ＬＥＤ２０３は、赤外撮像部１２３側前方部に配置されている赤外ＬＥＤ２０３列間隔（例えば、上記最前列と１つ後方となる第２列との間の間隔）が距離２Ｗとなるように並設される。また、赤外撮像部１２３に対して後方側の列に配置されている赤外ＬＥＤ２０３は、それぞれの左右間隔が距離２Ｗとなるように並設される。そして、赤外ＬＥＤ２０３は、赤外撮像部１２３側後方部に配置されている赤外ＬＥＤ２０３列間隔（例えば、最後列と１つ前方となる列との間の間隔）が距離４Ｗとなるように並設される。このように、図１０の例では、赤外撮像部１２３側前方部より後方部の方が赤外ＬＥＤ２０３の前後間隔および左右間隔が広くなるように配置されている。このように、赤外撮像部１２３側前方部と後方部との配置間隔を変えることによって、赤外撮像部１２３から遠い箇所に赤外ＬＥＤ２０３が配置されている場合であっても、隣接する赤外ＬＥＤ２０３同士が発する赤外光が交ざることを防止することができ、赤外撮像部１２３が当該赤外光を独立して撮像することができる。なお、後述するように、複数の赤外ＬＥＤ２０３は、ユーザが入力した入力キー２０５に応じてそれぞれ赤外光を発するが、赤外撮像部１２３が撮像する撮像画像の解像度が不足している場合であっても、遠方の赤外ＬＥＤ２０３の配置間隔を広くすることによって、当該赤外ＬＥＤ２０３が発する赤外光を正確に判別することができる。

ここで、赤外ＬＥＤ２０３が発光するための電源は、拡張入力装置２００内に設けられていてもよいし、拡張入力装置２００に装着される右コントローラ４から電力が供給されてもよい。後者の場合、右コントローラ４の端子６４と接続可能な電力供給端子が拡張入力装置２００内に設けられ、右コントローラ４が固定部２０２に装着された際に当該電源供給端子と端子６４とが接続される。そして、上記電力供給端子を介して、拡張入力装置２００内の各構成要素（例えば、赤外ＬＥＤ２０３）に右コントローラ４から電力が供給される。

また、図１０に示すように、拡張入力装置２００の内部空間内における固定部２０２の近傍には、ＮＦＣ通信部１２２の通信対象となるＮＦＣタグ２１０が備えられている。例えば、右コントローラ４が固定部２０２に装着された状態で、当該右コントローラ４のアンテナ１２２ａと近接または接する位置にＮＦＣタグ２１０が設けられている。これによって、右コントローラ４が固定部２０２に装着されると同時にＮＦＣタグ２１０との間で近距離無線通信が可能な状態となり、ＮＦＣタグ２１０に拡張入力装置２００の種別、固有の識別情報、キャリブレーション情報、ユーザ設定情報等を記憶させておくことによって、右コントローラ４が装着された拡張入力装置２００の信頼性や設定状況を確認することができる。

図１１に示すように、拡張入力装置２００の入力キー２０５は、それぞれ２つの電極２０６および２０７から構成されており、各入力キー２０５の間および電極２０６と電極２０７との間は互いに絶縁されている。そして、ユーザが何れかの入力キー２０５の上面を指でタッチした場合、当該入力キー２０５の電極２０６および２０７の間がユーザの指によって通電することになり、当該通電を検出することによって、ユーザが入力した入力キー２０５を検出することができる。

図１２に示すように、拡張入力装置２００は、電極２０６および２０７の間の通電に応じて、当該電極２０６および２０７に対応する赤外ＬＥＤ２０３を照射させて赤外光を発する検出回路を有している。例えば、上記検出回路は、ＮＰＮ型トランジスタＴ１を有している。ＮＰＮ型トランジスタＴ１のコレクタは、赤外ＬＥＤ２０３および抵抗Ｒｄを介して、電源Ｖｃｃに接続されている。また、ＮＰＮ型トランジスタＴ１のベースは、電極２０６および電極２０７と抵抗Ｒｂとを介して、電源Ｖｃｃに接続されている。また、ＮＰＮ型トランジスタＴ１のエミッタは、接地されている。このような検出回路を用いることによって、電極２０６および電極２０７との間が絶縁されている場合は、ＮＰＮ型トランジスタＴ１のベース電圧が０となるため、ＮＰＮ型トランジスタＴ１のコレクタからエミッタに電流が流れず赤外ＬＥＤ２０３が点灯しない。一方、電極２０６および電極２０７との間がユーザの指を介して通電している場合は、ＮＰＮ型トランジスタＴ１のベース電圧が当該通電状態に応じた電圧に上昇するため、ＮＰＮ型トランジスタＴ１のコレクタからエミッタに電流が流れて赤外ＬＥＤ２０３が点灯する。このような、検出回路を入力キー２０５毎に設けることによって、入力操作された入力キー２０５に対応する赤外ＬＥＤ２０３から赤外光を発することができる。

なお、抵抗Ｒｂおよび抵抗Ｒｄの抵抗値を調整することによって、点灯する赤外ＬＥＤ２０３の光量を調整することができる。例えば、抵抗Ｒｄの抵抗値を小さく設定することによって、当該抵抗Ｒｄに接続されている赤外ＬＥＤ２０３が点灯する場合の光量を増加させることができる。一例として、赤外撮像部１２３から遠方に設置されている赤外ＬＥＤ２０３や赤外撮像部１２３の注視点から遠い位置に設置されている赤外ＬＥＤ２０３に接続されている抵抗Ｒｄの抵抗値を小さく設定することによって、赤外撮像部１２３が撮像する撮像画像においてこれらの赤外ＬＥＤ２０３が発する赤外光をより認識しやすくなる。

ここで、一般的なキーボードでは、同じ入力を示す入力キー（例えば、Ｃｔｒｌキー、Ｓｈｉｆｔキー、Ａｌｔキー、Ｗｉｎキー等）が設けられている。このように同じ入力を示す複数の入力キーが拡張入力装置２００に設けられている場合、何れの入力キーが入力操作されたとしても、同じ赤外ＬＥＤ２０３が発光するようにしてもよい。

例えば、図１３に示すように、上述した同じ入力を示す２つの入力キー２０５がそれぞれ電極２０６ａおよび２０７ａと電極２０６ｂおよび２０６ｂとによって構成されているとする。このような場合、検出回路のＮＰＮ型トランジスタＴ１のコレクタは、上記検出回路と同様に、赤外ＬＥＤ２０３および抵抗Ｒｄを介して、電源Ｖｃｃに接続されている。また、ＮＰＮ型トランジスタＴ１のベースは、電極２０６ａおよび電極２０７ａと抵抗Ｒｂとを介して、電源Ｖｃｃに接続される回路と、当該回路と並列に電極２０６ｂおよび電極２０７ｂと抵抗Ｒｂとを介して、電源Ｖｃｃに接続される回路とを有している。そして、ＮＰＮ型トランジスタＴ１のエミッタは、上記検出回路と同様に、接地されている。このような検出回路を用いることによって、電極２０６ａおよび電極２０７ａの間と電極２０６ｂおよび電極２０７ｂの間との両方が絶縁されている場合は、ＮＰＮ型トランジスタＴ１のベース電圧が０となるため、ＮＰＮ型トランジスタＴ１のコレクタからエミッタに電流が流れず赤外ＬＥＤ２０３が点灯しない。一方、電極２０６ａおよび電極２０７ａとの間と電極２０６ｂおよび電極２０７ｂの間との少なくとも一方がユーザの指を介して通電している場合は、ＮＰＮ型トランジスタＴ１のベース電圧が当該通電状態に応じた電圧に上昇するため、ＮＰＮ型トランジスタＴ１のコレクタからエミッタに電流が流れて赤外ＬＥＤ２０３が点灯する。このような、検出回路を同じ入力を示す入力キー２０５に対して設けることによって、何れの入力キー２０５が入力操作された場合であっても同じ赤外ＬＥＤ２０３が赤外光を発することになる。

なお、上述した拡張入力装置２００の例では、１つの入力キー２０５を２つの電極２０６および２０７によって構成することによって当該入力キー２０５に対する操作入力を検出しているが、他の態様によって入力キー２０５に対する操作入力を検出してもよい。第１の例として、１つの入力キー２０５に１つの一方電極を構成し、拡張入力装置２００において入力キー２０５が設けられていない上面部（例えば、上面の外縁部）を他方電極として構成する。このように電極を構成することによって、ユーザが上記他方電極と掌が接する状態でキー入力することによって、入力する入力キー２０５（一方電極）と他方電極とがユーザの手を介して通電するため、当該通電を検出することによって同様に赤外ＬＥＤ２０３を発光させることができる。第２の例として、１つの入力キー２０５に１つの一方電極を構成し、ユーザの身体の一部と有線接続する端子を他方電極として構成する。このように電極を構成しても、ユーザが身体の一部に上記他方電極を接続した状態でキー入力することによって、入力する入力キー２０５（一方電極）と他方電極とがユーザの身体を介して通電するため、当該通電を検出することによって同様に赤外ＬＥＤ２０３を発光させることができる。

次に、図１４を参照して、拡張入力装置を用いる他の例として、拡張入力装置２５０を用いたユーザ操作について説明する。図１４は、ユーザが拡張入力装置２５０を用いてゲーム操作を行う様子の一例を示す図である。本実施例においても、拡張入力装置２５０には右コントローラ４を装着することが可能であり、拡張入力装置２５０に装着された右コントローラ４から送信されるデータに基づいて、拡張入力装置２５０に対する操作内容に応じた処理が実行される。そして、拡張入力装置２５０に対する操作内容も、赤外撮像部１２３によって撮像された撮像画像に基づいて検出される。したがって、拡張入力装置２５０は、ユーザによる入力や操作の検出結果を本体装置２へ送信する電子回路等の電気的構成を必要としないため、拡張入力装置２５０の構成を簡易化することができる。

例えば、本実施例では、図１４に示すように、拡張入力装置２５０は、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙと、操作ボタン２５５ｓと、マイク２５７ｍとを有する太鼓型コントローラである。そして、ユーザは、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙの少なくとも１箇所を叩いたり、声や拍子の音をマイク２５７ｍに入力したり、操作ボタン２５５ｓを押下操作したりすることによって、操作内容に応じてプレイヤキャラクタＰＣが動作して、表示装置（例えば、本体装置１１のディスプレイ１２）に表示される。なお、拡張入力装置２５０を用いた操作に応じて、仮想空間に配置された仮想オブジェクトが変化するような処理が行われてもよいし、操作タイミングの一致度が判定されてもよいし、各種情報が表示されてもよく、様々なゲーム処理や情報処理が行われることが考えられる。

次に、図１５および図１６を参照して、拡張入力装置２５０の内部構成ついて説明する。なお、図１５は、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙと、操作ボタン２５５ｓとに対する操作に応じて赤外ＬＥＤ２５３を発光させる回路の一例を示す図である。図１６は、マイク２５７ｍに対する音声入力に応じて赤外ＬＥＤ２５３を発光させる回路の例を示す図である。

ここで、図９および図１０を用いて説明した拡張入力装置２００と同様に、拡張入力装置２５０の内部空間内には、複数の赤外ＬＥＤ２５３を有する発光部および右コントローラ４を装着する固定部が設けられている。つまり、拡張入力装置２５０の内部空間内においても、右コントローラ４が固定部に装着されることによって、赤外撮像部１２３は、複数の赤外ＬＥＤ２５３を撮像可能となる。また、拡張入力装置２５０の内部空間内における固定部の近傍にも、拡張入力装置２００と同様に、ＮＦＣ通信部１２２の通信対象となるＮＦＣタグが備えられており、右コントローラ４が固定部に装着されると同時に当該ＮＦＣタグとの間で近距離無線通信が可能な状態となる。

図１５に示すように、拡張入力装置２５０の複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙは、それぞれスイッチ２５６ａ、２５６ｂ、２５６ｘ、および２５６ｙが内蔵されている。スイッチ２５６ａ、２５６ｂ、２５６ｘ、および２５６ｙは、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙが操作されていない状態ではオフ状態であり、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙが叩かれることによってそれぞれオン状態となる。また、操作ボタン２５５ｓは、スイッチ２５６ｓが内蔵されている。スイッチ２５６ｓは、操作ボタン２５５ｓが押下操作されていない状態ではオフ状態にあり、操作ボタン２５５ｓが押下操作されることによってオン状態となる。

拡張入力装置２５０は、スイッチ２５６ａ、２５６ｂ、２５６ｘ、２５６ｙ、および２５６ｓのオン／オフ状態に応じて、当該スイッチに対応する赤外ＬＥＤ２５３を照射させて赤外光を発する検出回路を有している。例えば、上記検出回路は、スイッチ２５６ａ、赤外ＬＥＤ２５３ａ、および抵抗Ｒを介して、電源Ｖｃｃが接地される回路を有している。また、上記検出回路は、スイッチ２５６ｂ、赤外ＬＥＤ２５３ｂ、および抵抗Ｒを介して、電源Ｖｃｃが接地される回路を有している。また、上記検出回路は、スイッチ２５６ｘ、赤外ＬＥＤ２５３ｘ、および抵抗Ｒを介して、電源Ｖｃｃが接地される回路を有している。また、上記検出回路は、スイッチ２５６ｙ、赤外ＬＥＤ２５３ｙ、および抵抗Ｒを介して、電源Ｖｃｃが接地される回路を有している。さらに、上記検出回路は、スイッチ２５６ｓ、赤外ＬＥＤ２５３ｓ、および抵抗Ｒを介して、電源Ｖｃｃが接地される回路を有している。これらの検出回路を用いることによって、スイッチ２５６ａ、２５６ｂ、２５６ｘ、２５６ｙ、および２５６ｓがオフ状態の場合、それぞれのスイッチに接続されている赤外ＬＥＤ２５３ａ、２５３ｂ、２５３ｘ、２５３ｙ、および２５３ｓが点灯しない。一方、スイッチ２５６ａ、２５６ｂ、２５６ｘ、２５６ｙ、または２５６ｓがオン状態の場合、それぞれのスイッチに接続されている赤外ＬＥＤ２５３ａ、２５３ｂ、２５３ｘ、２５３ｙ、または２５３ｓが点灯する。このような、検出回路を操作部毎に設けることによって、操作された操作面や操作ボタンに対応する赤外ＬＥＤ２５３が赤外光を発することができる。

また、図１６に示すように、拡張入力装置２５０は、マイク２５７ｍに対する音声入力の音量に応じて、異なる赤外ＬＥＤ２５３を照射させて赤外光を発する検出回路を有している。例えば、上記検出回路は、マイク２５７ｍと３つの赤外ＬＥＤ２５３ｍ１、２５３ｍ２、および２５３ｍ３と３つのコンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３とが少なくとも接続されている。赤外ＬＥＤ２５３ｍ１は、電源Ｖｃｃに接続されるとともに、所定の抵抗を介してコンパレータＣｏｍ１の出力端子に接続される。コンパレータＣｏｍ１の＋入力端子は、可変抵抗ＲＳ１を介して電源Ｖｃｃが接続される。そして、コンパレータＣｏｍ１の−入力端子には、マイク２５７ｍの出力に応じた電圧が入力され、マイク２５７ｍの出力に応じた電圧が＋入力端子の電圧より高くなった場合にコンパレータＣｏｍ１の出力端子の出力が高レベルの電圧から低レベルの電圧に変化する。また、赤外ＬＥＤ２５３ｍ２は、電源Ｖｃｃに接続されるとともに、所定の抵抗を介してコンパレータＣｏｍ２の出力端子に接続される。コンパレータＣｏｍ２の＋入力端子は、可変抵抗ＲＳ２を介して電源Ｖｃｃが接続される。そして、コンパレータＣｏｍ２の−入力端子には、コンパレータＣｏｍ１の−入力端子と同じマイク２５７ｍの出力に応じた電圧が入力され、マイク２５７ｍの出力に応じた電圧が＋入力端子の電圧より高くなった場合にコンパレータＣｏｍ２の出力端子の出力が高レベルの電圧から低レベルの電圧に変化する。さらに、赤外ＬＥＤ２５３ｍ３は、電源Ｖｃｃに接続されるとともに、所定の抵抗を介してコンパレータＣｏｍ３の出力端子に接続される。コンパレータＣｏｍ３の＋入力端子は、可変抵抗ＲＳ３を介して電源Ｖｃｃが接続される。そして、コンパレータＣｏｍ３の−入力端子には、コンパレータＣｏｍ１やＣｏｍ２の−入力端子と同じマイク２５７ｍの出力に応じた電圧が入力され、マイク２５７ｍの出力に応じた電圧が＋入力端子の電圧より高くなった場合にコンパレータＣｏｍ３の出力端子の出力が高レベルの電圧から低レベルの電圧に変化する。

このように、マイク２５７ｍの出力に応じた電圧が変化した場合、＋入力端子の入力電圧との比較に基づいて３つのコンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３の出力端子の出力レベルが変化することになる。したがって、コンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３それぞれの＋入力端子の入力電圧が異なるように調整することによって、それぞれの出力端子において出力レベルが変化するマイク２５７ｍの出力電圧が調整される。上記検出回路では、可変抵抗ＲＳ１、ＲＳ２、およびＲＳ３の値を調整することによって、コンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３それぞれの＋入力端子の入力電圧を調整することが可能であり、それぞれ異なる抵抗値となるように調整される。

ここで、コンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３の出力端子の出力が高レベルである場合、その電位差が極めて小さくなるために赤外ＬＥＤ２５３ｍ１、２５３ｍ２、および２５３ｍ３は点灯しない。一方、コンパレータＣｏｍ１、Ｃｏｍ２、およびＣｏｍ３の出力端子の出力が低レベルである場合、その電位差が大きくなるために赤外ＬＥＤ２５３ｍ１、２５３ｍ２、および２５３ｍ３が点灯する。つまり、可変抵抗ＲＳ１、ＲＳ２、およびＲＳ３の値が異なるように調整されることによって、赤外ＬＥＤ２５３ｍ１、２５３ｍ２、および２５３ｍ３がそれぞれ点灯するマイク２５７ｍの出力電圧が異なることになる。したがって、上記検出回路では、マイク２５７ｍの出力電圧、すなわちマイク２５７ｍに入力された音量に応じて、異なる赤外ＬＥＤ２５３が段階的に点灯していくことになる。

このように、拡張入力装置２５０は、複数の操作面２５５ａ、２５５ｂ、２５５ｘ、および２５５ｙと、操作ボタン２５５ｓとに対する操作に応じて、赤外ＬＥＤ２５３ａ、２５３ｂ、２５３ｘ、２５３ｙ、および２５３ｓを点灯／消灯させる。また、拡張入力装置２５０は、マイク２５７ｍに入力された音量（すなわち、入力量や操作量）に応じて、赤外ＬＥＤ２５３ｍ１、２５３ｍ２、および２５３ｍ３を段階的に点灯／消灯させる。そして、赤外ＬＥＤ２５３ａ、２５３ｂ、２５３ｘ、２５３ｙ、２５３ｓ、２５３ｍ１、２５３ｍ２、および２５３ｍ３が発する赤外光を赤外撮像部１２３によって撮像することによって、当該撮像画像から拡張入力装置２５０に対する操作内容や入力内容を判別することができる。

なお、上述した拡張入力装置２００の例においても、拡張入力装置２５０と同様に各入力キー２０５にスイッチを設けてもかまわない。押下操作された場合にオン状態となるスイッチを各入力キー２０５に設けることによって、拡張入力装置２５０と同様の回路構成によって拡張入力装置２００の検出回路を構成することも可能である。

また、上述した実施例では、キーボード型の拡張入力装置と太鼓型コントローラの拡張入力装置を用いたが、他の態様の操作装置、入力装置、コントローラ等であっても同様に実現できることは言うまでもない。例えば、ギター等の弦楽器、オカリナや笛等の気鳴楽器、ピアノ等の鍵盤楽器等を模した楽器型のコントローラを拡張入力装置としてもよい。一例として、ギターを模した楽器型コントローラに適用する場合、上述した入力キー２０５と同様にユーザがタッチしているフレットを検出するとともに、ユーザが弦をピッキングした振動をマイクで検出することによって当該マイクへ入力された振動の振幅をマイク２５７ｍと同様に検出することが考えられる。他の例として、オカリナを模した楽器型コントローラに適用する場合、上述した入力キー２０５と同様にユーザがタッチしている孔を検出するとともに、ユーザが吹き込んだ息をマイクで検出することによって当該マイクへ入力された息の量をマイク２５７ｍと同様に検出することが考えられる。

また、ユーザが載って操作するマット型コントローラやボード型コントローラを拡張入力装置としてもよい。例えば、ボード型コントローラに入力された荷重値を荷重センサによって検出している場合、当該荷重値を表すデジタル情報を赤外ＬＥＤの点灯／消灯で表現して、当該赤外ＬＥＤの点灯／消灯を赤外撮像部１２３によって撮像することが考えられる。例えば、上記荷重値を示すデジタル情報が１６ビットで表される場合、１６個の赤外ＬＥＤを用意して各ビットの値を各ビットに対応する赤外ＬＥＤを点灯／消灯することによって当該デジタル情報を表現することができる。

次に、図１７および図１８を参照して、赤外撮像部１２３が撮像した撮像画像から算出する撮像対象の情報について説明する。なお、図１７は、第１モード（クラスタリングモード）において算出する撮像対象の情報の一例を説明するための図である。図１８は、第２モード（モーメントモード）において算出する撮像対象の情報の一例を説明するための図である。

図１７において、第１モードでは、赤外撮像部１２３が撮像した撮像画像の中から高輝度画素の塊（クラスタ）を検出し、当該撮像画像における当該クラスタの位置やサイズを算出する。例えば、図１７に示すように、赤外撮像部１２３が撮像した撮像画像全体または当該撮像画像から情報を算出する撮像画像の一部領域（後述する解析ウインドウ）に対して、所定の座標軸（例えば、横方向をＸ軸、縦方向をＹ軸とする座標軸）を設定する。そして、上記座標軸が設定された画像から、所定の閾値以上の輝度を有する画素が隣接している画素群を抽出し、当該画素群が所定の範囲内のサイズ（第１閾値以上、かつ、第２閾値以下のサイズ）であればクラスタであると判定する。例えば、拡張入力装置２００内で発光している赤外ＬＥＤ２０３や拡張入力装置２５０内で発光している赤外ＬＥＤ２５３が撮像された撮像画像の場合、赤外光を発光している赤外ＬＥＤ２０３や赤外ＬＥＤ２５３が高輝度画素として抽出されて、それぞれクラスタとして判定されることになる。そして、上記第１モードでは、このように抽出されたクラスタの総数が算出されるとともに、各クラスタの平均輝度、面積（画素数）、重心座標、および外接長方形が算出され、これらの算出結果が撮像対象の情報として算出される。

上記第１モードによって算出された撮像対象の情報は、右コントローラ４から本体装置２へ送信され、本体装置２において受信した撮像対象の情報に基づいて点灯している赤外ＬＥＤを判定することができる。例えば、本体装置２は、各クラスタの重心座標を用いて、点灯している赤外ＬＥＤの位置を算出することが可能であり、当該点灯している赤外ＬＥＤの位置に基づいて、拡張入力装置に対して行われているユーザ入力やユーザ操作を判定することができる。

なお、上記第１モードにおいて、各クラスタの位置（重心座標や外接長方形の位置）を算出する際、撮像画像において設定された基準位置を基準として算出してもよい。このような基準位置を基準として各クラスタの位置を算出することによって、各クラスタの位置、向き、形状等を精度よく検出することができる。

一例として、上記基準位置は、発光している基準赤外ＬＥＤの位置（例えば、基準赤外ＬＥＤが撮像されている高輝度画素の重心座標）に設定してもよい。具体的には、拡張入力装置２００や拡張入力装置２５０に右コントローラ４を装着した状態でユーザに対して所定の初期設定操作を促すことにより赤外ＬＥＤ２０３の何れか１つまたは赤外ＬＥＤ２５３の何れか１つ（すなわち、基準赤外ＬＥＤ）を点灯させ、当該初期設定操作において点灯した基準赤外ＬＥＤが撮像されている位置を上記基準位置に設定してもよい。この場合、上記基準位置に基づいて、撮像画像全体または撮像画像の一部領域となる解析ウインドウに対して上記座標軸が設定されてもよい。また、上記基準の赤外ＬＥＤが撮像された位置と当該赤外ＬＥＤが撮像されるべき位置との差分値を算出して、今後の位置算出に用いる補正値として当該差分値を設定してもよい。なお、上記初期設定操作は、拡張入力装置２００や拡張入力装置２５０の製造工程において行ってもよい。この場合、上記製造工程において設定された基準位置に関する情報は、拡張入力装置２００や拡張入力装置２５０に設けられているＮＦＣタグに記憶されてもよい。また、ユーザによって上記初期設定操作が行われる場合であっても、当該ユーザ初期設定操作によって設定された基準位置に関する情報も、拡張入力装置２００や拡張入力装置２５０に設けられているＮＦＣタグに記憶されてもよい。

他の例として、上記基準位置は、ユーザ入力および／またはユーザ操作に応じて点灯する赤外ＬＥＤとは異なる所定の被撮像物における撮像位置に設定してもよい。具体的には、上述した赤外ＬＥＤ２０３や赤外ＬＥＤ２５３とは別に、他の赤外ＬＥＤや再帰性反射の特性を有する材質で予め定められた形状で構成された基準マーカを、赤外ＬＥＤ２０３や赤外ＬＥＤ２５３との位置関係が予め定められた位置に設け、当該基準マーカの位置を上記基準位置として機能させる。そして、赤外撮像部１２３の撮像画像を解析する際に、基準マーカとして点灯している赤外ＬＥＤの位置や、当該撮像画像に対してパターンマッチングを用いた画像処理によって得られる基準マーカの位置を算出する。

図１８において、第２モードでは、赤外撮像部１２３が撮像した撮像画像を複数のブロックに分割し、ブロック毎の平均輝度や重心位置を算出する。例えば、図１８に示すように、赤外撮像部１２３が撮像した撮像画像全体または当該撮像画像から情報を算出する撮像画像の一部領域（後述する解析ウインドウ）に所定の座標軸（例えば、横方向をＸ軸、縦方向をＹ軸とする座標軸）を設定するとともに、当該座標軸が設定された画像を所定のブロック（例えば、８×６の４８ブロック）に分割する。そして、各ブロックにおいて所定の閾値以上の輝度を有する画素を処理対象として、各ブロックの輝度の総和、各ブロックの横方向輝度の一次モーメント、および各ブロックの縦方向輝度の一次モーメントが算出され、これらの算出結果が撮像対象の情報として算出される。例えば、各ブロックの輝度の総和は、各ブロック内の画素が有する輝度を全画素について合計した値であり、当該総和を当該ブロックの画素数で除算することによって当該ブロックの平均輝度が得られるパラメータである。また、各ブロックの横方向輝度の一次モーメントは、各ブロック内の画素が有する輝度に当該画素のＸ軸方向位置を乗算した値を全画素について合計した値であり、当該ブロックの横方向輝度の一次モーメントを当該ブロックの輝度の総和で除算することによって当該ブロックにおける輝度の横方向重心位置が得られるパラメータである。また、各ブロックの縦方向輝度の一次モーメントは、各ブロック内の画素が有する輝度に当該画素のＹ軸方向位置を乗算した値を全画素について合計した値であり、当該ブロックの縦方向輝度の一次モーメントを当該ブロックの輝度の総和で除算することによって当該ブロックにおける輝度の縦方向重心位置が得られるパラメータである。

なお、これら第１モードにおける撮像対象の情報や第２モードにおける撮像対象の情報は、右コントローラ４内で算出されて本体装置２へ送信される。したがって、赤外撮像部１２３が撮像した撮像画像そのものを示すデータを送信する場合と比較すると、本体装置２へ送信するデータ量を削減することができるとともに、本体装置２側における処理負荷も低減することができる。また、撮像対象の情報のデータ量が小さいため、右コントローラ４から送信する他の操作データに含ませて当該撮像対象の情報を本体装置２へ送信することも可能であり、右コントローラ４と本体装置２との間の通信処理自体も簡素に構成することができる。また、本実施例においては、複数の赤外ＬＥＤの点灯／消灯を撮像対象とした撮像画像を用いて算出された第１モードまたは第２モードによる情報を本体装置２へ送信することが可能であり、当該撮像対象の情報を用いて拡張入力装置に対するユーザ入力やユーザ操作を判別することができる。つまり、拡張入力装置の種類に応じて、複数の赤外ＬＥＤの配置数や配置位置が異なる場合であっても、同様の撮像画像から第１モードまたは第２モードによる撮像対象の情報を算出して本体装置２へ送信することができるため、拡張入力装置の種別毎に新しいデータフォーマットを用意しなくとも、同じデータフォーマット（すなわち、上記第１モードや上記第２モードによる撮像対象のデータ）を用いて様々な種類の拡張入力装置を追加することができる。

次に、図１９および図２０を参照して、本実施形態において右コントローラ４で実行される具体的な処理の一例について説明する。図１９は、本実施形態において右コントローラ４のメモリ（例えば、処理部１２１に含まれるメモリ）において設定されるデータ領域の一例を示す図である。なお、上記右コントローラ４のメモリには、図１９に示すデータの他、他の処理で用いられるデータも記憶されるが、詳細な説明を省略する。また、後述する右コントローラ４で実行される情報算出処理では、第１モード（クラスタリングモード）によって撮像対象の情報を算出する例を用いる。

右コントローラ４のメモリのプログラム記憶領域には、処理部１２１で実行される各種プログラムＰｓが記憶される。本実施形態においては、各種プログラムＰｓは、上述した撮像画像の撮像結果に基づく情報を取得して算出するための情報算出プログラムや算出した情報を本体装置２へ送信するためのプログラム等が記憶される。なお、各種プログラムＰｓは、右コントローラ４内に予め記憶されていてもよいし、本体装置２に着脱可能な記憶媒体（例えば、第１スロット２３に装着された第１の種類の記憶媒体、第２スロット２４に装着された第２の種類の記憶媒体）から取得されて右コントローラ４のメモリに記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されて右コントローラ４のメモリに記憶されてもよい。処理部１２１は、右コントローラ４のメモリに記憶された各種プログラムＰｓを実行する。

また、右コントローラ４のメモリのデータ記憶領域には、処理部１２１において実行される処理において用いられる各種のデータが記憶される。本実施形態においては、右コントローラ４のメモリには、撮像画像データＤｓａ、解析ウインドウデータＤｓｂ、抽出画素データＤｓｃ、抽出画素群データＤｓｄ、クラスタデータＤｓｅ、およびクラスタ数データＤｓｆ等が記憶される。

撮像画像データＤｓａは、赤外撮像部１２３が撮像した撮像画像を示すデータである。本実施形態では、処理部１２１の指示に基づいた周期で赤外撮像部１２３が撮像処理を行っており、当該撮像された撮像画像を用いて撮像画像データＤｓａが適宜更新される。なお、撮像画像データＤｓａの更新周期は、後述する処理部１２３において実行される処理および／またはＣＰＵ８１において実行される処理の周期毎に更新されてもよいし、上記撮像画像が撮像される周期毎に更新されてもよい。

解析ウインドウデータＤｓｂは、撮像画像データＤｓａに格納されている撮像画像のうち、撮像結果に基づく情報を算出するために解析する範囲（解析ウインドウ）の画像を示すデータである。

抽出画素データＤｓｃは、上記解析ウインドウ内の画像から抽出された所定の閾値以上の輝度を有する画素を示すデータである。抽出画素群データＤｓｄは、上記解析ウインドウ内の画像において、上記抽出された画素が隣接している画素群を示すデータである。

クラスタデータＤｓｅは、上記解析ウインドウ内の画像において判定されたクラスタ毎の情報を示すデータであり、平均輝度データＤｓｅ１、面積データＤｓｅ２、重心座標データＤｓｅ３、および外接長方形データＤｓｅ４等を含む。平均輝度データＤｓｅ１は、クラスタ毎の平均輝度を示すデータである。面積データＤｓｅ２は、クラスタ毎の面積（画素数）を示すデータである。重心座標データＤｓｅ３は、クラスタ毎の重心座標を示すデータである。外接長方形データＤｓｅ４は、クラスタ毎に所定方向に外接する長方形の位置およびサイズを示すデータである。

クラスタ数データＤｓｆは、上記解析ウインドウ内の画像から抽出されたクラスタの数を示すデータである。

次に、本実施形態における撮像画像の撮像結果に基づく情報を算出する処理（以下、単に情報算出処理と記載する）の詳細な一例を説明する。図２０は、処理部１２１のＣＰＵで実行される情報算出処理の一例を示すフローチャートである。本実施形態においては、図２０に示す一連の処理は、処理部１２１のＣＰＵが各種プログラムＰｓに含まれる情報算出プログラム等を実行することによって行われる。また、図２０に示す情報算出処理が開始されるタイミングは任意である。

なお、図２０に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて（または代えて）別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理を処理部１２１のＣＰＵが実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、処理部１２１のＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。また、右コントローラ４において実行される処理の一部は、右コントローラ４と通信可能な他の情報処理装置（例えば、本体装置２や本体装置２とネットワークを介して通信可能なサーバ）によって実行されてもよい。すなわち、図２０に示す各処理は、右コントローラ４を含む複数の情報処理装置が協働することによって実行されてもよい。

図２０において、処理部１２１のＣＰＵは、情報算出処理における初期設定を行い（ステップＳ１４１）、次のステップに処理を進める。例えば、上記初期設定において、処理部１２１のＣＰＵは、以下に説明する処理を行うためのパラメータを初期化する。また、上記初期設定において、処理部１２１のＣＰＵは、右コントローラ４が装着されている拡張入力装置の種別や識別情報を必要に応じて設定する。例えば、本体装置２、左コントローラ３、または右コントローラ４を用いて、ユーザが拡張入力装置の種別を選択する操作や基準位置を設定するための初期設定操作を行うことによって、拡張入力装置の種別が初期設定されたり、キャリブレーションが行われたりしてもよい。また、他の例として、ＮＦＣ通信部１２２を介して、右コントローラ４が拡張入力装置に設けられた通信対象と近距離無線通信が可能である場合、当該通信対象から拡張入力装置の種別、識別情報、およびキャリブレーション情報を取得することによって、拡張入力装置の種別、識別情報、およびキャリブレーション情報が初期設定されてもよい。

また、上記初期設定において、処理部１２１のＣＰＵは、撮像画像のうち、撮像結果に基づく情報を算出するために解析する範囲（解析ウインドウ）を初期設定し、当該解析ウインドウ内に座標軸を設定する。なお、解析ウインドウの範囲は、本体装置２からの指示に基づいて設定されてもよいし、拡張操作装置の種別に応じて予め定められていてもよい。また、解析ウインドウの範囲は複数設定されてもよく、この場合、時系列的に順次異なる解析ウインドウ毎に撮像結果に基づく情報が算出されることになる。ここで、撮像画像全体から撮像結果に基づく情報を算出する場合と比較して、当該撮像画像の一部の領域に解析ウインドウを設定して当該解析ウインドウから撮像結果に基づく情報を算出することによって、当該撮像画像において撮像されている情報を絞り込んで解析することができる。また、上記撮像結果に基づく情報を算出する際に不要な撮像領域を当該算出の対象外とすることによって、当該算出に不要な反射赤外光を撮像している箇所等を除外することができ、撮像結果に基づく情報の精度を向上させることが可能となる。

次に、処理部１２１のＣＰＵは、赤外撮像部１２３が撮像した撮像画像を取得し（ステップＳ１４２）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、赤外撮像部１２３から撮像画像を取得して撮像画像データＤｓａを更新する。

次に、処理部１２１のＣＰＵは、解析ウインドウを設定し（ステップＳ１４３）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、上記初期設定されている解析ウインドウの範囲に基づいて、撮像画像データＤｓａに格納されている撮像画像から解析ウインドウ内の画像を切り出して当該解析ウインドウ内に座標軸を設定し、当該切り出した画像を用いて解析ウインドウデータＤｓｂを更新する。

次に、処理部１２１のＣＰＵは、上記解析ウインドウ内の画像から所定の閾値以上の輝度を有する画素を抽出し（ステップＳ１４４）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、解析ウインドウデータＤｓｂに格納されている画像において、所定の閾値以上の輝度を有する画素を抽出画素として抽出し、当該抽出画素を用いて抽出画素データＤｓｃを更新する。

次に、処理部１２１のＣＰＵは、上記解析ウインドウ内の画像から上記ステップＳ１４４において抽出された抽出画素が隣接している抽出画素群を抽出し（ステップＳ１４５）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、上記解析ウインドウ内の画像から抽出した抽出画素群のうち、後述するステップＳ１４６〜ステップＳ１５０の処理が行われていない抽出画素群の１つを、以降の処理の処理対象として選択し、当該抽出画素群を示すデータを用いて抽出画素群データＤｓｄを更新する。

次に、処理部１２１のＣＰＵは、現処理対象の抽出画素群のサイズＳを算出し（ステップＳ１４６）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、抽出画素群データＤｓｄが示す抽出画素群のサイズＳ（例えば、画素数Ｓ）を算出する。

次に、処理部１２１のＣＰＵは、上記ステップＳ１４６において算出されたサイズＳが、第１閾値Ｔ１以上、かつ、第２閾値Ｔ２（Ｔ２＞Ｔ１）以下であるか否かを判定する（ステップＳ１４７）。ここで、第１閾値Ｔ１は、上記解析ウインドウ内の画像において撮像対象（例えば、発光している赤外ＬＥＤ）が撮像された高輝度画素の塊（クラスタ）であると認識する最小サイズを示す値である。また、第２閾値Ｔ２は、上記解析ウインドウ内の画像において撮像対象が撮像されたクラスタであると認識する最大サイズを示す値である。そして、処理部１２１のＣＰＵは、サイズＳが、第１閾値Ｔ１以上、かつ、第２閾値Ｔ２以下である場合、ステップＳ１４８に処理を進める。一方、処理部１２１のＣＰＵは、サイズＳが、第１閾値Ｔ１以上、かつ、第２閾値Ｔ２以下でない場合、ステップＳ１５０に処理を進める。

ステップＳ１４８において、処理部１２１のＣＰＵは、現処理対象の抽出画素群をクラスタに設定する。そして、処理部１２１のＣＰＵは、上記ステップＳ１４８において設定されたクラスタに関するクラスタ情報を算出し（ステップＳ１４９）、ステップＳ１５１に処理を進める。例えば、上記ステップＳ１４９において、処理部１２１のＣＰＵは、抽出画素群データＤｓｄが示す抽出画素群の平均輝度を算出し、当該算出された平均輝度を用いて、上記ステップＳ１４８において設定されたクラスタに対応するクラスタデータＤｓｅにおける平均輝度データＤｓｅ１を更新する。また、処理部１２１のＣＰＵは、上記ステップＳ１４６で算出されたサイズＳを用いて、上記ステップＳ１４８において設定されたクラスタに対応するクラスタデータＤｓｅにおける面積データＤｓｅ２を更新する。また、処理部１２１のＣＰＵは、抽出画素群データＤｓｄが示す抽出画素群の重心位置を算出し、上記解析ウインドウ内の画像における当該重心位置を示す座標値（例えば、図１７に例示したＸＹ座標値）を用いて、上記ステップＳ１４８において設定されたクラスタに対応するクラスタデータＤｓｅにおける重心座標データＤｓｅ３を更新する。また、処理部１２１のＣＰＵは、抽出画素群データＤｓｄが示す抽出画素群に外接、かつ、上記解析ウインドウ内の画像に対する所定方向の辺（例えば、図１７に例示したＸ軸またはＹ軸に平行な辺）を有する長方形を設定し、当該長方形において対向する２つの頂点の位置を示すそれぞれの座標値（例えば、図１７に例示したＸＹ座標値）を用いて、上記ステップＳ１４８において設定されたクラスタに対応するクラスタデータＤｓｅにおける外接長方形データＤｓｅ４を更新する。

一方、ステップＳ１５０において、処理部１２１のＣＰＵは、現処理対象の抽出画素群をクラスタに設定せずに、そのままステップＳ１５１に処理を進める。

ステップＳ１５１において、処理部１２１のＣＰＵは、上記解析ウインドウ内の画像内に、上記ステップＳ１４５〜ステップＳ１５０の処理が行われていない抽出画素群が残っているか否かを判定する。そして、処理部１２１のＣＰＵは、未処理の画素群が残っている場合、上記ステップＳ１４５に戻って処理を繰り返す。一方、処理部１２１のＣＰＵは、未処理の画素群が残っていない場合、上記ステップＳ１４９においてクラスタ情報が更新されなかったクラスタデータＤｓｅを削除して、ステップＳ１５２に処理を進める。

ステップＳ１５２において、処理部１２１のＣＰＵは、上記ステップＳ１４８において、上記解析ウインドウ内の画像から設定されたクラスタの数を算出し、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、上記解析ウインドウ内の画像から設定されたクラスタの数を用いて、クラスタ数データＤｓｆを更新する。

次に、処理部１２１のＣＰＵは、撮像画像の撮像結果に基づく情報を示すデータを本体装置２へ送信する処理を行い（ステップＳ１５３）、次のステップに処理を進める。例えば、処理部１２１のＣＰＵは、クラスタデータＤｓｅおよびクラスタ数データＤｓｆを用いて、本体装置２へ送信するためのデータを生成し、通信制御部１１１へ当該データを出力する。これによって、通信制御部１１１は、他の操作データ（ボタン操作データ、加速度データ、角速度データ等）とともに撮像画像の撮像結果に基づく情報を操作データとして生成し、当該操作データを所定の送信周期毎に本体装置２へ送信する。なお、処理部１２１のＣＰＵは、上記データを本体装置２へ送信する際、拡張入力装置に設けられた通信対象から取得した拡張入力装置の種別、識別情報、およびキャリブレーション情報等を示すデータを含ませてもよい。

次に、処理部１２１のＣＰＵは、情報算出処理を終了するか否かを判定する(ステップＳ１５４)。上記ステップＳ１５４において情報算出処理を終了する条件としては、例えば、本体装置２から情報算出処理を終了する指示を受領したことや、ユーザが情報算出処理を終了する操作を行ったこと等がある。処理部１２１のＣＰＵは、情報算出処理を終了しない場合に上記ステップＳ１４２に戻って処理を繰り返し、情報算出処理を終了する場合に当該フローチャートによる処理を終了する。以降、ステップＳ１４２〜ステップＳ１５４の一連の処理は、ステップＳ１５４で情報算出処理を終了すると判定されるまで繰り返し実行される。

次に、図２１および図２２を参照して、本実施形態において本体装置２で実行される具体的な処理の一例について説明する。図２１は、本実施形態において本体装置２のＤＲＡＭ８５に設定されるデータ領域の一例を示す図である。なお、ＤＲＡＭ８５には、図２１に示すデータの他、他の処理で用いられるデータも記憶されるが、詳細な説明を省略する。また、後述する本体装置２で実行される情報処理では、第１モード（クラスタリングモード）によって算出された撮像対象の情報を取得する例を用いる。

ＤＲＡＭ８５のプログラム記憶領域には、本体装置２で実行される各種プログラムＰａが記憶される。本実施形態においては、各種プログラムＰａは、上述した左コントローラ３および／または右コントローラ４との間で無線通信するための通信プログラムや、左コントローラ３および／または右コントローラ４から取得したデータに基づいた情報処理（例えば、文字入力処理やゲーム処理）を行うためのアプリケーションプログラム等が記憶される。なお、各種プログラムＰａは、フラッシュメモリ８４に予め記憶されていてもよいし、本体装置２に着脱可能な記憶媒体（例えば、第１スロット２３に装着された第１の種類の記憶媒体、第２スロット２４に装着された第２の種類の記憶媒体）から取得されてＤＲＡＭ８５に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてＤＲＡＭ８５に記憶されてもよい。ＣＰＵ８１は、ＤＲＡＭ８５に記憶された各種プログラムＰａを実行する。

また、ＤＲＡＭ８５のデータ記憶領域には、本体装置２において実行される通信処理や情報処理等の処理において用いられる各種のデータが記憶される。本実施形態においては、ＤＲＡＭ８５には、操作データＤａ、操作内容データＤｂ、入力文字データＤｃ、および画像データＤｄ等が記憶される。

操作データＤａは、右コントローラ４からそれぞれ適宜取得した操作データである。上述したように、右コントローラ４から送信される操作データには、各入力部（具体的には、各ボタン、アナログスティック、各センサ）からの入力に関する情報（具体的には、操作に関する情報、または、センサによる検出結果）と、赤外撮像部１２３の撮像画像の撮像結果に基づく情報が含まれている。また、右コントローラ４が拡張入力装置に設けられた通信対象から拡張入力装置の種別、識別情報、およびキャリブレーション情報等を取得している場合、当該情報が右コントローラ４から送信される操作データに含まれていることもある。本実施形態では、無線通信によって右コントローラ４から所定周期で操作データが送信されており、当該受信した操作データを用いて操作データＤａが適宜更新される。なお、操作データＤａの更新周期は、後述する本体装置２で実行される処理の周期である１フレーム毎に更新されてもよいし、上記無線通信によって操作データが送信される周期毎に更新されてもよい。操作データＤａは、クラスタデータＤａ１、クラスタ数データＤａ２、およびＮＦＣデータＤａ３を含んでいる。クラスタデータＤａ１は、右コントローラ４の処理部１２１において算出されたクラスタ毎の情報を示すデータである。クラスタ数データＤａ２は、右コントローラ４の処理部１２１において抽出されたクラスタの数を示すデータである。ＮＦＣデータＤａ３は、右コントローラ４が拡張入力装置に設けられた通信対象から取得した拡張入力装置の種別、識別情報、およびキャリブレーション情報等を示すデータである。

操作内容データＤｂは、クラスタデータＤａ１およびクラスタ数データＤａ２に基づいて算出された、拡張入力装置（例えば、拡張入力装置２００）を用いた操作内容を示すデータである。

入力文字データＤｃは、上記操作内容に基づいて設定されるユーザ入力に応じた入力文字を示すデータである。

画像データＤｄは、情報処理の際に表示装置（例えば、本体装置２のディスプレイ１２）に画像（例えば、ユーザが入力した文字を示す画像、背景画像等）を表示するためのデータである。

次に、本実施形態における情報処理（例えば、文字入力処理）の詳細な一例を説明する。図２２は、本体装置２で実行される情報処理の一例を示すフローチャートである。本実施形態においては、図２２に示す一連の処理は、ＣＰＵ８１が各種プログラムＰａに含まれる通信プログラムや所定のアプリケーションプログラム（例えば、文字入力プログラム）を実行することによって行われる。また、図２２に示す情報処理が開始されるタイミングは任意である。

なお、図２２に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて（または代えて）別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ８１が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、ＣＰＵ８１以外のプロセッサや専用回路が実行するようにしてもよい。また、本体装置２において実行される処理の一部は、本体装置２と通信可能な他の情報処理装置（例えば、本体装置２とネットワークを介して通信可能なサーバ）によって実行されてもよい。すなわち、図２２に示す各処理は、本体装置２を含む複数の情報処理装置が協働することによって実行されてもよい。

図２２において、ＣＰＵ８１は、情報処理における初期設定を行い（ステップＳ１６１）、次のステップに処理を進める。例えば、上記初期設定では、ＣＰＵ８１は、以下に説明する処理を行うためのパラメータを初期化する。

次に、ＣＰＵ８１は、右コントローラ４から操作データを取得して操作データＤａを更新し（ステップＳ１６２）、次のステップに処理を進める。例えば、ＣＰＵ８１は、右コントローラ４から取得した操作データに応じて、クラスタデータＤａ１、クラスタ数データＤａ２、およびＮＦＣデータＤａ３を更新する。

次に、ＣＰＵ８１は、認証キャリブレーション処理を行い（ステップＳ１６３）、次のステップに処理を進める。例えば、上記認証キャリブレーション処理において、ＣＰＵ８１は、右コントローラ４が装着されている拡張入力装置２００の種別や識別情報を設定する。一例として、ＣＰＵ８１は、拡張入力装置２００に設けられた通信対象から拡張入力装置２００の種別および識別情報を取得している場合、ＮＦＣデータＤａ３における拡張入力装置２００の種別および識別情報を参照して、拡張入力装置２００の種別や識別情報を認証する。他の例として、本体装置２、左コントローラ３、または右コントローラ４が装着された拡張入力装置２００を用いて、ユーザが拡張入力装置２００の種別や識別情報を選択する操作を行う場合、当該操作結果に基づいて拡張入力装置２００の種別や識別情報が認証される。なお、当該認証処理は、右コントローラ４側で行われてもかまわない。

また、上記認証キャリブレーション処理において、ＣＰＵ８１は、ユーザ初期設定操作によるキャリブレーション結果や右コントローラ４が装着されている拡張入力装置の通信対象から取得したキャリブレーション情報に基づいて、以降の処理におけるキャリブレーションを行う。一例として、拡張入力装置２００に設けられた通信対象から基準位置に関する情報を取得している場合、ＮＦＣデータＤａ３における基準位置に関する情報を参照して、今後の位置算出に用いる補正値を設定する。他の例として、右コントローラ４が装着された拡張入力装置２００を用いて、所定のユーザ初期設定操作が行われる場合、当該ユーザ初期設定操作によって設定された基準位置に関する情報に基づいて、今後の位置算出に用いる補正値を設定する。なお、当該キャリブレーション処理は、右コントローラ４側で行われてもかまわない。この場合、右コントローラ４において解析ウインドウに対する座標軸が設定される際に、上記基準位置に関する情報に基づいて当該座標軸が設定されてもよい。

次に、ＣＰＵ８１は、右コントローラ４から操作データを取得して操作データＤａを更新し（ステップＳ１６４）、次のステップに処理を進める。例えば、ＣＰＵ８１は、右コントローラ４から取得した操作データに応じて、クラスタデータＤａ１およびクラスタ数データＤａ２を更新する。

次に、ＣＰＵ８１は、赤外撮像部１２３の撮像画像から抽出されたクラスタ毎の重心座標および平均輝度に基づいて、拡張入力装置２００を用いた入力内容を算出し（ステップＳ１６５）、次のステップに処理を進める。例えば、ＣＰＵ８１は、上記ステップＳ１６４において更新されたクラスタデータＤａ１およびクラスタ数データＤａ２が示すクラスタ毎の重心座標および平均輝度とクラスタの数とに基づいて、拡張入力装置２００を用いた操作内容を算出する。一例として、ＣＰＵ８１は、所定の閾値以上の平均輝度を有するクラスタを点灯している赤外ＬＥＤ２０３が撮像されているとして判定する。また、ＣＰＵ８１は、上記ステップＳ１６３におけるキャリブレーションが反映された当該クラスタの重心座標に基づいて、複数の赤外ＬＥＤ２０３のうち点灯している赤外ＬＥＤ２０３を特定する。そして、ＣＰＵ８１は、点灯していると特定された赤外ＬＥＤ２０３に対応する入力キー２０５が、ユーザによって入力操作されたと判定し、当該入力操作された内容を用いて操作内容データＤｂを更新する。

次に、ＣＰＵ８１は、拡張入力装置２００を用いた入力内容に基づいて、ユーザが入力した入力文字を設定し（ステップ１６６）、次のステップに処理を進める。例えば、ＣＰＵ８１は、操作内容データＤｂを参照して、ユーザが入力操作した入力キー２０５を取得し、当該入力キー２０５に応じた入力文字を設定して、入力文字データＤｃを更新する。なお、ユーザが拡張入力装置２００を用いて文字入力とは異なる指示（例えば、文字を消去する指示、文字を変換する指示、文字を確定する指示、文字種を変更する指示、文字やカーソル等の表示物を移動させる指示、所定の処理を行う指示等）を入力した場合、当該指示内容を用いて入力文字データＤｃを更新してもよい。ユーザの指示内容を判別する方法については、キーボード入力に基づいてユーザ指示を判別する一般的な方法を用いればよい。

次に、ＣＰＵ８１は、表示装置に入力文字を表示する処理を行い（ステップＳ１６７）、次のステップに処理を進める。例えば、ＣＰＵ８１は、入力文字データＤｃに基づいてユーザが入力した文字を適宜更新し、当該更新した後の文字を表示装置（例えば、本体装置１１のディスプレイ１２）に表示する処理を行う。

次に、ＣＰＵ８１は、入力を終了するか否かを判定する（ステップＳ１６８）。上記ステップＳ１６８において入力を終了する条件としては、例えば、上記入力を終了する条件が満たされたことや、ユーザが入力を終了する操作を行ったこと等がある。ＣＰＵ８１は、入力を終了しない場合に上記ステップＳ１６４に戻って処理を繰り返し、入力を終了する場合に当該フローチャートによる処理を終了する。以降、ステップＳ１６４〜ステップＳ１６８の一連の処理は、ステップＳ１６８で入力を終了すると判定されるまで繰り返し実行される。

このように、本実施例においては、拡張入力装置に対するユーザ入力やユーザ操作に応じて、当該拡張入力装置に設けられた赤外ＬＥＤが点灯／消灯する。そして、拡張入力装置に対するユーザ入力やユーザ操作は、当該拡張入力装置に装着されている右コントローラ４の赤外撮像部１２３によって赤外ＬＥＤが撮像された撮像画像に基づいて検出される。したがって、拡張入力装置は、ユーザによる入力内容や操作内容を本体装置２へ送信する電子回路等の電気的構成を必要としない。そのため、本実施例によれば、拡張入力装置の構成を簡易化することができる。また、本実施例においては、複数の赤外ＬＥＤが点灯／消灯を撮像することによって、拡張入力装置に対するユーザ入力やユーザ操作を判別することができるため、新しいデータフォーマットを用意しなくとも赤外撮像部１２３の解像度や処理能力が許す限り、同じ所定のデータフォーマット（例えば、上記第１モードや上記第２モードによって生成されるデータ）を用いて様々な種類の拡張入力装置を追加することができる。また、本実施例においては、右コントローラ４から本体装置２へ送信されるデータは、当該撮像画像に撮像されたクラスタの位置に関するデータ等、赤外撮像部１２３が撮像した撮像画像そのものを示すデータではない。したがって、右コントローラ４から本体装置２へ送信されるデータ量を削減することが可能となる。

なお、上述した実施例において、右コントローラ４から本体装置２へ送信する撮像画像に基づいたデータは、赤外撮像部１２３が撮像した撮像画像そのものを示すデータでもよい。この場合、右コントローラ４から本体装置２へ送信されるデータ量が増加することが考えられるが、本体装置２側において、上記撮像画像に関する様々な解析処理を行うことが可能となる。

また、上述した実施例では、拡張入力装置に対するユーザ入力やユーザ操作に応じて、１つの赤外ＬＥＤが消灯状態から点灯状態に変化しているが、赤外ＬＥＤの点灯状態が他の態様によって変化してもよい。例えば、拡張入力装置に対してユーザが所定の入力や所定の操作を行うことによって、１つの赤外ＬＥＤが点灯状態から消灯状態に変化してもよい。また、拡張入力装置に対してユーザが所定の入力や所定の操作を行うことによって、複数の赤外ＬＥＤが消灯状態から点灯状態に変化してもよい。このように点灯状態に変化する赤外ＬＥＤが複数ある場合、当該点灯状態に変化する複数の赤外ＬＥＤの組み合わせに基づいて、ユーザ入力やユーザ操作を判定することが可能となる。

また、上述した実施例では、赤外ＬＥＤの点灯／消灯に基づいて、拡張入力装置に対するユーザ入力やユーザ操作を判別しているが、他の態様によってユーザ入力やユーザ操作を判別してもよい。例えば、ＤＭＤ（デジタルミラーデバイス）や透過型ＬＣＤ（例えば、赤外バックライト）等に対するオン／オフ制御を用いて、拡張入力装置に対するユーザ入力やユーザ操作を判別してもよい。また、上述した実施例では、ユーザの身体と電極との接触やユーザがスイッチをオン／オフすることに応じて赤外ＬＥＤを点灯／消灯する例を用いたが、ユーザ入力やユーザ操作の有無を検出する他の検出方法を用いてもよい。第１の例として、所定波長の光を発するＬＥＤと、ユーザの身体（例えば、ユーザの指）で当該ＬＥＤが発する光が反射した場合に当該所定波長の反射光を受光するフォトダイオードとを設ける。この場合、上記フォトダイオードが上記所定波長の反射光を受光した場合に点灯する赤外ＬＥＤを設けて、当該赤外ＬＥＤの点灯／消灯を右コントローラ４の赤外撮像部１２３で撮像することによって、上記ＬＥＤおよび上記フォトダイオード付近の空間におけるユーザ身体の有無やユーザ身体の動き（例えば、ユーザ身体の脈動）を判定することができる。第２の例として、赤外ＬＥＤが発光した赤外光を一方端からそれぞれ伝送して他方端からそれぞれ外部に照射する第１光ファイバ群と、当該他方端から照射された赤外光の何れかがユーザの身体（例えば、ユーザの指）で反射した場合に当該反射赤外光を一方端の何れかで受光する第２光ファイバ群とを設ける。この場合、上記第２光ファイバ群の他方端の何れかから照射される反射赤外光を右コントローラ４の赤外撮像部１２３で撮像することによって、上記第１光ファイバ群の他方端および上記第２光ファイバ群の一方端のいずれかの付近の空間におけるユーザ身体の有無やユーザ身体の動き（例えば、ユーザ身体の脈動）を判定することができる。第３の例として、静電容量タッチセンサ等の近接センサが物体（例えば、ユーザの身体）を検出した場合に点灯する赤外ＬＥＤを設け、当該赤外ＬＥＤの点灯／消灯を右コントローラ４の赤外撮像部１２３で撮像することによって、上記近接センサによって物体が検出されているか否かを判定することができる。

また、上述した実施例では、赤外ＬＥＤの点灯／消灯に基づいて、拡張入力装置に対するユーザ入力やユーザ操作を判別しているが、赤外ＬＥＤが点灯している明るさも用いて、ユーザ入力やユーザ操作を判別してもよい。例えば、赤外ＬＥＤの点灯／消灯に基づいて、上述したデジタル情報の各ビットの数値、ユーザ操作量（例えば、ボタンを押下する押下量または押下力や操作レバーを傾倒させる傾倒量等）、またはユーザ入力量（例えば、マイク入力した音量、振動入力した振幅等）を表現する場合、赤外ＬＥＤが点灯している明るさ（例えば、上記第１モードにおけるクラスタの平均輝度や外接長方形のサイズ）も用いることによって、さらに当該赤外ＬＥＤを撮像した撮像画像によって示すことができる情報量を増やすことができる。この場合、単一の赤外ＬＥＤを撮像する場合であっても、複数のユーザ入力やユーザ操作を判別することが可能となる。

上述した実施例では、赤外ＬＥＤから照射される赤外光を赤外撮像部１２３で撮像する例を用いたが、他の波長の光を用いてもよい。例えば、特定の波長の光（例えば、可視光）を照射する発光部と、当該発光部が発する光を撮像可能な撮像部とを用いても、同様に拡張入力装置に対するユーザ入力やユーザ操作を判別可能であることは言うまでもない。

また、上述した実施例において、赤外撮像部１２３によって赤外ＬＥＤが撮像された撮像画像だけでなく、拡張入力装置に装着された右コントローラ４の動きや姿勢を用いて、当該拡張入力装置を用いたユーザ入力やユーザ操作を検出してもかまわない。例えば、拡張入力装置に装着された右コントローラ４の動きや姿勢を、当該右コントローラ４に生じる加速度で算出、当該右コントローラ４に生じる角速度で算出、または当該右コントローラ４に生じる角速度と加速度とを組み合わせて算出する。この場合、拡張入力装置に装着された右コントローラ４の動きや姿勢に基づいて、当該拡張入力装置をユーザが操作している姿勢（例えば、ギターを模した楽器型の拡張入力装置のネック部分を左手で持つ姿勢または右手で持つ姿勢）を判別したり、拡張入力装置本体を傾けたり動かしたりする操作を検出したり、拡張入力装置本体を向けている方向を検出したりすることができる。

また、本体装置２と左コントローラ３および右コントローラ４とは、どのような装置であってもよく、携帯型のゲーム装置、任意の携帯型電子機器（ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、パーソナルコンピュータ、カメラ、タブレット等）等であってもよい。

また、上述した説明では情報処理（例えば、文字入力処理やゲーム処理）を本体装置２でそれぞれ行う例を用いたが、上記処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、本体装置２がさらに他の装置（例えば、別のサーバ、他の画像表示装置、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記処理ステップは、さらに当該他の装置が協働することによって実行してもよい。このように、上記処理ステップの少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、本体装置２のＣＰＵ８１が所定のプログラムを実行することによって情報処理を行うことが可能であるが、本体装置２が備える専用回路によって上記処理の一部または全部が行われてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。

また、上記プログラムは、外部メモリ等の外部記憶媒体を通じて本体装置２や右コントローラ４に供給されるだけでなく、有線または無線の通信回線を通じて当該装置に供給されてもよい。また、上記プログラムは、当該装置内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、簡易な構成で実現することができる情報処理システム、拡張入力装置、および情報処理方法等として利用することができる。

２…本体装置
３…左コントローラ
４…右コントローラ
１１…ハウジング
１２…ディスプレイ
８１…ＣＰＵ
８３…コントローラ通信部
８５…ＤＲＡＭ
１１１…通信制御部
１２１…処理部
１２３…赤外撮像部
１２４…赤外発光部
２００、２５０…拡張入力装置
２０１…発光部
２０２…固定部
２０３…赤外ＬＥＤ
２０４…固定板
２１０…ＮＦＣタグ

Claims (23)

1. 情報処理を行う情報処理装置と、当該情報処理装置にデータを送信するデータ送信装置と、当該データ送信装置に固定される拡張入力装置とを含む情報処理システムであって、
   前記データ送信装置は、
   撮像部と、
   少なくとも前記撮像部が撮像した画像に基づいて生成されるデータを前記情報処理装置に送信する送信部とを備え、
   前記拡張入力装置は、
   前記データ送信装置に固定するための固定部と、
   前記情報処理を行うためにユーザが入力および／またはユーザが操作を行う操作入力部と、
   前記データ送信装置に固定された状態において、前記撮像部によって撮像可能に配置され、前記操作入力部に対するユーザ入力および／またはユーザ操作に応じて前記撮像部が撮像可能な光を発する発光部とを備え、
   前記情報処理装置は、
   前記送信部から送信された前記データを受信する受信部と、
   前記受信部が受信した前記データに基づいて前記情報処理を行う処理部とを備える、情報処理システム。
2. 前記操作入力部は、複数の操作入力部材を含み、
   前記発光部は、複数の発光部材を含み、ユーザ入力および／またはユーザ操作された前記操作入力部材に対応する少なくとも１つの発光部材が発光する、請求項１に記載の情報処理システム。
3. 前記データ送信装置は、前記撮像部が撮像した画像において輝度の高い部分の座標情報を取得する画像処理部を、さらに備え、
   前記送信部は、前記画像処理部によって取得された前記座標情報を、前記撮像部が撮像した画像に基づいて生成されるデータとして送信し、
   前記処理部は、前記受信部が受信した前記データに基づいて、前記複数の発光部材の何れが発光しているかを特定し、当該発光している発光部材に対応する前記操作入力部材に対するユーザ入力および／またはユーザ操作に基づいて、前記情報処理を行う、請求項２に記載の情報処理システム。
4. 前記撮像部は、赤外カメラであって、
   前記複数の発光部材は、複数の赤外ＬＥＤによって構成される、請求項２または３に記載の情報処理システム。
5. 前記複数の赤外ＬＥＤは、所定の面上に設けられたマトリクス状の配置位置に含まれる何れかの位置に配置される、請求項４に記載の情報処理システム。
6. 前記所定の面は、前記データ送信装置に固定された状態において、前記撮像部の撮像方向に対して斜めに配置される、請求項５に記載の情報処理システム。
7. 前記情報処理装置は、ゲーム機本体であり、
   前記データ送信装置は、操作部を備えるゲームコントローラであり、
   前記送信部は、前記データ送信装置の前記操作部からのデータと前記撮像部が撮像した画像に基づいて生成されるデータとを少なくとも含むデータを送信する、請求項１乃至６の何れか１つに記載の情報処理システム。
8. 前記操作入力部は、ユーザ入力および／またはユーザ操作に応じてそれぞれ開閉する複数のスイッチを含み、
   前記発光部は、複数の発光部材を含み、ユーザ入力および／またはユーザ操作に応じてオンにされたスイッチに対応する発光部材を通電することによって当該発光部材を発光させる、請求項１に記載の情報処理システム。
9. 前記操作入力部は、ユーザの身体が接触可能な複数の接触部材を含み、
   前記発光部は、複数の発光部材を含み、前記接触部材にユーザの身体が接触することに応じて当該接触部材に対応する発光部材を通電することによって当該発光部材を発光させる、請求項１に記載の情報処理システム。
10. 前記発光部は、前記操作入力部材に対する入力量および／または操作量に応じて、異なる前記発光部材を発光させる、請求項２に記載の情報処理システム。
11. 前記データ送信装置は、他の装置との間で近距離無線通信を行う近距離無線通信部を、さらに備え、
    前記拡張入力装置は、前記固定部によって前記データ送信装置に固定された場合に前記近距離無線通信部との近距離無線通信が可能となる位置に、当該近距離無線通信部と近距離無線通信を行う情報記憶媒体を、さらに備え、
    前記送信部は、前記近距離無線通信によって前記情報記憶媒体から取得したデータと前記撮像部が撮像した画像に基づいて生成されるデータとを少なくとも含むデータを送信し、
    前記処理部は、前記情報記憶媒体から取得したデータおよび前記撮像部が撮像した画像に基づいて生成されるデータに基づいて、前記拡張入力装置を用いたユーザ入力および／またはユーザ操作に応じた前記情報処理を行う、請求項１乃至１０の何れか１つに記載の情報処理システム。
12. 撮像部と、情報処理を行う情報処理装置に少なくとも当該撮像部が撮像した画像に基づいて生成されるデータを送信する送信部とを備えるデータ送信装置とともに用いられる拡張入力装置であって、
    前記データ送信装置に固定するための固定部と、
    前記情報処理を行うためにユーザが入力および／またはユーザが操作を行う操作入力部と、
    前記データ送信装置に固定された状態において、前記撮像部によって撮像可能に配置され、前記操作入力部に対するユーザ入力および／またはユーザ操作に応じて前記撮像部が撮像可能な光を発する発光部とを備える、拡張入力装置。
13. 前記操作入力部は、複数の操作入力部材を含み、
    前記発光部は、複数の発光部材を含み、ユーザ入力および／またはユーザ操作された前記操作入力部材に対応する少なくとも１つの発光部材が発光する、請求項１２に記載の拡張入力装置。
14. 前記撮像部は、赤外カメラであって、
    前記複数の発光部材は、複数の赤外ＬＥＤによって構成される、請求項１３に記載の拡張入力装置。
15. 前記複数の赤外ＬＥＤは、所定の面上に設けられたマトリクス状の配置位置に含まれる何れかの位置に配置される、請求項１４に記載の拡張入力装置。
16. 前記所定の面は、前記データ送信装置に固定された状態において、前記撮像部の撮像方向に対して斜めに配置される、請求項１５に記載の拡張入力装置。
17. 前記操作入力部は、ユーザ入力および／またはユーザ操作に応じてそれぞれ開閉する複数のスイッチを含み、
    前記発光部は、複数の発光部材を含み、ユーザ入力および／またはユーザ操作に応じてオンにされたスイッチに対応する発光部材を通電することによって当該発光部材を発光させる、請求項１２に記載の拡張入力装置。
18. 前記操作入力部は、ユーザの身体が接触可能な複数の接触部材を含み、
    前記発光部は、複数の発光部材を含み、前記接触部材にユーザの身体が接触することに応じて当該接触部材に対応する発光部材を通電することによって当該発光部材を発光させる、請求項１２に記載の拡張入力装置。
19. 前記発光部は、前記操作入力部材に対する入力量および／または操作量に応じて、異なる前記発光部材を発光させる、請求項１３に記載の拡張入力装置。
20. 前記データ送信装置は、他の装置との間で近距離無線通信を行う近距離無線通信部を、さらに備え、
    前記固定部によって前記データ送信装置に固定された場合に前記近距離無線通信部との近距離無線通信が可能となる位置に、当該近距離無線通信部と近距離無線通信を行う情報記憶媒体を、さらに備える、請求項１２乃至１９の何れか１つに記載の拡張入力装置。
21. 撮像部が撮像した画像に基づいた情報処理を行う情報処理方法であって、
    前記情報処理を行うためにユーザが入力および／またはユーザが操作を行う操作入力ステップと、
    前記操作入力ステップにおけるユーザ入力および／またはユーザ操作に応じて前記撮像部が撮像可能な光を発する発光ステップと、
    前記発光ステップにおいて発光された光を前記撮像部によって撮像する撮像ステップと、
    少なくとも前記撮像部が撮像した画像に基づいて生成されるデータに基づいて前記情報処理を行う処理ステップとを含む、情報処理方法。
22. 前記操作入力ステップでは、複数の操作入力部材を用いてユーザによる入力および／またはユーザによる操作が行われ、
    前記発光ステップでは、複数の発光部材のうち、ユーザ入力および／またはユーザ操作された前記操作入力部材に対応する少なくとも１つの発光部材を発光させる、請求項２１に記載の情報処理方法。
23. 前記撮像ステップにおいて撮像された画像において輝度の高い部分の座標情報を、前記撮像部が撮像した画像に基づいて生成されるデータとして生成する画像処理ステップを、さらに含み、
    前記処理ステップにおいて、前記座標情報に基づいて、前記複数の発光部材の何れが発光しているかが特定され、当該発光している発光部材に対応する前記操作入力部材に対するユーザ入力および／またはユーザ操作に基づいて、前記情報処理が行われる、請求項２２に記載の情報処理方法。

Images