JP2015170278A - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】装置の筐体外においてユーザが操作などを行うことを可能とする情報処理装置、情報処理システム及び情報処理方法を提供する。
【解決手段】ゲーム装置１は、筐体２の側面にリニアイメージセンサ５をそれぞれ設けた構成である。リニアイメージセンサ５にて取得した画像に基づいて、ゲーム装置１は、筐体２の周辺領域にてなされたユーザの操作を検出する。ゲーム装置１は、筐体２の側面に対する接触又は近接等の操作を検出する。ゲーム装置１は、筐体２の周辺領域に載置されたフィギュアなどの物体を検出する。ゲーム装置１は、ユーザによる筐体２の把持位置を検出する。ゲーム装置１は、ユーザの手などによる赤外光の反射光に基づいてユーザの脈拍を検出する。ゲーム装置１は、同様の構成の他のゲーム装置１の位置を検出する。
【選択図】図１

Description

本発明は、リニアイメージセンサ、イメージセンサ又は光センサ等を利用した情報処理を行う情報処理装置、情報処理システム及び情報処理方法に関する。

近年、携帯電話機、スマートフォン、タブレット型端末装置及び携帯型のゲーム装置等のように、ユーザが持ち運び可能な情報処理装置が広く普及している。このような情報処理装置では、キーボードのような大型の入力装置を搭載することが容易でないため、タッチパネルなどを搭載してユーザの操作性を向上させている。例えば特許文献１には、タッチパネルを搭載した携帯型のゲーム装置が記載されている。

特開２０１２−０１９４９６号公報

タッチパネルは、液晶パネルなどの表示部と組み合わせて用いられる場合が多い。この場合、タッチパネルによりユーザのタッチ操作を検知できる範囲は表示部の表示範囲内に限られる。

本発明の目的とするところは、多様なユーザの操作に応じた処理を行うことを可能とする情報処理装置、情報処理システム及び情報処理方法を提供することにある。

本発明に係る情報処理装置は、少なくとも１つの面に表示部が設けられた筐体と、前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設けられたリニアイメージセンサと、前記リニアイメージセンサが取得した画像に基づく情報処理を行う情報処理部とを備える。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが、前記表示部が設けられた面に沿う方向へ向けて設けられている。

また、本発明に係る情報処理装置は、前記筐体の少なくとも２つの側部に前記リニアイメージセンサがそれぞれ設けられている。

また、本発明に係る情報処理装置は、前記筐体が板状であり、前記表示部が設けられた面の四方の側部にそれぞれ前記リニアイメージセンサが設けられている。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが、パンフォーカスでの撮像により画像を取得する。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側に存在する物体の位置を検出する検出部を備え、前記情報処理部は、前記検出部が検出した位置に応じて情報処理を行う。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側で行われたユーザの操作を検出する検出部を備え、前記情報処理部は、前記検出部が検出した操作に応じて情報処理を行う。

また、本発明に係る情報処理装置は、前記検出部が、前記筐体の外側に配置された操作指標に対する操作を検出する。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側に存在する物体に記された識別情報を取得する識別情報取得部を備え、前記情報処理部は、前記識別情報取得部が取得した識別情報に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記識別情報取得部が取得した識別情報に基づいて前記物体の向きを判定する判定部を備え、前記情報処理部は、前記判定部が判定した向きに基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが時系列的に取得した複数の画像に基づいて前記識別情報取得部が時系列的に取得した複数の識別情報に基づき、前記物体の変位を検出する検出部を備え、前記情報処理部は、前記検出部が検出した変位に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記物体が、ゲームに係るキャラクタを模した形状又は該キャラクタが描かれた部分を有し、前記情報処理装置は、前記識別情報取得部が取得した識別情報に対応するキャラクタに係るゲームの処理を行う。

また、本発明に係る情報処理装置は、前記筐体が手持ち型又は可搬型であり、前記リニアイメージセンサが取得した画像に基づき、ユーザによる前記筐体の持ち位置を判定する判定部を備え、前記情報処理部は、前記判定部が判定した持ち位置に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記筐体が手持ち型又は可搬型であり、前記リニアイメージセンサが取得した画像に基づき、ユーザが把持した場合の前記筐体の姿勢を判定する判定部を備え、前記情報処理部は、前記判定部が判定した姿勢に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記筐体内に設けられた加速度センサを備え、前記判定部は、前記リニアイメージセンサが取得した画像及び前記加速度センサが検知した加速度に基づいて判定を行う。

また、本発明に係る情報処理装置は、前記情報処理部が、前記判定部の判定結果に応じて、前記表示部に表示する画像の向きを切り替える処理を行う。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが取得した画像に基づき、前記リニアイメージセンサに対する近接又は接触の操作を検出する検出部を備え、前記情報処理部は、前記検出部が検出した操作に応じて情報処理を行う。

また、本発明に係る情報処理装置は、前記筐体の外側へ向けて赤外光を発する発光部を有し、前記リニアイメージセンサは、前記発光部が発した赤外光又は該赤外光の反射光に応じた画像を取得する。

また、本発明に係る情報処理装置は、前記リニアイメージセンサが取得した前記反射光に応じた画像に基づき、ユーザの脈拍を検出する脈拍検出部を備え、前記情報処理部は、前記脈拍検出部が検出した脈拍に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記情報処理部が、前記脈拍検出部が検出した脈拍に基づいてゲームに係る情報処理を行う。

また、本発明に係る情報処理装置は、他の情報処理装置の発光部が発した赤外光に応じて前記リニアイメージセンサが取得した画像に基づき、前記他の情報処理装置の位置を検出する検出部を備え、前記情報処理部は、前記検出部が検出した位置に基づく情報処理を行う。

また、本発明に係る情報処理装置は、前記他の情報処理装置との間で無線通信を行う通信部と、前記通信部により前記他の情報処理装置との通信を行い、前記発光部が赤外光を発するタイミングを制御する発光制御部とを備え、前記検出部は、前記他の情報処理装置が赤外光を発するタイミングに応じて前記リニアイメージセンサが取得した画像に基づいて検出を行う。

また、本発明に係る情報処理装置は、前記表示部に対する接触操作を検知する接触操作検知部を備え、前記情報処理部は、前記リニアイメージセンサが取得した画像及び前記接触操作検知部が検知した接触操作の少なくともいずれかに基づく情報処理を行う。

また、本発明に係る情報処理装置は、少なくとも１つの面に表示部が設けられ、ユーザが把持可能な形状をなす筐体と、前記筐体の側部に設けられ、前記側部に対する近接又は接触の操作を検出する検出部と、前記検出部が検出した操作に応じて情報処理を行う情報処理部とを備える。

また、本発明に係る情報処理装置は、前記検出部が、ユーザにより前記筐体が把持された場合の前記側部に対する近接又は接触の操作を検出する。

また、本発明に係る情報処理装置は、前記側面に設けられたイメージセンサを備え、前記検出部は、前記イメージセンサが取得した画像に基づいて操作を検出する。

また、本発明に係る情報処理装置は、少なくとも１つの面に表示部が設けられた筐体と、前記筐体の外側へ向けて光を発する発光部と、前記筐体の側部に設けられた受光部と、他の情報処理装置の発光部が発した光を前記受光部にて受光することにより、前記他の情報処理装置の位置を検出する検出部と、前記検出部が検出した位置に基づく情報処理を行う情報処理部とを備える。

また、本発明に係る情報処理システムは、少なくとも１つの面に表示部が設けられた筐体と、前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設けられたリニアイメージセンサと、前記リニアイメージセンサが取得した画像に基づく情報処理を行う情報処理部とを備える。

また、本発明に係る情報処理方法は、少なくとも１つの面に表示部が設けられた筐体を備える情報処理装置に対して、リニアイメージセンサを前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設け、前記リニアイメージセンサが取得した画像に基づいて情報処理を行う。

本発明は、筐体の側面などにリニアイメージセンサ、イメージセンサ又は光センサ等を設け、これらのセンサにより筐体外での検知を行い、検知結果に基づく情報処理を行う構成とすることにより、情報処理装置の筐体外の領域を操作などに用いることができ、多種多様な操作受付を実現できる。

本実施の形態に係るゲーム装置の外観を示す模式図である。 本実施の形態に係るゲーム装置の構成を示すブロック図である。 ゲーム装置の空間ポインタ機能を説明するための模式図である。 ゲーム装置が行う空間ポインタ機能の処理手順を示すフローチャートである。 ゲーム装置の追加インタフェース機能を説明するための模式図である。 ゲーム装置が行う追加インタフェース機能の処理手順を示すフローチャートである。 ゲーム装置の側面タッチ操作を説明するための模式図である。 ゲーム装置のフィギュア検出機能を説明するための模式図である。 ゲーム装置が行うフィギュア検出機能の処理手順を示すフローチャートである。 ゲーム装置の追加操作装置を説明するための模式図である。 ゲーム装置が行う追加操作装置に関する処理の手順を示すフローチャートである。 ゲーム装置の使用態様判定機能を説明するための模式図である。 ゲーム装置が行う使用態様判定処理の手順を示すフローチャートである。 ゲーム装置が行う脈拍検出処理の手順を示すフローチャートである。 ゲーム装置の他装置検出機能を説明するための模式図である。 ゲーム装置が行う他装置検出処理の手順を示すフローチャートである。

＜ハードウェア構成＞
図１は、本実施の形態に係るゲーム装置の外観を示す模式図である。本実施の形態に係るゲーム装置１は、手持ち型、可搬型又は携帯型のものである。即ちゲーム装置１は、ユーザが手で持ち運びできる程度の大きさ及び重量のものである。ゲーム装置１は、扁平な直方体型（又は、矩形の板型）の筐体２を備えている。筐体２が有する２つの広い面の一方（以下、この面を正面という）には、略中央に表示部３が設けられている。また筐体２の正面には、表示部３の周囲の枠状部分に操作部４が設けられている。操作部４は、十字キー及びプッシュボタン等を適宜に配したものである。

また本実施の形態に係るゲーム装置１は、筐体２の４つの側部（側面）に、リニアイメージセンサ５がそれぞれ外側へ向けて配されている。（表示部３が設けられた面を正面視した場合の筐体２の側部に、リニアイメージセンサ５が設けられている。またリニアイメージセンサ５は、表示部３が設けられた面に沿う方向へ向けて設けられている。）なお図１においては２つのリニアイメージセンサ５のみを図示してあるが、ゲーム装置１は４つのリニアイメージセンサ５を備えている。筐体２の各側面は、細長の略長方形である。各リニアイメージセンサ５は、長い線状又は長方形状であり、各側面の長手方向に配されている。リニアイメージセンサ５は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を利用した撮像デバイスであり、例えばスキャナなどにおいて原稿読み取りに用いられるデバイスである。リニアイメージセンサ５は、例えばラインイメージセンサ又は一次元イメージセンサ等の別名称で呼ばれ得る。

各リニアイメージセンサ５は、筐体２の側方を撮像することにより画像を取得する。各リニアイメージセンサ５が取得する画像は、例えば短辺が１画素〜数画素、長辺が数百画素〜数万画素の線状又は長方形状の画像である。ゲーム装置１が例えば水平な机上などに載置された場合、各リニアイメージセンサ５は、筐体２の側面から外側へ、机面に沿う方向へ撮像を行い、線状又は長方形状の画像を取得する。

また本実施の形態において、リニアイメージセンサ５は、近距離から遠距離まで焦点を合わせる撮像方法、いわゆるパンフォーカス（ディープフォーカス）での撮像を行う。このため、図示は省略するが、リニアイメージセンサ５にはパンフォーカス撮像を可能とするためのレンズ及び／又は絞り等の光学的な部材が設けられている。

また本実施の形態において、リニアイメージセンサ５は、赤外光を受光して撮像を行う。このため、図示は省略するが、リニアイメージセンサ５には赤外光を透過し、赤外光以外の光を遮断する光学フィルタなどが備えられている。この光学フィルタは、例えばＣＣＤ若しくはＣＭＯＳ等の表面、又は、上記のパンフォーカス撮像のためのレンズ等に設けることができる。

また図１において図示は省略するが、本実施の形態に係るゲーム装置１は、赤外光を発する光源（図２において赤外光源６として図示する）を備えている。この赤外光源６は、各リニアイメージセンサ５の近傍に、筐体２の各側面にそれぞれ配される。例えば、各リニアイメージセンサ５と略平行に赤外光源６を直線状に配置することができる。また例えば、各リニアイメージセンサ５の両端にそれぞれ赤外光源６を配置することができる。各赤外光源６は、筐体２の側面から外側へ向けて赤外光を発する。ゲーム装置１は、リニアイメージセンサ５による撮像を行う際に赤外光源６から赤外光を発することにより、赤外光源６からの赤外光を筐体２の側方に存在する物体に反射した反射光をリニアイメージセンサ５にて受光し、赤外光による撮像を行うことができる。

本実施の形態に係るゲーム装置１は、筐体２の四方に配されたリニアイメージセンサ５を利用することによって、既存のゲーム装置にはない新たな機能を提供する。例えばゲーム装置１は、リニアイメージセンサ５にて取得した画像に基づき、筐体２の周辺領域にてなされたユーザの操作を判断し、これをゲームの操作などとして受け付けることができる。またゲーム装置１は、筐体２の側面に対する接触又は近接等の操作をリニアイメージセンサ５が取得した画像に基づいて判断し、リニアイメージセンサ５をタッチパネルの代替として利用することができる。またゲーム装置１は、リニアイメージセンサ５により判断したユーザの操作と、操作部４又はタッチパネル等にて検知したユーザの操作との両操作に基づいてゲームなどの情報処理を行うことができる。また例えばゲーム装置１は、リニアイメージセンサ５にて取得した画像に基づいて筐体２の周辺領域に載置されたフィギュアなどの物体を検出し、検出した物体の種別などをゲーム処理に反映させることができる。

また例えばゲーム装置１は、ユーザが筐体２を把持してゲーム装置１を利用している場合に、ユーザによる筐体２の把持位置を検出し、これによりユーザによるゲーム装置１の持ち方又は利用態様等を判断してゲーム処理又は他の情報処理等に反映させることができる。更にゲーム装置１は、筐体２を把持したユーザの手などによる赤外光の反射光に基づいてユーザの脈拍を検出することができる。またゲーム装置１は、同様の構成の他のゲーム装置１が備える赤外光源６が発した赤外光を、自らのリニアイメージセンサ５にて受光して得られた画像に基づき、他のゲーム装置１との相対的な位置及び向き等を判定し、この判定結果を他のゲーム装置１との通信処理などに反映させることができる。

図２は、本実施の形態に係るゲーム装置１の構成を示すブロック図である。上述のように本実施の形態に係るゲーム装置１は、表示部３、操作部４、リニアイメージセンサ５及び赤外光源６等を備えている。またゲーム装置１は、処理部１０、タッチパネル１１、記憶部１２、記録媒体装着部１３、無線通信部１４、加速度センサ１５及び角速度センサ１６等を筐体２内に備えている。ゲーム装置１の処理部１０は、ＣＰＵ（Central Processing Unit）などの演算処理装置を用いて構成されている。処理部１０は、記憶部１２に記憶されたゲームプログラム９１又は記録媒体装着部１３に装着された記録媒体９に記録されたゲームプログラム９１を読み出して実行することにより、ゲームに係る各種の情報処理を行う。例えば処理部１０は、操作部４又はタッチパネル１１に対してなされた操作を受け付ける処理、受け付けた操作に応じてゲームの判定などを行う処理、受け付けた操作又はゲーム内のイベント等に応じて表示部３に表示するゲーム画像を生成する処理等を行う。また処理部１０は、リニアイメージセンサ５を利用した上述の機能を実現するための処理を行う。

表示部３は、液晶パネルなどを用いて構成され、処理部１０から与えられた画像を表示する。操作部４は、例えば十字キー及びプッシュボタン等を適宜に複数組み合わせたものである。操作部４は、例えばボタンの押し下げ又は解放等のユーザによりなされた操作の内容を処理部１０へ通知する。記憶部１２は、不揮発性の半導体メモリ又はハードディスク等を用いて構成されている。記憶部１２は、ゲームプログラム９１などのプログラム及び各種のデータを記憶することができる。記録媒体装着部１３は、カード型、カセット型又はディスク型等の記録媒体９を着脱できるように構成されている。処理部１０は、記録媒体装着部１３に装着された記録媒体９からゲームプログラム９１及び種々のデータを読み出すことができる。

無線通信部１４は、携帯電話網又は無線ＬＡＮ（Local Area Network）等のネットワークを介して、サーバ装置又は他のゲーム装置１等との間でデータの送受信を行う。例えばゲーム装置１は、無線通信部１４にてサーバ装置との通信を行ってゲームプログラム９１などをダウンロードし、記憶部１２に記憶することができる。加速度センサ１５は、ゲーム装置１に加わる加速度を検知して処理部１０へ通知する。角速度センサ１６は、ゲーム装置１の角速度を検知して処理部１０へ通知する。これらにより処理部１０は、ゲーム装置１に加わる重力加速度及び／又は角速度に基づいて筐体２の向きなどを判断することができる。

本実施の形態に係るゲーム装置１は、処理部１０がゲームプログラム９１を実行することにより、操作検出部２１、フィギュア検出部２２、使用態様判定部２３、脈拍検出部２４及び他装置検出部２５等がソフトウェア的な機能ブロックとして処理部１０に実現される。これらの機能ブロックは、リニアイメージセンサ５を利用した上述の機能を実現するためのものである。なお本実施の形態においては、これらの機能ブロックがゲームプログラム９１により実現されるものとするが、例えばオペレーティングシステム又はゲーム以外のアプリケーションプログラム等により実現されるものであってもよい。またこれら全ての機能ブロックが、１つのゲームプログラム９１により実現される必要はない。例えば処理部１０がゲームプログラム９１を実行することよって、これら複数の機能ブロックのうちのいくつかが実現されてもよい。

処理部１０の操作検出部２１は、リニアイメージセンサ５が取得した画像に基づいて、ゲーム装置１の筐体２の側方においてなされたユーザの操作を検出する処理、及び、筐体２の側面に対する接触又は近接等の操作を検出する処理を行う。フィギュア検出部２２は、リニアイメージセンサ５が取得した画像に基づき、筐体２の側方に載置されたゲーム用のフィギュアを検出する処理を行う。フィギュア検出部２２は、フィギュアの種別、位置及び向き等を検出する。使用態様判定部２３は、リニアイメージセンサ５が取得した画像、加速度センサ１５が検知した加速度及び角速度センサ１６が検知した角速度に基づいて、ゲーム装置１の使用態様を判定する処理を行う。即ち使用態様判定部２３は、ゲーム装置１の筐体２が縦横のいずれの向きで使用されているか、ユーザが筐体２のいずれの箇所を把持して使用しているか等を判定する。脈拍検出部２４は、筐体２を把持したユーザの手が赤外光源６からの赤外光を反射した反射光をリニアイメージセンサ５が受光して撮像された画像に基づき、このユーザの脈拍を検出する処理を行う。他装置検出部２５は、他のゲーム装置１の赤外光源６が発した赤外光をリニアイメージセンサ５が受光して撮像された画像に基づき、他のゲーム装置１の位置及び向き等を判定する処理を行う。

＜空間ポインタ機能＞
本実施の形態に係るゲーム装置１は、筐体２の各側面に設けられたリニアイメージセンサ５が側方を撮像して画像を取得することにより、筐体２の周辺領域をユーザの操作受付領域として利用することを可能とする。これによりゲーム装置１を利用するユーザは、例えばゲーム装置１を平らな机上などに載置し、筐体２の周辺領域を指などで指し示す（ポイントする）操作を行うことにより、ゲームの操作などを行うことができる。本実施の形態において、ゲーム装置１のこの機能を空間ポインタ機能と呼ぶ。

なお空間ポインタ機能は、必ずしもゲーム装置１を机上などに載置して実現するものでなくてよい。例えばユーザが片手でゲーム装置１を把持し、もう一方の手で周辺領域における操作を行ってもよい。即ちゲーム装置１の空間ポインタ機能は、空間における任意の場所で実現可能なものである。

図３は、ゲーム装置１の空間ポインタ機能を説明するための模式図である。例えばゲーム装置１を平らな机上などに載置した場合に、筐体２の側面に設けられたリニアイメージセンサ５は、机面に対して略平行に、筐体２の側面から外側へ、机面に沿う方向に対して撮像を行う。よってリニアイメージセンサ５の撮像範囲は、筐体２の側面から所定距離を隔てた箇所までの略長方形の範囲となり、図３において破線で示すこの領域が空間ポインタ機能における操作受付領域５１となる。なおゲーム装置１の赤外光源６は、少なくとも操作受付領域５１内が照射範囲となるように赤外光を発する。ゲーム装置１は筐体２の４つの側面にそれぞれリニアイメージセンサ５が設けられているため、操作受付領域５１は筐体２の四方に設けられる。

ゲーム装置１は、赤外光源６が発した赤外光の反射光をリニアイメージセンサ５が受光して撮像を行う。リニアイメージセンサ５が撮像により取得した線状の画像は、処理部１０へ与えられる。操作受付領域５１内にユーザの指などの物体が存在しない場合、リニアイメージセンサ５は反射光を受光しないか、又は、操作受付領域５１外の物体からの微弱な反射光を受光する。この場合にリニアイメージセンサ５が取得する画像は、各画素の画素値が小さいものとなる。（本例では、リニアイメージセンサ５が出力する画像は、赤外光の受光強度が高いほど画素値が大きく、受光強度が低いほど画素値が小さいものとする。）よって処理部１０の操作検出部２１は、リニアイメージセンサ５が取得した画像の画素値が所定値を超えない場合、操作受付領域５１内にユーザの指などの物体が存在しないと判断する。

これに対して操作受付領域５１内にユーザの指などの物体が存在する場合、リニアイメージセンサ５が取得する線状の画像には、物体の存在する位置に対応する画素の画素値が所定値を超えるため、操作検出部２１により物体の存在が検出される。また物体からの反射光は、筐体２の側面から物体までの距離が近いほどその強度が高くなる。よって操作検出部２１は、リニアイメージセンサ５が取得した画像の画素値に応じて、筐体２から指などの物体までの距離を算出することができる。即ち操作検出部２１は、線状の画像における画素値が所定値を超える画素の位置と、この画素の画素値の大小とに応じて、操作受付領域５１内における物体の位置（縦横の座標）を取得することができる。

またリニアイメージセンサ５は周期的に繰り返して撮像を行い、取得した画像を周期的に処理部１０へ与える。処理部１０の操作検出部２１は、リニアイメージセンサ５から時系列的に与えられる複数の画像を比較することによって、操作の有無及び操作位置の変化等を検出する。例えば操作検出部２１は、前回の画像に物体が存在せず、今回の画像に物体が存在する場合、ユーザにより新たな操作がなされたことを検出できる。これにより操作検出部２１は、ユーザのポイント操作などを検出できる。また例えば操作検出部２１は、前回の画像に基づく物体の位置に対して、今回の画像に基づく物体の位置が変化している場合、ユーザによる操作位置が変化したことを検出できる。これにより操作検出部２１は、ユーザのスライド操作（ポイントした位置を移動させる操作）などを検出することができる。なお前回の画像を記憶しておくのではなく、前回の検出結果を記憶しておき、検出結果の比較を行ってもよい。

図４は、ゲーム装置１が行う空間ポインタ機能の処理手順を示すフローチャートである。ゲーム装置１の処理部１０の操作検出部２１は、リニアイメージセンサ５により撮像された画像を取得する（ステップＳ１）。操作検出部２１は、取得した画像の各画素の画素値が所定値を超えるか否かを判定する（ステップＳ２）。全画素の画素値が所定値を超えない場合（Ｓ２：ＮＯ）、操作検出部２１は、操作受付領域５１内に物体が存在しないと判定し（ステップＳ３）、処理を終了する。少なくとも１つの画素の画素値が所定値を超える場合（Ｓ２：ＹＥＳ）、操作検出部２１は、所定値を超える画素値に基づいて、物体までの距離を算出する（ステップＳ４）。操作検出部２１は、画素値が所定値を超える画素の位置と、ステップＳ４にて算出した距離とに基づき、操作受付領域５１内における物体の座標を確定する（ステップＳ５）。

また操作検出部２１は、ステップＳ１にてリニアイメージセンサ５からの画像を取得した際にこの画像を記憶するか、又は、ステップＳ５にて座標を確定した際にこの座標を記憶している。操作検出部２１は、前回に記憶した画像又は座標と、今回の画像又は座標とを比較する（ステップＳ６）。比較の結果から、操作検出部２１は、今回の画像に基づいて検出された物体が前回の画像では検出されていないか、即ち今回の画像で初検出であるか否かを判定する（ステップＳ７）。この物体が初検出である場合（Ｓ７：ＹＥＳ）、操作検出部２１は、この物体による操作をステップＳ５にて算出した座標に対するポイント操作と判断し（ステップＳ８）、処理を終了する。

この物体が初検出でない場合（Ｓ７：ＮＯ）、操作検出部２１は、前回の画像に基づく座標と今回の画像に基づく座標とを比較し、両座標に変化が生じているか否かを判定する（ステップＳ９）。両座標が変化している場合（Ｓ９：ＹＥＳ）、操作検出部２１は、今回の操作をスライド操作と判断し（ステップＳ１０）、処理を終了する。また両座標が変化していない場合（Ｓ９：ＮＯ）、操作検出部２１は、ポイント操作が変化なく継続されていると判断し（ステップＳ１１）、処理を終了する。なお操作検出部２１は、図４のフローチャートに示した処理を、リニアイメージセンサ５が撮像を行う都度、繰り返して行っている。

このようにゲーム装置１は、リニアイメージセンサ５を利用した操作検出を行うことによって、表示部３のタッチパネル１１に加えて、ユーザがポイント操作などを行うことができる操作受付領域５１を設けることができる。タッチパネル１１での操作を行う場合、ユーザの指又は手等により表示部３の一部が隠されるため、操作に伴って表示部３の視認性が低下する。これに対して筐体２の四方に設けた操作受付領域５１での操作は、表示部３の視認性を低下させることなく行うことができる。また筐体２の４つの側面にそれぞれリニアイメージセンサ５を設けることによって、筐体２の四方に操作受付領域５１を設けることができる。例えば複数のユーザが１つのゲーム装置１を利用して対戦又は協力等のゲームを行う場合、各ユーザが１つの操作受付領域５１を利用して操作を行うなどの利用態様を実現できる。

なお本実施の形態においてゲーム装置１は、操作受付領域５１内の物体までの距離を、リニアイメージセンサ５による赤外光の反射光の受光強度に基づいて算出する構成としたが、これに限るものではない。例えばゲーム装置１は、タイムオブフライト（Time of Flight）の方式による距離測定を行ってもよい。詳細な説明は省略するが、タイムオブフライト方式では、赤外光源６からの赤外光が対象物で反射し、リニアイメージセンサ５へ到達するまでの時間に基づいて対象物までの距離を測定することができる。

＜追加インタフェース機能＞
本実施の形態に係るゲーム装置１は、上述の空間ポインタ機能を利用して、操作部４の十字キー及びプッシュボタン等に加えて、操作受付領域５１内にプッシュ操作又はスライド操作等を受け付ける操作部を設けることができる。図５は、ゲーム装置１の追加インタフェース機能を説明するための模式図である。本実施の形態に係るゲーム装置１の追加インタフェース機能では、ユーザはゲーム装置１と共に追加インタフェースシート５２を利用する。追加インタフェースシート５２は、例えば紙、合成樹脂又は木材等の素材をシート状又は板状等としたものであり、その表面に追加インタフェースの絵柄が印刷されている。追加インタフェースシート５２は、例えばゲームプログラム９１を記録した記録媒体９とセットで販売されるものであってよく、また例えば特定のインターネットサイトなどにおいて画像ファイルとして提供されたものを紙に印刷したものであってもよく、これら以外の方法で提供されるものであってもよい。

例えばゲームのメニュー画面又は設定画面等において追加インタフェース機能を利用する選択がユーザによりなされた場合、ゲーム装置１は、追加インタフェースシート５２を用意して所定の位置に載置することを促すメッセージなどを表示部３に表示する。このときにゲーム装置１は、どのような絵柄の追加インタフェースシート５２を用いるべきであるか、及び、ゲーム装置１に対して追加インタフェースシート５２をどのように配置すべきか等の説明を表示部３に表示する。また追加インタフェースシート５２には、ゲーム装置１との位置合わせのためのマークなどが印刷されていてもよい。

図示の例においては、机上などに載置されたゲーム装置１に対して、追加インタフェースシート５２が筐体２の下側の位置に載置されている。図示の追加インタフェースシート５２には、ＸＹＺの３つのボタンが追加インタフェースとして描かれている。この追加インタフェースは、ＸＹＺの各ボタンに対するユーザのプッシュ操作又はタッチ操作を受け付けるためのものである。

ゲーム装置１は、追加インタフェースシート５２に描かれた３つのボタンの座標及び範囲等の情報を記憶している。ゲーム装置１の操作検出部２１は、追加インタフェースシート５２に対するユーザの操作を、上述の空間ポインタ機能の場合と同様の方法で検出する。追加インタフェースシート５２に対するポイント操作を検出した場合、操作検出部２１は、ポイント操作がなされた座標と、追加インタフェースシート５２に描かれた３つのボタンの座標及び範囲等とを比較する。ポイント操作がなされた座標が、３つのボタンのいずれかの範囲内であると判断した場合、操作検出部２１は、このボタンに対するプッシュ操作を受け付け、受け付けた操作をこの追加インタフェースシートを利用するゲームなどの処理に反映させる。

図６は、ゲーム装置１が行う追加インタフェース機能の処理手順を示すフローチャートである。ゲーム装置１の処理部１０の操作検出部２１は、追加インタフェース機能の利用が選択された場合などに、追加インタフェースシート５２をゲーム装置１に対して所定位置に載置すべき旨を示すメッセージを表示部３に表示する（ステップＳ２１）。このメッセージに応じてユーザは所定の追加インタフェースシート５２を載置し、例えば表示部３に上記のメッセージと共に表示された完了ボタンなどに対する操作を行うことによって追加インタフェース機能の利用を開始することができる。操作検出部２１は、例えば完了ボタンに対する操作がなされたか否かなどに基づき、追加インタフェースシート５２の載置が完了したか否かを判定する（ステップＳ２２）。追加インタフェースシート５２の載置が完了していない場合（Ｓ２２：ＮＯ）、操作検出部２１は、ステップＳ２１へ処理を戻し、メッセージの表示を継続して行う。

追加インタフェースシート５２の載置が完了した場合（Ｓ２２：ＹＥＳ）、操作検出部２１は、図５のフローチャートに示した操作検出処理を行う（ステップＳ２３）。操作検出部２１は、操作検出処理の結果から、ポイント操作が検出されたか否かを判定する（ステップＳ２４）。ポイント操作が検出されていない場合（Ｓ２４：ＮＯ）、操作検出部２１は、ステップＳ２３へ処理を戻し、操作検出処理を繰り返し行う。ポイント操作が検出された場合（Ｓ２４：ＹＥＳ）、操作検出部２１は、ポイント操作がなされた座標と、追加インタフェースシート５２に描かれたボタンの座標とを比較する座標判定を行う（ステップＳ２５）。座標判定の結果に基づいて操作検出部２１は、ポイント操作が追加インタフェースシート５２のボタンの範囲内になされたか否かを判定する（ステップＳ２６）。ポイント操作がボタンの範囲内である場合（Ｓ２６：ＹＥＳ）、操作検出部２１は、このポイント操作を該当するボタンに対する操作として受け付けて（ステップＳ２７）、ステップＳ２３へ処理を戻す。ポイント操作がボタンの範囲外である場合（Ｓ２６：ＮＯ）、操作検出部２１は、ボタンに対する操作はなされていないと判定し（ステップＳ２８）、ステップＳ２３へ処理を戻す。

このようにゲーム装置１は、追加インタフェースシート５２を利用した操作受付を行うことによって、ゲームの操作に適したインタフェースを適宜に追加することができ、操作性を向上することができる。追加インタフェースシート５２は例えば紙などに絵柄を印刷して実現することができ、容易且つ低コストで実現可能である。

なお図５に示した追加インタフェースシート５２は、３つのボタンが描かれたものであるが、一例であってこれに限るものではない。追加インタフェースシート５２には、例えばスライドバー又は回転ダイヤル等のボタン以外の操作部が描かれていてよい。また追加インタフェースシート５２は、平面的なものである必要はなく、立体的なものであってもよく、更にはユーザの操作に応じて移動又は変位等を行う機械的機構を備えたものであってもよい。また追加インタフェースシート５２に代えて、プロジェクタにより机上に操作部の絵柄を投影するなどの構成としてもよい。また、ポイント操作と追加インタフェースシート５２のボタンとを対応付けた例を説明したが、スライド操作と追加インタフェースシート５２に描かれた操作部とを対応付けるなど、ポイント操作以外の操作を利用するものであってよい。

＜側面タッチ操作＞
本実施の形態に係るゲーム装置１は、筐体２の側面に設けられたリニアイメージセンサ５を利用することにより、筐体２の側面に対する近接又は接触の操作を受け付ける。なお本実施の形態においては、筐体２の側面にユーザの指などが実際に接触する場合と、指などが実際には側面に接触せず、側面からある程度の距離内に指などが近付けられた場合とを含めて側面タッチ操作とよぶ。図７は、ゲーム装置１の側面タッチ操作を説明するための模式図である。

ゲーム装置１の操作検出部２１は、上述の空間ポインタ機能と同様の方法で、筐体２の側面に対するタッチ操作を検出することができる。例えば図４に示した空間ポインタ機能の処理手順において何らかの操作を検出した場合に、操作検出部２１は、操作がなされた位置が筐体２から所定距離内であれば側面タッチ操作がなされたと判断することができる。

操作検出部２１が側面タッチ操作を検出した場合にゲーム装置１がどのような処理を行うかは、処理部１０が実行するゲームプログラム９１などによる。側面タッチ操作は、タッチパネル１１によるタッチ操作と同様に、ゲームプログラム９１などの内容に応じて適宜に利用できる。図示の例では、筐体２の右側面に沿ってユーザが指を上下方向にスライド操作した場合である。このような側面でのスライド操作に対して、ゲーム装置１は、例えばゲームの際にスピーカなどから出力される音楽又は音声等の音量を増減することができる。また例えばゲーム装置１は、表示部３の明るさを増減することができる。

また側面タッチ操作は、図示のスライド操作に限らない。例えばゲーム装置１は、筐体２の側面の所定箇所に対するタッチ操作がなされた場合に、スリープモードから復帰する、又は、ゲーム装置１のロックを解除する等の処理を行う構成としてもよい。また例えばゲーム装置１は、筐体２の側面のタッチ操作がなされた箇所に応じて、ゲームのキャラクタの移動方向又は攻撃方向等を決定する構成としてもよい。

このようにゲーム装置１は、リニアイメージセンサ５を利用して筐体２の側面に対するユーザのタッチ操作を検出する構成である。これによりゲーム装置１は、表示部３の表面に設けられた静電容量方式などのタッチパネル１１と同様のものを筐体２の側面に設けることなく、筐体２の側面に対するタッチ操作を検出することができる。

＜フィギュア検出機能＞
本実施の形態に係るゲーム装置１は、特定のゲームプログラム９１に対応付けられた特定のフィギュアを併用するゲームを実現する。図８は、ゲーム装置１のフィギュア検出機能を説明するための模式図である。図示の例では、ねずみのキャラクタを模したフィギュア６０がゲームに用いられている。フィギュア６０は、例えば合成樹脂製の成型品である。フィギュア６０は、これを利用したゲームを実現するゲームプログラム９１を記録した記録媒体９と共に提供されるか、又は、記録媒体９とは別に個別に提供される。

フィギュア６０は、略円柱型の台座部６１と、この台座部６１上に設けられたキャラクタ部６２とを備えている。フィギュア６０のキャラクタ部６２は、ゲームに登場するキャラクタを立体的に模したものであり、図示のねずみ以外のキャラクタを模したフィギュア６０が複数存在してよい。フィギュア６０の台座部６１は、例えば平らな机面にゲーム装置１及びフィギュア６０を並べて載置した場合に、ゲーム装置１のリニアイメージセンサ５が台座部６１の周面を撮像できるよう、その高さが適宜に設定されている。台座部６１の周面には、キャラクタを識別するための情報などをバーコード化したものが赤外線反射塗料で印刷されている。なおこのバーコードは、ユーザの目では視認できず、ゲーム装置１の赤外光源６からの赤外光を反射し、この反射光をリニアイメージセンサ５が受光することによって取得することができる。またこのバーコードは、台座部６１の周面の一周に亘って設けられており、フィギュア６０がいずれの向きで載置された場合であってもその一部分がリニアイメージセンサ５により撮像される。

ゲーム装置１の処理部１０のフィギュア検出部２２は、操作受付領域５１内にフィギュア６０が載置された場合に、このフィギュア６０の種別、位置及び向きを検出する処理を行う。なおフィギュア６０が載置された位置の検出は、上述の空間ポインタ機能においてポイント操作位置を検出する方法と同じ方法で行うことができるため、説明を省略する。

フィギュア検出部２２は、操作受付領域５１内に載置されたフィギュア６０の種別を、このフィギュア６０の台座部６１に記されたバーコードを基に検出する。上述のようにフィギュア６０の台座部６１には一周に亘ってバーコードが記されているが、ゲーム装置１のリニアイメージセンサ５にて取得できるのはバーコードの一部分である。このため台座部６１のバーコードは、全体の１／３〜１／４程度の長さ分を取得することができればゲーム装置１のフィギュア検出部２２がキャラクタの種別を判断できるよう構成されている。フィギュア検出部２２は、リニアイメージセンサ５にて取得した画像からフィギュア６０のバーコードが撮像された部分を抽出し、抽出したバーコードを識別番号などのデジタルデータに変換する。ゲーム装置１の記憶部１２又は記録媒体９にはゲームプログラム９１と共にフィギュア６０に付される識別番号とキャラクタとの対応情報が記憶されており、フィギュア検出部２２は、フィギュア６０のバーコードから取得した識別番号を基にこの対応情報を参照することによって、フィギュア６０がいずれのキャラクタのものであるかを判断することができる。

またフィギュア検出部２２は、フィギュア６０の台座部６１に記されたバーコードに基づいて、フィギュア６０の向きを検出する。台座部６１の一周に亘って記されたバーコードは、ゲーム装置１のリニアイメージセンサ５にてその一部分のみが取得される。そこでフィギュア検出部２２は、リニアイメージセンサ５にて取得した一部分に基づいて、フィギュア６０の種別及び向き等を判断する。

例えば図８に示す例では、フィギュア６０の向きを検出するための向き検出用バーコード６３と、フィギュア６０の種別などを判断するための種別判断用バーコード６４とを、台座部６１の一周に亘って適宜の間隔で交互に並べて設けてある。向き検出用バーコード６３と種別判断用バーコード６４とは、例えばバーコードを構成する各線の太さに差を設けるなどし、両バーコードが混同されることを防止する。

図示の例では、４つの向き検出用バーコード６３と４つの種別判断用バーコード６４とが台座部６１に設けられている。フィギュア６０をいずれの方向に載置した場合であっても、少なくとも１つの向き検出用バーコード６３と、１つ分の種別判断用バーコード６４とがリニアイメージセンサ５により撮像されるよう、台座部６１のバーコードは構成されている。

４つの向き検出用バーコード６３はそれぞれ異なるパターンである。ゲーム装置１のフィギュア検出部２２は、リニアイメージセンサ５にて取得された向き検出用バーコード６３がいずれのパターンであるかに応じてフィギュア６０の向きを検出する。またフィギュア検出部２２は、取得した向き検出用バーコード６３のパターンの歪み（例えばパターンを構成するラインの間隔の変化など）に基づいてより正確な向きを推測することも可能である。

また４つの種別判断用バーコード６４はいずれも同じパターンである。フィギュア検出部２２は、リニアイメージセンサ５が撮像した画像から、少なくとも１つの種別判断用バーコード６４を取得することができる。ただし撮像画像には、例えば向き検出用バーコード６３を間にして種別判断用バーコード６４の前半部分及び後半部分が分割されて撮像されている場合がある。このような場合、フィギュア検出部２２は、分割された前半部分及び後半部分を結合して、１つの種別判断用バーコード６４を得ることができる。

フィギュア検出部２２が検出したフィギュア６０の種別、位置及び向き等の情報は、このフィギュア６０を利用するゲームプログラム９１のゲーム処理に反映される。例えばゲーム装置１の処理部１０は、フィギュア検出部２２が検出したフィギュア６０に対応するキャラクタを、ユーザが操作するプレイヤキャラクタとしてゲームに登場させる。ユーザはフィギュア６０を操作受付領域５１内にて移動又は回転させることでプレイヤキャラクタの操作を行う。フィギュア検出部２２は、フィギュア６０の位置及び向きを検出し、これによりフィギュア６０の移動及び回転を検出することができる。処理部１０は、フィギュア検出部２２が検出したフィギュア６０の移動及び回転に応じて、表示部３に表示したプレイヤキャラクタを移動及び回転させることができる。

また、ゲーム装置１のフィギュア検出機能をボードゲーム又は双六等のゲームと組み合わせることもできる。例えばボードゲームのゲーム盤上の所定位置にゲーム装置１を載置し、ボードゲームの駒として複数種類のフィギュア６０を用いる。ゲーム装置１は、ゲーム盤上におけるフィギュア６０の位置を把握し、ゲームの進行及び判定等を行う構成とすることができる。

図９は、ゲーム装置１が行うフィギュア検出機能の処理手順を示すフローチャートである。ゲーム装置１の処理部１０のフィギュア検出部２２は、リニアイメージセンサ５により撮像された画像を取得する（ステップＳ３１）。フィギュア検出部２２は、取得した画像を基に、操作受付領域５１内に何らかの物体が存在しているか否かを判定する（ステップＳ３２）。操作受付領域５１内に物体が存在していない場合（Ｓ３２：ＮＯ）、フィギュア検出部２２は、ステップＳ３１へ処理を戻し、画像の取得を繰り返し行う。操作受付領域５１内に物体が存在している場合（Ｓ３２：ＹＥＳ）、フィギュア検出部２２は、この物体の座標を判定する（ステップＳ３３）。なお座標の判定方法は、図４のフローチャートのステップＳ１〜Ｓ５などに示したものと同様の方法を採用できるため、図９においてはその詳細な図示を省略する。

次いでフィギュア検出部２２は、操作受付領域５１内に存在すると判定した物体からバーコードを抽出する処理を行う（ステップＳ３４）。この処理の結果から、フィギュア検出部２２は、操作受付領域５１内の物体からバーコードを抽出できたか否かを判定する（ステップＳ３５）。バーコードを抽出できない場合（Ｓ３５：ＮＯ）、フィギュア検出部２２は、処理を終了する。バーコードを抽出できた場合（Ｓ３５：ＹＥＳ）、フィギュア検出部２２は、この物体が特定のフィギュア６０であると判断して、抽出したバーコードに含まれる種別判断用バーコード６４をデジタルの識別情報などに変換し、この識別情報に基づいて記憶部１２又は記録媒体９に記憶された対応情報を参照する（ステップＳ３６）。フィギュア検出部２２は、識別情報及び対応情報に基づいて、このフィギュア６０の種別を判定する（ステップＳ３７）。またフィギュア検出部２２は、取得したバーコードに含まれる向き検出用バーコード６３に基づいてフィギュア６０の向きを判定し（ステップＳ３８）、処理を終了する。フィギュア検出部２２が検出したフィギュア６０の位置、向き及び種別等の情報は、処理部１０が行うゲーム処理などに用いられる。

このようにゲーム装置１は、リニアイメージセンサ５を利用して筐体２の周辺に配置されたフィギュア６０を検出し、フィギュア６０の位置、向き及び種別等をゲームに反映させることにより、ゲーム装置１単体では実現できない多種多様なゲーム又は情報処理を実現できる。またフィギュア６０にはバーコードなどにより識別情報などを容易に付与することができる。このため、例えばフィギュア６０にＩＣタグなどを埋め込んでゲーム装置１との情報交換を行う構成と比較して、フィギュア６０を低コストで提供することができる。

なお本実施の形態においては、ゲーム装置１の周辺に配置する物体をフィギュア６０としたが、これに限るものではない。例えばキャラクタの絵柄及びバーコード等をカード型の媒体に印刷したものを用いてもよく、これら以外の構成のものを用いてもよい。またフィギュア６０は、台座部６１の上にキャラクタを立体的に模したキャラクタ部６２を設けた構成としたが、これに限るものではない。例えば台座部６１の上面にキャラクタの絵柄又は名称等を平面的に印刷した構成としてもよい。

＜追加操作装置＞
上述のようにゲーム装置１は、追加インタフェース機能により追加インタフェースシート５２に描かれたボタン等を利用した操作受付を行うことができる。本実施の形態に係るゲーム装置１は、リニアイメージセンサ５を利用して、立体的な追加操作装置による操作受付を行うことができる。図１０は、ゲーム装置１の追加操作装置を説明するための模式図である。本実施の形態に係るゲーム装置１は、例えば図示のような回転ダイヤル６５を追加操作装置として利用することができる。

回転ダイヤル６５は、時計回り又は反時計回りの任意の方向へ、ユーザが回転操作を行うことができる追加操作装置である。ゲーム装置１は、回転ダイヤル６５の回転方向及び回転量等を検出してゲーム処理に反映させる。回転ダイヤル６５は、略円柱型をなしている。回転ダイヤル６５は、ユーザの回転操作に応じて、ゲーム装置１に対する周面の相対位置が変位するよう構成されている。例えば回転ダイヤル６５は、不動の下面に対して上面及び周面が回転するよう構成されていてもよい。また例えば回転ダイヤル６５は、一体成型品などとし、ユーザの回転操作に対して全体が回転するよう構成されていてもよい。また回転ダイヤル６５の周面には、バーコードが赤外線反射塗料で印刷されている。回転ダイヤル６５のバーコードは、上述のフィギュア６０のバーコードと同様に、追加操作装置の種別及び向き等を示す識別情報をバーコード化したものであり、ユーザにとって可視のものであっても不可視のものであってもよい。

ゲーム装置１の操作検出部２１は、リニアイメージセンサ５にて操作受付領域５１内に何らかの物体が存在する場合、この物体からバーコードを抽出する処理を行う。操作検出部２１は、物体からバーコードを抽出することができた場合、抽出したバーコードをデジタルの識別情報などに変換し、変換した識別情報などに基づいてこの物体が回転ダイヤル６５であることを判断できる。また操作検出部２１は、リニアイメージセンサ５にて取得したバーコードに含まれる向きを示す情報に基づいて、回転ダイヤル６５の角度などを検出することができる。これらの処理は、上述のフィギュア検出機能で説明したものと略同じ処理であるため、詳細な説明は省略する。

ゲーム装置１はリニアイメージセンサ５による撮像を周期的に繰り返して行っている。操作検出部２１は、リニアイメージセンサ５から時系列的に取得した複数の画像に基づき、操作受付領域５１内に存在する追加操作装置の変化又は変位等、例えば回転ダイヤル６５の回転を検出する。回転ダイヤル６５の回転を検出した場合、操作検出部２１は、更に回転ダイヤル６５の角度の変位量（即ち回転量）を検出する。ゲーム装置１の処理部１０は、操作検出部２１にて検出した回転ダイヤル６５の回転量に基づいてゲーム処理又はその他の情報処理を行うことができる。

図１１は、ゲーム装置１が行う追加操作装置に関する処理の手順を示すフローチャートである。なお本図においては、操作受付領域５１内に追加操作装置が載置されたことをゲーム装置１が検出し、この追加操作装置が回転ダイヤル６５であること、及び、載置された回転ダイヤル６５の角度を検出した後の処理を説明する。ゲーム装置１の処理部１０の操作検出部２１は、リニアイメージセンサ５により撮像された画像を取得する（ステップＳ４１）。操作検出部２１は、取得した画像を基に、操作受付領域５１内に存在する回転ダイヤル６５に付されたバーコードを抽出する処理を行う（ステップＳ４２）。操作検出部２１は、抽出したバーコードに基づいて、回転ダイヤル６５の角度を検出し（ステップＳ４３）、検出した角度を記憶部１２などに記憶する（ステップＳ４４）。

次いで操作検出部２１は、前回に取得した画像に基づいて検出及び記憶した角度と、今回に取得した画像に基づいて検出した角度とを比較し（ステップＳ４５）、両角度に変化があるか否かを判定する（ステップＳ４６）。変化がある場合（Ｓ４６：ＹＥＳ）、操作検出部２１は、両角度の差分から回転ダイヤル６５の回転量を算出し（ステップＳ４７）、処理を終了する。両角度に変化がない場合（Ｓ４６：ＮＯ）、操作検出部２１は、回転量の算出を行うことなく、処理を終了する。操作検出部２１が検出した回転ダイヤル６５の回転量は、処理部１０が行うゲーム処理などに用いられる。

このようにゲーム装置１は、リニアイメージセンサ５を利用して操作受付領域５１内に載置された回転ダイヤル６５などの追加操作装置を検出し、リニアイメージセンサ５にて追加操作装置の変位を検出してゲーム処理などに反映させる。これによりゲーム装置１は、平面的な追加インタフェースシート５２では実現が難しい複雑な操作の受付を追加操作装置を利用することで実現可能となる。追加操作装置は、操作に応じて変位する部分にバーコードなどを記す簡単な構成で実現でき、操作検出のための電子的な機構及びゲーム装置１との通信機能等を搭載する必要がないため、低コストで提供することができる。

なお本例では、追加操作装置として回転ダイヤル６５を例に説明を行ったが、追加操作装置はこれに限らない。例えば追加操作装置は、ユーザのスライド操作に応じて直線的に変位するスライドバーなどであってもよい。また例えば追加操作装置は、ハンドルなどの回転操作をラック＆ピニオン機構などにより直線的な変位動作に変換し、直線的に変位する部位にバーコードなどを記しておく構成などであってもよい。また追加操作装置は、これら以外の種々の構成を採用することができる。

＜使用態様判定機能＞
本実施の形態に係るゲーム装置１は、横向き又は縦向きのいずれの姿勢で筐体２をユーザが把持して使用しているかを判定する機能を有している。本実施の形態において、ゲーム装置１のこの機能を使用態様判定機能という。図１２は、ゲーム装置１の使用態様判定機能を説明するための模式図である。図１２の上段にはユーザがゲーム装置１を横向きで使用している状態を図示し、図１２の下段には持ち方を変更してユーザがゲーム装置１を縦向きで使用した状態を図示してある。またゲーム装置１の表示部３には、一例としてメニュー画面が表示されている。本例のメニュー画面では、ゲーム選択、画面設定及び音声設定等の選択項目が上下に並べて表示され、ユーザは操作部４を操作していずれかの項目を選択することができる。

本実施の形態に係るゲーム装置１は、ユーザによるゲーム装置１の使用態様が横向き又は縦向きのいずれであるかに応じて、表示部３に表示する画像の向きを変更する。図示のように、ゲーム装置１が横向き又は縦向きのいずれで利用されている場合であっても、表示部３のメニュー画面は、表示部３のユーザから遠い側を上側とし、ユーザから近い側を下側として、上下方向に選択項目が並べられて表示される。

ゲーム装置１が横向き又は縦向きのいずれで利用されているかは、処理部１０の使用態様判定部２３にて判定される。使用態様判定部２３は、加速度センサ１５が検知する重力加速度と、リニアイメージセンサ５にて取得した画像とに基づいて、ゲーム装置１の使用態様を判定する。加速度センサ１５にて検知される重力加速度の向きを判断することによって、使用態様判定部２３は、ゲーム装置１の筐体２がいずれの向きに傾いているかを判定することができる。なお、加速度センサ１５が検知する重力加速度に代えて又は加えて、角速度センサ１６が検知する角速度を用いて向きを判定する構成としてもよい。加速度センサ１５及び角速度センサ１６を利用した判定は、既存の技術であるため、詳細な説明は省略する。

加速度センサ１５を利用した使用態様の判定は、例えば筐体２が略水平に保たれた状態でゲーム装置１が使用されている場合、また例えばユーザが移動しながらゲーム装置１を使用しているなど、加速度センサ１５が重力加速度以外の加速度を検知する可能性がある場合等に、判定精度が低下する虞がある。そこで本実施の形態に係るゲーム装置１は、リニアイメージセンサ５が取得した画像に基づいて、ユーザによる筐体２の把持位置を判定し、この把持位置からゲーム装置１の使用態様を判定する。ゲーム装置１は、加速度センサ１５による判定と、リニアイメージセンサ５による判定とを併用するが、いずれの判定結果を優先して用いてもよく、例えばいずれの判定結果を優先するかをユーザが設定可能な構成としてもよい。本実施の形態においては、ゲーム装置１は、リニアイメージセンサ５による判定結果を優先し、リニアイメージセンサ５が取得した画像に基づいて使用態様が判定できない場合に加速度センサ１５による判定を行う。

例えば図１２に示すように、ユーザはゲーム装置１を利用する場合に、筐体２の左右をそれぞれ左手及び右手で把持する可能性が高い。筐体２の上下左右の４つの側面にはそれぞれリニアイメージセンサ５が設けられているため、ユーザが筐体２を把持した場合には、把持箇所においてリニアイメージセンサ５が覆い隠される。この状態でリニアイメージセンサ５が撮像して取得する画像は、ユーザの手により覆い隠された部分と、覆い隠されていない部分とを区別することができる。ゲーム装置１の使用態様判定部２３は、リニアイメージセンサ５が取得した画像に撮像された物体までの距離が所定距離内である場合に、筐体２の側面が覆い隠されていると判定する。これは上述の側面タッチ操作の場合と同様の判定方法である。

更に使用態様判定部２３は、リニアイメージセンサ５が取得した線状の画像のうち、全体の１／４〜１／３程度が覆い隠されている場合、ユーザの手により筐体２の側面が把持されていると判定する。使用態様判定部２３は、筐体２の４つの側面のうち、相対する２つの側面がユーザの手により把持されていると判定した場合、ユーザが筐体２を左右の両手で把持して使用していると判定する。また使用態様判定部２３は、ユーザが把持する２つの側面において、その把持位置が側面の長手方向のいずれの端に近いかを判定することにより、把持位置に近い端を下側としてユーザが筐体２を把持していると判定する。

これによりユーザがゲーム装置１を使用している場合に、筐体２の上下方向を使用態様判定部２３が判定でき、この判定結果に基づいて処理部１０は表示部３に表示する画像の向きを決定することができる。なお、例えばユーザが片手で筐体２を把持しているなど、図１２に示した方法以外で筐体２を把持しており、リニアイメージセンサ５が取得した画像に基づく判定を行うことができない場合、使用態様判定部２３は、加速度センサ１５が検知する加速度に基づいて使用態様を判定する。

図１３は、ゲーム装置１が行う使用態様判定処理の手順を示すフローチャートである。ゲーム装置１の処理部１０の使用態様判定部２３は、リニアイメージセンサ５により撮像された画像を取得する（ステップＳ５１）。使用態様判定部２３は、取得した画像を基に、筐体２の側面が覆い隠されているか否かを判定する（ステップＳ５２）。筐体２の側面が覆い隠されている場合（Ｓ５２：ＹＥＳ）、使用態様判定部２３は、覆い隠されている箇所の長さが、例えば側面の長手方向の１／４〜１／３等の所定長を超えるか否かを判定する（ステップＳ５３）。覆い隠されている長さが所定長を超える場合（Ｓ５３：ＹＥＳ）、使用態様判定部２３は、筐体２の相対する２つの側面が覆い隠されているか否かを判定する（ステップＳ５４）。

筐体２の相対する２つの側面が覆い隠されている場合（Ｓ５４：ＹＥＳ）、使用態様判定部２３は、この側面の長手方向の端のいずれに近い個所が覆い隠されているかに応じてユーザによる筐体２の把持位置を判定する処理を行う（ステップＳ５５）。使用態様判定部２３は、判定した把持位置に基づいてゲーム装置１の使用態様、即ちゲーム装置１が横向き又は縦向きのいずれで使用されているかを判定し（ステップＳ５７）、処理を終了する。

また、リニアイメージセンサ５にて取得した画像に基づき筐体２の側面が覆い隠されていないと判定した場合（Ｓ５２：ＮＯ）、筐体２の側面の覆い隠されている箇所の長さが所定値を超えない場合（Ｓ５３：ＮＯ）、又は、筐体２の相対する２つの側面が覆い隠されていない場合（Ｓ５４：ＮＯ）、使用態様判定部２３は、加速度センサ１５が検知する重力加速度に基づいて上下方向などを判定する（ステップＳ５６）。加速度センサ１５の判定結果に基づき、使用態様判定部２３は、ゲーム装置１の使用態様を判定し（ステップＳ５７）、処理を終了する。

このようにゲーム装置１は、筐体２の４つの側面にそれぞれ設けたリニアイメージセンサ５にて取得した画像に基づき、ユーザがいずれの側面を把持しているかを判定してゲーム装置１の使用態様を判定する。ゲーム装置１は、判定した使用態様に応じて、表示部３に表示する画像の向きを変更する処理を行う。これにより、加速度センサ１５ではゲーム装置１の使用態様を精度よく判定できない状況においても、ゲーム装置１は、リニアイメージセンサ５にて取得した画像に基づき使用態様の判定を行うことができる。また加速度センサ１５を用いた判定を併用することにより、ゲーム装置１は、使用態様をより精度よく判定することができる。

なお本例においてゲーム装置１は、筐体２の側面が覆い隠されているか、覆い隠されている箇所の長さ、筐体２の相対する２つの側面が覆い隠されているか、及び、覆い隠されている箇所が側面のいずれの端に近いかの４つの条件を判定してゲーム装置１の使用態様を判定したが、これらの条件は一例である。これら４つの条件に対して更に別の条件を加えてもよく、４つの条件のうち３つ以下の条件のみを判定してもよく、４つの条件のうちのいくつかと別の条件とを組み合わせて判定を行ってもよい。また表示部３にメニュー画面を表示する例を示したが、これは一例であって、表示部３に表示する画像はどのようなものであってもよい。

また本例では、ユーザがいずれの側面を把持しているかに基づいて判定した使用態様に応じてゲーム装置１が表示部３に表示する画面の向きを変更する処理を説明したが、ゲーム装置１が行う処理はこれに限らない。ゲーム装置１は、使用態様の判定結果に応じてこれ以外の種々の処理を行ってよい。またゲーム装置１は、判定結果に応じて表示の向きを変更する処理に加えて、ユーザがユーザによる側面の把持位置を考慮した処理を行ってもよい。例えばゲーム装置１は、表示部３に表示するアイコン又はゲームのキャラクタ等を、ユーザの把持位置の近傍に表示するなどの処理を行うことができる。

＜脈拍検出機能＞
本実施の形態に係るゲーム装置１は、ユーザが筐体２を把持した状態でリニアイメージセンサ５が取得した画像に基づき、このユーザの脈拍を検出する機能を備えている。ゲーム装置１は赤外光源６により筐体２の外側へ赤外光を発し、この赤外光は筐体２を把持したユーザの手にて反射され、リニアイメージセンサ５にて受光される。リニアイメージセンサ５にて受光される赤外光の反射光の強度は、ユーザの血管中の血液の流れに応じて変化する。反射光の反射強度は、リニアイメージセンサ５が取得する画像において、その画素値として反映される。

ゲーム装置１の処理部１０の脈拍検出部２４は、リニアイメージセンサ５による画像の取得を周期的又は連続的に繰り返し行って、所定期間に亘って取得した複数の画像からその画素値を取得することによって、赤外光の反射強度の変化を判定する。赤外光の反射強度は、ユーザの血液の流れの変化、即ち脈に応じて増減を繰り返すため、脈拍検出部２４は、複数の画像から取得した画素値から変化の周期を算出することにより、ユーザの脈拍を検出することができる。

脈拍検出部２４が検出した脈拍は、例えばユーザの健康管理を行うアプリケーションにて利用することができる。またゲーム装置１は、例えば脈拍検出部２４が検出した脈拍に応じてゲームのキャラクタの顔色を変化させるなど、検出した脈拍をゲーム処理に反映させることができる。

図１４は、ゲーム装置１が行う脈拍検出処理の手順を示すフローチャートである。なお本フローチャートにおいては、ユーザがゲーム装置１の筐体２を把持していることを前提とし、ユーザが筐体２を把持しているか否かの判定する処理については説明を省略する。ゲーム装置１は、本フローチャートに示す処理に先立って、ユーザが筐体２を把持しているか否かを判定する処理を行ってよい。この判定処理は、上述の使用態様判定処理と同様の方法を採用できる。

ゲーム装置１の処理部１０の脈拍検出部２４は、リニアイメージセンサ５により撮像された画像を取得する（ステップＳ６１）。脈拍検出部２４は、取得した画像の画素値に基づいて、ユーザの手による赤外光の反射光の強度を取得する（ステップＳ６２）。脈拍検出部２４は、取得した強度を記憶部１２などに記憶する（ステップＳ６３）。脈拍検出部２４は、例えば数秒〜数十秒程度の所定時間分の強度を取得したか否かを判定し（ステップＳ６４）、取得していない場合には（Ｓ６４：ＮＯ）、ステップＳ６１へ処理を戻してリニアイメージセンサ５の画像に基づく赤外光の反射光の強度取得を繰り返して行う。

所定時間分の反射光の強度を取得した場合（Ｓ６４：ＹＥＳ）、脈拍検出部２４は、記憶部１２に記憶した複数の強度を読み出して、時系列的な複数の強度の変化について、例えばピーク値などを検出することにより、変化の周期を算出する（ステップＳ６５）。脈拍検出部２４は、算出した周期を脈拍検出の結果として記憶部１２などに記憶し（ステップＳ６６）、処理を終了する。

このようにゲーム装置１は、赤外光源６が発した赤外光のユーザの手などによる反射光をリニアイメージセンサ５にて受光し、反射光の強度の変化に基づいてユーザの脈拍を検出する。ユーザはゲームなどを行う場合にゲーム装置１の筐体２を把持する場合が多いため、ゲーム装置１は筐体２の側面に設けたリニアイメージセンサ５が取得した画像に基づく脈拍検出を容易に行うことができ、検出した脈拍をゲーム処理などに反映させることが容易である。なお検出したユーザの脈拍の利用用途は、ユーザの健康管理又はゲームのキャラクタの顔色変化等に限らず、その他の種々の処理に利用することができる。

＜他装置検出機能＞
本実施の形態に係るゲーム装置１は、同様の構成の他のゲーム装置１の位置を検出する機能を備えている。ゲーム装置１は、リニアイメージセンサ５にて他のゲーム装置１の赤外光源６が発した赤外光を受光してえられた画像を基に、他のゲーム装置１の位置を検出する。ゲーム装置１の筐体２には４つの側面にそれぞれリニアイメージセンサ５が設けられているため、ゲーム装置１は、他のゲーム装置１が発した赤外光がいずれの側面に設けられたリニアイメージセンサ５にて受光されたかに応じて、他のゲーム装置１の位置を検出することができる。またゲーム装置１は、リニアイメージセンサ５による赤外光の受光強度などに基づいて、他のゲーム装置１の向きなどを検出することができる。なお上記のような位置検出を行うため、ゲーム装置１は、他のゲーム装置１との間で無線通信を行い、赤外光源６を発行させるタイミングの調整などを行う。

図１５は、ゲーム装置１の他装置検出機能を説明するための模式図である。図１５には、例えば机上などの平面に２つのゲーム装置１が載置された状態を図示してある。なお本実施の形態に係る他装置検出機能では、位置検出を行う複数のゲーム装置１が同一平面上に載置されていることを前提とする。図１５には２つのゲーム装置１が図示してあるが、上側に示したものをゲーム装置１Ａとし、下側に示したものをゲーム装置１Ｂとする。またゲーム装置１の筐体２の４つの側面について、操作部４が設けられていない側を側面２ａとし、円形の２つのプッシュボタンが設けられている側を側面２ｂとし、四角形の３つのプッシュボタンが設けられている側を側面２ｃとし、十字キーが設けられている側を側面２ｄとする。

２つのゲーム装置１Ａ及び１Ｂにて位置検出の処理を行う場合、まずゲーム装置１Ａ及び１Ｂ間で無線通信を行い、赤外光源６を発光させる順番及び発光タイミング等を決定する。ここで、例えばゲーム装置１Ａが先に赤外光源６の発光を行い、その発光を時刻ｔ０に行うと決定された場合、ゲーム装置１Ａは時刻ｔ０に側面２ａに設けられた赤外光源６を所定時間に亘って発光させ、次いで順に側面２ｂ、２ｃ、２ｄの赤外光源６をそれぞれ個別に所定時間に亘って発光させる。赤外光源６の発光を行わないゲーム装置１Ｂは、全てのリニアイメージセンサ５にてゲーム装置１Ａからの赤外光の受光及び撮像を行う。

図１５に示す例では、ゲーム装置１Ａが側面２ｃの赤外光源６による発光を行った場合に、ゲーム装置１Ｂの側面２ａのリニアイメージセンサ５にて赤外光が受光される。よってゲーム装置１Ｂは、ゲーム装置１Ａが側面２ａ側に載置されていると判定できる。またゲーム装置１Ｂは、ゲーム装置１Ａからの赤外光の受光強度、即ち側面２ａのリニアイメージセンサ５にて取得した画像の画素値に応じて、側面２ａからゲーム装置１Ａまでの距離を算出することができる。またゲーム装置１Ｂは、側面２ａのリニアイメージセンサ５にて取得した線状の画像の画素値の分布を調べることにより、ゲーム装置１Ｂに対するゲーム装置１Ａの傾きを判定することができる。即ち、受光した赤外光の強度が高い個所ほどリニアイメージセンサ５からゲーム装置１Ａまでの距離が近いと判断できるため、赤外光の強度が高い個所へ向けてゲーム装置１Ａが傾いているとゲーム装置１Ｂは判定することができる。

ゲーム装置１Ａが赤外光源６の発光を終えた後、ゲーム装置１Ｂが赤外光源６の発光を行う。ゲーム装置１Ａの場合と同様に、ゲーム装置１Ｂは例えば時刻ｔ１から側面２ａ、２ｂ、２ｃ、２ｄの順で赤外光源６をそれぞれ所定時間に亘って発光させる。ゲーム装置１Ｂが側面２ａの赤外光源を発光させた場合に、ゲーム装置１Ａは側面２ｃのリニアイメージセンサ５にて赤外光を受光する。ゲーム装置１Ａは、リニアイメージセンサ５が取得した画像に基づいて、ゲーム装置１Ｂの位置、距離及び向き等を判定する。

ゲーム装置１Ａ及び１ｂが共に赤外光源６の発光とリニアイメージセンサ５による受光とを終え、相手の位置、距離及び向き等の判定を終えることにより、ゲーム装置１Ａ及び１Ｂの位置検出処理が終了する。なおゲーム装置１Ａ及び１Ｂは、無線通信により自らの判定結果を相手に送信してもよい。ゲーム装置１Ａ及び１Ｂは、自らの位置検出処理の結果と相手の結果とを比較し、処理結果に誤りなどがないかを確認することができる。

なお上記の例では２つのゲーム装置１が位置検出を行う場合について説明を行ったが、３つ以上のゲーム装置１が位置検出を行う場合も同様の手順で処理を行うことができる。例えば３つのゲーム装置１が無線通信を行って赤外光源６を発光させる順番及び発光タイミング等を決定し、決定した順番及び発光タイミング等に従って各ゲーム装置１が赤外光源６を発光させる。赤外光源６を発光させない残りの２つのゲーム装置１は、リニアイメージセンサ５による受光を行い、赤外光源６を発光させるゲーム装置１の位置、距離及び向き等を判定する。なおこのときに、赤外光源６を発光させない２つのゲーム装置１の間で、リニアイメージセンサ５による検出結果を無線通信により交換してもよい。複数のゲーム装置１間で検出結果を共有することにより、赤外光源６を発光させるゲーム装置１の位置、距離及び向き等をより精度よく判定することが可能となる。

図１６は、ゲーム装置１が行う他装置検出処理の手順を示すフローチャートである。ゲーム装置１の処理部１０の他装置検出部２５は、無線通信部１４にて他のゲーム装置１との通信を行い、赤外光源６の発光順序及び発光タイミング等を決定する発光順序決定処理を行う（ステップＳ７１）。発光順序決定処理を終えた後、他装置検出部２５は、自装置が赤外光源６を発光する順番であるか否かを判定する（ステップＳ７２）。自装置が発光する順番である場合（Ｓ７２：ＹＥＳ）、他装置検出部２５は、ステップＳ７１にて決定された発光タイミングで、４つの赤外光源６を順番にそれぞれ所定時間に亘って発光させ（ステップＳ７３）、ステップＳ７９へ処理を進める。

自装置が赤外光源６を発光する順番でない場合（Ｓ７２：ＮＯ）、他装置検出部２５は、リニアイメージセンサ５による撮像を行って画像を取得する（ステップＳ７４）。取得した画像に基づき、他装置検出部２５は、いずれのリニアイメージセンサ５にて他のゲーム装置１からの赤外光を受光したかを判定することにより、他のゲーム装置１の位置を判定する（ステップＳ７５）。他装置検出部２５は、取得した画像の画素値に基づき、他のゲーム装置１までの距離を判定する（ステップＳ７６）。また他装置検出部２５は、取得した画像における画素値の分布に基づき、他のゲーム装置１の傾きを判定する（ステップＳ７７）。他装置検出部２５は、ステップＳ７５〜Ｓ７７の判定結果を無線通信部１４により他のゲーム装置１へ送信し（ステップＳ７８）、ステップＳ７９へ処理を進める。

ステップＳ７３又はＳ７８の処理を終えた後、他装置検出部２５は、自装置の赤外光源６の発光、及び、リニアイメージセンサ５による他のゲーム装置１からの赤外光の受光を共に終了したか否かを判定する（ステップＳ７９）。発光及び受光を共に終了していない場合（Ｓ７９：ＮＯ）、他装置検出部２５は、ステップＳ７２へ処理を戻す。発光及び受光を共に終了している場合（Ｓ７９：ＹＥＳ）、他装置検出部２５は、処理を終了する。

このようにゲーム装置１は、赤外光源６及びリニアイメージセンサ５を利用して他のゲーム装置１と強調動作することにより、他のゲーム装置１の位置を検出することができると共に、他のゲーム装置１に自らの位置を検出させることができる。これにより、例えば複数のゲーム装置１が表示部３に共通の画像をそれぞれ部分的に表示し、複数のゲーム装置１で１つの画像表示を行う機能、いわゆるマルチディスプレイ機能などを容易に実現することができる。また例えば、複数のユーザがそれぞれゲーム装置１を利用し、無線通信などを介して対戦又は協力等のゲームを行う場合に、各ゲーム装置１の位置をゲーム内容に反映させることができる。例えば各ゲーム装置１にて操作されるキャラクタの位置と、各ゲーム装置１の実際の位置とを対応付けるなどの処理を行うことができる。なおゲーム装置１による他のゲーム装置１の位置検出結果は、上記の処理に限らず、種々の情報処理に利用することが可能である。

なお本実施の形態においては、複数のゲーム装置１が机上などに載置された状態で位置検出を行うものとしたが、これに限るものではない。赤外光源６による赤外光の出射範囲及びリニアイメージセンサ５の受光範囲等を適宜に設定することによって、同一平面上に載置されていない複数のゲーム装置１の位置検出を行うことも可能である。

＜まとめ＞
本実施の形態に係るゲーム装置１は、筐体２の側面にリニアイメージセンサ５を設けることにより、以下のような機能を実現することができる。
・空間ポインタ機能
・追加インタフェース機能
・側面タッチ操作
・フィギュア検出機能
・追加操作装置
・使用態様判定機能
・脈拍検出機能
・他装置検出機能

これらの機能を備えることにより、本実施の形態に係るゲーム装置１は、従来のゲーム装置にはない操作性を獲得することができる。なお本実施の形態においては、ゲーム装置１が上記の複数の機能をすべて備える構成としたが、これに限るものではなく、上記の機能のうちのいくつかを備える構成であってよい。また筐体２の４つの側面全てにリニアイメージセンサ５を設ける構成としたが、これに限るものではなく、実現する機能に応じてリニアイメージセンサ５の搭載数を適宜に増減してよい。また例えばゲーム装置１の筐体が、ノートパソコンなどのように第１筐体及び第２筐体がヒンジ機構などにて接続されて折り畳むことが可能な構成である場合、リニアイメージセンサ５を第１筐体又は第２筐体のいずれに設けてもよく、両方に設けてもよい。またゲーム装置が据置型のものである場合、ゲーム装置の本体ではなく、有線又は無線で接続されたコントローラなどにリニアイメージセンサ５を設けてもよい。また例えばゲーム装置１の筐体２の角部分にリニアイメージセンサ５を外側へ向けて設けてもよく、また例えば筐体２の複数の側面に跨って１つのリニアイメージセンサ５を設けてもよい。

またゲーム装置１はリニアイメージセンサ５を用いて上記の機能を実現する構成としたが、これに限るものではない。リニアイメージセンサ５に代えて、例えばフォトダイオードなどの受光素子を筐体２の側面に線状に複数並べて設ける構成としてもよく、また例えば広角撮像が可能なカメラ又はイメージセンサを筐体２の側面に設ける構成としてもよい。またリニアイメージセンサ５は赤外光を受光するものとしたが、これに限るものではなく、脈拍検出機能を用いない場合には、可視光など赤外光以外を受光する構成であってもよい。

また本実施の形態においては、ゲーム装置１を例に説明を行ったが、これに限るものではない。例えば汎用のコンピュータ、タブレット型端末装置、スマートフォン又は携帯電話機等の種々の情報処理装置に同様の技術を適用可能である。またゲームプログラム９１をゲーム装置１の処理部１０が実行することによって、操作検出部２１〜他装置検出部２５がソフトウェア的な機能ブロックとして設けられる構成としたが、これに限るものではない。操作検出部２１〜他装置検出部２５の一部の機能が、例えばＯＳ（Operating System）の機能として提供されるものであってもよく、ハードウェア的な機能ブロックとして設けられる構成であってもよい。

１ ゲーム装置
２ 筐体
３ 表示部
４ 操作部
５ リニアイメージセンサ（受光部）
６ 赤外光源（発光部）
９ 記録媒体
１０ 処理部（情報処理部）
１１ タッチパネル（接触操作検知部）
１２ 記憶部
１３ 記録媒体装着部
１４ 無線通信部（通信部）
２１ 操作検出部（検出部、識別情報取得部、判定部）
２２ フィギュア検出部（識別情報取得部、判定部）
２３ 使用態様判定部（判定部）
２４ 脈拍検出部
２５ 他装置検出部（検出部、発光制御部）
５１ 操作受付領域
５２ 追加インタフェースシート（操作指標）
６０ フィギュア
６１ 台座部
６２ キャラクタ部
６５ 回転ダイヤル
９１ ゲームプログラム

Claims (29)

1. 少なくとも１つの面に表示部が設けられた筐体と、
   前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設けられたリニアイメージセンサと、
   前記リニアイメージセンサが取得した画像に基づく情報処理を行う情報処理部と
   を備える、情報処理装置。
2. 前記リニアイメージセンサは、前記表示部が設けられた面に沿う方向へ向けて設けられている、請求項１に記載の情報処理装置。
3. 前記筐体の少なくとも２つの側部に前記リニアイメージセンサがそれぞれ設けられている、請求項１又は請求項２に記載の情報処理装置。
4. 前記筐体は板状であり、
   前記表示部が設けられた面の四方の側部にそれぞれ前記リニアイメージセンサが設けられている、請求項１乃至請求項３のいずれか１つに記載の情報処理装置。
5. 前記リニアイメージセンサは、パンフォーカスでの撮像により画像を取得する、請求項１乃至請求項４のいずれか１つに記載の情報処理装置。
6. 前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側に存在する物体の位置を検出する検出部を備え、
   前記情報処理部は、前記検出部が検出した位置に応じて情報処理を行う、請求項１乃至請求項５のいずれか１つに記載の情報処理装置。
7. 前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側で行われたユーザの操作を検出する検出部を備え、
   前記情報処理部は、前記検出部が検出した操作に応じて情報処理を行う、請求項１乃至請求項５のいずれか１つに記載の情報処理装置。
8. 前記検出部は、前記筐体の外側に配置された操作指標に対する操作を検出する、請求項７に記載の情報処理装置。
9. 前記リニアイメージセンサが取得した画像に基づき、前記筐体の外側に存在する物体に記された識別情報を取得する識別情報取得部を備え、
   前記情報処理部は、前記識別情報取得部が取得した識別情報に基づく情報処理を行う、請求項１乃至請求項８のいずれか１つに記載の情報処理装置。
10. 前記識別情報取得部が取得した識別情報に基づいて前記物体の向きを判定する判定部を備え、
    前記情報処理部は、前記判定部が判定した向きに基づく情報処理を行う、請求項９に記載の情報処理装置。
11. 前記リニアイメージセンサが時系列的に取得した複数の画像に基づいて前記識別情報取得部が時系列的に取得した複数の識別情報に基づき、前記物体の変位を検出する検出部を備え、
    前記情報処理部は、前記検出部が検出した変位に基づく情報処理を行う、請求項９又は請求項１０に記載の情報処理装置。
12. 前記物体は、ゲームに係るキャラクタを模した形状又は該キャラクタが描かれた部分を有し、
    前記情報処理装置は、前記識別情報取得部が取得した識別情報に対応するキャラクタに係るゲームの処理を行う、請求項９乃至請求項１１のいずれか１つに記載の情報処理装置。
13. 前記筐体は手持ち型又は可搬型であり、
    前記リニアイメージセンサが取得した画像に基づき、ユーザによる前記筐体の持ち位置を判定する判定部を備え、
    前記情報処理部は、前記判定部が判定した持ち位置に基づく情報処理を行う、請求項１乃至請求項１２のいずれか１つに記載の情報処理装置。
14. 前記筐体は手持ち型又は可搬型であり、
    前記リニアイメージセンサが取得した画像に基づき、ユーザが把持した場合の前記筐体の姿勢を判定する判定部を備え、
    前記情報処理部は、前記判定部が判定した姿勢に基づく情報処理を行う、請求項１乃至請求項１２のいずれか１つに記載の情報処理装置。
15. 前記筐体内に設けられた加速度センサを備え、
    前記判定部は、前記リニアイメージセンサが取得した画像及び前記加速度センサが検知した加速度に基づいて判定を行う、請求項１４に記載の情報処理装置。
16. 前記情報処理部は、前記判定部の判定結果に応じて、前記表示部に表示する画像の向きを切り替える処理を行う、請求項１３乃至請求項１５のいずれか１つに記載の情報処理装置。
17. 前記リニアイメージセンサが取得した画像に基づき、前記リニアイメージセンサに対する近接又は接触の操作を検出する検出部を備え、
    前記情報処理部は、前記検出部が検出した操作に応じて情報処理を行う、請求項１乃至請求項１６のいずれか１つに記載の情報処理装置。
18. 前記筐体の外側へ向けて赤外光を発する発光部を有し、
    前記リニアイメージセンサは、前記発光部が発した赤外光又は該赤外光の反射光に応じた画像を取得する、請求項１乃至請求項１７のいずれか１つに記載の情報処理装置。
19. 前記リニアイメージセンサが取得した前記反射光に応じた画像に基づき、ユーザの脈拍を検出する脈拍検出部を備え、
    前記情報処理部は、前記脈拍検出部が検出した脈拍に基づく情報処理を行う、請求項１８に記載の情報処理装置。
20. 前記情報処理部は、前記脈拍検出部が検出した脈拍に基づいてゲームに係る情報処理を行う、請求項１９に記載の情報処理装置。
21. 他の情報処理装置の発光部が発した赤外光に応じて前記リニアイメージセンサが取得した画像に基づき、前記他の情報処理装置の位置を検出する検出部を備え、
    前記情報処理部は、前記検出部が検出した位置に基づく情報処理を行う、請求項１８乃至請求項２０のいずれか１つに記載の情報処理装置。
22. 前記他の情報処理装置との間で無線通信を行う通信部と、
    前記通信部により前記他の情報処理装置との通信を行い、前記発光部が赤外光を発するタイミングを制御する発光制御部と
    を備え、
    前記検出部は、前記他の情報処理装置が赤外光を発するタイミングに応じて前記リニアイメージセンサが取得した画像に基づいて検出を行う、請求項２１に記載の情報処理装置。
23. 前記表示部に対する接触操作を検知する接触操作検知部を備え、
    前記情報処理部は、前記リニアイメージセンサが取得した画像及び前記接触操作検知部が検知した接触操作の少なくともいずれかに基づく情報処理を行う、請求項１乃至請求項２２に記載の情報処理装置。
24. 少なくとも１つの面に表示部が設けられ、ユーザが把持可能な形状をなす筐体と、
    前記筐体の側部に設けられ、前記側部に対する近接又は接触の操作を検出する検出部と、
    前記検出部が検出した操作に応じて情報処理を行う情報処理部と
    を備える、情報処理装置。
25. 前記検出部は、ユーザにより前記筐体が把持された場合の前記側部に対する近接又は接触の操作を検出する、請求項２４に記載の情報処理装置。
26. 前記側面に設けられたイメージセンサを備え、
    前記検出部は、前記イメージセンサが取得した画像に基づいて操作を検出する、請求項２４又は請求項２５に記載の情報処理装置。
27. 少なくとも１つの面に表示部が設けられた筐体と、
    前記筐体の外側へ向けて光を発する発光部と、
    前記筐体の側部に設けられた受光部と、
    他の情報処理装置の発光部が発した光を前記受光部にて受光することにより、前記他の情報処理装置の位置を検出する検出部と、
    前記検出部が検出した位置に基づく情報処理を行う情報処理部と
    を備える、情報処理装置。
28. 少なくとも１つの面に表示部が設けられた筐体と、
    前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設けられたリニアイメージセンサと、
    前記リニアイメージセンサが取得した画像に基づく情報処理を行う情報処理部と
    を備える、情報処理システム。
29. 少なくとも１つの面に表示部が設けられた筐体を備える情報処理装置に対して、リニアイメージセンサを前記表示部が設けられた面を正面視した場合の側部又は角部に、前記筐体の外側へ向けて設け、
    前記リニアイメージセンサが取得した画像に基づいて情報処理を行う、情報処理方法。

Images