JP2016207145A - ウェアラブル装置、制御方法及び制御プログラム - Google Patents

Abstract

【課題】より使い勝手の良いウェアラブル装置を提供する。
【解決手段】本発明に係るウェアラブル装置１は、撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、前記撮像部が撮像中のときは、前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を実行しない。
【選択図】図１

Description

この発明は、ユーザの頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。

上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている（特許文献１参照）。

国際公開第２０１４／１２８７５１号

上記のようなウェアラブル装置においては、より使い勝手の良いものが望まれる。

本発明の目的は、より使い勝手の良いウェアラブル装置を提供することにある。

１つの態様に係るウェアラブル装置は、撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、前記撮像部が撮像中のときは、前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を実行しない。

１つの態様に係るウェアラブル装置は、現実の空間に在る所定物を検出する検出部を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行する、頭部に装着されるウェアラブル装置であって、前記所定機能を起動すると、該所定機能の実行内容に応じて、前記検出部の検出適用範囲を変更する。

１つの態様に係るウェアラブル装置は、撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、前記所定物の所定動作に応じて、前記検出部の検出範囲内に含まれる少なくとも一つの被写体の指定を受付け、該受付けがなされている状態において、前記被写体が前記撮像部の撮像範囲における所定の位置に移動したことを契機に、該撮像部が撮像する撮像画像を保存する。

１つの態様に係るウェアラブル装置は、撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記撮像部が撮像中のときは、前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳しない範囲において、前記所定動作を検出したことに基づいて、前記撮像部の機能に係る処理を実行する。

１つの態様に係るウェアラブル装置は、撮像部と、表示部と、現実の空間に在る所定物の所定動作を検出する検出部と、を備え、前記撮像部が撮像中のときは、前記表示部の表示領域における前記撮像部の撮像範囲と重畳しない所定領域において、前記所定動作を検出したことに基づいて、前記撮像部の機能に係る処理を実行する。

１つの態様に係る制御方法は、撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置によって実行される制御方法であって、前記撮像部が撮像中のときは、前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を実行しないことを特徴とする。

１つの態様に係る制御プログラムは、撮像部と、現実の空間に在る所定物を検出する検出部と、を備えるウェアラブル装置に、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行させる制御プログラムであって、前記撮像部が撮像中のときは、前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を前記ウェアラブル装置に実行させないことを特徴とする。

本発明によれば、より使い勝手の良いウェアラブル装置を提供することができる。

図１は、ウェアラブル装置の斜視図である。 図２は、ウェアラブル装置のブロック図である。 図３は、撮像部の撮像範囲と、検出部の検出範囲と、表示部の表示領域との関係を示す第１例である。 図４は、撮像部の撮像範囲と、検出部の検出範囲と、表示部の表示領域との関係を示す第２例である。 図５は、機能の実行内容によって検出範囲を変更する際の各変更パターンを示す図である。 図６は、ウェアラブル装置１の所定機能の実行例を説明するための図である。 図７は、本実施形態における変形例を説明するための図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

まず、図１を参照しながら、ウェアラブル装置１の全体的な構成について説明する。図１は、装置１の斜視図である。図１に示すように、ウェアラブル装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置である。

ウェアラブル装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続され、側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂ及び側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置１を安定させる。側面部１ｂ及び側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。

前面部１ａは、装着時に利用者の目と対向する面に表示部３２ａ及び表示部３２ｂを備える。表示部３２ａは、装着時に利用者の右目と対向する位置に配設され、表示部３２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部３２ａは、右目用の画像を表示し、表示部３２ｂは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部３２ａ及び表示部３２ｂを備えることにより、ウェアラブル装置１は、両眼の視差を利用した３次元表示を実現することができる。

表示部３２ａ及び表示部３２ｂは、一対の半透過ディスプレイであるが、これに限定されない。例えば、表示部３２ａ及び表示部３２ｂは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部３２ａ及び表示部３２ｂを設けてもよい。表示部３２ａ及び表示部３２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。

前面部１ａには、撮像部４０が備えられている。撮像部４０は、利用者の視界に相当する範囲の画像を取得する。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。なお、撮像部４０は、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される撮像部と、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される撮像部との２つから構成されていても良い。この場合、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される撮像部によって、利用者の右目の視界に相当する範囲の画像が取得され、前面部１ａの一方の端部（装着時の左目側）の近傍に配設される撮像部によって、利用者の左目の視界に相当する範囲の画像が取得される。

ウェアラブル装置１は、利用者が視認している前景に各種情報を視認させる機能を有する。前景とは、利用者の前方の風景である。ウェアラブル装置１は、表示部３２ａ及び表示部３２ｂが表示を行っていない場合、表示部３２ａ及び表示部３２ｂを透して前景を利用者に視認させる。ウェアラブル装置１は、表示部３２ａ及び表示部３２ｂが表示を行っている場合、表示部３２ａ及び表示部３２ｂを透した前景と、表示部３２ａ及び表示部３２ｂの表示内容とを利用者に視認させる。

図１では、ウェアラブル装置１が、眼鏡のような形状を有する例を示したが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、ゴーグルの形状を有してもよい。ウェアラブル装置１は、例えば、情報処理装置、バッテリ装置等の外部装置と有線または無線で接続される構成であってもよい。

次に、図２を参照しながら、ウェアラブル装置１の機能的な構成について説明する。図２は、ウェアラブル装置１のブロック図である。図２に示すように、ウェアラブル装置１は、操作部１３と、制御部２２と、記憶部２４と、表示部３２ａ及び３２ｂと、撮像部４０と、視線検出部４２と、検出部４４と、測距部４６とを有する。

操作部１３は、例えば、側面部（１ｂ又は１ｃ）に配設されるタッチセンサである。タッチセンサは、利用者の接触を検出可能であり、検出結果に応じて、ウェアラブル装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

表示部３２ａ及び３２ｂは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｓｅｎｃｅ）パネル等の半透過または透過の表示デバイスを備える。表示部３２ａ及び３２ｂは、制御部２２から入力される制御信号に従って各種の情報を画像として表示する。表示部３２ａ及び３２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。この場合、眼鏡を模したウェアラブル装置１のレンズ部分にハーフミラーを設置して、別途設けられるプロジェクタから照射される画像が投影される構成であってもよい。また、前述したように、表示部３２ａ及び３２ｂは、各種の情報を３次元的に表示しても良い。また、各種の情報を利用者の前方（利用者から離れた位置）にあたかも存在するかのように表示しても良い。このように情報を表示する方式としては、例えば、フレームシーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップアンドボトム方式、サイドバイサイド方式、アナグリフ方式、レンチキュラ方式、パララックスバリア方式、液晶パララックスバリア方式、２視差方式等の多視差方式の何れかが採用されて良い。

撮像部４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部４０は、撮像した画像を信号に変換して制御部２２へ出力する。

視線検出部４２は、例えば、赤外線を利用者の目に照射可能な赤外線照射部と、赤外感度を有する赤外線撮像部とからなる。制御部２２は、後述する、制御プログラム２４ａを実行することにより、視線検出部４２が取得した利用者の画像に基づいて、利用者の視線位置を検出する。視線検出部４２は、例えば、図１に示すように、ウェアラブル装置１の前面部１ａにおける利用者の顔側の面に設けられている。

なお、視線検出部４２は、上記のものに限られず、上記の撮像部４０とは別に設けられる撮像部であって、利用者の目を撮像可能な撮像部としても良い。制御部２２は、後述する、制御プログラム２４ａを実行することにより、視線検出部４２が取得した利用者の画像における、目頭と虹彩との位置関係に基づいて視線方向を検出する。

なお、視線検出部４２は、上記のものに限られず、利用者の目の周辺に接触可能な位置に設けられる電極を有し、利用者の目の動作（まばたきや視線移動）に伴って生じる筋電位を検出する筋電センサであっても良い。ここで、筋電位を測定するための測定電極として、利用者の鼻の左右側部のそれぞれに接触可能な第１電極と第２電極とが、例えば、ウェアラブル装置１のブリッジから延設されるノーズパッドに設けられる。また、基準電極として、ユーザの鼻の中央部に接触可能な第３電極がブリッジに設けられる。このような構成とすることにより、筋電センサは、例えば、ユーザが視線を所定の方向に移動させたときに、第３電極を基準とした第１電極及び第２電極の電位の変化を検出する。制御部２２は、筋電センサの検出結果に基づいて、利用者の目の動作として、例えば、まばたきの有無、視線移動の有無（視線方向、視線位置の変化等も含む）等を検出する。

なお、基準電極としての第３電極は、ブリッジとは異なる位置に設けられていても良い。例えば、第３電極は、側面部１ｂ（或いは１ｃ）における、前面部１ａとは反対側の端部近傍に設けてられても良い。なお、電極の配置構成はこれらに限定されるものではなく、公知の種々の技術が適用されて良い。

検出部４４は、撮像部４０の撮像範囲及び撮像範囲の周囲（或は前景）に存在する現実の物体を検出する。検出部４４は、例えば、現実の物体のうち、予め登録された形状（例えば、人間の手、指等の形状）にマッチする物体（所定物）を検出する。検出部４４は、予め形状が登録されていない物体（所定物）についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状及び大きさ）を検出するように構成されてもよい。

検出部４４は、現実の物体（所定物）を検出するセンサを有する。センサは、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、現実の物体を検出するセンサである。

本実施形態においては、撮像部４０は、検出部４４を兼ねても良い。すなわち、撮像部４０は、撮像される画像を解析することによって、撮像範囲内の物体（所定物）を検出する。

制御部２２は、演算手段であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリ及び記憶部２４に対してデータの読み書きを行ったり、表示部３２ａ、３２ｂ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部４４等を介して検出される操作がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。記憶部２４に記憶されるデータには、撮像データ２４ｂが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、撮像データ２４ｂは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａは、無線通信または有線通信によってサーバ装置等の他の装置から取得されてもよい。

制御プログラム２４ａは、ウェアラブル装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、撮像部４０の撮像を制御する機能、視線検出部４２の検出結果から利用者の視線を検出する機能、表示部３２ａ、３２ｂの表示を制御する機能等が含まれる。

制御プログラム２４ａは、検出処理部２５と、表示制御部２６とを含む。検出処理部２５は、撮像部４０の撮像範囲に存在する現実の物体（所定物）を検出するとともに、現実の物体（所定物）の所定動作を検出するための機能を提供する。また、検出処理部２５は、検出部４４の検出範囲内に存在する現実の物体（所定物）を検出するとともに、現実の物体（所定物）の所定動作を検出ための機能を提供する。表示制御部２６は、表示部３２ａ及び３２ｂの表示状態と撮像範囲との対応関係を管理するための機能を提供する。

また、検出処理部２５は、視線検出部４２の検出結果から利用者の視線を検出する機能を提供する。例えば、検出処理部２５は、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、利用者の視線位置を検出する。具体的には、検出処理部２５は、ユーザの画像を取得する際に、上記赤外線照射部から赤外線を照射させる。検出処理部２５は、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。検出処理部２５は、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。例えば、検出処理部２５は、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。検出処理部２５は、例えば、虹彩の大きさに基づいて、利用者の眼球とディスプレイとの距離を算出する。検出処理部２５は、利用者の視線の方向と、利用者の眼球とディスプレイとの距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がディスプレイと交差するときのディスプレイ上の位置である視線位置を検出する。そして、検出処理部２５は、上記視線位置の検出を再帰的に実行することにより、利用者の視線の移動を検出する。

なお、上記の例は、検出処理部２５が、角膜反射法を利用した処理を実行することにより、利用者の視線位置を検出する場合であるが、この例には限られない。例えば、検出処理部２５が、利用者の画像について画像認識処理を実行することにより、上記視線位置を検出するようにしてもよい。例えば、検出処理部２５は、利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定する。そして、検出処理部２５は、特定した視線方向と、利用者の眼球からディスプレイまでの距離とに基づいて、上記視線位置を検出する。或いは、検出処理部２５は、利用者がディスプレイ上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておく。そして、検出処理部２５は、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出する。

撮像データ２４ｂは、撮像部４０によって撮像範囲を撮像した画像を示すデータである。撮像データ２４ｂは、撮像部４０が、前面部１ａの一方の端部の近傍に配設される撮像部と、前面部１ａの他方の端部の近傍に配設される撮像部との２つから構成される場合には、それぞれによって撮像された画像を合成したデータでもよいし、それぞれの画像を示すデータでもよい。撮像データ２４ｂには、静止画データと動画データとが含まれる。

次に、図３、図４を参照し、撮像部４０の撮像範囲と、検出部４４の検出範囲と、表示部３２ａ及び３２ｂの表示領域との関係について説明する。図３は、撮像部４０の撮像範囲と、検出部４４の検出範囲と、表示部３２ａ及び３２ｂの表示領域との関係を示す第１例である。

なお、本実施形態では、検出部４４が、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な（赤外感度を有する）赤外線撮像部とからなるものとして説明していく。即ち、制御部２２は、赤外線撮像部の撮像画像から、現実の物体（所定物）を検出する。また、本実施形態では、表示部３２ａ及び３２ｂがウェアラブル装置１から離れた位置にあたかも存在するかのように表示画像を表示させるものとして説明していく。

図３（ａ）は、撮像部４０の撮像範囲と、検出部４４の検出範囲と、表示部３２ａ及び３２ｂの表示領域とを模式的に示した斜視図である。図３（ｂ）は、図３（ａ）の上面図であり、図３（ｃ）、（ｄ）は、図３（ａ）の側面図である。図３において、ｘ軸、ｙ軸、ｚ軸からなる三次元直交座標系が定義される。ｙ軸方向は、鉛直方向であり、ｚ軸方向は、利用者の前後方向であり、ｘ軸方向は、ｙ軸方向とｚ軸方向との双方と直交する方向である。図示するように、図３（ｄ）は、利用者が前方を視認した際の視界に対応する。

図３には、撮像部４０によって撮像可能な撮像範囲４０１と、検出部４４によって検出可能な検出範囲４４１と、表示部３２ａ及び３２ｂによって表示可能な表示領域３２１と、が示されている。本実施形態（第１例）において、検出可能な検出範囲４４１は、撮像範囲４０１を包含している（検出範囲４４１内に撮像範囲４０１が存在する）。図３（ａ）〜（ｄ）から解るように、検出範囲４４１は、３次元空間を有する。即ち、検出部４４の赤外線照射部から照射された赤外線を、赤外線撮像部により検出することによって、３次元空間である検出範囲４４１内の所定物を検出できる。また、３次元空間である検出範囲４４１内の所定物の所定動作を検出し、これを契機に所定動作に応じた所定機能を実行可能としても良い。例えば、所定物が利用者の腕、手、又は指、或いはこれらを組み合わせたもの（上肢と総称する）である場合、所定動作としては、指の曲げ動作・伸展動作、手首の曲げ、前腕の回転（回内、回外）等（ジェスチャ）が挙げられる。また、上肢の所定領域の位置が、検出範囲４４１内において所定の移動をすることを、所定物（上肢）の所定動作として検出しても良い。また、所定物（上肢）が所定の形態となることを、所定物（上肢）の所定動作として検出しても良い。例えば、親指を情報に伸ばしつつ他の指を握った形態（グッドサイン）等が挙げられる。

また、図３（ａ）〜（ｄ）から解るように、表示部３２ａ及び３２ｂは、実際に設けられたウェアラブル装置１の部分ではなく、ウェアラブル装置１から離れた位置となる表示領域３２１に、表示画像を表示する。このとき、表示部３２ａ及び３２ｂは、表示画像を、奥行きを持つ立体形状の３Ｄオブジェクトとして表示しても良い。なお、当該奥行きは、ｚ軸方向における厚みに対応する。

続いて図３を参照し、所定物の所定動作に基づいて所定機能を実行する例を説明する。図３の例では、所定機能として、撮像部４０によって撮像画像を取得する撮像機能を実行する場合を示している。なお、「撮像画像を取得する」とは、撮像部４０が撮像する撮像画像を撮像データ２４ｂとして記憶部２４に記憶（保存）することである。ここで、検出部の検出範囲４４１における、撮像部４０の撮像範囲４０１と重畳する範囲（検出範囲４４１と撮像範囲４０１とが共有する空間）を第１範囲４４１ａとし、検出部の検出範囲４４１における、撮像部４０の撮像範囲４０１と重畳しない範囲を第２範囲４４１ｂとする。なお、第１範囲４４１ａは、斜線で示されている部分である。

また、表示領域３２１における、第２範囲４４１ｂと重なる領域３２１ａ（例えば、図３における点線が囲われた領域）には、所定機能（撮像機能）に関連する表示画像５１〜５４が表示されている。アイコン５１は、例えば、撮像機能の１つである、露出補正における補正値を変更する機能を示した表示画像である。アイコン５２は、例えば、撮像機能の１つである、ＩＳＯ感度を変更する機能を示した表示画像である。アイコン５３は、例えば、撮像機能の１つである、撮像画像を取得する機能を示した表示画像である。アイコン５４は、例えば、撮像機能の１つである、ズーム機能を示した表示画像である。

ここで、ウェアラブル装置１が撮像中である、即ち、撮像部４０が前景を撮像し、該撮像した画像を記憶部２４に逐次伝送するとともに記憶部２１にて一時的に保存している状態であるとき、ウェアラブル装置１は、検出部４４の検出範囲４４１における、撮像部４０の撮像範囲４０１と重畳する第１範囲４４１ａにおいては、該第１範囲４４１ａ（斜線で示した範囲）内で所定物の所定動作を検出しても、該所定動作に応じた所定機能を実行しない。ここで所定機能は、例えば上記のような、撮像画像を取得する機能である。

これにより、第１範囲４４１ａ内に所定物（上肢）がある状態で、撮像画像の取得操作がなされることによって、上肢が画像中に映った撮像画像が取得される、といったことが生じず、使い勝手が良くなる。

また、ウェアラブル装置１は、表示部３２ａ及び３２ｂの表示領域３２１における撮像部４０の撮像範囲と重畳しない領域３２１ａに、所定機能に関連する表示画像５１■５４を表示し、領域３２１ａと所定物（上肢）が重畳したことに基づいて、所定機能を実行する構成を有していても良い。

このとき、第２範囲４４１ｂ内における、アイコン５３（撮像画像を取得する機能を示した表示画像）が表示された領域に利用者の指が在る状態で、該指を奥行方向（ｚ軸方向）に移動させる動作（指を押し出す動作）がなされると、これを契機に、表示画像５３に基づく機能として、撮像画像の取得を行っても良い。このように、撮像範囲（第１範囲４４１ａ）内に上肢が入り込んでいない状態で、画像の取得が行えるので、使い勝手が良くなる。

また、上記構成の他に、検出範囲４４１における、撮像範囲４０１と重畳する第１範囲４４１ａ（或いは撮像範囲４０１内）から、検出範囲４４１における、撮像範囲４０１と重畳しない第２範囲４４１ｂ（或いは撮像範囲４０１外）へ上肢が移動したことに基づいて、表示画像５３に基づく機能として、撮像画像の取得がなされる構成としても良い。このとき、上肢の移動を撮像部４０の撮像画像から検出しても良いし、検出部４４の検出結果から検出しても良い。このような構成においても、撮像範囲（第１範囲４４１ａ）内に上肢が入り込んでいない状態で、画像の取得が行えるので、使い勝手が良くなる。

上記に説明したように、ウェアラブル装置１は、撮像部４０と、現実の空間に在る所定物を検出する検出部４４と、を備え、撮像部４０が撮像中のときは、検出部４４の検出範囲４４１における、撮像部４０の撮像範囲４０１と重畳しない範囲４４１ｂにおいて、前記所定動作を検出したことに基づいて、撮像部４０の機能に係る処理を実行するものとして特徴づけられて良い。

また、ウェアラブル装置１は、撮像部４０が撮像中のときは、表示部３２の表示領域３２１における撮像部４０の撮像範囲４０１と重畳しない所定領域３２１ａにおいて、書影物の所定動作を検出したことに基づいて、撮像部４０の機能に係る処理を実行する構成としても良い。

また、上記の実施形態においては、図３（ｄ）に示すように、第２範囲４４１ｂ（検出範囲４４１における、撮像範囲４０１と重畳しない範囲）における、撮像範囲４０１の右端近傍の範囲にアイコン５１〜５４を表示する構成を示したが、これに限定されず、撮像範囲４０１の左端近傍または上端近傍または下端近傍の範囲にアイコン５１〜５４を表示しても良い。この場合、撮像範囲４０１の左端近傍または上端近傍または下端近傍の範囲に所定物が在る状態において、所定物の所定動作を検出することに基づいて、所定機能の実行できるようにして良い。

なお、このような構成ではなく、第２範囲４４１ｂにおける、撮像範囲４０１の上端近傍の範囲（撮像範囲４０１の上部の範囲）においては、該範囲内における所定物の所定動作に基づく所定機能の実行を禁止し、第２範囲４４１ｂにおける、撮像範囲４０１の上端近傍の範囲（撮像範囲４０１の上部の範囲）を除いた範囲においては、該範囲内における所定物の所定動作に基づく所定機能の実行を許可するようにしても良い。例えば、第２範囲４４１ｂにおける、撮像範囲４０１の上端近傍の範囲内に、所定物（例えば、利用者の指の先端部）が在る状態で、撮像画像の取得がなされた場合には、利用者の手や前腕の一部分が画像中に映った状態で撮像画像が取得されてしまうこともあり得る。これに対し、上記構成では、撮像範囲４０１の上端近傍の範囲において、所定機能の実行を禁止するため、このような問題が生じ難くなる。

上記の実施形態におけるウェアラブル装置１は、他の見方によれば、撮像機能を起動することによって撮像中となったときに、検出部４４の検出範囲４４１を、該検出範囲４４１から第１範囲４４１ａを除いた第２範囲４４１ｂに変更する構成を有しているものとして規定され得る。即ち、ウェアラブル装置１は、検出部４４によって検出される、所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、所定機能を起動すると、該所定機能の実行内容に応じて、検出部４４の検出適用範囲を変更するものである。

このような構成を有することにより、ウェアラブル装置１は、利用者の操作の内容（ウェアラブル装置１に実行させる機能の内容）に応じて、適切な検出範囲とすることができるので、誤検出による誤操作等を招き難くすることができる。

例えば、所定機能の実行内容が撮像機能である場合には、上記のように、検出部４０の検出適用範囲を第２範囲４４１ｂとして良い。他方で、所定機能の実行内容が撮像機能とは異なる機能、例えば、所定物の所定動作によって、現実の空間の所定位置を指定する操作を含む機能である場合には、検出部４０の検出適用範囲を第１範囲４４１ａと第２範囲４４１ｂとを合わせた範囲（範囲４４１に相当）として良い。現実の空間の所定位置を指定する操作を含む機能とは、例えば、前景に実在する建物を利用者によって指定することにより、指定した建物に関する情報等を表示させる機能である。例えば、利用者の前後方向（例えば、ｚ軸方向）において、利用者の指先と重なる前景の建物が、選択されたものとみなす構成であって良い。

ここで、例えば、「検出部４０の検出適用範囲を第２範囲４４１ｂとする」ことは、検出部４４における赤外線照射部による照射範囲（又は赤外線撮像部の撮像範囲）を変更することによってなされても良い。或いは、「検出部４０の検出適用範囲を第２範囲４４１ｂとする」ことは、赤外線照射部による照射範囲（又は赤外線撮像部の撮像範囲）は変更せず、検出範囲４１１にて所定物の所定動作を検出するが、該所定動作に基づいて機能を実行するための適用範囲を第２範囲４４１ｂに変更することによってなされても良い。この変更の処理は、例えば、制御部２２によってなされて良い。

また、所定機能の実行内容が、現実の空間の所定位置を指定する操作を含む場合には、上記とは異なる他の例として、検出部４４の検出範囲４４１の内、第１範囲４４１ａ（又は撮像範囲４０１）を検出適用範囲として良い。即ち、第２範囲４４１ｂにおいては上肢（指先）の所定動作を検出しても、所定機能を実行しないようにする。ここで、図３（ｄ）に示すように、第１範囲４４１ａ（又は撮像範囲４０１）は、表示領域３２１に囲われていることから、利用者によって視認可能な表示視認範囲と称する。

このように、ウェアラブル装置１は、機能の実行内容が、所定物の所定動作によって現実の空間の位置指定を行う操作を含むか否かを判定し、該判定結果によって、前記検出適用範囲を変更する構成を有する。そして、現実の空間の所定位置を指定する操作を機能の実行内容に含む場合には、利用者によって表示領域３２１を視認し得る表示視認範囲を、検出部４４の検出適用範囲とする。

上記構成によれば、現実の空間の所定位置を指定する操作の適用範囲を、利用者が視認しながら行える程度の適当な範囲とすることができ、意図しない操作がなされてしまう、といったことを減らす事ができる。

図４は、撮像部４０の撮像範囲と、検出部４４の検出範囲と、表示部３２ａ及び３２ｂの表示領域との関係を示す第２例である。

図４（ａ）は、撮像部４０の撮像範囲と、検出部４４の検出範囲と、表示部３２ａ及び３２ｂの表示領域とを模式的に示した斜視図である。図４（ｂ）、（ｃ）は、図４（ａ）の側面図である。図４において、ｘ軸、ｙ軸、ｚ軸からなる三次元直交座標系が定義される。ｙ軸方向は、鉛直方向であり、ｚ軸方向は、利用者の前後方向であり、ｘ軸方向は、ｙ軸方向とｚ軸方向との双方と直交する方向である。図示するように、図４（ｃ）は、利用者が前方を視認した際の視界に対応する。

図４に示す例においても、第１例（図３）と同様、撮像部４０によって撮像可能な撮像範囲４０１と、検出部によって検出可能な検出範囲４４１と、表示部３２ａ及び３２ｂによって表示可能な表示領域３２１と、が示されている。第２例においては、検出可能な検出範囲４４１は、撮像範囲４０１の下方に位置する。

図４に示す例においても、第１例（図３）と同様、ウェアラブル装置１は、３次元空間である検出範囲４４１内で所定物の所定動作を検出し、該所定動作に応じた所定機能を実行可能である。所定動作は、第１例（図３）と同様である。

図４の例では、所定機能として、撮像部４０によって撮像画像を取得する機能を実行する場合を示している。

ここで、ウェアラブル装置１が撮像中である、即ち、撮像部４０が前景を撮像し、該撮像した画像を記憶部２４に逐次伝送するとともに記憶部２１にて一時的に保存している状態である場合、ウェアラブル装置１は、逐次伝送される撮像画像中に所定物が含まれていることを検出可能である。また、逐次伝送される撮像画像から所定物の所定動作がなされたか否かを検出することも可能であり、さらに、所定動作を検出したことに基づいて、所定機能を実行することも可能である。従って、撮像部４０は、現実の空間に在る所定物を検出する検出部４４と同様に扱われて良い（撮像部４０と検出部４４とを、一の検出部として見なしても良い）。即ち、ウェアラブル装置１は、撮像部４０の撮像範囲４０１と検出部４４の検出範囲４４１とを合わせた空間に所定物が在る状態において、該所定物の所定動作を検出可能である。撮像部４０は、検出部４４と区別される第２検出部として機能する。

本実施形態におけるウェアラブル装置１は、該ウェアラブル装置１が撮像機能を起動したことにより撮像中となったときには、撮像部４０（第２検出部）と検出部４４とを、一の検出部として見なした場合における該検出部の検出範囲を変更しても良い。例えば、ウェアラブル装置１が撮像中でない場合においては、上肢を検出するための検出範囲を撮像範囲４０１と検出範囲４４１とを合わせた範囲とし、一方で、撮像中である場合には、上肢を検出するための検出範囲を検出範囲４４１のみとしても良い。即ち、ウェアラブル装置１が撮像中である場合には、撮像範囲４０１内で上肢の所定動作を検出しても、該所定動作に応じた所定機能を実行させないようにする。

このような構成を有することにより、ウェアラブル装置１は、撮像範囲内に所定物（上肢）がある状態で、撮像画像の取得を行うための操作等がなされることによって、上肢が画像中に映った撮像画像が取得される、といったことが生じず、使い勝手が良くなる。

ここで、上記の撮像機能は、検出部４４の検出範囲４４１において、仮想平面４４２を規定するとともに、仮想平面４４２の座標と表示範囲３２１における所定範囲の座標とを対応付けることによって、仮想平面４４２に対する上肢Ｈ（例えば指先）の位置に基づいて、表示範囲３２１における位置の指定を行えるようにしても良い。具体的に、ウェアラブル装置１は、検出範囲４４１における指先の位置を検出するとともに、該位置を、仮想平面４４２に対して、該仮想平面４４２と垂直な方向から投影した場合に、該仮想平面４４２に投影される投影位置を検出する。そして、仮想平面４４２における投影位置に基づいて、該投影位置に対応付けられた表示範囲３２１の位置を指定する。図４（ｃ）に示すように、仮想平面４４２における投影位置に基づいて、該投影位置に対応付けられた表示範囲３２１における、アイコン５３に重畳する位置が利用者によって指定されている。そして、アイコン５３に重畳する位置が指定されていることに基づいて、アイコン５３に対応する機能（撮像画像を取得する機能）が実行される。

ここで、仮想平面４４２の向きは、種々の条件によって規定されて良い。例えば、図４（ｂ）に示すように、検出範囲４４１における中心方向Ｃと仮想平面４４２とが所定角度Ａで交わるような向きとなるように設定されている。ここで、所定角度Ａは、例えば、４５〜９０度程度として良い。ここで、中心方向Ｃは、略角錐状の３次元空間を有する検出範囲４１１（図４（ａ）参照）における底面に相当する部分の略中心を通る線（図４（ｂ）参照）であって良い。

また、仮想平面４４２の向きは、自装置（ウェアラブル装置１）と所定物（指先等の上肢における所定箇所）とを通る仮想線と所定角度Ａで交わるような向きとなるように設定しても良い。

また、仮想平面４４２の向きは、利用者の顔の所定位置（例えば、目）と所定物（指先等の上肢における所定箇所）とを通る仮想線と所定角度Ａで交わるような向きとなるように設定しても良い。このとき、ウェアラブル装置１は、利用者の顔の所定位置（例えば、目）を、ウェアラブル装置１における利用者の顔に面する部分に設けられる撮像部（或いは視線検出部４４）によって検出して良い。

また、検出範囲４４１において、利用者の指先が伸展している場合には、該伸展方向と仮想平面４４２とが所定角度Ａで交わるような向きとなるように、仮想平面４４２が規定されて良い。

また、視線検出部４２の検出結果によって推定される利用者の視線方向と所定角度Ａで交わるように仮想平面４４２の向きが規定されても良い。

以上の構成によれば、利用者が文字入力操作を行うに際して、利用者が想像している面の向きとウェアラブル装置１が規定する仮想面４４２の向きとが近くなるため、利用者の思い通りの操作が実行されやすくなる。特に、所定角度Ａが９０度に近づくほど、利用者が想像している面の向きとウェアラブル装置１が規定する仮想面４４２の向きとがより近くなり、使い勝手が向上する。

なお、利用者が表示領域３２１を視認し得ない検出範囲４４１内において、上肢の動作に基づいて機能を実行する場合には、図４（ｃ）に示すように、検出範囲４４内において検出される上肢Ｈの形状や位置に基づいて、検出した形状と同様な形状の仮想オブジェクトＨ’を表示領域３２１内における所定位置に、表示して良い。これにより、検出範囲が表示領域３２１と重畳しない場合であっても、表示領域３２１内に仮想オブジェクトＨ’を表示し、該仮想オブジェクトを視認しながら操作できるので、使い勝手が良い。

また、撮像機能を起動する例を示したが、他の例として、上肢（所定物）の移動の軌跡情報に基づいた操作（例えば、利用者が空中で文字を描くように指を移動させた軌跡情報に基づいて文字を入力する文字入力操作）を実行内容に含む機能を起動する構成であっても良い。機能の実行内容が上肢の移動の軌跡情報に基づいた操作を含む場合には、表示視認範囲（撮像範囲４０１）と重ならない範囲である検出範囲４４１のみを、検出適用範囲としても良い。ここで、検出適用範囲とする検出範囲４４１は、表示視認範囲（撮像範囲４０１）よりも下方に位置する。また、検出範囲４４１における、利用者の目の高さの位置から所定長さ以上、下方に位置する範囲を、検出適用範囲として規定しても良い。

このように、ウェアラブル装置１は、所定機能の実行内容が、所定物の移動の軌跡情報に基づいた操作を含むか否かを判定し、該判定結果によって、検出適用範囲を変更する構成を有する。そして、所定物の移動の軌跡情報に基づいた操作を含む場合には、表示視認範囲と重ならない範囲を、検出適用範囲とする。

このような構成により、文字入力操作等の、現実の空間の所定位置を指定するために上肢を顔の位置（表示視認範囲）にまで上げる必要のない操作においては、検出範囲をより下方に位置に変更できるので、上肢を不必要に上方へ上げる必要がなく、楽に操作を行うことができる。

ここで、上記の文字入力機能は、検出部４４の検出範囲４４１において、所定物（上肢）の２次元的な移動を検出するための仮想平面を規定し、該仮想平面に対する上肢の移動の軌跡に基づいて利用者が所望とする文字を検出することによって実現されて良い。ウェアラブル装置１は、仮想平面を規定すると、検出範囲における仮想平面の座標を記憶し、検出範囲４４１内における上肢の所定領域（例えば指先）の位置を仮想平面に対して垂直な方向から投影し、該仮想平面に投影される投影位置の座標を検出する。そして、指先の仮想平面に対する投影位置の座標変化に基づいて、指先の移動の軌跡を検出する。例えば、利用者が文字入力を行うべく、指先を移動させることで文字を描く動作を行ったとすると、指先の移動の軌跡を仮想平面に投影させた場合における、該仮想平面上での軌跡に基づいて文字の検出を行う。

また、撮像機能や文字入力機能を起動する例を示したが、他の例として、所定物の所定動作によって現実の空間の所定位置を指定する操作を実行内容に含む機能を実行しても良い。ウェアラブル装置１は、機能の実行内容が、所定物の所定動作によって現実の空間の所定位置を指定する操作を含む機能である場合には、検出部４４の検出適用範囲を撮像範囲４０１のみとしても良い（即ち、検出範囲４４１内における所定動作によっては、機能の実行に係る動作を実行しない）。図４の例において、撮像範囲４０１は、表示領域３２１に囲われている（図４（ｃ）を参照）ことから、利用者によって視認可能な表示視認範囲と称する。このような構成によれば、現実の空間の所定位置を指定する操作の適用範囲を、利用者が視認しながら行える程度の適当な範囲とすることができ、意図しない操作がなされてしまう、といったことを減らす事ができる。なお、所定物の所定動作によって現実の空間の所定位置を指定する機能である場合には、上記のような仮想平面は、表示領域３２１における奥行き方向（ｚ軸方向）と直交する向きとして良い。

以上に、所定機能を起動したときの該所定機能の実行内容に応じて、検出部４４（或いは撮像部４０（第２検出部）と検出部４４とを一つの検出部と見なした場合の該検出部）の検出適用範囲を変更する種々の例を示した。ここで、ウェアラブル装置１は、検出部の検出結果から所定物の動作が検出されたことを契機に、該動作（ジェスチャ）の種類に応じた機能を起動する構成を有していても良い。例えば、両手の指で四角を形成する、即ち、撮像用フレームを模した四角を形成するジェスチャがなされた場合には、実行内容を撮像機能とし、一方で、人差し指が伸展している状態で所定の文字を描こうとするジェスチャがなされた場合には、実行内容を文字入力機能として検出しても良い。また、所定機能の起動の指示を受け付ける手段としては、例えば、表示領域３２１内に撮像機能に対応付けられた表示画像と、文字入力機能に対応付けられた表示画像と、を表示し、利用者の上肢が重畳した一方の表示画像に対応する機能を実行するようにしても良い。

機能の実行内容によって検出範囲を変更する際の各変更パターンを図５に示す。パターン１は、第１例（図３）の場合と同様であり、撮像範囲４０１と検出範囲４４１とが重畳し、また、撮像範囲４０１と検出範囲４４１との双方が表示領域３２１と重畳している例である。このような構成に依れば、利用者は、撮像範囲４０１と検出範囲４４１のいずれにおいても、所定物（上肢）を視認しながら、動作（ジェスチャ）を行うことができる。

パターン２は、第２例（図４）の場合と同様であり、表示領域３２１と重畳する撮像範囲４０１と、表示領域３２１と重畳しない検出領域４４１と、によって上肢の所定動作を検出可能である場合に、表示領域３２１と重畳する撮像範囲４０１における上肢の所定動作によって、所定機能を実行する例である。撮像範囲４０１（第２検出部の検出範囲）は、利用者の前後方向において、利用者の目の高さと一致する部分を有しているため、現実に存在する所定物（例えば指先）を視認しながら、動作（ジェスチャ）を行いやすい。従って、所定物の所定動作によって現実の空間の所定位置を指定する操作を実行内容に含む機能に適用して良い。なお、このような場合においては、上記のような仮想オブジェクトＨ’を表示しない構成として良い。

パターン３は、第２例（図４）の場合と同様、表示領域３２１と重畳する撮像範囲４０１と、表示領域３２１と重畳しない検出領域４４１と、によって上肢の所定動作を検出可能である場合である。パターン３は、検出領域４４１において、上肢の動作による操作を行う際に基準となる仮想平面が、検出範囲４４１の中心方向Ｃに所定角度Ａで交わるような向き（或いは、上記に示した種々の条件によって規定される向き）に設定されている場合である。

パターン４は、第２例（図４）の場合と同様、表示領域３２１と重畳する撮像範囲４０１と、表示領域３２１と重畳しない検出領域４４１と、によって上肢の所定動作を検出可能である場合である。パターン４は、表示領域３２１と重畳しない検出領域４４１において、仮想平面の向きが水平方向となるように設定されている場合である。

例えば、利用者が机の上に指を載せた状態で指を動かすことにより操作を行う場合も想定される。このような場合には、パターン４のように、机の上面と仮想平面が平行となるように該仮想平面の向きを変更しても良い。即ち、ウェアラブル装置１は、検出部４４（或いは撮像部４０）の検出結果から、現実の空間において所定の大きさの面を検出した場合、仮想平面の向きを、該仮想平面が前記検出した面と平行となるような向きに変更する構成を特徴としていても良い。

これまでに、本発明に係る実施形態を説明してきた。ここで、本実施形態に係るウェアラブル装置１は、撮像部４０（第２検出部）の撮像範囲４０１において上肢を検出可能なウェアラブル装置１であって、また、検出部４４の検出範囲４４１においても上肢を検出可能であることから、上肢を検出可能な範囲が拡張されているものと見なされても良い。このような構成を有することによって、例えば以下のような応用が可能になる。

図６は、本実施形態におけるウェアラブル装置１の所定機能の実行例を説明するための図である。図６に示す機能は、制御プログラム２４ａが提供する制御に基づいて実行されるものである。

図６において、前景（左列）は、利用者がウェアラブル装置１を頭部に装着した状態で、表示部３２ａ及び３２ｂを透して視認している前方の景色である。図６において、右列には、前景に対する、ウェアラブル装置１の撮像範囲４０１及び検出範囲４４１の位置の関係を示している。前景に対する撮像範囲４０１及び検出範囲４４１の位置は、ウェアラブル装置１を装着する利用者の位置や向きによって変化する。なお、図６に示す例では、ウェアラブル装置１が撮像中である、即ち、撮像部４０が前景を撮像し、該撮像した画像を記憶部２４に逐次伝送するとともに記憶部２１にて一時的に保存している状態にある。

ステップＳ１０において、前景には、撮像部４０によって撮像され得る被写体Ｐ１と被写体Ｐ２とが存在する。利用者は、表示部３２ａ及び３２ｂを透して、被写体Ｐ１と被写体Ｐ２を視認することができる。利用者は、右手Ｈ（上肢）によって被写体Ｐ１を撮像の対象として指定している。より具体的には、利用者は、撮像部４０又は検出部４４の検出における深度方向（検出範囲における略中心の方向）において、右手Ｈが被写体Ｐ１と重畳するように、右手Ｈを移動している。図６の例では、撮像部４０又は検出部４４の検出における深度方向と利用者の前後方向（ｚ軸方向）とが略一致している場合を示している。そして、右手Ｈが被写体Ｐ１と重畳している状態を所定時間継続させること等によって、被写体Ｐ１を撮像の対象として指定した状態とすることができる。ここで、ウェアラブル装置１は、利用者によって、被写体Ｐ１が撮像の対象として指定されたことを記憶する。その後、ウェアラブル装置１の位置や向きが変化した場合には、指定された被写体Ｐ１が撮像範囲４０１内または検出範囲４４１に在る場合には、被写体Ｐ１を検出し続ける。若しくは、ウェアラブル装置１の位置や向きが変化した場合には、該変化に基づいて、ウェアラブル装置１と被写体Ｐ１との相対的な位置関係の変化を算出する。これにより、ウェアラブル装置１の位置や向きが変化した後であっても、ウェアラブル装置１は、指定された被写体Ｐ１のウェアラブル１に対する位置を認識する。なお、ウェアラブル装置１は、利用者が撮像範囲４０１又は検出範囲４４１を視認可能なように、表示領域（図６では不図示）において、撮像範囲４０１又は検出範囲４４１の外郭に相当する枠等を表示しても良い。

ステップＳ１１において、利用者は移動、又は、首の向きを変えている。利用者の移動や向きの変更等に伴うウェアラブル装置１の位置や向きの変化等に起因して、撮像範囲４０１及び検出範囲４４１の前景に対する位置が、ステップＳ１０の場合に比して変化している。ここで、前景における被写体Ｐ１及び被写体Ｐ２の位置は変化していないものとする（Ｓ１１における左列を参照）。ステップＳ１１において、利用者は、撮像部４０又は検出部４４の検出における深度方向において、右手Ｈが被写体Ｐ２と重畳するように、右手Ｈを移動させることによって、被写体Ｐ２を撮像の対象として指定している。そして、ウェアラブル装置１は、利用者によって、被写体Ｐ１が撮像の対象として指定されたことを記憶する。ステップＳ１１に示されるように、ウェアラブル装置１は、被写体Ｐ２が撮像範囲４０１外に在ることを検出している。また、ステップＳ１１において、ウェアラブル装置１は、被写体Ｐ２の検出範囲４４１における位置、或は位置の変化に基づいて、被写体Ｐ２が撮像範囲４０１からどの程度離れた位置に在るのか、又は被写体Ｐ２が撮像範囲から離れている状態にあるか、又は被写体Ｐ２が撮像範囲４０１に近づいている状態にあるか、等を推定しても良い。

ステップＳ１２では、前景（左列）において、被写体Ｐ２は被写体Ｐ１に近づく方向（左方向）に移動している（被写体Ｐ２は例えば動物である）。このとき、利用者は、移動した被写体Ｐ２の位置の変化を追うように、移動や向きの変更を行い、これに伴って、撮像範囲４０１及び検出範囲４４１が左方向へ移動している（右列を参照）。そして、撮像範囲４０１に被写体Ｐ１と被写体Ｐ２の双方が撮像範囲４０１内に在る状態となったことを検出したことに基づいて、ウェアラブル装置１は撮像画像を取得する。

このような機能を実行することにより、複数の被写体を同時に撮像したい場合であって、少なくとも一の被写体が動物である場合には、複数の被写体の前景における位置を予め検出し、少なくとも一の被写体（動物）が所望とする位置（他の被写体から所定距離以内の位置）へ移動したタイミングでウェアラブル装置１が撮像画像の取得を行うので、利用者がタイミングを計って、操作を行う必要がない。

また、予め、被写体の前景における位置を検出する際に、該検出の範囲を撮像範囲４０１のみでなく、検出範囲４４１を加えた範囲に拡張できるので、被写体同士が離れている場合であっても、それぞれの被写体を指定することができる。

以上のように、本実施形態に係るウェアラブル装置１は、撮像部４０と、現実の空間に在る所定物を検出する検出部４４と、を備え、検出部４４の検出結果に基づいて検出される所定物の所定動作に応じて所定機能を実行可能なウェアラブル装置であって、所定物の所定動作に応じて、検出部の検出範囲内に含まれる少なくとも一つの被写体の指定を受付け、該受付けがなされている状態において、被写体が撮像部４０の撮像範囲における所定の位置に移動したことを契機に、撮像部４０が撮像する撮像画像を保存（取得）する。

また、所定物の所定動作に応じて、検出部４４の検出範囲内に含まれる複数の被写体の指定を受付け、該受付けがなされている状態において、複数の被写体同士が撮像部４０の撮像範囲４０１において所定の位置関係となったことを契機に、撮像部４０が撮像する撮像画像を保存（取得）する。

（変形例１）
以上に実施形態を説明してきた。以下に、上記の実施形態における変形例を説明する。

図７は、本実施形態における変形例を説明するための図である。上記の実施形態では、検出部４４の検出範囲４４１と撮像部４０（第２検出部）の撮像範囲４０１とを合わせた検出範囲において、上肢の所定動作を検出可能であって、機能の実行内容に応じて、検出範囲を変更する構成を例示したが、上肢の検出を行うための機能部は、これらの組み合わせに限定されない。例えば、図７（ａ）に示すように、互いに検出範囲の異なる複数の検出部４４を備え、互いに異なる検出範囲を合わせた検出範囲（４４１及び４４３）において、上肢の所定動作を検出可能であるものとしても良い。そして、複数の検出部４４の互いに異なる検出範囲を合わせた検出範囲の内、機能の実行内容に応じて、検出範囲における適用範囲を変更する構成として良い。

また、例えば、図７（ｂ）に示すように、一の検出部４４を有し、機能の実行内容に応じて、検出部４４における検出範囲における検出適用範囲を変更する構成として良い。図７（ｂ）では、検出部４４における検出適用範囲が範囲４４１ａ（斜線部分）に規定されている例が示されている。

なお、所定物の検出適用範囲を変更は、例えば、赤外線照射部（又は赤外線撮像部）をウェアラブル装置１に機械的に軸支するように設け、ウェアラブル装置１に対して回動させることによって、赤外線照射部の向きを変更することによって実現されても良い。

また、所定物の検出適用範囲を変更は、赤外線照射範囲（又は赤外線撮像範囲）を変更することによって実現されても良い。この場合、赤外線の照射範囲を変更可能な走査部や偏光部材等が別途ウェアラブル装置１に設けられる。ウェアラブル装置１にプロジェクタを設けることによって、利用者に画像を視認させる構成とした場合に、該プロジェクタの光源から照射される光を二次元的に走査する走査部を、赤外線の照射範囲を変更するための走査部として兼ねても良い。

図７に例示した構成は、機能の実行内容が、所定物の所定動作によって現実の空間の位置指定を行う操作を含む機能や、所定物の移動の軌跡情報に基づいた操作を含む機能等である場合に、適用可能である。

（変形例２）
上記の実施形態では、図５に示した検出パターン１の適用に際して、検出範囲４４１における、撮像範囲４０１と重畳する第１範囲４４１ａにおいて、所定物の所定動作に基づく所定機能（撮像機能）の実行を禁止する構成（第１例（図３参照））を説明したが、このような構成に限定されない。例えば、検出範囲４４１における、撮像範囲４０１と重畳する第１範囲４４１ａにおいても、所定物を検出し、該所定物の所定動作に基づく所定機能の実行を行っても良い。

応用例としては、例えば、検出範囲４４１と撮像範囲４０１との相互の位置関係が予め記憶されている状態において、第１範囲４４１ａにおける上肢の位置を、撮像部４０ではなく検出部４４によって検出し、そして、検出範囲４４における上肢の位置に基づいて、撮像範囲４０１における上肢の位置を推定する構成が採用されて良い。

この場合、ウェアラブル装置１は、撮像部４０による合焦処理の適用範囲を、ウェアラブル装置１から所定距離以上前方の空間となるように予め設定している。そして、ウェアラブル装置１は、検出部４４の検出結果に基づいて推定される、撮像範囲４０１における上肢の位置を中心として、該中心近傍の被写体に焦点を合わせるようにして良い。ここで、「所定距離以上前方」との事項における、「所定距離」とは、ウェアラブル装置１の前方において、利用者の上肢が存在し得る空間に基づく距離であり、例えば、ウェアラブル装置１から前方５０ｃｍまでの距離である。従って、ウェアラブル装置１には、撮像部４０による合焦処理を実行するに際して、利用者の上肢を合焦対象とし得ない設定が予めなされている。このような条件において、ウェアラブル装置１は、上肢の位置に基づく合焦位置の指定を可能にしつつも、上肢を合焦対象とし得ない範囲にて、合焦処理を実行できるため、該上肢に合焦されてしまう、といったことを防ぐことができる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

上記の実施形態では、ウェアラブル装置１が、眼鏡形状を有する例を示してきたが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、ウェアラブル装置１は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。

また、上記の実施形態では、表示部３２がユーザの左右の目の前に設けられる一対の表示部３２ａ、３２ｂを有している構成を例示してきたが、これに限定されず、表示部３２は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。

また、上記の実施形態では、正面部の縁部が、表示部３２の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部３２の表示領域の縁の一部のみを囲っている構成であっても良い。

また、上記の実施形態では、図４を参照して説明したように、実行する機能が撮像機能や文字入力機能（上肢の移動の軌跡情報に基づく操作を含む機能）である場合には、上肢を検出するための検出適用範囲を表示視認範囲とし、一方で、実行する機能が現実の空間の所定位置を指定する操作を含む機能である場合には、上肢を検出するための検出適用範囲を、表示視認範囲を除いた範囲とする構成を示したが、機能の実行内容と、検出適用範囲との組み合わせ、上記のものに限定されない。他の種々の実行内容を含む如何なる機能に対しても、該機能に適した検出範囲が適用される。

また、上記の実施形態では、所定物として上肢を検出する構成を示したが、これに限定されない。例えば、所定物は、利用者の身体ではない、利用者が把持する物（例えば、ペン等の棒状の物）であってよい。また、ここで利用者が把持する物は、携帯電話等の携帯電子機器であったり、利用者の上肢に装着される腕時計型端末等の電子機器であっても良い。

また、上記の実施形態では、利用者の上肢として手や指を撮像部４０（或いは検出部４４）によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても検出可能である。

上記の実施形態では、ウェアラブル装置１の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。

１ ウェアラブル装置
１ａ 前面部
１ｂ 側面部
１ｃ 側面部
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２４ｂ 撮像データ
２５ 検出処理部
２６ 表示制御部
３２ａ、３２ｂ 表示部
４０、４２ 撮影部
４４ 検出部

Claims (16)

1. 撮像部と、
   現実の空間に在る所定物を検出する検出部と、を備え、
   前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、
   前記撮像部が撮像中のときは、
   前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を実行しない
   ウェアラブル装置。
2. 表示部を備え、
   前記表示部の表示領域における前記撮像部の撮像範囲と重畳しない所定領域に、前記所定機能に関連する表示画像を表示し、
   前記所定領域と前記所定物が重畳したことに基づいて、前記所定機能を実行する
   請求項１に記載のウェアラブル装置。
3. 現実の空間に在る所定物を検出する検出部を備え、
   前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行する、頭部に装着されるウェアラブル装置であって、
   前記所定機能を起動すると、該所定機能の実行内容に応じて、前記検出部の検出適用範囲を変更する
   ウェアラブル装置。
4. 前記所定機能の実行内容が、前記所定物の所定動作によって現実の空間の位置指定を行う操作を含むか否かを判定し、該判定結果によって、前記検出適用範囲を変更する
   請求項３に記載のウェアラブル装置。
5. 所定の表示領域を有した表示部を備え、
   前記所定機能の実行内容が、前記所定物の所定動作によって現実の空間の位置指定を行う操作を含む場合には、
   利用者によって前記表示領域を視認し得る表示視認範囲を、前記検出適用範囲とする
   請求項４に記載のウェアラブル装置。
6. 前記所定機能の実行内容が、前記所定物の移動の軌跡情報に基づいた操作を含むか否かを判定し、該判定結果によって、前記検出適用範囲を変更する
   請求項３に記載のウェアラブル装置。
7. 所定の表示領域を有した表示部と、
   利用者によって前記表示領域を視認し得る表示視認範囲を規定する制御部と、を備え、
   前記所定機能の実行内容が、前記所定物の移動の軌跡情報に基づいた操作を含む場合には、
   前記検出部の検出可能な範囲の内、前記表示視認範囲と重ならない範囲を、前記検出適用範囲とする
   請求項６に記載のウェアラブル装置。
8. 前記検出適用範囲は、前記表示視認範囲よりも下方に位置する
   請求項７に記載のウェアラブル装置。
9. 制御部を備え、
   前記検出部は、現実の空間を３次元的に検出可能であり、
   前記制御部は、前記検出部の３次元的な検出範囲内において、仮想平面を規定し、
   現実の空間における前記所定物の位置を検出するとともに、該位置を、前記仮想平面に対して、該仮想平面と垂直な方向から投影した場合に、該仮想平面に投影される投影位置を検出し、
   前記仮想平面における、前記投影位置に基づいて、前記所定機能を実行する
   請求項３に記載のウェアラブル装置。
10. 所定の表示範囲を有する表示部を備え、
    前記制御部は、前記仮想平面の座標と、前記表示範囲における所定範囲の座標とを対応付け、
    前記表示範囲における前記投影位置に対応した位置に前記所定物の形状に基づく仮想オブジェクトを表示する
    請求項９に記載のウェアラブル装置。
11. 撮像部と、
    現実の空間に在る所定物を検出する検出部と、を備え、
    前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置であって、
    前記所定物の所定動作に応じて、前記検出部の検出範囲内に含まれる少なくとも一つの被写体の指定を受付け、該受付けがなされている状態において、前記被写体が前記撮像部の撮像範囲における所定の位置に移動したことを契機に、該撮像部が撮像する撮像画像を保存する
    ウェアラブル装置。
12. 前記所定物の所定動作に応じて、前記検出部の検出範囲内に含まれる複数の被写体の指定を受付け、該受付けがなされている状態において、前記複数の被写体同士が前記撮像部の撮像範囲において所定の位置関係となったことを契機に、該撮像部が撮像する撮像画像を保存する
    請求項１１に記載のウェアラブル装置。
13. 撮像部と、
    現実の空間に在る所定物を検出する検出部と、を備え、
    前記撮像部が撮像中のときは、
    前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳しない範囲において、前記所定動作を検出したことに基づいて、前記撮像部の機能に係る処理を実行する
    ウェアラブル装置。
14. 撮像部と、
    表示部と、
    現実の空間に在る所定物の所定動作を検出する検出部と、を備え、
    前記撮像部が撮像中のときは、
    前記表示部の表示領域における前記撮像部の撮像範囲と重畳しない所定領域において、前記所定動作を検出したことに基づいて、前記撮像部の機能に係る処理を実行する
    ウェアラブル装置。
15. 撮像部と、現実の空間に在る所定物を検出する検出部と、を備え、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行するウェアラブル装置によって実行される制御方法であって、
    前記撮像部が撮像中のときは、
    前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を実行しない
    ことを特徴とする制御方法。
16. 撮像部と、現実の空間に在る所定物を検出する検出部と、を備えるウェアラブル装置に、前記検出部によって検出される、前記所定物の所定動作に応じて所定機能を実行させる制御プログラムであって、
    前記撮像部が撮像中のときは、
    前記検出部の検出範囲における、前記撮像部の撮像範囲と重畳する第１範囲においては、該第１範囲内で前記所定物の所定動作を検出しても、該所定動作に応じた前記所定機能を前記ウェアラブル装置に実行させない
    ことを特徴とする制御プログラム。