JP2016096513A - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供する。【解決手段】情報処理システムは、ユーザの推定視線方向を検出し、方向に対応付けられたＡＲコンテンツの情報に基づき、検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御し、注視時間が所定時間以上である推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する。【選択図】図３

Description

本発明は、情報処理技術に関する。

近年、様々なウェアラブルデバイスが開発されている。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイスである。例えば、特許文献１には頭部に装着する眼鏡型のウェアラブルデバイスについて開示されている。

特開２０１４−０８６９０５号公報

ウェアラブルデバイスは、ユーザの身体に装着されるという点に特徴を有するデバイスであり、そのような特徴を利用した有益な機能を実現可能な技術が期待されている。

本発明は上記に鑑みてなされたものであり、その目的は、ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供することにある。

本発明に係る情報処理システムは、ユーザの推定視線方向を検出する検出手段と、方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御手段と、注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力手段とを備える。

本発明に係る情報処理方法は、ユーザの推定視線方向を検出する検出ステップと、方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御ステップと、注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力ステップとを備える。

本発明に係るプログラムは、コンピュータに、ユーザの推定視線方向を検出する検出ステップと、方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御ステップと、注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力ステップとを実行させる。

また、本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

本発明によれば、ウェアラブルデバイスを利用した有益な機能を実現可能な技術を提供することができる。

一実施形態における情報処理システムのハードウェア構成を示す概念図である。 一実施形態における眼鏡型デバイスの外観構成を示す図である。 一実施形態における眼鏡型デバイスの外観構成を示す図である。 一実施形態における眼鏡型デバイスの機能構成を示す図である。 一実施形態における推定視線方向を説明するための概念図である。 一実施形態における推定視線方向を説明するための概念図である。 一実施形態における表示部への表示例を示す図である。 一実施形態における表示部への表示例を示す図である。 一実施形態におけるサーバ装置の機能構成を示す図である。 一実施形態において眼鏡型デバイスにより実行される処理の例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。

［ハードウェア構成］
図１を参照して、一実施形態に係る情報処理システムのハードウェア構成の例について説明する。情報処理システム１は、ウェアラブルデバイスを用いた各種のサービスを提供するためのシステムである。情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を主に含む。眼鏡型デバイス２０及び携帯端末３０は、ネットワークＮを介してサーバ装置１０と相互に通信することができる。また、眼鏡型デバイス２０は、携帯端末３０と（例えば、Bluetooth（登録商標）やＷｉ−Ｆｉ（登録商標）等により）相互に通信することができる。情報処理システム１は、例えば、ウェアラブルデバイスである眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザに対して、地図情報に基づく各種の情報提供サービスを行うことができる。

ネットワークＮは、サーバ装置１０と、眼鏡型デバイス２０及び携帯端末３０との間で情報を送受信するための通信回線である。ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、又はこれらの少なくとも一部の組み合わせ等のいずれであってもよく、有線であるか無線であるか（もしくはこれらの組み合わせであるか）を問わない。

サーバ装置１０は、専用又は汎用のサーバコンピュータなどの情報処理装置により構成される。なお、サーバ装置１０は、単一の情報処理装置より構成されるものであっても、ネットワーク上に分散した複数の情報処理装置より構成されるものであってもよい。

また、サーバ装置１０は、制御部１１、通信部１２、及び記憶部１３を主に備える。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ及びメモリ１１ｂを主に備えて構成される。各構成の説明は後述する。サーバ装置１０は、例えば、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、図１には、サーバ装置１０が備える主要な構成が示されているにすぎず、サーバ装置１０は、一般的な情報処理装置が備える他の構成も備える。

眼鏡型デバイス２０は、眼鏡型の形状のウェアラブルデバイスである。ウェアラブルデバイスとは、ユーザが身体（例えば、腕や頭部）に装着して利用することが想定されたデバイス（情報処理装置）である。すなわち、眼鏡型デバイス２０は眼鏡型の形状であるため、ユーザは、眼鏡をかけるように眼鏡型デバイス２０を頭部に装着して利用することができる。眼鏡型デバイス２０は、制御部２１、通信部２２、記憶部２３、操作部２４、表示部２５、カメラ２６、センサ２７、及びマイク２８を主に備えて構成される。制御部２１は、ＣＰＵ２１ａ及びメモリ２１ｂを主に備えて構成される。眼鏡型デバイス２０は、例えば、ＣＰＵ２１ａがメモリ２１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、ユーザは眼鏡型デバイス２０の装着時に眼鏡型デバイス２０に備えるこれらの構成のそれぞれも結果として装着することになるため、これらの構成のそれぞれも狭義のウェアラブルデバイスとみなすことができる。これらの各構成の説明は後述する。

図２Ａ及び図２Ｂは、眼鏡型デバイス２０の外観の例を示している。この例では、図２Ａに示すように、眼鏡型デバイス２０は外観上、操作部２４、表示部２５及びカメラ２６を備えることが示されている。操作部２４は、眼鏡型デバイス２０の外側部に位置する。ユーザは操作部２４をスワイプ、タップ等をすることによって、眼鏡型デバイス２０に対して操作指示を行うことができる。

表示部２５は、眼鏡型デバイス２０を装着したユーザがプリズムなどにより表示内容を視認可能な位置に設置されるように構成される。この例では、図２Ｂに示すように、表示部２５は、単眼式の表示装置であり、眼鏡型デバイス２０を装着したユーザが眼鏡型デバイス２０の右側レンズの右上を見たときに表示内容を確認できるような位置に設置されている。表示部２５における領域２５ａは、画像などの表示対象を表示可能な領域（表示可能領域）である。

カメラ２６は、眼鏡型デバイス２０を装着したユーザの視線方向に向けられ、当該ユーザが見ていると推定されるもの（推定注視点に存在するもの）を撮像／撮影可能な位置に設置されるように構成される。

なお、図２Ａ及び図２Ｂの例では、表示部２５は、単眼式の表示装置であったが、これに限定されない。表示部２５は、両眼式の表示装置であってもよく、眼鏡型デバイス２０を装着したユーザが両眼で表示内容を確認できるように構成されていてもよい。具体的には、表示部２５は、眼鏡型デバイス２０の両眼のレンズ部分に透過型ディスプレイを設置することによって構成されてもよい。

図１の説明にもどる。携帯端末３０は、例えば、携帯電話機（スマートフォンを含む）、タブレット端末、ＰＤＡ（Personal Digital Assistants）、ナビゲーション装置、パーソナルコンピュータなどの携帯可能な情報処理装置である。携帯端末３０は、制御部３１、通信部３２、記憶部３３、操作部３４、表示部３５及び測位部３６を主に備えて構成される。制御部３１は、ＣＰＵ３１ａ及びメモリ３１ｂを主に備えて構成される。各構成の説明は後述する。携帯端末３０は、例えば、ＣＰＵ３１ａがメモリ３１ｂ等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。

制御部１１，２１，３１は、これらを備える各情報処理装置の各種構成の動作を制御し、また、各種処理の実行を制御する。制御部１１，２１，３１において実行される処理の詳細は後述する。通信部１２，２２，３２は、他の情報処理装置と通信するための通信インタフェースである。記憶部１３，２３，３３は、ハードディスク等の記憶装置によって構成される。記憶部１３，２３，３３は、各情報処理装置における処理の実行に必要な各種プログラムや各種の情報を記憶する。操作部２４，３４は、ユーザからの操作指示を受け付けるためのユーザインタフェースである。表示部２５，３５は、各種の画像や、各情報処理装置による処理結果を表示するためのユーザインタフェースである。

カメラ２６は、静止画／動画を撮影／撮像可能な装置である。
センサ２７は、各種のセンサにより構成される。センサ２７は、例えば、ジャイロセンサ、加速度センサ、地磁気センサ、及び／又はイメージセンサ等を含むことができる。センサ２７により、例えば、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向に基づいて当該ユーザの視線の方向の方位角（基準となる方位との間の水平方向の角度）の推定値を検知することや、当該ユーザの頭部の傾きに基づいて当該ユーザの視線の方向の仰俯角（水平を基準とした上下方向の角度）の推定値を検知することができる。なお、センサ２７は、ユーザの眼球の動きから当該ユーザの視線方向の方位角及び仰俯角の推定値を検知できるようにしてもよい。また、センサ２７は、眼鏡型デバイス２０を装着するユーザの瞼の動きに基づいて瞬きを検知することもできる。
マイク２８は、眼鏡型デバイス２０を装着するユーザが発する声／音を電気信号に変換する装置である。

測位部３６は、ＧＰＳ衛星や通信機器（例えば基地局やルーター）から受信した信号に基づいて、携帯端末３０の位置（例えば、緯度、経度）を特定し、当該位置を特定した日時を特定する（すなわち、測位情報を特定する）処理を行う。

以上のように本実施形態において、情報処理システム１は、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０を含むがこれに限定せず、任意の装置を含むことができる。また、サーバ装置１０、眼鏡型デバイス２０及び携帯端末３０が有する構成の一部又は全部を有する構成を情報処理システムとして把握することもできる。例えば、眼鏡型デバイス２０が有する構成の一部を情報処理システムとして把握することができるし、眼鏡型デバイス２０が有する構成の一部と、携帯端末３０が有する構成の一部とを組み合わせた構成を情報処理システムとして把握することができる。

［機能構成］
図３を参照して、一実施形態に係る眼鏡型デバイス２０の機能構成の例を説明する。眼鏡型デバイス２０は、主な機能構成として、経路探索部２１１、現在地情報取得部２１２、角度情報取得部２１３、オブジェクト特定部２１４、表示制御部２１５、オブジェクト出力部２１６、アクション検知部２１７、及び音声認識部２１８を備える。以下に各機能構成の詳細を説明する。

経路探索部２１１は、眼鏡型デバイス２０のユーザからの操作指示に応じて、経路探索処理の実行の指示をサーバ装置１０に対して送信し、経路探索処理の実行結果（経路案内の情報を含む）を受信する。経路探索処理の実行の指示には、例えば、出発地、目的地、及び移動手段の情報などが含まれる。なお、経路探索処理の実行の指示は、携帯端末３０を介して行い、眼鏡型デバイス２０は、経路探索結果を携帯端末３０から受信するようにしてもよい。

また、経路探索部２１１は、経路探索に際し、ユーザからの操作指示に応じて、経路探索の目的地を検索することができる。例えば、まず、経路探索部２１１は、ユーザからの操作指示に応じて、目的地の種別（例えば、コンビニエンスストア、カフェ、駅、ファーストフード、又はレストラン）を特定し、特定された種別に一致する施設のうち、ユーザの現在地から所定距離以内（例えば、２００ｍ以内）に存在する１又は複数の施設をサーバ装置１０に記憶された地図情報（施設情報）に基づいて検索する。その後、経路探索部２１１は、検索された施設のうちユーザによって選択された施設を目的地として特定することができる。

現在地情報取得部２１２は、携帯端末３０により特定された携帯端末３０（のユーザ）の現在地情報を携帯端末３０から取得する。なお、携帯端末３０のユーザは、眼鏡型デバイス２０も携帯しているため、携帯端末３０の現在地情報は、眼鏡型デバイス２０の現在地情報とみなすこともできる。また、現在地情報は、携帯端末３０から取得することとしているが、これに限定されず、眼鏡型デバイス２０が測位処理部を備え、測位処理を行うことによって、現在地情報を特定してもよい。

角度情報取得部２１３は、センサ２７による検知結果に基づいて、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向の方位角及び仰俯角を特定する。角度情報取得部２１３は、当該方位角及び仰俯角に基づいて当該ユーザの視線の方向の方位角及び仰俯角の推定値（ユーザの推定視線が向けられた方向の情報）を角度情報として取得する。すなわち、角度情報取得部２１３は、ユーザの推定視線方向を検出する検出手段として機能する。なお、ユーザは、ウェアラブルデバイスである眼鏡型デバイス２０の装着時に結果として眼鏡型デバイス２０に備えるセンサ２７も装着することになるため、センサ２７もウェアラブルデバイスとみなすことができる。

オブジェクト特定部２１４は、（１）ユーザの推定視線が向けられた方向に応じて、又は（２）所定の検索結果に応じて、オブジェクトを特定する。以下にそれぞれの方法について説明する。本実施形態において「オブジェクト」とは、現実環境における何らかの対象を示す。

（１）ユーザの推定視線が向けられた方向に応じてオブジェクトを特定する方法
オブジェクト特定部２１４は、現在地情報取得部２１２により取得された現在地情報と、角度情報取得部２１３により取得された角度情報と、サーバ装置１０に記憶された地図情報とに基づいて、ユーザの推定視線が向けられたオブジェクトを特定する。

なお、ユーザの推定視線が向けられたオブジェクトの特定は、眼鏡型デバイス２０ではなく、サーバ装置１０又は携帯端末３０により行ってもよい。具体的には、サーバ装置１０で特定する場合、オブジェクト特定部２１４は、現在地情報取得部２１２により取得された（眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯する）ユーザの現在地情報と、角度情報取得部２１３により取得されたユーザの推定視線が向けられた方向の情報とをサーバ装置１０に送信し、その応答として、ユーザの推定視線が向けられた（位置に存在する）オブジェクトついての情報をサーバ装置１０から取得する。

図４及び図５を参照して、ユーザの推定視線が向けられたオブジェクトを特定する方法の例について説明する。図４及び図５は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザＡと、オブジェクト（例えば、ビル（建築物）などの施設）Ｂとを示している。

オブジェクト特定部２１４は、ユーザＡの現在地情報と、ユーザＡの視線の方位角ａ（この例では北を基準方位としたときの方位角）及び仰俯角ｂの情報と、地図情報とを用いて、ユーザＡの現在地からユーザＡの推定視線が向けられたオブジェクト（ユーザの視認対象のオブジェクト）として、オブジェクトＢを特定する。

また、オブジェクト特定部２１４は、ユーザの推定視線が向けられているオブジェクトが建築物である場合に、その建築物においてユーザの推定視線が向けられているフロアをユーザの推定視線が向けられているオブジェクトとして特定することができる。具体的には、図４及び図５の例では、オブジェクト特定部２１４は、ユーザＡの視線の方位角及び仰俯角に対応する位置である点Ｃを特定し、オブジェクトＢにおける点Ｃに対応するフロアを地図情報を用いて特定することができる。

さらに、オブジェクト特定部２１４は、特定されたフロア内においてユーザの推定視線が向けられている位置に存在する施設をユーザの推定視線が向けられているオブジェクトとして特定することができる。図４及び図５の例では、オブジェクト特定部２１４は、ユーザの推定視線が向けられているとして特定されたフロアにおける点Ｃに位置する施設を、ユーザの推定視線が向けられているオブジェクトとして特定することができる。

すなわち、オブジェクト特定部２１４により特定されるオブジェクトは、建築物、建築物におけるフロア及び建築物におけるフロア内の施設のうちの少なくともいずれかを含むことができる。なお、オブジェクト特定部２１４により特定されるオブジェクトは、山や池など、他の任意の対象を含むこともできる。

以上のように、本実施形態によれば、ユーザが頭部を動かしたときに、ウェアラブルデバイス（例えば、眼鏡型デバイス２０又はセンサ２７）により検知された、ユーザの視線が向いている方向の方位角及び仰俯角の情報を用いて、当該ユーザの推定視線が向けられているオブジェクトを特定することができる。特に、ユーザの視線の仰俯角の情報を用いてオブジェクトを特定するため、ユーザが見上げなければ視認できないようなオブジェクト（例えば、ユーザの目の前にある建物の裏側にあるオブジェクトで、ユーザが視線を上げたときに当該建物の上部からのみ見えるようなオブジェクト）を特定することができる。

（２）検索結果に応じてオブジェクトを特定する方法
この方法では、オブジェクト特定部２１４は、所定の条件検索を用いて得られたオブジェクトを特定する。

例えば、上記のように経路探索部２１１は、ユーザからの操作指示に応じて、目的地の種別（例えば、コンビニエンスストア、カフェ、駅、ファーストフード、又はレストラン）を特定し、特定された種別に一致する施設のうち、ユーザの現在地から所定距離以内（例えば、２００ｍ以内）に存在する１又は複数の施設（オブジェクト）をサーバ装置１０に記憶された地図情報（施設情報）に基づいて検索する。オブジェクト特定部２１４は、経路探索部２１１によりこのような検索により得られた施設（オブジェクト）を特定することができる。

表示制御部２１５は、オブジェクト特定部２１４により特定されたオブジェクトのうち、角度情報取得部２１３により検出された眼鏡型デバイス２０のユーザの推定視線方向に対応するオブジェクトについての情報を表示部２５（ウェアラブルデバイス）の所定位置に表示するように制御する。なお、方向と、オブジェクトとは、表示の前に予め対応付けられている。詳細は後述する。また、特定されたオブジェクトについての情報は、サーバ装置１０から取得される。なお、オブジェクトについて情報を眼鏡型デバイス２０の表示部２５に表示することで、眼鏡型デバイス２０のユーザに対して現実環境にコンピュータを用いて付加情報を提示することになる。従って、表示されたオブジェクトについての情報は、ＡＲ（Augmented Reality）コンテンツとなる。

図６は、オブジェクト特定部２１４により上記の「（１）ユーザの推定視線が向けられた方向に応じてオブジェクトを特定する方法」で特定されたオブジェクトの情報を、表示制御部２１５の制御により表示部２５に表示した例である。この例では、オブジェクトの情報として、施設の種別、施設の名称、及び取扱商品の情報が示されている。これらの情報は、ユーザの推定視線が向けられている位置に存在するオブジェクトについての情報であり、当該オブジェクトに重畳するように、又は当該オブジェクトの付近に表示される。また、ユーザの現在地からの各方向と、オブジェクトとは、表示制御部２１５により又はサーバ装置１０により、オブジェクトが存在する位置に基づいて予め対応付けられている。すなわち、表示制御部２１５は、方向とオブジェクトとの対応付け情報（方向に対応付けられたオブジェクトの情報）に基づき、オブジェクト特定部２１４により特定されたオブジェクトのうち、角度情報取得部２１３により検出された眼鏡型デバイス２０のユーザの推定視線方向に存在する（すなわち、ユーザの推定視線方向に対応する）オブジェクトについての情報を表示部２５（ウェアラブルデバイス）に表示するように制御する。つまり、表示されるオブジェクトについての情報（ＡＲコンテンツ）は、当該ＡＲコンテンツに対応付けられた推定視線方向に存在するオブジェクトに関連するＡＲコンテンツである。

図７は、オブジェクト特定部２１４により上記の「（２）検索結果に応じてオブジェクトを特定する方法」で特定されたオブジェクトの情報を、表示制御部２１５の制御により表示部２５に表示した例である。

この例においても、方向とオブジェクトとの対応付け情報（方向に対応付けられたオブジェクトの情報）に基づき、オブジェクト特定部２１４により特定されたオブジェクトのうち、角度情報取得部２１３により検出された眼鏡型デバイス２０のユーザの推定視線方向に対応するオブジェクトについての情報が表示される。さらに、この例では、複数のオブジェクトのそれぞれの情報は、その表示位置と、それぞれのオブジェクトが存在する方向とが対応するように、横に並べられて表示される。従って、この例では、ユーザの推定視線が向けられている方向に位置する（すなわち、ユーザの推定視線方向に対応する）オブジェクトの情報が中央に表示され、ユーザの推定視線が向けられている方向の変化に応じてオブジェクトの情報が横にスクロールして表示される。なお、ユーザの現在地からの各方向と、オブジェクトとは、表示制御部２１５により又はサーバ装置１０により、オブジェクトが存在する位置に基づいて予め対応付けられている。

また、中央に表示されているオブジェクトの情報は、他のオブジェクトの情報と比較して大きく表示される。さらに、同じ方向に複数のオブジェクトが存在する場合、それらのオブジェクトの情報を（手前の情報のみ視認できるように）重ねて表示させ、重ねて表示されていることを任意の方法により（例えば、アイコン７１により）示すことができる。また、ユーザの現在地からの距離に応じて、オブジェクトの情報の表示サイズを変更することができる。例えば、ユーザの現在地からの距離が近いオブジェクトほど、そのオブジェクトの情報が大きく表示されるようにすることができる。

なお、図７の例では、複数のオブジェクトのそれぞれの情報は、その表示位置と、それぞれのオブジェクトが実際に存在する方向とが対応するように、横に並べられて表示されることとしたが、オブジェクトの情報の表示位置と、オブジェクトが実際に存在する方向とを対応させなくてもよい。例えば、表示制御部２１５により、オブジェクト特定部２１４により特定された各オブジェクトについての情報を、任意の各方向に予め対応付けておき、検出された眼鏡型デバイス２０のユーザの推定視線方向に対応するオブジェクトの情報が表示されるようにしてもよい。

オブジェクト出力部２１６は、眼鏡型デバイス２０のユーザが連続して所定時間（例えば、５秒）以上向いている推定視線方向（すなわち、注視時間が所定時間以上である推定視線方向）を特定し、当該推定視線方向に対応付けられたオブジェクトの情報（ＡＲコンテンツ）を選択して当該情報を出力する。

なお、注視時間が経過していることをユーザが把握できるように、注視時間の経過とともに、推定視線方向が向けられているオブジェクトの情報（ＡＲコンテンツ）を表示制御部２１５により強調して表示してもよい。強調の方法としては、例えば、ＡＲコンテンツを注視時間の経過とともに徐々に拡大して表示する方法や、推定視線方向が向けられたときにＡＲコンテンツを点滅して表示し、注視時間の経過とともに徐々に点滅速度を早くしていく方法などを採用することができる。

オブジェクト出力部２１６により選択され出力されたオブジェクトの情報は、後続の各種の処理に使用される。例えば、出力された情報に対応するオブジェクトは、経路探索部２１１による経路探索の目的地として使用されてもよい。

以上のように本実施形態によれば、表示制御部２１５は、方向に対応付けられたオブジェクトの情報に基づき、眼鏡型デバイス２０のユーザの検出された推定視線方向に対応するオブジェクトについての情報を表示部２５（ウェアラブルデバイス）の所定位置に表示するように制御する。また、オブジェクト出力部２１６は、注視時間が所定時間以上であるユーザの推定視線方向を特定し、当該推定視線方向に対応付けられたオブジェクトの情報（ＡＲコンテンツ）を選択して当該情報を出力する。その結果、ユーザは、ウェアラブルデバイスに表示される情報を所定時間以上注視することでその情報を選択することができる。そのため、ユーザがキー操作等により情報を選択する場合などと比較して、容易に情報を選択することができるという有益な機能を実現することができる。

アクション検知部２１７は、操作部２４への入力の他、眼鏡型デバイス２０のユーザの所定のアクションを検知する。所定のアクションには、例えば、ユーザの瞬きや、ユーザが眼鏡型デバイス２０の正面で所定の手の動きをすることなどが含まれる。これらの所定のアクションの検知の方法は、任意の方法を用いることができ、例えば、従来の検知技術を用いることができる。

音声認識部２１８は、眼鏡型デバイス２０のユーザが発した音声を認識し、ユーザからの操作指示を特定する。

図８を参照して、サーバ装置１０の一実施形態における機能構成について説明する。サーバ装置１０は、主な機能構成として、経路探索部１１１、現在地情報取得部１１２、角度情報取得部１１３、オブジェクト特定部１１４、表示制御部１１５、オブジェクト出力部１１６、及びデータベース１２０を備える。以下に各機能構成の詳細を説明する。

データベース１２０は、サーバ装置１０において実行される処理に必要な情報、及び当該処理により生成された情報など、各種情報を記憶する。データベース１２０は、例えば、地図情報及び施設情報を記憶している。地図情報は、道路情報、鉄道路線情報、建造物情報、地形情報、住所情報、及びその他の地理情報などを含む。施設情報は、例えば、コンビニエンスストア、カフェ、駅、ファーストフード、レストラン、建物（ビル）などの施設についての情報を含む。また、施設情報は、当該施設で扱っている商品及び／又はサービスについての情報を含む。なお、施設情報は、地図情報に含まれる情報としてもよい。

経路探索部１１１は、眼鏡型デバイス２０又は携帯端末３０のユーザからの操作指示に応じて、経路探索の処理を行う。具体的には、経路探索部１１１は、当該指示に応じて出発地及び目的地を特定し、データベース１２０の地図情報を参照して、当該特定された出発地（以下、単に「出発地」という。）から当該特定された目的地（以下、単に「目的地」又は「対象」という。）までの経路探索の処理を行う。移動手段が特定されているときは、特定された移動手段により最適な移動経路を探索する処理を行う。

経路探索の処理は、任意の方法を採用することができる。本実施形態においては、既知の方法により経路探索の処理を行う。経路探索部１１１は、経路探索処理の結果得られた経路の情報と、当該経路を案内するための経路案内の情報とを出力する。出力された経路及び経路案内の情報は、眼鏡型デバイス２０及び／又は携帯端末３０へ送信される。

現在地情報取得部１１２は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの現在地情報を携帯端末３０から（もしくは携帯端末３０から眼鏡型デバイス２０を介して）取得する。なお、当該ユーザの現在地情報は、携帯端末３０の測位部３６の測位処理に基づいて得られた情報である。また、当該ユーザは、眼鏡型デバイス２０及び携帯端末３０を携帯しているため、ユーザの現在地情報は、眼鏡型デバイス２０の現在地の情報とみなすこともできる。

角度情報取得部１１３は、眼鏡型デバイス２０を装着し、かつ、携帯端末３０を携帯するユーザの視線の方位角及び仰俯角の情報を眼鏡型デバイス２０から（もしくは眼鏡型デバイス２０から携帯端末３０を介して）取得する。角度情報取得部１１３は、当該方位角及び仰俯角に基づいて当該ユーザの視線の方向の方位角及び仰俯角の推定値（ユーザの推定視線が向けられた方向の情報）を角度情報として取得する。すなわち、角度情報取得部１１３は、ユーザの推定視線方向を検出する検出手段として機能する。

オブジェクト特定部１１４は、眼鏡型デバイス２０のオブジェクト特定部２１４によりユーザの推定視線が向けられたオブジェクトとして、どのオブジェクトが特定されたかについての情報を眼鏡型デバイス２０から取得し、当該情報に基づいて、特定されたオブジェクトについての情報（例えば、施設情報）をデータベース１２０から取得する。オブジェクト特定部１１４は、取得したオブジェクトについての情報を眼鏡型デバイス２０に送信する。

なお、ユーザの推定視線が向けられたオブジェクトの特定は、眼鏡型デバイス２０ではなく、オブジェクト特定部１１４により行ってもよい。オブジェクトの特定の方法は、前述のとおりである。

表示制御部１１５は、眼鏡型デバイス２０の表示部２５への表示の制御情報を眼鏡型デバイス２０へ送信する。前述の説明では、眼鏡型デバイス２０の表示部２５へのオブジェクトの情報の表示の制御は、眼鏡型デバイス２０の表示制御部２１５により行うこととしたが、当該制御を表示制御部１１５により行ってもよい。すなわち、表示制御部１１５は、方向に対応付けられたオブジェクトの情報に基づき、オブジェクト特定部１１４により特定されたオブジェクトのうち、眼鏡型デバイス２０のユーザの推定視線方向に対応するオブジェクトについての情報を表示部２５（ウェアラブルデバイス）の所定位置に表示するように制御するための制御情報を眼鏡型デバイス２０に送信することができる。

オブジェクト出力部１１６は、眼鏡型デバイス２０のオブジェクト出力部２１６により選択されたオブジェクトについての情報（ＡＲコンテンツ）をデータベース１２０より取得して眼鏡型デバイス２０に送信する。

なお、オブジェクトの選択の処理は眼鏡型デバイス２０ではなく、オブジェクト出力部１１６により行ってもよい。すなわち、オブジェクト出力部１１６は、眼鏡型デバイス２０のユーザが連続して所定時間以上向いている推定視線方向（すなわち、注視時間が所定時間以上である推定視線方向）を特定し、当該推定視線方向に対応付けられたオブジェクトの情報（ＡＲコンテンツ）を選択して当該情報を出力することができる。

以上のように本実施形態によれば、ユーザは、ウェアラブルデバイスに表示される情報を所定時間以上注視することでその情報を選択することができる。そのため、ユーザがキー操作等により情報を選択する場合などと比較して、容易に情報を選択することができるという有益な機能を実現することができる。

［処理フロー］
次に、図９を参照して、眼鏡型デバイス２０において実行される処理のフローを説明する。なお、以下に説明する処理フローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。なお、各処理ステップの処理の詳細は、既に説明しているためここでは省略する。

まず、ステップＳ１１において、制御部２１は、携帯端末３０により特定された携帯端末３０（のユーザ）の現在地情報を携帯端末３０から取得する。

ステップＳ１２において、制御部２１は、センサ２７による検知結果に基づいて、眼鏡型デバイス２０を装着しているユーザの顔が向いている方向の方位角及び仰俯角を特定する。制御部２１は、当該方位角及び仰俯角に基づいて当該ユーザの視線の方向の方位角及び仰俯角の推定値（ユーザの推定視線が向けられた方向の情報）を角度情報として取得する。すなわち、ユーザの推定視線方向が検出される。

ステップＳ１３において、制御部２１は、ユーザの推定視線が向けられた方向に応じて、又は所定の検索結果に応じて、オブジェクトを特定する。

ステップＳ１４において、制御部２１は、予め対応付けられた方向とオブジェクトの情報に基づき、ステップＳ１３により特定されたオブジェクトのうち、ステップＳ１２で検出された眼鏡型デバイス２０のユーザの推定視線方向に対応付けられたオブジェクトについての情報を表示部２５（ウェアラブルデバイス）の所定位置に表示するように制御する。

ステップＳ１５において、制御部２１は、眼鏡型デバイス２０のユーザが連続して所定時間（例えば、５秒）以上向いている推定視線方向（すなわち、注視時間が所定時間以上である推定視線方向）を特定し、当該推定視線方向に対応付けられたオブジェクトの情報（ＡＲコンテンツ）を選択して当該情報を出力する。

以上のように本実施形態によれば、ユーザは、ウェアラブルデバイスに表示される情報を所定時間以上注視することでその情報を選択することができる。そのため、ユーザがキー操作等により情報を選択する場合などと比較して、容易に情報を選択することができるという有益な機能を実現することができる。

［その他の実施形態］
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、上記の実施形態において、オブジェクトの特定、オブジェクトについての情報の表示の制御及びオブジェクトの情報（ＡＲコンテンツ）を選択・出力は、サーバ装置１０又は眼鏡型デバイス２０で行うこととしたが、これに限定されず、これらの処理の少なくとも一部を携帯端末３０で行うことにしてもよい。

１０ サーバ装置、２０ 眼鏡型デバイス、３０ 携帯端末、１１，２１，３１ 制御部、１１ａ，２１ａ，３１ａ ＣＰＵ、１１ｂ，２１ｂ，３１ｂ メモリ、１２，２２，３２ 通信部、１３，２３，３３ 記憶部、２４，３４ 操作部、２５，３５ 表示部、２６ カメラ、２７ センサ、２８ マイク、３６ 測位部

Claims (7)

1. ユーザの推定視線方向を検出する検出手段と、
   方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御手段と、
   注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力手段と
   を備えた情報処理システム。
2. 前記ＡＲコンテンツは、当該ＡＲコンテンツに対応付けられた前記推定視線方向に存在するオブジェクトに関連するＡＲコンテンツである、請求項１に記載の情報処理システム。
3. 前記ＡＲコンテンツは、建築物、建築物におけるフロア及び建築物におけるフロア内の施設のうちの少なくともいずれかについてのコンテンツを含む、請求項１又は２に記載の情報処理システム。
4. オブジェクトを検索する手段を備え、
   前記表示制御手段により表示されるＡＲコンテンツは、前記検索により得られたオブジェクトに対応するＡＲコンテンツである、請求項１から３のいずれか一項に記載の情報処理システム。
5. 前記表示制御手段は、注視時間の経過とともに、前記推定視線方向が向けられているＡＲコンテンツを強調して表示する、請求項１から４のいずれか一項に記載の情報処理システム。
6. ユーザの推定視線方向を検出する検出ステップと、
   方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御ステップと、
   注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力ステップと
   を備えた情報処理方法。
7. コンピュータに、
   ユーザの推定視線方向を検出する検出ステップと、
   方向に対応付けられたＡＲコンテンツの情報に基づき、前記検出された推定視線方向に対応するＡＲコンテンツをウェアラブルデバイスに表示するように制御する表示制御ステップと、
   注視時間が所定時間以上である前記推定視線方向に対応付けられたＡＲコンテンツを選択して当該ＡＲコンテンツについての情報を出力する出力ステップと
   を実行させるためのプログラム。