JP2016195323A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】情報処理装置を提供する。【解決手段】第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する取得部と、前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する判定部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、プログラムに関する。

近年、人間の知覚する現実環境を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が広く用いられるようになり、ＡＲ技術を応用した情報提示が行われている。また、従来、特許文献１のようなユーザの行動予測を行う技術が研究されている。

特開２０００−２９３５０６号公報

ＡＲ技術を応用した情報提示においては、例えば、現実世界を撮影して得られた画像から被写体（物体）を認識することで、当該被写体に関する適切な情報が提示される。しかし、情報提示機器の処理性能や、被写体の認識に用いられる特徴量辞書（画像特徴量情報）のサイズによっては、被写体の認識に多大な時間を要する場合があった。

そこで、本開示では、被写体の認識にかかる時間を短縮することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムを提案する。

本開示によれば、第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する取得部と、前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する判定部と、を備える、情報処理装置が提供される。

また、本開示によれば、第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得することと、前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かをプロセッサが判定することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する処理と、前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する処理と、を行わせるための、プログラムが提供される。

以上説明したように本開示によれば、被写体の認識にかかる時間を短縮することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態にかかる情報提示システム１の構成例を示す説明図である。 同実施形態にかかるウェアラブル装置１００の外観を示す説明図である。 同実施形態にかかる情報提示システム１を利用したアプリケーションの表示例を示す説明図である。 同実施形態の比較例の動作を示す説明図である。 同実施形態にかかるウェアラブル装置１００の構成例を示す説明図である。 同実施形態にかかるサーバ２００の構成例を示す説明図である。 同実施形態にかかる物体情報取得処理を説明するための説明図である。 同実施形態にかかる情報提示処理を説明するための説明図である。 同実施形態にかかるユーザの視界予測処理を説明するための説明図である。 同実施形態にかかる情報提示システム１の動作例を説明するための説明図である。 同実施形態にかかる情報提示システム１の動作例を説明するための説明図である。 同実施形態にかかる変形例１を説明するための説明図である。 同実施形態にかかる変形例２を説明するための説明図である。 同実施形態にかかる変形例２を説明するための説明図である。 同実施形態にかかる変形例２を説明するための説明図である。 同実施形態にかかる変形例２を説明するための説明図である。 同実施形態にかかる変形例３を説明するための説明図である。 同実施形態にかかるウェアラブル装置１００のハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．本開示の一実施形態による情報提示システムの概要＞＞
＜＜２．背景＞＞
＜＜３．構成＞＞
＜３−１．ウェアラブル装置の構成＞
＜３−２．サーバの構成＞
＜＜４．動作＞＞
＜４−１．物体情報取得処理＞
＜４−２．情報提示処理＞
＜４−３．ユーザの視界予測処理＞
＜＜５．変形例＞＞
＜５−１．変形例１＞
＜５−２．変形例２＞
＜５−３．変形例３＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞

＜＜１．本開示の一実施形態にかかる情報提示システムの概要＞＞
まず、図面を参照しながら本開示の一実施形態にかかる情報提示システムの概要を説明する。図１は、本開示の一実施形態にかかる情報提示システムの構成例を示す説明図である。

図１に示したように、本開示の一実施形態にかかる情報提示システム１は、ウェアラブル装置１００、サーバ２００、通信網３を有する情報処理システムである。図１に示したように、ウェアラブル装置１００、サーバ２００は、通信網３を介して相互に接続される。本実施形態にかかる情報提示システム１は、ウェアラブル装置１００のユーザに対する情報提示を行う。例えば、情報提示システム１は、当該ユーザの視界に存在する物体に関する情報を当該ユーザに提示する。

ウェアラブル装置１００は、通信網３を介してユーザに対して提示すべき情報をサーバ２００から受信する。例えば、ウェアラブル装置１００は通信網３を介して画像をサーバ２００に送信し、通信網３を介して当該画像に含まれる物体（被写体）に関する物体情報をサーバ２００から受信してもよい。上記の物体情報には、当該物体についての画像特徴量情報と、ユーザに提示すべき当該物体に関する情報（当該物体の付加情報）が含まれてもよい。また、ウェアラブル装置１００は、画像に基づいて、当該画像に含まれる物体についての検索（物体認識）を行ってもよい。

図２は、ウェアラブル装置１００の外観を示す説明図である。図２に示すように、ウェアラブル装置１００は、ズームカメラ１１０、ステレオカメラ１６０、表示部１９０を有する眼鏡型の情報処理装置である。ウェアラブル装置１００は、ズームカメラ１１０またはステレオカメラ１６０により撮影された撮影画像に基づき、表示部１９０に情報を表示することで、ユーザに対する情報提示を行う。ズームカメラ１１０や、ステレオカメラ１６０は、ウェアラブル装置１００のユーザの視界方向を向いているため、ユーザの視界を撮影することが可能である。表示部１９０は、例えばシースルーディスプレイであってもよい。

サーバ２００は、物体情報を記憶する第一の記憶部を有する情報処理装置である。サーバ２００は、通信網３を介してユーザに対して提示すべき情報をウェアラブル装置１００に送信する。例えば、サーバ２００は、通信網３を介してウェアラブル装置１００から撮影画像を受信し、当該撮影画像に含まれる物体の検索（物体認識）を行い、通信網３を介してウェアラブル装置１００に当該撮影画像に含まれる物体に関する物体情報を送信してもよい。

通信網３は、通信網３に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含んでもよい。また、通信網３は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。

図３は、上記で概要を説明した、本実施形態にかかる情報提示システム１を利用したアプリケーションの表示例を示す説明図であり、ウェアラブル装置１００を装着したユーザの視界を示している。ユーザの視界に存在する物体Ｂ１（雑誌）に対応した適切な位置に重畳するように、当該物体Ｂ１に関する情報Ｕ１（雑誌名、価格）がウェアラブル装置１００の表示部１９０に表示されている。情報Ｕ１が物体Ｂ１と正確に対応付けられて表示されることで、ユーザは情報Ｕ１が物体Ｂ１に関する情報を提示していることを直感的に理解することが可能になる。

＜＜２．背景＞＞
以上、本開示の一実施形態による情報提示システム１の概要を説明した。続いて、本実施形態による情報提示システム１の創作に至った背景を説明する。

情報提示システム１のように、ユーザの視界に存在する物体に対応するように情報を提示する際、情報提示までに多大な処理時間を要する場合があった。情報提示までに必要な処理時間は、処理装置の処理性能や物体を認識するための特徴量辞書（画像特徴量情報）のサイズ等によって異なり、例えば処理性能が低い場合や、特徴量辞書が大きい場合には、多大の処理時間が必要である。

上述した情報提示システム１では、例えばウェアラブル装置１００よりも処理性能の高いサーバ２００で物体認識処理を行うことで、ウェアラブル装置１００が物体認識を行う場合と比較して物体認識（被写体の認識）にかかる処理時間を短縮することが可能である。しかし、上記の場合、ウェアラブル装置１００とサーバ２００との間の通信にかかる処理時間が必要であるため、十分に情報提示までに必要な処理時間を短縮することは困難であった。

情報提示までに必要な処理時間が大きい場合、タイミングよく情報を提示することができず、例えばユーザにとって不要な情報が提示されてしまう場合があった。例えば、ユーザが移動中の場合には、ユーザの視界は刻一刻と変化するため、情報提示までに必要な処理時間が大きい場合には、既にユーザの視界に含まれていない物体に関する情報（ユーザにとって不要な情報）がユーザに提示されてしまう場合があった。

ユーザの視界に含まれていない物体に関する情報をユーザに提示しないためには、例えば、物体認識処理の後に、ウェアラブル装置がユーザの視界に当該物体が含まれているか否かを判定し、情報提示の可否判断を行う方法が有用であると考えられる。

図４は、本実施形態の比較例であって、物体認識処理の後に、ウェアラブル装置がユーザの視界に当該物体が含まれているか否かを判定し、情報提示の可否判断を行う例の動作を示す説明図である。以下では、図４を参照して、本比較例の動作を説明する。

まず、本比較例によるウェアラブル装置は、第一の時点でユーザの視界を撮影し、第一の撮影画像を取得する（Ｓ６０２）。取得された第一の撮影画像は、ウェアラブル装置から本比較例によるサーバに送信される（Ｓ６０４）。撮影画像を受信したサーバは、当該第一の撮影画像に含まれる物体についてサーバが有する第一の記憶部に含まれる物体情報から検索（物体認識）を行う（Ｓ６０６）。

続いて、当該撮影画像に含まれる物体に関する物体情報がサーバからウェアラブル装置に送信される（Ｓ６０８）。ここで、当該物体情報には、当該物体についての画像特徴量情報と、ユーザに提示すべき当該物体に関する情報（当該物体の付加情報）が含まれてもよい。物体情報を受信したウェアラブル装置は、ウェアラブル装置が有する第二の記憶部に当該物体情報を記憶させる（Ｓ６１０）。

続いて、ウェアラブル装置は、第二の時点で再度ユーザの視界を撮影し、第二の撮影画像を取得する（Ｓ６１２）。さらに、ウェアラブル装置は、ステップＳ６１２で取得された第二の撮影画像に、第二の記憶部に記憶された物体が含まれるか否かを判定する（Ｓ６１４）。上記の判定は、例えばウェアラブル装置がサーバから受信し、第二の記憶部に記憶されたについての画像特徴量情報を用いて、第二の撮影画像から抽出された画像特徴量情報に対してマッチング処理を行い、マッチングされた物体は撮影画像に含まれると判定することで行われてもよい。上記のウェアラブル装置が有する第二の記憶部に記憶された画像特徴量情報は、サーバが有する第一の記憶部に記憶された画像特徴量情報と比較すると十分に小さいため、ステップＳ６１４で行われるウェアラブル装置によるマッチング処理は短時間で行われる。

第二の撮影画像に第二の記憶部に記憶された物体が含まれると判定された場合（Ｓ６１４においてＹＥＳ）、ウェアラブル装置は当該物体の情報を当該物体に重畳するように表示する（Ｓ６１６）。一方、第二の撮影画像に第二の記憶部に記憶された物体が含まれないと判定された場合（Ｓ６１４においてＮＯ）、ウェアラブル装置は物体に関する情報の表示を行わず、処理はステップＳ６０２に戻る。

以上のように、図４に示した本実施形態の比較例によれば、ユーザの視界に含まれていない物体に関する情報をユーザに提示することを防ぐことが可能である。しかし、ユーザの移動速度が速く、ユーザの視界の変化が大きい場合には、ステップＳ６１４においてウェアラブル装置が有する記憶部に記憶済の物体が含まれないと判定されて情報表示が行われないことが多くなる場合がある。その結果、ウェアラブル装置がユーザに多くの情報を提示することができず、情報提示頻度が低下する恐れがある。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、情報提示頻度を向上させることが可能である。以下、このような効果を有する本実施形態の構成について詳細に説明する。

＜＜３．構成＞＞
以上、本実施形態による情報提示システム１の創作に至った背景を説明した。続いて、本実施形態による情報提示システム１が有するウェアラブル装置１００とサーバ２００の構成について順次説明する。

＜３−１．ウェアラブル装置の構成＞
図５は、本実施形態にかかるウェアラブル装置１００の構成例を示す説明図である。図５に示すように、ウェアラブル装置１００は、ズームカメラ１１０、センサ部１２０、予測部１３０、通信部１４０、記憶部１５０、ステレオカメラ１６０、判定部１７０、表示制御部１８０、表示部１９０を備える。

（ズームカメラ）
ズームカメラ１１０は画像を取得するカメラモジュールである。ズームカメラ１１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて実空間を撮像することにより、物体識別のための画像を生成(撮影)する。また、ズームカメラ１１０は、ズーム倍率を変化させて（すなわち焦点距離を変化させて）撮影することが可能であり、例えば広角画像や望遠画像を撮影することが可能である。例えば、本実施形態におけるズームカメラ１１０は、ズーム倍率を調整することで、現在のユーザの位置よりも前方の位置にユーザが存在すると仮定した場合のユーザの視界と同程度の画角で画像を撮影することが可能である。

また、ズームカメラ１１０は、後述する予測部１３０による第一の時点での予測処理の予測結果に基づく撮像を実行し、予測結果画像を取得する。例えば、ズームカメラ１１０は、予測部１３０から、ズームに関するパラメータを含む撮像パラメータを受け取り、当該撮像パラメータを用いて（当該撮像パラメータに応じたズーム倍率による）撮像を実行し、予測視界画像（予測結果画像）を取得する。

（センサ部）
センサ部１２０は、ウェアラブル装置１００の位置及び方向（ユーザの姿勢）の認識を支援するセンサ群である。例えば、センサ部１２０は、センサ部１２０は、ウェアラブル装置１００の傾き角を測定するジャイロセンサ、３軸加速度を測定する加速度センサを含んでもよい、または方位を測定する地磁気センサを含んでもよい。また、センサ部１２０は、ＧＰＳ（Global Positioning System）信号を受信してウェアラブル装置１００の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。また、センサ部１２０は、無線アクセスポイントから受信される無線信号の強度に基づいてウェアラブル装置１００の位置を測定する測位センサを含んでもよい。なお、ウェアラブル装置１００が画像認識に基づく位置推定機能及び姿勢推定機能を有する場合には、センサ部１２０はウェアラブル装置１００の構成から省略されてもよい。

（予測部）
予測部１３０は、第一の時点でユーザの視界状態を予測する、予測処理を行い、当該予測処理の予測結果に基づいて、当該ユーザの視界状態に対応する画像である予測結果画像の取得を制御する。ユーザの視界状態は、例えば、ユーザの視界（ユーザが目で見ることが可能な現実世界の範囲）、ユーザの注視点、ユーザの注視領域、ユーザの目の焦点、ユーザの眼の輻輳度合い、などであってもよい。本実施形態における予測部１３０は、ユーザの視界を予測し、ズームカメラ１１０を制御してユーザの視界に対応する予測視界画像（予測結果画像）をズームカメラ１１０に取得させる。取得された予測視界画像は、後述する通信部１４０からサーバ２００に送信され、サーバ２００は予測視界画像を解析して、予測視界画像に含まれる物体（被写体）の認識を行う。ここで、予測部１３０がユーザに関する予測に基づいて予測視界画像を取得させることで、例えば、ユーザが将来視界に捉える物体や、ユーザが将来興味を持つ物体等を、ユーザが視界に捉えるよりも先に解析することが可能になる。

本実施形態にかかる予測部１３０は、第一の時点から所定時間後のユーザの視界を予測する、予測処理を行い、予測された視界に対応する予測視界画像が取得されるように制御する。予測された視界に対応する予測視界画像が取得されることにより、ユーザが将来視界に捉える物体を、ユーザが視界に捉えるよりも先に解析することが可能になる。

なお、上記の所定時間は、例えば、予測処理が行われてから通信部１４０が画像特徴量情報（第一の画像情報）を含む物体情報を取得するまでに必要な時間以上であるように設定されてもよい。予測処理が行われてから通信部１４０が画像特徴量情報（第一の画像情報）を含む物体情報を取得するまでに必要な時間は、例えば前回の当該処理でかかった時間や、過去の当該処理でかかった時間の平均時間が用いられてもよい。上記のように設定することで、ユーザが将来視界に捉える物体に関する物体情報を、ユーザが視界に捉えるよりも先に取得し、記憶部１５０に記憶することが可能となる。その結果、ユーザが実際に当該物体を視界に捉えた際に、タイミングよく情報を提示することが可能になるという効果が得られる。

また、予測部１３０は、ユーザの移動に関する移動情報に基づいて、ユーザの視界状態を予測する予測処理を行ってもよい。例えば、予測部１３０は、センサ部１２０から受け取った方向情報、加速度情報、または位置情報等の移動情報に基づいて、所定時間後のユーザの位置を予測し、当該位置におけるユーザの視界を予測してもよい。

また、予測部１３０は、予測処理の予測結果に基づいて、第一の時点での撮影におけるズームカメラ１１０の撮像パラメータを決定してもよい。例えば、撮像パラメータはズームに関するパラメータを含み、予測部１３０は、予測された将来のユーザの視界に対応する画角になるように、撮像パラメータを決定してもよい。

上記のように撮像パラメータを決定することで、予測部１３０は、ズームカメラ１１０に将来のユーザの視界を撮影させて予測視界画像を取得させることが可能となる。

例えば、予測部１３０は、予測された所定時間後のユーザの位置と現在のユーザの位置との差の進行方向（前方）成分と、撮像パラメータと、を予め対応付けたマップを参照して、撮像パラメータを決定してもよい。また、予測部１３０は、ステレオカメラ１６０の撮影により取得されるユーザと被写体の距離に基づき、予測された所定時間後のユーザの位置でユーザの視界に含まれる被写体の範囲をズームカメラ１１０が撮影するように、撮像パラメータを決定してもよい。

（通信部）
通信部１４０は、ウェアラブル装置１００によるサーバ２００との間の通信を仲介する通信インタフェースである。通信部１４０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網３を介してサーバ２００との間の通信接続を確立する。それにより、ウェアラブル装置１００がサーバ２００に予測視界画像を送信し及びサーバ２００から、画像特徴量情報（第一の画像情報）と付加情報を含む物体情報を受信することが可能となる。すなわち、通信部１４０は、第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する取得部としての機能を有する。

（記憶部）
記憶部１５０は、半導体メモリまたはハードディスク等の記憶媒体により構成され、ウェアラブル装置１００による処理のためのプログラム及びデータを記憶する。例えば記憶部１５０は、第一の時点での撮影により得られた予測視界画像に含まれる物体についてサーバ２００が有する第一の記憶部から検索された物体情報を記憶する第二の記憶部としての機能を有する。

（ステレオカメラ）
ステレオカメラ１６０（撮像部）は、２つの画像を同時に取得するカメラモジュールである。ステレオカメラ１６０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を２つ用いて実空間を撮像することにより、２つの画像を同時に生成（撮影）することが可能である。２つの撮像素子は水平に並べられており、取得された２つの画像を解析することで、実空間の深度情報を取得可能である。ステレオカメラ１６０はウェアラブル装置１００を装着したユーザの視界と同等の画角を有してもよく、ステレオカメラ１６０により撮影される範囲はユーザの視界とみなされてもよい。

本実施形態にかかるステレオカメラ１６０は、第一の時点よりも後の第二の時点での撮像を実行し、第二の画像情報として現在のユーザの視界に対応する現視界画像を取得する。ここで、現視界画像は、予測視界画像とは異なる方法で取得される。具体的には、予測視界画像は、ズームカメラ１１０が予測部１３０から受け取った撮像パラメータに応じたズーム倍率により第一の時点で撮像を実行して得られた画像であり、現視界画像は上記のようにステレオカメラ１６０による撮影により得られた画像である。なお、本開示において、現視界画像を予測視界画像とは異なる方法で取得する例はこれに限定されず、その他の例については変形例として後述する。

（判定部）
判定部１７０は、現視界画像に記憶済の物体が含まれるか否かを判定する。本実施形態にかかる判定部１７０は、記憶部１５０に記憶された物体情報に含まれる画像特徴量情報（第一の画像情報）に対応する物体（被写体）の情報が、現視界画像（第二の画像情報）に含まれるか否かを判定することで、上記の判定を行う。判定部１７０は、上記の判定の結果を表示制御部１８０に提供する。

例えば、判定部１７０は、現視界画像（第二の画像情報）から抽出された画像特徴量情報と、記憶部１５０に記憶された物体情報が含む当該物体（被写体）についての画像特徴量情報（第一の画像情報）とをマッチングすることで、上記の判定を行ってもよい。

（表示制御部）
表示制御部１８０は、判定部１７０の判定結果に基づいて、表示部１９０の表示を制御する。例えば、表示制御部１８０は、判定部１７０により現視界画像に記憶済の物体が含まれると判定された場合に、上記物体情報に含まれる当該物体の付加情報を物体に重畳して表示部１９０に表示させる。

上記のように、第二の時点で実行される撮像により得られた現視界画像に、記憶部１５０に記憶済みの物体が含まれるか否かを判定し、当該判定に基づいて表示制御を行うことで、ユーザの視界に含まれていない物体に関する情報の提示を防ぐことが可能となる。

（表示部）
表示部１９０は、表示制御部１８０による制御を受けて表示を行う。表示部１９０は例えばシースルーディスプレイ等であってもよい。表示部１９０は、表示制御部１８０による制御を受けて、例えば、物体の付加情報を当該物体に重畳して表示する。

＜３−２．サーバの構成＞
図６は、本実施形態にかかるサーバ２００の構成例を示す説明図である。図６に示すように、サーバ２００は、通信部２１０、認識部２２０、記憶部２３０を備える。

（通信部）
通信部２１０は、サーバ２００によるウェアラブル装置１００との間の通信を仲介する通信インタフェースである。通信部２１０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網３を介してウェアラブル装置１００との間の通信接続を確立する。それにより、サーバ２００がウェアラブル装置１００から予測視界画像を受信し及びウェアラブル装置１００に物体情報を送信することが可能となる。

（認識部）
認識部２２０は、第一の時点での予測処理の予測結果に基づいて得られた予測視界画像に含まれる物体（被写体）について、後述する記憶部２３０から検索を行う。例えば、認識部２２０は、通信部２１０を介してウェアラブル装置１００から受信した予測視界画像から画像特徴量情報を抽出し、当該画像特徴量情報と、記憶部２３０が有する画像特徴量情報とのマッチング処理を行うことで、上記の検索を行ってもよい。

また、認識部２２０は上記の検索により検索された、予測視界画像に含まれる物体に関する物体情報を記憶部２３０から抽出し、通信部２１０を介してウェアラブル装置１００に提供する。

本実施形態において、サーバ２００はウェアラブル装置１００と比較して処理性能が高いことが期待されるため、サーバ２００の認識部２２０が上記の検索（物体認識）処理を行うことで、検索にかかる処理時間を短縮する効果が得られる。

（記憶部）
記憶部２３０は、半導体メモリまたはハードディスク等の記憶媒体により構成され、サーバ２００による処理のためのプログラム及びデータを記憶する。例えば記憶部２３０は、物体に関する物体情報を記憶する第二の記憶部としての機能を有する。物体情報には、複数の物体を認識（識別）するための画像特徴量情報と、ユーザに提示すべき当該物体に関する情報（当該物体の付加情報）が含まれてもよい。サーバ２００が有する記憶部２３０は、ウェアラブル装置１００が有する記憶部１５０よりも大容量であり、より多くの物体に関する物体情報を記憶可能であることが期待される。そのため、記憶部２３０に記憶された物体情報を用いてが上記の検索処理を行うことで、より多数の物体についての検索を行うことが可能となり、ウェアラブル装置１００による情報提示頻度が向上する効果が得られる。

＜＜４．動作＞＞
以上、本開示の一実施形態にかかる情報提示システム１の構成例について説明した。続いて、図７〜１１を参照して、本開示の一実施形態にかかる情報提示システム１の動作例について説明する。本実施形態にかかる情報提示システム１は、図７に示す物体情報取得処理と、図８に示す情報提示処理を並列的に（同時に）処理する。以下では、物体情報取得処理と、情報提示処理及び、物体情報取得処理に含まれるユーザの視界予測処理について説明した後、上記の処理による情報提示システム１の具体的な動作例について順次説明する。

＜４−１．物体情報取得処理＞
図７は、本実施形態にかかる物体情報取得処理を説明するための説明図である。

まず、ウェアラブル装置１００の予測部１３０が、所定時間後のユーザの視界を予測し、当該予測に基づいてズームカメラ１１０が予測視界画像を取得する（Ｓ１１０）。このユーザの視界予測処理については図１１を参照して後述する。取得された予測視界画像は、ウェアラブル装置からサーバに送信される（Ｓ１２０）。予測視界画像を受信したサーバ２００は、当該予測視界画像に含まれる物体について、サーバ２００の記憶部２３０から検索（物体認識処理）を行う（Ｓ１３０）。

続いて、当該予測視界画像に含まれる物体に関する物体情報がサーバ２００からウェアラブル装置１００に送信される（Ｓ１４０）。通信部１４０が取得部としての機能を発揮することで、画像特徴量情報（第一の画像情報）を含む物体情報を受信（取得）したウェアラブル装置１００は、ウェアラブル装置１００の記憶部１５０に物体情報を記憶する（Ｓ１５０）。

なお、以上のステップＳ１１０〜１５０の処理は繰り返し行われてもよい。

＜４−２．情報提示処理＞
図８は、本実施形態にかかる情報提示処理を説明するための説明図である。図８に示したステップＳ２１０〜２３０の情報提示処理は、ウェアラブル装置１００によって行われる。

まず、ウェアラブル装置１００のステレオカメラ１６０が、ユーザの視界を撮影して、現視界画像を取得する（Ｓ２１０）。続いて、判定部１７０は、現視界画像に、記憶部１５０に記憶済の物体が含まれるか否かを判定する（Ｓ２２０）。上記の判定は、例えば記憶部１５０に記憶された物体情報に含まれる画像特徴量情報（第一の画像情報）を用いて、現視界画像から抽出された画像特徴量情報に対してマッチング処理を行い、マッチングされた物体の情報は現視界画像（第二の画像情報）に含まれると判定することで行われてもよい。なお、ウェアラブル装置１００が有する記憶部１５０に記憶される画像特徴量情報は、サーバが有する記憶部２３０に記憶された画像特徴量情報と比較すると十分に小さいため、ステップＳ２２０で行われる判定部１７０によるマッチング処理は短時間で行われる。

ここで、現視界画像に、記憶部１５０に記憶済みの物体が含まれると判定された場合、表示制御部１８０は、当該物体の物体情報に含まれる付加情報を当該物体に重畳して表示部１９０に表示させる。一方、現視界画像に記憶部１５０に記憶済みの物体が含まれないと判定された場合、表示制御部１８０は表示部１９０に付加情報を表示させず、処理はステップＳ２１０に戻る。

なお、以上のステップＳ２１０〜２３０の処理は繰り返し行われてもよい。

＜４−３．ユーザの視界予測処理＞
図９は、図７を参照して説明したウェアラブル装置１００によるユーザの視界予測処理（Ｓ１１０）をさらに詳細に説明するための説明図である。

まず、予測部１３０は、センサ部１２０から受け取った方向情報、加速度情報、または位置情報等の移動情報等に基づいて、ユーザが移動中であるか否かを判定する（Ｓ１１２）。ユーザが移動中ではないと判定された場合（Ｓ１１２においてＮＯ）、処理はＳ１１２に戻る。

一方、ユーザが移動中であると判定された場合（Ｓ１１２においてＹＥＳ）、予測部１３０は、センサ部１２０から受け取った方向情報、加速度情報、または位置情報等の移動情報等に基づいて、ユーザの所定時間後の位置を予測する（Ｓ１１４）。なお、上記の所定時間は、例えば、予測処理が行われてから通信部１４０が画像特徴量情報（第一の画像情報）を含む物体情報を取得するまでに必要な時間以上であるように設定されてもよい。

続いて、予測部１３０は、ステップＳ１１４で予測された位置におけるユーザの視界を予測し、予測されたユーザの視界と同等の画角になるように、ズームに関するパラメータを含む撮像パラメータを設定する（Ｓ１１６）。続いて、予測部１３０が、ズームカメラ１１０に上記撮像パラメータを提供し、ズームカメラ１１０は、当該撮像パラメータに基づいて予測されたユーザの視界を撮影することで予測視界画像を取得する（Ｓ１１８）。

＜４−４．動作例＞
以上、本実施形態にかかる情報提示システム１の各処理を説明した。続いて、上記の処理による具体的な動作例について図１０、１１を参照して説明する。図１０、１１は、本実施形態にかかる情報提示システム１の動作例を説明するための説明図である。

図１０、１１において、時刻ｔ１は第一の時点であり、図７、９を参照して説明したユーザの視界予測処理（Ｓ１１０）が行われた時刻である。時刻ｔ２は第二の時点であり、図８を参照して説明した情報提示処理（Ｓ２１０〜Ｓ２３０）が行われた時刻である。また、時刻ｔ２は、時刻ｔ１に行われたユーザの視界予測処理において予測される時刻ｔ１から所定時間後の時刻でもある。なお、ここで情報提示処理（Ｓ２１０〜Ｓ２３０）は十分に短時間で行われたものとする。

時刻ｔ１において、時刻ｔ２におけるユーザの視界予測が行われ、ズームカメラ１１０の画角は図１０左のようになる。ここで、予測部１３０は、時刻ｔ２におけるユーザ（すなわちウェアラブル装置１００）の位置を予測し、当該位置におけるユーザの視界（すなわちステレオカメラ１６０の画角）とズームカメラ１１０の画角が同等となるように撮像パラメータを決定する。時刻ｔ１でズームカメラ１１０の撮影により、図１１に示したような撮影画像（予測視界画像）が得られる。

その後、時刻ｔ２において、ユーザの視界がステレオカメラ１６０によって現視界画像が撮影される。さらに、現視界画像に物体情報取得処理において記憶された物体（時刻ｔ１のズームカメラ１１０の撮影画像に含まれていた物体）が含まれていた場合、情報が物体に重畳表示される。

ここで、図１０に示すように、時刻ｔ１でのズームカメラ１１０が実行する撮像の範囲と、時刻ｔ２でのステレオカメラ１６０が実行する撮像の範囲は同等である。したがって、図１１に示すように時刻ｔ２のステレオカメラ１６０の撮影画像（現視界画像）は時刻ｔ１のズームカメラ１１０の撮影画像（予測視界画像）と同様である。その結果、現視界画像には予測視界画像に含まれていた物体が含まれるため、図１１に示すように当該物体の情報が重畳表示される。

＜＜５．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

＜５−１．変形例１＞
上記では、判定部１７０によるユーザの視界（現視界画像）に記憶済の物体が含まれるか否かの判定が、画像特徴量情報に対応する被写体の情報が現視界画像に含まれるか否か判定することで行われる例を説明したが、本技術は上記の例に限定されない。

例えば、判定部１７０は、第一の時点での前記予測処理の予測結果に基づいてズームカメラ１１０により実行される撮像の範囲（第一の撮像範囲）と、第二の時点でステレオカメラ１６０により実行される撮像の範囲（第二の撮像範囲）の比較に基づいて、現視界画像に当該物体が含まれるか否かを判定してもよい。例えば、判定部１７０は、第一の撮像範囲が第二の撮像範囲に含まれていれば、現視界画像に当該物体が含まれると判定してもよい。また、第一の撮像範囲における当該物体の位置を取得し、当該物体の位置が、第二の撮像範囲に含まれていれば、現視界画像に当該物体が含まれると判定してもよい。

また、判定部１７０は、ズームカメラ１１０とステレオカメラ１６０の焦点距離から得られる画角と、センサ部１２０から得られる方向情報、及び加速度情報に基づいて、上記の第一の撮像範囲と、第二の撮像範囲の比較を行ってもよい。例えば、判定部１７０は、ステレオカメラ１６０の撮影により取得されるユーザと被写体の距離と、上記画角、方向情報、及び加速度情報を用いることで、各時点で各カメラにより実行される撮像の範囲（撮像範囲）を算出してもよい。

上記のように、撮像範囲の比較により、ユーザの視界（現視界画像）に記憶済の物体が含まれるか否かの判定を行うことで、例えばユーザの視界に含まれるが、ユーザが当該物体をまだ認識していない時点で、情報を提示することも可能になる。図１２は、ユーザが当該物体をまだ認識していない時点で、当該物体の情報を提示するアプリケーションの例を示す説明図である。

図１２に示すように、かかる構成によれば、ユーザが物体Ｂ２をまだ認識していない（当該物体から距離が離れた）状態において、物体Ｂ２の情報Ｕ２を提示することが可能である。また、ユーザのＷｅｂ閲覧履歴や行動履歴等の情報に基づいてユーザが求める情報を取得できる場合には、ユーザが求める情報と、記憶済みの物体の情報に基づいて、図１２に示すようにユーザが求める物体Ｂ２への誘導を行うことも可能である。

なお、判定部１７０が、第二の時点でズームカメラ１１０の撮影により得られた画像と第二の記憶部に記憶された画像特徴量情報を用いたマッチング処理に基づいて、上記の判定を行うことで、上記と同様の効果を得ることも可能である。

＜５−２．変形例２＞
上記では、物体情報取得処理において、予測部１３０によるユーザの視界の予測、及び予測視界画像（予測結果）の取得が、ユーザの位置の予測と、撮像パラメータの決定に基づいて行われる例を説明したが、本技術は上記の例に限定されない。

例えば、センサ部１２０がユーザの視線情報（視線方向、注視領域等）を取得可能な視線センサを含み、予測部１３０は、視線情報に基づいて、ユーザの視界を予測する予測処理を行ってもよい。視線情報に基づいてユーザの視界を予測することで、ユーザが将来向かうであろう当該ユーザが興味を持っている領域（興味領域）に含まれる物体を事前に解析することが可能である。

また、予測部１３０は上記予測による予測結果に基づいて、第一の時点での撮影により得られた画像から一部領域を抽出し、予測視界画像として抽出された一部領域の画像を取得してもよい。上記の視線情報に基づく視界予測の例に即せば、ユーザの視線情報に含まれる注視領域を上記の一部領域として抽出して、予測視界画像を取得することが可能である。かかる構成によれば、ユーザの注視領域がズーム倍率の変化のみでは対応できない領域（例えば画像の隅付近の領域）であった場合にも、予測視界画像を取得することが可能である。また、ウェアラブル装置が、ズーム倍率を変化させて（すなわち焦点距離を変化させて）撮影する機能を有するカメラを備えない場合であっても予測視界画像を取得することが可能である。すなわち、上記実施形態では、第一の時点での撮影と、第二の時点での撮影が、異なるカメラによって行われる例を説明したが、第一の時点での撮影と、第二の時点での撮影は同一のカメラ（例えばステレオカメラ１６０）によって行われてもよい。

図１３、１４は、ユーザの視線情報に含まれる注視領域を上記の一部領域として抽出して、予測視界画像を取得する例を説明するための説明図である。図１３に示すように、ユーザの注視領域は領域Ｇ１である。この時、図１４に示すように、ステレオカメラ１６０による撮影画像から、領域Ｇ１が抽出され、予測視界画像が取得される。

また、予測部１３０は、周囲と異なる移動ベクトルを有する領域をユーザの興味領域として予測し、予測結果画像として予測された興味領域に対応する画像が取得されるように制御してもよい。例えば、予測部１３０は、ステレオカメラ１６０により撮影された画像の移動ベクトルを解析し、移動ベクトルの平均と閾値以上に異なる移動ベクトルを有する領域をユーザの興味領域としてもよい。また、予測部１３０は、上記画像に対して、事前に人物や車両等の物体検出を行い、検出された物体領域において移動ベクトルの解析を行ってもよい。

かかる構成によれば、また、人間は周囲と異なる移動ベクトルを有する領域に注意を向けやすいため、上記のような視線センサを用いずにユーザの興味領域を取得することが可能である。また、周囲とは異なる領域は、異常が発生している領域である可能性が高いため、周囲と異なる領域を事前に解析することで、危険回避のための情報提示を行うことが可能である。

図１５、１６は、周囲と異なる移動ベクトルを有する領域をユーザの興味領域として予測する例を説明するための説明図である。

図１５は、スキー場において、人物Ｈ１〜４が類似する移動ベクトルで前方に移動しており、人物Ｈ５が転倒している状況でのアプリケーションの表示例である。予測部１３０は、画像に対して、事前に人物の物体検出を行い、検出された物体領域（Ｈ１〜５に対応する領域）において移動ベクトルの解析を行った結果、人物Ｈ５の領域が他と異なる移動ベクトルを有していた。そこで、予測部１３０は人物Ｈ５の領域を抽出して予測結果画像として取得した。サーバ２００による物体認識の結果、人物Ｈ５は転倒者として認識され、図１５に示すように、ユーザの前方に転倒者が存在することを注意喚起する情報が提示されている。

図１６は、道路において、車両Ｃ１〜Ｃ３が類似する移動ベクトルで前方に移動しており、車両Ｃ４が事故により停止している状況でのアプリケーションの表示例である。予測部１３０は、画像に対して、事前に車両の物体検出を行い、検出された物体領域（Ｃ１〜４に対応する領域）において移動ベクトルの解析を行った結果、車両Ｃ４の領域が他と異なる移動ベクトルを有していた。そこで、予測部１３０は車両Ｃ４の領域を抽出して予測結果画像として取得した。サーバ２００による物体認識の結果、車両Ｃ４は転倒者として認識され、図１６に示すようにユーザの前方に事故車が存在することを注意喚起する情報が提示されている。

＜５−３．変形例３＞
上記では、ウェアラブル装置１００（情報提示機器）が有するカメラによって予測視界画像が取得される例を説明したが、本技術は上記の例に限定されない。情報提示機器の外部にあるカメラを用いて予測視界画像が取得されてもよい。

図１７は、情報提示機器の外部にあるカメラを用いて予測視界画像が取得される例を示す説明図である。図１７に示す例では、ユーザ、及び情報提示機器は車両４００内に搭載される。また、図１７に示す例では、本実施形態で説明したウェアラブル装置に相当する情報提示機器として、ヘッドアップディスプレイを備える車載端末が用いられてもよい。

情報提示機器は図１７に示す車両４００内に搭載され、通信網３を介してサーバ２００、及びライブカメラ５と接続される。情報提示機器は車両４００のナビゲーション機能を有し、例えばユーザにより入力された目的地までのルート情報を取得する。ここで、情報提示機器はルート情報に基づき、車両４００はルートＲ１のように移動することを予測し、所定時間後のユーザの視界に対応する予測視界画像として、移動先の付近に設置されたライブカメラ５の撮影画像を取得してもよい。

かかる構成によれば、所定時間後のユーザの視界に対応する予測視界画像が、現時点のユーザの位置からでは取得できない場合であっても、外部カメラを用いて予測視界画像を取得することが可能である。

＜＜６．ハードウェア構成例＞＞
以上、本開示の一実施形態と各変形例を説明した。上述した物体情報取得処理、情報提示処理、ユーザの視界予測処理等の情報処理は、ソフトウェアと、以下に説明するウェアラブル装置１００のハードウェアとの協働により実現される。

図１８は、ウェアラブル装置１００のハードウェア構成を示す説明図である。図１８に示したように、ウェアラブル装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、入力装置１０４と、出力装置１０５と、ストレージ装置１０６と、撮像装置１０７と、通信装置１０８とを備える。

ＣＰＵ１０１は、演算処理装置及び制御装置として機能し、各種プログラムに従ってウェアラブル装置１００内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３とソフトウェアとの協働により、予測部１３０、判定部１７０、表示制御部１８０、の機能が実現される。

入力装置１０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路等から構成されている。ウェアラブル装置１００のユーザは、該入力装置１０４を操作することにより、ウェアラブル装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプ等の表示装置を含む。さらに、出力装置１０５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置１０５は、図５を参照して説明した表示部１９０に対応する。

ストレージ装置１０６は、データ格納用の装置である。ストレージ装置１０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１０６は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。ストレージ装置１０６は、図５を参照して説明した記憶部１５０に対応する。

撮像装置１０７は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置１０７は、図５を参照して説明したズームカメラ１１０、ステレオカメラ１６００に対応する。

通信装置１０８は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１０８は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース通信装置を含んでもよい。通信装置１０８は、図５を参照して説明した通信部１４０に対応する。

なお、上記ではウェアラブル装置１００のハードウェア構成を説明したが、サーバ２００も、ウェアラブル装置１００と同様に、ＣＰ１０１、ＲＯＭ１０２及びＲＡＭ１０３等に相当するハードウェアを有する。そして、サーバ２００のハードウェアとソフトウェアとの協働により、例えば認識部２２０の機能が実現される。

＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、被写体の認識にかかる時間を短縮することで、撮影から情報提示までの時間が短縮され、タイミングよく情報を提示することが可能である。また、将来のユーザの視界に含まれる物体や、ユーザが興味を持つ物体を事前に解析して記憶することで、情報提示頻度を向上させることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、情報提示端末として眼鏡型のウェアラブル装置が用いられる例を説明したが、本技術はかかる例に限定されない。例えば、情報提示端末は、スマートフォン、タブレットＰＣ、車載端末などであってもよい。

また、上記実施形態では、物体情報取得処理における物体情報の検索がサーバによって行われる例を説明したが、本技術はかかる例に限定されない。例えばウェアラブル装置が第一の記憶部と第二の記憶部を有し、第一の記憶部は物体情報を十分に記憶し、ウェアラブル装置は第一の記憶部から上記の検索を行い、第二の記憶部に検索された物体情報を記憶してもよい。かかる構成によれば、サーバとウェアラブル装置との間の通信が不要となるため、例えばウェアラブル装置が十分な処理性能を有していた場合には、全体的な処理時間の短縮効果が得られる。

また、上記実施形態では、ズームカメラが、ズーム倍率を変化させて撮影する機能を有し、予測部がズームカメラのズームに関するパラメータを含む撮像パラメータを決定する例を説明したが、本技術はかかる例に限定されない。例えば、ズームカメラは、ズーム倍率の変化に加えてパン、チルトのような撮影方向を変更する機能を有し、予測部はパン、チルトに関するパラメータを含む撮像パラメータを決定してもよい。かかる構成によれば、予測部によって予測されるユーザの視界が、現在のズームカメラの撮影方向では撮影困難な場合であっても、撮影方向の変更により、予測されたユーザの視界を撮影することが可能である。

また、上記実施形態では、ウェアラブル装置にズームカメラやステレオカメラが備えられて用いられた例を説明したが、本技術はかかる例に限定されない。例えば、より広角な範囲を撮影可能な、全天球カメラなどが用いられてもよい。

また、上記実施形態では、移動情報として、方向情報、加速度情報、位置情報が用いられた例を説明したが、本技術はかかる例に限定されない。予測部がユーザの視界の予測に利用する移動情報は、ユーザのルート情報、行動履歴情報、スケジュール情報等を含んでもよい。かかる構成によれば、将来のユーザの位置や視界について、より高精度に予測することが可能である。

また、上記実施形態では、通信部１４０（取得部）が取得する第一の画像情報が、予測結果画像（予測視界画像）に含まれる被写体についての画像特徴量情報である例を説明したが、本技術はかかる例に限定されない。第一の画像情報は、例えば、予測結果画像であってもよいし、予測結果画像から抽出される一部領域の画像であってもよい。

また、上記実施形態では、第二の画像情報が、ステレオカメラ１６０（撮像部）の撮像により得られる現視界画像である例を説明したが、本技術はかかる例に限定されない。第二の画像情報は、例えば、現視界画像から抽出される画像特徴量情報であってもよい。判定部１７０は、上記のような第一の画像情報と第二の画像情報の種類に応じて、画像同士の比較や、画像から抽出される画像特徴量情報のマッチング等を行うことで、判定処理を行ってもよい。

また、上記実施形態における各ステップは、必ずしもシーケンス図やフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、シーケンス図やフローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、ウェアラブル装置１００、及びサーバ２００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上述したウェアラブル装置１００、及びサーバ２００の機能を発揮させるためのコンピュータプログラムも作成可能である。特に、ウェアラブル装置１００がコンピュータプログラムをダウンロード及びインストールすることにより、ウェアラブル装置１００に認識部２２０の機能が実装されてもよい。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する取得部と、
前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する判定部と、
を備える、情報処理装置。
（２）
前記第一の画像情報は、前記第一の時点での前記予測処理の予測結果に基づく撮像により得られる予測結果画像、前記予測結果画像から抽出される一部領域の画像、前記予測結果画像に含まれる被写体についての画像特徴量情報、のうち少なくともいずれか一つを含む、前記（１）に記載の情報処理装置。
（３）
前記予測結果画像は、前記ユーザの視界状態に対応する画像である、前記（２）に記載の情報処理装置。
（４）
前記第一の時点での前記予測処理の予測結果に基づく撮像は、前記予測結果に基づいて決定される撮像パラメータを用いて実行される、前記（２）または（３）に記載の情報処理装置。
（５）
前記撮像パラメータは、パン、チルト、ズーム、のうち、少なくともいずれか一つに関するパラメータを含む、前記（４）に記載の情報処理装置。
（６）
前記予測処理は、前記ユーザの移動に関する移動情報に基づいて前記ユーザの視界状態を予測する処理である、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記移動情報は、方向情報、加速度情報、位置情報、ルート情報、行動履歴情報、スケジュール情報のうち、少なくともいずれか一つを含む、前記（６）に記載の情報処理装置。
（８）
前記予測処理は、前記ユーザの視線情報に基づいて、前記ユーザの視界状態を予測する処理である、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（９）
前記予測処理は、前記第一の時点から所定時間後の前記ユーザの視界状態を予測する処理であり、前記所定時間は、前記予測処理が行われてから前記取得部が前記第二の画像情報を取得するまでに必要な時間以上であるように設定される、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記判定部は、さらに、前記第一の時点での前記予測処理の予測結果に基づく撮像の範囲と、前記第二の時点で実行される撮像の範囲の比較に基づいて、前記被写体の情報が前記第二の画像情報に含まれるか否かを判定する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記判定部は、画角、方向情報、及び加速度情報のうち少なくともいずれか一つに基づいて、前記比較を行う、前記（１０）に記載の情報処理装置。
（１２）
前記予測処理を行う予測部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記判定部の判定結果に基づいて、表示部の表示を制御する表示制御部をさらに備える前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得することと、
前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かをプロセッサが判定することと、
を含む、情報処理方法。
（１５）
コンピュータに、
第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する処理と、
前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する処理と、
を行わせるための、プログラム。

１ 情報提示システム
３ 通信網
１００ ウェアラブル装置
１１０ ズームカメラ
１２０ センサ部
１３０ 予測部
１４０ 通信部
１５０ 記憶部
１６０ ステレオカメラ
１７０ 判定部
１８０ 表示制御部
１９０ 表示部
２００ サーバ
２１０ 通信部
２２０ 認識部
２３０ 記憶部

Claims (15)

1. 第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する取得部と、
   前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する判定部と、
   を備える、情報処理装置。
2. 前記第一の画像情報は、前記第一の時点での前記予測処理の予測結果に基づく撮像により得られる予測結果画像、前記予測結果画像から抽出される一部領域の画像、前記予測結果画像に含まれる被写体についての画像特徴量情報、のうち少なくともいずれか一つを含む、請求項１に記載の情報処理装置。
3. 前記予測結果画像は、前記ユーザの視界状態に対応する画像である、請求項２に記載の情報処理装置。
4. 前記第一の時点での前記予測処理の予測結果に基づく撮像は、前記予測結果に基づいて決定される撮像パラメータを用いて実行される、請求項２に記載の情報処理装置。
5. 前記撮像パラメータは、パン、チルト、ズーム、のうち、少なくともいずれか一つに関するパラメータを含む、請求項４に記載の情報処理装置。
6. 前記予測処理は、前記ユーザの移動に関する移動情報に基づいて前記ユーザの視界状態を予測する処理である、請求項１に記載の情報処理装置。
7. 前記移動情報は、方向情報、加速度情報、位置情報、ルート情報、行動履歴情報、スケジュール情報のうち、少なくともいずれか一つを含む、請求項６に記載の情報処理装置。
8. 前記予測処理は、前記ユーザの視線情報に基づいて、前記ユーザの視界状態を予測する処理である、請求項１に記載の情報処理装置。
9. 前記予測処理は、前記第一の時点から所定時間後の前記ユーザの視界状態を予測する処理であり、前記所定時間は、前記予測処理が行われてから前記取得部が前記第二の画像情報を取得するまでに必要な時間以上であるように設定される、請求項１に記載の情報処理装置。
10. 前記判定部は、さらに、前記第一の時点での前記予測処理の予測結果に基づく撮像の範囲と、前記第二の時点で実行される撮像の範囲の比較に基づいて、前記被写体の情報が前記第二の画像情報に含まれるか否かを判定する、請求項１に記載の情報処理装置。
11. 前記判定部は、画角、方向情報、及び加速度情報のうち少なくともいずれか一つに基づいて、前記比較を行う、請求項１０に記載の情報処理装置。
12. 前記予測処理を行う予測部をさらに備える、請求項１に記載の情報処理装置。
13. 前記判定部の判定結果に基づいて、表示部の表示を制御する表示制御部をさらに備える請求項１に記載の情報処理装置。
14. 第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得することと、
    前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かをプロセッサが判定することと、
    を含む、情報処理方法。
15. コンピュータに、
    第一の時点でユーザの視界状態を予測する、予測処理に基づいて得られる、第一の画像情報を取得する処理と、
    前記第一の画像情報に対応する被写体の情報が、前記第一の時点よりも後の第二の時点で実行される撮像部の撮像により得られる第二の画像情報に含まれるか否かを判定する処理と、
    を行わせるための、プログラム。
    

Images