JP2017054185A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】対象物の関連情報を見易く表示可能な情報処理装置を提供する。【解決手段】実施形態の情報処理装置は、取得部と、処理部と、を含む。前記取得部は、第１時刻における第１画像と、前記第１時刻の後の第２時刻における第２画像と、を取得する。前記第１画像は、第１対象物の第１像及び第２対象物の第２像を含む。前記第２画像は、前記第１対象物の第３像及び前記第３像とは異なる第４像を含む。前記処理部は、第１動作と、第２動作と、を実施する。前記第１動作は、前記第１像に対応付けられた第１関連情報を、前記第１画像に重畳して表示させる第１データを生成する。前記第２動作は、前記第１像を基準としたときの前記第２像の相対的な第１位置関係と、前記第３像を基準としたときの前記第４像の相対的な第２位置関係と、の間の変化の状態が第１状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第２データを生成する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

実空間に設けられた対象物に関する関連情報を、画像に重畳して表示するＡＲ(Augmented Reality)アプリケーションがある。ＡＲアプリケーションは、情報処理装置にインストールして用いられる。この情報処理装置においては、関連情報を見易く表示できることが望まれている。

特開２０１４−２０６９０４号公報

本発明の実施形態は、対象物の関連情報を見易く表示可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。

本発明の実施形態によれば、取得部と、処理部と、を含む情報処理装置が提供される。前記取得部は、第１時刻における第１画像と、前記第１時刻の後の第２時刻における第２画像と、を取得する。前記第１画像は、第１対象物の第１像及び第２対象物の第２像を含む。前記第２画像は、前記第１対象物の第３像及び前記第３像とは異なる第４像を含む。前記処理部は、第１動作と、第２動作と、を実施する。前記第１動作は、前記第１像に対応付けられた第１関連情報を、前記第１画像に重畳して表示させる第１データを生成する。前記第２動作は、前記第１像を基準としたときの前記第２像の相対的な第１位置関係と、前記第３像を基準としたときの前記第４像の相対的な第２位置関係と、の間の変化の状態が第１状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第２データを生成する。

第１の実施形態に係る情報処理装置を例示するブロック図である。 対象物と画像との関係を例示する模式図である。 図３（ａ）及び図３（ｂ）は、第１の実施形態に係る情報処理装置の適用例を示す模式図である。 図４（ａ）及び図４（ｂ）は、第１の実施形態に係る検出部２１の動作を例示する図である。 図５（ａ）及び図５（ｂ）は、第１の実施形態に係る対応部２２の動作を例示する図である。 図６（ａ）〜図６（ｄ）は、第１の実施形態に係る算出部２３の動作を例示する図である。 図７（ａ）及び図７（ｂ）は、第１の実施形態に係る表示制御部２４の動作を例示する図である。 図８（ａ）〜図８（ｃ）は、第１の実施形態に係る関連情報の表示結果を例示する模式図である。 第２の実施形態に係る情報処理装置を例示するブロック図である。 図１０（ａ）及び図１０（ｂ）は、第２の実施形態に係る情報処理装置の適用例を示す模式図である。 図１１（ａ）及び図１１（ｂ）は、第２の実施形態に係る設定部２５の動作を例示する図である。 図１２（ａ）〜図１２（ｃ）は、第２の実施形態に係る関連情報の表示結果を例示する模式図である。 図１３（ａ）及び図１３（ｂ）は、第３の実施形態に係る情報処理装置の適用例を示す模式図である。 図１４（ａ）及び図１４（ｂ）は、第３の実施形態に係る算出部２３の動作を例示する図である。 図１５（ａ）及び図１５（ｂ）は、第３の実施形態に係る表示制御部２４の動作を例示する図である。 図１６（ａ）〜図１６（ｃ）は、第３の実施形態に係る関連情報の表示結果を例示する模式図である。 図１７（ａ）及び図１７（ｂ）は、第４の実施形態に係る情報処理装置の適用例を示す模式図である。 図１８（ａ）及び図１８（ｂ）は、第４の実施形態に係る検出部２１の動作を例示する図である。 図１９（ａ）及び図１９（ｂ）は、第４の実施形態に係る対応部２２の動作を例示する図である。 第４の実施形態に係る関連情報の表示結果を例示する模式図である。 第５の実施形態に係る情報処理装置を例示するブロック図である。 図２２（ａ）〜図２２（ｃ）は、第５の実施形態に係る情報処理装置の適用例を示す図である。 図２３（ａ）〜図２３（ｃ）は、第５の実施形態に係る関連情報の表示結果を例示する模式図である。 第６の実施形態に係る情報処理装置を例示するブロック図である。

以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置を例示するブロック図である。
図１に表すように、実施形態に係る画像処理装置１１０は、取得部１０と、処理部２０と、表示部３０と、第１記憶部４０と、第２記憶部５０と、を含む。取得部１０には、例えば、入出力端子が用いられる。取得部１０は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部２０には、例えば、ＣＰＵ（Central Processing Unit）やメモリなどを含む演算装置が用いられる。処理部２０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

処理部２０には、検出部２１と、対応部２２と、算出部２３と、表示制御部２４と、が設けられる。これらの各部は、例えば、画像処理プログラムとして実現される。すなわち、画像処理装置１１０は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。画像処理装置１１０に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに画像処理プログラムを実行させることにより実現することができる。このとき、画像処理装置１１０は、上記の画像処理プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記の画像処理プログラムを配布して、この画像処理プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部２０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

この例においては、第１記憶部４０と第２記憶部５０とを別々に表しているが、第１記憶部４０と第２記憶部５０とを一つの記憶部として構成してもよい。

図２は、対象物と画像との関係を例示する模式図である。
図２に表すように、画像処理装置１１０には、デジタルスチルカメラなどの撮像部６０が一体で設けられている。撮像部６０は、画像処理装置１１０とは別体で設けられていてもよい。撮像部６０は、実空間ＲＳに設けられた第１対象物７１及び第２対象物７２を撮像して、第１画像６１及び第２画像６２を生成する。取得部１０は、第１画像６１及び第２画像６２を取得する。第１画像６１及び第２画像６２は、動画または静止画のいずれでもよい。

第１画像６１は、第１時刻ｔ１における画像である。第１画像６１は、第１対象物７１の第１像８１と、第２対象物７２の第２像８２と、を含む。第２画像６２は、第１時刻ｔ１よりも後の第２時刻ｔ２における画像である。第２画像６２は、第１対象物７１の第３像８３と、第３像８３とは異なる第４像８４と、を含む。本例においては、第１像８１及び第３像８３は共に、第１対象物７１の像である。第２像８２及び第４像８４は共に、第２対象物７２の像である。

本実施形態において、処理部２０は、第１動作Ｏｐ１と、第２動作Ｏｐ２と、を実施する。第１動作Ｏｐ１は、第１像８１に対応付けられた第１関連情報４１を、第１画像６１に重畳して表示させる第１データｄ１を生成する。第２動作Ｏｐ２は、第１位置関係５１と第２位置関係５２との間の変化の状態が第１状態のときに、第１関連情報４１を、第２画像６２に重畳して表示させる第２データｄ２を生成する。第１位置関係５１は、第１像８１を基準としたときの第２像８２の相対的な位置関係である。第２位置関係５２は、第３像８３を基準としたときの第４像８４の相対的な位置関係である。第１状態とは、例えば、第１位置関係５１と第２位置関係５２との間の変化がない、または、変化が小さい状態を含む。すなわち、第１状態とは、第１位置関係５１と第２位置関係５２とが実質的に変化しない状態を含む。

より具体的には、検出部２１は、第１検出処理を実施する。第１検出処理では、第１画像６１から第１像８１及び第２像８２を検出する。対応部２２は、対応付け処理を実施する。対応付け処理では、第１対象物７１に関する第１関連情報４１を、第１像８１に対応付ける。算出部２３は、第１算出処理を実施する。第１算出処理では、第１像８１を基準としたときの第２像８２の相対的な第１位置関係５１を算出する。表示制御部２４は、第１表示制御処理を実施する。第１表示制御処理では、第１関連情報４１を、第１画像６２に重畳して表示させる第１データｄ１を生成する。

さらに、検出部２１は、第２検出処理を実施する。第２検出処理では、第２画像６２から第３像８３及び第４像８４を検出する。算出部２３は、第２算出処理を実施する。第２算出処理では、第３像８３を基準としたときの第４像８４の相対的な第２位置関係５２を算出する。表示制御部２４は、第２表示制御処理を実施する。第２表示制御処理では、第１位置関係５１と第２位置関係５２との間に変化の状態が第１状態のときに、第１関連情報４１を、第２画像６２に重畳して表示させる第２データｄ２を生成する。第１画像６１及び第２画像６２の表示は、表示部３０が行う。

このように、実施形態によれば、第１画像６１において、関連情報を表示させる対象像（第１像８１、以下、注目対象像ともいう）を基準として、その周囲の対象像（第２像８２）との相対的な位置関係（第１位置関係５１）を求める。さらに、第２画像６２において、第３像８３を基準として、その周囲の対象像（第４像８４）との相対的な位置関係（第２位置関係５２）を求める。これらの位置関係が実質的に変化しなければ、注目対象像の関連情報（第１関連情報４１）の表示を継続する。

実施形態に係る画像処理装置１１０は、実空間に存在する対象物をカメラ等で撮影し、撮影した画像に、対象物に関する関連情報を重畳して表示するＡＲアプリケーションソフトウェアに適用される。関連情報とは、対象物に関する多種多様な情報であり、例えば、対象物に対する作業手順、及び、インターネット等を介して入手できる付随情報などが含まれる。

ここで、多くの対象物の対象像を含む画像の場合、対象像のそれぞれに関連情報を重畳して表示すると、非常に見難くなる。これに対して、カメラの画角の中心（画像の中心）またはユーザの視線に対応する部分に最も近い対象像を注目対象像として、注目対象像についてのみ関連情報を表示する参考例がある。

しかしながら、上記の参考例においては、連続的に撮像された複数の画像に対して、関連情報を表示するときに、ユーザの移動等に伴い、カメラの画角の中心またはユーザの視線が頻繁に移動することが起こり得る。このため、注目対象像が刻一刻と変化し、表示される関連情報が頻繁に切り替わり、見難くなる。

これに対して、実施形態によれば、複数の画像について、注目対象像とその周囲の対象像との間の相対的な位置関係を求め、これらの位置関係が実質的に変化しなければ、注目対象像の関連情報が継続して表示される。このため、ユーザの移動等に伴い表示される関連情報が頻繁に切り替わることがなく、関連情報を見易く表示することができる。

すなわち、図１及び図２に表すように、取得部１０は、実空間ＲＳに存在する対象物を撮影した複数の画像（例えば、第１画像６１及び第２画像６２）を取得し、取得した複数の画像を検出部２１に出力する。取得部１０は、デジタルスチルカメラなどの撮像部６０からリアルタイムで画像を取得してもよい。取得部１０は、ＨＤＤ(Hard Disk Drive)などの記憶媒体に記録された画像データを読み込んで取得しても良い。記憶媒体には、例えば、撮像部６０から入力される画像を変換したデジタル画像データが記録されている。

検出部２１は、取得部１０から入力された第１画像６１を解析して、第１画像６１中に含まれる対象像を検出し、対象像の位置を算出部２３に出力し、対象像の種別を対応部２２にそれぞれ出力する。ここで、対象像とは、例えば、看板、ロゴ、標識、銘板などの文字情報を含むものでもよい。対象像とは、例えば、店舗に配置された商品、街中に立っている建物、工場に設置された機械などの物体の形状情報を含むものでもよい。さらに、対象像とは、例えば、人の顔や人物に関する情報を含むものでもよい。

検出部２１により出力される対象像の位置は、画像中で対象像が位置する座標情報として表現される。このときの対象物の座標情報は、厳密に対象像を囲うように設定してもよいし、外接矩形や重心座標などを用いて簡略化しても良い。検出部２１により出力される対象像の種別は、他の対象像と区別するための情報である。例えば、文字情報を含む対象像を文字認識し、得られた文字列を対象像の種別としてもよい。物体の形状情報を含む対象像を形状認識し、得られた物体形状を対象像の種別としてもよい。さらには、対象像から切り出した画像部分そのものを種別としてもよい。

対応部２２は、検出部２１から入力された各対象像の種別に基づいて、各対象像の種別に対応する関連情報を、第１記憶部４０に格納されている関連情報４０ａの中から選択し、選択した関連情報を表示制御部２４に出力する。例えば、第１関連情報４１が第１像８１に対応付けられる。関連情報４０ａとは、対象物（対象像）に対応する文字などの情報である。例えば、日本語文字を英語文字に翻訳するＡＲアプリケーションにおいては、翻訳結果の英語文字が関連情報に相当する。また、機器に対する作業手順を表示するＡＲアプリケーションにおいては、機器の操作手順を説明する作業手順書や操作の概略を表した画像などが関連情報に相当する。なお、関連情報４０ａについて、特に限定はなく、対象物に関連して取得した画像に重畳表示できるものであれば良い。

算出部２３は、検出部２１から入力された複数の対象像の位置に基づいて、複数の対象像の相対的な位置関係５０ａを算出し、算出した位置関係５０ａを第２記憶部５０に記録する。例えば、位置関係５０ａには、第１画像６１に含まれる第１像８１と第２像８２との間の相対的な第１位置関係５１が含まれる。ここでは、第１像８１が注目対象像として設定されている。第１位置関係５１は、第１像８１を基準としたときの第２像８２の相対的な位置関係である。

表示制御部２４は、第１像８１に対応付けられた第１関連情報４１を、第１画像６１に重畳して表示させる第１データｄ１を生成する。そして、表示制御部２４は、表示部３０を制御して、第１データｄ１を表示部３０に表示させる。

検出部２１、対応部２２、及び算出部２３は、第２画像６２に含まれる複数の対象像に対して同様の処理を繰り返し、第２画像６２に含まれる第３像８３と第４像８４との間の相対的な第２位置関係５２を算出する。

表示制御部２４は、第１位置関係５１と、第２位置関係５２と、を比較し、相対的な位置関係の変化の状態が第１状態であるか否かを判定する。第１状態であれば、第１関連情報４１を第２画像６２に重畳して表示させる。このとき、対象像の位置を起点として、どの位置に関連情報を表示するのか、表示位置を決定してもよい。一方、第１状態とは異なる第２状態であれば、第１関連情報４１を第２画像６２に表示させない。または、第２画像６２に、第１関連情報４１とは異なる別の関連情報を表示させてもよい。別の関連情報としては、例えば、第２対象物７２に関する第２関連情報を表示させることができる。ここで、第２状態とは、第２位置関係５２が第１位置関係５１に対して変化している状態である。

このように、画像に含まれる複数の対象像の相対的な位置関係に基づいて、同じ関連情報を連続して表示するか、または、切り替えて別の関連情報を表示するか、を制御することができる。このため、連続して複数の画像が入力された場合にも、関連情報が頻繁に切り替わることがなく、ユーザにとって見易い関連情報を表示することができる。

図３（ａ）及び図３（ｂ）は、第１の実施形態に係る情報処理装置の適用例を示す模式図である。
図３（ａ）は、複数の対象物を例示する模式図である。
図３（ｂ）は、作業者８０が情報処理装置１１０を持って複数の対象物を撮像しながら地点Ｘから地点Ｚまで移動する様子を例示する模式図である。

図３（ａ）に表すように、実空間ＲＳには、第１対象物７１、第２対象物７２、及び第３対象物７３が存在する。図３（ｂ）に表すように、情報処理装置１１０は、例えば、カメラ（撮像部６０）を備えたタブレット端末である。情報処理装置１１０には、例えば、第１対象物７１に関する第１関連情報４１が表示されており、作業者８０はこの第１関連情報４１を見ながら第１〜第３対象物７１〜７３に接近する。作業者８０は、地点Ｘ、地点Ｙ、地点Ｚの順に移動する。作業者８０は、第１〜第３対象物７１〜７３に対して、情報処理装置１１０をかざしながら、移動している。第１画像６１（地点Ｘ）は、第１像８１、第２像８２に加え、さらに、第３対象物７３の第５像８５を含む。第２画像６２（地点Ｚ）は、第３像８３、第４像８４に加え、第３対象物７３の第６像８６を含む。

本例においては、第１動作Ｏｐ１は、第１像８１に対応付けられた第１関連情報４１を、第１画像６１に重畳して表示させる第３データｄ３を生成する。第２動作Ｏｐ２は、第１位置関係５１と第２位置関係５２との間の変化の状態が第１状態であり、第１像８１を基準としたときの第５像８５の相対的な第３位置関係５３と、第３像を基準としたときの第６像８６の相対的な第４位置関係５４と、の間の変化の状態が第３状態のときに、第１関連情報４１を、第２画像６２に重畳して表示させる第４データｄ４を生成する。第３状態とは、第１状態と同様に、例えば、第３位置関係５３と第４位置関係５４との間の変化がない、または、変化が小さい状態を含む。すなわち、第３状態とは、第３位置関係５３と第４位置関係５４とが実質的に変化しない状態を含む。

図４（ａ）及び図４（ｂ）は、第１の実施形態に係る検出部２１の動作を例示する図である。
図４（ａ）は、第１画像６１を例示する模式図である。
図４（ｂ）は、検出部２１の動作例を説明するフローチャート図である。

図４（ａ）に表すように、情報処理装置１１０は、地点Ｘにおいて第１対象物７１、第２対象物７２、及び第３対象物７３を撮像し、それぞれ第１像８１、第２像８２、及び第５像８５を含む第１画像６１を取得して画面に表示する。ここで、第１対象物７１には文字ラベル「Type B」、第２対象物７２には文字ラベル「Type A」、第３対象物７３には文字ラベル「Type C」がそれぞれ付与されている。本例においては、第１画像６１から文字ラベルを文字認識し、これに基づいて、各対象像（第１像８１、第２像８２、及び第５像８５）の位置を算出すると共に、各対象像の種別を認識する。

図４（ｂ）に表すように、検出部２１は、第１画像６１から複数の対象像（第１像８１、第２像８２、及び第５像８５）を検出する（ステップＳ１）。例えば、第１画像６１において文字認識を行い、文字を含む像を対象像として検出する。画像から文字を検出する技術は、情景文字検出と呼ばれ様々な方法がある。例えば、画像を複数の小領域に分割し、分割した小領域毎に多次元ベクトルで構成される特徴量を抽出する。特徴量としては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）などの局所特徴量を利用することができる。例えば、典型的な文字画像のパターン（大文字または小文字の英数字）を登録したデータベースにあるパターンと局所特徴量によって対応付けて、一定数の対応が取れた小領域に対象像が存在すると判断することができる。これにより、第１画像６１から、「Type B」を含む第１像８１と、「Type A」を含む第２像８２と、「Type C」を含む第５像８５と、を検出する。

次に、検出部２１は、各対象像（第１像８１、第２像８２、及び第５像８５）の位置を算出する（ステップＳ２）。ここでは、複数の文字群に基づき各対象像の位置を算出する。例えば、隣接する文字の固まりを文字列として検出し、検出した文字列を内包する外接矩形の重心を対象像の位置として算出する。

次に、検出部２１は、各対象像（第１像８１、第２像８２、及び第５像８５）の種別を認識する（ステップＳ３）。局所特徴量によって対応付けた文字パターンにより、各対象像の種別、すなわち、第１像８１の「Type B」、第２像８２の「Type A」、及び第５像８５の「Type C」をそれぞれ認識する。

図５（ａ）及び図５（ｂ）は、第１の実施形態に係る対応部２２の動作を例示する図である。
図５（ａ）は、関連情報４０ａを例示する図である。
図５（ｂ）は、対応部２２の動作例を説明するフローチャート図である。

図５（ａ）に表すように、各対象像（第１像８１、第２像８２、第５像８５）の種別（「Type B」、「Type A」、「Type C」）と、関連情報４０ａ（第１関連情報４１、第２関連情報４２、第３関連情報４３）と、を対応付けるデータベースを保持する。このデータベースは、第１記憶部４０に予め格納されている。この例においては、第１像８１の「Type B」には、第１対象物７１に関する「最初に点検する機器です」（第１関連情報４１）が対応する。第２像８２の「Type A」には、第２対象物７２に関する「メーターが正常範囲かを確認して下さい」（第２関連情報４２）が対応する。第５像８５の「Type C」には、第３対象物７３に関する「スイッチがついているか確認して下さい」（第３関連情報４３）が対応する。

図５（ｂ）に表すように、対応部２２は、各対象像の種別に基づいて、データベース（第１記憶部４０）を検索し（ステップＳ１１）、各対象像に関連情報を対応付ける（ステップＳ１２）。例えば、第１画像６１から検出した第２像８２には、「Type A」という種別が付与されている。このため、第２関連情報４２、すなわち、「メーターが正常範囲かを確認して下さい」が対応付けられる。同様に、第１像８１には、「Type B」という種別が付与されている。このため、第１関連情報４１、すなわち、「最初に点検する機器です」が対応付けられる。第５像８５には、「Type C」という種別が付与されている。このため、第３関連情報４３、すなわち、「スイッチがついているか確認して下さい」が対応付けられる。

なお、ここでは、第１像８１が、関連情報を表示させる注目対象像として予め設定されている。このため、第１像８１に対応付けられた第１関連情報４１が、第１画像６１に重畳して表示される。

図３（ｂ）に表すように、地点Ｚにおける第２画像６２に対しても同様の処理が実施される。すなわち、検出部２１は、第２画像６２から複数の対象像（第３像８３、第４像８４、及び第６像８６）を検出する。検出部２１は、各対象像の位置を算出し、各対象像の種別を認識する。対応部２２は、各対象像の種別に基づいて、データベース（第１記憶部４０）を検索し、各対象像に関連情報を対応付ける。例えば、第２画像６２から検出した第４像８４には、「Type A」という種別が付与されている。このため、第２関連情報４２、すなわち、「メーターが正常範囲かを確認して下さい」が対応付けられる。同様に、第３像８３には、「Type B」という種別が付与されている。このため、第１関連情報４１、すなわち、「最初に点検する機器です」が対応付けられる。第６像８６には、「Type C」という種別が付与されている。このため、第３関連情報４３、すなわち、「スイッチがついているか確認して下さい」が対応付けられる。

図６（ａ）〜図６（ｄ）は、第１の実施形態に係る算出部２３の動作を例示する図である。
図６（ａ）は、算出部２３の動作例を説明するフローチャート図である。
図６（ｂ）は、第１相対座標系を例示する模式図である。
図６（ｃ）は、第２相対座標系を例示する模式図である。
図６（ｄ）は、第１〜第４位置関係の算出結果を例示する図である。

図６（ａ）に表すように、算出部２３は、地点Ｘにおいて第１画像６１に含まれる複数の対象像（第１像８１、第２像８２、第５像８５）それぞれの座標を取得する（ステップＳ２１）。そして、算出部２３は、これら複数の対象像の相対位置関係を算出するため、相対座標系における中心点を決定する（ステップＳ２２）。例えば、図６（ｂ）に表すように、地点Ｘにおいて画角の中心に最も近い文字列「Type B」を含む第１像８１中の第１位置ｂ１を中心点とする第１相対座標系ｃ１を設定する。そして、算出部２３は、第１相対座標系ｃ１に基づいて、図６（ｄ）に表すように、第１位置関係５１及び第３位置関係５３を算出する（ステップＳ２３）。

ここで、第１相対座標系ｃ１は、第１軸ａ１と、第２軸ａ２と、を含む。第１軸ａ１は、第１位置ｂ１を通り第１方向Ｄ１に延びる。第２軸ａ２は、第１位置ｂ１を通り第１方向Ｄ１と交差する第２方向Ｄ２に延びる。第１方向Ｄ１は、例えば、第１画像６１のＸ軸方向である。第２方向Ｄ２は、例えば、第１画像６１のＹ軸方向である。

第１位置関係５１は、第１向きｈｄ１と、第２向きｈｄ２と、を含む。第１向きｈｄ１は、第３方向Ｄ３の第１軸ａ１に沿う向きである。第３方向Ｄ３は、第１像８１から第２像８２に向かう方向である。第２向きｈｄ２は、第３方向Ｄ３の第２軸ａ２に沿う向きである。すなわち、第２像８２が第２軸ａ２よりも右側にあれば、第１向きｈｄ１は右向きとなる。第１向きｈｄ１が右向きの状態を「＋」で表す。第２像８２が第２軸ａ２よりも左側にあれば、第１向きｈｄ１は左向きとなる。第１向きｈｄ１が左向きの状態を「−」で表す。また、第２像８２が第１軸ａ１よりも上側にあれば、第２向きｈｄ２は上向きとなる。第２向きｈｄ２が上向きの状態を「＋」で表す。第２像８２が第１軸ａ１よりも下側にあれば、第２向きｈｄ２は下向きとなる。第２向きｈｄ２が下向きの状態を「−」で表す。図６（ｂ）の例の場合、第１像８１(Type B)と第２像８２(Type A)との間の位置関係は、（左側、上側）となるため、（第１向きｈｄ１、第２向きｈｄ２）は、（−、＋）と表される。

第３位置関係５３は、第５向きｈｄ５と、第６向きｈｄ６と、を含む。第５向きｈｄ５は、第５方向Ｄ５の第１軸ａ１に沿う向きである。第５方向Ｄ５は、第１像８１から第５像８５に向かう方向である。第６向きｈｄ６は、第５方向Ｄ５の第２軸ａ２に沿う向きである。すなわち、第５像８５が第２軸ａ２よりも右側にあれば、第５向きｈｄ５は右向きとなる。第５向きｈｄ５が右向きの状態を「＋」で表す。第５像８５が第２軸ａ２よりも左側にあれば、第５向きｈｄ５は左向きとなる。第５向きｈｄ５が左向きの状態を「−」で表す。また、第５像８５が第１軸ａ１よりも上側にあれば、第６向きｈｄ６は上向きとなる。第６向きｈｄ６が上向きの状態を「＋」で表す。第５像８５が第１軸ａ１よりも下側にあれば、第６向きｈｄ６は下向きとなる。第６向きｈｄ６が下向きの状態を「−」で表す。図６（ｂ）の例の場合、第１像８１(Type B)と第５像８５(Type C)との間の位置関係は、（右側、上側）となるため、（第５向きｈｄ５、第６向きｈｄ６）は、（＋、＋）と表される。

算出部２３は、地点Ｚにおいて第２画像６２に対して同様の処理を実施する。つまり、算出部２３は、第２画像６２に含まれる複数の対象像（第３像８３、第４像８４、第６像８６）それぞれの座標を取得する（ステップＳ２１）。そして、算出部２３は、これら複数の対象像の相対位置関係を算出するため、相対座標系における中心点を決定する（ステップＳ２２）。例えば、図６（ｃ）に表すように、地点Ｚにおいて画角の中心に最も近い文字列「Type B」を含む第３像８３の第２位置ｂ２を中心点とする第２相対座標系ｃ２を設定する。そして、算出部２３は、第２相対座標系ｃ２に基づいて、図６（ｄ）に表すように、第２位置関係５２及び第４位置関係５４を算出する（ステップＳ２３）。

ここで、第２相対座標系ｃ２は、第３軸ａ３と、第４軸ａ４と、を含む。第３軸ａ３は、第２位置ｂ２を通り第１方向Ｄ１に延びる。第４軸ａ４は、第２位置ｂ２を通り第１方向Ｄ２と交差する第２方向Ｄ２に延びる。第１方向Ｄ１は、例えば、第２画像６２のＸ軸方向である。第２方向Ｄ２は、例えば、第２画像６２のＹ軸方向である。

第２位置関係５２は、第３向きｈｄ３と、第４向きｈｄ４と、を含む。第３向きｈｄ３は、第４方向Ｄ４の第３軸ａ３に沿う向きである。第４方向Ｄ４は、第３像８３から第４像８４に向かう方向である。第４向きｈｄ４は、第４方向Ｄ４の第４軸ａ４に沿う向きである。すなわち、第４像８４が第４軸ａ４よりも右側にあれば、第３向きｈｄ３は右向きとなる。第３向きｈｄ３が右向きの状態を「＋」で表す。第４像８４が第４軸ａ４よりも左側にあれば、第３向きｈｄ３は左向きとなる。第３向きｈｄ３が左向きの状態を「−」で表す。また、第４像８４が第３軸ａ３よりも上側にあれば、第４向きｈｄ４は上向きとなる。第４向きｈｄ４が上向きの状態を「＋」で表す。第４像８４が第３軸ａ３よりも下側にあれば、第４向きｈｄ４は下向きとなる。第４向きｈｄ４が下向きの状態を「−」で表す。図６（ｃ）の例の場合、第３像８３(Type B)と第４像８４(Type A)との間の位置関係は、（左側、上側）となるため、（第３向きｈｄ３、第４向きｈｄ４）は、（−、＋）と表される。

第４位置関係５４は、第７向きｈｄ７と、第８向きｈｄ８と、を含む。第７向きｈｄ７は、第６方向Ｄ６の第３軸ａ３に沿う向きである。第６方向Ｄ６は、第３像８３から第６像８６に向かう方向である。第８向きｈｄ８は、第６方向Ｄ６の第４軸ａ４に沿う向きである。すなわち、第６像８６が第４軸ａ４よりも右側にあれば、第７向きｈｄ７は右向きとなる。第７向きｈｄ７が右向きの状態を「＋」で表す。第６像８６が第４軸ａ４よりも左側にあれば、第７向きｈｄ７は左向きとなる。第７向きｈｄ７が左向きの状態を「−」で表す。また、第６像８６が第３軸ａ３よりも上側にあれば、第８向きｈｄ８は上向きとなる。第８向きｈｄ８が上向きの状態を「＋」で表す。第６像８６が第３軸ａ３よりも下側にあれば、第８向きｈｄ８は下向きとなる。第８向きｈｄ８が下向きの状態を「−」で表す。図６（ｃ）の例の場合、第３像８３(Type B)と第６像８６(Type C)との間の位置関係は、（右側、上側）となるため、（第７向きｈｄ７、第８向きｈｄ８）は、（＋、＋）と表される。

図７（ａ）及び図７（ｂ）は、第１の実施形態に係る表示制御部２４の動作を例示する図である。
図７（ａ）は、表示制御部２４の動作例を説明するフローチャート図である。
図７（ｂ）は、注目対象像の決定結果を例示する図である。

図７（ａ）及び図７（ｂ）に表すように、表示制御部２４は、第１位置関係５１と第２位置関係５２との間、及び、第３位置関係５３と第４位置関係５４との間、のそれぞれに実質的な変化があるか否かを判定し（ステップＳ３１）、判定結果に基づいて、表示する関連情報を決定し（ステップＳ３２）、関連情報の表示位置を決定する（ステップＳ３３）。

本例においては、第１方向ｈｄ１と第３方向ｈｄ３とが同じであり、第２方向ｈｄ２と第４方向ｈｄ４とが同じである。このため、第１位置関係５１と第２位置関係５２との間の変化の状態は、第１状態と判定される。また、第５方向ｈｄ５と第７方向ｈｄ７とが同じであり、第６方向ｈｄ６と第８方向ｈｄ８とが同じである。このため、第３位置関係５３と第４位置関係５４との間の変化の状態は、第３状態と判定される。この場合、表示制御部２４は、地点Ｚにおいて位置関係に実質的な変化がないと判定し、地点Ｘで表示していた関連情報を継続して表示する。一方、地点Ｚにおいて位置関係が変化していると判定したときは、注目対象像を再度設定し、表示する関連情報を別の関連情報に切り替える。

地点Ｘ、地点Ｙにおいては、「Type B」の対象像が注目対象像として決定されていたものとする。地点Ｚに到着した際に、相対的な位置関係が実質的に変化したか否かを判定する。地点Ｘ（及び地点Ｙ）での位置関係と、地点Ｚでの位置関係と、を比較すると、これらの位置関係は実質的に変化していないことがわかる。そのため、注目対象像は、地点Ｘ（及び地点Ｙ）と同じく「Type B」の対象像であると判定できる。この場合、表示すべき関連情報は、第１関連情報４１、すなわち、「最初に点検する機器です」と決定できる。

表示制御部２４においては、関連情報の表示位置を適応的に決定してもよい。例えば、注目対象像の周辺で、かつ検出された他の対象像に重ならない位置を表示位置として決定することができる。

図８（ａ）〜図８（ｃ）は、第１の実施形態に係る関連情報の表示結果を例示する模式図である。
図８（ａ）は、地点Ｘにおける関連情報の表示結果を例示する図である。
図８（ｂ）は、地点Ｙにおける関連情報の表示結果を例示する図である。
図８（ｃ）は、地点Ｚにおける関連情報の表示結果を例示する図である。

図３（ａ）に表したように、実空間ＲＳには、第１対象物７１、第２対象物７２、及び第３対象物７３が存在する。情報処理装置１１０には、例えば、第１対象物７１に関する第１関連情報４１が表示されており、作業者８０は第１関連情報４１を見ながら、第１〜第３対象物７１〜７３に接近する。作業者８０は、地点Ｘ、地点Ｙ、地点Ｚの順に移動する。作業者８０は、これら複数の対象物に対して、情報処理装置１１０をかざしながら、移動している。

図８（ａ）に表すように、第１画像６１（地点Ｘ）は、第１像８１、第２像８２に加え、さらに、第３対象物７３の第５像８５を含む。図８（ｃ）に表すように、第２画像６２（地点Ｚ）は、第３像８３、第４像８４に加え、さらに、第３対象物７３の第６像８６を含む。地点Ｘと地点Ｚとにおいて、複数の対象像の相対的な位置関係に実質的な変化はない。このため、地点Ｚにおいて、地点Ｘで表示していた第１関連情報４１が継続して表示される。

なお、上記の実施例では、地点Ｘの第１画像、地点Ｙの第２画像、地点Ｚの第３画像において対象物が正確に検出された状況を想定している。しかし、連続する、ある画像で対象物が一瞬検出されなかった場合でも、前後の画像により未検出の対象物を補完することによって、相対的な位置関係が変化したかどうかを判断すれば良い。例えば、ユーザから見た風景中に複数の建物を撮像する場合、撮像機器を保持したユーザ自身が移動するために、画像がぼけたり、障害物等によって対象となる建物が一瞬だけ隠れることがある。この場合、前後の画像の検出対象物を補完して対応してもよいし、撮像画像のすべてを処理対象とせず、所定のフレーム間隔で処理してもよい。さらに、例えば、所定のコースを移動する車や荷物など、対象物が動く場合でも同様である。これらは、所定の状況によって切り替える手段を別途用意して、ユーザの指示によって処理を付け加えてもよい。

このように、実施形態によれば、作業者の移動によって画像におさまる複数の対象像の位置が変化しても、これら複数の対象像の相対的な位置関係が変化しなければ、同じ関連情報を継続して表示することができる。このため、関連情報を見易く表示することが可能となる。

（第２の実施形態）
図９は、第２の実施形態に係る情報処理装置を例示するブロック図である。
図９に表すように、実施形態に係る情報処理装置１１１は、さらに、設定部２５が設けられている。

処理部２０は、第１位置関係５１を導出する動作をさらに実施する。導出の動作は、第１像８１の中心と第１画像６１の中心との距離が、第２像８２の中心と第１画像６１の中心との距離よりも短い状態が所定時間継続したときに、第１位置関係５１を導出することを含む。第１位置関係５１は、第１像８１を基準としたときに第２像８２の相対的な位置関係である。設定部２５は、第１像８１を基準に設定する。つまり、第１像８１を、注目対象像に設定する。

図１０（ａ）及び図１０（ｂ）は、第２の実施形態に係る情報処理装置の適用例を示す模式図である。
図１０（ａ）は、複数の対象物を例示する模式図である。
図１０（ｂ）は、作業者８０が情報処理装置１１１を持って複数の対象物を撮像した様子を例示する模式図である。

図１０（ａ）に表すように、実空間ＲＳには、複数の対象物として、文字列「Type B」を含む第１対象物７１と、文字列「Type A」を含む第２対象物７２と、文字列「Type C」を含む第３対象物７３と、文字列「Type D」を含む第４対象物７４と、文字列「Type E」を含む第５対象物７５と、が設けられている。

図１０（ｂ）に表すように、情報処理装置１１１は、第１〜第５対象物７１〜７５を撮像した第１画像６１を表示する。第１画像６１は、第１対象物７１の第１像８１と、第２対象物７２の第２像８２と、第３対象物７３の第５像８５と、第４対象物７４の第７像８７と、第５対象物７５の第８像８８と、を含む。

情報処理装置１１１は、例えば、カメラ（撮像部６０）を備えたタブレット端末である。このように、実空間ＲＳに複数の対象物が存在し、作業者８０が複数の対象物に対して情報処理装置１１１をかざしている状況を想定する。本実施形態においては、注目対象像を設定する設定部２５が追加される。この設定部２５の動作例について以下に説明する。

図１１（ａ）及び図１１（ｂ）は、第２の実施形態に係る設定部２５の動作を例示する図である。
図１１（ａ）は、設定部２５の動作例を説明するフローチャート図である。
図１１（ｂ）は、設定部２５の動作を例示する模式図である。

図１１（ａ）に表すように、設定部２５は、第１画像６１に対して注目対象像の位置を推定するための座標を指定する（ステップＳ４１）。例えば、表示部３０に座標入力のためのタッチパネル等を搭載して入力しても良い。または、画角に存在する特定の領域を座標として指定しても良い。ここでは、図１１（ｂ）に表すように、画角の中心座標６１ａを指定する。第１〜第５対象物７１〜７５に対応する５つの像８１、８２、８５、８７、８８のうち、「Type B」の第１像８１が最も中心座標６１ａに近い。このため、「Type B」の第１像８１を、候補対象像として決定する（ステップＳ４２）。

設定部２５は、継続時間を測定する（ステップＳ４３）。例えば、閾値を２秒とした場合、２秒以上、情報処理装置１１１の画角を固定することで、第１像８１を、注目対象像に設定する（ステップＳ４４）。

すなわち、第１像８１の中心と第１画像６１の中心座標６１ａとの距離は、第２像８２の中心と第１画像６１の中心座標６１ａとの距離よりも短い。この位置関係が所定時間継続したときに、第１像８１を、注目対象像に設定する。これにより、第１位置関係５１が導出される。なお、第１像８１と、第５像８５、第７像８７及び第８像８８のそれぞれと、の間のそれぞれの位置関係についても、第１像８１と第２像８２との間の位置関係と同様である。

さらに、表示制御部２４においては、作業者８０が明示的に注目対象像を設定した後は、相対位置関係が変化しない限り、注目対象像に関する関連情報の表示を継続するように制御する。

図１２（ａ）〜図１２（ｃ）は、第２の実施形態に係る関連情報の表示結果を例示する模式図である。
図１２（ａ）は、地点Ｘにおける関連情報の表示結果を例示する図である。
図１２（ｂ）は、地点Ｙにおける関連情報の表示結果を例示する図である。
図１２（ｃ）は、地点Ｚにおける関連情報の表示結果を例示する図である。

図１０（ａ）に表したように、実空間ＲＳには、第１〜第５対象物７１〜７５が存在する。本例における地点Ｘ、Ｙ、Ｚは、図３（ｂ）に示す地点Ｘ、Ｙ、Ｚと同様である。情報処理装置１１１には、例えば、第１対象物７１に関する第１関連情報４１が表示されており、作業者８０は第１関連情報４１を見ながら、第１〜第５対象物７１〜７５に接近する。作業者８０は、地点Ｘ、地点Ｙ、地点Ｚの順に移動する。作業者８０は、これら複数の対象物に対して、情報処理装置１１１をかざしながら、移動している。

図１２（ａ）に表すように、第１画像６１（地点Ｘ）は、第１像８１、第２像８２及び第５像８５に加え、さらに、第４対象物７４の第７像８７、第５対象物７５の第８像８８を含む。図１２（ｃ）に表すように、第２画像６２（地点Ｚ）は、第３像８３、第４像８４及び第６像８６に加え、さらに、第４対象物７４の第９像８９、第５対象物７５の第１０像９０を含む。地点Ｘと地点Ｚとにおいて、複数の対象像の相対的な位置関係に実質的な変化はない。このため、地点Ｚにおいて、地点Ｘで表示していた第１関連情報４１が継続して表示される。

このように、実施形態によれば、設定部を設けることで、作業者が所望の注目対象像を設定することができる、さらに、設定した注目対象像に関する関連情報の表示を継続できるため、関連情報を見易く提供することが可能となる。

（第３の実施形態）
図１３（ａ）及び図１３（ｂ）は、第３の実施形態に係る情報処理装置の適用例を示す模式図である。
図１３（ａ）は、複数の対象物を例示する模式図である。
図１３（ｂ）は、作業者８０が情報処理装置１１２を持って複数の対象物を撮像しながら地点Ｘから地点Ｚまで移動する様子を例示する模式図である。

図１３（ａ）に表すように、実空間ＲＳには、第１〜第５対象物７１〜７５が存在する。図１３（ｂ）に表すように、情報処理装置１１２は、例えば、カメラ（撮像部６０）を備えたタブレット端末である。情報処理装置１１２には、例えば、第１対象物７１に関する第１関連情報４１が表示されており、作業者８０は第１関連情報４１を見ながら、第１〜第５対象物７１〜７５に接近する。作業者８０は、地点Ｘ、地点Ｙ、地点Ｚの順に移動する。作業者８０は、これら複数の対象物に対して、情報処理装置１１２をかざしながら、移動している。第１画像６１（地点Ｘ）は、第１像８１、第２像８２及び第５像８５に加え、さらに、第４対象物７４の第７像８７、第５対象物７５の第８像８８を含む。第２画像６２（地点Ｚ）は、第３像８３、第４像８４及び第６像８６に加え、さらに、第４対象物７４の第９像８９、第５対象物７５の第１０像９０を含む。

図１４（ａ）及び図１４（ｂ）は、第３の実施形態に係る算出部２３の動作を例示する図である。
図１４（ａ）は、算出部２３の動作例を説明するフローチャート図である。
図１４（ｂ）は、対象像の位置関係の算出結果を例示する図である。

本実施形態においては、第１画像６１に表示される全ての対象像の中から、注目対象像と距離の近い対象像を選択的に抽出し、抽出した対象像のみを用いて相対位置関係の変化を判定する。

すなわち、算出部２３は、第１画像６１（地点Ｘ）に含まれる複数の対象像、すなわち、第１像８１、第２像８２、第５像８５、第７像８７、及び第８像８８のそれぞれの座標を取得する（ステップＳ５１）。算出部２３は、複数の対象像間の相対的な位置関係を算出する。これにより、相対座標系の中心点を決定する（ステップＳ５２）。例えば、地点Ｘにおいて画角の中心に最も近い「Type B」の第１像８１を注目対象像として決定し、第１像８１の位置を、相対座標系の中心点として決定する。

「Type B」の第１像８１を基準としたときに、「Type A」の第２像８２と、「Type C」の第５像８５と、「Type D」の第７像８７と、「Type E」の第８像８８と、のそれぞれについて、相対的な位置関係を算出する。この位置関係の算出方法は、前述の図６（ａ）〜図６（ｄ）で説明した通りである。そしてさらに、第１像８１の大きさなどに基づいて基準距離を設定し、第１像８１と、他の像それぞれ（第２像８２、第５像８５、第７像８７、第８像８８）との距離を求める。

図１４（ｂ）に表すように、「Type B」の第１像８１と、「Type A」の第２像８２との関係においては、第２像８２は、第１像８１の（左側、上側）に位置する。さらに、第１像８１と第２像８２との間の距離は、例えば、基準距離の５倍である。このため、これを（−、＋、５）と表現する。同様に、「Type B」の第１像８１と、「Type C」の第５像８５との関係においては、（＋、＋、５）と表現できる。「Type B」の第１像８１と、「Type D」の第７像８７との関係においては、（−、＋、１５）と表現できる。「Type B」の第１像８１と、「Type E」の第８像８８との関係においては、（＋、＋、１５）と表現できる。

ここで、算出部２３は、第１像８１の位置から一定の範囲内に位置する対象像（ここでは、第２像８２、第５像８５）のみを選択的に抽出し、抽出した対象像による相対的な位置関係のみを、比較の対象とする。例えば、距離の閾値を、「１０」と設定した場合、「Type D」の第７像８７の相対的な位置関係と、「Type E」の第８像８８の相対的な位置関係とは、比較対象として考慮されない。つまり、「Type D」と「Type E」とは無視される。従って、第２画像６２（地点Ｚ）においては、「Type D」の第９像８９の相対的な位置関係と、「Type E」の第１０像９０の相対的な位置関係とは、算出されず、比較対象として考慮されない。

図１５（ａ）及び図１５（ｂ）は、第３の実施形態に係る表示制御部２４の動作を例示する図である。
図１５（ａ）は、表示制御部２４の動作例を説明するフローチャート図である。
図１５（ｂ）は、注目対象像の決定結果を例示する図である。

図１５（ａ）に表すように、表示制御部２４は、地点Ｘ（及び地点Ｙ）における位置関係と、地点Ｚにおける位置関係と、の間に実質的な変化があるか否かを判定し（ステップＳ６１）、判定結果に基づいて、表示する関連情報を決定し（ステップＳ６２）、関連情報の表示位置を決定する（ステップＳ６３）。

本例においては、第１方向ｈｄ１と第３方向ｈｄ３とが同じであり、第２方向ｈｄ２と第４方向ｈｄ４とが同じである。このため、第１位置関係５１と第２位置関係５２との間の変化の状態は、第１状態と判定される。また、第５方向ｈｄ５と第７方向ｈｄ７とが同じであり、第６方向ｈｄ６と第８方向ｈｄ８とが同じである。このため、第３位置関係５３と第４位置関係５４との間の変化の状態は、第３状態と判定される。この場合、表示制御部２４は、地点Ｚにおいて位置関係に実質的な変化がないと判定し、地点Ｘで表示していた関連情報を継続して表示する。一方、地点Ｚにおいて位置関係が変化していると判定したときは、注目対象像を再度設定し、表示する関連情報を別の関連情報に切り替える。

地点Ｘ、地点Ｙにおいては、「Type B」の対象像が注目対象像として決定されていたものとする。地点Ｚに到着した際に、相対的な位置関係が実質的に変化したか否かを判定する。地点Ｘ（及び地点Ｙ）での位置関係と、地点Ｚでの位置関係と、を比較すると、これらの位置関係は実質的に変化していないことがわかる。そのため、注目対象像は、地点Ｘ（及び地点Ｙ）と同じく「Type B」の対象像であると判定できる。この場合、表示すべき関連情報は、第１関連情報４１、すなわち、「最初に点検する機器です」と決定できる。

表示制御部２４においては、関連情報の表示位置を適応的に決定してもよい。例えば、注目対象像の周辺で、かつ検出された他の対象像に重ならない位置を表示位置として決定することができる。

図１６（ａ）〜図１６（ｃ）は、第３の実施形態に係る関連情報の表示結果を例示する模式図である。
図１６（ａ）は、地点Ｘにおける関連情報の表示結果を例示する図である。
図１６（ｂ）は、地点Ｙにおける関連情報の表示結果を例示する図である。
図１６（ｃ）は、地点Ｚにおける関連情報の表示結果を例示する図である。

図１３（ａ）に表したように、実空間ＲＳには、第１〜第５対象物７１〜７５が存在する。本例における地点Ｘ、Ｙ、Ｚは、図１３（ｂ）に示す地点Ｘ、Ｙ、Ｚと同様である。情報処理装置１１２には、例えば、第１対象物７１に関する第１関連情報４１が表示されており、作業者８０は第１関連情報４１を見ながら、第１〜第５対象物７１〜７５に接近する。作業者８０は、地点Ｘ、地点Ｙ、地点Ｚの順に移動する。作業者８０は、これら複数の対象物に対して、情報処理装置１１２をかざしながら、移動している。

図１６（ａ）に表すように、第１画像６１（地点Ｘ）は、第１像８１、第２像８２及び第５像８５に加え、さらに、第４対象物７４の第７像８７、第５対象物７５の第８像８８を含む。しかしながら、第７像８７と第８像８８とは相対位置関係の比較の対象にはならない。点線で囲まれた第１像８１、第２像８２及び第５像８５のみが相対位置関係の比較の対象とされる。図１６（ｃ）に表すように、第２画像６２（地点Ｚ）は、第３像８３、第４像８４及び第６像８６のみを含む。すなわち、第２画像６２には、第４対象物７４の第９像８９、第５対象物７５の第１０像９０は含まれていないが、これらの対象像の相対位置関係は、比較対象として考慮されていない。このため、地点Ｚにおいて、地点Ｘで表示していた第１関連情報４１がそのまま継続して表示される。

このように、実施形態によれば、多くの対象像が表示されるときに、注目対象像と距離の近い対象像に絞って相対位置関係を算出、比較することができる。このため、演算処理を迅速に実施することが可能となる。

（第４の実施形態）
図１７（ａ）及び図１７（ｂ）は、第４の実施形態に係る情報処理装置の適用例を示す模式図である。
図１７（ａ）は、複数の対象人物を例示する模式図である。
図１７（ｂ）は、案内者８０ａが情報処理装置１１３を持って複数の対象人物を撮像した様子を例示する模式図である。

情報処理装置１１３は、例えば、カメラ（撮像部６０）を備えたタブレット端末である。本実施形態においては、実空間の中に複数の人物が存在している。これに対して、案内者８０ａが情報処理装置１１３をかざして、注目人物に応じた案内のインストラクションを確認する状況を想定する。

図１７（ａ）に表すように、実空間ＲＳには、複数の対象人物として、「１０代未満女性」の第１対象人物９１と、「３０代女性」の第２対象人物９２と、「４０代男性」の第３対象人物９３と、が存在する。

図１７（ｂ）に表すように、情報処理装置１１３は、第１〜第３対象人物９１〜９３を撮像した第１画像６１を表示する。第１画像６１は、第１対象人物９１の第１像１０１と、第２対象人物９２の第２像１０２と、第３対象人物９３の第３像１０３と、を含む。

図１８（ａ）及び図１８（ｂ）は、第４の実施形態に係る検出部２１の動作を例示する図である。
図１８（ａ）は、第１画像６１を例示する模式図である。
図１８（ｂ）は、検出部２１の動作例を説明するフローチャート図である。

図１８（ａ）に表すように、各対象人物の像はそれぞれ顔を含む。図１８（ｂ）に表すように、検出部２１は、顔を検出する（ステップＳ７１）。顔検出の技術には、様々な方法がある。例えば、画像において様々なサイズのウィンドウを走査させながら、顔の有無を検出する。これによれば、大小サイズの異なる顔に対応できる。個々のウィンドウに対して、顔の構造的な特徴を表現する輝度変化の共起パターンを用いて顔の有無を判断する。これにより、照明条件の変動や肌の色の違いなどの影響を抑制することが可能となる。

検出部２１は、顔の特徴点を検出する（ステップＳ７２）。検出した顔領域から、目・鼻・口などの顔の構造的な特徴を表す位置（特徴点）を抽出する。この顔特徴点検出により、対象とする人物像の位置を合わせて取得することができる。

検出部２１は、属性を認識する（ステップＳ７３）。属性認識では、検出した顔の様々な属性を判定する。具体例として、性別と年齢を挙げることができる。検出した顔毎に、男性か女性かを区別し、年齢層を１０代ごとにクラス分けする。性別や年齢層の識別方法としては、検出した顔の特徴点に基づいて、顔の特徴点と、参照する顔のモデルとの対応付けを行う。顔の向きを正面に補正した上で、事前にクラス毎に収集した顔のパターンから辞書を作成し、辞書との距離が近いクラスを分類結果として出力する。

図１９（ａ）及び図１９（ｂ）は、第４の実施形態に係る対応部２２の動作を例示する図である。
図１９（ａ）は、関連情報４０ａを例示する図である。
図１９（ｂ）は、対応部２２の動作例を説明するフローチャート図である。

図１９（ａ）に表すように、対象人物像の属性種別と、関連情報４０ａと、を対応付けるデータベースを保持する。このデータベースは、第１記憶部４０に予め格納されている。

図１９（ｂ）に表すように、対応部２２は、各対象人物像の属性種別に基づいて、データベース（第１記憶部４０）を検索し（ステップＳ８１）、各対象人物像に関連情報を対応付ける（ステップＳ８２）。対応部２２では、画像から検出した顔属性の種別と、関連情報を対応付けるデータベースを保持することができる。例えば、「１０代未満女性」の第１像１０１が注目対象人物像として設定されていたとする。これに基づきデータベースを参照すると、「１０代未満」の条件に合致するために、第４関連情報４４、すなわち、「子供向け×××イベントが３０分後開催されます。案内下さい。」が対応付けされる。

図２０は、第４の実施形態に係る関連情報の表示結果を例示する模式図である。
図２０に表すように、情報処理装置１１３には、「１０代未満の女性」の第１像１０１に、第４関連情報４４、すなわち、「子供向け×××イベントが３０分後開催されます。案内下さい。」が表示される。

このように、顔を対象とした場合にも、人物の属性種別に合った関連情報を利用者（案内者）に提示することが可能となる。この場合においても、対象とする人物の相対的な位置関係が変わらなければ、同じ関連情報を継続して表示することができる。このため、関連情報を見易く表示することが可能となる。

（第５の実施形態）
図２１は、第５の実施形態に係る情報処理装置を例示するブロック図である。
図２１に表すように、実施形態に係る情報処理装置１１４は、さらに、操作入力部２６が設けられている。

処理部２０は、相対位置関係の基準とする注目対象像を、第１像８１から第２像８２に変更する動作をさらに実施する。変更の動作は、第２像８２に対応付けられた第２関連情報４２（図５（ａ）参照）を、第１画像６１に重畳して表示させる第５データｄ５を生成することを含む。処理部２０は、操作入力部２６により受け付けた操作入力に基づいて、変更の動作を実施する。

図２２（ａ）〜図２２（ｃ）は、第５の実施形態に係る情報処理装置の適用例を示す図である。
図２２（ａ）は、操作入力部２６を例示するブロック図である。
図２２（ｂ）は、操作領域の画面表示例を示す模式図である。
図２２（ｃ）は、操作方向と対象像との関係を例示する図である。

情報処理装置１１４は、例えば、カメラ（撮像部６０）を備えたタブレット端末である。本実施形態においては、実空間に複数の対象物が存在し、作業者８０が情報処理装置１１４をかざしている状況を想定する。

図２２（ａ）に表すように、操作入力部２６は、操作取得部２６ａと、相対座標算出部２６ｂと、対象像変更部２６ｃと、を含む。操作入力部２６は、検出部２１から入力された複数の対象像の位置と、設定部２５で設定された注目対象像と、さらには、操作入力部２６に入力される操作方向と、に基づいて、注目対象像を変更する。例えば、「Type B」の第１像８１が注目対象像に設定されている場合、注目対象像を、「Type A」の第２像８２または「Type C」の第５像８５に変更する変更処理を実施する。

操作取得部２６ａは、図２２（ｂ）に表すように、情報処理装置１１４の表示画面上に設けられた操作領域２６ｄにおいて、作業者８０によるドラッグ方向を検知して操作方向を取得する。ここでは右上に操作したとする。

相対座標算出部２６ｂは、算出部２３で求めた注目対象像（第１像８１）を起点とした相対座標（第１位置関係５１、第３位置関係５３）に基づいて、どの方向にどの対象像が存在するかを求める。本例においては、Ｘ軸及びＹ軸にて操作方向を分割し、４象限、つまり、（−、−）、（−、＋）、（＋、＋）、（＋、−）のそれぞれの位置に存在する対象像を特定する。図２２（ｃ）に算出結果を示す。

対象像変更部２６ｃは、操作取得部２６ａで取得した操作方向と、相対座標算出部２６ｂで特定した対象像と、を対応付けて、注目対象像を変更する。ここでは、第１像８１の右上（相対座標（＋、＋））に位置する「Type C」の第５像８５に注目対象像が変更される。または、第１像８１の左上（相対座標（−、＋））に位置する「Type A」の第２像８２に注目対象像が変更される。

図２３（ａ）〜図２３（ｃ）は、第５の実施形態に係る関連情報の表示結果を例示する模式図である。
図２３（ａ）は、操作前における関連情報の表示結果を例示する図である。
図２３（ｂ）は、操作中の画面を例示する図である。
図２３（ｃ）は、操作後における関連情報の表示結果を例示する図である。

図２３（ａ）〜図２３（ｃ）に表すように、操作入力部２６により第５像８５に注目対象像が変更されると、表示制御部２４は、第５像８５に対応付けられている第３関連情報４３を、第１画像６１に重畳して表示させる。

一方、操作入力部２６により第２像８２に注目対象像が変更されると、表示制御部２４は、第２像８２に対応付けられている第２関連情報４２を、第１画像６１に重畳して表示させる。

なお、操作入力部２６により注目対象像を選択する方法としては、画面上の対象像を直接タッチして注目対象像を選択する方法、トグル操作により注目対象像を選択する方法、同じ方向に複数の対象像がある場合でもドラッグ操作の長さに応じて注目対象像を選択する方法、など様々な実現手段が考えられる。

このように、実施形態によれば、作業者が注目対象像を主体的に変更する操作入力部を備えることで、関連情報の継続表示を終了したいタイミングにおいて、関連情報の表示内容を切り替えることができる。これにより、関連情報の見易い表示が可能となる。

（第６の実施形態）
図２４は、第６の実施形態に係る情報処理装置を例示するブロック図である。
実施形態に係る情報処理装置１１５は、デスクトップ型またはラップトップ型の汎用計算機、携帯型の汎用計算機、その他の携帯型の情報機器、撮像デバイスを有する情報機器、スマートフォン、その他の情報処理装置など、様々なデバイスによって実現可能である。

図２４に表すように、実施形態の情報処理装置１１５は、ハードウェアの構成例として、ＣＰＵ２０１と、入力部２０２と、出力部２０３と、ＲＡＭ２０４と、ＲＯＭ２０５と、外部メモリインターフェイス２０６と、通信インターフェイス２０７と、を含む。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の情報処理装置による効果と同様な効果を得ることも可能である。上述の実施形態に記載された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の情報処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。

また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等で動作するＭＷ（ミドルウェア）などが実施形態を実現するための各処理の一部を実行してもよい。

さらに、実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した記録媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限らず、複数の記録媒体から実施形態における処理が実行される場合も、実施形態における記録媒体に含まれる。記録媒体の構成は何れの構成であってもよい。

なお、実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、実施形態における各処理を実行するためのものであって、パーソナルコンピュータ、マイクロコンピュータ等の１つからなる装置、あるいは、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、実施形態におけるコンピュータとは、パーソナルコンピュータに限らず、情報処理機器に含まれる演算処理装置、マイクロコンピュータ等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。

実施形態によれば、対象物に関連する関連情報を見易く表示可能な情報処理装置、情報処理方法及び情報処理プログラムが提供できる。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、取得部、処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した情報処理装置、情報処理方法及び情報処理プログラムを基にして、当業者が適宜設計変更して実施し得る全ての情報処理装置、情報処理方法及び情報処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…取得部、 ２０…処理部、 ２１…検出部、 ２２…対応部、 ２３…算出部、 ２４…表示制御部、 ２５…設定部、 ２６…操作入力部、 ２６ａ…操作取得部、 ２６ｂ…相対座標算出部、 ２６ｃ…対象像変更部、 ２６ｄ…操作領域、 ３０…表示部、 ４０…第１記憶部、 ４０ａ…関連情報、 ４１〜４４…第１〜第４関連情報、 ５０…第２記憶部、 ５０ａ…位置関係、 ５１〜５４…第１〜第４位置関係、 ６０…撮像部、 ６１、６２…第１、第２画像、 ６１ａ…中心座標、 ７１〜７５…第１〜第５対象物、 ８０…作業者、 ８０ａ…案内者、 ８１〜９０…第１〜第１０像、 ９１〜９３…第１〜第３対象人物、 １０１〜１０３…第１〜第３像、 １１０〜１１５…情報処理装置、 ２０１…ＣＰＵ、 ２０２…入力部、 ２０３…出力部、 ２０４…ＲＡＭ、 ２０５…ＲＯＭ、 ２０６…外部メモリインターフェイス、 ２０７…通信インターフェイス、 ａ１〜ａ４…第１〜第４軸、 ｂ１、ｂ２…第１、第２位置、 ｃ１、ｃ２…第１、第２相対座標系、 ｄ１〜ｄ５…第１〜第５データ、 ｈｄ１〜ｈｄ８…第１〜第８向き、 ｔ１、ｔ２…第１、第２時刻、 ＲＳ…実空間

Claims (17)

1. 第１時刻における第１画像であって、第１対象物の第１像及び第２対象物の第２像を含む第１画像と、前記第１時刻の後の第２時刻における第２画像であって、前記第１対象物の第３像及び前記第３像とは異なる第４像を含む前記第２画像と、を取得する取得部と、
   前記第１像に対応付けられた第１関連情報を、前記第１画像に重畳して表示させる第１データを生成する第１動作と、
   前記第１像を基準としたときの前記第２像の相対的な第１位置関係と、前記第３像を基準としたときの前記第４像の相対的な第２位置関係と、の間の変化の状態が第１状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第２データを生成する第２動作と、
   を実施する処理部と、
   を備えた情報処理装置。
2. 前記処理部は、
   前記第１像中の第１位置を中心とする第１相対座標系に基づいて前記第１位置関係を算出する動作と、
   前記第３像中の第２位置を中心とする第２相対座標系に基づいて前記第２位置関係を算出する動作と、
   をさらに実施する請求項１記載の情報処理装置。
3. 前記第１相対座標系は、前記第１位置を通り第１方向に延びる第１軸と、前記第１位置を通り前記第１方向と交差する第２方向に延びる第２軸と、を含み、
   前記第１位置関係は、前記第１像から前記第２像に向かう第３方向の前記第１軸に沿う第１向きと、前記第３方向の前記第２軸に沿う第２向きと、を含み、
   前記第２相対座標系は、前記第２位置を通り前記第１方向に延びる第３軸と、前記第２位置を通り前記第２方向に延びる第４軸と、を含み、
   前記第２位置関係は、前記第３像から前記第４像に向かう第４方向の前記第３軸に沿う第３向きと、前記第４方向の前記第４軸に沿う第４向きと、を含み、
   前記処理部は、前記第１向きと前記第３向きとを比較し、前記第２向きと前記第４向きとを比較し、前記第１状態か否かを判定する動作をさらに実施する請求項２記載の情報処理装置。
4. 前記第１状態は、前記第１向きと前記第３向きとが同じであり、前記第２向きと前記第４向きとが同じである請求項３記載の情報処理装置。
5. 前記第１動作は、前記第１像と、前記第２像と、を認識する動作をさらに含み、
   前記第２動作は、前記第３像と、前記第４像と、を認識する動作をさらに含み、
   前記第３像は、前記第１像と同じであり、
   前記第４像は、前記第２像と同じである請求項１〜４のいずれか１つに記載の情報処理装置。
6. 前記認識は、文字、物体の形状、人の顔の少なくともいずれかの認識を含む請求項５記載の情報処理装置。
7. 前記処理部は、前記第１位置関係を導出する動作をさらに実施する請求項１〜６のいずれか１つに記載の情報処理装置。
8. 前記導出の前記動作は、前記第１像の中心と前記第１画像の中心との距離が、前記第２像の中心と前記第１画像の中心との距離よりも短い状態が所定時間継続したときに、前記第１位置関係を導出することを含む請求項７記載の情報処理装置。
9. 前記第２像は、前記第１像の位置から一定の範囲内に位置し、
   前記第４像は、前記第３像の位置から前記範囲内に位置する請求項１〜８のいずれか１つに記載の情報処理装置。
10. 前記第２動作は、前記変化の前記状態が前記第１状態と異なる第２状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させないことをさらに含む請求項１〜９のいずれか１つに記載の情報処理装置。
11. 前記第２動作は、前記変化の前記状態が前記第１状態と異なる第２状態のときに、前記第１関連情報とは異なる別の関連情報を、前記第２画像に重畳して表示させることをさらに含む請求項１〜９のいずれか１つに記載の情報処理装置。
12. 前記第１画像は、第３対象物の第５像をさらに含み、
    前記第２画像は、前記第３像及び前記第４像とは異なる第６像をさらに含み、
    前記第１動作は、前記第１関連情報を、前記第１画像に重畳して表示させる第３データを生成することをさらに含み、
    前記第２動作は、前記変化の前記状態が前記第１状態であり、前記第１像を基準としたときの前記第５像の相対的な第３位置関係と、前記第３像を基準としたときの前記第６像の相対的な第４位置関係と、の間の変化の状態が第３状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第４データを生成することをさらに含む請求項１〜９のいずれか１つに記載の情報処理装置。
13. 前記処理部は、前記基準を、前記第１像から前記第２像に変更する動作をさらに実施する請求項１〜１２のいずれか１つに記載の情報処理装置。
14. 前記変更の前記動作は、前記第２像に対応付けられた第２関連情報を、前記第１画像に重畳して表示させる第５データを生成することをさらに含む請求項１３記載の情報処理装置。
15. 操作入力部をさらに備え、
    前記処理部は、前記操作入力部により受け付けた操作入力に基づいて、前記変更の前記動作を実施する請求項１３または１４に記載の情報処理装置。
16. 第１時刻における第１画像であって、第１対象物の第１像及び第２対象物の第２像を含む第１画像と、前記第１時刻の後の第２時刻における第２画像であって、前記第１対象物の第３像及び前記第３像とは異なる第４像を含む前記第２画像と、を取得し、
    前記第１像に対応付けられた第１関連情報を、前記第１画像に重畳して表示させる第１データを生成し、
    前記第１像を基準としたときの前記第２像の相対的な第１位置関係と、前記第３像を基準としたときの前記第４像の相対的な第２位置関係と、の間の変化の状態が第１状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第２データを生成する、 情報処理方法。
17. 第１時刻における第１画像であって、第１対象物の第１像及び第２対象物の第２像を含む第１画像と、前記第１時刻の後の第２時刻における第２画像であって、前記第１対象物の第３像及び前記第３像とは異なる第４像を含む前記第２画像と、を取得する処理と、
    前記第１像に対応付けられた第１関連情報を、前記第１画像に重畳して表示させる第１データを生成する処理と、
    前記第１像を基準としたときの前記第２像の相対的な第１位置関係と、前記第３像を基準としたときの前記第４像の相対的な第２位置関係と、の間の変化の状態が第１状態のときに、前記第１関連情報を、前記第２画像に重畳して表示させる第２データを生成する処理と、
    をコンピュータに実施させる情報処理プログラム。

Images