JP2017049847A - 情報処理装置及び、情報処理方法、制御プログラム - Google Patents

Abstract

【課題】 複数のオブジェクトのうち、いくつかのオブジェクトに対してのみ、情報を重畳表示したい場合がある。このような場合に、偶然ユーザの近くに存在するオブジェクトに対しては情報を重畳表示せず、ユーザが閲覧していると思われるオブジェクトに、情報を重畳表示する。【解決手段】 撮像された画像から複数のオブジェクトを検出し、複数のオブジェクトから注目オブジェクトを決定し、複数のオブジェクトの位置と基準に対する角度とを取得し、複数のオブジェクトのうち、注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、参照オブジェクトに関連する拡張情報の画像を参照オブジェクトの画像に重畳して表示させることにより、拡張情報を重畳表示させる対象オブジェクトを適切に絞る。【選択図】 図２

Description

本発明は、表示された情報に関する拡張情報を重畳表示する情報処理装置及び、情報処理方法、プログラムに関する。

近年、実世界に情報を付加して重畳表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）という技術が注目されている。ＡＲは、スマートフォンやグラス型デバイス等のカメラで撮影した画像に含まれるオブジェクトに対応付けて情報を提示することが多い。また、ユーザの視界において情報を重畳することから、表示すべき情報量が増えると視界が遮られてしまうことがある。そのため、表示上の煩わしさを軽減する取り組みがなされている。特許文献１には、複数のオブジェクトの中から注目するオブジェクトをユーザが指定し、指定された注目オブジェクトに関してのみ、情報を重畳表示する技術が開示されている。また、特許文献１には、端末からの位置や姿勢が所定の範囲内にあるオブジェクトが選択され、そのオブジェクトに情報を重畳表示する技術が開示されている。

特開２０１３−２１８５９７号公報

目の前に存在する複数のオブジェクトのうち、いくつかのオブジェクトに対してのみ、情報を重畳表示したい場合がある。特許文献１に記載の方法を用いると、ユーザは複数回オブジェクトの指定を行う必要がある。もしくは、端末からの位置や姿勢が所定の範囲内にあるオブジェクトがすべて選択されてしまうため、偶然ユーザの近くに存在するオブジェクトに対しても、情報が重畳表示されてしまう。

本発明は上記の課題に鑑みてなされたものであり、複数のオブジェクトのうち、ユーザが閲覧しているオブジェクトを適切に判断して、拡張情報の提示ができる装置を提供することを目的とする。また、その方法、プログラムを提供することを目的とする。

本発明に係る情報処理装置は以下の構成を備える。即ち、撮像された画像から複数のオブジェクトを検出する検出手段と、前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段。

複数のオブジェクトから、拡張情報を重畳表示させる対象オブジェクトを適切に絞ることができる。

実施形態に関するハードウェア構成を説明する図である。 実施形態に関する機能構成を説明する図である。 実施形態の処理のメインフローを説明する図である。 実施形態の参照オブジェクト判定処理を説明する図である。 実施形態の処理の具体例を説明する図である。 実施形態の処理の具体例を説明する図である。 実施形態の処理の具体例を説明する図である。 実施形態に関する記憶部に保持される情報を説明する図である。 実施形態の処理の具体例を説明する図である。 実施形態に関する記憶部に保持される情報を説明する図である。 実施形態の処理の具体例を説明する図である。 実施形態に関する記憶部に保持される情報を説明する図である。 実施形態を適用したドキュメントの具体例である。

以下、図面を参照しながら本発明の好適な実施形態について説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１の実施形態＞
本実施形態では、机上に置かれた物理的な紙資料のドキュメントをデバイスのカメラを用いて撮像し、デバイスの画面において、そのドキュメントに関連する拡張情報をドキュメントの画像に重畳表示する例に基づいて説明する。また、デバイスの形状としては、装着型のグラス型デバイスを例に説明するが、デバイスについてはこれに限らない。例えば、机上を撮影可能な位置に設置されたカメラと机上に投影可能な位置に設置されたプロジェクタを組み合わせて同様のシステムを構築してもよい。その他、デバイスは、タブレット端末やスマートフォンでも良い。

図１は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０９に接続された各構成要素を制御する。この情報処理装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、情報処理装置１００に接続された外部記憶装置などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。出力装置１０５は、表示出力を行う表示画面を備えるデバイスである。入力装置１０６は、本情報処理装置へユーザの操作情報を取り込むためのデバイスである。ＭＥＭＳ１０７は、地磁気センサ、加速度センサ、ジャイロセンサを搭載しており、情報処理装置１０１の地磁気データ、加速度データ、角速度データを取得する。撮像装置１０８は、オブジェクトの画像や映像を取得するためのデバイスである。

図２は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、カメラ２００、検出部２０１、取得部２０２、記憶部２０３、決定部２０４、入力部２０５、判定部２０６、表示制御部２０７、ディスプレイ２０８、拡張情報取得部２０９を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。本実施形態の情報処理装置１００が有する記憶部２０３はＲＡＭ１０３の機能部である。ただし、本実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。以下、各要素について説明する。

カメラ２００は、机上の実物体を撮影する処理を行う。検出部２０１は、カメラ２００から取得した画像からドキュメントやユーザの手等を検出する処理を行う。取得部２０２は、検出部２０１で検出したオブジェクトの位置や角度、綴じ方の情報、これらの情報が更新された時刻を取得し、記憶部２０３に記憶する処理を行う。情報の取得は継続して行い、オブジェクトを追跡している。記憶部２０３は、取得部２０２で取得した様々な情報を記憶する。また、記憶部２０３には、オブジェクトに対して重畳表示するための拡張情報が対応付けて記憶されている。決定部２０４は、取得部２０２で取得した情報に基づいて、ユーザが最も興味を持っている注目オブジェクトを決定する処理を行う。入力部２０５は、ユーザからの入力を受け付ける処理を行う。ユーザからの入力は、グラス型デバイスに備えた物理的なボタンで行ってもよいし、検出部２０１で検出した手の位置情報等を利用して、選択のためのコマンドを発行してもよい。判定部２０６は、取得部２０２で取得した情報を用いて、それぞれのオブジェクトが参照オブジェクトであるか否かの判定を行う。拡張情報取得部２０９は、注目オブジェクトや参照オブジェクトに対応する拡張情報を取得する処理を行う。表示制御部２０７は、判定部２０６の結果に応じて、拡張情報をディスプレイ２０８に表示する処理を行う。ディスプレイ２０８は、拡張情報を表示する出力デバイスである。

図３のフローチャートを用いて、本情報処理装置１００の処理の流れを説明する。ステップＳ３１２では、入力部２０５が、ユーザからの終了指示を受け付ける。ステップＳ３１３では、ユーザからの終了指示の入力があれば処理を終了する。ユーザからの終了指示がなければ、ステップＳ３００へ進む。ステップＳ３００では、カメラ２００が机上を撮影する。ステップＳ３０１では、検出部２０１が、ステップＳ３００で撮影した画像に映っているオブジェクトを検出する処理を行う。検出方法としては、画像を解析してオブジェクトの位置をそのまま検出してもよいし、マーカ等の情報を印刷しておき、マーカを認識するという方法をとってもよい。ステップＳ３０２では、取得部２０２がステップＳ３０１で検出したオブジェクトの識別子、位置情報、角度情報、オブジェクトの綴じ方情報とこれらの情報が更新された時刻を取得する。また、これらの情報は記憶部２０３に記憶する。位置情報や角度情報の基準は、システムが自動判定して決定してよい。本実施形態では、ユーザから見て、ユーザに近い机の淵の左角を位置情報の基準点（図７の５００）とし、机のユーザに近い淵を角度の基準とする。これらの基準に対する位置情報や角度情報を用いて本実施形態の動作例を説明する。

ステップＳ３０３は、決定部２０４が注目オブジェクトを決定する処理を行う。本実施形態における注目オブジェクトの決定方法は、オブジェクトの中心位置がユーザが装着しているメガネ型デバイスから半径Ｄｆの距離内の領域に収まっており、ユーザから見て角度的に正面を向いているオブジェクトを注目オブジェクトとして決定する。ユーザの装着するデバイスの位置をＸｕ、Ｙｕとし、オブジェクトの中心座標をＸｃ、Ｙｃとすると、下記の式を満たすオブジェクトが注目オブジェクトとして決定される。

条件を満たすオブジェクトが複数ある場合は、最もユーザとの距離が近いオブジェクトひとつを注目オブジェクトとする。半径Ｄｆの決め方としては、扱うオブジェクトのサイズによって決定してよい。扱うオブジェクトのサイズが大きい場合には、オブジェクトを近くに置いたとしても中心座標がユーザから遠くなるため、式１を満たしにくくなる。そのため、Ｄｆを大きめに設定するとよい。また、扱うオブジェクトのサイズが小さい場合には、複数のオブジェクトを重ねずにユーザの近くに置いておけるため、式１を満たし易くなる。そのため、Ｄｆを小さめに設定することで、式１を満たすオブジェクトを減らし、注目オブジェクトを一つに選択する処理を減らすことができる。ステップＳ３０４では、決定部２０４が、ステップＳ３０３において、注目オブジェクトが決定されたか否かの判定を行う。注目オブジェクトが決定されていれば、ステップＳ３０５へ進む。条件を満たすオブジェクトが存在せず、注目オブジェクトが決定されていない場合は、ステップＳ３１２へ進む。ステップＳ３０５では、拡張情報取得部２０９は、決定された注目オブジェクトの識別子に対応する拡張情報を記憶部２０３から取得する。ステップＳ３０６では、表示制御部２０７は、ステップＳ３０５で取得した情報をディスプレイ２０８に表示する。ステップＳ３０７では、ステップＳ３０１で検出した注目オブジェクト以外のオブジェクト全てに対して、ステップＳ３０８以降の処理を実施したか否かを判断する。処理していないオブジェクトが存在すれば、ステップＳ３０８へ進み、全てのオブジェクトに対して、処理がなされていれば、ステップＳ３１２へ進む。

ステップＳ３０８では、ステップＳ３０１で検出した注目オブジェクト以外のオブジェクトの中から、まだステップＳ３０８以降の処理がなされていないオブジェクトをひとつ選択する。ステップＳ３０９では、選択したオブジェクトに関して、参照オブジェクト判定処理を行う。本ステップの詳細については、別途、図４のフローチャートを用いて説明する。現在処理しているオブジェクトが参照オブジェクトであると判定されれば、ステップＳ３１０へ進み、参照オブジェクトではないと判定されれば、ステップＳ３０７へ進む。ステップＳ３１０では、拡張情報取得部２０９は、選択したオブジェクトの識別子に対応する拡張情報を記憶部２０３から取得する。ステップＳ３１１では、表示制御部２０７は、ステップＳ３１０で取得した情報をディスプレイ２０８に表示する。

続いて、図４を用いてステップＳ３０８で選択されたオブジェクトに対する参照オブジェクト判定処理について説明する。ステップＳ４００では、参照オブジェクトの候補を絞る。判定部２０６が現在処理しているオブジェクトに対応する更新時刻が注目オブジェクトに対応する更新時刻を基準とした所定の時刻Ｔｄよりも新しいか否かを判定する。本実施形態ではＴｄは注目オブジェクトの更新時刻と同じ時刻として説明しているが、Ｔｄは注目オブジェクトの更新時刻の少し前に設定してもよい。このようにすることで、注目オブジェクトが置かれる直前にユーザが参照オブジェクトになるオブジェクトを置いたとしても、参照オブジェクトと認識できるようになる。判定部２０６は、記憶部２０３から注目オブジェクトと現在処理をしているオブジェクトに対応する更新時刻を取得し、Ｔｄよりも現在処理をしているオブジェクトの更新時刻が新しければステップＳ４０１へ進む。現在処理しているオブジェクトの更新時刻よりもＴｄが新しければ、ステップＳ４０５へ進む。

ステップＳ４０１では、判定部２０６は、現在処理しているオブジェクトの綴じ方の判定を行う。判定部２０６は、記憶部２０３から注目オブジェクトと現在処理しているオブジェクトに対応する綴じ方情報を取得し、ドキュメント等のオブジェクトを開いた際に物理的に傾いてしまうような制約がかかる綴じ方であるか否かを判定する。制約がかかるのであれば、ステップＳ４０２へ進み、そうでなければステップＳ４０３へ進む。ステップＳ４０２では、現在処理対象のオブジェクトを参照オブジェクトと判定する基準の変更を行う。具体的には、注目オブジェクトとの距離の閾値ＤｍｉｎとＤｍａｘの値を変更する。また、注目オブジェクトとの相対的な角度の閾値ＯｍｉｎとＯｍａｘの値を変更する。ステップＳ４０３では、注目オブジェクトと現在処理しているオブジェクトが見比べるように並べられているか否かを判定する。見比べていると判定されれば、ステップＳ４０４へ進み、見比べていないと判定されれば、ステップＳ４０５へ進む。見比べているか否かの判定基準は一例として下記の式２や式３で表すことができる。注目オブジェクトの中心座標をＸｍ、Ｙｍ、角度をＯｍ、現在処理しているオブジェクトの中心座標をＸｃ、Ｙｃ、角度をＯｃとし、式２と式３を共に満たす場合には、参照オブジェクトと判定する。

また、判定方法はこの方法に限らない。オブジェクトの位置や角度の情報を所定の期間保持しておき、過去の位置や角度と現在の位置や角度を比較し、注目オブジェクトに近づけるように変化していたら、参照オブジェクトと判定するようにしてもよい。ステップＳ４０４では、現在処理しているオブジェクトを参照オブジェクトに設定し、処理を終了する。ステップ４０５では、現在処理しているオブジェクトは参照オブジェクトではないと設定し、処理を終了する。尚、ステップＳ４００からＳ４０２の処理は、必ずしも全て必須ではなく、必要に応じて、これらのステップを設けるのでもよい。

続いて、図５を用いて本情報処理装置１００の基本的な動作例を説明する。図５は、ユーザとオブジェクトとしての紙資料のドキュメントが置かれた机上を俯瞰した図である。図５（ａ）は拡張情報を付与する前の状態を示す図であり、図５（ｂ）は、拡張情報を付与した後の状態を示す図である。尚、５０７や５０８で示されるような拡張情報は、ドキュメントとの対応関係を示すために、便宜上、図に示されているが、実際にはユーザ５０１の装着するグラス型デバイスを通して閲覧可能なものである。図５の５００は、机上に置かれたドキュメントの基準点を示しており、５００から右に伸びる矢印が基準の角度である。５０１はユーザであり、５０２から５０６が実際に机上に置かれているドキュメントを示している。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から５０２から５０６の５つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された５つのドキュメントの情報を取得する。取得された情報は図８（ａ）で示す情報である。尚、ドキュメントの向きは、ドキュメント内の文字の向きを考慮するものとする。例えば、Ｄｏｃ１では、ドキュメントの長辺が縦であり、短辺が横となり、Ｄｏｃ４では、ドキュメントの短辺が縦であり、長辺が横と判別される。ステップＳ３０３では、決定部２０４が、注目オブジェクトをＤｏｃ１に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ１、Ｄｏｃ４の２つであると判定されたとする。この場合、ユーザにより近いＤｏｃ１が注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、５０７で示す拡張情報を取得し、表示制御部２０７が、ディスプレイ２０８のＤｏｃ１上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ２を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ２がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ２は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ２の位置（Ｘ１，Ｙ２）、角度Ｏ２とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ２はいずれも満たすため、ステップＳ４０４において参照オブジェクトと判定される。続いてステップＳ３１０においては、Ｄｏｃ２に対応する拡張情報５０８が拡張情報取得部２０９により取得され、ディスプレイ２０８に表示される。続いて、ステップＳ３０７に進み、注目オブジェクトと判定されたＤｏｃ１以外のオブジェクト全てに対して、ステップＳ３０８以降の処理がなされたか判定する。ここではまだ未処理のオブジェクトがあるため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ３を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ３がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ３は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ３の位置（Ｘ３，Ｙ３）、角度Ｏ３とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ３は式２を満たすが、式３を満たさないため、ステップＳ４０５において参照オブジェクトではないと判定される。続いて、ステップＳ３０７に進み、注目オブジェクトと判定されたＤｏｃ１以外のオブジェクト全てに対して、ステップＳ３０８以降の処理がなされたか判定する。ここではまだ未処理のオブジェクトがあるため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ４を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ４がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ４は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ４の位置（Ｘ４，Ｙ４）、角度Ｏ４とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ４は、式３を満たすが、Ｄｏｃ１との距離が近すぎて重なっているため、式２を満たさないため、ステップＳ４０５において参照オブジェクトではないと判定される。続いて、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ５を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ５がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ５は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ５の位置（Ｘ５，Ｙ５）、角度Ｏ５とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ４は、式３を満たすが、Ｄｏｃ１との距離が遠く、式２を満たさないため、ステップＳ４０５において参照オブジェクトではないと判定される。続いてステップＳ３０７に進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

以上に示した処理を適用することで、ユーザの目の前に複数存在するオブジェクトのうち、ユーザが注目するオブジェクトと注目オブジェクトに関連する参照オブジェクトに、情報を重畳表示することができる。

続いて図６を用いて、机上のドキュメントが移動された際の本情報処理装置の動作例を説明する。図５と同じ動作をする部分については、同一の符号を付して、その説明を省略する。図５との違いは、６００のＤｏｃ２と、６０１のＤｏｃ４の位置が変更されている点である。変更後の位置情報は図８（ｂ）で示す通りである。Ｄｏｃ２に関しては、（Ｘ２，Ｙ２）が（Ｘ２’，Ｙ２’）へと注目オブジェクトであるＤｏｃ１から遠ざかるように移動されている。Ｄｏｃ４に関しては、（Ｘ４，Ｙ４）が（Ｘ４’，Ｙ４’）へと注目オブジェクトであるＤｏｃ１と重なる位置から、見比べられる位置へ移動されている。また、Ｄｏｃ２、Ｄｏｃ４のそれぞれについて、最終更新時刻がＴ２’とＴ４’に更新されている。図６（ａ）は、拡張情報を付与する前の状態を示す図であり、図６（ｂ）は、拡張情報を付与した後の状態を示す図である。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から５０２、６００、５０４、６０１、５０６の５つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された５つのドキュメントの情報を取得する。取得された情報は図８（ｂ）である。ステップＳ３０３では、決定部２０４が、注目オブジェクトをＤｏｃ１に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ１のみであるため、注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、５０７で示す拡張情報を取得し、ディスプレイ２０８がＤｏｃ１上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ２を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ２’がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ２は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ２の位置（Ｘ２’，Ｙ２’）、角度Ｏ２とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ２は式３を満たすが、Ｄｏｃ１との距離が遠く、式２を満たさないため、ステップＳ４０５において参照オブジェクトではないと判定される。続いて、ステップＳ３０７に進み、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ３を選択する。ステップＳ３０９において図５を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ４を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ４’がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ４は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ４の位置（Ｘ４’、Ｙ４’）、角度Ｏ４とＤｏｃ１の位置（Ｘ１、Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ４は、注目オブジェクトであるＤｏｃ１から遠ざかったことにより、式２、式３を共に満たし、ステップＳ４０４において参照オブジェクトであると判定される。続いてステップＳ３１０においては、Ｄｏｃ４に対応する拡張情報６０２が拡張情報取得部２０９により取得され、ディスプレイ２０８に表示される。続いて、ステップＳ３０７に進み、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ５を選択するステップＳ３０９において図５を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

続いて図７を用いて、机上のドキュメントが移動且、回転させられた際の本情報処理装置１００の動作例を説明する。図５、図６と同じ動作をする部分については、同一の符号を付して、その説明を省略する。図５、図６との違いは、７００のＤｏｃ３の位置、角度が変更されている点である。変更後の位置情報は図８（ｃ）で示す通りである。Ｄｏｃ３に関しては、位置が（Ｘ３，Ｙ３）が（Ｘ３’，Ｙ３’）へと変わり、角度がＯ３’に変わることで、注目オブジェクトであるＤｏｃ１の横へ見比べられるように移動されている。また、Ｄｏｃ３の最終更新時刻がＴ３’に更新されている。図７（ａ）は、拡張情報を付与する前の状態を示す図であり、図７（ｂ）は、拡張情報を付与した後の状態を示す図である。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から５０２、６００、７００、６０１、５０６の５つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された５つのドキュメントの情報を取得する。取得された情報は図８（ｃ）のである。ステップＳ３０３では、決定部２０４が、注目オブジェクトをＤｏｃ１に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ１のみであるため、注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、５０７で示す拡張情報を取得し、ディスプレイ２０８がＤｏｃ１上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ２を選択し、ステップＳ３０９において図６を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ３を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ３’がＴ１よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ３は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ３の位置（Ｘ３’，Ｙ３’）、角度Ｏ３’とＤｏｃ１の位置（Ｘ１，Ｙ２）、角度Ｏ１を式２、式３に当てはめる。Ｄｏｃ３は、注目オブジェクトであるＤｏｃ１と同じ向きになるように移動させられたため、式２、式３を共に満たし、ステップＳ４０４において参照オブジェクトであると判定される。続いてステップＳ３１０においては、Ｄｏｃ３に対応する拡張情報７０１が拡張情報取得部２０９により取得され、ディスプレイ２０８に表示される。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。判定部２０６はＤｏｃ４を選択し、ステップＳ３０９において図６を用いた例と同様の処理がなされ参照オブジェクトであると判定する。続いてステップＳ３１０においては、Ｄｏｃ４に対応する拡張情報６０２が拡張情報取得部２０９により取得され、ディスプレイ２０８に表示される。続いて、ステップＳ３０７に進み、注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がまだなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ５を選択するステップＳ３０９において図５を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

以上に示した処理を適用することで、ユーザの目の前に複数存在するオブジェクトのうち、ユーザが注目するドキュメントと見比べようと移動、回転させたドキュメントに、情報を重畳表示することができる。

続いて図９を用いてドキュメントが綴じられおり、位置や向きに対して物理的な制約がかかる例について説明する。図９で説明するドキュメントは、一枚目の表面にＤｏｃ６、裏面にＤｏｃ７、二枚目の表面にＤｏｃ８が印刷されており、これらのドキュメントが斜め綴じの冊子状になっている。図９（ａ）は、斜め綴じされた複数のドキュメントの一枚目の表面だけが見えている状態で置かれている様子を示している。尚、検出されたドキュメントが同じ冊子であると判定する方法として、過去に検出されたドキュメントの近傍で検出されたといった条件によって行う。判定方法としてはこれに限らず、同じ冊子であることを示す識別子等をマーカとしてドキュメントに埋め込んでおいてもよい。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から９００のドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出されたドキュメントの情報を取得する。取得された情報は図１０（ａ）のである。ステップＳ３０３では、決定部２０４が、注目オブジェクトをＤｏｃ６に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ６のみであるので注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、表示すべき拡張情報があれば、表示制御部２０７により、Ｄｏｃ６上に表示を行う。続いてステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ６以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。続いてユーザ５０１がドキュメントの冊子を一枚めくった場合の例について、図９（ｂ）、図９（ｃ）を用いて説明する。図９（ｂ）は、拡張情報を付与する前の状態を示す図であり、図９（ｃ）は、拡張情報を付与した後の状態を示す図である。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から９０２、９０３の２のドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された２つのドキュメントの情報を取得する。取得された情報は図１０（ｂ）である。ステップＳ３０３では、決定部２０４が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントとしてＤｏｃ８を注目オブジェクトと判定する。ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、９０５で示す拡張情報を取得し、表示制御部２０７がＤｏｃ８上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ７を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ７がＴ８よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ７は斜め綴じされているため、ステップＳ４０２へ進む。ステップＳ４０２では、Ｄｍｉｎ＞Ｄｍｉｎ’、Ｄｍａｘ＜Ｄｍａｘ’、Ｏ＜Ｏ’の関係が成り立つとすると、式２、式３を以下の式４、式５に置き換える。

式４、式５により、ドキュメントが綴じられていない場合よりも、判定を緩和することができる。続いて、ステップＳ４０３では、Ｄｏｃ７の位置（Ｘ７，Ｙ７）、角度Ｏ７とＤｏｃ８の位置（Ｘ８，Ｙ８）、角度Ｏ８を式４、式５に当てはめる。Ｄｏｃ７はいずれも満たすため、ステップＳ４０４において参照オブジェクトと判定される。続いてステップＳ３１０においては、Ｄｏｃ７に対応する拡張情報９０４が拡張情報取得部２０９により取得され、ディスプレイ２０８に表示される。続いて、ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

以上に示した処理を適用することで、ユーザは興味を持っているものの、綴じ方等の物理的制約によって、情報が重畳表示されないというケースを防ぐことができる。

続いて、図１１を用いて、注目オブジェクトが後から追加される際の動作例について説明する。図１１（ａ）は、注目ドキュメントと判定される位置・向きのドキュメントが机上に存在しない状態を表している。この時の図１１（ｂ）は、図１１（ａ）の状態から注目ドキュメントとしてＤｏｃ１０が追加された状態を示す図である。図１１（ｃ）は、図１１（ｂ）の状態から、Ｄｏｃ８を動かし、見比べるように位置調整した後の様子を示している。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から１１００、１１０１の２つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された２つのドキュメントの情報を取得する。取得された情報は図１２（ａ）である。ステップＳ３０３では、決定部２０４が、注目オブジェクトを決定する処理を行うが、ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントが存在しないため、注目オブジェクトは決定されない。ステップＳ３０４で、注目オブジェクトが検出されないため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。続いて、図１１（ｂ）のように、Ｄｏｃ１０が机上に置かれる場合について説明する。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から１１００、１１０１、１１０２の３つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された３つのドキュメントの情報を取得する。取得された情報は図１２（ｂ）である。ステップＳ３０３では、決定部２０４が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ１０のみであるため、Ｄｏｃ１０が注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、１１０３で示す拡張情報を取得し、表示制御部２０７がＤｏｃ８上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ８を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ８がＴ１０よりも前の時刻であるとすると、ステップＳ４００においてＮｏのフローでステップＳ４０５に進む。ステップＳ４０５において、Ｄｏｃ８は参照オブジェクトではないと判定される。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ９を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ９がＴ１０よりも前の時刻であるとすると、ステップＳ４００においてＮｏのフローでステップＳ４０５に進む。ステップＳ４０５において、Ｄｏｃ８は参照オブジェクトではないと判定される。ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１０以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

続いて、図１１（ｃ）のように、Ｄｏｃ１０が机上に置かれた後に、Ｄｏｃ８のみを少し移動させた場合について説明する。図３のステップＳ３１２、ステップＳ３１３ではユーザからの終了指示は入力されていないため、ステップＳ３００の処理へ進む。ステップＳ３００において、ユーザ５０１が装着しているグラス型デバイスのカメラ２０１が机上を撮影する。ステップＳ３０１において、検出部２０１により、撮影した画像から１１００、１１０１、１１０２の３つのドキュメントが検出される。ステップＳ３０２において、取得部２０２により、検出された３つのドキュメントの情報を取得する。取得された情報は図１２（ｃ）である。ステップＳ３０３では、決定部２０４が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式１を満たすドキュメントがＤｏｃ１０のみであるため、Ｄｏｃ１０が注目オブジェクトとして決定される。

ステップＳ３０４で、注目オブジェクトが検出されたため、ステップＳ３０５の処理に進む。ステップＳ３０５において、拡張情報取得部２０９が、１１０３で示す拡張情報を取得し、表示制御部２０７がＤｏｃ８上に表示を行う。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。

ステップＳ３０８において、判定部２０６はＤｏｃ８を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ８’がＴ１０よりも後の時刻であるとすると、ステップＳ４００においてＹｅｓのフローでステップＳ４０１に進む。ステップＳ４０１において、Ｄｏｃ８は綴じられていないため、ステップＳ４０３へ進む。ステップＳ４０３では、Ｄｏｃ８の位置（Ｘ８’，Ｙ８’）、角度Ｏ８’とＤｏｃ１０の位置（Ｘ１０，Ｙ１０）、角度Ｏ１０を式２、式３に当てはめる。Ｄｏｃ８は、注目オブジェクトであるＤｏｃ１０と同じ向きになるように移動させられたため、式２、式３を共に満たし、ステップＳ４０４において参照オブジェクトであると判定される。続いてステップＳ３１０においては、Ｄｏｃ８に対応する拡張情報１１０４が拡張情報取得部２０９により取得され、表示制御部２０７に表示される。続いて、ステップＳ３０７において、注目オブジェクトと判定されたＤｏｃ８以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされていないため、ステップＳ３０８へ進む。ステップＳ３０８において、判定部２０６はＤｏｃ９を選択し、ステップＳ３０９の参照オブジェクト判定処理を行う。ここで、Ｔ９がＴ１０よりも前の時刻であるとすると、ステップＳ４００においてＮｏのフローでステップＳ４０５に進む。ステップＳ４０５において、Ｄｏｃ８は参照オブジェクトではないと判定される。ステップＳ３０７へ進む。注目オブジェクトと判定されたＤｏｃ１０以外のドキュメント全てに対して、ステップＳ３０８以降の処理がなされたため、ステップＳ３１２に戻り、以降同様のフローが繰り返される。

以上示した処理を適用することで、偶然机上に置かれているドキュメントに対して拡張情報が表示されることを防ぎ、ユーザが興味を持っているドキュメントに拡張情報を表示することができるようになる。

図１３を用いて、ドキュメント上の拡張情報の具体例を説明する。図１３（ａ）は１３００のドキュメントが注目オブジェクト、１３０１が参照ドキュメントと判定され、それぞれに拡張情報が表示されている様子を示す図である。１３０７はユーザである。尚、ドキュメントの向きについては、前述した通り、注目オブジェクトと必ずしも物理的に同じ向きである必要はなく、ドキュメント内の文字や図形の向きまで加味して決定するのが望ましい。注目オブジェクト１３００上の重要個所に１３０２のように枠で強調表示するような拡張情報が表示されている。また、参照オブジェクト１３０１上に１３０３のように重要個所を強調するような拡張情報が表示されている。これらの拡張情報は、ドキュメントごとにあらかじめ記憶部２０３上に用意しておき、拡張情報取得部２０９によって記憶部２０３から読み出して表示すればよい。また、これに限らず、１３００のドキュメントが注目オブジェクトと判定された場合に、１３０１が参照オブジェクトと判定されたら、１３０３の拡張情報を拡張情報取得部２０９が取得するといったルールを設けておき、実現する方法も考えられる。これにより、ドキュメントの重要個所を容易に把握しながら、ドキュメントを閲覧することができる。

図１３（ｂ）は１３０４が注目オブジェクトと判定され、１３０５が参照オブジェクトと判定され、参照オブジェクトにのみ拡張情報が表示されている様子を示している。ユーザは修正前のドキュメント１３０４と修正後のドキュメント１３０５の違いを見比べようとしているとする。あらかじめ変更点に関するメモを拡張情報として記憶部２０３に保持しておくことで、拡張情報取得部２０９が１３０６のようにどこに変更が加わったのかメモ書きを追加することができる。また、注目オブジェクトと参照オブジェクトが修正前後の関係にあることが、検出できれば、その差分の部分に拡張情報取得部２０９が自動的に拡張情報を付与してもよい。これにより、修正前のドキュメントと修正後のドキュメントの違いを容易に把握しながら、内容の確認ができるようになる。

以上、記載したのは一例であり、表示する拡張情報については、これに限らない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ 出力装置
１０６ 入力装置
１０７ ＭＥＭＳ
１０８ 撮像装置

Claims (7)

1. 撮像された画像から複数のオブジェクトを検出する検出手段と、
   前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、
   前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、
   前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記検出手段では、紙資料を撮像した画像から、前記紙資料の綴じ方を検出し、前記表示制御手段では、前記綴じ方が前記紙資料を開いたときに紙資料が傾く綴じ方の場合、前記所定の条件を緩和することを特徴とする請求項１に記載の情報処理装置。
3. 記憶手段を更に備え、前記オブジェクトの識別子と前記拡張情報とを対応付けて記憶することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段は、前記複数のオブジェクトの位置と基準に対する角度とを追跡して取得し続け、
   前記記憶手段には、前記取得手段が前記複数のオブジェクトの位置と基準に対する角度と、該位置と該角度とを取得した時刻とを記憶し、
   前記表示制御手段は、前記注目オブジェクトを決定した時刻と、前記記憶手段に記憶された前記時刻とに基づいて、前記拡張情報の画像を重畳して表示させる参照オブジェクトの候補を絞ることを特徴とする請求項３に記載の情報処理装置。
5. 前記検出手段では、実物体を撮像し、
   前記決定手段では、前記情報処理装置から所定の距離内にある実物体を撮像して検出されたオブジェクトを注目オブジェクトと決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 撮像された画像から複数のオブジェクトを検出する検出工程と、
   前記複数のオブジェクトから注目オブジェクトを決定する決定工程と、
   前記複数のオブジェクトの位置と基準に対する角度とを取得する取得工程と、
   前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御工程と、
   を備えることを特徴とする情報処理装置。
7. コンピュータを
   撮像された画像から複数のオブジェクトを検出する検出手段と、
   前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、
   前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、
   前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段と、
   として機能させるためのプログラム。

Images