JP2017049847A - 情報処理装置及び、情報処理方法、制御プログラム - Google Patents
情報処理装置及び、情報処理方法、制御プログラム Download PDFInfo
- Publication number
- JP2017049847A JP2017049847A JP2015173281A JP2015173281A JP2017049847A JP 2017049847 A JP2017049847 A JP 2017049847A JP 2015173281 A JP2015173281 A JP 2015173281A JP 2015173281 A JP2015173281 A JP 2015173281A JP 2017049847 A JP2017049847 A JP 2017049847A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- interest
- information
- image
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 複数のオブジェクトのうち、いくつかのオブジェクトに対してのみ、情報を重畳表示したい場合がある。このような場合に、偶然ユーザの近くに存在するオブジェクトに対しては情報を重畳表示せず、ユーザが閲覧していると思われるオブジェクトに、情報を重畳表示する。【解決手段】 撮像された画像から複数のオブジェクトを検出し、複数のオブジェクトから注目オブジェクトを決定し、複数のオブジェクトの位置と基準に対する角度とを取得し、複数のオブジェクトのうち、注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、参照オブジェクトに関連する拡張情報の画像を参照オブジェクトの画像に重畳して表示させることにより、拡張情報を重畳表示させる対象オブジェクトを適切に絞る。【選択図】 図2
Description
本発明は、表示された情報に関する拡張情報を重畳表示する情報処理装置及び、情報処理方法、プログラムに関する。
近年、実世界に情報を付加して重畳表示する拡張現実(AR:Augmented Reality)という技術が注目されている。ARは、スマートフォンやグラス型デバイス等のカメラで撮影した画像に含まれるオブジェクトに対応付けて情報を提示することが多い。また、ユーザの視界において情報を重畳することから、表示すべき情報量が増えると視界が遮られてしまうことがある。そのため、表示上の煩わしさを軽減する取り組みがなされている。特許文献1には、複数のオブジェクトの中から注目するオブジェクトをユーザが指定し、指定された注目オブジェクトに関してのみ、情報を重畳表示する技術が開示されている。また、特許文献1には、端末からの位置や姿勢が所定の範囲内にあるオブジェクトが選択され、そのオブジェクトに情報を重畳表示する技術が開示されている。
目の前に存在する複数のオブジェクトのうち、いくつかのオブジェクトに対してのみ、情報を重畳表示したい場合がある。特許文献1に記載の方法を用いると、ユーザは複数回オブジェクトの指定を行う必要がある。もしくは、端末からの位置や姿勢が所定の範囲内にあるオブジェクトがすべて選択されてしまうため、偶然ユーザの近くに存在するオブジェクトに対しても、情報が重畳表示されてしまう。
本発明は上記の課題に鑑みてなされたものであり、複数のオブジェクトのうち、ユーザが閲覧しているオブジェクトを適切に判断して、拡張情報の提示ができる装置を提供することを目的とする。また、その方法、プログラムを提供することを目的とする。
本発明に係る情報処理装置は以下の構成を備える。即ち、撮像された画像から複数のオブジェクトを検出する検出手段と、前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段。
複数のオブジェクトから、拡張情報を重畳表示させる対象オブジェクトを適切に絞ることができる。
以下、図面を参照しながら本発明の好適な実施形態について説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
<第1の実施形態>
本実施形態では、机上に置かれた物理的な紙資料のドキュメントをデバイスのカメラを用いて撮像し、デバイスの画面において、そのドキュメントに関連する拡張情報をドキュメントの画像に重畳表示する例に基づいて説明する。また、デバイスの形状としては、装着型のグラス型デバイスを例に説明するが、デバイスについてはこれに限らない。例えば、机上を撮影可能な位置に設置されたカメラと机上に投影可能な位置に設置されたプロジェクタを組み合わせて同様のシステムを構築してもよい。その他、デバイスは、タブレット端末やスマートフォンでも良い。
本実施形態では、机上に置かれた物理的な紙資料のドキュメントをデバイスのカメラを用いて撮像し、デバイスの画面において、そのドキュメントに関連する拡張情報をドキュメントの画像に重畳表示する例に基づいて説明する。また、デバイスの形状としては、装着型のグラス型デバイスを例に説明するが、デバイスについてはこれに限らない。例えば、机上を撮影可能な位置に設置されたカメラと机上に投影可能な位置に設置されたプロジェクタを組み合わせて同様のシステムを構築してもよい。その他、デバイスは、タブレット端末やスマートフォンでも良い。
図1は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す図である。CPU101は、CPU(Central Processing Unit)であり、各種処理のための演算や論理判断などを行い、システムバス109に接続された各構成要素を制御する。この情報処理装置100には、プログラムメモリとデータメモリを含むメモリが搭載されている。ROM(Read−Only Memory)102は、プログラムメモリであって、後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。RAM(Random Access Memory)103は、データメモリであり、CPU101の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、情報処理装置100に接続された外部記憶装置などからRAM103にプログラムをロードすることで、プログラムメモリを実現しても構わない。HDD104は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。出力装置105は、表示出力を行う表示画面を備えるデバイスである。入力装置106は、本情報処理装置へユーザの操作情報を取り込むためのデバイスである。MEMS107は、地磁気センサ、加速度センサ、ジャイロセンサを搭載しており、情報処理装置101の地磁気データ、加速度データ、角速度データを取得する。撮像装置108は、オブジェクトの画像や映像を取得するためのデバイスである。
図2は、本実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。情報処理装置100は、カメラ200、検出部201、取得部202、記憶部203、決定部204、入力部205、判定部206、表示制御部207、ディスプレイ208、拡張情報取得部209を有する。これらの各機能部は、CPU101が、ROM102に格納されたプログラムをRAM103に展開し、後述する各フローチャートに従った処理を実行することで実現されている。本実施形態の情報処理装置100が有する記憶部203はRAM103の機能部である。ただし、本実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。以下、各要素について説明する。
カメラ200は、机上の実物体を撮影する処理を行う。検出部201は、カメラ200から取得した画像からドキュメントやユーザの手等を検出する処理を行う。取得部202は、検出部201で検出したオブジェクトの位置や角度、綴じ方の情報、これらの情報が更新された時刻を取得し、記憶部203に記憶する処理を行う。情報の取得は継続して行い、オブジェクトを追跡している。記憶部203は、取得部202で取得した様々な情報を記憶する。また、記憶部203には、オブジェクトに対して重畳表示するための拡張情報が対応付けて記憶されている。決定部204は、取得部202で取得した情報に基づいて、ユーザが最も興味を持っている注目オブジェクトを決定する処理を行う。入力部205は、ユーザからの入力を受け付ける処理を行う。ユーザからの入力は、グラス型デバイスに備えた物理的なボタンで行ってもよいし、検出部201で検出した手の位置情報等を利用して、選択のためのコマンドを発行してもよい。判定部206は、取得部202で取得した情報を用いて、それぞれのオブジェクトが参照オブジェクトであるか否かの判定を行う。拡張情報取得部209は、注目オブジェクトや参照オブジェクトに対応する拡張情報を取得する処理を行う。表示制御部207は、判定部206の結果に応じて、拡張情報をディスプレイ208に表示する処理を行う。ディスプレイ208は、拡張情報を表示する出力デバイスである。
図3のフローチャートを用いて、本情報処理装置100の処理の流れを説明する。ステップS312では、入力部205が、ユーザからの終了指示を受け付ける。ステップS313では、ユーザからの終了指示の入力があれば処理を終了する。ユーザからの終了指示がなければ、ステップS300へ進む。ステップS300では、カメラ200が机上を撮影する。ステップS301では、検出部201が、ステップS300で撮影した画像に映っているオブジェクトを検出する処理を行う。検出方法としては、画像を解析してオブジェクトの位置をそのまま検出してもよいし、マーカ等の情報を印刷しておき、マーカを認識するという方法をとってもよい。ステップS302では、取得部202がステップS301で検出したオブジェクトの識別子、位置情報、角度情報、オブジェクトの綴じ方情報とこれらの情報が更新された時刻を取得する。また、これらの情報は記憶部203に記憶する。位置情報や角度情報の基準は、システムが自動判定して決定してよい。本実施形態では、ユーザから見て、ユーザに近い机の淵の左角を位置情報の基準点(図7の500)とし、机のユーザに近い淵を角度の基準とする。これらの基準に対する位置情報や角度情報を用いて本実施形態の動作例を説明する。
ステップS303は、決定部204が注目オブジェクトを決定する処理を行う。本実施形態における注目オブジェクトの決定方法は、オブジェクトの中心位置がユーザが装着しているメガネ型デバイスから半径Dfの距離内の領域に収まっており、ユーザから見て角度的に正面を向いているオブジェクトを注目オブジェクトとして決定する。ユーザの装着するデバイスの位置をXu、Yuとし、オブジェクトの中心座標をXc、Ycとすると、下記の式を満たすオブジェクトが注目オブジェクトとして決定される。
条件を満たすオブジェクトが複数ある場合は、最もユーザとの距離が近いオブジェクトひとつを注目オブジェクトとする。半径Dfの決め方としては、扱うオブジェクトのサイズによって決定してよい。扱うオブジェクトのサイズが大きい場合には、オブジェクトを近くに置いたとしても中心座標がユーザから遠くなるため、式1を満たしにくくなる。そのため、Dfを大きめに設定するとよい。また、扱うオブジェクトのサイズが小さい場合には、複数のオブジェクトを重ねずにユーザの近くに置いておけるため、式1を満たし易くなる。そのため、Dfを小さめに設定することで、式1を満たすオブジェクトを減らし、注目オブジェクトを一つに選択する処理を減らすことができる。ステップS304では、決定部204が、ステップS303において、注目オブジェクトが決定されたか否かの判定を行う。注目オブジェクトが決定されていれば、ステップS305へ進む。条件を満たすオブジェクトが存在せず、注目オブジェクトが決定されていない場合は、ステップS312へ進む。ステップS305では、拡張情報取得部209は、決定された注目オブジェクトの識別子に対応する拡張情報を記憶部203から取得する。ステップS306では、表示制御部207は、ステップS305で取得した情報をディスプレイ208に表示する。ステップS307では、ステップS301で検出した注目オブジェクト以外のオブジェクト全てに対して、ステップS308以降の処理を実施したか否かを判断する。処理していないオブジェクトが存在すれば、ステップS308へ進み、全てのオブジェクトに対して、処理がなされていれば、ステップS312へ進む。
ステップS308では、ステップS301で検出した注目オブジェクト以外のオブジェクトの中から、まだステップS308以降の処理がなされていないオブジェクトをひとつ選択する。ステップS309では、選択したオブジェクトに関して、参照オブジェクト判定処理を行う。本ステップの詳細については、別途、図4のフローチャートを用いて説明する。現在処理しているオブジェクトが参照オブジェクトであると判定されれば、ステップS310へ進み、参照オブジェクトではないと判定されれば、ステップS307へ進む。ステップS310では、拡張情報取得部209は、選択したオブジェクトの識別子に対応する拡張情報を記憶部203から取得する。ステップS311では、表示制御部207は、ステップS310で取得した情報をディスプレイ208に表示する。
続いて、図4を用いてステップS308で選択されたオブジェクトに対する参照オブジェクト判定処理について説明する。ステップS400では、参照オブジェクトの候補を絞る。判定部206が現在処理しているオブジェクトに対応する更新時刻が注目オブジェクトに対応する更新時刻を基準とした所定の時刻Tdよりも新しいか否かを判定する。本実施形態ではTdは注目オブジェクトの更新時刻と同じ時刻として説明しているが、Tdは注目オブジェクトの更新時刻の少し前に設定してもよい。このようにすることで、注目オブジェクトが置かれる直前にユーザが参照オブジェクトになるオブジェクトを置いたとしても、参照オブジェクトと認識できるようになる。判定部206は、記憶部203から注目オブジェクトと現在処理をしているオブジェクトに対応する更新時刻を取得し、Tdよりも現在処理をしているオブジェクトの更新時刻が新しければステップS401へ進む。現在処理しているオブジェクトの更新時刻よりもTdが新しければ、ステップS405へ進む。
ステップS401では、判定部206は、現在処理しているオブジェクトの綴じ方の判定を行う。判定部206は、記憶部203から注目オブジェクトと現在処理しているオブジェクトに対応する綴じ方情報を取得し、ドキュメント等のオブジェクトを開いた際に物理的に傾いてしまうような制約がかかる綴じ方であるか否かを判定する。制約がかかるのであれば、ステップS402へ進み、そうでなければステップS403へ進む。ステップS402では、現在処理対象のオブジェクトを参照オブジェクトと判定する基準の変更を行う。具体的には、注目オブジェクトとの距離の閾値DminとDmaxの値を変更する。また、注目オブジェクトとの相対的な角度の閾値OminとOmaxの値を変更する。ステップS403では、注目オブジェクトと現在処理しているオブジェクトが見比べるように並べられているか否かを判定する。見比べていると判定されれば、ステップS404へ進み、見比べていないと判定されれば、ステップS405へ進む。見比べているか否かの判定基準は一例として下記の式2や式3で表すことができる。注目オブジェクトの中心座標をXm、Ym、角度をOm、現在処理しているオブジェクトの中心座標をXc、Yc、角度をOcとし、式2と式3を共に満たす場合には、参照オブジェクトと判定する。
また、判定方法はこの方法に限らない。オブジェクトの位置や角度の情報を所定の期間保持しておき、過去の位置や角度と現在の位置や角度を比較し、注目オブジェクトに近づけるように変化していたら、参照オブジェクトと判定するようにしてもよい。ステップS404では、現在処理しているオブジェクトを参照オブジェクトに設定し、処理を終了する。ステップ405では、現在処理しているオブジェクトは参照オブジェクトではないと設定し、処理を終了する。尚、ステップS400からS402の処理は、必ずしも全て必須ではなく、必要に応じて、これらのステップを設けるのでもよい。
続いて、図5を用いて本情報処理装置100の基本的な動作例を説明する。図5は、ユーザとオブジェクトとしての紙資料のドキュメントが置かれた机上を俯瞰した図である。図5(a)は拡張情報を付与する前の状態を示す図であり、図5(b)は、拡張情報を付与した後の状態を示す図である。尚、507や508で示されるような拡張情報は、ドキュメントとの対応関係を示すために、便宜上、図に示されているが、実際にはユーザ501の装着するグラス型デバイスを通して閲覧可能なものである。図5の500は、机上に置かれたドキュメントの基準点を示しており、500から右に伸びる矢印が基準の角度である。501はユーザであり、502から506が実際に机上に置かれているドキュメントを示している。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から502から506の5つのドキュメントが検出される。ステップS302において、取得部202により、検出された5つのドキュメントの情報を取得する。取得された情報は図8(a)で示す情報である。尚、ドキュメントの向きは、ドキュメント内の文字の向きを考慮するものとする。例えば、Doc1では、ドキュメントの長辺が縦であり、短辺が横となり、Doc4では、ドキュメントの短辺が縦であり、長辺が横と判別される。ステップS303では、決定部204が、注目オブジェクトをDoc1に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc1、Doc4の2つであると判定されたとする。この場合、ユーザにより近いDoc1が注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、507で示す拡張情報を取得し、表示制御部207が、ディスプレイ208のDoc1上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc2を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T2がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc2は綴じられていないため、ステップS403へ進む。ステップS403では、Doc2の位置(X1,Y2)、角度O2とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc2はいずれも満たすため、ステップS404において参照オブジェクトと判定される。続いてステップS310においては、Doc2に対応する拡張情報508が拡張情報取得部209により取得され、ディスプレイ208に表示される。続いて、ステップS307に進み、注目オブジェクトと判定されたDoc1以外のオブジェクト全てに対して、ステップS308以降の処理がなされたか判定する。ここではまだ未処理のオブジェクトがあるため、ステップS308へ進む。
ステップS308において、判定部206はDoc3を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T3がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc3は綴じられていないため、ステップS403へ進む。ステップS403では、Doc3の位置(X3,Y3)、角度O3とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc3は式2を満たすが、式3を満たさないため、ステップS405において参照オブジェクトではないと判定される。続いて、ステップS307に進み、注目オブジェクトと判定されたDoc1以外のオブジェクト全てに対して、ステップS308以降の処理がなされたか判定する。ここではまだ未処理のオブジェクトがあるため、ステップS308へ進む。ステップS308において、判定部206はDoc4を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T4がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc4は綴じられていないため、ステップS403へ進む。ステップS403では、Doc4の位置(X4,Y4)、角度O4とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc4は、式3を満たすが、Doc1との距離が近すぎて重なっているため、式2を満たさないため、ステップS405において参照オブジェクトではないと判定される。続いて、ステップS307へ進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc5を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T5がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc5は綴じられていないため、ステップS403へ進む。ステップS403では、Doc5の位置(X5,Y5)、角度O5とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc4は、式3を満たすが、Doc1との距離が遠く、式2を満たさないため、ステップS405において参照オブジェクトではないと判定される。続いてステップS307に進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
以上に示した処理を適用することで、ユーザの目の前に複数存在するオブジェクトのうち、ユーザが注目するオブジェクトと注目オブジェクトに関連する参照オブジェクトに、情報を重畳表示することができる。
続いて図6を用いて、机上のドキュメントが移動された際の本情報処理装置の動作例を説明する。図5と同じ動作をする部分については、同一の符号を付して、その説明を省略する。図5との違いは、600のDoc2と、601のDoc4の位置が変更されている点である。変更後の位置情報は図8(b)で示す通りである。Doc2に関しては、(X2,Y2)が(X2’,Y2’)へと注目オブジェクトであるDoc1から遠ざかるように移動されている。Doc4に関しては、(X4,Y4)が(X4’,Y4’)へと注目オブジェクトであるDoc1と重なる位置から、見比べられる位置へ移動されている。また、Doc2、Doc4のそれぞれについて、最終更新時刻がT2’とT4’に更新されている。図6(a)は、拡張情報を付与する前の状態を示す図であり、図6(b)は、拡張情報を付与した後の状態を示す図である。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から502、600、504、601、506の5つのドキュメントが検出される。ステップS302において、取得部202により、検出された5つのドキュメントの情報を取得する。取得された情報は図8(b)である。ステップS303では、決定部204が、注目オブジェクトをDoc1に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc1のみであるため、注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、507で示す拡張情報を取得し、ディスプレイ208がDoc1上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc2を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T2’がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc2は綴じられていないため、ステップS403へ進む。ステップS403では、Doc2の位置(X2’,Y2’)、角度O2とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc2は式3を満たすが、Doc1との距離が遠く、式2を満たさないため、ステップS405において参照オブジェクトではないと判定される。続いて、ステップS307に進み、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。
ステップS308において、判定部206はDoc3を選択する。ステップS309において図5を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップS307へ進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc4を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T4’がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc4は綴じられていないため、ステップS403へ進む。ステップS403では、Doc4の位置(X4’、Y4’)、角度O4とDoc1の位置(X1、Y2)、角度O1を式2、式3に当てはめる。Doc4は、注目オブジェクトであるDoc1から遠ざかったことにより、式2、式3を共に満たし、ステップS404において参照オブジェクトであると判定される。続いてステップS310においては、Doc4に対応する拡張情報602が拡張情報取得部209により取得され、ディスプレイ208に表示される。続いて、ステップS307に進み、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc5を選択するステップS309において図5を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップS307へ進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
続いて図7を用いて、机上のドキュメントが移動且、回転させられた際の本情報処理装置100の動作例を説明する。図5、図6と同じ動作をする部分については、同一の符号を付して、その説明を省略する。図5、図6との違いは、700のDoc3の位置、角度が変更されている点である。変更後の位置情報は図8(c)で示す通りである。Doc3に関しては、位置が(X3,Y3)が(X3’,Y3’)へと変わり、角度がO3’に変わることで、注目オブジェクトであるDoc1の横へ見比べられるように移動されている。また、Doc3の最終更新時刻がT3’に更新されている。図7(a)は、拡張情報を付与する前の状態を示す図であり、図7(b)は、拡張情報を付与した後の状態を示す図である。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から502、600、700、601、506の5つのドキュメントが検出される。ステップS302において、取得部202により、検出された5つのドキュメントの情報を取得する。取得された情報は図8(c)のである。ステップS303では、決定部204が、注目オブジェクトをDoc1に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc1のみであるため、注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、507で示す拡張情報を取得し、ディスプレイ208がDoc1上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc2を選択し、ステップS309において図6を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップS307へ進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。
ステップS308において、判定部206はDoc3を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T3’がT1よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc3は綴じられていないため、ステップS403へ進む。ステップS403では、Doc3の位置(X3’,Y3’)、角度O3’とDoc1の位置(X1,Y2)、角度O1を式2、式3に当てはめる。Doc3は、注目オブジェクトであるDoc1と同じ向きになるように移動させられたため、式2、式3を共に満たし、ステップS404において参照オブジェクトであると判定される。続いてステップS310においては、Doc3に対応する拡張情報701が拡張情報取得部209により取得され、ディスプレイ208に表示される。続いて、ステップS307において、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。判定部206はDoc4を選択し、ステップS309において図6を用いた例と同様の処理がなされ参照オブジェクトであると判定する。続いてステップS310においては、Doc4に対応する拡張情報602が拡張情報取得部209により取得され、ディスプレイ208に表示される。続いて、ステップS307に進み、注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がまだなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc5を選択するステップS309において図5を用いた例と同様の処理がなされ参照オブジェクトではないと判定し、ステップS307へ進む。注目オブジェクトと判定されたDoc1以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
以上に示した処理を適用することで、ユーザの目の前に複数存在するオブジェクトのうち、ユーザが注目するドキュメントと見比べようと移動、回転させたドキュメントに、情報を重畳表示することができる。
続いて図9を用いてドキュメントが綴じられおり、位置や向きに対して物理的な制約がかかる例について説明する。図9で説明するドキュメントは、一枚目の表面にDoc6、裏面にDoc7、二枚目の表面にDoc8が印刷されており、これらのドキュメントが斜め綴じの冊子状になっている。図9(a)は、斜め綴じされた複数のドキュメントの一枚目の表面だけが見えている状態で置かれている様子を示している。尚、検出されたドキュメントが同じ冊子であると判定する方法として、過去に検出されたドキュメントの近傍で検出されたといった条件によって行う。判定方法としてはこれに限らず、同じ冊子であることを示す識別子等をマーカとしてドキュメントに埋め込んでおいてもよい。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から900のドキュメントが検出される。ステップS302において、取得部202により、検出されたドキュメントの情報を取得する。取得された情報は図10(a)のである。ステップS303では、決定部204が、注目オブジェクトをDoc6に決定する。ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc6のみであるので注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、表示すべき拡張情報があれば、表示制御部207により、Doc6上に表示を行う。続いてステップS307へ進む。注目オブジェクトと判定されたDoc6以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。続いてユーザ501がドキュメントの冊子を一枚めくった場合の例について、図9(b)、図9(c)を用いて説明する。図9(b)は、拡張情報を付与する前の状態を示す図であり、図9(c)は、拡張情報を付与した後の状態を示す図である。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から902、903の2のドキュメントが検出される。ステップS302において、取得部202により、検出された2つのドキュメントの情報を取得する。取得された情報は図10(b)である。ステップS303では、決定部204が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントとしてDoc8を注目オブジェクトと判定する。ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、905で示す拡張情報を取得し、表示制御部207がDoc8上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。
ステップS308において、判定部206はDoc7を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T7がT8よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc7は斜め綴じされているため、ステップS402へ進む。ステップS402では、Dmin>Dmin’、Dmax<Dmax’、O<O’の関係が成り立つとすると、式2、式3を以下の式4、式5に置き換える。
式4、式5により、ドキュメントが綴じられていない場合よりも、判定を緩和することができる。続いて、ステップS403では、Doc7の位置(X7,Y7)、角度O7とDoc8の位置(X8,Y8)、角度O8を式4、式5に当てはめる。Doc7はいずれも満たすため、ステップS404において参照オブジェクトと判定される。続いてステップS310においては、Doc7に対応する拡張情報904が拡張情報取得部209により取得され、ディスプレイ208に表示される。続いて、ステップS307へ進む。注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
以上に示した処理を適用することで、ユーザは興味を持っているものの、綴じ方等の物理的制約によって、情報が重畳表示されないというケースを防ぐことができる。
続いて、図11を用いて、注目オブジェクトが後から追加される際の動作例について説明する。図11(a)は、注目ドキュメントと判定される位置・向きのドキュメントが机上に存在しない状態を表している。この時の図11(b)は、図11(a)の状態から注目ドキュメントとしてDoc10が追加された状態を示す図である。図11(c)は、図11(b)の状態から、Doc8を動かし、見比べるように位置調整した後の様子を示している。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から1100、1101の2つのドキュメントが検出される。ステップS302において、取得部202により、検出された2つのドキュメントの情報を取得する。取得された情報は図12(a)である。ステップS303では、決定部204が、注目オブジェクトを決定する処理を行うが、ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントが存在しないため、注目オブジェクトは決定されない。ステップS304で、注目オブジェクトが検出されないため、ステップS312に戻り、以降同様のフローが繰り返される。続いて、図11(b)のように、Doc10が机上に置かれる場合について説明する。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から1100、1101、1102の3つのドキュメントが検出される。ステップS302において、取得部202により、検出された3つのドキュメントの情報を取得する。取得された情報は図12(b)である。ステップS303では、決定部204が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc10のみであるため、Doc10が注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、1103で示す拡張情報を取得し、表示制御部207がDoc8上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc8を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T8がT10よりも前の時刻であるとすると、ステップS400においてNoのフローでステップS405に進む。ステップS405において、Doc8は参照オブジェクトではないと判定される。続いて、ステップS307において、注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。
ステップS308において、判定部206はDoc9を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T9がT10よりも前の時刻であるとすると、ステップS400においてNoのフローでステップS405に進む。ステップS405において、Doc8は参照オブジェクトではないと判定される。ステップS307へ進む。注目オブジェクトと判定されたDoc10以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
続いて、図11(c)のように、Doc10が机上に置かれた後に、Doc8のみを少し移動させた場合について説明する。図3のステップS312、ステップS313ではユーザからの終了指示は入力されていないため、ステップS300の処理へ進む。ステップS300において、ユーザ501が装着しているグラス型デバイスのカメラ201が机上を撮影する。ステップS301において、検出部201により、撮影した画像から1100、1101、1102の3つのドキュメントが検出される。ステップS302において、取得部202により、検出された3つのドキュメントの情報を取得する。取得された情報は図12(c)である。ステップS303では、決定部204が、ユーザが装着しているデバイスからの距離とドキュメントの距離が式1を満たすドキュメントがDoc10のみであるため、Doc10が注目オブジェクトとして決定される。
ステップS304で、注目オブジェクトが検出されたため、ステップS305の処理に進む。ステップS305において、拡張情報取得部209が、1103で示す拡張情報を取得し、表示制御部207がDoc8上に表示を行う。続いて、ステップS307において、注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。
ステップS308において、判定部206はDoc8を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T8’がT10よりも後の時刻であるとすると、ステップS400においてYesのフローでステップS401に進む。ステップS401において、Doc8は綴じられていないため、ステップS403へ進む。ステップS403では、Doc8の位置(X8’,Y8’)、角度O8’とDoc10の位置(X10,Y10)、角度O10を式2、式3に当てはめる。Doc8は、注目オブジェクトであるDoc10と同じ向きになるように移動させられたため、式2、式3を共に満たし、ステップS404において参照オブジェクトであると判定される。続いてステップS310においては、Doc8に対応する拡張情報1104が拡張情報取得部209により取得され、表示制御部207に表示される。続いて、ステップS307において、注目オブジェクトと判定されたDoc8以外のドキュメント全てに対して、ステップS308以降の処理がなされていないため、ステップS308へ進む。ステップS308において、判定部206はDoc9を選択し、ステップS309の参照オブジェクト判定処理を行う。ここで、T9がT10よりも前の時刻であるとすると、ステップS400においてNoのフローでステップS405に進む。ステップS405において、Doc8は参照オブジェクトではないと判定される。ステップS307へ進む。注目オブジェクトと判定されたDoc10以外のドキュメント全てに対して、ステップS308以降の処理がなされたため、ステップS312に戻り、以降同様のフローが繰り返される。
以上示した処理を適用することで、偶然机上に置かれているドキュメントに対して拡張情報が表示されることを防ぎ、ユーザが興味を持っているドキュメントに拡張情報を表示することができるようになる。
図13を用いて、ドキュメント上の拡張情報の具体例を説明する。図13(a)は1300のドキュメントが注目オブジェクト、1301が参照ドキュメントと判定され、それぞれに拡張情報が表示されている様子を示す図である。1307はユーザである。尚、ドキュメントの向きについては、前述した通り、注目オブジェクトと必ずしも物理的に同じ向きである必要はなく、ドキュメント内の文字や図形の向きまで加味して決定するのが望ましい。注目オブジェクト1300上の重要個所に1302のように枠で強調表示するような拡張情報が表示されている。また、参照オブジェクト1301上に1303のように重要個所を強調するような拡張情報が表示されている。これらの拡張情報は、ドキュメントごとにあらかじめ記憶部203上に用意しておき、拡張情報取得部209によって記憶部203から読み出して表示すればよい。また、これに限らず、1300のドキュメントが注目オブジェクトと判定された場合に、1301が参照オブジェクトと判定されたら、1303の拡張情報を拡張情報取得部209が取得するといったルールを設けておき、実現する方法も考えられる。これにより、ドキュメントの重要個所を容易に把握しながら、ドキュメントを閲覧することができる。
図13(b)は1304が注目オブジェクトと判定され、1305が参照オブジェクトと判定され、参照オブジェクトにのみ拡張情報が表示されている様子を示している。ユーザは修正前のドキュメント1304と修正後のドキュメント1305の違いを見比べようとしているとする。あらかじめ変更点に関するメモを拡張情報として記憶部203に保持しておくことで、拡張情報取得部209が1306のようにどこに変更が加わったのかメモ書きを追加することができる。また、注目オブジェクトと参照オブジェクトが修正前後の関係にあることが、検出できれば、その差分の部分に拡張情報取得部209が自動的に拡張情報を付与してもよい。これにより、修正前のドキュメントと修正後のドキュメントの違いを容易に把握しながら、内容の確認ができるようになる。
以上、記載したのは一例であり、表示する拡張情報については、これに限らない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 CPU
102 ROM
103 RAM
104 HDD
105 出力装置
106 入力装置
107 MEMS
108 撮像装置
102 ROM
103 RAM
104 HDD
105 出力装置
106 入力装置
107 MEMS
108 撮像装置
Claims (7)
- 撮像された画像から複数のオブジェクトを検出する検出手段と、
前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、
前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、
前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段と、
を備えることを特徴とする情報処理装置。 - 前記検出手段では、紙資料を撮像した画像から、前記紙資料の綴じ方を検出し、前記表示制御手段では、前記綴じ方が前記紙資料を開いたときに紙資料が傾く綴じ方の場合、前記所定の条件を緩和することを特徴とする請求項1に記載の情報処理装置。
- 記憶手段を更に備え、前記オブジェクトの識別子と前記拡張情報とを対応付けて記憶することを特徴とする請求項1または2に記載の情報処理装置。
- 前記取得手段は、前記複数のオブジェクトの位置と基準に対する角度とを追跡して取得し続け、
前記記憶手段には、前記取得手段が前記複数のオブジェクトの位置と基準に対する角度と、該位置と該角度とを取得した時刻とを記憶し、
前記表示制御手段は、前記注目オブジェクトを決定した時刻と、前記記憶手段に記憶された前記時刻とに基づいて、前記拡張情報の画像を重畳して表示させる参照オブジェクトの候補を絞ることを特徴とする請求項3に記載の情報処理装置。 - 前記検出手段では、実物体を撮像し、
前記決定手段では、前記情報処理装置から所定の距離内にある実物体を撮像して検出されたオブジェクトを注目オブジェクトと決定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 撮像された画像から複数のオブジェクトを検出する検出工程と、
前記複数のオブジェクトから注目オブジェクトを決定する決定工程と、
前記複数のオブジェクトの位置と基準に対する角度とを取得する取得工程と、
前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御工程と、
を備えることを特徴とする情報処理装置。 - コンピュータを
撮像された画像から複数のオブジェクトを検出する検出手段と、
前記複数のオブジェクトから注目オブジェクトを決定する決定手段と、
前記複数のオブジェクトの位置と基準に対する角度とを取得する取得手段と、
前記複数のオブジェクトのうち、前記注目オブジェクトに対する位置と角度とが所定の条件を満たす参照オブジェクトに対して、前記参照オブジェクトに関連する拡張情報の画像を前記参照オブジェクトの画像に重畳して表示させる表示制御手段と、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015173281A JP2017049847A (ja) | 2015-09-02 | 2015-09-02 | 情報処理装置及び、情報処理方法、制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015173281A JP2017049847A (ja) | 2015-09-02 | 2015-09-02 | 情報処理装置及び、情報処理方法、制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017049847A true JP2017049847A (ja) | 2017-03-09 |
Family
ID=58279457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015173281A Pending JP2017049847A (ja) | 2015-09-02 | 2015-09-02 | 情報処理装置及び、情報処理方法、制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017049847A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055562A (zh) * | 2019-12-26 | 2021-06-29 | 发那科株式会社 | 输入输出信号信息显示系统 |
-
2015
- 2015-09-02 JP JP2015173281A patent/JP2017049847A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055562A (zh) * | 2019-12-26 | 2021-06-29 | 发那科株式会社 | 输入输出信号信息显示系统 |
CN113055562B (zh) * | 2019-12-26 | 2024-06-04 | 发那科株式会社 | 输入输出信号信息显示系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2976767B1 (en) | Display device and method for controlling the same | |
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
US9411415B2 (en) | Method and apparatus for displaying data | |
JP2008217590A (ja) | 情報共有支援システム、情報処理装置及び制御プログラム | |
US9875075B1 (en) | Presentation of content on a video display and a headset display | |
US20160353021A1 (en) | Control apparatus, display control method and non-transitory computer readable medium | |
US10176552B2 (en) | Non-transitory computer-readable storage medium, image display method, and image processing system for associating the same object in different images | |
JP6206581B2 (ja) | 端末装置、表示制御方法及びプログラム | |
JP2019174984A (ja) | 表示制御装置、その制御方法、プログラム及び記憶媒体 | |
JP5220157B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
US9406136B2 (en) | Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person | |
CN109271027B (zh) | 页面控制方法、装置及电子设备 | |
US8866953B2 (en) | Mobile device and method for controlling the same | |
JP5974685B2 (ja) | 表示装置およびプログラム | |
US11706378B2 (en) | Electronic device and method of controlling electronic device | |
EP3125089B1 (en) | Terminal device, display control method, and program | |
US10057315B2 (en) | Communication support system, information processing apparatus, control method, and storage medium that display an output image obtained by superposing a reference image over a captured image | |
JP2017049847A (ja) | 情報処理装置及び、情報処理方法、制御プログラム | |
US20200035208A1 (en) | Electronic device and control method thereof | |
JPWO2015145572A1 (ja) | 端末装置、表示制御方法及びプログラム | |
JP6486077B2 (ja) | 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体 | |
JP7436855B2 (ja) | 情報処理装置、制御方法、プログラム | |
JP6843564B2 (ja) | 表示制御装置、その制御方法およびプログラム | |
JP5636966B2 (ja) | 誤差検出装置及び誤差検出プログラム | |
US11036287B2 (en) | Electronic device, control method for electronic device, and non-transitory computer readable medium |