JP2015141676A - ガイダンス表示装置、方法及びプログラム - Google Patents

Abstract

【課題】対象物をマーカーによって識別可能であり、マーカーがフレームアウトした後も動作可能で、対象物以外の奥行等の存在があっても高精度に動作可能な、拡張現実表示を行うガイダンス表示装置を提供する。【解決手段】オブジェクトベース推定部3は撮影画像よりマーカーを識別して対応する対象物とその領域及び位置姿勢を推定する。マーカーレス推定部５は当該推定結果及び自身の推定結果をリファレンスとして、マーカーに頼ることなく対象物とその領域及び位置姿勢を追跡して推定する。両推定の際、マーカーに予め紐付けられた対象物の配置情報を利用して、対象物以外の領域を解析対象から排除する。推定結果に基づき、拡張現実表示部6が拡張現実表示を行う。【選択図】図３

Description

本発明は、対象物へのユーザ作業の支援等に好適な、拡張現実表示を行うガイダンス表示装置、方法及びプログラムに関する。

現実の物体にディジタル情報を重ね合わせて視覚的に表示する、拡張現実（AR: Augmented Reality）技術は、既にエンターテイメント分野を中心に実用化され、さらに近年では、作業者が求める情報を提示して視覚的に支援するツールとしても一部利活用され始め、より実用的な応用への期待が高まりつつある。例えば、航空機やコピー機のメンテナンス、また通信局舎における建設工事作業中に、技術者に誤り無く作業手順および作業箇所作業を指示するためには、視覚的な伝達を可能とするAR技術が有効である。

以下の非特許文献１では、当該作業支援のAR技術において、対象となるハードウェア装置の寸法、部品レイアウトに関する図面情報を利用することが提案され、カメラを対象物にかざし、撮影された対象物が含まれる画像から、対象物の姿勢パラメーターを高精度に推定することで、対象物の適切な位置への情報提示を可能としている。

一方、作業支援の用途に限定しない一般のAR技術において、対象物が含まれる撮影画像から対象物の姿勢パラメーターを高精度に推定する技術は、以下の非特許文献２、３および特許文献１、２に代表される通り、3種類に大別される。すなわち、非特許文献2に記載の特殊な2次元パターンが記載されたマーカーを用いる方法（マーカーベースAR）と、非特許文献３に記載のマーカーを用いず対象物の画像そのものを用いる方法（マーカーレスAR）と、特許文献１および２に記載の両者を組み合わせた方法（ハイブリッドARと呼ぶ）である。

非特許文献２では、ARマーカーと呼ばれる白黒の2次元パターンを、例えば対象物の表面に貼り付け、マーカーの見え方から、対象物の姿勢パラメーターを推定する。

非特許文献３では、あらかじめ対象物の画像そのものから抽出した局所特徴量（SIFT等）群と、新たに入力された画像から抽出される局所特徴量群間で、同一と考えられる局所特徴量ペアを対応付け、それらのペアの全体的な配置関係から、対象物の姿勢パラメーターを推定する。局所特徴量の活用により、部分的な隠蔽や視点変化が生じる場面でも比較的高精度に対象物の姿勢パラメーターを推定可能である。

特に、非特許文献３は、毎フレーム独立に姿勢パラメーターを推定するのではなく、前フレームの推定結果を基準とし、その変化分のみを高効率に推定するアプローチにより、対象物が部分的にフレームアウトする場面でも、対象物の継続的な姿勢追跡に優れている。なお、図１１は以上の非特許文献３の手法を概念的に示すものであり、(1)が局所特徴両群を事前登録される対象物を、(2)がフレームアウトのない状態で姿勢推定されている対象物を、(3)が部分的にフレームアウトした状態で姿勢推定されている対象物を、それぞれ例示している。

特許文献１，２は、マーカーベースARおよびマーカーレスARを組み合わせた方法（ハイブリッドAR）であって、その枠組みは次の通りである。すなわち、マーカーベース姿勢推定処理によってマーカーの検出結果に基づいて対象物の姿勢を推定すると同時に、マーカーレス姿勢推定処理によって撮影画像から特徴点追跡によりカメラの実空間内の位置および姿勢の変化を推定することで、マーカーベースで対象物の姿勢が推定できない場合も、マーカーレス姿勢推定部で推定されたカメラの位置および姿勢の変化に基づいて補完し、継続的にAR表示を可能とする。

具体的には、特許文献１では、基本的には常時、マーカーレス姿勢推定処理によってカメラを基準とした実空間をトラッキングしている。そして、マーカーベース姿勢推定処理を並行して行い、当該実空間内にマーカーが現れて検出された際には、当該トラッキングされている実空間内において動き回るARコンテンツを重畳させ、その後、トラッキングされている実空間内からマーカーが消失しても、ただちにはARコンテンツを消失させないように制御することで、特許文献１では効果的なARコンテンツの演出を実現している。

また、特許文献２では、マーカーレス姿勢推定処理における初期姿勢の推定の際に、同時に、予めサイズ情報の与えられたマーカーに対するマーカーベース姿勢推定処理も実施することで、マーカーベース姿勢推定処理とマーカーレス姿勢推定処理との座標系を共通化することにより、以降のマーカーレス姿勢推定処理に基づくCGオブジェクトの重畳を、マニュアルによる大きさや向き調整を必要とすることなく実現している。さらに、特許文献２では、マーカー自体が見えなくなっても、当該マーカーによって重畳されるべきCGオブジェクトは見えるように制御することを、マーカーレス姿勢推定処理によって実現している。

なおまた、前述した非特許文献１における作業支援に関するAR技術は、姿勢パラメーターの推定の観点からは、マーカーベースARの一種に属する。すなわち、非特許文献１では、車のドアロック部品の組み立て手順を実際に設置される位置に視覚的に重畳表示することで、難易度が高かった組み立て作業の作業員における習得過程を効率化しているが、この際、カメラの姿勢および撮影位置を高速かつ高精度に計算し、カメラ視野内により自然な形で架空情報を重ね合わせるために、マーカーを利用している。

特開2013-171523号公報（AR画像処理装置及び方法） 特開2013-92964号公報（画像処理装置、画像処理方法及びプログラム）

D. Reiners, D. Stricker, G. Klinker, and S. M¨uller, "Augmented reality for construction tasks: Doorlock assembly," Proc. of IWAR, pp. 31-46, 1998. H. Kato, M. Billinghurst, "Marker tracking and hmd calibration for a video-based augmented reality conferencing system," In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR 99), October 1999. D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, ''Real-Time Detection and Tracking for Augmented Reality on Mobile Phones,'' IEEE Trans. on VCG, Vol. 16, No. 3, pp. 355-368, 2012.

しかしながら、以上の3種類に大別される従来技術においてはそれぞれ、対象物についての作業補助への用途を想定すると、次のような課題があった。

非特許文献１、２におけるような従来のマーカーベースARでは、マーカーが撮影画面からフレームアウトし、マーカーが捉えられなくなると、姿勢パラメーターを推定できず、AR表示ができなくなる課題があった。

例えば、後方に壁がある等の何らかの物理的制約があることや、作業のために対象物に近接せざるを得ないこと等により、カメラと対象物間に距離を取ることができず、対象物全体が含まれるように撮影できない場面では、マーカーから離れた部位でAR情報を表示させることができないという課題があった。

図１２は、当該課題を概念的に示す図であり、(A)に示すようなマーカーが付与されたネットワーク装置の筐体を、対象物の例として用いる。なお、当該マーカーを(A)の左箇所に拡大して示してある。ここで、(B)内の２つの枠として示すような、当該対象物の全体は撮影できず、一部のみしか撮影できない撮影位置での撮影画像においては、必ずしもAR表示ができるとは限らない。

すなわち、当該(B)の例のうち、(B-1)のように、当該一部にマーカーが含まれる場合であれば、当該部位に関して対象物の姿勢パラメーターは推定可能でありAR表示が可能であるが、(B-2)のように、当該一部にマーカーが含まれない場合には、当該部位に関して対象物の姿勢パラメーターは推定不可能であり、AR表示も不可能となってしまう。実際の作業においては、対象物に近づくことで当該(B-2)のような撮影画像が得られることも頻繁に起こりうる。

また、非特許文献３におけるような従来のマーカーレスARでは、近隣に見た目が類似もしくは同一の物体が存在した場合に、本来AR表示させたい対象物とは違う物体を対象として誤表示される恐れがあった。

例えば、ラック内に同一モデルのネットワーク装置が整然と並ぶ、通信局舎における工事作業において、仮に、従来技術のマーカーレスARをそのまま適用して作業補助を行うようにしたとすると、本来の対象とするネットワーク装置ではなく隣接するネットワーク装置に誤ってAR情報が表示され、誤抜去・誤挿入・誤切断等の通信障害につながる事故を引き起こす恐れがあった。

さらに、特許文献１、２におけるような従来のハイブリッドARでは、マーカーベース姿勢推定処理が実施できなくなった後に、マーカーレス姿勢推定処理によって、撮影画像から特徴点追跡によりカメラの実空間内の位置および姿勢の変化を推定する。具体的には、まず任意の2フレームを選択し、特徴点マッチングによりそれらのフレーム間で同一と考えられる特徴点間を対応付ける。次に対応関係にある特徴点の中から任意の4点もしくはそれ以上を選択し、これらが平面上に分布すると仮定することで、特徴点との対応関係から、フレーム間のホモグラフィを求めることができるようになり、相対的な座標関係を求めることが可能である。

しかしながら、当該ハイブリッドARにおいてなされるマーカーレス姿勢推定処理には、次の(a),(b)を原因として特徴点追跡の精度が低下するという課題があった。すなわち、（a）撮影画像内に類似した対象物が複数写る場面では、特徴点間の誤対応が発生する恐れがある。また、（b）観測する特徴点の三次元位置によっては、選択した4点もしくはそれ以上の特徴点が必ずしも平面上にあるとは限らない。

なお、上記（a）誤対応の恐れ、（b）平面拘束が当てはまり難い場面が撮影画像に含まれる、を原因とした特徴点追跡の精度劣化は、ハイブリッドARにおけるマーカーレス姿勢推定処理に限らず、特徴点追跡に基づく従来技術に共通にあてはまる課題として挙げられる。

ここで、通信局舎におけるネットワーク装置を対象とする作業を想定した具体例を挙げて、上記(a),(b)による精度劣化の課題を説明する。図１は、当該説明のための例を示す図であり、通信局舎のラックRが示されている。当該ラックR内には、上方から下方にかけて、同一型番のネットワーク装置が並べて設置されることが一般的であり、図１では装置W1,W2,W3が設置されている。

上記（a）の具体例は、作業対象の装置を例えばW1とした場合に、撮影画像内に、対象装置W1以外に、同一型番で見た目が同じの別の装置W2が写ってしまう場合である。このような場合の例として、図１では点線で囲んだ領域として撮影画像Paが示されている。撮影画像Paにおいては、装置W2の部分から抽出される局所特徴量の中に、装置W1から抽出されるのと類似もしくは同一の局所特徴量が含まれ、特徴点マッチングの際に装置W1,W2間をまたいで誤対応を起こす恐れがある。

また、図１のラックRにおいて灰色の領域として示すように、装置W1上側と、装置W2下側及び装置W3上側の間と、装置W3下側とにはそれぞれ、故障時に代替機を近くに設置できるようすき間E1,E2,E3が設けてある。上記（b）の具体例として、撮影画像にこのすき間領域が含まれる場合が挙げられる。例えば、作業対象の装置をW3とし、撮影画像Pbを得た場合に、このすき間の領域E2,E3の箇所から抽出される局所特徴量は、対象装置W3の前面パネルの領域よりも奥行き方向に遠方にあることとなる。従って、撮影画像Pbにおいて、本来対象としている装置W3の領域内外をまたいで4点以上の特徴量が選択されると、平面拘束という前提が成り立たない。

以上のような従来技術の課題に鑑み、本発明の目的は、第一に、非特許文献１〜３のようなマーカーベースAR及びマーカーレスARにおいて両立して解決し得ない課題である（１）フレームアウトへの耐性と、（２）確実な個体認識と、を解決し、さらに第二に、特許文献１，２のようなハイブリッドARにおいて解決し得ない課題である、作業補助等の特定の場面において想定される（３a）類似した対象物の配置と、（３b）撮影画像内に奥行方向の空間の広がりがあることと、による姿勢推定の精度劣化を解決することができ、作業補助等において有用なガイダンス表示装置、方法及びプログラムを提供することにある。

なお、上記本発明における解決課題を従来技術と対比して示した表を、図２に示す。図２では「○」が解決可能を表し、「×」が解決不可能を表している。

上記目的を達成するため、本発明は、対象物の撮影映像に関して拡張現実表示を行うことで、対象物への作業及び／又は操作を補助するガイダンス表示装置であって、前記撮影映像の一時点における撮影画像より、オブジェクトを検出することで、当該一時点における前記対象物の領域及び位置姿勢を推定するオブジェクトベース推定部と、前記一時点より後の撮影映像における撮影画像に対して、前記一時点において推定された領域及び位置姿勢との間で特徴点マッチング及び特徴点追跡を行うことで、前記対象物の領域及び位置姿勢を推定するマーカーレス推定部と、前記オブジェクトベース推定又は前記マーカーレス推定部が推定した前記対象物の領域及び位置姿勢に基づいて、前記撮影映像の各時点における撮影画像に関して拡張現実表示を行う拡張現実表示部と、を備え、前記オブジェクトベース推定部は、位置姿勢を決定可能なマーカーの役割を有し且つ所定の対象物に対応付けられた所定オブジェクトの情報を参照することで、前記オブジェクトをその位置姿勢と共に検出し、さらに、当該所定オブジェクトに対応付けられた所定の対象物の配置情報を参照することで、前記対象物の領域及び位置姿勢を推定することを特徴とする。

また、本発明は、対象物の撮影映像に関して拡張現実表示を行うことで、対象物への作業及び／又は操作を補助するガイダンス表示方法であって、前記撮影映像の一時点における撮影画像より、オブジェクトを検出することで、当該一時点における前記対象物の領域及び位置姿勢を推定するオブジェクトベース推定段階と、前記一時点より後の撮影映像における撮影画像に対して、前記一時点において推定された領域及び位置姿勢との間で特徴点マッチング及び特徴点追跡を行うことで、前記対象物の領域及び位置姿勢を推定するマーカーレス推定段階と、前記オブジェクトベース推定段階又は前記マーカーレス推定段階が推定した前記対象物の領域及び位置姿勢に基づいて、前記撮影映像の各時点における撮影画像に関して拡張現実表示を行う拡張現実表示段階と、を備え、前記オブジェクトベース推定段階では、位置姿勢を決定可能なマーカーの役割を有し且つ所定の対象物に対応付けられた所定オブジェクトの情報を参照することで、前記オブジェクトをその位置姿勢と共に検出し、さらに、当該所定オブジェクトに対応付けられた所定の対象物の配置情報を参照することで、前記対象物の領域及び位置姿勢を推定することを特徴とする。

さらに、本発明は、ガイダンス表示プログラムであって、コンピュータを上記ガイダンス表示装置として機能させることを特徴とする。

本発明によれば、オブジェクトベース推定処理によってオブジェクトを一意に特定することで、オブジェクトに予め紐付けられた対象物も一意に特定され、上記（２）確実な個体認識が可能となる。また、オブジェクトベース推定処理が対象物の領域及び位置姿勢を推定した結果に基づいて、以降の対象物の領域及び位置姿勢をマーカーレス推定処理が特徴点マッチング及び特徴点追跡により推定するので、オブジェクトを見失っても対象物の推定は継続して可能であり、上記（１）フレームアウトへの耐性が実現される。さらに、マーカーレス推定処理による推定の際には、オブジェクトベース推定処理による推定の際のオブジェクトに紐付けられた対象物の配置情報が反映されることで、対象物の領域と推定される領域のみが特徴点マッチング及び特徴点追跡の対象となるので、上記（３a）類似した対象物の配置と、（３b）撮影画像内に奥行方向の空間の広がりがあることと、に対して高精度に推定することも可能となる。

特徴点追跡の精度劣化が起こる例として通信局舎のラックを示す図である。 本発明における解決課題を従来技術と対比した表である。 一実施形態に係るガイダンス表示装置の機能ブロック図である。 オブジェクト・対象物データベースが、オブジェクトベース推定部の処理を可能にするために保存している情報のデータ形式を、表として示す図である。 オブジェクト・対象物データベースに保存され、オブジェクトベース推定部の第二処理にて利用される配置情報の概念的な例を示す図である。 オブジェクトベース推定部が第一及び第二処理を行うことによって撮影画像より対象物の領域及び位置姿勢を推定する概念的な例を示す図である。 一実施形態に係るガイダンス表示装置の動作のフローチャートである。 位置姿勢が初期値として適切か否かの概念的な例を、対象物をネットワーク装置として示す図である。 別の一実施形態に係るガイダンス表示装置の動作を概念的に示す図である。 別の一実施形態に係るガイダンス表示装置の動作のフローチャートである。 非特許文献３の手法を概念的に示す図である。 従来のマーカーベースARにおける課題を概念的に示すための図である。

図３は、一実施形態に係るガイダンス表示装置の機能ブロック図である。ガイダンス表示装置10は、撮影部1、オブジェクト・対象物データベース(DB)2、オブジェクトベース推定部3、リファレンス保存部4、マーカーレス推定部5及び拡張現実表示部6を備える。当該各部の機能の概要は次の通りである。

撮影部1はカメラであり、作業を行うユーザによる操作等によって作業対象の空間の撮影を行い、その撮影映像を得て、当該映像を構成する各時刻のフレームとしての各撮影画像をオブジェクトベース推定部3及びマーカーレス推定部5に渡す。撮影部1では当該渡す際に、映像のフレームレートを所定割合下げるなどの処理を行ってもよい。

なお、ガイダンス表示装置10は、上記の撮影部1を含まない構成を取ってもよい。この場合、ガイダンス表示装置10は、上記の撮影部1に相当する外部構成のカメラより撮影映像を入力として受け取ることとなる。

オブジェクトベース推定部3及びマーカーレス推定部5はそれぞれ、撮影画像におけるユーザ作業の対象物の領域及び位置姿勢を推定して、その結果を拡張現実表示部6へと渡す。

ここで、オブジェクトベース推定部3は、オブジェクト・対象物DB2に保存されている情報を参照することで、対象物の領域及び位置姿勢の推定を行い、その結果を拡張現実表示部6に渡すと共にリファレンス保存部4に保存させる。一方、マーカーレス推定部5は、当該リファレンス保存部4に保存されている情報を参照することで、オブジェクトベース推定部3が推定を行った時点以降の撮影画像に関して、対象物の領域及び位置姿勢の推定を行い、その結果を拡張現実表示部6に渡すと共に、当該マーカーレス推定部5が自身で推定した対象物の領域及び位置姿勢並びに後述する特徴量を、当該マーカーレス推定部5自身が以降の処理において参照するために、リファレンス保存部4に保存する。

なお、各時刻の撮影画像につき、オブジェクトベース推定部3又はマーカーレス推定部5のいずれか片方の推定結果が拡張現実表示部6に渡される。

オブジェクト・対象物DB2は、上記のようにオブジェクトベース推定部3が機能する際に必要な情報を保存し、リファレンス保存部4は上記のようにマーカーレス推定部5が機能する際に必要な情報を保存する。当該保存される情報と、当該両推定部3,5がそれぞれオブジェクト・対象物DB2及びリファレンス保存部4を参照して行う処理の詳細については後述する。

拡張現実表示部6では、各時刻の撮影画像につき当該両推定部3,5のうちの片方により推定され渡された対象物の領域及び位置姿勢に基づいて、撮影部1での撮影映像に関して、対象物へのユーザ作業を補助するための拡張現実表示を行う。

拡張現実表示部6による拡張現実表示の内容については、周知の手法を用いて管理者等が予め設定しておくことで、ユーザ作業に応じた所定の表示を行うことができる。例えば、対象物に対するメンテナンス作業の場合であれば、本出願人による特願2012-278058号(フィールド作業支援装置)の手法によって、ユーザより各作業の完了確認の旨の情報等を受信しながら、メンテナンスすべき箇所を順次、対象物に重畳して表示させるようにしてよい。また、その他の表示を行ってもよい。

また、拡張現実表示部6による拡張現実表示の方式についても、周知の種々の方式を用いることができる。例えば、撮影部1で得る撮影映像に対してリアルタイムで重畳させる方式を採用して、撮影映像に所定内容の作業補助情報を重畳させたものをユーザに対してディスプレイ等で表示することができる。

また、例えば、拡張現実表示部6をシースルー型ヘッドマウントディスプレイ(HMD)によって構成して、所定内容の作業補助情報をリアルタイムで重畳させることで、ユーザに補助表示を提供することもできる。なお、シースルー型HMDにより重畳させる場合は、周知のように、当該HMDを通してユーザが見る景色が撮影部1により撮影される景色と同じになるよう、撮影部1を配置しておく必要がある。当該両景色にずれ（位置姿勢のずれ）がある場合は、当該ずれを反映させたうえで重畳表示を行えばよい。

以上のように、拡張現実表示部6では撮影部1での撮影映像に関して、撮影映像に直接的に重畳させることで、あるいは、シースルー型HMDで景色に対して重畳させるために間接的に撮影映像の情報を利用したうえで、所定内容の拡張現実表示を行うことができ、これによってガイダンス表示装置10によるユーザの作業補助が実現される。

次に、オブジェクトベース推定部3及びマーカーレス推定部5の詳細を説明する。まず、当該両推定部3,5のそれぞれにおける対象物の領域及び位置姿勢の推定処理を説明してから、時系列上の各撮影画像に対する当該両推定部3,5における互いの処理の連携について説明する。

オブジェクトベース推定部3は、撮影画像において写っている対象物の領域及び位置姿勢を推定するため、次の２つの処理を行う。まず、第一処理として、対象物それ自体ではなく、対象物に配置されていることが予め既知のオブジェクトを撮影画像内において特定して、その位置姿勢を推定する。そして、第二処理として、当該推定されたオブジェクトの位置姿勢に対して、当該オブジェクトを基準として予め既知である対象物の配置情報を適用することで、撮影画像における対象物の領域及び位置姿勢を推定する。

ここで、オブジェクト・対象物DB2が、オブジェクトベース推定部3にて上記の第一及び第二処理を行う際に必要となる予め既知の情報を保存しており、オブジェクトベース推定部3による第一及び第二処理の際の参照に供する。

図４は、オブジェクト・対象物DB2が当該保存している情報のデータ形式を、表として示す図である。図示するように、オブジェクト・対象物DB2は、複数のオブジェクトOi(i=1, 2, …)の各々について、その識別子であるオブジェクトID-Oi(i=1, 2, …)と、当該オブジェクトOi及びその位置姿勢を撮影画像上から特定するための特徴量Fi(i=1, 2, …)と、当該オブジェクトOiに予め対応付けられている対象物Wi(i=1, 2, …)の識別子である対象物ID-Wi(i=1, 2, …)と、当該対象物WiのオブジェクトOiを基準としての配置情報Ci(i=1, 2, …)と、を対応付ける形で記憶している。なお、当該記憶される情報については、予めガイダンス表示装置10の管理者等がマニュアル等で設定しておく。当該各情報の内容は以下の通りである。

各オブジェクトOiは、典型的には周知のARマーカーであって、その特徴量Fiがそれぞれ予め抽出され、オブジェクト・対象物DB2に保存されている。特徴量Fiは、オブジェクトベース推定部3の第一処理にて参照して利用される。特徴量Fiによって、撮影画像内からのオブジェクトOiの識別が可能となり、さらに、当該オブジェクトOiの撮影部1(カメラ)に対する位置姿勢も推定可能となる。

すなわち、第一処理では、撮影画像より特徴量を抽出し、いずれの特徴量Fiに該当するかを判断することで、予め複数登録されているオブジェトのうち、撮影画像にオブジェクトOiが写っていることを特定すると共に、予め保存されている特徴量Fiにおける座標配置と、撮影画像より抽出された特徴量の座標配置との間のホモグラフィを求めることにより、当該オブジェクトOiの撮影部1に対する位置姿勢を推定する。当該第一処理におけるオブジェクトの特定及び位置姿勢の推定には、ARマーカーにおける周知の手法、例えば非特許文献２の手法を利用することができる。

なお、各オブジェクトOiは、必ずしもいわゆるARマーカーそのものである必要はなく、ARマーカーと同様の機能を有する任意のもの（マーカー）を利用することができる。すなわち、当該オブジェクトOiに属するものとして平面上の配置が与えられた4つ以上の点及び／又は線分（又は当該点及び／又は線分と同等な情報）が互いに区別して識別可能であり、且つ、異なるオブジェクトOi,Oj(i≠j)間での区別を可能とするような、任意のものを利用することができ、第一処理では各オブジェクトに対応する所定手法で識別及び位置姿勢の推定を行うようにすればよい。例えば、ARマーカー以外にも、文字列や、バーコード等を利用してもよい。

さらに、オブジェクトベース推定部3の第二処理では、第一処理にて特定されたオブジェクトOiに対応する対象物Wiの配置情報Ciを参照して、対象物Wiの撮影画像における領域及び位置姿勢を推定する。ここで、第一処理においてオブジェクトOiの撮影部1に対する位置姿勢Di（及び撮影画像内における領域）が求まっている。そして、参照される配置情報Ciは、当該オブジェクトOiを基準として対象物Wiの空間的な配置を特定する情報である。従って、第二処理では、オブジェクトOiの位置姿勢Diと、対応する対象物Wiの配置情報Ciと、を用いることにより、対象物Wiの撮影部1に対する位置姿勢及び撮影画像内における領域を決定することができる。

図５は、当該第二処理に用いられる配置情報の概念的な例を示す図である。図５では、(1)に示すように、図１において例として用いたネットワーク装置W1が対象物であり、当該装置W1の所定位置に予め、所定のARマーカーとしてオブジェクトO1が配置されている場合を例として用いる。この場合の配置情報の例が(2)である。すなわち、共通の所定のXY座標軸の平面内において、オブジェクトO1の配置を特定する四隅の点P1〜P4の座標と、装置W1の前面を特定する四隅の点Q1〜Q4の座標と、が与えられることで、オブジェクトO1の配置を基準とした装置W1の前面の配置が定まることとなる。このような配置関係を特定する情報が、図４における配置情報Ciである。

図５の例では、オブジェクトO1は矩形領域{[x1, x2]×[y1, y2]}として、対象物である装置W1の前面は矩形領域{[X1, X2]×[Y1, Y2]}として与えられているが、予め登録しておくことにより、一般に、各オブジェクト及び対象物の各領域は平面上における任意の形状(及び向き)として設定することができる。当該各領域は、連結でなく、2つ以上の部分からなるものであってもよい。オブジェクトの領域については、第一処理で利用される特徴量の座標と対応付ける形で与える必要がある。

また、図５の例では、オブジェクトの領域と対象物の領域とは共通のXY平面上にあるものとして、配置情報が与えられている。一般には、オブジェクトの領域の属する平面と、対象物の領域の属する平面とが、別の平面であるものとして配置情報が与えられていてもよい。この場合、それぞれの平面の位置関係を共通の空間座標において与えておく必要がある。

なお、対象物が例えば作業対象の機器である場合は、その図面データ(CADデータなど)を用いて、上記のような配置情報Ciを管理者等が予めマニュアルで用意することとなる。すなわち、当該機器の図面データ上において、作業対象となる平面領域を定めると共に、マーカーとしての所定のオブジェクトを配置する箇所を決定し、同図面データ上において当該オブジェクトの占める平面領域を設定することで、配置情報Ciが用意される。また、実物の機器においても、対応するオブジェクトの実物を当該予め設定した箇所に貼るなどして、配置しておくこととなる。

なお、拡張現実表示部6が拡張現実表示を行う際に、例えば対象物の所定箇所を強調表示するような場合、当該所定箇所の情報を配置情報Ciに関連付けて予め与えておくことにより、当該強調表示が可能となる。

図６は、以上の図４，５のような情報を参照することで、実際にオブジェクトベース推定部3が第一処理及び第二処理を行い、撮影画像より対象物の領域及び位置姿勢を推定する概念的な例を示す図である。図６では、図５のネットワーク機器W1が対象物として特定され、その領域及び位置姿勢を推定される例が示されている。

(1)では、ある時刻t=nにおける撮影画像P[n]の例が示され、第一処理により、領域R-O1[n]として示すような、マーカーとしてのオブジェクトO1が特定され、その位置姿勢D-O1[n]（不図示）が推定される。そして、第二処理により、当該位置姿勢D-O1[n]に配置情報C1を適用することで、撮影画像P[n]における機器W1の位置姿勢D-W1[n]（不図示）と、図中灰色で示すその領域R-W1[n]が推定される。また、(2)に示す別の時刻t=mにおける撮影画像P[m]についても、(1)に示したt=nの場合と全く同様に推定がなされ、(1)と比べて傾いた配置として対象物の位置姿勢D-W1[m](不図示)及び領域R-W1[m]が推定されている。

なお、図６の例では、灰色で示した推定された対象物の領域は、その全てが撮影画像内に収まるものとして推定されているが、一般には、撮影画像内において対象物の領域の一部分のみが写っているものとして、オブジェクトベース推定部3が推定を行う場合もある。例えば、対象物の領域全体のうち、ある方向側の部分のみが撮影画像内にあり、別の方向側の部分が撮影画像の範囲から途切れている場合や、撮影部1が対象物に非常に近接することで、撮影画像内の全範囲が対象物の領域となっているが、対象物の全体を捉えてはいない場合があるが、このような場合も、オブジェクトベース推定部3は同様に推定を行う。

以上のように、オブジェクトベース推定部3では、ある時刻t=T0の撮影画像P[T0]に対して、オブジェクトOi(i=1, 2,…のいずれか)を検出し特定することで、当該オブジェクトOiに予め紐付けられた対象物Wiを特定し、当該対象物Wiの位置姿勢D-Wi[T0]及び撮影画像内において占める領域R-Wi[T0]を推定する。そして、オブジェクトベース推定部3は、当該推定した位置姿勢D-Wi[T0]及び領域R-Wi[T0]をリファレンス保存部4に保存する。

マーカーレス推定部5は、オブジェクトベース推定部3が上記のようにある時刻t=T0について推定してリファレンス保存部4に保存した位置姿勢D-Wi[T0]及び領域R-Wi[T0]を参照することにより、当該時刻t=T0より後の時刻T1（T1>T0）の撮影画像P[T1]における対象物Wiの位置姿勢D-Wi[T1]及び領域R-Wi[T1]を推定する。

具体的には、マーカーレス推定部5ではまず、オブジェクトベース推定部3の推定結果として保存されている領域R-Wi[T0]（当該領域は時刻T0の撮影画像P[T0]の画素で構成されている）より、対象物Wiの特徴量F-Wi[T0]を抽出し、自分自身の以降の処理において参照すべく、リファレンス保存部4に保存する。ここで、当該特徴量F-Wi[T0]には、周知のSIFT特徴量等を利用することができ、一連の特徴点座標と、当該各点における特徴量の値として、当該特徴量F-Wi[T0]が与えられる。

そして次に、マーカーレス推定部5では、当該時刻T0より後の時刻T1（T1>T0）の各撮影画像P[T1]を対象として、リファレンスの特徴量F-Wi[T0]を構成している特徴点についての特徴点マッチング及び特徴点追跡を行うことにより、対象物Wiのリファレンス時刻T0における位置姿勢D-Wi[T0]がどのように変動したかを求めることで、時刻T1の撮影画像P[T1]における対象物Wiの位置姿勢D-Wi[T1]を推定する。ここで、当該推定された位置姿勢D-Wi[T1]に配置情報Ciを適用することで、領域R-Wi[T1]も同時に推定される。

なお、特徴点マッチング及び特徴点追跡の処理及びこれに基づく位置姿勢の変動の算出処理そのもの自体に関しては、非特許文献３等に記載されているように周知である。しかし本発明においては、リファレンスとしての特徴量F-Wi[T0]に加えてさらに、配置情報Ciを用いることで各時刻tにおける対象物Wiの領域R-Wi[t]の情報を利用できるので、当該周知の処理において後述するような種々の工夫が可能となる。

図７は、一実施形態に係るガイダンス表示装置10の動作のフローチャートである。当該実施形態の概要は、撮影部1から得られる時系列上の一連の撮影画像P[t](t=0, 1, 2, …)に対して、以下の（手順１A）、（手順２A）を繰り返しながら拡張現実表示部6による拡張現実表示を実現するというものである。

（手順１A）オブジェクトが検出及び特定され、対応する対象物が特定されその位置姿勢等の推定に成功するまで、オブジェクトベース推定部3が処理を行う。成功した場合は（手順２A）へ進む。
（手順２A）上記成功の際に特定された位置姿勢等を用いて、マーカーレス推定部5による処理を可能な限り継続する。マーカーレス推定部5による処理が継続不可能と判定された時点で、上記（手順１A）に戻る。

なお、図７の各ステップのうち、「(S11→S12→S13→S22)→(S11→S12→S13→S22)→…」のループが概ね（手順１A）に対応し、「(S15→S16→…→S19→S20)→(S15→S16→…→S19→S20)→…」のループが概ね（手順２A）に対応する。図７における各ステップの詳細は以下の通りである。

ステップS10では、処理対象となる、撮影部1から得られる時系列上の一連の撮影画像P[t] (t=0, 1, 2, …)の各々をカウントして管理するための時刻カウンタtを初期値のゼロに設定してから、ステップS11へと進む。ステップS11では、撮影部1よりオブジェクトベース推定部3が当該時刻tの撮影画像P[t]を取得して、ステップS12へ進む。

ステップS12では、撮影画像P[t]を対象としてオブジェクトベース推定部3が、図４で説明したような複数のオブジェクトOi(i=1,2,…)のうちのいずれかが含まれているかを判定すると共に、オブジェクトOiが含まれていた場合には対応する対象物Wiの位置姿勢及び領域を推定して、ステップS13へ進む。

ステップS13では、直前のステップS12におけるオブジェクトベース推定部3の推定が成功したかが判定され、成功していればステップS14へ進み、失敗していればステップS22に進む。ステップS22では時刻カウンタtの値を次の時刻t+1へと更新してステップS11へ戻る。こうして、予め登録されているオブジェクトのいずれかOiが撮影画像内において検出される時点まで、ステップS12が繰り返されることとなる。

なお、説明のため、前述のオブジェクトベース推定部3の説明におけるのと同様に、当該ステップS12における検出及び推定に成功した時点tをt=T0とし、また、検出されたオブジェクトはオブジェクトOiであり、従って、撮影画像内の対象物は対象物Wiであるものとする。

ステップS14では、リファレンス保存部4への初期登録が行われる。すなわち、ステップS14ではまず、当該時点t=T0においてオブジェクトベース推定部3がS12にて推定した対象物Wiの位置姿勢D-Wi[T0]及び撮影画像P[T0]内における領域R-Wi[T0]が、当該最新時点t=T0におけるものとして登録される。ステップS14ではさらに、当該撮影画像P[T0]内における領域R-Wi[T0]を対象として、マーカーレス推定部5が特徴量F-Wi[T0]を抽出して、当該最新時点t=T0におけるものとしてリファレンス保存部4に登録する。以上の登録を終えると、ステップS15へと進む。

ステップS15では、当該時点tにおける値としてリファレンス保存部4に保存されている対象物Wiの領域R-Wi[t]及び位置姿勢D-Wi[t]に基づいて、拡張現実表示部6が当該時点tにおける撮影画像P[t]に関して拡張現実表示を行い、ステップS16へ進む。

ステップS16では、時刻カウンタtの値を次の時刻t+1へと更新してステップS17へ進む。ステップS17では、マーカーレス推定部5が当該時点tにおける撮影画像P[t]を撮影部1から取得し、ステップS18へ進む。

ステップS18では、マーカーレス推定部5が、当該時点tにおける撮影画像P[t]内の対象物Wiの領域R-Wi[t]及び位置姿勢D-Wi[t]を推定し、ステップS19へ進む。

ステップS18では具体的には、リファレンス保存部4に保存されている直近の過去t-1において求められた対象物Wiの領域R-Wi[t-1]及び位置姿勢D-Wi[t-1]と、領域R-Wi[t-1]から抽出された特徴量F-Wi[t-1]と、を用いることにより、当該時点tにおける撮影画像P[t]内における領域R-Wi[t-1]に関連する領域をサーチ対象として、特徴量F-Wi[t-1]との間で特徴点マッチング及び特徴点追跡を実施することで、位置姿勢の変動ΔDを求め、直近の過去の位置姿勢D-Wi[t-1]に当該変動ΔDを加味することで、最新の位置姿勢D-Wi[t]を推定する。さらに、当該求まった位置姿勢D-Wi[t]と、図４等で説明した予め既知の配置情報Ciを用いて、最新の領域R-Wi[t]を推定する。

当該ステップS18において、前述のように特徴点マッチング及び特徴点追跡そのものは周知であるが、本発明においては特に、そのサーチ対象の領域を当該時点tにおける撮影画像P[t]の全体ではなく、撮影画像P[t]内における領域R-Wi[t-1]に関連する領域に限定している。従って、本発明においては、従来技術の課題として説明した、対象物の平面領域以外の領域を与えるものとして（３a）類似対象物や（３b）撮影画像内に奥行方向の空間の広がりがあるような場合においても、そのような対象物とは別途の領域が広くサーチ対象となることが防止されるので、特徴点マッチング及び特徴点追跡の精度を上げ、推定される位置姿勢変動ΔDの精度を上げることができる。当該限定される領域は具体的には次のようにすればよい。

一実施形態では、直近の過去t-1の撮影画像P[t-1]にて推定された領域R-Wi[t-1]と同位置の領域をサーチ対象とすることができる。一実施形態では、当該領域R-Wi[t-1]と同位置の領域を所定基準で拡張した領域（例えば所定割合だけ拡大させた領域）をサーチ対象とすることができる。

一実施形態では、当該直近の過去t-1以前の所定期間において算出されている一連の位置姿勢変動の履歴を用いて、当該時点tにて推定することとなる位置姿勢変動ΔDの予測値ΔD_[予測]を求め、当該位置姿勢変動の予測値ΔD_[予測]を適用することにより当該時点tにて推定することとなる領域R-Wi[t]の予測領域R-Wi[t]_[予測]を求め、当該予測領域R-Wi[t]_[予測]をサーチ対象とすることができる。なお、一連の位置姿勢変動の履歴からの予測値ΔD_[予測]の算出には、周知の種々の手法を用いることができる。また、一連の位置姿勢変動の履歴については、後述のステップS20における追加的な処理として、リファレンス保存部4に保存しておけばよい。

ステップS19では、直前のステップS18においてマーカーレス推定部5が位置姿勢及び領域の推定に成功したかが判定され、成功してればステップS20へ進み、失敗していればステップS21へと進む。当該成功又は失敗の判定には、当該推定の際の各処理結果に所定の判断基準を設けておけばよい。例えば、特徴点マッチングで所定基準でマッチしたと判定される特徴点の数が閾値以上であり、且つ、特徴点追跡でホモグラフィを算出する際の誤差が閾値以下である、場合に成功したと判定し、そうでなければ失敗したと判定してよい。

ステップS20では、マーカーレス推定部5が、リファレンス保存部4に対して、当該最新時点tについてステップS18で推定した領域R-Wi[t]及び位置姿勢D-Wi[t]を新たに登録し、さらに、当該撮影画像P[t]にて推定された領域R-Wi[t]より新たに特徴量F-Wi[t]を抽出して登録することで、リファレンス保存部4に保存されている情報を更新し、ステップS15に戻る。なお、当該更新の際に、当該時点tより過去の情報として登録され、以降のステップS18では参照されない情報については、消去するようにしてもよい。

ステップS21では、リファレンス登録部4において、それまで保存していた一連の領域R-Wi[t]及び位置姿勢D-Wi[t]並びに特徴量F-Wi[t]の情報を消去して、ステップS22に戻る。なお、当該ステップS21に到達したことは、それまで継続して位置姿勢及び領域を推定されていた対象物Wiが撮影画像より完全に消失した、と判断されたことを意味している。従って、ステップS21よりステップS22へ戻り、時刻を更新してから再度、ステップS11以降においてオブジェクトベース推定部3による処理からやりなおすこととなる。

以上、図７の各ステップを説明したので、その補足的事項（補足１）〜（補足３）を説明する。

（補足１）ステップS19の別の実施形態として、一度でもマーカーレス推定部5が推定に失敗した場合にステップS21へ進むのではなく、当該ステップS19における失敗判定が連続して所定回数に到達した時点で、ステップS21へ進むようにしてもよい。この場合、ステップS19で失敗判定が下されたが、その連続回数が所定値に到達していない間は、ステップS20におけるリファレンス保存部4の更新は行わず、ステップS15及びS18における拡張現実表示部6及びマーカーレス推定部5の処理はそれぞれ、直近の過去においてステップS19又はS13で成功判定が下された際にリファレンス保存部4に保存された情報を利用して行うようにすればよい。

（補足２）ステップS13の別の実施形態として、撮影画像P[t]よりオブジェクトOiが検出及び特定され、対象物Wiの位置姿勢等が推定された場合であっても、当該推定された位置姿勢が、以降のステップS18においてマーカーレス推定部5が位置姿勢等を精度よく推定するための初期値としては不適切な場合には、ステップS14へは進まずにステップS22へ進み、適切な初期値として対象物Wiの位置姿勢が推定された時点でステップS14へ進むようにしてもよい。

ここで、ステップS12で推定した対象物Wiの位置姿勢D-Wi[t]が初期値として適切か否かは、当該位置姿勢D-Wi[t]における領域R-Wi[t]が適切な位置及び／又は向きであるかに関して、配置情報Ciとの関係により予め設定される閾値等による所定基準により判断してもよいし、拡張現実表示部6によって、当該推定された初期値の位置姿勢における対象物の領域をユーザに提示して、ユーザ自身の判断による許可の旨を受信することで判断してもよい。

図８は、当該位置姿勢が初期値として適切か否かの概念的な例を、対象物をネットワーク装置として示す図であり、撮影画像P5が適切な位置姿勢の場合の例を、撮影画像P6が不適切な位置姿勢の場合の例を、それぞれ示している。すなわち、撮影画像P5は、マーカーとしてのオブジェクトを含め対象物の全体を捉えてほぼ正面から撮影されており、以降のマーカーレス推定部5の処理においてリファレンスとなる特徴量を十分に抽出することができる。しかし、撮影画像P6は、マーカーとしてのオブジェクトは捉えているものの、対象物に関しては、そのごく一部分のみを斜めに傾いた位置から捉えているのみであるので、リファレンスとなる特徴量は少数しか抽出することができない。

（補足３）なお、図８の撮影画像P6のような状態によって初期値の位置姿勢を推定してからマーカーレス推定部5への処理に移行した場合であっても、本発明は実施可能である。すなわち、ステップS20において、リファレンス保存部4へ各時点tで推定された領域R-Wi[t]から抽出された特徴量F-Wi[t]が保存されるので、時間tの進行と共に当該領域R-Wi[t]が逐次的に更新され移動していくことにより、当初の撮影画像において見えていなかった部分であっても、その部分における特徴量F-Wi[t]が新たに抽出され、以降の推定処理におけるリファレンスとして利用可能となるからである。このように、当初見えていない部分に関しても高精度に推定可能となるのも、本発明において図４で説明した配置情報Ciを利用することによって奏される効果である。

次に、図７とは別の一実施形態によるガイダンス表示装置10の動作を説明する。当該実施形態の概要は、撮影部1から得られる時系列上の一連の撮影画像P[t](t=0, 1, 2, …)に対して、以下の（手順１B）〜（手順3B）を繰り返しながら拡張現実表示部6による拡張現実表示を実現するというものである。なお、（手順1B）は前述の一実施形態における（手順1A）と同じである。

（手順１B）オブジェクトが検出及び特定され、対応する対象物が特定されその位置姿勢等の推定に成功するまで、オブジェクトベース推定部3が処理を行う。成功した場合は（手順２B）へ進む。
（手順2B）オブジェクトベース推定部3が継続して、対象物の位置姿勢等の推定を可能な限り継続する。この際適宜、マーカーレス推定部5が、（位置姿勢等の推定自体は実施しないものの、）リファレンス保存部4に保存する情報の更新を併せて実施する。オブジェクトベース推定部3による推定が継続不可能と判定された時点で、（手順3B）へ進む。
（手順3B）当該一時点においてマーカーレス推定部5による姿勢推定を試み、成功すれば次の時点は（手順2B）に戻り、失敗した場合には（手順1B）に戻る。

すなわち、当該別の一実施形態では、オブジェクトが撮影画像に写っている間には常に、当該オブジェクトの検出に基づいてオブジェクトベース推定部3が対象物の位置姿勢等を推定し、当該オブジェクトが検出できなくなった時点でマーカーレス推定部5による対象物の位置姿勢等の推定処理に移行する。そして、マーカーレス推定部5による推定処理の間においても常に、オブジェクトベース推定部3による推定処理が可能かを確認し、可能となった時点で直ちにオブジェクトベース推定部3による推定処理に戻る。

図９は、当該別の一実施形態の動作を概念的に示す図であり、特に、可能な限り継続される（手順2B）の部分と、当該継続ができなくなった時点で（手順3B）に移行する部分の動作を概念的に示す図である。

すなわち、図９では、(1)に示すように、オブジェクトが写っている状態の撮影画像P10から始まって、以降のP11〜P19の間に撮影箇所が徐々に右下へ移行していき、撮影画像P20においてオブジェクトが見えなくなるという状況が例示されている。この場合、(2),(3)に示すような、オブジェクトが見えている撮影画像P10,P11〜P19の間は、オブジェクトベース推定部3による対象物の位置姿勢等の推定が実施され、オブジェクトが見えなくなった撮影画像P20の時点で、マーカーレス推定部5による対象物の位置姿勢等の推定が実施される。

図１０は、当該別の一実施形態におけるガイダンス表示装置10の動作のフローチャートである。なお、図１０の各ステップのうち、「(S31→S32→S33→S42)→(S31→S32→S33→S42)→…」のループが概ね（手順１B）に対応し、「(S35→S36→…→S39→S40)→(S35→S36→…→S39→S40)→…」のループが概ね（手順２B）に対応し、当該（手順2B）のループから分岐している「S50,S51,S52」の部分が概ね（手順3B）に対応する。図１０における各ステップの詳細は以下の通りである。

ステップS30〜S33及びS42はそれぞれ、番号を20減らすことで対応する番号を与えてある図７のステップS10〜S13及びS22と同一であるので、その説明は省略する。なお、図１０の説明においても、図７の説明と同様に時刻カウンタにtを用いる。当該ステップS33（図７のステップS13と同一）において、オブジェクトベース推定部3が推定に成功したと判断すると、ステップS34へ進むが、当該ステップS34以降が図１０の実施形態に特有の部分となる。

ステップS34では、当該時点tにおいてオブジェクトベース推定部3が推定したオブジェクトOiに対応する対象物Wiに領域R-Wi[t]より、マーカーレス推定部5が特徴量F-Wi[t]を抽出して、リファレンス保存部4へと登録し、さらに、推定された領域R-Wi[t]及び位置姿勢D-Wi[t]もリファレンス保存部4へと登録し、ステップS35へ進む。

ステップS35では、当該時点tにおいてオブジェクトベース推定部3又はマーカーレス推定部5が推定した対象物Wiの領域R-Wi[t]及び位置姿勢D-Wi[t]に基づいて、拡張現実表示部6が撮影画像P[t]に関する拡張現実表示を実施し、ステップS36へ進む。なお、ステップS35では、ステップS35へ到達する直前のステップがステップS34又はS40であった場合は、オブジェクトベース推定部3の推定結果が利用され、ステップS35へ到達する直前のステップがステップS52であった場合は、マーカーレス推定部5の推定結果が利用される。

ステップS36では時刻tの値を次の時刻の値であるt+1へと更新してステップS37へ進み、ステップS37では、当該値が更新された最新時刻tの撮影画像P[t]を処理対象として読み込み、ステップS38へ進む。

ステップS38では、オブジェクトベース推定部3が当該時刻tの撮影画像P[t]に対して、直近のステップS32で検出されたのと同じオブジェクトOiの検出及び位置姿勢等の推定を行うことで、対象物Wiの位置姿勢D-Wi[t]及び領域R-Wi[t]を推定し、ステップS39へ進む。ステップS39では、ステップS38での推定処理が成功したか否かが判定され、成功していればステップS40に進み、失敗していればステップS50へ進む。当該成功又は失敗の判定はステップS33と同様であるが、検出されるべきオブジェクトが直近のステップS32で検出されたのと同じオブジェクトOiであるという条件が、成功判定の条件として追加で課される。

ステップS40では、（ステップS34と同様の処理がなされ、）当該時点tにおいてオブジェクトベース推定部3が推定したオブジェクトOiに対応する対象物Wiに領域R-Wi[t]より、マーカーレス推定部5が特徴量F-Wi[t]を抽出して、リファレンス保存部4へと登録し、さらに、推定された領域R-Wi[t]及び位置姿勢D-Wi[t]もリファレンス保存部4へと登録し、ステップS35へと戻る。

ステップS50では、当該時点tの撮影画像P[t]に対して、推定に失敗したオブジェクトベース推定部3の代わりに、マーカーレス推定部5が、対象物Wiの位置姿勢D-Wi[t]及び領域R-Wi[t]の推定を行い、ステップS51に進む。当該ステップS50における推定処理は、リファレンス保存部4に全く同様の情報が保存されており参照可能であるため、図７の実施形態におけるステップS18での推定処理と同様である。

従って、ステップS50ではステップS18と同様に、例えば、位置姿勢変動の予測値ΔD_[予測]の適用による予測領域R-Wi[t]_[予測]をサーチ対象にするなどしてもよい。当該予測領域を利用する場合、図９の例であれば、オブジェクトが見えなくなった撮影画像P20においては、それ以前の履歴によって撮影画像が右下側へ移動している傾向が推定されているので、撮影画像P20においてはその逆の左上側の領域が、直前の撮影画像P19との共通部分の多い領域として、サーチ対象に設定される。

なお、補足として後述するような実施形態においては、当該時点tのステップS50に至る1つ前の時点t-1におけるステップS40ではリファレンス保存部4の更新処理が省略される場合もある。この場合、ステップS50では、リファレンス保存部4が保存している最新の過去時点t-k（k≧2）の情報をリファレンスとして利用すればよい。

ステップS51では、ステップS50の推定処理が成功したか否かが判定され、成功していればステップS35に戻り、失敗していればステップS53へ進む。ステップS53は、図７のステップS21と同一であり、リファレンス保存部4に保存されている情報を消去してから、ステップS42に戻る。

以上、図１０の各ステップを説明したので、その補足的事項（補足４）、（補足５）を説明する。

（補足４）ステップS39及び／又はステップS51の別の実施形態として、当該それぞれの成功判定において一度でも失敗と判定された場合に、それぞれステップS50及びステップS53に直ちに進むのではなく、失敗判定が所定回数連続した時点で、それぞれステップS50及びステップS53に進むようにしてもよい。この場合、前述の（補足１）と同様に、失敗が継続している間において、ステップS35の拡張現実表示には直近の過去で推定に成功した際の結果を利用すると共に、リファレンス保存部4の更新は行わないようにすればよい。

（補足５）ステップS40におけるリファレンス保存部4の更新は、当該更新された時点tのその次の時点t+1でステップS39に至った際に、失敗判定が下されたとした場合において、ステップS50におけるマーカーレス推定部5による推定処理を可能にするための準備としての意味合いを有している。従って、その次の時点t+1のステップS39で失敗判定が下される可能性が低い場合は、当該時点tでのステップS40における更新処理を省略してもよい。

当該省略する判定は、その次の時点t+1においてもオブジェクトOiが撮影画像内にあると予測される場合に、省略するようにすればよい。従って、図７のステップS18で説明したのと同様にして位置姿勢変動の予測値ΔD_[予測]を求め、当該時点におけるオブジェクトOiの領域R-Wi[t]に当該予測値を適用した移動先が撮影画像の領域内に収まると判定される場合に、省略するようにすればよい。また、撮影画像の領域内に収まると判定されても、角度が正面から見た状態から傾きすぎると、オブジェクトOiの検出が困難となるので、当該角度についても閾値判定を行うようにしてもよい。

すなわち、上記判定によれば、位置姿勢変動の予測値ΔD_[予測]を用いることで、その次の時点t+1においてオブジェクトOi（の全てまたは一部）が撮影画像内から逸脱する、あるいは、オブジェクトOiの領域の角度が極端に傾くこととなる、と判定された場合に限定して、リファレンス保存部4の更新が実施されることとなる。

あるいは、同様の趣旨により、ステップS40におけるリファレンス保存部4の更新を毎時点tで実施するのではなく、当該時点tで推定された位置姿勢D-Wi[t]における、当該時点tで保存されているある過去の時点での位置姿勢D-Wi[t_(過去)]からの変動分が、閾値条件を満たして大きいと判定された時点ごとに、間断的に行うようにしてもよい。この場合、リファレンス保存部4における位置姿勢D-Wi[t]等の保存処理は、まず最初にステップS34に到達した時点t=t0で実施され、その後、位置姿勢D-Wi[t0]から所定量以上変動した時点t=t1のステップS40でD-Wi[t1]として保存され、以降同じく、位置姿勢D-Wi[t1]から所定量以上変動した時点t=t2のステップS40でD-Wi[t2]として保存される、といったことが継続される。そして、ステップS39で失敗判定が下されステップS50に進んだ際には、当該リファレンス保存部4に保存されているうちの最新の時点の情報をリファレンスとして参照すればよい。

以下、本発明における補足的事項（補足６）〜（補足１０）を説明する。

（補足６）図７及び図１０のフローチャートにおいては、当該フロー全体の終了への到達経路が示されていないが、拡張現実表示部6において当該対象物Wiを対象とした作業補助が完了したと判定された時点にて、当該フローは終了する。あるいは、ユーザより終了する旨の入力があった場合にも、当該フローは終了する。

（補足７）図７及び図１０の各実施形態において、マーカーレス推定部5が姿勢変動ΔDを求める場合には、当該推定される対象物Wiに対応するオブジェクトOiの領域から抽出される特徴量を除外したうえで、特徴点マッチング及び特徴点追跡を行うようにしてもよい。これにより、次の理由で姿勢変動の推定精度が下がることを防ぐことができる。すなわち、オブジェクトOiはARマーカーその他からなり、非常に幾何性の強い特徴的なパターンを有する。従って、オブジェクトOiから特徴量を抽出したとすると、当該特徴量は対象物Wiの狭い一部分の領域に局在しているにもかかわらず、対象物Wiのその他の広い領域から抽出される特徴量よりも少ない誤差で優先的に対応付けられてしまい、対象物Wiの全体から広く均一に抽出された特徴量でマッチングを行うことが阻害されてしまうこととなるからである。なお、当該オブジェクトOiの領域を、当該時点tと、リファレンスの過去時点t-1あるいはt-k(k>2)と、のそれぞれの撮影画像内において特定するためには、既にオブジェクトベース推定部3がオブジェクトOiを検出しているのであればその結果を利用して特定し、検出していなければ、領域R-Wi[t]等の情報と図４で説明した配置情報Ciとから特定すればよい。

（補足８）図７及び図１０の各実施形態において、マーカーレス推定部5は、より高精度な姿勢推定を試みるため、次のような追加的処理を実施してもよい。すなわち、特徴点マッチング及び特徴点追跡を、以上の説明と同様に領域R-Wi[t]等の情報を用いて、対象物Wiが存在していると推測される領域に限定して実施した後に、さらに、当該限定を除外して、撮影画像の全体を対象としても実施する。そして、領域を限定した場合と撮影画像の全体を対象とした場合との間で、ホモグラフィを算出した際の誤差を比較し、撮影画像の全体を対象とした場合の誤差の方が小さければ、当該全体を対象とした場合の結果をより高精度な結果として採用する。

当該追加的処理は、対象物Wiの領域外であり、図４で説明したような情報は予め登録されていない領域であるが、対象物Wiの領域と概ね同一の面を構成しているような領域であって、対象物Wiの領域とは異なる特徴量が抽出される領域が（偶然により）存在する場合に、より高精度な位置姿勢の推定を可能とするものである。

（補足９）本発明によるガイダンス表示装置10は、メンテナンス等の作業の補助に適用するものとして説明したが、より一般には、予めオブジェクトが紐付けられている対象物に拡張現実表示を行って、ユーザによる何らかの操作を促すことに適用可能である。例えば、対象物のオブジェクトに予め紐付けられたARキャラクタ等を操作する等のエンターテインメント用途等にも適用可能である。拡張現実表示部6には、当該用途に応じた表示を実施するための設定を予め行っておけばよい。

（補足１０）本発明は、図３に示すガイダンス表示装置10の各機能部に対応するステップを図７又は図１０のような順で実行するガイダンス表示方法としても提供可能であり、また、コンピュータを図３に示すガイダンス表示装置10として機能させるプログラムとしても提供可能である。なお、当該コンピュータにおいては、撮影部1や拡張現実表示部6等は外部機器として構成されていてもよい。

10…ガイダンス表示装置、1…撮影部、2…オブジェクト・対象物DB、3…オブジェクトベース推定部、4…リファレンス保存部、5…マーカーレス推定部、6…拡張現実表示部

Claims (11)

1. 対象物の撮影映像に関して拡張現実表示を行うことで、対象物への作業及び／又は操作を補助するガイダンス表示装置であって、
   前記撮影映像の一時点における撮影画像より、オブジェクトを検出することで、当該一時点における前記対象物の領域及び位置姿勢を推定するオブジェクトベース推定部と、
   前記一時点より後の撮影映像における撮影画像に対して、前記一時点において推定された領域及び位置姿勢との間で特徴点マッチング及び特徴点追跡を行うことで、前記対象物の領域及び位置姿勢を推定するマーカーレス推定部と、
   前記オブジェクトベース推定部又は前記マーカーレス位置推定部が推定した前記対象物の領域及び位置姿勢に基づいて、前記撮影映像の各時点における撮影画像に関して拡張現実表示を行う拡張現実表示部と、を備え、
   前記オブジェクトベース推定部は、位置姿勢を決定可能なマーカーの役割を有し且つ所定の対象物に対応付けられた所定オブジェクトの情報を参照することで、前記オブジェクトをその位置姿勢と共に検出し、さらに、当該所定オブジェクトに対応付けられた所定の対象物の配置情報を参照することで、前記対象物の領域及び位置姿勢を推定することを特徴とするガイダンス表示装置。
2. 前記マーカーレス推定部が前記対象物の領域及び位置姿勢を推定することに失敗した後には、再度、前記オブジェクトベース推定部が、前記対象物の領域及び位置姿勢を推定することを特徴とする請求項１に記載のガイダンス表示装置。
3. 前記マーカーレス推定部は、前記一時点より後の撮影映像における撮影画像に対して、現時点以前において推定された領域及び位置姿勢と、前記所定の対象物の配置情報と、に基づいて当該現時点における撮影画像内の対象物の領域を予測したうえで、当該予測された領域と、当該現時点以前において推定された領域と、の間で特徴点マッチング及び特徴点追跡を行うことで、当該現時点における前記対象物の領域及び位置姿勢を推定することを特徴とする請求項１または２に記載のガイダンス表示装置。
4. 前記マーカーレス推定部は、前記予測された領域と、前記現時点以前において推定された領域と、の間で特徴点マッチング及び特徴点追跡を行ってその第一誤差を求め、さらに、撮影画像の全体を対象として当該特徴点マッチング及び特徴点追跡を行ってその第二誤差を求め、第二誤差が第一誤差よりも小さい場合には、前記撮影画像の全体を対象としての特徴点マッチング及び特徴点追跡の結果に基づいて、前記現時点における前記対象物の領域及び位置姿勢を推定することを特徴とする請求項３に記載のガイダンス表示装置。
5. 前記オブジェクトベース推定部は、前記対象物の領域及び位置姿勢の推定を、各時点における撮影画像に対して当該推定が成功したと判定される限りは継続し、
   当該推定が失敗したと判定された時点の撮影画像に対して、前記マーカーレス推定部が前記対象物の領域及び位置姿勢を推定することを特徴とする請求項１ないし４のいずれかに記載のガイダンス表示装置。
6. 前記マーカーレス推定部は、特徴点マッチング及び特徴点追跡を行う際の特徴量を、前記オブジェクトベース推定部が前記推定に成功している間に、当該推定された対象物の領域より抽出することを特徴とする請求項５に記載のガイダンス表示装置。
7. 前記マーカーレス推定部は、前記特徴点の抽出を、前記オブジェクトベース推定部が前記推定に成功している間であって、且つ、前記オブジェクトベース推定部の推定した対象物の領域及び位置姿勢が所定条件を満たす際に、行うことを特徴とする請求項６に記載のガイダンス表示装置。
8. 前記所定条件が、前記オブジェクトベース推定部の推定した対象物の位置姿勢の変動が所定基準を満たして大きいこと、または、前記オブジェクトベース推定部の推定した対象物の位置姿勢の履歴によって現時点の次の時点で前記オブジェクトが撮影画像内から逸脱すると判定されること、であることを特徴とする請求項７に記載のガイダンス表示装置。
9. 前記マーカーレス推定部は、特徴点マッチング及び特徴点追跡を、前記オブジェクトの領域を除外したうえで行うことを特徴とする請求項１ないし８のいずれかに記載のガイダンス表示装置。
10. 対象物の撮影映像に関して拡張現実表示を行うことで、対象物への作業及び／又は操作を補助するガイダンス表示方法であって、
    前記撮影映像の一時点における撮影画像より、オブジェクトを検出することで、当該一時点における前記対象物の領域及び位置姿勢を推定するオブジェクトベース推定段階と、
    前記一時点より後の撮影映像における撮影画像に対して、前記一時点において推定された領域及び位置姿勢との間で特徴点マッチング及び特徴点追跡を行うことで、前記対象物の領域及び位置姿勢を推定するマーカーレス推定段階と、
    前記オブジェクトベース推定段階又は前記マーカーレス推定段階が推定した前記対象物の領域及び位置姿勢に基づいて、前記撮影映像の各時点における撮影画像に関して拡張現実表示を行う拡張現実表示段階と、を備え、
    前記オブジェクトベース推定段階では、位置姿勢を決定可能なマーカーの役割を有し且つ所定の対象物に対応付けられた所定オブジェクトの情報を参照することで、前記オブジェクトをその位置姿勢と共に検出し、さらに、当該所定オブジェクトに対応付けられた所定の対象物の配置情報を参照することで、前記対象物の領域及び位置姿勢を推定することを特徴とするガイダンス表示方法。
11. コンピュータを請求項１ないし９のいずれかに記載のガイダンス表示装置として機能させることを特徴とするガイダンス表示プログラム。