JP2008275340A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 指標の配置情報の適否や再校正の要否をユーザが自らの経験的知識に基づいて判断する必要のない、運用やメンテナンスの容易な、撮像装置の位置及び姿勢の計測技術を提供すること。また、再校正が必要な指標だけを校正する為の技術も提供すること。
【解決手段】 指標検出部１１０は、撮像画像から指標の画像座標を検出する。指標配置情報更新部１６０は、指標の画像座標と、この指標の配置情報と、を用いて撮像装置の位置及び姿勢を算出する。更に、指標配置情報更新部１６０は、配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する。そして指標配置情報保持部１４０は、無信頼指標について保持している配置情報を、再校正した配置情報に更新すると共に、無信頼指標について保持している信頼度を、再校正の必要はないことを示す信頼度に更新する。
【選択図】 図１

Description

本発明は、撮像装置の位置姿勢を計測するための技術に関するものである。

現実空間に対して文字やＣＧ映像を重畳して提示する複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラ等の撮像装置で撮影した画像に、撮像装置の位置及び姿勢に応じて生成した画像を重畳描画し、これを表示する装置として実現できる。

係る技術を実現する為には、現実空間中に定義した基準座標系と、カメラ座標系と、の間の相対的な位置及び姿勢を、リアルタイムに計測する必要がある。例として、室内やテーブル上といった現実環境の所定位置に仮想物体を重畳表示する場合を考える。この場合、その環境の適切な場所（例えば部屋の床面やテーブル面）に基準座標系を定義し、基準座標系におけるカメラの位置及び姿勢を求めればよい。

このような計測を実現するために、カメラが連続的に撮影する時系列画像を利用して、カメラの位置及び姿勢を逐次計測することが一般的に行われている（非特許文献１，非特許文献２，非特許文献３を参照）。例えば、以下の手順によって、基準座標系におけるカメラの位置及び姿勢を求めることができる。

（１） 室内の床や壁、テーブル面等に、基準座標系における位置（基準座標）が既知である複数の指標を配置あるいは設定する。

（２） カメラが撮影した撮像画像内における指標の画像座標を検出する。

（３） 検出された指標の画像座標と、この指標の基準座標との対応関係に基づいて、カメラの位置及び姿勢を求める。

ここで指標とは、計測のために意図的に設置された人為的なマーカであってもよいし、元来その環境に存在している特徴（自然特徴）などであってもよい。

上記の手順でカメラの位置及び姿勢を求めるためには、その準備工程として、指標の配置情報を予め取得しておく必要がある。ここで指標の配置情報とは、基準座標系における指標の位置を表すものである。以下では、指標の配置情報を求める作業を、必要に応じて指標の校正と呼ぶ。

指標の校正は、測量器や定規等を用いて手作業で行われることが多い。また、カメラによって前もって撮影した複数枚の画像に基づいて、指標の配置情報を推定する手法も利用されている（非特許文献４を参照）。また、カメラの位置及び姿勢の計測を逐次実行しながら、指標の校正を同時に行う手法も提案されている（非特許文献５を参照）。

非特許文献５に開示の装置は、未知の指標を校正しながらカメラの位置と姿勢を計測するオートマッピングモードと、指標の配置情報は既知としてカメラの位置と姿勢のみを計測するトラッキングモードと、を有している。ユーザは必要に応じて、これらのモードを切り替えて使用する。
佐藤，内山，山本：ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法，日本バーチャルリアリティ学会論文誌，vol.10, no.3, pp.391-400, 2005. 佐藤，内山，田村: 複合現実感における位置合わせ手法，日本バーチャルリアリティ学会論文誌，vol.8, no.2, pp.171-180, 2003. M. A. Fischler and R. C. Bolles (June 1981): Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography, Comm. of the ACM, vol.24, no.6, pp.381−395, 1981. 小竹，内山，山本：マーカー配置に関する先験的知識を利用したマーカーキャリブレーション手法，日本バーチャルリアリティ学会論文誌, vol.10, no.3, pp.401-410, 2005 Leonid Naimark and Eric Foxlin: Circular data matrix fiducial system and robust image processing for a wearable vision-inertial self-tracker, Proc. 1st International Symposium on Mixed and Augmented Reality (ISMAR 2002), pp.27-36, 2002. R. Hartley and A. Zisserman, Multiple view geometry in computer vision: Second Edition, Cambridge University Press.

指標の配置情報を予め計測しておく場合、指標を校正した時点と現時点とで、指標が移動していないことが必要である。例えば、壁や床や天井のような固定構造物に貼り付けたマーカのみを用いるのであれば、この条件は概ね満たされる。

しかし、配置が変化しうる指標が混在している状況では、予め計測した配置情報をそのまま使用すると、指標の配置が変化した場合にカメラの位置と姿勢を正確に計測できないといった問題が生じる。例えば、ウォールキャビネットの扉やキャスター付きの机のような可動物にマーカが配置されている場合、指標を校正した時点と現時点との間に状況の変化がないことを、ユーザが目視等で確認しなくてはならない。

一方、非特許文献５に開示されているような、カメラ位置姿勢計測と同時に指標の配置情報を逐次更新する手法を用いると、原理的には指標の配置情報の変化に対応できる。しかし、固定として扱わない視野内の全指標の配置情報を常に更新し続けるので、計算負荷が大きいという課題がある。それゆえに、非特許文献５に開示の装置は、ユーザが必要と判断した時にのみオートマッピングモードを使用するという設計になっている。結局、指標の再校正の要否判断は、ユーザ自身が行わなくてはならない。

すなわち、従来の技術には、指標の再校正を行うべきか否かを知る術が用意されていなかった。そのため、ユーザが自身の経験的知識によって再校正の実行を判断しなくてはならなかった。また、実際のシーンにおいては一部の指標だけが移動してしまうケースが多いにもかかわらず、従来は、再校正が必要な指標だけを校正する手段が用意されていなかった。

本発明は、このような従来技術の課題に鑑みてなされたものである。すなわち、本発明は、指標の配置情報の適否や再校正の要否をユーザが自らの経験的知識に基づいて判断する必要のない、運用やメンテナンスの容易な、撮像装置の位置及び姿勢の計測技術を提供することを目的とする。

また、本発明は、再校正が必要な指標だけを校正する為の技術も提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正手段と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正手段が再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正工程と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正工程で再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と
を備えることを特徴とする。

本発明の構成によれば、指標の配置情報の再校正の必要性をユーザが容易に知ることができるので、装置の運用やメンテナンスが容易になる。また、指標の配置情報が不正確な場合に再校正の処理が実行されるので、必要以上の計算負荷が発生しない。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
本実施形態に係る情報処理装置は、撮像装置が撮像した画像を利用して、この撮像装置の位置及び姿勢の計測を行う。本実施形態に係る情報処理装置は、指標の配置情報が変化した場合に、再校正の必要性を判定し、必要であれば再校正に係る処理を実行する。以下、本実施形態に係る情報処理装置について説明する。

図１は、本実施形態に係る情報処理装置を適用した位置姿勢計測装置の機能構成を示すブロック図である。図１に示す如く、本実施形態に係る位置姿勢計測装置１００は、画像入力部１５０、指標検出部１１０、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０によって構成されている。また、画像入力部１５０には、位置及び姿勢の計測対象である撮像装置１３０が接続されている。撮像装置１３０の位置及び姿勢が、本実施形態に係る位置姿勢計測装置１００によって計測される。

また、現実空間中には、基準座標系（記号Ｗによって表現する）が定義されている。そして係る現実空間の複数の位置にはそれぞれ、指標１８０（１８０−１〜１８０−９）が配されている。指標１８０は、撮像装置１３０の位置及び姿勢の計測可能な範囲内で撮像装置１３０が移動する場合に、常に何れかが撮像装置１３０によって撮像されるように配置されていることが好ましい。以下の説明では、ｋ番目の指標１８０（１８０−ｋ）を記号Ｑｋで表す。ここで、ｋ（ｋ＝１，２，・・・，Ｋ）は指標１８０の識別子（識別情報）を表している。また、Ｋは配置されている指標１８０の総数を表しており、図１ではＫ＝９となる。

指標１８０の夫々は、例えば、それぞれが異なる色を有する小領域からなるカラーマーカによって構成されても良いし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成されても良い。即ち、撮像装置１３０が撮像した画像からその画像座標が検出可能であって、且つ何れの指標であるかが何らかの方法で識別可能であれば、指標１８０として如何なるものを用いても良い。また、指標１８０は故意に（人為的に）設定されたものであってもよいし、机の角や壁の模様のような、現実空間中に元来存在する特徴を指標１８０として用いてもよい。また、ある程度の面積を有する単色の多角形領域によって形成される多角形マーカを指標１８０として用いてもよい。図２は、白色の四角形マーカ２００の例を示す図である。この場合、多角形の各頂点を指標１８０として扱う。

図１では、指標１８０として円形のカラーマーカ（１８０−１〜１８０−９）が配置されている状況を示している。一部の指標（１８０−８，１８０−９）は室内のテーブル１７０上に配されており、その他の指標（１８０−１〜１８０−７）は部屋の壁面と床面に配置されている。

次に、撮像装置１３０、位置姿勢計測装置１００について説明する。

撮像装置１３０は、現実空間の動画像を撮像するビデオカメラなどにより構成されており、撮像装置１３０が撮像した各フレームの画像（撮像画像、若しくは現実空間画像と呼称する）は、位置姿勢計測装置１００が有する画像入力部１５０に入力される。撮像装置１３０に対しては予めカメラ座標系が定義されており、位置姿勢計測装置１００は、基準座標系に対するこのカメラ座標系の位置と姿勢を、撮像装置１３０の位置と姿勢として計測する。ここでカメラ座標系とは、撮像装置１３０の視点位置を原点、視線方向を−Ｚ軸と定義し、更に、Ｚ軸に直交してかつ互いに直交する２軸をＸ軸、Ｙ軸と定義した座標系である。また、撮像装置１３０の焦点距離などのカメラ内部パラメータは既知であるものとする。

画像入力部１５０は、撮像装置１３０から送出された撮像画像をディジタルデータに変換し、変換後の撮像画像のデータを、後段の指標検出部１１０に送出する。図３は、撮像装置１３０によって撮像された撮像画像の一例を示す図である。図３において３００は撮像画像であり、撮像画像３００内には、テーブル１７０や、指標１８０（１８０−２，１８０−４〜１８０−９）が含まれている。

指標検出部１１０は、画像入力部１５０から受けた撮像画像中に撮像されている指標１８０を検出／同定する。即ち、指標検出部１１０は、撮像画像中に撮像されている指標の識別情報（識別子、ＩＤ等）と、この指標の画像座標と、を検出する。

ここで、指標１８０の検出については、使用する指標の種類に応じた方法で行われる。例えば、指標１８０の夫々が異なる色を有するカラーマーカによって構成されている場合には、撮像画像から各々のマーカ色に対応する領域を検出し、検出した領域の重心位置を指標１８０の画像座標とする。また、指標１８０の夫々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、テンプレート画像によるテンプレートマッチングによって指標１８０の画像座標を検出する。この場合、各々の指標のテンプレート画像は、既知の情報としてメモリに予め保持しておく。

また、図２に示したような四角形マーカ２００を用いる場合は、撮像画像に２値化処理及びラベリング処理を施し、４つの直線によって形成されているラベル領域をマーカ候補として検出する。さらに、各マーカ候補の矩形領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除する。また、矩形領域中のパターンによって、四角形マーカ２００の識別子を取得する。最後に、矩形領域の４頂点の座標が、４点の指標１８０の位置として出力される。

以下の説明では、撮像画像から検出された指標１８０を「検出指標」と呼称する。また、以下の説明では、検出指標Ｑｋの画像座標をｕ^Ｑｋと表記する。この場合、ｋが検出指標の識別情報を表していることになる。

そして、指標検出部１１０は、検出指標Ｑｋ毎に識別情報ｋと画像座標ｕ^Ｑｋのセットを後段の位置姿勢算出部１２０と、指標配置情報更新部１６０とに送出する。

指標配置情報保持部１４０は、指標Ｑｋ毎に、識別情報、配置情報（基準座標系における指標１８０の位置）、信頼度、のセットを保持している。信頼度について詳しくは後述するが、信頼度とは、この信頼度とセットになっている配置情報の再校正が必要であるか否かを示すものであり、係る配置情報に対する信頼度を示すものである。そして指標配置情報保持部１４０は、係る信頼度に応じて、対応する配置情報についての再校正を行うべきか否かを判断する。そして再校正が必要と判断した場合には、位置姿勢計測装置１００の動作モードを「配置情報更新モード」に設定する。再校正は必要ないと判断した場合には、位置姿勢計測装置１００の動作モードを「位置姿勢算出モード」に設定する。

なお、以下の説明では、指標Ｑｋの配置情報、即ち、基準座標系における指標Ｑｋの位置を基準座標と呼称し、ｘ_ｗ ^Ｑｋと表記する。

ここで、指標配置情報保持部１４０は上述のように、それぞれの指標Ｑｋの配置情報ｘ_ｗ ^Ｑｋを保持しているのであるが、全ての指標Ｑｋの位置が常に現実空間中で固定されているわけではない。従って、現実空間中の指標Ｑｋの位置が変更されてしまうと、実際の配置情報と指標配置情報保持部１４０が保持する配置情報とが異なってしまう。例えば、図３において、指標１８０の配置情報を計測した時点からテーブル１７０が移動してしまった場合、指標配置情報保持部１４０が保持する指標１８０−８，１８０−９の配置情報は、実際の配置情報とは異なった値となる。本実施形態に係る位置姿勢計測装置１００は、以下に説明するように、係る状況が発生した場合に対処するための構成を有する。

位置姿勢算出部１２０は、位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」に設定された場合にのみ動作する。「位置姿勢算出モード」が設定されると、位置姿勢算出部１２０は、指標検出部１１０から、撮像画像から検出された指標Ｑｋ毎に、識別情報ｋと画像座標ｕ^Ｑｋのセットを取得する。一方、位置姿勢算出部１２０は、この取得したそれぞれのセット中の識別情報ｋとセットになって指標配置情報保持部１４０に保持されている識別情報ｋ、配置情報ｘ_ｗ ^Ｑｋを取得する。即ち、位置姿勢算出部１２０は、撮像画像から取得した指標Ｑｋ毎に、画像座標ｕ^Ｑｋと配置情報ｘ_ｗ ^Ｑｋとのセットを、指標検出部１１０、指標配置情報保持部１４０から取得する。

そして位置姿勢算出部１２０は、指標Ｑｋ毎の画像座標ｕ^Ｑｋと配置情報ｘ_ｗ ^Ｑｋとのセットを用いて、撮像装置１３０の位置及び姿勢を算出する（算出処理）。係る算出のための技術については周知の技術である。そして算出した位置及び姿勢を示すデータを外部に出力する。

また、位置姿勢算出部１２０は、撮像装置１３０の位置及び姿勢を求める上記算出の処理の過程で、指標Ｑｋ毎の信頼度を算出する。そして算出したそれぞれの指標Ｑｋの信頼度のデータを、識別情報ｋとセットにして指標配置情報保持部１４０に送出する。

指標配置情報保持部１４０は、位置姿勢算出部１２０から受けた識別情報ｋとセットにして保持している信頼度を、位置姿勢算出部１２０から識別情報ｋとセットにして送出された信頼度に更新する処理を行う。

これにより、指標配置情報保持部１４０には、「位置姿勢算出モード」が設定されている場合には、指標Ｑｋの信頼度が登録されることになり、指標配置情報保持部１４０は常に各指標Ｑｋについて最新の信頼度が登録されていることになる。

なお本実施形態では、位置姿勢算出部１２０は、指標検出部１１０から受けた全ての識別情報ｋに対応する指標Ｑｋについて求めた信頼度を指標配置情報保持部１４０に送出している。しかし、閾値以下の信頼度のみを、識別情報ｋと共に指標配置情報保持部１４０に送出するようにしても良い。

指標配置情報更新部１６０は、位置姿勢計測装置１００の動作モードが「配置情報更新モード」に設定された場合にのみ動作する。「配置情報更新モード」が設定されると、指標配置情報保持部１４０は、自身が保持する各セットのうち、「再校正は必要ないことを示す」信頼度を含むセットを特定する。そして、特定したセット中の識別情報ｋ、配置情報ｘ_ｗ ^Ｑｋを指標配置情報更新部１６０に送出する。

指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた配置情報ｘ_ｗ ^Ｑｋと、係る配置情報とセットになっている識別情報ｋとセットになって指標検出部１１０から受けた画像座標ｕ^Ｑｋと、を用いて、撮像装置１３０の位置及び姿勢を算出する。即ち、指標配置情報更新部１６０は、再校正の必要のない、信頼度の高い指標（信頼指標）の配置情報と画像座標とを用いて撮像装置１３０の位置及び姿勢を算出する。

その後、指標配置情報保持部１４０は、自身が保持する各セットのうち、「再校正する必要があることを示す」信頼度を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を指標配置情報更新部１６０に送出する。

指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた識別情報ｋ’とセットになって指標検出部１１０から受けた画像座標ｕ^Ｑｋ’と、過去に求めた撮像装置１３０の位置及び姿勢とを用いて、配置情報ｘ_ｗ ^Ｑｋ’を再校正する。即ち、指標配置情報更新部１６０は、再校正の必要がある、信頼度の低い指標（無信頼指標）の配置情報を再校正することになる。

そして、再校正した無信頼指標の配置情報ｘ_ｗ ^Ｑｋ’と、無信頼指標の識別情報ｋ’とをセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、係るセットを受けると、受けたセット中の識別情報ｋ’とセットにして保持している配置情報ｘ_ｗ ^Ｑｋ’を、受けたセット中の再校正済みの配置情報ｘ_ｗ ^Ｑｋ’に更新する。そして更に、受けたセット中の識別情報ｋ’とセットにして保持している信頼度を「再校正の必要はないことを示す」信頼度に更新する。

例えば、図３に示す撮像画像において、指標１８０−８，１８０−９の信頼度が「再校正する必要があることを示す」場合には、これらの指標の配置情報を再校正し、再校正後の配置情報に更新する。

位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細については、図５のフローチャートを用いて後述する。

図５は、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細を示すフローチャートである。なお図５のフローチャートは、１フレーム分の撮像画像が撮像装置１３０から画像入力部１５０を介して位置姿勢計測装置１００に入力された場合に、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理を示すものである。従って、図５のフローチャートは、撮像装置１３０から各フレームの撮像画像が位置姿勢計測装置１００に入力される毎に、行われる処理である。

先ずステップＳ５０００の前段で、画像入力部１５０を介して撮像装置１３０からは撮像画像が指標検出部１１０に入力される。指標検出部１１０は、係る撮像画像中に撮像されている指標Ｑｋ毎に、識別情報ｋと画像座標ｕ^Ｑｋのセットを検出する。そして指標Ｑｋ毎に検出したこのセットを位置姿勢算出部１２０、指標配置情報更新部１６０に送出する。

先ず、現在設定されている位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」である場合には処理はステップＳ５０００を介してステップＳ５０１０に進む。一方、現在設定されている位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」ではない場合には処理はステップＳ５０００を介してステップＳ５１００に進む。

ステップＳ５０１０において、位置姿勢算出部１２０は、指標検出部１１０から送出された指標Ｑｋ毎の、識別情報ｋと画像座標ｕ^Ｑｋのセットを取得する。

ステップＳ５０２０において、位置姿勢算出部１２０は、ステップＳ５０１０で取得したそれぞれのセット中の識別情報ｋとセットになって指標配置情報保持部１４０に保持されている識別情報ｋ、配置情報ｘ_ｗ ^Ｑｋを取得する。

ステップＳ５０３０において、位置姿勢算出部１２０は、指標Ｑｋ毎の画像座標ｕ^Ｑｋと配置情報ｘ_ｗ ^Ｑｋとのセットを用いて、撮像装置１３０の位置及び姿勢を算出する。係る算出には、ｎ個の指標の配置情報（３次元座標）とその画像座標との対応を用いて、外れ値除去を行いながら撮像装置１３０の位置及び姿勢を求める公知のロバスト推定手法を利用する。例えば、ランダムに選択した複数点を用いた位置姿勢推定とその解の妥当性の検証を繰り返すことで外れ値を除去する手法であるＲＡＮＳＡＣアルゴリズムを利用する（詳細は非特許文献２を参照）。

一般的には、ＲＡＮＳＡＣ等のロバスト推定手法による外れ値の除去は、指標の検出ミスの影響を排除するために利用される。すなわち、指標とは異なる領域が指標として検出されてしまった場合や、ある指標が他の指標に誤同定されてしまった場合に、それらのデータが外れ値として排除される。一方、本実施形態に係る指標検出部１１０においては、指標の検出及び同定は正しく行われているとする。この場合、指標の配置情報が異なっていると、そのデータが外れ値として排除される。

ステップＳ５０４０において、位置姿勢算出部１２０は、ステップＳ５０３０で求めた撮像装置１３０の位置及び姿勢を示すデータを外部に出力する。

ステップＳ５０５０において、位置姿勢算出部１２０は、ステップＳ５０３０における処理の過程で、指標Ｑｋ毎の信頼度を算出する。具体的には、ステップＳ５０３０で外れ値と判断された指標Ｑｋの信頼度を０、外れ値と判断されなかった指標の信頼度を１とする。信頼度が「０」の場合には、「配置情報を再校正する必要がある」信頼度であり、信頼度が「１」であれば、「再校正の必要はない」信頼度である。なお、信頼度は、撮像画像上での残差の大きさに基づいて定めてもよい。

そして、算出したそれぞれの指標Ｑｋの信頼度のデータを、識別情報ｋとセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、位置姿勢算出部１２０から受けた識別情報ｋとセットにして保持している信頼度を、位置姿勢算出部１２０から識別情報ｋとセットにして送出された信頼度に更新する処理を行う。

ステップＳ５０６０において、指標配置情報保持部１４０は、保持している各セット内の信頼度を参照し、配置情報の再校正を行うか否かを判断する。例えば、ある指標の信頼度が一度でも閾値以下になれば、その指標の配置情報の再校正が必要と判断する。あるいは、過去のフレームにおける信頼度の履歴を保持しておき、信頼度の変遷に応じて再校正の要否を判定しても良い。例えば、ある指標の信頼度が一定期間の間連続して閾値以下となった場合に、その指標の再校正を行うように判断する。あるいは、信頼度が閾値以下となったフレーム数を指標ごとにカウントし、その値が閾値を超えたときに再校正が必要と判断する。

ステップＳ５０７０において、指標配置情報保持部１４０は、配置情報を再校正する必要がある指標が一つでも存在すると判断した場合には、位置姿勢計測装置１００の動作モードを「配置情報更新モード」に設定する。なお、この判定の基準は、再校正の必要な指標が一定個数以上になったときとしてもよい。

次に、現在設定されている位置姿勢計測装置１００の動作モードが「配置情報更新モード」である場合には処理はステップＳ５１００を介してステップＳ５１１０に進む。一方、現在設定されている位置姿勢計測装置１００の動作モードが「配置情報更新モード」ではない場合には処理はステップＳ５１００を介して本処理を終了し、次のフレームの撮像画像についてステップＳ５０００以降の処理を行う。

ステップＳ５１１０において、指標配置情報更新部１６０は、指標検出部１１０から送出された指標Ｑｋ毎の、識別情報ｋと画像座標ｕ^Ｑｋのセットを取得する。

ステップＳ５１２０において、指標配置情報保持部１４０は、自身が保持する各セットのうち、信頼度「１」を含むセットを特定する。そして、特定したセット中の識別情報ｋ、配置情報ｘ_ｗ ^Ｑｋを指標配置情報更新部１６０に送出するので、指標配置情報更新部１６０は、指標配置情報保持部１４０から送出されたセットを受ける。

ステップＳ５１３０において、指標配置情報更新部１６０は、ステップＳ５１２０で受けた配置情報ｘ_ｗ ^Ｑｋと、ステップＳ５１１０で受けた画像座標ｕ^ＱｋのうちステップＳ５１２０で受けた識別情報ｋに対応する画像座標ｕ^Ｑｋと、を用いて、撮像装置１３０の位置及び姿勢を算出する。ｎ個の指標Ｑｋの配置情報（３次元座標）とその画像座標との対応を用いて撮像装置１３０の位置及び姿勢を求める手法は公知であるので、説明は省略する（例えば、非特許文献２参照）。

ステップＳ５１４０において、指標配置情報更新部１６０はステップＳ５１３０で求めた撮像装置１３０の位置及び姿勢を示すデータを外部に送出する。

ステップＳ５１５０において、指標配置情報保持部１４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を指標配置情報更新部１６０に送出する。

指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた識別情報ｋ’とセットになって指標検出部１１０から受けた画像座標ｕ^Ｑｋ’と、過去に求めた撮像装置１３０の位置及び姿勢とを用いて、配置情報ｘ_ｗ ^Ｑｋ’を再校正する。係る再校正の処理は、例えば、過去のデータの中から、撮像装置１３０の位置が十分に異なる２フレームのデータを選択し、三角測量の原理によって指標Ｑｋの配置情報を算出する。使用する画像数は３枚以上であってもよく、この場合は最小二乗法によって解を求めることができる。

ステップＳ５１６０において、指標配置情報更新部１６０は、ステップＳ５１５０にて再校正した無信頼指標の配置情報ｘ_ｗ ^Ｑｋ’と、無信頼指標の識別情報ｋ’とをセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、係るセットを受けると、受けたセット中の識別情報ｋ’とセットにして保持している配置情報ｘ_ｗ ^Ｑｋ’を、受けたセット中の再校正済みの配置情報ｘ_ｗ ^Ｑｋ’に更新する。そして更に、受けたセット中の識別情報ｋ’とセットにして保持している信頼度を「再校正の必要はないことを示す」信頼度に更新する。

ステップＳ５１７０において、指標配置情報保持部１４０は、指標配置情報更新部１６０に対してステップＳ５１５０で送出した全ての識別情報ｋ’に対応する配置情報の再校正が終了するまで待機する。そして、終了した場合には、位置姿勢計測装置１００の動作モードを「位置姿勢算出モード」に設定する。

そしてその後は、本処理を終了し、次のフレームの撮像画像についてステップＳ５０００以降の処理を行う。

以上の説明により、本実施形態によれば、配置情報の信頼度が低い指標のみについて、その配置情報の再校正を、ユーザの介入無しに行うことができる。これにより、指標の位置が変化してしまうような状況に対応することができる。また、常に指標の配置情報を算出し続ける従来の手法と比べ、計算機への処理負荷を軽減することができる。

［第２の実施形態］
本実施形態に係る位置姿勢計測装置も第１の実施形態と同様に、撮像装置が撮像した画像を利用して、この撮像装置の位置及び姿勢の計測を行うのであるが、次の点が異なる。即ち、本実施形態に係る位置姿勢計測装置は、指標の配置情報が変化した場合に、再校正の必要性を判定し、必要であれば再校正に係る情報をユーザに報知（通知）する。以下、本実施形態に係る位置姿勢計測装置について説明する。

図６は、本実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。尚、図６において、図１に示したものと同じものについては同じ番号を付けており、その説明は省略する。

図６に示す如く、位置姿勢計測装置６００は、画像入力部１５０、指標検出部１１０、位置姿勢算出部６２０、指標配置情報保持部６４０、通知部６６０、により構成されている。

以下では、本実施形態に係る位置姿勢計測装置６００が、図１に示した位置姿勢計測装置１００と異なる部分、即ち、位置姿勢算出部６２０、指標配置情報保持部６４０、通知部６６０、について説明する。

指標配置情報保持部６４０は、図１に示した指標配置情報保持部１４０と同様の情報を保持しており、位置姿勢算出部６２０との間では、指標配置情報保持部１４０と位置姿勢算出部１２０との間で行うデータのやり取りと同様の事を行っている。なお、指標配置情報保持部６４０は、位置姿勢計測装置６００の動作モードの設定は行わない。

位置姿勢算出部６２０は、図１に示した位置姿勢算出部１２０と同様の処理を行う。位置姿勢計測装置６００については上述のように、動作モードの設定というものがないので、位置姿勢算出部６２０は、位置姿勢算出部１２０とは異なり、常に動作している点が、第１の実施形態とは異なっている。即ち、位置姿勢算出部６２０は、図５のフローチャートにおけるステップＳ５０１０からステップＳ５０５０の処理を実行する。

通知部６６０は、信頼度が低い指標についての情報を外部に出力することで、係る情報をユーザに通知する。例えば、図３に例示した撮像画像３００において、指標１８０−８、１８０−９の配置情報の再校正が必要と判断された場合には、図７に例示するような表示画面のデータを、外部の表示装置（不図示）に対して送出する。

図７は、通知部６６０が行う通知例を示す図である。図７（Ａ）では、撮像画像上で、指標１８０−８，１８０−９の画像座標近傍に、再校正が必要である旨を記したメッセージと識別情報とのセット４００ａ、４００ｂを表示している。係る表示を実現するためには、位置姿勢計測装置６００は以下のような処理を行う。

指標配置情報保持部６４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を通知部６６０に送出する。

通知部６６０は、指標検出部１１０から、撮像画像から検出した各指標Ｑｋ毎に、識別情報ｋと画像座標ｕ^Ｑｋのセットを受けるのであるが、そのうち、指標配置情報保持部６４０から受けた識別情報ｋ’とセットになっている画像座標ｕ^Ｑｋ’を特定する。そして、通知部６６０は、画像座標ｕ^Ｑｋ’の近傍座標位置に上記メッセージと識別情報ｋ’とを表示する。

また、通知部６６０は次のような通知方法を採用しても良い。即ち、再校正が必要である旨を示すメッセージ４００ｅを撮像画像上の適当な位置に表示し、各指標１８０−８、１８０−９を特定（強調）するための適当な形状のマーカ４１０ｃ、４１０ｄを各指標１８０−８、１８０−９の画像座標近傍に表示する。係る表示を実現するためには、位置姿勢計測装置６００は以下のような処理を行う。

指標配置情報保持部６４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を通知部６６０に送出する。

通知部６６０は、指標検出部１１０から、撮像画像から検出した各指標Ｑｋ毎に、識別情報ｋと画像座標ｕ^Ｑｋのセットを受けるのであるが、そのうち、指標配置情報保持部６４０から受けた識別情報ｋ’とセットになっている画像座標ｕ^Ｑｋ’を特定する。そして、通知部６６０は、画像座標ｕ^Ｑｋ’に、マーカを表示する。また、撮像画像上の適当な位置（表示したマーカが隠れない位置）にメッセージ４００ｅを表示する。

なお、メッセージの表示位置は、撮像画像上でなくても良い。また、識別情報、メッセージ、マーカの何れをどのように組み合わせて表示しても良い。また、通知の形態については表示に限定するものではなく、音声や振動でもって行うようにしてもよい。また、表示とその他の通知形態を併用しても良いし、１つの通知形態のみを採用しても良い。

また、配置情報の再校正が必要と判断された指標（無信頼指標）について現在保持している配置情報を撮像画像上に投影し、撮像画像上で係る無信頼指標の画像座標と投影像とを観察者に提示させるようにしても良い。

係る投影は、位置姿勢算出部６２０によって得られた撮像装置１３０の位置及び姿勢と、指標配置情報保持部６４０が保持する無信頼指標の配置情報ｘ_ｗ ^Ｑｋと、に基づいて、次の観測方程式Ｆによって算出できる。

ここでＭは、撮像装置１３０の位置及び姿勢を表す４×４の座標変換行列を示す。観測方程式Ｆは、Ｍに基づいて基準座標をカメラ座標に変換するビューイング変換と、カメラ座標を画像座標に変換する透視変換と、によって構成される。以下では、式（１）によって得られる無信頼指標の撮像画像上の座標を投影座標と呼ぶ。

例えば図７（Ｃ）に示すように、指標がずれている旨を示すメッセージ４００ｆと共に、無信頼指標１８０−８，１８０−９の配置情報を撮像画像上に投影した位置（投影座標）には、×印４２０ａ、４２０ｂを表示する。あるいは、全ての指標について同様に配置情報を撮像画像上に投影した位置に×印を表示しても良い。そして、係る×印の色やサイズを、信頼度の値に応じて異ならせるようにしても良い。

また、図７（Ｃ）に示すように、無信頼指標の画像座標ｕ^Ｑｋと、式（１）で得た投影座標ｕ^Ｑｋ＊とを結び付ける矢印４３０ａ、４３０ｂを表示してもよい。なお、矢印４３０ａ、４３０ｂの方向は、画像座標から投影指標に向いていてもよいし、その逆であってもよい。

以上の説明したように、本実施形態によれば、撮像装置１３０の位置及び姿勢を計測する工程において、配置情報の信頼度が低い指標に係る様々な情報をユーザに通知することができる。これにより、ユーザは、配置情報の再校正を実行するか、あるいは、指標の物理的配置をしかるべき位置に戻すかを判断することができ、これにより、位置及び姿勢の正しい計測を維持することができる。

＜変形例１＞
上記実施形態におけるロバスト推定処理には、ＲＡＮＳＡＣアルゴリズム以外のものを用いても良い。例えば、公知の技術であるＭ推定によって、外れ値の影響を除外した位置姿勢推定を行ってもよい（例えば、非特許文献６の付録A6.8参照）。Ｍ推定を用いる場合、その計算の過程で各検出指標が解に寄与する重みが算出されるので、この重みを各指標の信頼度として用いてもよい。

＜変形例２＞
第１の実施形態において、指標配置情報更新部１６０が行っていた配置情報の再校正に係る計算は、他の方法によっても実現できる。例えば、非特許文献５に開示されているような、拡張カルマンフィルタを用いて配置情報を逐次更新する方法を用いてもよい。この場合、撮像装置１３０の位置及び姿勢と、再校正対象である夫々の指標１８０の位置を状態ベクトルとし、指標の検出座標を入力としてこれらの状態ベクトルの更新を行えばよい。また、フィルタリングの処理工程で夫々の状態ベクトルの確からしさが算出されるので、この値に基づいて処理の終了を判定すればよい。

＜変形例３＞
四角形マーカ２００の頂点のように、指標の性質として、複数の指標１８０同士の相対位置関係は固定の場合がある。このような指標を用いる場合であっても、上記実施形態では、指標１８０ごとに再校正の要否判定を行っていた。しかし、例えば四角形マーカ２００の頂点を用いる場合には、四角形マーカ２００毎に再校正の要否判定を行うべきである。この場合、信頼度は頂点ごとに得られるので、４頂点の信頼度の代表値を算出し、これを四角形マーカ２００の配置情報の信頼度とする。信頼度の代表値は、例えば、４頂点の信頼度の最小値によって定義する。そして、得られた信頼度に基づいて、四角形マーカ２００毎に再校正の要否を判定する。

四角形マーカ２００の再校正が必要と判定されると、指標配置情報更新部１６０は、四角形マーカ２００の４頂点である指標１８０の位置を全て更新する。なお、通知部６６０では、再校正の必要性を示す表示を、指標１８０毎ではなく四角形マーカ２００毎に行ってもよい。

なお、四角形マーカ２００の配置情報は、指標上に定義された指標座標系の、基準座標系における位置と姿勢で記述／管理されることがある（非特許文献４を参照）。この場合は、各頂点の３次元位置を個別に推定した後に、指標のサイズや形状の情報に従って、位置と姿勢による表現に配置情報を変換すればよい。あるいは、位置と姿勢のパラメータを未知パラメータとして直接推定してもよい。

＜変形例４＞
第１の実施形態と第２の実施形態の機能を兼ね備えた位置姿勢計測装置を構成することもできる。単純な構成としては、通知部６６０によって再校正の必要性を通知した上で、指標配置情報更新部１６０によって再校正を実施することができる。

また、対話的処理によってより柔軟な対応をさせることもできる。まず、第２の実施形態と同様に、通知部６６０によって再校正の必要性をユーザに通知する。そして、どのような対応策を実行するかというユーザの判断を、不図示のＵＩ（ユーザインターフェース）を介して入力する。「再校正の実行」をユーザが選択した場合には、第１の実施形態における指標配置情報更新部１６０の処理を実行し、指標の配置情報を更新する。また、「指標の除外」をユーザが選択した場合には、以降の処理にこの指標を使用しない（無視する）ように設定する。また、指標の物理的配置をユーザが元に戻す場合には、「何もしない」という選択を行えるようにしてもよい。また、上記の処理を指標ごとに指定できるようにしてもよい。

＜変形例４＞
なお、指標としては上記のもの以外にも、例えば、エッジを用いるようにしても良い。即ち、撮像画像上に写っている机の辺や角部などを指標として用いても良い。なお、指標としてエッジを用いることで上記各種の実施形態を適宜変形させることについては、当業者であれば容易なことである。

［第３の実施形態］
上記各実施形態（変形例も含む）では、図１に示した位置姿勢計測装置１００、図６に示した位置姿勢計測装置６００を構成する各部は、ハードウェアでもって構成されているものとして説明した。しかし、指標配置情報保持部１４０、指標配置情報保持部６４０についてはメモリで構成し、画像入力部１５０についてはＩ／Ｆ（インターフェース）ユニットで構成し、その他の各部の一部若しくは全部をコンピュータプログラムでもって構成しても良い。この場合、一般のＰＣ（パーソナルコンピュータ）が有するメモリを指標配置情報保持部１４０、指標配置情報保持部６４０として用いると共に、係るメモリには、係るコンピュータプログラムを格納する。そして係るＰＣが有するＣＰＵがこのコンピュータプログラムを実行することで、このＰＣは、位置姿勢計測装置１００、位置姿勢計測装置６００として機能することになる。即ち、係るＰＣは、位置姿勢計測装置１００、位置姿勢計測装置６００に適用することができる。

図４は、位置姿勢計測装置１００、位置姿勢計測装置６００に適用可能なコンピュータのハードウェア構成を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。係るコンピュータプログラムには、図１、図６に示した各部のうち、指標配置情報保持部１４０、指標配置情報保持部６４０、画像入力部１５０、を除く他の各部の機能をＣＰＵ１００１に実行させるためのコンピュータプログラムも含まれている。また、係るデータには、上記各実施形態で説明した各種のデータ（既知の情報も含む）が含まれている。従って、ＣＰＵ１００１は係るコンピュータプログラムやデータを用いて処理を実行することで、位置姿勢計測装置１００や位置姿勢計測装置６００が行う上記各動作を行うことができる。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたコンピュータプログラムやデータを一時的に記憶する為のエリアを備える。また、ＣＰＵ１００１が各種の処理を実行するために用いるワークエリアを備える。即ち、ＲＡＭ１００２は、各種のエリアを適宜提供することができる。

ＲＯＭ１００３は、一般にコンピュータのブートプログラムや設定データ等を格納する。

キーボード１００４、マウス１００５は、コンピュータの操作者が操作する入力デバイスの一例であり、操作者はこれらを操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、ＣＰＵ１００１による処理結果を画像や文字などでもって表示することができる。例えば、上記各実施形態で操作者に通知すべき各種のメッセージなどを表示することができる。もちろん、係る表示部１００６に、音声を出力することができる機構を加えても良く、この場合、ＣＰＵ１００１による処理結果を音声にて操作者に通知することができる。

外部記憶装置１００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置として機能する装置である。外部記憶装置１００７には、ＯＳ（オペレーティングシステム）や、上記各コンピュータプログラムやデータが保存されている。また、外部記憶装置１００７には、Ｉ／Ｆ（インターフェース）１００９を介して撮像装置１３０から送出される各フレームの撮像画像のデータを保存することもできる。なお、撮像装置１３０から送出された撮像画像のデータの一部をＲＡＭ１００２に記憶させるようにしても良い。外部記憶装置１００７に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを、ＣＰＵ１００１からの指示に従って読み出し、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、以下の複数種のポートによって構成されている。画像入力部１５０の機能の一部は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートによって実現される。撮像装置１３０から送出される各フレームの撮像画像のデータは、Ｉ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。また、位置姿勢算出部１２０及び指標配置情報更新部１６０が算出した位置及び姿勢のデータは、イーサネット（登録商標）ポート等によって外部へ出力される。

上述した各構成要素は、バス１０１０によって相互に接続される。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る情報処理装置を適用した位置姿勢計測装置の機能構成を示すブロック図である。 白色の四角形マーカ２００の例を示す図である。 撮像装置１３０によって撮像された撮像画像の一例を示す図である。 位置姿勢計測装置１００、位置姿勢計測装置６００に適用可能なコンピュータのハードウェア構成を示すブロック図である。 位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細を示すフローチャートである。 本発明の第２の実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。 通知部６６０が行う通知例を示す図である。

Claims (14)

1. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
   前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
   前記撮像画像から指標の画像座標を検出する検出手段と、
   前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
   配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正手段と、
   前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正手段が再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新手段と
   を備えることを特徴とする情報処理装置。
2. 前記算出手段は、前記検出手段が検出した指標の画像座標のうち再校正の必要はないことを示す信頼度を有する信頼指標の画像座標と、当該信頼指標について前記保持手段が保持している配置情報と、を用いて、前記撮像装置の位置及び姿勢を算出することを特徴とする請求項１に記載の情報処理装置。
3. 更に、
   前記算出手段による算出処理の過程で、当該算出処理で用いた指標についての信頼度を求める手段を備えることを特徴とする請求項１に記載の情報処理装置。
4. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
   前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
   前記撮像画像から指標の画像座標を検出する検出手段と、
   前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
   配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知手段と
   を備えることを特徴とする情報処理装置。
5. 前記報知手段は、前記撮像画像上における前記無信頼指標の画像座標近傍の位置に、前記無信頼指標の識別情報、配置情報の再校正が必要である旨を示すメッセージ、前記無信頼指標を強調する為のマーカ、の少なくとも何れかを表示することを特徴とする請求項４に記載の情報処理装置。
6. 少なくとも前記無信頼指標について前記保持手段が保持している配置情報を前記撮像画像上に投影した画像座標を求める手段と、
   前記投影した画像座標に、前記無信頼指標に係る情報を表示することを特徴とする請求項４に記載の情報処理装置。
7. 前記無信頼指標に係る情報は、前記無信頼指標に対する信頼度に応じて異なることを特徴とする請求項６に記載の情報処理装置。
8. 更に、
   前記報知手段によって報知された指標のうち、配置情報の再校正を行う無信頼指標を選択する手段と、
   前記選択が成された無信頼指標について前記保持手段が保持している配置情報を再校正する手段と
   を備えることを特徴とする請求項４に記載の情報処理装置。
9. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
   前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
   前記撮像画像から指標の画像座標を検出する検出手段と、
   前記検出手段が検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と
   を備えることを特徴とする情報処理装置。
10. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
    前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
    前記撮像画像から指標の画像座標を検出する検出工程と、
    前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
    配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正工程と、
    前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正工程で再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新工程と
    を備えることを特徴とする情報処理方法。
11. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
    前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
    前記撮像画像から指標の画像座標を検出する検出工程と、
    前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
    配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知工程と
    を備えることを特徴とする情報処理方法。
12. 現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
    前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
    前記撮像画像から指標の画像座標を検出する検出工程と、
    前記検出工程で検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と
    を備えることを特徴とする情報処理方法。
13. コンピュータに請求項１０乃至１２の何れか１項に記載の情報処理方法を実行させるためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images