JP2012145598A - 情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】 複数の撮像装置をそれぞれ処理装置に接続した状態で、第１の撮像装置の位置姿勢情報計測値を第２の撮像装置の位置姿勢に変換するための較正情報をより簡便に取得することを目的とする。
【解決手段】 マスタ演算処理装置３００は、ビデオカメラ１２０が撮影したランドマークを含む撮影画像を入力し、ビデオカメラ１２０の位置姿勢を算出し、スレーブ演算処理装置１３００に送信する。スレーブ演算処理装置１３００は、ビデオカメラ１１２０で撮像された画像上のランドマークの識別番号及び画像座標を取得し、（画像座標−世界座標−マスタ撮像装置位置姿勢）の組としてデータリストを生成する。生成したデータリストより較正情報算出部１３４０は、画像座標の理論値と実際の観測値との誤差が最小となるようにビデオカメラ１２０からビデオカメラ１１２０への位置姿勢の較正情報を算出する。
【選択図】 図１

Description

本発明は、情報処理方法及び情報処理装置に関し、特に、複数の撮像装置の位置姿勢を取得するために、撮像装置間の位置姿勢変換情報の較正を行う情報処理方法及び情報処理装置に関する。

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、仮想空間（例えばコンピュータ・グラフィックスにより描画された仮想物体や文字情報等）の画像を重畳表示することで実現される。

このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲーム等、今までのバーチャルリアリティとは異なった新たな分野が期待されている。

これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。

また立体感のある映像を提示するため、左右のそれぞれの視点に対応する現実空間の画像をステレオカメラで撮影し、それぞれに対応する仮想空間の画像を重畳表示するという取り組みもされている。

この場合、左右の視点から見たそれぞれの画像を生成するため、負荷が重く処理時間が遅くなってしまうのを防ぐため、それぞれの処理演算部を独立させるという取り組みもされている。その場合それぞれの処理演算部として、それぞれ独立した汎用コンピュータが利用されることがよく行われている。

また、このようなシステムには、ＨＭＤとも呼ばれる撮像装置と表示装置を内蔵した頭部装着型のデバイスがよく用いられる。

複合現実感における位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮像装置の３次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや超音波式センサなどの３次元位置姿勢センサを利用することが一般的に行われている。

３次元位置姿勢センサが出力する出力値は、センサ座標系における測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における変換後の位置姿勢を世界座標系における位置姿勢に変換する座標変換によって、変換されて用いられる。

左右の撮像装置における片方の撮像装置の位置姿勢は上記のように求められるが、もう一方の撮像装置の位置姿勢は、２つの撮像装置の位置関係の変換情報によって位置姿勢を変換する事で求める。

正常な立体感を保つため、２つ撮像装置の位置姿勢を別々に求めて利用する事は望ましくなく、この変換は常に一定の変換情報を用いて行われる必要があり、予め較正された値が用いられる。

図４は、ユーザに複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。

大まかなブロックとしては、位置姿勢センサ１３０、マスタ演算処理装置１７０、スレーブ演算処理装置１１７０、頭部装着装置１００によって構成されている。位置姿勢センサ１３０は、例えば、磁気式センサであるＰｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫにより構成される。マスタ演算処理装置１７０、スレーブ演算処理装置１１７０、それぞれは汎用コンピュータによって構成される。頭部装着装置１００は、ステレオビデオシースルーＨＭＤであり、磁気センサーであるＦＡＳＴＲＡＫのレシーバが固定されている。

頭部装着装置１００には、マスタ表示部１１０、マスタビデオカメラ１２０、スレーブ表示部１１１０、スレーブビデオカメラ１１２０が固定されている。ユーザが、マスタ表示部１１０とスレーブ表示部１１１０をユーザのそれぞれの眼前に位置するように頭部装着装置１００を装着すると、ユーザのそれぞれの眼前の情景がマスタビデオカメラ１２０とスレーブビデオカメラ１１２０によって撮像される。

従って、仮にマスタビデオカメラ１２０が撮像した画像を、マスタ表示部１１０に表示したとする。すると、ユーザは、頭部装着装置１００を装着していなければ裸眼で観察するであろう眼前の情景を、マスタビデオカメラ１２０とマスタ表示部１１０を介して観察することになる。

位置姿勢センサ１３０は、頭部装着装置１００に固定された測点のセンサ座標系における位置姿勢を計測する装置である。

位置姿勢センサ３０は、例えば、レシーバ１３１、センサ制御部１３２、トランスミッタ１３３よりなる磁気式センサであるＰｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫによって構成される。レシーバ１３１は測点として頭部装着装置１００に固定されており、センサ制御部１３２は、トランスミッタ１３３の位置姿勢を基準としたセンサ座標系におけるレシーバ１３１の位置姿勢を計測し、計測値を出力する。

一方、マスタ演算処理装置１７０は、マスタ位置姿勢情報変換部１４０、メモリ１５０、画像生成部１６０、位置姿勢情報送信部１８０からなり、例えば１台の汎用コンピュータにより構成することが可能である。

マスタ位置姿勢情報変換部１４０は、メモリ１５０が保持する較正情報に従って、位置姿勢センサ１３０より入力した計測値に変換を加え、世界座標系におけるビデオカメラ１２０の位置姿勢を算出しこれを位置姿勢情報として出力する。位置姿勢送信部１８０は、位置姿勢情報変換部１４０より入力された位置姿勢情報をスレーブ演算処理装置１１７０の位置姿勢情報受信部１１８０に送信する。

画像生成部１６０は、位置姿勢情報変換部１４０より入力された位置姿勢情報に基づいて仮想画像を生成し、これをビデオカメラ１２０が撮像した実写画像に重畳して出力する。表示部１１０は、画像生成部１６０から入力された画像をこれを表示画面に表示する。

一方、スレーブマスタ演算処理装置１１７０は、スレーブ位置姿勢情報変換部１１４０、メモリ１１５０、画像生成部１１６０、位置姿勢情報受信部１１８０からなり、例えば１台の汎用コンピュータにより構成することが可能である。

位置姿勢情報受信部１１８０は、マスタ演算処理装置１７０の位置姿勢情報送信部１８０から送信された位置姿勢情報を受け取り、スレーブ位置姿勢情報変換部１１４０に出力する。

スレーブ位置姿勢情報変換部１１４０は、メモリ１１５０が保持する較正情報に従って、位置姿勢送信部１８０より入力されたマスタの位置姿勢情報に変換を加え、世界座標系におけるビデオカメラ１１２０の位置姿勢を算出する。そして、これを位置姿勢情報として出力する。

画像生成部１１６０は、スレーブ位置姿勢情報変換部１１４０より入力された位置姿勢情報に基づいて仮想画像を生成し、これをビデオカメラ１１２０が撮像した実写画像に重畳して出力する。表示部１１１０は、画像生成部１１６０から入力された画像を表示画面に表示する。

以上の構成により、ユーザは、眼前の現実空間に仮想物体が立体的に存在するかのごとき感覚を得ることになる。

次に、図５を用いて、スレーブ位置姿勢情報変換部１１４０において、世界座標系におけるスレーブビデオカメラ１１２０の位置姿勢を算出する方法を説明する。

図５において、世界座標系２００におけるマスタビデオカメラ１２０の位置姿勢をＭ_ＭＷとし、スレーブビデオカメラ１１２０の位置姿勢をＭ_ＳＷとし、マスタビデオカメラ１２０の座標系からみたスレーブビデオカメラ１１２０の位置姿勢をＭ_ＳＭとする。なお、座標系Ａにおける物体Ｂの位置姿勢を、座標系Ａから座標系Ｂへのビューイング変換行列Ｍ_ＢＡ（４×４）で表記するものとする。

このときＭ_ＳＷは、
Ｍ_ＳＷ＝Ｍ_ＳＭ・Ｍ_ＭＷ （式Ａ）
によって示すことができる。

このうち、Ｍ_ＭＷがマスタ位置姿勢情報変換部１４０で算出され、位置姿勢情報送信部１８０と位置姿勢受信部１１８０を経てスレーブ位置姿勢情報変換部１１４０へ入力される。また、Ｍ_ＳＷがスレーブ位置姿勢情報変換部１１４０から画像生成部１１６０へ出力される。Ｍ_ＳＭが、Ｍ_ＭＷをＭ_ＳＷに変換するために必要な較正情報に相当する。スレーブ位置姿勢情報変換部１１４０は、位置姿勢情報受信部１１８０から入力されるＭ_ＭＷと、メモリ１１５０に保持されているＭ_ＳＭとを用いて、（式Ａ）に基づいてＭ_ＳＷを算出し、これを画像生成部１１６０へ出力する。

ユーザが自然な立体感を感じられる映像を見るためには、マスタビデオカメラ１２０とスレーブビデオカメラ１１２０間の正確な位置合わせを行うことが必要であり、何らかの手段によってメモリ１１５０に正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、立体感のある映像を見る事ができる。

尚、メモリ１１５０における較正情報は、必ずしもビューイング変換行列である必要はなく、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。

例えば、位置を記述する３パラメータと、姿勢をオイラー角によって表現する３パラメータの計６パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する３値のベクトルとその軸まわりの回転角という４パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような３パラメータによって表現してもよい。また、それらの逆変換を表わすパラメータによって表現しても良い。ただし、いずれの場合も、３次元空間中における物体の位置及び姿勢は、位置に３自由度、姿勢に３自由度の計６自由度を有しているのみである。よって、本画像表示装置の較正に必要な未知パラメータ数は、マスタビデオカメラの座標系１２０からスレーブカメラの座標系１１２０への変換に必要な６パラメータとなる。

較正情報を設定する公知の方法の一つとして、次の方法がある。即ち、ユーザ又はオペレータが、入力手段（不図示）を介して、メモリ１１５０に格納されたＭ_ＳＭを定義する６パラメータ（又はそれに等価な６以上のパラメータ）を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行う方法がある。

また、マスタ演算処理装置１７０及び、スレーブ演算処理装置１１７０が１台の汎用コンピュータ内に構築されている場合であれば、マスタビデオカメラ１２０及びスレーブビデオカメラ１１２０の両方の画像を入力として、較正を行う事も可能である。この場合較正を行う時のみマスタビデオカメラ１２０をスレーブ演算処理装置１１７０に接続し、較正完了後に、図４の本来の接続状態に戻すという方法がある。

佐藤，内山，山本：ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法，日本バーチャルリアリティ学会論文誌，ｖｏｌ．１０，ｎｏ．３，ｐｐ．３９１−４００，２００５． 佐藤，内山，田村： 複合現実感における位置合わせ手法，日本バーチャルリアリティ学会論文誌，ｖｏｌ．８，ｎｏ．２，ｐｐ．１７１−１８０，２００３． Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ（Ｊｕｎｅ １９８１）：ＲａｎｄｏｍＳａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，Ｃｏｍｍ．ｏｆ ｔｈｅ ＡＣＭ，ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５，１９８１．

しかし、前者の方法では、６の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、較正を行うために接続状態を変更し、それをまた元に戻すという作業が必要になり、混乱するという問題があった。

本発明は以上の問題に鑑みてなされたものであり、それぞれ別々の装置に接続されたマスタビデオカメラの位置姿勢を世界座標系におけるスレーブビデオカメラの位置姿勢に変換するための較正情報を、簡便に取得することを目的とする。

更に、本発明は、前述の較正情報を、物理的な接続の変更を行うことなく取得することを目的とする。

本発明の目的を達成する為に、本発明の情報処理方法は、
第一の撮像装置の位置姿勢から、第二の撮像装置の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理方法であって、
前記第一の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系における第一の位置姿勢を算出する第一の算出工程と、
前記第二の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第二の撮像装置の世界座標系における第二の位置姿勢を算出する第二の算出工程と、
前記第一の姿勢と前記第二の姿勢とに基づいて、前記較正情報を演算する工程と、
を備える。

また、本発明の情報処理装置は、
第一の撮像手段の位置姿勢から、第二の撮像手段の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理装置であって、
前記第一の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系おける第一の位置姿勢を算出する第一の算出手段と、
前記第二の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第二の撮像装置の世界座標系おける第二の位置姿勢を算出する第二の算出手段と、
前記第一の位置姿勢と、前記第二の位置姿勢とに基づいて、前記較正情報を演算する演算手段と
を備える。

本発明によれば、第１の撮像装置の位置姿勢情報の取得値を第２の撮像装置の位置姿勢に変換するための較正情報を、簡便に取得することが可能となる。

本発明の一実施形態に係る較正装置の構成を示す図である。 本発明の一実施形態に係る較正装置の処理手順を示すフローチャートである。 本発明の一実施形態における較正の概念を示す図である。 複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。 マスタビデオカメラの位置姿勢計測値からスレーブカメラの位置姿勢を求めるための変換を説明する図である。

以下、添付図面を参照して本発明の一実施の形態について詳細に説明する。

以下の実施形態では、本発明の較正装置及びその方法を、図１の画像表示装置の較正に適用した場合について説明する。

図３は本実施形態によって較正を行う場合の一組のカメラと、現実空間におけるランドマークの配置を説明するための概念図である。尚、本実施の形態において、特徴点として検出されるランドマークとして、現実物体上に配置されたそれぞれ異なる色のマーカ４００１〜４００４を示している。図３においては、色の代わりにテクスチャパターンを用いて表している。

図３に示すように互いの位置関係が固定の各々のカメラから、同じランドマークが撮影されるようにしながら、後述するようにカメラの位置を変えて複数の画像を撮影し、較正を行う。

本実施形態の較正装置を用いて撮像装置の較正を行うためには、当該撮像装置が撮影する対象としている現実空間内に、世界座標が既知な最低３点以上のランドマークが配置されている必要がある。ここで、各ランドマークは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのランドマークであるかが識別可能であるような、例えばそれぞれが異なる色を有するランドマークであるものとする。

図１は、本実施形態に係るセンサ較正装置である情報処理装置の構成を示している。図１に示したように、本実施形態における較正装置は、マスタ演算処理装置３００、スレーブ演算処理装置１３００、頭部装着装置１００、位置姿勢センサ１３０から構成されている。

位置姿勢センサ１３０、表示部１１０、表示部１１１０は、図４に用いて説明したものと同じ動作を行うため、その詳細な説明を省略する。

マスタ演算処理装置３００は、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、位置姿勢算出部３４０、位置姿勢情報送信部３８０、その他から構成される。マスタ演算処理装置３００には、較正対象である頭部装着装置１００及びスレーブ演算処理装置１３００が接続されている。スレーブ演算処理部１３００への接続に関しては、イーサネット（登録商標）等の通信手段を利用することも可能である。尚、本実施の形態において、マスタ演算処理装置３００は、第一の処理部として機能する。

世界座標保持部３１０は、各ランドマークの世界座標系における座標を保持しており、データ管理部３３０からの要求にしたがってこれを出力する。

画像座標取得部３２０は、ビデオカメラ１２０が撮影した画像を入力し、画像中に撮影されているランドマークの画像座標およびその識別番号を検出し、データ管理部３３０からの要求にしたがって、これらの情報をデータ管理部３３０へ出力する。画像からのランドマークの検出は、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行う。尚、本実施の形態においては、ビデオカメラ１２０が第一の撮像装置として機能する。

データ管理部３３０は、画像座標取得部３２０からランドマークの画像座標及び識別番号が入力されると、世界座標保持部３１０から対応するランドマークの世界座標を取得し、世界座標及び画像座標を位置姿勢情報算出部３４０に出力する。

位置姿勢情報算出部３４０は、世界座標及び画像座標よりビデオカメラ１２０の位置姿勢を算出し位置姿勢情報送信部３８０、画像生成部１６０に出力する。

ビデオカメラ１２０の位置姿勢を算出する手法としては、カメラが連続的に撮影する時系列画像を利用して、カメラの位置及び姿勢を逐次計測することが一般的に行われている（非特許文献１，非特許文献２，非特許文献３）。例えば、以下の手順によって、基準座標系におけるカメラの位置及び姿勢を求めることができる。

（１）室内の床や壁、テーブル面等に、基準座標系における位置（基準座標）が既知である複数のランドマークを配置あるいは設定する。
（２）カメラが撮影した撮像画像内におけるランドマークの投影像の座標を検出する。
（３）検出されたランドマークの画像座標と、当該ランドマークの基準座標との対応関係に基づいて、カメラの位置及び姿勢を求める。

位置姿勢情報送信部３８０は、位置姿勢情報算出部３４０から受け取った位置姿勢情報を、スレーブ演算処理装置１３００の位置姿勢情報受信部１３８０に出力する。

スレーブ演算処理装置１３００は、世界座標保持部１３１０、画像座標取得部１３２０、データ管理部１３３０、較正情報算出部１３４０、指示部１３５０、その他から構成される。スレーブ演算処理装置１３００には、較正対象である頭部装着装置１００及びマスタ演算処理装置３００が接続されている。尚、本実施の形態において、スレーブ演算処理装置１３００は、第二の処理部として機能する。

世界座標保持部１３１０は、各ランドマークの世界座標系における座標を保持しており、データ管理部１３３０からの要求にしたがってこれを出力する。

世界座標保持部１３１０に保持される情報は、予めマスタ演算処理装置３００の世界座標保持部３１０の情報と同じにしておく必要がある。通信手段を設けて同期させる事によって、較正装置をより容易に利用できるようにする事も可能である。

画像座標取得部１３２０は、ビデオカメラ１１２０が撮影した画像が入力され、画像中に撮影されているランドマークの画像座標およびその識別番号を検出し、データ管理部１３３０からの要求にしたがって、これらの情報をデータ管理部１３３０へと出力する。画像からのランドマークの検出は、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行う。尚、本実施の形態においては、ビデオカメラ１１２０が第二の撮像装置として機能する。

データ管理部１３３０は、指示部１３５０から「データ取得」の指示を受けると、画像座標取得部１３２０からランドマークの画像座標及び識別番号が入力され、世界座標保持部１３１０から対応するランドマークの世界座標を入力される。更に、マスタ位置姿勢情報受信部１３８０から撮影画像と同一時刻のセンサ計測値が入力され、［世界座標−マスタ位置姿勢計測値−画像座標］の組をデータリストに追加しこれを保持する。また、較正情報算出部１３４０からの要求にしたがって、生成したデータリストを較正情報算出部１３４０に出力する。

較正情報算出部１３４０は、指示部１３５０から「較正情報算出」の指示を受けると、データ管理部１３３０からデータリストが入力され、これをもとに較正情報を算出し、算出した較正情報を出力する。

指示部１３５０は、ユーザからデータ取得コマンドが入力されたときには「データ取得」の指示をデータ管理部１３３０に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部１３４０に送信する。指示部１３５０へのコマンドの入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、不図示のディスプレイ上に表示されたＧＵＩで行うなどの、いずれの方法で行ってもよい。

図２は、本実施形態による較正装置の処理手順を示すフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。

ステップＳ４０１０において、指示部１３５０は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップＳ４０２０へと処理を移行させる。以下では、データ取得コマンドが入力された時点においてビデオカメラ１１２０が位置していた視点位置をＶｊとする。

ステップＳ４０２０において、データ管理部１３３０は、位置姿勢情報受信部１３８０から、視点位置Ｖｊにビデオカメラ１１２０が位置している際の計測値

を入力する。

ステップＳ４０３０において、データ管理部１３３０は、視点位置Ｖｊに位置するビデオカメラ１１２０によって撮影された撮像画像上におけるランドマークＱｋの識別番号ｋ及び画像座標

を、画像座標取得部１３２０から入力する。この入力は、当該撮像画像上に複数のランドマークが撮像されている場合には、それら各々のランドマークに対して行われる。

ステップＳ４０４０において、データ管理部１３３０は、画像座標取得部１３２０から入力した各ランドマークＱｋの（それぞれの識別番号ｋに対応する）世界座標

を、世界座標管理部１３３０から入力する。

次に、ステップＳ４０５０において、データ管理部１３３０は、検出されたランドマーク毎に、入力したデータをデータリストＬｉに追加する。具体的には、ランドマークＱｋに対する画像座標を

その世界座標を

その際のマスタカメラの位置姿勢を

として、

の組を、ｉ番目のデータとしてリストに登録する。ここでｉは現在リストに登録されているデータ総数から１を引いた値を示す。

以上によって、データの取得が行われる。

ステップＳ４０６０では、指示部１３５０によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップＳ４０１０へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップＳ４０７０へと処理を移行させる。較正情報算出の条件としては、例えば、異なる４点以上のランドマークに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が３点以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。

次にステップＳ４０７０において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップＳ４０８０へと処理を移行し、入力されていない場合には、再びステップＳ４０１０へと戻り、データ取得コマンドの入力を待つ。

較正情報算出部１３４０は、求めるべき較正情報のうちの姿勢に関する情報を、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を、それぞれ定義するような３値のベクトルによって内部的に表現する。そして、Ｍ_ＳＭを、スレーブビデオカメラ１１２０が定義する座標系におけるマスタビデオカメラ１１２０の位置（ｘ_ＣＳ，ｙ_ＣＳ，ｚ_ＣＳ）及び姿勢

によって表現し、６の未知パラメータは、ベクトル

によって表現される。

ステップＳ４０８０において、較正情報算出部１３４０は、ベクトルｓに適当な初期値（例えばｓ＝［００００００ ］^Ｔ）を与える。

ステップＳ４０９０において、較正情報算出部１３４０は、リスト中の各データＬｉ（ｉ＝１，２，……，Ｎ）に対して、当該ランドマークの画像座標の理論値

を、センサ出力

世界座標

および現在のｓに基づいて算出する。

は、ｓを変数として、センサ出力

および世界座標

によって定義される関数

によって定めることができる。

具体的には、まず、次式、

に基づいて、ｓの構成要素である（ｘ_ＣＳ，ｙ_ＣＳ，ｚ_ＣＳ）及び

からビューイング変換行列Ｍ_ＳＭを算出する。次に、当該ランドマークのカメラ座標

を、

によって算出する。最後に、画像座標の理論値を、

によって算出する。ただし、ｆはビデオカメラ１１２０の焦点距離である。

ステップＳ４１００において、較正情報算出部１３４０は、リスト中の各データＬｉに対して、当該ランドマークの画像座標の理論値

と実測値ｕ^ｉとの誤差△ｕ^ｉを、

によって算出する。

ステップＳ４１１０において、較正情報算出部１３４０は、リスト中の各データＬｉに対して、（式Ｂ）の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列

を算出する。具体的には、（式Ｅ）の右辺をカメラ座標

の各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列

と、（式Ｄ）の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列

をそれぞれ、（式Ｅ）および（式Ｄ）に基づいて算出し、

として算出する。

ステップＳ４１２０において、較正情報算出部１３４０は、ステップＳ４１００およびステップＳ４１１０において算出した、リスト中の全てのデータＬｉに対する誤差△ｕ^ｉ及びヤコビ行列

に基づいて、ｓの補正値△ｓを算出する。具体的には、全てのデータに対する誤差△ｕ^ｉおよびヤコビ行列

をそれぞれ垂直に並べたベクトルＵ＝［△ｕ^１ △ｕ^２ ・・・ △ｕ^Ｎ］^Ｔおよび

を作成し、Φの一般化逆行列を用いて、
△ｓ＝（Φ^ＴΦ）^−１Φ^ＴＵ （式Ｈ）
として算出する。

ステップＳ４１３０において、較正情報算出部１３４０は、ステップＳ４１２０において算出した補正値△ｓを用いてｓを補正する。

ｓ＋△ｓ→ｓ （式Ｉ）
ステップＳ４１４０において、較正情報算出部１３４０は、Ｕが十分に小さいかどうか、あるいは、△ｓが十分に小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後のｓを用いて、再度ステップＳ４０９０以降の処理を行う。

ステップＳ４１５０において、較正情報算出部１３５０は、得られたｓを較正情報として出力する。較正情報は、例えば、ｓから算出したビューイング変換行列の形態によって出力する。出力の形態はｓそのものでもよいし、他のいずれの位置姿勢記述方法によるものでもよい。

この較正情報に基づき、仮想画像が生成され、現実画像に合成される。

＜変形例１＞
上記実施形態では、２つの独立した汎用コンピュータを利用して、実現されていた。しかしながら、ＣＰＵやＧＰＵの多重化が進む近年のコンピュータでは、同一汎用コンピュータ内で、マスターとスレーブの処理を独立させる事も有効であり、その場合でも、本発明による較正方法により、簡易に正確な較正を行う事ができる。

＜変形例２＞
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。

しかし、画像上におけるランドマークの投影座標及びランドマークの識別番号が特定可能であれば、他のいずれの手法を用いてもよい。例えば、特定のパターンを識別情報として有するランドマークを用いて、パターンマッチングにより画像から特定パターンの領域を抽出し、その検出位置を、当該パターンを有するランドマークの画像座標として出力してもよい。

また、画像処理によって行う必要は必ずしもなく、オペレータの手入力によってランドマークの画像座標およびその識別番号を入力してもよい。この場合、画像座標取得部３２０は、例えば作業用ディスプレイに表示された撮像画像上のランドマーク位置をマウスクリックによって指定する等によって、オペレータが容易にランドマーク位置を入力できるような、何らかのＧＵＩを有した構成が望ましい。

また、画像処理による識別の望めない同一特徴をもつ複数のランドマークを用いる場合には、ランドマークの画像座標の取得を画像処理によって行い、その識別番号の入力を手入力によって行うといった構成をとることもできる。また、ランドマークの識別には他のいずれの方法をとってもよい。例えば、大まかな較正情報が初めから得られている場合には、（式Ｂ）によって算出される各ランドマークの画像座標の理論値と、検出されたランドマークの画像座標の比較によって、ランドマークの識別を行ってもよい。

また、画像処理によって取得する場合あるいは手入力によって取得する場合のいずれの場合においても、ランドマークは必ずしも人工的（人為的）なものでなくてもよく、自然特徴を用いてもよい。自然特徴としては、建物の輪郭とその座標位置など対応付けて予め登録しておくことにより実現ずる。

＜変形例３＞
上記実施形態では、ステップＳ４０８０で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。

このような状況に対処するため、異なる位置姿勢の組み合わせを予め設定しておき、これらを順次初期値として用いてステップＳ４０９０からステップＳ４１４０までの処理を行い、解が収束した際のｓを選択するようにしてもよい。また、オペレータによる初期値（あるいは初期値を生成するのに必要な位置姿勢の情報）の入力を行う初期値入力部をさらに用意して、入力された初期値を用いて較正情報算出処理を行うことも可能である。

＜変形例４＞
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部１３２０によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。

また、画像生成部は、較正情報算出部１３４０が算出した較正情報に基づいて各ランドマークの画像座標の理論値を算出し、これを撮像画像に重畳して表示画面に出力する。本変形例によれば、オペレータは、現実のランドマークとそこに表示される計算位置とを比較することによって、較正作業の検証を行うことができる。

＜変形例５＞
上記実施形態では、オペレータからの制御コマンドを入力するための指示部１３５０を有していた。しかしながら、この入力は必ずしも必要ではなく、例えば画像座標取得部１３２０がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部１３４０が較正情報の演算を行うような構成にしてもよい。

＜変形例６＞
上記実施形態では、複合現実感を提示するステレオビデオシースルーＨＭＤの複数のカメラ間の位置姿勢の較正を行うものであった。しかしながら、本発明の適用範囲はこれに限定されるものではなく、固定されている２つ以上の撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。その場合はマスターとなる撮像装置を設定し、マスターとなる撮像装置から他の撮像装置への位置姿勢を較正する事ができる。

［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアの制御プログラムを構成するプログラムコードを記録したコンピュータ可読メモリである記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図２に示す）フローチャートに対応するプログラムコードが格納されることになる。

Claims (8)

1. 第一の撮像装置の位置姿勢から、第二の撮像装置の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理方法であって、
   前記第一の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系における第一の位置姿勢を算出する第一の算出工程と、
   前記第二の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第二の撮像装置の世界座標系における第二の位置姿勢を算出する第二の算出工程と、
   前記第一の姿勢と前記第二の姿勢とに基づいて、前記較正情報を演算する工程と、
   を備えることを特徴とする情報処理方法。
2. 前記特徴点は、現実空間に配置されたマーカであることを特徴とする請求項１に記載の情報処理方法。
3. 前記特徴点は、現実空間に存在する自然特徴であることを特徴とする請求項１に記載の情報処理方法。
4. 前記撮像画像を画像処理することによって前記特徴点を検出し、前記画像座標を算出することを特徴とする請求項１に記載の情報処理方法。
5. ユーザによる指示に基づいて、前記画像座標を取得することを特徴とする請求項１に記載の情報処理方法。
6. 請求項１乃至５いずれか１項に記載の情報処理方法を、コンピュータで実現させるための制御プログラム。
7. 請求項６に記載の制御プログラムを格納するコンピュータ可読メモリ。
8. 第一の撮像手段の位置姿勢から、第二の撮像手段の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理装置であって、
   前記第一の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系おける第一の位置姿勢を算出する第一の算出手段と、
   前記第二の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標と当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第二の撮像装置の世界座標系おける第二の位置姿勢を算出する第二の算出手段と、
   前記第一の位置姿勢と、前記第二の位置姿勢とに基づいて、前記較正情報を演算する演算手段と
   を備えることを特徴とする情報処理装置。

Images