JP2010032282A - マーカの３次元位置計測方法及びシステム - Google Patents

Abstract

【課題】環境に貼り付けたマーカの３次元位置を容易に計測することができる方法及びシステムを実現する。
【解決手段】ビデオカメラ２で環境を撮影し、マーカ認識アルゴリズムを実現するプログラムを実行することによりカメラ画像上のマーカを認識してビデオカメラとマーカ９の間の大まかな相対的な位置関係を求め、求めた位置関係を用いて電動雲台３を駆動してレーザ距離計測器をマーカが存在する方向に向け、マーカにレーザを照射し、その照射位置がマーカ上の特徴点の位置に合っているかどうかを確認してレーザ照射の位置をマーカ上の特徴点の位置に合わせ、レーザ距離計測器とマーカの間の距離を求めて電動雲台の位置情報に基づいてマーカの正確な方向を求め、求めた情報に基づいてマーカの３次元位置を求めて該３次元位置データを保存する。
【選択図】図１

Description

本発明は、マーカの３次元位置計測方法及びシステムに関する。

プラントの保守作業や解体作業の効率化や安全性を向上させるための技術として、現実世界に仮想世界を重畳表示する拡張現実感（Augmented Reality：ＡＲ）技術がある。このＡＲ技術を適正に実現するためには、現場における作業者の位置と向きをリアルタイムで正確に計測するトラッキング技術の利用が必要である。

トラッキング技術としては、各種の手法が提案されているが、原子力発電プラントの保守作業や解体作業への適用を考えると、画像マーカ法が適している。しかし、この画像マーカ法は、予め、環境（原子力発電プラント内部）に膨大な数のマーカを貼り付け、その３次元位置を計測しておくことが必要である。

再公表ＷＯ２００５−０１７６４４号公報 特開２００４−２８７８８号公報

原子力発電プラント内部に貼り付けられた膨大な数のマーカの３次元位置を１つ１つ手作業で計測しようとすると、その労力の多さが問題となる。

従って、本発明の１つの目的は、環境に貼り付けたマーカの３次元位置を容易に計測することができる方法及びシステムを実現することにある。

本発明の他の目的は、環境に貼り付けたマーカの３次元位置を比較的短時間に容易に計測することができる方法及びシステムを実現することにある。

本発明の更に他の目的は、環境に貼り付けたマーカの３次元位置を比較的少ない労力で短時間に容易に計測することができる方法及びシステムを実現することにある。

本発明は、環境に貼り付けられたマーカの位置情報をレーザ距離計測器とビデオカメラと電動雲台を利用して取得し、この位置情報を制御用コンピュータで処理することにより、計測対象のマーカの正確な３次元位置を計測する構成を骨子とするものであり、
具体的には、
作業環境の適当な位置及び作業環境の基準となる位置に世界座標系の原点を選んで右手系（３次元直交軸系）で世界座標系の各軸を選定して前記原点と各軸に貼付された基準マーカ、及び作業環境の適当な位置に貼付されたその他のマーカに対し、
作業環境にレーザ距離計測器とビデオカメラを電動雲台を介して配置して制御用パソコンと通信可能に接続することによりマーカ位置計測システムを構成し、
ビデオカメラで環境を撮影し、マーカ認識アルゴリズムを実現するプログラムを実行することによりカメラ画像上のマーカを認識してビデオカメラとマーカの間の大まかな相対的な位置関係を求め、
求めた位置関係を用いて電動雲台を駆動してレーザ距離測定器をマーカが存在する方向に向け、
マーカにレーザを照射し、その照射位置がマーカ上の特徴点の位置に合っているかどうかを確認してレーザ照射の位置をマーカ上の特徴点の位置に合わせ、
レーザ距離計測器を用いてマーカと該レーザ距離計測器の間の距離を求めて電動雲台の位置情報に基づいてマーカの正確な方向を求め、
求めた情報に基づいてマーカの３次元位置を求めて該３次元位置データを保存する構成である。

本発明は、環境に貼り付けたマーカの３次元位置を容易に計測することができる方法及びシステムを実現することができる。

また、環境に貼り付けたマーカの３次元位置を比較的短時間に容易に計測することができる方法及びシステムを実現することができる。

更には、環境に貼り付けたマーカの３次元位置を比較的少ない労力で短時間に容易に計測することができる方法及びシステムを実現することができる。

作業環境の基準となる位置に世界座標系の原点を選んで３次元で世界座標系の各軸を選定して前記原点と各軸に貼付された基準マーカ及び作業環境の適当な位置に貼付されたその他のマーカに対し、
レーザ距離計測器と、電動ズーム機能付きビデオカメラと、前記レーザ距離計測器と電動ズーム機能付きビデオカメラを支持する電動雲台と、環境に貼り付けられたマーカの位置情報を前記レーザ距離計測器とビデオカメラと電動雲台を利用して取得して処理することにより計測対象のマーカの３次元位置を計測する制御用コンピュータを備えたマーカ位置計測システムを構成し、
ビデオカメラで環境を撮影し、マーカ認識アルゴリズムを実現するプログラムを実行することによりカメラ画像上のマーカを認識してビデオカメラとマーカの間の大まかな相対的な位置関係を求め、
求めた位置関係を用いて電動雲台を駆動してレーザ距離計測器をマーカが存在する方向に向け、
マーカにレーザを照射し、その照射位置がマーカ上の特徴点の位置に合っているかどうかを確認してレーザ照射の位置をマーカ上の特徴点の位置に合わせ、
レーザ距離計測器を用いてマーカと該レーザ距離計測器の間の距離を求めて電動雲台の位置情報に基づいてマーカの正確な方向を求め、
求めた情報に基づいてマーカの３次元位置を求めて該３次元位置データを保存するようにする。

マーカ位置計測システム（Maker Auto-Measurement System；ＭＡＭＳ）は、図１に示すように、レーザ距離計測器１、電動ズーム機能付きビデオカメラ（以下、ビデオカメラという）２、電動雲台３，４、マーカ認識プログラムを組み込んだ制御用コンピュータ（ノートＰＣ）５、三脚（支持台）６を組み合わせて構成する。

電動雲台３，４は、レーザ距離計測器１とビデオカメラ２を約３０ｃｍ間隔で保持するように三脚６の水平角材６１の両端部上に水平面を平行状態にして固定し、レーザ距離計測器１とビデオカメラ２を支持する。レーザ距離計測器１，ビデオカメラ２，電動雲台３，４の制御信号線は、ＵＳＢシリアル変換ケーブル７を介して制御用コンピュータ５に接続する。そして、電動雲台３，４は、レーザ距離計測器１とビデオカメラ２が共に前を向くように初期化する。この実施例では、前記制御信号線としてＵＳＢシリアル変換ケーブル７を使用したが、シリアル通信することができるものであれば、他の形態の信号線を使用することも可能である。

環境（機器）８に貼り付けるマーカ９は、円形マーカを使用する。具体的には、図２に示すように、裏面に貼着剤を塗布した白色台紙９１の表面に直径１０ｃｍの円を描画したものであり、最も外側に外側直径１０ｃｍ、太さ１．５ｃｍの黒色の円環（最外領域）９１ａを形成し、最も内側に外側直径３ｃｍの白色の円（内側領域）９１ｂを形成し、両者の間の領域（外側直径８．５、内側直径３ｃｍの円環）９１ｃをコード領域として同じ形の扇形に分割してビット要素とし、個々の扇形毎に白色又は黒色を付してマーカコードとする形態である。寸法は、この値に限られるものではないが、外側領域９１ａと内側領域９１ｂとコード領域９１ｃは、このような比率とすることが望ましい。

制御用コンピュータ５は、後述するマーカ位置計測アルゴリズムを実現するための制御プログラムを内蔵し、この制御プログラムを実行することにより、計測のためのインターフェース画面をディスプレイ５１に表示し、インターフェース画面による指示入力に基づいて、レーザ距離計測器１，ビデオカメラ２，電動雲台３，４を制御し、ビデオカメラ５が撮影したカメラ画像データをＵＳＢキャプチャを介して取り込み、マーカ画像を認識し、マーカ９の大まかな位置を計測し、レーザ距離計測器１によりマーカ９の正確な位置を計測し、保存し、また、計測結果を前記インターフェース画面に表示する。この実施例では、カメラ画像データの授受にＵＳＢキャプチャを使用したが、シリアル通信することができるものであれば、他の形態のものを使用することも可能である。

マーカの３次元位置計測のための作業手順について、図３を参照して説明する。

手順１：作業環境の適当な位置及び作業環境の基準となる位置に世界座標系の原点を選んで、３次元で世界座標系の各軸を選定する。

手順２：原点と各軸及び位置計測を行いたい適当な位置にマーカ（基準マーカとその他のマーカ）９を配置（貼付）する。

手順３：作業環境にレーザ距離計測器１、ビデオカメラ２、電動雲台３，４、三脚６、制御用コンピュータ５を配置して通信可能に接続することによりＭＡＭＳを構成する。

手順４：ビデオカメラ２で環境を撮影し、マーカ認識アルゴリズムを実現するプログラムを実行することによりカメラ画像上のマーカ画像を認識し、レーザ距離計測器１とマーカ９の間の相対的な位置関係を求める。

手順５：手順４で求めた位置関係情報を用いて、電動雲台３を駆動してレーザ距離測定器１をマーカ９が存在する方向に向ける。

手順６：マーカ９にレーザを照射してその照射位置がマーカ９上の特徴点の位置に合っているかどうかを確認し、レーザ照射の位置をマーカ９上の特徴点の位置に合わせる。

手順７：レーザ距離計測器１を用いてマーカ９と該レーザ距離計測器１の間の距離を求め、電動雲台３の位置情報に基づいてマーカ９の正確な方向を求める。

手順８：手順７で求めた情報に基づいてマーカ９の３次元位置を求める。

手順９：手順８で求めたマーカ９の３次元位置データを保存する。

手順１０：使用したＭＡＭＳ機器を撤去する。

前述した手順でマーカ９の３次元位置を計測するＭＡＭＳは、次のようなアルゴリズムにより計測機能を実現する。

アルゴリズム１：マーカ認識アルゴリズム
アルゴリズム２：ビデオカメラを用いてマーカの位置を計測するアルゴリズム
アルゴリズム３：レーザ距離計測器を用いてマーカの位置を計測するアルゴリズム
アルゴリズム４：マーカの位置を世界座標系に変換するアルゴリズム
アルゴリズム５：１つのマーカの位置を自動的に計測するアルゴリズム
アルゴリズム６：総てのマーカの位置を自動的に計測するアルゴリズム
これらのアルゴリズムは、制御用コンピュータ５に組み込んだマーカの３次元位置計測プログラムを実行することにより実現する。

ここで、前記アルゴリズム１（マーカ認識アルゴリズム）について、図４を参照して説明する。
ステップＳ５０１０１
ビデオカメラ２により環境を撮影してＲＧＢカラー画像（カメラ画像）データを取得する。
ステップＳ５０１０２
取得したカラー画像をグレースケール画像に変換した後、ラプラシアンフィルタを適用して予め定められた閾値で２値化することにより、画像のエッジ（輝度の変化の大きい部分）を認識する。
ステップＳ５０１０３
画像のエッジとして認識した画素間の連結性（互いに隣り合っているかどうか）を調べ、連結すると認識した個々のエッジ群が楕円（マーカの外形）に整合（フィッティング）するかどうかを判定する。
ステップＳ５０１０４
楕円にフィッティングできると判定されたエッジ群の中の領域を解析し、その領域がマーカ画像であるかどうかを判定する。
ステップＳ５０１０５
マーカ画像である場合には、マーカの種類を判定すると共に、整合した楕円の中心をマーカ画像の中心とし、楕円の長軸の長さをマーカの画像上の大きさとする。
ステップＳ５０１０６
マーカの種類と位置と大きさを認識する。

前記アルゴリズム２（ビデオカメラを用いてマーカの位置を計測するアルゴリズム）について、図５を参照して説明する。

このアルゴリズムは、マーカ９の半径ｒ_ｒｅａｌ、カメラ画像上のマーカ画像の位置（ｘ_ｃ，ｙ_ｃ）と半径ｒ_{ｉｍａｇｅ}、ビデオカメラ２の外部パラメータ（電動雲台座標系Ｓで表されたビデオカメラ２の位置Ｔ_ｓｃ、パン方向ｃ_ｐａｎ、チルト方向ｃ_ｔｉｌｔ）、ビデオカメラ２の内部パラメータ（ビデオカメラ２の焦点距離ｆ、ビデオカメラ２のＣＣＤのチップの幅ｗ_ＣＣＤ、ビデオカメラ２の解像度ｗ_ｒｅｓｏ，ｈ_ｒｅｓｏ）から、ビデオカメラ２に写った円形マーカの電動雲台座標系で表された３次元位置ベクトルＴ_ＳＭを求めるアルゴリズムである。

ここで、ビデオカメラ２のＣＣＤチップの幅幅ｗ_ＣＣＤと解像度ｗ_ｒｅｓｏ，ｈ_ｒｅｓｏは、ビデオカメラ２の仕様書等から得ることができ、電動雲台座標系で表されるビデオカメラ２の位置Ｔ_ｓｃとマーカ９の半径ｒ_ｒｅａｌは、固定であるから事前に計測して得ることができる。また、ビデオカメラ２のパン方向ｃ_ｐａｎとチルト方向ｃ_ｔｉｌｔと焦点距離ｆは、ビデオカメラ２及び電動雲台４から通信により取得する。
ステップＳ５０２０１
カメラ画像上のマーカ画像の位置（ｘ_ｃ，ｙ_ｃ）と半径ｒ_{ｉｍａｇｅ}を求める。
ステップＳ５０２０２
ビデオカメラ２及び電動雲台４と通信して該ビデオカメラ２の現在のパン方向ｃ_ｐａｎとチルト方向ｃ_ｔｉｌｔと焦点距離ｆの情報を得る。
ステップＳ５０２０３
（数１）式によりビデオカメラ２と実際のマーカ９の間の距離ｄ_ｃｍを求める。

ステップＳ５０２０４
カメラ座標系で表されたマーカのパン方向ｍ_ｐａｎとチルト方向ｍ_ｔｉｌｔを（数２）式及び（数３）式により求める。

ここで、ｖ_ｈ＝ａｒｃｔａｎ（ｗ_ＣＣＤ／２ｆ）は、ビデオカメラ２の水平方向の半画角である。

ステップＳ５０２０５
電動雲台座標系で表されたマーカの３次元位置ベクトルＴ_ＳＭを（数４）式を用いて求める。

Ｔ_ＳＭ＝Ｔ_ＳＣ＋Ｒ_ｚ（ｍ_ｐａｎ＋ｃ_ｐａｎ）Ｒ_ｙ（ｍ_ｔｉｌｔ＋ｃ_ｔｉｌｔ）Ｄ_ｍ ……（数４）
ここで、Ｄ_ｍ＝（ｄ_ｃｍ，０，０）とし、Ｒ_ｙ（α），Ｒ_ｚ（β）は、それぞれ、ｙ軸を中心にα回転、ｚ軸を中心にβ回転させる回転行列である。

なお、（数１）の導出方法は、次の通りである。マーカ画像がビデオカメラ２の略中心部に写っているとき、図６において、ＦＯ’＝ｆ，ＦＯ＝ｄ_ｃｍである。ここで、三角形ＦＯ’Ｒ’と三角形ＦＯＲは相似であるため、ＦＯ’：ＦＯ＝Ｏ’Ｒ’：ＯＲが成り立つ。従って、下記の式（数５）が成り立つ。

電動雲台４とビデオカメラ２は、１つの器具に固定して使用することを前提としているが、計測システムを設置・撤去する際に、電動雲台４とビデオカメラ２の位置や方向が変化してしまう可能性がある。また、使用可能なビデオカメラ２の解像度には上限がある。そのため、ビデオカメラ２の位置Ｔ_ＳＣ、マーカ認識アルゴリズムで得られるマーカの大きさｒ_{ｉｍａｇｅ}には、大きな誤差が含まれることになる。そのため、このビデオカメラを用いたマーカの位置計測アルゴリズムで求められるマーカの３次元位置には、大きな誤差が含まれることが予想され、この計測結果をそのままトラッキングに使用することは精度の観点から好ましくない。

アルゴリズム３（レーザ距離計測器を用いてマーカの位置を計測するアルゴリズム）について、図７を参照して説明する。

このアルゴリズムは、電動雲台３のパン方向ｓ_ｐａｎ、チルト方向ｓ_ｔｉｌｔとレーザ距離計測器１とマーカ９の中心との間の距離ｄ_ｌｍから、電動雲台座標系で表されたマーカ９の高精度な３次元位置Ｔ_ＳＭを求めるアルゴリズムである。レーザ距離計測器１の距離計測結果ｄ_ｍと電動雲台３のパン方向ｓ_ｐａｎとチルト方向ｓ_ｔｉｌｔは、レーザ距離計測器１と電動雲台３から通信により取得する。
ステップＳ５０３０１
手作業もしくは後述する自動化手法により、レーザ距離計測器１によるレーザ照射位置を計測の対象となる円形マーカ９の中心に合わせる。
ステップＳ５０３０２
レーザ距離計測器１を作動させて該レーザ距離計測器１とマーカ９の中心の間の距離ｄ_ｌｍの情報を得る。
ステップＳ５０３０３
電動雲台３のパン方向ｓ_ｐａｎ，チルト方向ｓ_ｔｉｌｔの情報を得る。
ステップＳ５０３０４
電動雲台座標系で表されたマーカの３次元位置ベクトルＴ_ＳＭを次式（数６）により求める。

Ｔ_ＳＭ＝Ｒ_ｚ（ｓ_ｐａｎ）Ｒ_ｙ（ｓ_ｔｉｌｔ）Ｄ_ｒ ……（数６）
ここで、Ｄ_ｒ＝（ｄ_ｌｍ，０，０）とし、Ｒ_ｙ（α），Ｒ_ｚ（β）は、それぞれ、ｙ軸を中心にα回転、ｚ軸を中心にβ回転させる回転行列である。

アルゴリズム４（マーカの位置を世界座標系に変換するアルゴリズム）について、図８を参照して説明する。

このアルゴリズムは、前述したレーザ距離計測器を用いてマーカの位置を計測するアルゴリズムにより得られた電動雲台座標系で表されたマーカの３次元位置を世界座標系で表されたマーカの３次元座標系に変換するアルゴリズムである。このアルゴリズムによる変換を実行するにあたり、計測対象となるマーカ９に加え、１番のマーカと、２番から４番の３つのマーカのうちの少なくとも２つのマーカが環境に貼り付けられているものとする。
ステップＳ５０４０１
レーザ距離計測器１を用いてマーカの位置を計測するアルゴリズムにより、作業環境に貼り付けられた総てのマーカの電動雲台座標系で表された３次元位置Ｔ_ＳＭｉ（ｉは、マーカの番号）を求める。このとき、１番のマーカ及び２番から４番のマーカのうちの少なくとも２つのマーカの３次元位置を計測することが必要である。２番から４番の総てのマーカの３次元位置が求められている場合にはステップＳ５０４０２へ進み、２つのマーカの３次元位置しか求められていない場合には、以下のようにして残りのマーカの３次元位置を求めた後にステップＳ５０４０２へ進む。

ｉ）２番と３番のマーカの３次元位置Ｔ_ＳＭ２，Ｔ_ＳＭ３が求められている場合
Ｔ_ＳＭ４＝（Ｔ_ＳＭ２−Ｔ_ＳＭ１）×（Ｔ_ＳＭ３−Ｔ_ＳＭ１） ……（数７）
ii）２番と４番のマーカの３次元位置が求められている場合
（Ｔ_ＳＭ４−Ｔ_ＳＭ１）×（Ｔ_ＳＭ２−Ｔ_ＳＭ１） ……（数８）
iii）３番と４番のマーカの３次元位置が求められている場合
（Ｔ_ＳＭ３−Ｔ_ＳＭ１）×（Ｔ_ＳＭ２−Ｔ_ＳＭ１） ……（数９）
ステップＳ５０４０２
電動雲台座標系で表された世界座標系のｘ，ｙ，ｚ軸方向の単位ベクトルＸ_ｕ，Ｙ_ｕ，Ｚ_ｕを次式（数１０），（数１１），（数１２）で求める。

Ｚ_ｕ＝Ｘ_ｕ×Ｙ_ｕ ……（数１２）
ステップＳ５０４０３
電動雲台座標系から世界座標系への回転行列Ｒ_ｓｗを次式（数１３）により求める。

ステップＳ５０４０４
世界座標系で表された電動雲台３の３次元位置Ｓ_ｗを次式（数１４）により求める。

Ｓ_ｗ＝−Ｒ_ｓｗＴ_ＳＭ１ ……（数１４）
ステップＳ５０４０５
電動雲台座標系から世界座標系への変換行列を次式（数１５）により求める。

ステップＳ５０４０６
次式（数１６）を用いて電動雲台座標系で表されたマーカの３次元位置を世界座標系で表されたマーカの３次元座標系に変換する。

アルゴリズム５（１つのマーカの位置を自動的に計測するアルゴリズム）について、図９ａ，図９ｂを参照して説明する。

このアルゴリズムは、ビデオカメラ２に円形マーカ９が写っている状態で、そのマーカの世界座標系で表された３次元位置を自動的に計測するアルゴリズムである。
ステップＳ５０５０１
前述したビデオカメラを用いてマーカの位置を計測するアルゴリズムにより、カメラ座標系で表されたマーカのパン・チルト方向を求める。
ステップＳ５０５０２
前記ステップＳ５０５０１で求めたマーカのパン・チルト方向の情報を用いて、マーカ９がカメラ画像の中心に写るようにビデオカメラ２の撮影方向を調整する。
ステップＳ５０５０３
前記ステップＳ５０５０１で実行したビデオカメラを用いてマーカの位置を計測するアルゴリズムにより電動雲台座標系で表されたマーカの３次元位置位置ベクトルＴ_ＳＭｉ＝（ｘ_ｓｉ，ｙ_ｓｉ，ｚ_ｓｉ）を求め、次式（数１７），（数１８）を用いて、電動雲台座標系で表されたマーカのパン方向ｍ_ｐａｎｓ，チルト方向ｍ_{ｔｉｌｔｓ}を求める。

ｍ_ｐａｎｓ＝ａｒｃｔａｎ（ｙ_ｓｉ／ｘ_ｓｉ） ……（数１７）

ステップＳ５０５０４
前記ステップＳ５０５０３で求めたパン・チルト方向を用いて、レーザ距離計測器１をマーカ９の方向に向ける。これは、レーザ距離計測器１がこれから計測するマーカ９の方向とは違う方向を向いている場合に、レーザ距離計測器１がビデオカメラ２の視野を遮ることを避けるためである。ただし、前述したように、ビデオカメラ２のみを用いて求めたマーカ９の３次元位置情報には比較的大きな誤差が含まれるため、この時点でレーザを照射してもマーカ９の中心から離れた位置にレーザが照射される可能性が高い。

ステップＳ５０５０５
カメラ画像上でのマーカ画像の半径が、ビデオカメラ２の縦方向の解像度の３５％になるようにビデオカメラ２の焦点距離を調整する。その際の焦点距離ｆ_３５％は、次式（数１９）により近似的に求める。

ただし、ｆは前記ステップＳ５０５０１において取得したマーカのパン・チルト方向を求めたときにマーカを認識した際の焦点距離、ａはそのときのマーカ画像のカメラ画像上での長軸半径（マーカを楕円としてみたときの長い方の半径）、ｈ_ｒｅｓｏはビデオカメラ２の縦方向の解像度とする。

ステップＳ５０５０６
レーザ距離計測器１がマーカ９の方向に正確に向いているかどうかを判定して処理を分岐する。この判定は、ステップＳ５０５０５において焦点距離の調整制御を行ったかどうかに基づいて行うものであり、焦点距離調整を行ったときには、レーザ距離計測器１がマーカ９の正確な方向からずれた、と判定する。レーザ距離計測器１がマーカ９の方向に正確からずれたときにはステップＳ５０５０１に戻る。

ビデオカメラ２の焦点距離を調整すると、カメラ画像上でのマーカ画像の位置が中心からずれる可能性がある。従って、ステップＳ５０５０１，Ｓ５０５０２を繰り返すことにより、マーカ画像がカメラ画像の中心に位置するようにビデオカメラ２の方向を調整する。

そして、ステップＳ５０５０１を再実行することにより、より精度の高い電動雲台座標系で表されたマーカの３次元位置ベクトルを求めることができる。このときに認識したマーカの中心座標（ｘ_ｃ，ｙ_ｃ）と短軸半径（マーカを楕円としてみたときの短い方の半径）ｂを記憶しておく。

また、ステップＳ５０５０３，Ｓ５０５０４を繰り返すことにより、レーザ距離計測器１をマーカ９の方向に向ける。これにより、ステップＳ５０５０４を実行したときに比べて、より正確な方向にレーザ距離計測器１を向けることができるようになる。

ステップＳ５０５０７
ビデオカメラ２のシャッタースピードを早くしてカメラ画像の全体的な明るさを下げる。カメラ画像の明るさは、カメラ画像データ信号系のゲインを下げることによって行うこともできる。

ステップＳ５０５０８
レーザ距離計測器１のレーザ照射をＯＦＦにする。

ステップＳ５０５０９
現在のカメラ画像を保存する。このカメラ画像をＩ_ｏｒｇとする。

ステップＳ５０５１０
レーザ距離計測器１のレーザ照射をＯＮにする。

ステップＳ５０５１１
現在のカメラ画像を保存する。このカメラ画像をＩ_{ｌａｓｅｒ}とする。

ステップＳ５０５１２
画像Ｉ_ｏｒｇと画像Ｉ_{ｌａｓｅｒ}の差分を取り、予め定めた閾値よりも大きい画素を求め、その画素の面積Ｓを求める。

ステップＳ５０５１３
求めた面積Ｓを予め定めた閾値と大小判定して処理を分岐する。

ステップＳ５０５１４
面積Ｓが閾値よりも小さい場合には、カメラ画像にレーザの照射が正しく写っていない状態であることから、レーザ距離計測器１の向きをマーカ９が存在すると思われる方向を中心に回転させてステップＳ５０５０８に戻ってステップＳ５０５０８〜ステップＳ５０５１３を繰り返す。ただし、この繰り返し回数が規定値を超えたときには自動計測が失敗したと判断する。

ステップＳ５０５１５
面積Ｓが閾値以上であるときには、そのカメラ画像上での重心座標Ｇ＝（ｘ_Ｇ，ｙ_Ｇ）を求める。

ステップＳ５０５１６
重心座標ＧとステップＳ５０５０１を再実行することにより得たカメラ画像上でのマーカ画像の中心座標（ｘ_ｃ，ｙ_ｃ）の差のベクトルを計算する。
ステップＳ５０５１７
差のベクトルの長さとステップＳ５０５０１を再実行することにより得たカメラ画像上でのマーカ画像の短軸半径ｂの１．５倍の値とを長短を判定して処理を分岐する。長いときには、ステップＳ５０５１４でレーザ距離計測器１の向きをマーカ９が存在すると思われる方向を中心に回転させてステップＳ５０５０８に戻り、短いときにはステップＳ５０５１８に進む。

ステップＳ５０５１８
ステップＳ５０５１６で求めたベクトルの長さと予め定めた閾値（例えば、２画素）とを長短判定して処理を分岐する。ベクトルの長さが閾値よりも短いときには、レーザがマーカ９の中心に照射されているものと判断してステップＳ５０５２０に進み、閾値以上のときにはステップＳ５０５１９に進む。

ステップＳ５０５１９
ステップＳ５０５１６で求めたベクトルを用いてレーザ距離計測器１の向きをマーカ９の中心位置方向に向けるように調整してステップＳ５０５０８に戻る。ここで、レーザ距離計測器１の向きをマーカ９の中心位置に向けるように調整するための方向は、次式（数２０），（数２１）により求める。

ｓ_ｐａｎ＝ｓ_ｐａｎ０＋（ｖ_ｈ／ｗ_ｒｅｓｏ）（ｘ_Ｇ−ｘ_Ｃ） ……（数２０）
ｓ_ｔｉｌｔ＝ｓ_{ｔｉｌｔ０}＋（ｖ_ｈ／ｗ_ｒｅｓｏ）（ｙ_Ｇ−ｙ_Ｃ） ……（数２１）
ただし、ｖ_ｈは、ステップＳ５０５０６の時点でのビデオカメラ２の水平方向の半画角、ｓ_ｐａｎ０，ｓ_{ｔｉｌｔ０}は、ステップＳ５０５１１の時点でのレーザ距離計測器１のパン・チルト方向である。

ステップＳ５０５２０
前述したレーザ距離計測器を用いてマーカの位置を計測するアルゴリズムを用いてマーカ９の正確な３次元位置を求める。

なお、ステップＳ５０５１３におけるレーザの照射位置判定に基づく処理の分岐において、直ちにステップＳ５０５２０に進まずに、ステップＳ５０５１５，Ｓ５０５１６のように、レーザの照射位置とマーカ９の中心位置の距離がマーカのカメラ画像上での短軸半径の１．５倍よりも小さいときにステップＳ５０５２０に進むようにしたのは、マーカ９が貼り付けられた環境は、必ずしも平面ではなく、凹凸があり、カメラ画像上に投影された後のマーカとレーザ照射位置の関係だけでは、レーザ照射方向をどの方向に修正すればマーカ９の中心位置に調整することができるかを知ることができないためである。レーザの照射位置とマーカ９の中心位置の距離がマーカ９のカメラ画像上での短軸半径の１．５倍よりも小さいときには、レーザは既にマーカ９上に照射していると判断することができ、マーカ９は必ず平面であることから、ステップＳ５０５２０により、必ずレーザの照射位置をマーカ９の中心に近い方向に調整することができる。ここで、判定基準を短軸方向の１．０倍でなく１．５倍としたのは、円形マーカ９の周りには空白の領域があり、その領域も平面であるからである。

アルゴリズム６（総てのマーカの位置を自動的に計測するアルゴリズム）について、図１０を参照して説明する。

このアルゴリズムは、ビデオカメラ２で撮影可能な総てのマーカの世界座標系で表された３次元位置を全自動で計測するアルゴリズムである。基本的には、総ての方向を１回は撮影するようにビデオカメラ２のパン方向とチルト方向を一定の角度間隔で回転させ、その際に、前述したビデオカメラを用いてマーカの位置を計測するアルゴリズムを用いてマーカ９の３次元位置を計測することにより、環境内に存在するビデオカメラ２で撮影可能な総てのマーカ９の３次元位置を計測し、その後、前述した１つのマーカの位置を自動的に計測するアルゴリズムを用いて個々のマーカ９の正確な３次元位置を計測するようにする。しかし、最初に総ての方向を撮影するときのビデオカメラ２の焦点距離をどのように設定するかが問題になる。すなわち、短い焦点距離で撮影すると、ビデオカメラ２から遠い位置にあるマーカ９を撮影するときにカメラ画像上でのマーカ画像の大きさが極めて小さくなり、マーカとして認識することができなくなる。一方、長い焦点距離で撮影すると、ビデオカメラ２から近い位置にあるマーカ９を撮影するときにカメラ画像上でのマーカ画像の大きさが極めて大きくなり、ビデオカメラ２の視野からマーカ画像がはみ出し、マーカとして認識することができなくなる可能性がある。従って、ビデオカメラ２から様々な距離に配置された多数のマーカの総てを一種類の焦点距離に設定したビデオカメラ２で撮影して認識することは困難である。しかし、様々な距離に存在する多数のマーカをビデオカメラ２で撮影して計測するためには、ビデオカメラ２の焦点距離を何段階かに変化させて繰り返し撮影することが必要となるが、ビデオカメラ２で制御可能な総ての焦点距離について総ての方向を繰り返し撮影するには長時間を要することになるので実用的ではない。そこで、この実施例では、焦点距離をビデオカメラ２で設定可能な最も短い値に設定して総ての方向について行う撮影と、その２倍及び３倍の焦点距離に設定して総ての方向について行う撮影によってマーカのカメラ画像を得るようにした。

ステップＳ５０６０１
ビデオカメラ２の焦点距離を設定可能な最も短い値に設定して総ての方向について撮影して取得した画像データを記憶する。

ステップＳ５０６０２
ビデオカメラ２の焦点距離を設定可能な最も短い値の２倍に設定して総ての方向について撮影して取得した画像データを記憶する。

ステップＳ５０６０３
ビデオカメラ２の焦点距離を設定可能な最も短い値の３倍に設定して総ての方向について撮影して取得した画像データを記憶する。

ステップＳ５０６０４
各記憶画像の総てのマーカ画像を認識する。

ステップＳ５０６０５
認識した総てのマーカの３次元位置を計測する。

図１１を参照して、制御用コンピュータ５によって前述したアルゴリズムを実現するために実行する制御プログラムによるインターフェース画面５１００について説明する。

このインターフェース画面５１００は、制御用コンピュータ５の制御プログラムが起動すると該制御プログラムによってディスプレイ５１に表示するものであり、カメラ画像表示インターフェース５１１０とマーカ位置自動計測インターフェース５１２０とカメラ制御インターフェース５１３０とレーザ距離計測器制御インターフェース５１４０とマーカ計測状態表示インターフェース５１５０と手動マーカ位置計測インターフェース５１６０とシステム動作記録インターフェース５１７０その他のインターフェース５１８０とを備える。

カメラ画像表示インターフェース５１１０は、ビデオカメラ２のキャプチャ映像を表示するインターフェースであり、ＭＡＭＳが処理している映像をユーザが見ることができるようにする。システムが円形マーカを認識しているときには、認識したマーカの輪郭を緑色の線で描くと共にマーカの中心にマーカの番号を表示する。

マーカ位置自動計測インターフェース５１２０は、ＭＡＭＳのマーカ自動計測機能を駆動するために操作するボタン等を表示するインターフェースであり、「全自動」ボタン５１２１、「全自動（距離１ｍ程度）」ボタン５１２２、「全自動（距離３ｍ程度）」ボタン５１２３、「全自動（距離５ｍ程度）」ボタ５１２４、「選択中のマーカ」ボタン５１２５、「現在撮影中のマーカ」ボタン５１２６、「予定■付きのマーカ」ボタン５１２７、「自動計測中止」ボタン５１２８を備える。

「全自動」ボタン５１２１は、ＭＡＭＳの周りの環境（機器）に貼り付けられた総ての円形マーカの３次元位置を自動的に計測することを指示するボタンである。具体的には、前述した各種のアルゴリズムを実現する制御プログラムを実行することにより、ビデオカメラ２の焦点距離を最短値（例えば７．０ｍｍ）に設定し、ビデオカメラ２のパン方向とチルト方向を一定間隔で変化させながら環境を撮影してマーカを認識し、その後、焦点距離を２倍（１４．０ｍｍ）、３倍（２１．０ｍｍ）に設定して同様の撮影とマーカ認識を繰り返し、認識したマーカの３次元位置をレーザ距離計測器１により自動的に計測する処理の実行を指示する。この機能を実現する処理の実行中は「全自動」ボタン５１２１の表示色を赤色に制御する。

「全自動（距離１ｍ程度）」ボタン５１２２は、ＭＡＭＳから１ｍ程度離れた位置に貼り付けられた円形マーカの３次元位置を自動的に計測することを指示するボタンである。具体的には、前述した各種のアルゴリズムを実現する制御プログラムを実行することにより、ビデオカメラ２の焦点距離を最短値（例えば７．０ｍｍ）に設定し、ビデオカメラ２のパン方向とチルト方向を一定間隔で変化させながら環境を撮影してマーカを認識し、その後、認識したマーカの３次元位置をレーザ距離計測器１により自動的に計測する処理の実行を指示する。この機能を実現する処理の実行中は「全自動（距離１ｍ程度）」ボタン５１２２の表示色を赤色に制御する。

「全自動（距離３ｍ程度）」ボタン５１２３は、ＭＡＭＳから３ｍ程度離れた位置に貼り付けられた円形マーカの３次元位置を自動的に計測することを指示するボタンである。具体的には、前述した各種のアルゴリズムを実現する制御プログラムを実行することにより、ビデオカメラ２の焦点距離を最短値の２倍（例えば１４．０ｍｍ）に設定し、ビデオカメラ２のパン方向とチルト方向を一定間隔で変化させながら環境を撮影してマーカを認識し、その後、認識したマーカの３次元位置をレーザ距離計測器１により自動的に計測する処理の実行を指示する。この機能を実現する処理の実行中は「全自動（距離３ｍ程度）」ボタン５１２３の表示色を赤色に制御する。

「全自動（距離５ｍ程度）」ボタ５１２４は、ＭＡＭＳから５ｍ程度離れた位置に貼り付けられた円形マーカの３次元位置を自動的に計測することを指示するボタンである。具体的には、前述したアルゴリズムを実現する制御プログラムを実行することにより、ビデオカメラ２の焦点距離を最短値の３倍（例えば２１．０ｍｍ）に設定し、ビデオカメラ２のパン方向とチルト方法を一定間隔で変化させながら環境を撮影してマーカを認識し、その後、認識したマーカの３次元位置をレーザ距離計測器１により自動的に計測する処理の実行を指示する。この機能を実現する処理の実行中は「全自動（距離５ｍ程度）」ボタン５１２４の表示色を赤色に制御する。

「選択中のマーカ」ボタン５１２５は、後述するマーカ計測状態表示インターフェース５１５０内のマーカリストで選択中のマーカの３次元位置を自動的にレーザ距離計測器で計測するアルゴリズムを実現する制御プログラムの実行を指示するボタンである。この機能を使用するには、マーカが画面に映っている必要はないが、ＭＡＭＳが過去にマーカを認識し、後述するマーカリストの「認識」項目に「■」印が付いていることが必要である。この機能を実現する処理の実行中は「選択中のマーカ」ボタン５１２５の表示色を赤色に制御する。

「現在撮影中のマーカ」ボタン５１２６は、ビデオカメラ２で現在撮影して認識されている総てのマーカの３次元位置を自動的にレーザ距離計測器で計測するアルゴリズムを実現する制御プログラムの実行を指示するボタンである。この機能を実現する処理の実行中は「現在撮影中のマーカ」ボタン５１２６の表示色を赤色に制御する。

「予定■付きのマーカ」ボタン５１２７は、後述するマーカ計測状態表示インターフェース５１５０内のマーカリストの「予定」項目に「■」印が付いている総てのマーカの３次元位置をレーザ距離計測器で計測するアルゴリズムを実現する制御プログラムの実行を指示するボタンである。この機能を実現する処理の実行中は「予定■付きのマーカ」ボタン５１２７の表示色を赤色に制御する。

「自動計測中止」ボタン５１２８は、前述した７つのボタンにより指示されて実行中の自動計測処理を中止することを指示するボタンである。

カメラ制御インターフェース５１３０は、ビデオカメラ２の向きや焦点距離を手動で変更するときに使用するボタン等を表示するインターフェースであり、カメラパン制御スライドバー５１３１、カメラチルト制御スライドバー５１３２、カメラ焦点距離制御スライドバー５１３３、アングルマップ５１３４、「カメラ初期化」ボタン５１３５を備える。

カメラパン制御スライドバー５１３１は、ビデオカメラ２の向きを左右方向に回転させることを指示するスライドバーである。

カメラチルト制御スライドバー５１３２は、ビデオカメラ２の向きを上下方向に回転させることを指示するスライドバーである。

カメラ焦点距離制御スライドバー５１３３は、ビデオカメラ２の焦点距離（ズーム）を変えることを指示するスライドバーである。

アングルマップ５１３４は、ビデオカメラ２が現在撮影している範囲を朱枠で表示する機能と、アングルマップ上の点をクリックすることによりビデオカメラ２の撮影範囲の中心方向をクリックされた点に対応する方向に移動させることを指示する機能を有する。

「カメラ初期化」ボタン５１３５は、ビデオカメラ２のシャッタースピード、焦点距離、向きをシステム起動時の状態に戻すことを指示するボタンである。

レーザ距離計測器制御インターフェース５１４０は、レーザ距離計測器の向きを手動で変更するときに使用するボタン等を表示するインターフェースであり、レーザパン制御スライドバー５１４１、レーザチルト制御スライドバー５１４２、「レーザ初期化」ボタン５１４３、「レーザ照射ＯＮ」ボタン５１４４、「レーザ照射ＯＦＦ」ボタン５１４５を備える。

レーザパン制御スライドバー５１４１は、レーザ距離計測器１の向きを左右に回転させることを指示するスライドバーである。

レーザチルト制御スライドバー５１４２は、レーザ距離計測器１の向きを上下に回転させることを指示するスライドバーである。

「レーザ初期化」ボタン５１４３は、レーザ距離計測器１の向きをシステム起動時の状態に戻すことを指示するボタンである。

「レーザ照射ＯＮ」ボタン５１４４は、レーザ距離計測器１からレーザ照射を行うことを指示するボタンである。

「レーザ照射ＯＦＦ」ボタン５１４５は、レーザ距離計測器１からのリーザ照射を停止することを指示するボタンである。

マーカ計測状態表示インターフェース５１５０は、マーカの詳細情報（位置の計測結果やＭＡＭＳがマーカの存在を認識しているか等）を表示するインターフェースであり、マーカ計測状態一覧表５１５１、「選択中のマーカの情報削除」ボタン５１５２、「結果をファイルに保存」ボタン５１５３、計測結果表示モード切替ラジオボタン５１５４、認識済マーカ総数表示欄５１５５、計測予定マーカ総数表示欄５１５６、計測済マーカ総数表示欄５１５７を備える。

マーカ計測状態一覧表５１５１は、円形マーカの個々の計測状態を一覧で表示する表であり、個々のマーカ毎に、「Ｎｏ．」，「認識」，「確定」，「予定」，「Ｘ，Ｙ，Ｚ」の項目を表示する。

「Ｎｏ．」は、各行の情報がどの番号のマーカの情報であるかを示す。

「認識」は、システムが該当するマーカを認識しているか否かを示す。「■」印が表示されていれば、そのマーカが環境に存在しており、システムが既に認識していることを示す。ただし、該当するマーカの３次元位置が既に計測されているとは限らず、「■」をクリックすることにより認識の状態を外すことを指示し、また、過去に認識の状態になったことがあるときのみ、同じ場所をクリックすることにより認識の状態に戻すことを指示することができる。

「確定」は、システムが該当するマーカの３次元位置をレーザ距離計測器１を使って既に計測したか否かを示す。「■」印が表示されていれば、そのマーカの３次元位置は既に計測されて確定している。この場合、自動計測機能を機能させてもそのマーカの３次元位置は計測されない。「■」をクリックすることにより確定の状態を外すことを指示し、また、過去に確定の状態になったことがあるときのみ、同じ場所をクリックすることにより確定の状態に戻すことを指示することができる。

「予定」は、システムが該当するマーカを今後計測する予定があるか否かを示す。「■」印が表示されていれば、そのマーカの３次元位置をこれから計測する予定である。「■」をクリックすることにより予定の状態を外すことを指示し、また、マーカが認識の状態にあるときのみ、同じ場所をクリックすることにより予定の状態に戻すことを指示することができる。

「Ｘ，Ｙ，Ｚ」は、該当のマーカの３次元位置の計測結果を示す。この表示は、「計測結果表示モード切替」ラジオボタンによる指示入力により、世界座標系を基準に表示するモードと電動雲台座標系を基準に表示するモードの何れかにより表示する。該当するマーカの３次元位置が計測されていないときにはこの項目には何も表示されない。

「選択中のマーカの情報削除」ボタン５１５２は、マーカの計測状態一覧表５１５１で選択されているマーカの総ての情報の削除を指示するボタンである。

「結果をファイルに保存」ボタン５１５３は、ファイル名と保存先を入力するダイアログを表示させ、計測結果をテキストファイルに保存することを指示するボタンである。

計測結果表示モード切替ラジオボタン５１５４は、マーカの計測状態一覧表５１５１におけるマーカの３次元計測結果を、世界座標系を基準にした表示モードと電動雲台座標系を基準にした表示モードの何れのモードで表示するかを切り替え指示するボタンである。ただし、世界座標系を基準とする表示モードは、システムが１番から３番までのマーカの３次元位置の計測が終了しているときにのみ選択可能となる。

認識済マーカ総数表示欄５１５５は、システムが環境に存在すると現在認識しているマーカの総数を表示する。この数は、マーカの計測状態一覧表５１５１の「認識」の項目に「■」印が付いているマーカの総数に相当する。

計測予定マーカ総数表示欄５１５６は、システムが今後計測する予定のマーカの総数を表示する。この数は、マーカの計測状態一覧表５１５１における「予定」の項目に「■」印が付いているマーカの総数に相当する。

計測済マーカ総数表示欄５１５７は、システムが既にレーザ距離計測器１を用いて３次元位置を計測済みのマーカの総数を表示する。この数は、マーカの計測状態一覧表５１５１における「確定」の項目に「■」印が付いているマーカの総数に相当する。

手動マーカ位置計測インターフェース５１６０は、ＭＡＭＳの自動機能ではマーカの３次元位置を計測することができないときに、手動でマーカの３次元位置を計測するために使用する機能を表示するインターフェースであり、「照射位置を計測」ボタン５１６１、「選択中のマーカの位置として設定」ボタン５１６２、計測結果表示欄５１６３を備える。

「照射位置を計測」ボタン５１６１は、レーザ距離計測器１の向きを固定したままで該レーザ距離計測器１を作動させ、レーザ照射位置とレーザ距離計測器１の間の距離を計測することを指示するボタンである。

「選択中のマーカの位置として設定」ボタン５１６２は、「照射位置を計測」ボタン５１６１による指示入力に基づいて得られる結果を、マーカの計測状態一覧表５１５１で現在選択されているマーカの３次元位置の計測結果として設定することを指示するボタンである。

計測結果表示欄５１６３は、「照射位置を計測」ボタン５１６１による指示入力に基づいて得られた計測結果を表示する欄である。

システム動作記録インターフェース５１７０は、システムの動作ログを表示し、ユーザがシステムの現在の動作状態や過去の動作の履歴を確認することができるようにするインターフェースであり、システムの動作の記録を時間と共にテキストで表示する。

その他のインターフェース５１８０は、「システムの初期化」ボタン５１８１と計測開始からの経過時間表示欄５１８２を備える。

「システムの初期化」ボタン５１８１は、レーザ距離計測器１、ビデオカメラ２、電動雲台３，４の総てをシステム起動時の状態に戻し、マーカの計測状態一覧表５１５１で表示しているマーカの計測結果や現在の状態等の情報の総てを削除することを指示するボタンである。

計測開始からの経過時間表示欄５１８２は、マーカの３次元位置の自動計測を開始してからの経過時間を表示する欄である。

ＭＡＭＳを用いてマーカの３次元位置を計測する方法には、次の３つの計測方法がある。
（１）環境に貼り付けられた総てのマーカを自動的に計測する方法
（２）ＭＡＭＳからある範囲の距離だけ離れた限定された範囲のマーカを自動的に計測する方法
（３）個々のマーカを半自動的に計測する方法
環境に貼り付けられた総てのマーカを自動的に計測する方法について、図１２を参照して説明する。

まず、計測準備作業として、ユーザは、１番のマーカと、２番から４番のマーカの少なくとも２つマーカの計３つのマーカをそれぞれ、世界座標系の原点、Ｘ軸上の点、Ｙ軸上の点に貼り付け、その他のマーカをトラッキングを実行するのに必要な個所に貼り付ける。そして、貼り付けたマーカの総てが見渡せる場所にＭＡＭＳを設置し、ＭＡＭＳ（制御用コンピュータ５の制御プログラム）を起動操作する。

ステップＳ５０７０１
制御用コンピュータ５は、ディスプレイ５１にインターフェース画面５１００（図１１） （３．３）を表示する。
ステップＳ５０７０２
マーカ位置自動計測インターフェース５１２０における「全自動」ボタン５１２１による指示入力を確認すると、前述した総てのマーカの位置を自動的に計測するアルゴリズムを実現するプログラムを起動して全自動計測を開始する。
ステップＳ５０７０３
ビデオカメラ２の焦点距離を制御することにより近・中・遠の位置にある総てのマーカ９を撮影して認識する。

ステップＳ５０７０４
認識したマーカの３次元位置を計測する。

ステップＳ５０７０５
認識した総てのマーカの位置の計測を終了すると、ベルを鳴らしてその旨を報知する。

ステップＳ５０７０６
「結果をファイルに保存」ボタン５１５３による指示入力を確認すると、ファイル名と保存先を入力するダイアログを表示して入力させ、計測結果をテキストファイルに保存して自動計測を終了する。

その後、ユーザは、ＭＡＭＳを撤去して計測作業を終了する。

ＭＡＭＳからある範囲の距離だけ離れた限定された範囲のマーカ９を自動的に計測する方法について説明する。

この方法は、基本的には、前述した総てのマーカを自動的に計測する方法を実現する手順と同じであるが、インターフェース画面５１００のマーカ位置自動計測インターフェース５１２０からの指示入力が、「全自動（距離１ｍ程度）」ボタン５１２２、「全自動（距離３ｍ程度）」ボタン５１２３、「全自動（距離５ｍ程度）」ボタン５１２４の何れかのボタンからの指示入力に応じて実行する。

従って、ユーザは、計測するマーカがＭＡＭＳからどの程度は離れているかを判断して前記「全自動（距離１ｍ程度）」ボタン５１２２、「全自動（距離３ｍ程度）」ボタン５１２３、「全自動（距離５ｍ程度）」ボタ５１２４を選択して指示入力する。

この計測の指示入力を確認すると、前述した総てのマーカの位置を自動的に計測するアルゴリズムを実現するプログラムを起動し、入力されたボタン（「全自動（距離１ｍ程度）」ボタン５１２２，「全自動（距離３ｍ程度）」ボタン５１２３，「全自動（距離５ｍ程度）」ボタ５１２４）に対応するようにビデオカメラ２の焦点距離を制御（近・中・遠の何れかに設定）して相応するマーカを撮影して認識し、３次元位置を計測し、保存する処理を実行する。

個々のマーカを半自動的に計測する方法について説明する。

この計測方法は、新たに追加したマーカ９を測定するときに追加計測するマーカ９を個々に指定して計測するのに有用である。

この計測方法は、マーカ位置自動計測インターフェース５１２０における「選択中のマーカ」ボタン５１２５，「現在撮影中のマーカ」ボタン５１２６，「予定■付きのマーカ」ボタン５１２７による指示入力または手動マーカ位置計測インターフェース５１６０による指示入力により実行する。

「選択中のマーカ」ボタンによる指示入力に基づいて実行する計測方法は、
マーカの計測状態一覧表５１５１において、「認識」に「■」印が付いているマーカに限って実行可能である。この方法では、マーカの計測状態一覧表５１５１から追加で計測したいマーカを選択して特定した後に、「選択中のマーカ」ボタン５１２５から指示入力することにより、ビデオカメラ２を自動的に当該マーカ９を撮影・認識することができる方向と焦点距離に調整し、１つのマーカの位置を自動的に計測するアルゴリズムを実現するプログラムを実行して３次元位置を自動的に計測する。

「現在撮影中のマーカ」ボタンによる指示入力に基づいて実行する計測方法は、
ユーザが、カメラ制御インターフェース５１３０を用いて追加計測したいマーカ９をシステムが認識している状態に操作した後に、「現在撮影中のマーカ」ボタン５１２６により指示入力することにより、カメラに写っている個々のマーカに対して、１つのマーカの位置を自動的に計測するアルゴリズムを実現するプログラムを実行してビデオカメラ２で撮影して認識している総てのマーカの３次元位置を自動的に計測する。

「予定■付きのマーカ」ボタンによる指示入力に基づいて実行する計測方法は、
ユーザが、マーカの計測状態一覧表５１５１において、追加で計測するマーカ９の「予定」の項目を「■」印を付けた状態に操作した後に、「予定■付きのマーカ」ボタン５１２７により指示入力することにより、「■」印を付けた個々のマーカに対して、１つのマーカの位置を自動的に計測するアルゴリズムを実現するプログラムを実行して計測を実現する。この方法では、マーカの計測状態一覧表５１５１における「予定」の項目に「■」印が付いている総てのマーカ９を自動計測する。

手動マーカ位置計測インターフェース５１６０による指示に基づく計測方法は、レーザ距離計測器１、ビデオカメラ２、電動雲台３，４を総て手動操作で制御し、マーカの３次元位置を計測する。レーザ距離計測器１を制御する手動マーカ位置計測インターフェイス５１６０を使用してレーザの照射位置をマーカの中心に移動させた後、レーザ距離計測器を用いてマーカの位置を計測するアルゴリズムを実現するプログラムを実行することにより行う。

この計測方法の手順を図１３を参照して説明する。

まず、計測準備作業として、ユーザは、１番のマーカと、２番から４番のマーカの少なくとも２つのマーカの計３つのマーカ９をそれぞれ、世界座標系の原点、Ｘ軸上の点、Ｙ軸上の点に貼り付け、その他のマーカ９をトラッキングを実行するのに必要な個所に貼り付ける。そして、貼り付けたマーカ９の総てが見渡せる場所にＭＡＭＳを設置し、ＭＡＭＳ（制御用コンピュータ５の制御プログラム）を起動操作する。

ステップＳ５０８０１
制御用コンピュータ５は、ディスプレイ５１にインターフェース画面５１００（図１１）を表示する。

ステップＳ５０８０２
インターフェース画面５１００のレーザ距離計測器制御インターフェース５１４０における「レーザ照射ＯＮ」ボタン５１４４から指示入力を確認し、この指示入力に基づいてレーザ距離計測器１によるレーザ照射をＯＮする。

ステップＳ５０８０３
レーザ照射位置をマーカの中心に合わせる。この制御は、ユーザがインターフェース画面５１００におけるアングルマップ５１３４やカメラ画像表示インターフェース５１１０、実際のレーザ照射位置等を見ながらレーザ距離計測器制御インターフェース５１４０を操作して入力する指示に基づいて距離計測器１を追加計測するマーカ９に向けるようにして行う。

ステップＳ５０８０４
「照射位置を計測」ボタン５１６１からの指示入力に基づいて計測対象マーカの３次元位置を計測し、計測結果表示欄５１６３に表示して位置データをユーザに確認させる。

ステップＳ５０８０５
ユーザがマーカの計測状態一覧表５１５１から追加で計測したマーカを選択し、「選択中のマーカの位置として設定」ボタン５１６２を操作して指示入力すると、この指示入力に基づいて、計測結果を一覧表に追加して表示する。

ステップＳ５０８０６
「結果をファイルに保存」ボタン５１５３からの指示入力に基づいて結果を保存する。

本発明のマーカ位置計測システムの一実施例を示す外観図である。 本発明の実施例におけるマーカ位置計測で使用するマーカの平面図である。 本発明の実施例において実行するマーカの３次元位置計測のための作業手順を示すフローチャートである。 本発明の一実施例において実行するマーカ認識アルゴリズムのフローチャートである。 本発明の一実施例において実行するビデオカメラを用いてマーカの位置を計測するアルゴリズムのフローチャートである。 ビデオカメラとマーカの位置関係を説明するための模式図である。 本発明の一実施例において実行するレーザ距離計測器を用いてマーカの位置を計測するアルゴリズムのフローチャートである。 本発明の一実施例で実行するマーカの位置を世界座標系に変換するアルゴリズムのフローチャートである。 本発明の一実施例で実行する１つのマーカの位置を自動的に計測するアルゴリズムの一部を示すフローチャートである。 本発明の一実施例で実行する１つのマーカの位置を自動的に計測するアルゴリズムの他の一部を示すフローチャートである。 本発明の一実施例において実行する総てのマーカの位置を自動的に計測するアルゴリズムのフローチャートである。 本発明の一実施例において制御用コンピュータによってアルゴリズムを実現するために実行する制御プログラムによるインターフェース画面である。 本発明の一実施例において実行する環境に貼り付けられた総てのマーカを自動的に計測する方法のフローチャートである。 本発明の一実施例において実行する手動マーカ位置計測インターフェースによる指示に基づく計測方法の手順を示すフローチャートである。

符号の説明

１…レーザ距離計測器、２…電動ズーム機能付きビデオカメラ、３，４…電動雲台、５…制御用コンピュータ、６…三脚、７…ＵＳＢシリアル変換ケーブル、８…環境（機器）、９…マーカ。

Claims (2)

1. 作業環境の適当な位置及び作業環境の基準となる位置に世界座標系の原点を選んで３次元で世界座標系の各軸を選定して前記原点と各軸に貼付された基準マーカに対し、
   作業環境にレーザ距離計測器とビデオカメラを電動雲台を介して配置して制御用パソコンと通信可能に接続することによりマーカ位置計測システムを構成し、
   ビデオカメラで環境を撮影し、マーカ認識アルゴリズムを実現するプログラムを実行することによりカメラ画像上のマーカを認識してビデオカメラとマーカの間の大まかな相対的な位置関係を求め、
   求めた位置関係を用いて電動雲台を駆動してレーザ距離測定器をマーカが存在する方向に向け、
   マーカにレーザを照射し、その照射位置がマーカ上の特徴点の位置に合っているかどうかを確認してレーザ照射の位置をマーカ上の特徴点の位置に合わせ、
   レーザ距離計測器を用いてマーカと該レーザ距離計測器の間の距離を求めて電動雲台の位置情報に基づいてマーカの正確な方向を求め、
   求めた情報に基づいてマーカの３次元位置を求めて該３次元位置データを保存することを特徴とするマーカの３次元位置計測方法。
2. レーザ距離計測器と、電動ズーム機能付きビデオカメラと、前記レーザ距離計測器と電動ズーム機能付きビデオカメラを支持する電動雲台と、制御用コンピュータとを備え、
   前記制御用コンピュータは、
   環境に貼り付けられたマーカの位置情報を前記レーザ距離計測器とビデオカメラと電動雲台を利用して取得して処理することにより、計測対象のマーカの３次元位置を計測することを特徴とするマーカの３次元位置計測システム。

Images