JP2020173167A - 三次元位置計測装置、三次元位置計測方法及びプログラム - Google Patents

Abstract

【課題】複数の特徴物体を備えた冶具を設置することが困難な計測領域においても、計測対象の三次元位置を算出出来る三次元位置計測装置を提供する。【解決手段】複数のカメラ１０を用いて計測対象の三次元位置を計測する三次元位置計測装置１であって、各カメラの画像上の複数の現地構造物特徴点の理論二次元座標を算出する理論二次元座標算出手段２３と、各カメラの画像上の現地構造物特徴点の実二次元座標と理論二次元座標との差分を算出する差分算出手段２５と、複数の現地構造物特徴点の実二次元座標を理論二次元座標へ補正するための座標補正式を決定する座標補正式決定手段２６と、計測対象の補正二次元座標を算出する補正二次元座標算出手段２８と、計測対象の補正二次元座標と、各カメラに関する情報とに基づいて、計測対象の三次元位置を算出する三次元位置算出手段２９とを備えた。【選択図】図１

Description

本発明は、複数のカメラを用いて計測対象の三次元位置を計測する三次元位置計測装置、三次元位置計測方法及びプログラムに関する。

まず複数カメラを位置計測領域が広範囲に重なるよう治具に固定し、次に各カメラ共通のカメラ座標系での各カメラの外部／内部パラメータを求めて、複数カメラでの対象の画像面上の位置から三角測量の原理によりカメラ座標系での対象の３次元位置を求める変換式を構成し、次にカメラを固定した治具と計測領域座標系で既知の位置関係の複数の特徴物体を備えた組み立て可能な治具を、計測領域に設置し、次に複数カメラで特徴物体を計測し、変換式によるカメラ座標系での特徴物体の３次元位置を計測領域座標系での３次元位置に変換するパラメータを求め、最後にこのパラメータと変換式から広域での計測対象の３次元位置を求める広域３次元位置計測方法は、知られている（例えば、特許文献１参照）。

特開平１１−１６００２１号公報

例えば、廃棄物処理プラントのごみピット等の計測領域は、人が立ち入ることができず、冶具を持ち込んで設置することも困難である。複数の特徴物体を備えた治具を計測領域に設置して複数カメラで特徴物体を計測することによって求められたパラメータを用いて計測対象の三次元位置を算出する構成を採用した場合、このように複数の特徴物体を備えた治具を設置することが困難な計測領域においては、計測対象の三次元位置を算出することができない。

本発明の目的は、複数の特徴物体を備えた冶具を設置することが困難な計測領域においても、計測対象の三次元位置を算出することを可能とすることにある。

かかる目的のもと、本発明は、複数のカメラを用いて計測対象の三次元位置を計測する三次元位置計測装置であって、複数の現地構造物特徴点の三次元位置と、複数のカメラの各カメラに関する情報とに基づいて、各カメラの画像上の複数の現地構造物特徴点の理論二次元座標を算出する理論二次元座標算出手段と、各カメラで撮影された複数の現地構造物特徴点が表示された各カメラの画像上の複数の現地構造物特徴点の実二次元座標と、複数の現地構造物特徴点の理論二次元座標との差分を算出する差分算出手段と、複数の現地構造物特徴点の実二次元座標と、差分とに基づいて、複数の現地構造物特徴点の実二次元座標を複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定する座標補正式決定手段と、各カメラで撮影された計測対象が表示された各カメラの画像上の計測対象の実二次元座標を座標補正式で補正することにより、計測対象の補正二次元座標を算出する補正二次元座標算出手段と、計測対象の補正二次元座標と、各カメラに関する情報とに基づいて、計測対象の三次元位置を算出する三次元位置算出手段とを備えた三次元位置計測装置を提供する。

各カメラに関する情報は、各カメラの位置及び角度、並びに各カメラの視野角及び画素数を含む、ものであってよい。

座標補正式決定手段は、複数の現地構造物特徴点の実二次元座標と差分とを用いた回帰分析により、座標補正式を決定する、ものであってよい。その場合、回帰分析は、複数の現地構造物特徴点の実二次元座標のＸ座標及びＹ座標の各座標を説明変数とし、差分のＸ成分及びＹ成分の各成分を目的変数とする単回帰分析であってよい。或いは、複数の現地構造物特徴点の実二次元座標のＸ座標及びＹ座標の組み合わせを説明変数とし、差分のＸ成分及びＹ成分の各成分を目的変数とする重回帰分析であってもよい。

三次元位置計測装置は、各カメラの画像から計測対象の実二次元座標を取得する実二次元座標取得手段を更に備えた、ものであってよい。その場合、実二次元座標取得手段は、各カメラの画像上で指示された計測対象を示す点を受け付けることにより、計測対象の実二次元座標を取得する、ものであってよい。或いは、各カメラの画像から計測対象を示す少なくとも１つの点を抽出し、各カメラの画像から抽出された少なくとも１つの点の間で対応する点を探索することにより、計測対象の実二次元座標を取得する、ものであってもよい。

また、本発明は、複数のカメラを用いてコンピュータが計測対象の三次元位置を計測する三次元位置計測方法であって、コンピュータが、複数の現地構造物特徴点の三次元位置と、複数のカメラの各カメラに関する情報とに基づいて、各カメラの画像上の複数の現地構造物特徴点の理論二次元座標を算出するステップと、コンピュータが、各カメラで撮影された複数の現地構造物特徴点が表示された各カメラの画像上の複数の現地構造物特徴点の実二次元座標と、複数の現地構造物特徴点の理論二次元座標との差分を算出するステップと、コンピュータが、複数の現地構造物特徴点の実二次元座標と、差分とに基づいて、複数の現地構造物特徴点の実二次元座標を複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定するステップと、コンピュータが、各カメラで撮影された計測対象が表示された各カメラの画像上の計測対象の実二次元座標を座標補正式で補正することにより、計測対象の補正二次元座標を算出するステップと、コンピュータが、計測対象の補正二次元座標と、各カメラに関する情報とに基づいて、計測対象の三次元位置を算出するステップとを含む三次元位置計測方法も提供する。

更にまた、本発明は、複数のカメラを用いて計測対象の三次元位置を計測する三次元位置計測装置として、コンピュータを機能させるためのプログラムであって、コンピュータを、複数の現地構造物特徴点の三次元位置と、複数のカメラの各カメラに関する情報とに基づいて、各カメラの画像上の複数の現地構造物特徴点の理論二次元座標を算出する理論二次元座標算出手段と、各カメラで撮影された複数の現地構造物特徴点が表示された各カメラの画像上の複数の現地構造物特徴点の実二次元座標と、複数の現地構造物特徴点の理論二次元座標との差分を算出する差分算出手段と、複数の現地構造物特徴点の実二次元座標と、差分とに基づいて、複数の現地構造物特徴点の実二次元座標を複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定する座標補正式決定手段と、各カメラで撮影された計測対象が表示された各カメラの画像上の計測対象の実二次元座標を座標補正式で補正することにより、計測対象の補正二次元座標を算出する補正二次元座標算出手段と、計測対象の補正二次元座標と、各カメラに関する情報とに基づいて、計測対象の三次元位置を算出する三次元位置算出手段として機能させるためのプログラムも提供する。

本発明によれば、複数の特徴物体を備えた冶具を設置することが困難な計測領域においても、計測対象の三次元位置を算出することが可能となる。

本発明の実施の形態における三次元位置計測システムの全体構成例を示した図である。 （ａ），（ｂ）は、複数のカメラの固定状態と各カメラの三次元位置及び角度の定義とを示した図である。 （ａ），（ｂ）は、計測領域における全体座標系からカメラ座標系への座標系の変換について示した図である。 （ａ），（ｂ）は、カメラ座標系における複数の現地構造物特徴点の三次元座標とカメラの視野角及び画素数との関係を示した図である。 （ａ），（ｂ）は、複数の現地構造物特徴点について、各カメラ画像上の実位置と理論位置との違いを示した図である。 （ａ）〜（ｄ）は、第１の実施の形態における、複数の現地構造物特徴点について、実位置のＸ座標又はＹ座標を横軸に、それに対応する理論位置との差分を縦軸にとったグラフである。 （ａ），（ｂ）は、計測対象について、各カメラ画像上の実位置を示した図である。 ある計測対象について従来手法及び第１の実施の形態の手法で三次元位置計測を行った結果における各方向の誤差を示したグラフである。 （ａ）〜（ｄ）は、第２の実施の形態における、複数の現地構造物特徴点について、実位置のＸ座標及びＹ座標を横軸に、それに対応する理論位置との差分を縦軸にとったグラフである。 ある計測対象について第１の実施の形態の手法及び第２の実施の形態の手法で三次元位置計測を行った結果における各方向の誤差を示したグラフである。 （ａ），（ｂ）は、第３の実施の形態における、計測対象が広域である場合の各カメラ画像に表示された計測対象を示した図である。 （ａ）〜（ｃ）は、第３の実施の形態における、関心点の抽出及び特徴量マッチングについて示した図である。 本発明の実施の形態における三次元位置計測装置の動作例を示したフローチャートである。 本発明の実施の形態における三次元位置計測装置によって計測した広域な計測対象の三次元位置計測結果を示した図である。 本発明の実施の形態における三次元位置計測装置のハードウェア構成例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
（三次元位置計測システムの構成）
図１は、第１の実施の形態における三次元位置計測システム１の全体構成例を示した図である。図示するように、第１の実施の形態における三次元位置計測システム１は、複数のカメラ１０と、三次元位置計測装置２０とを含む。

複数のカメラ１０は、計測領域に固定される。その際、複数のカメラ１０は、その方向が平行で、複数の現地構造物特徴点及び計測対象が各カメラ１０の視野範囲に収まるように固定される。

三次元位置計測装置２０は、カメラ情報取得部２１と、特徴点座標取得部２２と、特徴点理論座標算出部２３と、特徴点実座標取得部２４と、差分算出部２５と、座標補正式決定部２６と、計測対象実座標取得部２７と、補正座標算出部２８と、計測対象座標算出部２９とを備える。

カメラ情報取得部２１は、計測領域の全体座標系におけるカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等のカメラ１０に関する情報（カメラ情報）を取得する。

特徴点座標取得部２２は、計測領域の全体座標系における複数の現地構造物特徴点の三次元座標を取得する。ここで、現地構造物特徴点とは、計測領域に存在する構造物（現地構造物）に固定された特徴点であって、計測対象と共に撮影され得る特徴点である。現地構造物特徴点としては、現地構造物に刻まれた目盛、現地構造物の一部をなす窓の四隅等が例示される。また、特徴点座標取得部２２は、現地構造物特徴点の三次元座標を、現地構造物の図面等を参照して計算することにより取得してもよいし、人間が現地構造物の図面等を参照して計算した結果が与えられることにより取得してもよい。

特徴点理論座標算出部２３は、カメラ情報取得部２１により取得されたカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等のカメラ情報と、特徴点座標取得部２２により取得された計測領域の全体座標系における複数の現地構造物特徴点の三次元座標とに基づいて、各カメラ１０の画像（以下、「カメラ画像」という）上の複数の現地構造物特徴点の理論二次元座標を算出する。本実施の形態では、理論二次元座標算出手段の一例として、特徴点理論座標算出部２３を設けている。

特徴点実座標取得部２４は、各カメラ１０で撮影された複数の現地構造物特徴点が実際に表示された各カメラ画像上の座標である複数の現地構造物特徴点の実二次元座標を取得する。

差分算出部２５は、特徴点理論座標算出部２３により算出された複数の現地構造物特徴点の理論二次元座標と、特徴点実座標取得部２４により取得された複数の現地構造物特徴点の実二次元座標との差分を算出する。本実施の形態では、差分算出手段の一例として、差分算出部２５を設けている。

座標補正式決定部２６は、特徴点実座標取得部２４により取得された複数の現地構造物特徴点の実二次元座標と、差分算出部２５により算出された差分とに基づいて、複数の現地構造物特徴点の実二次元座標を理論二次元座標へと補正するための座標補正式を決定する。例えば、座標補正式決定部２６は、複数の現地構造物特徴点の実二次元座標と上記差分とを用いた回帰分析により、座標補正式を決定するとよい。本実施の形態では、座標補正式決定手段の一例として、座標補正式決定部２６を設けている。

計測対象実座標取得部２７は、各カメラ１０で撮影された計測対象が実際に表示された各カメラ画像上の座標である計測対象の実二次元座標を取得する。例えば、計測対象実座標取得部２７は、各カメラ画像から計測対象の実二次元座標を取得するとよい。本実施の形態では、実二次元座標取得手段の一例として、計測対象実座標取得部２７を設けている。

補正座標算出部２８は、計測対象実座標取得部２７により取得された計測対象の実二次元座標に、座標補正式決定部２６により決定された座標補正式を施すことにより、計測対象の補正二次元座標を算出する。本実施の形態では、補正二次元座標算出手段の一例として、補正座標算出部２８を設けている。

計測対象座標算出部２９は、補正座標算出部２８により算出された計測対象の補正二次元座標と、カメラ情報取得部２１により取得された計測領域の全体座標系におけるカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等のカメラ情報とに基づいて、計測領域の全体座標系における計測対象の三次元座標を算出する。本実施の形態では、三次元位置算出手段の一例として、計測対象座標算出部２９を設けている。

以下、各構成要素について詳細に説明する。

（カメラ）
図２（ａ），（ｂ）は、第１の実施の形態における複数のカメラ１０の固定状態と各カメラ１０の三次元位置及び角度の定義とを示した図である。（ａ）は、カメラ１０の固定状態を上から見た図であり、（ｂ）は、カメラ１０の固定状態を横から見た図である。複数のカメラ１０は、計測領域３０内にある複数の現地構造物特徴点４０及び計測対象５０が視野範囲に収まるように固定される。ここでは、複数の現地構造物特徴点４０を計測領域３０の壁面に施された等間隔の目盛とし、複数のカメラ１０を２台のカメラ１０ａ，１０ｂとする。計測領域３０の全体座標系ΣＯを図のように定義したとき、カメラ１０はｘ軸に対し直角かつその方向が平行となるように固定される。このとき、全体座標系ΣＯの原点に近い方、つまり左側のカメラ１０ａの三次元位置を（Ｌ_ｘ，Ｌ_ｙ，Ｌ_ｚ）と定義すると、原点から遠い方、つまり右側のカメラ１０ｂの三次元位置は（Ｌ_ｘ＋ｂ，Ｌ_ｙ，Ｌ_ｚ）と表される。尚、ｂは、カメラ１０ａとカメラ１０ｂとのｘ方向の間隔である。また、カメラの角度は、下向きにｚ軸となす角度をθと定義する。

（カメラ情報取得部）
カメラ情報取得部２１は、上述したカメラ１０ａの三次元位置（Ｌ_ｘ，Ｌ_ｙ，Ｌ_ｚ）と、カメラ１０ｂの三次元位置（Ｌ_ｘ＋ｂ，Ｌ_ｙ，Ｌ_ｚ）と、カメラ１０の角度θとを取得する。また、カメラ１０の水平方向の視野角φ_ｘ、鉛直方向の視野角をφ_ｙ、水平方向の画素数Ｗ、鉛直方向の画素数Ｈを取得する。そして、カメラ情報取得部２１は、これらの情報を特徴点理論座標算出部２３及び計測対象座標算出部２９に出力する。

（特徴点座標取得部）
特徴点座標取得部２２は、全体座標系ΣＯにおける複数の現地構造物特徴点４０の三次元座標（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）を取得する。そして、特徴点座標取得部２２は、この三次元座標（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）を特徴点理論座標算出部２３に出力する。

（特徴点理論座標算出部）
特徴点理論座標算出部２３は、カメラ画像上の複数の現地構造物特徴点４０の理論二次元座標を、以下のように計算する。

まず、特徴点理論座標算出部２３は、特徴点座標取得部２２により取得された複数の現地構造物特徴点４０の三次元座標を、全体座標系ΣＯからカメラ座標系ΣＯ’へ変換する。

図３（ａ），（ｂ）は、計測領域３０における全体座標系ΣＯからカメラ座標系ΣＯ’への座標系の変換について示した図である。（ａ）は、座標系の変換の様子を上から見た図であり、（ｂ）は、座標系の変換の様子を横から見た図である。カメラ座標系ΣＯ’は、全体座標系ΣＯのカメラ１０ａの位置を新たな原点とし、カメラ１０ａの方向がｚ軸となるように全体座標系ΣＯを移動及び回転させた座標系である。全体座標系ΣＯにおける現地構造物特徴点４０の三次元座標を（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）とし、カメラ座標系ΣＯ’における現地構造物特徴点４０の三次元座標を（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ)とすると、次の座標変換式によってカメラ座標系ΣＯ’における三次元座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ)を求めることができる。

次に、特徴点理論座標算出部２３は、カメラ画像上の１ピクセルに相当する計測領域３０での距離を計算する。

図４（ａ），（ｂ）は、カメラ座標系ΣＯ’における複数の現地構造物特徴点４０の三次元座標と、カメラ１０の視野角及び画素数との関係を示した図である。（ａ）は、水平方向について示した図であり、（ｂ）は、鉛直方向について示した図である。カメラ画像の水平方向の１ピクセルに相当する計測領域３０での距離ｐ_ｘ及び鉛直方向の１ピクセルに相当する計測領域３０での距離ｐ_ｙは、カメラ１０の水平方向の視野角φ_ｘ、鉛直方向の視野角φ_ｙ、水平方向の画素数Ｗ、鉛直方向の画素数Ｈを用いて、次のように表される。

これにより、特徴点理論座標算出部２３は、各カメラ画像上の複数の現地構造物特徴点４０の理論二次元座標を計算する。具体的には、カメラ１０ａのカメラ画像における理論二次元座標（Ｘ_ｓ＿ｔｈ ^{ｉｍｌｅｆｔ}，Ｙ_ｓ＿ｔｈ ^{ｉｍｌｅｆｔ}）及びカメラ１０ｂのカメラ画像における理論二次元座標（Ｘ_ｓ＿ｔｈ ^{ｉｍｒｉｇｈｔ}，Ｙ_ｓ＿ｔｈ ^{ｉｍｒｉｇｈｔ}）を、次のように定式化する。尚、本明細書では、式中で、変数が上付き文字及び下付き文字を有する場合、テキスト中では、先に下付き文字を記述し、後に上付き文字を記載するものとする。

そして、特徴点理論座標算出部２３は、これらの理論二次元座標を差分算出部２５に出力する。

また、特徴点理論座標算出部２３は、カメラ１０の焦点距離fを次の式により計算する。

そして、特徴点理論座標算出部２３は、この焦点距離ｆを計測対象座標算出部２９に出力する。

（特徴点実座標取得部）
特徴点実座標取得部２４は、カメラ１０ａで撮影された複数の現地構造物特徴点４０が実際に表示されたカメラ画像上の座標である実二次元座標（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）と、カメラ１０ｂで撮影された複数の現地構造物特徴点４０が実際に表示されたカメラ画像上の座標である実二次元座標（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）とを取得する。そして、特徴点実座標取得部２４は、これらの実二次元座標（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）を差分算出部２５及び座標補正式決定部２６に出力する。

（差分算出部）
図５（ａ），（ｂ）は、複数の現地構造物特徴点４０について、各カメラ画像上の実位置と理論位置との違いを示した図である。（ａ）は、カメラ１０ａのカメラ画像１１ａ上の実位置４１ａと理論位置４２ａとの違いを示した図であり、（ｂ）は、カメラ１０ｂのカメラ画像１１ｂ上の実位置４１ｂと理論位置４２ｂとの違いを示した図である。（ａ）では、カメラ画像１１ａ上に、特徴点実座標取得部２４により取得された複数の現地構造物特徴点４０の実位置４１ａである実二次元座標（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）と、特徴点理論座標算出部２３により算出された複数の現地構造物特徴点４０の理論位置４２ａである理論二次元座標（Ｘ_ｓ＿ｔｈ ^{ｉｍｌｅｆｔ}，Ｙ_ｓ＿ｔｈ ^{ｉｍｌｅｆｔ}）とが違うことが示されている。（ｂ）では、カメラ画像１１ｂ上に、特徴点実座標取得部２４により取得された複数の現地構造物特徴点４０の実位置４１ｂである実二次元座標（Ｘ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｓ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）と、特徴点理論座標算出部２３により算出された複数の現地構造物特徴点４０の理論位置４２ｂである理論二次元座標（Ｘ_ｓ＿ｔｈ ^{ｉｍｒｉｇｈｔ}，Ｙ_ｓ＿ｔｈ ^{ｉｍｒｉｇｈｔ}）とが違うことが示されている。ここで、実位置４１と理論位置４２との違いは、カメラ１０のレンズの歪みやガタ、組立誤差等の影響で生じることが知られている。差分算出部２５は、この実位置４１と理論位置４２との差分を、各カメラ１０の方向別に計算する。即ち、差分算出部２５は、次のように差分を算出する。

（座標補正式決定部）
図６（ａ）〜（ｄ）は、複数の現地構造物特徴点４０について、図５（ａ），（ｂ）における実位置４１ａ，４１ｂのＸ座標又はＹ座標を横軸に、それに対応する理論位置４２ａ，４２ｂとの差分を縦軸にとり、プロットしたグラフである。（ａ）は、実位置４１ａと理論位置４２ａとの差分のＸ成分に関するグラフであり、（ｂ）は、実位置４１ａと理論位置４２ａとの差分のＹ成分に関するグラフであり、（ｃ）は、実位置４１ｂと理論位置４２ｂとの差分のＸ成分に関するグラフであり、（ｄ）は、実位置４１ｂと理論位置４２ｂとの差分のＹ成分に関するグラフである。図６（ａ）〜（ｄ）から、複数の現地構造物特徴点４０の実位置４１と、複数の現地構造物特徴点４０の実位置４１及び理論位置４２の差分との間には、負の相対関係があることが分かる。尚、負の相関関係は、広角レンズを使用した場合に起こり得る傾向である。ここでは、この相関関係を次のように定義する。

これにより、座標補正式決定部２６は、複数の現地構造物特徴点４０の実二次元座標を理論二次元座標へ補正するための座標補正式を次のように決定する。

これは、複数の現地構造物特徴点４０の実二次元座標のＸ座標及びＹ座標の各座標を説明変数とし、複数の現地構造物特徴点４０の実二次元座標及び理論二次元座標の差分のＸ成分及びＹ成分の各成分を目的変数とする単回帰分析により、座標補正式を決定するものと捉えることができる。

そして、座標補正式決定部２６は、この座標補正式を補正座標算出部２８に出力する。

（計測対象実座標取得部）
計測対象実座標取得部２７は、カメラ１０ａで撮影された計測対象５０が実際に表示されたカメラ画像１１ａ上の座標である実二次元座標（Ｘ_{t＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）と、カメラ１０ｂで撮影された計測対象５０が実際に表示されたカメラ画像１１ｂ上の座標である実二次元座標（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）とを取得する。ここでは、例えば、人間が各カメラ画像上で指示した計測対象５０を示す点を受け付けることにより、実二次元座標を取得するとよい。そして、計測対象実座標取得部２７は、これらの実二次元座標（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）を補正座標算出部２８に出力する。

（補正座標算出部）
図７（ａ），（ｂ）は、計測対象５０について、各カメラ画像１１上の実位置５１を図５（ａ），（ｂ）に重ね合わせて示した図である。（ａ）は、カメラ画像１１ａ上の実位置５１ａを示した図であり、（ｂ）は、カメラ画像１１ｂ上の実位置５１ｂを示した図である。（ａ）では、カメラ画像１１ａ上に、計測対象実座標取得部２７により取得された計測対象５０の実位置５１ａである実二次元座標（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）が示されている。（ｂ）では、カメラ画像１１ｂ上に、計測対象実座標取得部２７により取得された計測対象５０の実位置５１ｂである実二次元座標（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）が示されている。この計測対象５０についても、上述のように、カメラ画像１１上に表示された実位置５１とは別に理論位置が存在する。同じカメラ画像１１上に複数の現地構造物特徴点４０の実位置４１と計測対象５０とが含まれている場合、計測対象５０についても、上記の実位置４１から理論位置４２への座標補正式を適用することが可能と考えられる。即ち、補正座標算出部２８は、計測対象５０の各カメラ画像１１上に表示された座標である実二次元座標（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｒｅａｌ} ^{ｉｍｒｉｇｈｔ}）から、次の式によって、補正二次元座標（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}）を算出する。

尚、図７（ａ），（ｂ）には、これらの補正二次元座標で表される補正位置５２ａ，５２ｂも示している。そして、補正座標算出部２８は、これらの補正二次元座標（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}）を計測対象座標算出部２９に出力する。

（計測対象座標算出部）
計測対象座標算出部２９は、補正座標算出部２８により算出された補正二次元座標（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｌｅｆｔ}）、（Ｘ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}，Ｙ_{ｔ＿ｃｏｒ} ^{ｉｍｒｉｇｈｔ}）から、複数の現地構造物特徴点４０の理論二次元座標を算出した計算過程を逆に辿ることによって、計測対象５０のカメラ座標系ΣＯ’における三次元座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）及び全体座標系ΣＯにおける三次元座標（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）を算出する。

まず、カメラ１０は鉛直方向の高さが同じであることから、計測対象５０の補正位置５２のＹ座標は左右で同じ値となる必要がある。そのため、計測対象座標算出部２９は、計測対象５０の理論二次元座標（Ｘ_ｔ＿ｔｈ ^{ｉｍｌｅｆｔ}，Ｙ_ｔ＿ｔｈ ^{ｉｍｌｅｆｔ}）、（Ｘ_ｔ＿ｔｈ ^{ｉｍｒｉｇｈｔ}，Ｙ_ｔ＿ｔｈ ^{ｉｍｒｉｇｈｔ}）のＸ方向については、次の式で表されるように、補正二次元座標をそのまま採用する。

また、計測対象座標算出部２９は、Ｙ方向については、次の式で表されるように、カメラ画像１１ａ上の補正二次元座標とカメラ画像１１ｂ上の補正二次元座標との平均値を採用する。

次に、計測対象座標算出部２９は、計測対象５０のカメラ座標系ΣＯ’におけるＺ座標Ｚ_ｔを算出する。具体的には、次の式のように、カメラ焦点距離の計算式を逆算することにより、Ｚ_ｔを算出する。尚、ｂとしては、カメラ情報取得部２１により取得されたものを用いるとよく、ｆとしては、特徴点理論座標算出部２３により算出されたものを用いるとよい。

次に、計測対象座標算出部２９は、カメラ画像１１上の１ピクセルに相当する計測領域３０での距離を算出する。図４を参照して述べたとのと同様に、カメラ画像１１の水平方向の１ピクセル長に相当する計測領域３０での距離ｐ_ｘ’及び鉛直方向の１ピクセルに相当する計測領域３０での距離ｐ_ｙ’は、次のように表される。

次に、計測対象座標算出部２９は、このｐ_ｘ’及びｐ_ｙ’を用いて、計測対象５０のカメラ座標系ΣＯ’におけるＸ座標Ｘ_ｔ及びＹ座標Ｙ_ｔを、次の式により算出する。

最後に、計測対象座標算出部２９は、計測対象５０の三次元座標を、カメラ座標系ΣＯ’から全体座標系ΣＯへ変換する。具体的には、全体座標系ΣＯにおける計測対象５０の三次元座標（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）を、次の式により算出する。

（効果）
図８は、ある計測対象について、従来手法及び第１の実施の形態の手法でそれぞれ三次元位置計測を行い、その計測結果の各方向の誤差を棒グラフにまとめたものである。図８から、従来手法よりも第１の実施の形態の手法の方が全ての方向で誤差が少ないことが分かる。即ち、第１の実施の形態の手法によって、複数の特徴物体を備えた冶具の設置を必要とすることなく、計測対象の三次元位置を簡便に求めることが可能となる。

［第２の実施の形態］
（三次元位置計測装置の構成）
第２の実施の形態では、座標補正式決定部２６が、複数の現地構造物特徴点４０の実二次元座標を理論二次元座標へ補正するための座標補正式を、各カメラ画像１１のＸ座標及びＹ座標の２成分からなる重回帰分析で決定する。

図９（ａ）〜（ｄ）は、複数の現地構造物特徴点４０について、図５（ａ），（ｂ）における実位置４１ａ，４１ｂのＸ座標及びＹ座標を横軸に、それに対応する理論位置４２ａ，４２ｂとの差分を縦軸にとり、プロットしたグラフである。（ａ）は、実位置４１ａと理論位置４２ａとの差分のＸ成分に関するグラフであり、（ｂ）は、実位置４１ａと理論位置４２ａとの差分のＹ成分に関するグラフであり、（ｃ）は、実位置４１ｂと理論位置４２ｂとの差分のＸ成分に関するグラフであり、（ｄ）は、実位置４１ｂと理論位置４２ｂとの差分のＹ成分に関するグラフである。図９（ａ）〜（ｄ）から、複数の現地構造物特徴点４０の実位置４１と、複数の現地構造物特徴点４０の実位置４１及び理論位置４２の差分との間には、２成分でも相対関係があることが分かる。ここでは、この相関関係を次のように定義する。

これにより、座標補正式決定部２６は、複数の現地構造物特徴点４０の実二次元座標を理論二次元座標へ補正するための座標補正式を次のように決定する。

これは、複数の現地構造物特徴点４０の実二次元座標のＸ座標及びＹ座標の組み合わせを説明変数とし、複数の現地構造物特徴点４０の実二次元座標及び理論二次元座標の差分のＸ成分及びＹ成分の各成分を目的変数とする重回帰分析により、座標補正式を決定するものと捉えることができる。

図１に示した他の構成要素については第１の実施の形態と同じである。

（効果）
図１０は、ある計測対象について、第１の実施の形態の手法（単回帰分析）及び第２の実施の形態の手法（重回帰分析）でそれぞれ三次元位置計測を行い、その計測結果の各方向の誤差を棒グラフにまとめたものである。図１０から、第１の実施の形態の手法（単回帰分析）よりも第２の実施の形態の手法（重回帰分析）の方が全ての方向で誤差が少ないことが分かる。即ち、第２の実施の形態の手法によって、計測対象の補正をより高精度に行うことが可能となる。

［第３の実施の形態］
（三次元位置計測装置の構成）
第３の実施の形態では、計測対象実座標取得部２７が、各カメラ１０で撮影された計測対象５０の実二次元座標の取得を、各カメラ画像１１から少なくとも１つの関心点（計測対象５０を示すと判定される点）を抽出して、この少なくとも１つの関心点の間で対応点を探索する方法により行う。

図１１（ａ），（ｂ）は、計測対象５０が広域である場合における各カメラ画像１１に表示された計測対象５０を示した図である。（ａ）は、カメラ画像１１ａに表示された計測対象５０を示した図であり、（ｂ）は、カメラ画像１１ｂに表示された計測対象５０を示した図である。計測対象５０が広域な場合、計測対象５０が表示される各カメラ画像１１上の座標である実位置５１は点群を構成する。この場合、全ての計測対象５０の実位置５１を手動で求めることは困難である。そこで、第３の実施の形態では、計測対象実座標取得部２７が、広域な計測対象５０について少なくとも１つの関心点を抽出し、この少なくとも１つの関心点の間で特徴量マッチングを行うことで、計測対象５０全体の実二次元座標を取得する。ここで、関心点の抽出及び特徴量マッチングは、回転や拡大縮小の影響を受け難いＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等を用いて行えばよい。

図１に示した他の構成要素については第１の実施の形態と同じである。

（効果）
図１２（ａ）〜（ｃ）は、関心点の抽出及び特徴量マッチングについて示した図である。（ａ）は、カメラ画像１１ａから抽出された少なくとも１つの関心点を示した図であり、（ｂ）は、カメラ画像１１ｂから抽出された少なくとも１つの関心点を示した図である。また、（ｃ）は、カメラ画像１１ａから抽出された少なくとも１つの関心点と、カメラ画像１１ｂから抽出された少なくとも１つの関心点との間で、特徴量マッチングによって対応点を探索した結果を示した図である。

図１２（ａ）〜（ｃ）から、広域な計測対象５０を点群として扱うことができ、カメラ画像１１ａ上の点群とカメラ画像１１ｂ上の点群との対応がとれていることが分かる。即ち、第３の実施の形態の手法によって広域な計測対象５０でも三次元位置計測を行うことが可能となる。

［第１乃至第３の実施の形態の動作］
図１３は、第１乃至第３の実施の形態における三次元位置計測装置２０の動作例を示したフローチャートである。

動作を開始すると、まず、カメラ情報取得部２１が、カメラ情報を取得する（ステップ２０１）。ここで、カメラ情報は、計測領域３０の全体座標系におけるカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等を含む。

次に、特徴点座標取得部２２が、計測領域３０の全体座標系における複数の現地構造物特徴点４０の三次元座標を取得する（ステップ２０２）。

次に、特徴点理論座標算出部２３が、ステップ２０１で取得されたカメラ情報と、ステップ２０２で取得された計測領域３０の全体座標系における複数の現地構造物特徴点４０の三次元座標とに基づいて、各カメラ画像１１上の複数の現地構造物特徴点４０の理論二次元座標を算出する（ステップ２０３）。ここで用いられるカメラ情報も、計測領域３０の全体座標系におけるカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等を含む。

次に、特徴点実座標取得部２４が、各カメラ１０で撮影された複数の現地構造物特徴点４０が実際に表示された各カメラ画像１１上の座標である複数の現地構造物特徴点４０の実二次元座標を取得する（ステップ２０４）。

次に、差分算出部２５が、ステップ２０３で算出された複数の現地構造物特徴点４０の理論二次元座標と、ステップ２０４で取得された複数の現地構造物特徴点４０の実二次元座標との差分を算出する（ステップ２０５）。

次に、座標補正式決定部２６が、ステップ２０４で取得された複数の現地構造物特徴点４０の実二次元座標と、ステップ２０５で算出された差分とに基づいて、複数の現地構造物特徴点４０の実二次元座標を理論二次元座標へ補正するための座標補正式を決定する（ステップ２０６）。

次に、計測対象実座標取得部２７が、各カメラ１０で撮影された計測対象５０が実際に表示された各カメラ画像１１上の座標である計測対象５０の実二次元座標を取得する（ステップ２０７）。

次に、補正座標算出部２８が、ステップ２０７で取得された計測対象５０の実二次元座標に、ステップ２０６で決定された座標補正式を施すことにより、計測対象の補正二次元座標を算出する（ステップ２０８）。

最後に、計測対象座標算出部２９が、ステップ２０８で算出された計測対象の補正二次元座標と、ステップ２０１で取得されたカメラ情報とに基づいて、計測領域３０の全体座標系における計測対象５０の三次元位置を算出する（ステップ２０９）。ここで用いられるカメラ情報も、計測領域３０の全体座標系におけるカメラ１０の三次元位置及び角度、カメラ１０の視野角及び画素数等を含む。

［第１乃至第３の実施の形態の効果］
図１４は、第１乃至第３の実施の形態における三次元位置計測装置２０によって計測した、ある広域な計測対象５０の三次元位置計測結果を示した図である。図１４から、計測対象５０の三次元位置を点群データとして再現できていることが分かる。即ち、第１乃至第３の実施の形態における三次元位置計測装置２０によって、計測対象５０の三次元位置計測を行うことが可能となる。

［三次元位置計測装置のハードウェア構成］
図１５は、第１乃至第３の実施の形態における三次元位置計測装置２０のハードウェア構成例を示す図である。

図示するように、第１乃至第３の実施の形態における三次元位置計測装置２０は、例えば汎用のＰＣ（Personal Computer）等により実現され、演算手段であるＣＰＵ９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行し、制御装置１００の各機能を実現する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、記憶媒体の一例であって、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。

また、三次元位置計測装置２０は、外部との通信を行うための通信Ｉ／Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６と、記憶媒体に対してデータの読み書きを行うためのドライバ９７とを備える。尚、図１５は、三次元位置計測装置２０をコンピュータシステムにて実現した場合のハードウェア構成を例示するに過ぎず、三次元位置計測装置２０は図示の構成に限定されない。

１０…カメラ、２０…三次元位置計測装置、２１…カメラ情報取得部、２２…特徴点座標取得部、２３…特徴点理論座標算出部、２４…特徴点実座標取得部、２５…差分算出部、２６…座標補正式決定部、２７…計測対象実座標取得部、２８…補正座標算出部、２９…計測対象座標算出部

Claims (10)

1. 複数のカメラを用いて計測対象の三次元位置を計測する三次元位置計測装置であって、
   複数の現地構造物特徴点の三次元位置と、前記複数のカメラの各カメラに関する情報とに基づいて、当該各カメラの画像上の当該複数の現地構造物特徴点の理論二次元座標を算出する理論二次元座標算出手段と、
   前記各カメラで撮影された前記複数の現地構造物特徴点が表示された当該各カメラの画像上の当該複数の現地構造物特徴点の実二次元座標と、当該複数の現地構造物特徴点の理論二次元座標との差分を算出する差分算出手段と、
   前記複数の現地構造物特徴点の実二次元座標と、前記差分とに基づいて、当該複数の現地構造物特徴点の実二次元座標を当該複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定する座標補正式決定手段と、
   前記各カメラで撮影された前記計測対象が表示された当該各カメラの画像上の当該計測対象の実二次元座標を前記座標補正式で補正することにより、当該計測対象の補正二次元座標を算出する補正二次元座標算出手段と、
   前記計測対象の補正二次元座標と、前記各カメラに関する情報とに基づいて、当該計測対象の三次元位置を算出する三次元位置算出手段と
   を備えたことを特徴とする三次元位置計測装置。
2. 前記各カメラに関する情報は、当該各カメラの位置及び角度、並びに当該各カメラの視野角及び画素数を含むことを特徴とする請求項１に記載の三次元位置計測装置。
3. 前記座標補正式決定手段は、前記複数の現地構造物特徴点の実二次元座標と前記差分とを用いた回帰分析により、前記座標補正式を決定することを特徴とする請求項１に記載の三次元位置計測装置。
4. 前記回帰分析は、前記複数の現地構造物特徴点の実二次元座標のＸ座標及びＹ座標の各座標を説明変数とし、前記差分のＸ成分及びＹ成分の各成分を目的変数とする単回帰分析であることを特徴とする請求項３に記載の三次元位置計測装置。
5. 前記回帰分析は、前記複数の現地構造物特徴点の実二次元座標のＸ座標及びＹ座標の組み合わせを説明変数とし、前記差分のＸ成分及びＹ成分の各成分を目的変数とする重回帰分析であることを特徴とする請求項３に記載の三次元位置計測装置。
6. 前記各カメラの画像から前記計測対象の実二次元座標を取得する実二次元座標取得手段を更に備えたことを特徴とする請求項１に記載の三次元位置計測装置。
7. 前記実二次元座標取得手段は、前記各カメラの画像上で指示された前記計測対象を示す点を受け付けることにより、当該計測対象の実二次元座標を取得することを特徴とする請求項６に記載の三次元位置計測装置。
8. 前記実二次元座標取得手段は、前記各カメラの画像から前記計測対象を示す少なくとも１つの点を抽出し、当該各カメラの画像から抽出された当該少なくとも１つの点の間で対応する点を探索することにより、当該計測対象の実二次元座標を取得することを特徴とする請求項６に記載の三次元位置計測装置。
9. 複数のカメラを用いてコンピュータが計測対象の三次元位置を計測する三次元位置計測方法であって、
   前記コンピュータが、複数の現地構造物特徴点の三次元位置と、前記複数のカメラの各カメラに関する情報とに基づいて、当該各カメラの画像上の当該複数の現地構造物特徴点の理論二次元座標を算出するステップと、
   前記コンピュータが、前記各カメラで撮影された前記複数の現地構造物特徴点が表示された当該各カメラの画像上の当該複数の現地構造物特徴点の実二次元座標と、当該複数の現地構造物特徴点の理論二次元座標との差分を算出するステップと、
   前記コンピュータが、前記複数の現地構造物特徴点の実二次元座標と、前記差分とに基づいて、当該複数の現地構造物特徴点の実二次元座標を当該複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定するステップと、
   前記コンピュータが、前記各カメラで撮影された前記計測対象が表示された当該各カメラの画像上の当該計測対象の実二次元座標を前記座標補正式で補正することにより、当該計測対象の補正二次元座標を算出するステップと、
   前記コンピュータが、前記計測対象の補正二次元座標と、前記各カメラに関する情報とに基づいて、当該計測対象の三次元位置を算出するステップと
   を含むことを特徴とする三次元位置計測方法。
10. 複数のカメラを用いて計測対象の三次元位置を計測する三次元位置計測装置として、コンピュータを機能させるためのプログラムであって、
    前記コンピュータを、
    複数の現地構造物特徴点の三次元位置と、前記複数のカメラの各カメラに関する情報とに基づいて、当該各カメラの画像上の当該複数の現地構造物特徴点の理論二次元座標を算出する理論二次元座標算出手段と、
    前記各カメラで撮影された前記複数の現地構造物特徴点が表示された当該各カメラの画像上の当該複数の現地構造物特徴点の実二次元座標と、当該複数の現地構造物特徴点の理論二次元座標との差分を算出する差分算出手段と、
    前記複数の現地構造物特徴点の実二次元座標と、前記差分とに基づいて、当該複数の現地構造物特徴点の実二次元座標を当該複数の現地構造物特徴点の理論二次元座標へ補正するための座標補正式を決定する座標補正式決定手段と、
    前記各カメラで撮影された前記計測対象が表示された当該各カメラの画像上の当該計測対象の実二次元座標を前記座標補正式で補正することにより、当該計測対象の補正二次元座標を算出する補正二次元座標算出手段と、
    前記計測対象の補正二次元座標と、前記各カメラに関する情報とに基づいて、当該計測対象の三次元位置を算出する三次元位置算出手段と
    して機能させるためのプログラム。