JP2010043961A - 三次元画像計測システム - Google Patents

Abstract

【課題】 計測対象を撮影して三次元座標を計測する際に、撮影位置を高精度に確保できない場所であっても、リアルタイム性に優れ、精度良く計測できる三次元画像計測システムを提供することを目的とする。
【解決手段】 移動体に搭載されて計測対象Ｐを撮影する撮影カメラ２００と、移動体の移動に応じて、撮影カメラ２００の平行ステレオ撮影を行い、撮影カメラ２００の三次元座標を順次計測するカメラ制御装置１００と、撮影カメラ２００で撮影された計測対象Ｐの画像データと撮影カメラ２００の三次元座標に基づいて、計測対象Ｐの三次元座標を生成する計測対象三次座標演算部３００と、を備える。
【選択図】図２

Description

本発明は、例えば地形や、橋、堤防などの被計測物の３次元形状や位置等を計測する３次元計測技術に関し、特には、飛行体などの移動体に搭載した撮影カメラを用いて計測対象を撮影し、その撮影された複数の画像データから計測対象の３次元形状や位置を計測する３次元画像計測システムに関する。

従来、地形や構造物等の計測対象の３次元形状や変位を計測する際に、計測対象にレーザー光を照射してその反射光を受光し、所定の位置から計測対象までの距離を計測するレーザー測距の技術が知られている（例えば、特許文献１参照）。

レーザー測距の技術は、１００ｍの距離を誤差数ｍｍで計測できて高精度を得ることができる。しかしながら、レーザーを用いた計測では、測定機器自体が高価な上、１度のレーザー照射では計測対象における１点の部位しか計測できないので、多数の部位を計測しようとする場合には、計測作業に多大な手間及び時間を要するという問題がある。

一方、近年、デジタルカメラやそのコンピュータの性能向上に伴って、計測対象をデジタルカメラで撮影して、計測対象の三次元座標や変位を写真測量する画像計測の技術が注目されている。

例えば、写真測量の技術として、計測対象をステレオ撮影し、得られたステレオ画像から計測対象の形状を計測する画像計測の技術が知られている。

画像計測の技術は、図５に表したように、三角測量の原理を用いている。また、この原理で画像計測することを平行ステレオ撮影と呼ぶ。

平行ステレオ撮影による画像計測は、計測対象を左右方向から写した複数の写真を用いて三次元計測する技術であって、それらの写真から形成される立体像と地上座標系とを対応させる方法で行われる（例えば、特許文献２参照）。

つまり、平行ステレオ撮影による画像計測では、２枚の対になった写真の対応点を指定することにより、計測対象点（Ｐ）の三次元座標を求め、両写真の対応点像が写真上の異なる点（Ｐ_１、Ｐ_２）に写るので、それぞれの像で写真上の位置の違い（所謂、視差である）を測る。そして、写真上の位置の違い（視差）には距離の情報が含まれるので、カメラから計測対象点までの距離を算出することができる。

また、平行ステレオ撮影では、カメラの較正において２つのカメラの主点位置（Ｏ_１、Ｏ_２）、焦点距離（ｃ）等を予め求めておき、２つの位置（Ｏ_１、Ｏ_２）で計測対象Ｐを撮影することによりステレオ画像を取得し、次いで、撮影の際の２つのカメラの傾きを求め、撮影位置の情報を使用して、画像を計測対象に対して平行で縦視差のない理想状態に修正し、この修正された画像を用いて計測対象の３次元データを得る。

また、計測対象が大きい場合は、複数の撮影位置から撮影する。その際、撮影カメラの設置位置の座標を精度良く検出することにより、計測対象に対して接触することなしに高精度の計測が可能になる。また、一般的に、撮影位置は、ＧＰＳデータや水準点を基準として、そこからの相対位置をレーザー測距器や巻尺などの計測機器等を用いて設定される。

ステレオ画像計測における理論的分解能は、カメラの焦点距離ｃ、基線長Ｂ、カメラの画像分解能（画像素子１ピクセルの大きさ）等に依存する。

即ち、図５において、計測対象Ｐの空間座標をＰ（ｘ，ｙ，ｚ）、カメラ１に撮像された計測対象Ｐの画像座標をＰ_１（ｘ_１，ｙ_１）カメラ２に撮像された計測対象Ｐの画像座標をＰ_２（ｘ_２，ｙ_２）、カメラ１における結像位置をＯ_１、カメラ２の結像位置をＯ_２、カメラ１及びカメラ２の焦点距離をｃ、基線長（カメラ１とカメラ２との光軸間距離である）をＢとすると、（式１）〜（式３）の関係がある。
ｘ_１＝ｃ・ｘ／ｚ…（式１）
ｙ_１＝ｙ_２＝ｃ・ｙ／ｚ …（式２）
ｘ_２−ｘ_１＝ｃ・Ｂ／ｚ …（式３）
そこで、式３によりｚを求め、この求めたｚを（式１）、（式２）に代入することにより、ｘ、ｙを求めることができ、これにより、計測対象Ｐの三次元座標Ｐ（ｘ，ｙ，ｚ）を得ることができる。

また、平面方向（カメラから計測対象に向かう光軸方向に直交する平面）の分解能をΔＸＹ、奥行方向（カメラから計測対象に向かう光軸方向）の分解能をΔＺ、カメラの画像分解能（１画ピクセルの大きさ）をΔｐ、撮影距離をＬとすると、（式４）、（式５）を用いて、夫々の分解能を求めることができる。
ΔＸＹ＝（Ｌ／Ｃ）×Δｐ … （式４）
ΔＺ＝（Ｌ／Ｂ）×ΔＸＹ … （式５）

例えば、焦点距離ｃを２０ｍｍ、撮影距離Ｌを１０ｍ、基線長Ｂを１ｍ、画像分解能Δｐを１０μｍとしたとき、これらの数値を（式４）、（式５）に代入することにより、平面分解能が５ｍｍ、奥行分解能が５ｃｍになる。

ところで、平行ステレオ撮影を用いた三次元画像計測の技術では、２台の撮影カメラ位置を精度良く確保する必要がある。そこで、撮影カメラの位置の確保が困難であって平行ステレオ撮影が適用できない状況、例えば、計測対象が危険地域にあって適当な撮影場所を確保できない場合には、計測対象を任意の複数の撮影位置から多数重複撮影して得た画像データから三次元計測を行う、バンドル法を用いた三次元画像計測が用いられている（例えば、特許文献３参照）。つまり、バンドル法は、撮影位置やカメラの姿勢に自由度があることを利点として用いられる。

また、バンドル法を用いた三次元計測では、計測対象となる地形や構造物中において三次元座標が既知である３点以上の基準点を用いて計測対象が計測される。

詳しくは、図６に表したように、バンドル法を用いた三次元計測は、対象点Ｐと撮像面上のｐとカメラの撮像中心（原点）との３点が一本の直線上に存在するという幾何学的原理に基づくものであって、地上座標系における対象点Ｐの三次元座標を（Ｘ，Ｙ，Ｚ）、地上座標系における像点ｐの三次元座標を（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）、地上座標系におけるカメラ中心（投影中心）の三次元座標を（Ｘ_０，Ｙ_０，Ｚ_０）、カメラの焦点距離をｃ、カメラ座標系におけるｘ軸、ｙ軸及びｚ軸の回りの回転角度を夫々ω、φ、κ、カメラ座標系における像点ｐの二次元座標を（ｘ，ｙ）とした場合、地上の対象物Ｐ（Ｘ，Ｙ，Ｚ）の傾いたカメラ座標系におけるカメラ座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）は（式６）で求められる。

また、前述の幾何学原理を、（式７）及び（式８）の共線条件式として表すことができる。

ここで、ａ_ｉ（添え字ｉは、行列における配置を示す）は、ω、φ、κに冠する回転行列の積が作る３×３の行列の９つの要素であり、（式９）の行列式で表される。

前述の（式６）〜（式８）において、カメラ位置（Ｘ_０，Ｙ_０，Ｚ_０）及びカメラ傾斜角（ω、φ、κ）の６つの未知数を含む。そこで、予め既知の３つ以上の基準点の座標をＸｐ、Ｙｐ、Ｚｐとして与えると共に、それらの基準点の値をＸ、Ｙ、Ｚとして与え、最小２乗法で解くことによって６つの未知数を算出する。

ところで、バンドル法を用いた三次元画像計測とステレオ撮影を用いた三次元画像計測の双方とも、人が容易に近づくことができない地形や構造物の計測の際には困難が伴う。そこで、このような場合には、ヘリコプターや気球などの移動体に搭載されたカメラを介して計測対象が撮影されている（所謂、空中三角測量である）。

この際、飛行体などの移動体の位置（撮影位置）を検出するための技術の一つとして、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）が知られている。

ＧＰＳを用いた計測では、移動体にＧＰＳ電波受信機を搭載して、複数の衛星群からのＧＰＳ信号を同時に受信することにより、緯度、経度、標高などの絶対的な地球座標を使って、自己位置（移動体体の位置）を決定できる。

しかしながら、標準のＧＰＳでは、移動体位置の検出精度がＧＰＳ衛星からのＧＰＳ電波の受信精度に依存し、ＧＰＳ電波の受信が困難な地域では利用できないという問題がある。

例えば、ＧＰＳでは、移動体位置の二次元座標(即ち、緯度及び経度)の決定のためには３つ以上の衛星が、また三次元座標(すなわち緯度、経度、及び、標高)の決定のためには４つ以上の衛星が、視界内にある必要がある。これらの視界を損なうとＧＰＳへの信頼性は著しく低下し、さらに、屋内や障害物を有する環境では、標準ＧＰＳは全く機能しない。また、ＧＰＳの精度は地域、季節、時刻により変動する。

そこで、上述のＧＰＳの欠点を補うための技術として、ＤＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＲＴＫ−ＧＰＳ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ ＧＰＳ）が知られている（例えば、特許文献４参照）。

両者とも予め位置座標が既知である基準局の測位情報を無線機などの通信手段を用いて移動体に送信し、移動体側において、その情報と移動体で測定した測位データを利用して自己位置の測定精度を向上させるシステムである。

ＤＧＰＳは、予め地上に位置が正確に分かっている場所にＧＰＳ受信機を配置して基準局とし、基準となる受信局（基準局）の測位誤差を求め、基準局が周辺の他のＧＰＳ受信局（移動体受信局）に対して誤差量を送信し、各ＧＰＳ受信機（移動体側受信局）が測位データをこの誤差量に従って補正することで測位精度を高めている。

つまり、ＤＧＰＳは、基準局でＧＰＳによって自己位置の測位を行い、実際の位置とＧＰＳで算出された位置のずれを、中波やＦＭ放送などの地上波で移動体側受信局に送信することにより、移動体側においてＧＰＳ衛星からの信号により測位した結果を補正する。

一方、ＤＧＰＳが伝搬時間の測定によるものであっって互いの相対位置（基準局と測定点の相対位置）を後処理で求めるに対し、ＲＴＫ−ＧＰＳは、実時間で実現しようとするものであって、ＧＰＳ信号の搬送波の位相を測定することによりｃｍレベルの高精度測位を可能としている。

つまり、ＲＴＫ−ＧＰＳでは、２台以上のＧＰＳ受信機（既知点となる基準局に１台以上、未知点となる移動体側受信局に１台以上）を利用し、同時に４機以上の同じＧＰＳ衛星を観測し、複数の基準局における誤差量から、特定の基準局を中心としたある範囲において、その基準局からある距離離れた測定点（移動体側受信局）における誤差量を検出する。

詳しくは、ＲＴＫ−ＧＰＳは、ＤＧＰと同様に基準局を設け、基準局及び移動体側受信局が同時に各衛星からの搬送波を連続的に観測し、搬送波位相積算値を計測する。移動体側受信局では基準局から送信された値を基に二重位相差を求めることにより、誤差要因を除去した上で三次元的に分布する一波長ごとの格子点群の中から正しい受信局位置を特定する。
特開２００４−１７０４２９号公報 特開２００２―０３１５０７号公報 特開２００２−２０２１２４号公報 特開２００６−２５４３９５号公報

前述のように、バンドル法を用いた三次元画像計測とステレオ撮影を用いた三次元画像計測の双方とも、人が容易に近づくことができない地形や構造物の計測の際には困難が伴う。

一方、カメラを飛行体などの移動体に搭載して計測対象の三次元画像を計測する際に、移動体の位置をＤＧＰＳやＲＴＫ―ＧＰＳを用いて計測する技術においても、標準のＧＰＳと同様に、ＧＰＳ電波の困難な地域では利用できないという問題があった。

また、ＤＧＰＳ及びＲＴＫ―ＧＰＳは、移動体が遮蔽物等の影響によって移動体が基準局から発信される情報を受信できない地域に移動した場合には、移動体の位置精度を向上できないという問題があった。

さらに、ＤＧＰＳとＲＴＫ−ＧＰＳのいずれの方式も、移動体側のＧＰＳ装置毎に、測位精度を補正するための専用通信装置を備える必要があるため、移動体一台あたりの設備費用が増大するという虞もあった。

そこで、本発明は、カメラを用いて地形や構造物等の計測対象を撮影し、撮影して得られた画像データから計測対象の三次元計測を行う際に、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる三次元画像計測システムを提供することを目的とする。

さらに、本発明は、移動体にカメラを搭載して計測対象を撮影する三次元画像計測システムにおいて、移動体の位置を計測する際に、ＤＧＰＳやＲＴＫ−ＧＰＳに較べて、ＤＧＰＳやＲＴＫ−ＧＰＳに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がＧＰＳ電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化が実現でき、実用性の良好な三次元画像計測システムを提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、三次元画像計測システムにおいて、移動体に搭載されて該移動体から計測対象を撮影する撮影カメラと、前記移動体の移動に応じて、前記撮影カメラの平行ステレオ撮影を行い、該撮影カメラの三次元座標を順次計測するカメラ制御装置と、前記撮影カメラで撮影された前記撮影対象の画像データと前記撮影カメラの三次元座標に基づいて、前記撮影対象の三次元座標を生成する三次元画像処理部と、を備えることを特徴とする。ここで求める三次元座標は、ＧＰＳで得られる緯度、経度、高度等の絶対座標ではなく、ある地点を基準としたときの相対座標でよい。本発明の三次元座標は、基準座標を地図やＧＰＳで別途測量することにより、容易に絶対座標へ変換可能である。

請求項１に記載の三次元画像計測システムによれば、移動体に搭載した撮影カメラをステレオ撮影して撮影カメラの三次元座標を生成するカメラ制御装置と、撮影カメラで撮影された画像データと撮影カメラの三次元座標に基づいて計測対象の三次元座標を生成する三次元画像処理部とを備えているので、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる。

また、請求項１に記載の三次元画像計測システムは、移動体に搭載された撮影カメラの三次元座標を計測する際に、ＤＧＰＳやＲＴＫ−ＧＰＳに較べて、ＤＧＰＳやＲＴＫ−ＧＰＳに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がＧＰＳ電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化を容易にできる。

また、請求項１に記載の三次元画像計測システムは、請求項２に記載の発明のように、前記撮影カメラの三次元座標に対応付けて、該撮影カメラの撮影タイミングを指令する撮影タイミング指令手段を備えることが好ましい。これにより、撮影タイミング指令手段を介して、撮影カメラの三次元座標と撮影動作とを容易に連動させることができる。

また、請求項１又は請求項２に記載の三次元画像計測システムは、請求項３に記載の発明のように、オペレータが前記撮影カメラの撮影タイミングを指令するオペレータ指令手段を備え、前記撮影カメラが、前記オペレータからの指令信号に基づいて前記撮影対象を撮影するように構成されていることが好ましい。これにより、オペレータが自由自在に撮影タイミングを設定できて、利便性を向上できる。

請求項１乃至請求項３の何れか記載の三次元画像計測システムは、請求項４に記載の発明のように、前記撮影カメラの撮影時刻を記憶すると共に、前記撮影時刻に対応付けて、前記画像データと前記撮影カメラの三次元座標を記憶する記憶手段を備えることが好ましい。これにより、撮影時刻に対応付けて計測対象の三次元座標を計測でき、計測対象の形状や位置が季節、時刻により変動する際には、これらの変動に対応付けて、計測対象の三次元座標を計測できる。

また、請求項２に記載の三次元画像計測システムは、請求項５に記載の発明のように、前記撮影タイミング指令手段が、前記撮影対象を撮影する際の当該撮影カメラの三次元座標を予め記憶する撮影位置記憶手段と、前記カメラ制御装置で計測された撮影カメラの三次元座標を、前記撮影位置記憶手段に記憶された撮影カメラの三次元座標と比較する比較手段と、を備え、前記比較手段の比較結果に応じて、比較した両者の三次元座標が略一致した際に、前記撮影カメラの撮影タイミングを指令することにより、予め定められた撮影位置において計測対象を撮影できて利便性を向上できる。

本発明の三次元画像計測システムは、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できると共に、移動体に搭載された撮影カメラの三次元座標を計測する際に、ＤＧＰＳやＲＴＫ−ＧＰＳに較べて、ＤＧＰＳやＲＴＫ−ＧＰＳに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がＧＰＳ電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化が実現できる。

また、本発明の三次元画像計測システムは、撮影タイミング指令手段を介して、撮影カメラの三次元座標と計測対象の撮影動作とを容易に連動させることができ、且つ、オペレータが撮影タイミングを自由自在に指令したり、予め定められた撮影位置において計測対象を撮影したりできて、利便性を向上できる。

さらに、本発明の三次元画像計測システムは、撮影時刻に対応付けて、画像データと撮影カメラの三次元座標を記憶する記憶手段を備えることにより、撮影時刻に対応付けて計測対象の三次元座標を計測でき、計測対象の形状や位置が季節、時刻により変動する際には、これらの変動に伴う三次元座標の変位を計測できる。

次に、本発明の三次元画像計測システムの一実施例を図面に基づいて説明する。図１が、本発明の一実施例の三次元画像計測システムにおける、計測対象を計測する際の適用例を表す図、図２が、同実施例の三次元画像計測システムにおける、計測対象と撮影カメラ及びカメラ制御装置との配置を表した図、図３が、同実施例の三次元画像計測システムにおける、撮影カメラの三次元座標を計測するカメラ制御装置の構成を表したブロック図、図４が、同実施例の三次元画像計測システムにおける、計測対象を撮影する撮影カメラの構成を表したブロック図、である。

図１に表したように、本実施例の三次元画像計測システムは、例えば人が容易に近づくことができない崖などが計測対象である際に適用され、ヘリコプター（所謂、本発明における移動体である）に搭載されて計測対象を撮影する撮影カメラと、ヘリコプターの飛行に応じて、撮影カメラの平行ステレオ撮影を行い、撮影カメラの位置の三次元座標を順次計測するカメラ制御装置とを備え、撮影カメラで撮影された計測対象の画像データと撮影カメラの三次元座標に基づいて、計測対象の三次元座標を生成する。

詳しくは、図２（ａ）に表したように、本実施例の三次元画像計測システムは、カメラ制御装置１００が、所定の距離を介して設置された一対のカメラ１、２を備え、第１カメラ１及び第２カメラを介して、撮影カメラ２００をステレオ撮影し、得られた画像データに基づいて撮影カメラ２００の位置座標を検出する。

また、計測対象三次元座標演算部３００が、カメラ制御装置１００で検出された撮影カメラ２００の三次元座標と撮影カメラ２００で撮影された計測対象Ｐの画像データとに基づいて、計測対象Ｐの三次元座標を演算する。なお、本発明における三次元画像処理部は、計測対象三次元座標演算部３００によってその機能が発現される。

また、図３に表したように、カメラ制御装置１００は、第１カメラ１及び第２カメラ２、第１カメラ１及び第２カメラ２で撮像した画像データに基づいて撮影カメラ２００の三次元座標を演算する三次元画像処理部１０、所定の周期で発振するクロック信号を計数して撮影時刻を検出する撮影時刻検出部１７、等を備えている。

第１カメラ１及び第２カメラ２は、撮影して得られた光学像をデジタル変換して出力するデジタルカメラであって、図示されない結像光学系を介して結像された光学像を画素毎に光電変換してアナログ電気信号を生成する第１イメージセンサ３及び第２イメージセンサ４（例えば、ＣＣＤやＣＭＯＳセンサである）、第１イメージセンサ３及び第２イメージセンサ４で生成されたアナログ電気信号をデジタル信号に変換する第１Ａ／Ｄ変換部５及び第２Ａ／Ｄ変換部６、第１Ａ／Ｄ変換部５及び第２Ａ／Ｄ変換部で変換されたデジタル信号を画素座標に対応付けて記憶する第１画像メモリ７及び第２画像メモリ８、等によって構成されている。

また、カメラ制御装置１００は、第１カメラ１及び第２カメラ２で得られた画像データ、三次元座標演算部１０で算出された三次元座標、撮影時刻検出部１７で検出された撮影時刻等を、夫々対応付けて蓄積する第１画像データ蓄積部１１を備えている。

また、カメラ制御装置１００は、三次元画像処理部１０で得られた撮影カメラ２００の三次元座標を所定の指令値と比較して撮影タイミングを設定し、その撮影タイミングデータを第１通信制御部１３へ出力する位置判定処理部１２、位置判定処理部１２から入力された撮影タイミングの指令データを通信データに変換して第１通信部１４へ出力する第１通信制御部１３、第１通信制御部１３から入力された通信データを撮影カメラ２００へ出力する第１通信部１４、第１カメラ制御部９、等を備え、第１カメラ制御部９が所定の制御プログラムに従って当該カメラ制御装置１００の各処理を制御する。

ここで、第１通信制御部１３は、一般的なＴＣＰ／ＩＰやＢＡＳＩＣ制御手順の通信プロトコルを制御する。そして、第１通信制御部１３は、受信の際は、受信したデータの誤り検出・再送、フロー制御（受信側で受信データのオーバーフローを避けるための通信制御）を行い、正確な受信データを位置判定処理部１２へ渡す。送信の際は、位置判定処理部１２からの送信データを第１通信部１４へ適したデータフォーマット変換を行い、データ送信や再送要求を送信する。

また、第１通信部１４は、伝送路に適した制御、有線や無線に変復調（所謂、デジタル信号を、電話回線などで通信可能なアナログ信号（またはその逆）に変換する）等を行うと共に、第１通信制御部１３とデータの授受を行う。

また、カメラ制御装置１００は、オペレータが撮影カメラ２００の撮影位置や撮影タイミングを指令するインタフェース１５と、インタフェース１５から入力されたオペレータの指令信号を記憶する撮影位置記憶手段１６とを備え、撮影タイミングの指令モードとして以下の２つのモードを備える。

第１の指令モードは、オペレータからの指令信号の入力動作を計測対象Ｐを撮影する際の撮影タイミングに同期させるものであって、インターフェース１５から入力された指令信号が位置判定処理部１２を介して第１通信制御部１３に入力される。

一方、第２の指令モードは、計測対象Ｐを撮影する際の撮影カメラ２００の三次元座標を、一旦撮影位置記憶手段１６に記憶させ、次いで、位置判定処理部１２が三次元画像処理部１０で演算された撮影カメラ２００の三次元座標と撮影位置記憶手段１６に記憶された三次元座標とを比較してその差分値を求め、その差分値が所定の値の範囲内に至った際に（比較結果結果に応じて両者が略一致した際に）第１通信制御部１３に入力される。なお、本発明における撮影タイミング指令手段が、インタフェース１５、撮影位置記憶手段１６、位置判定処理部１２、等によってその機能が発現される。また、本発明における比較手段が、位置判定処理部１６によってその機能が発現される。

次に、図２（ｂ）に表したように、カメラ制御装置１００は、撮影カメラ２００の実空間座標をＰ（ｘ，ｙ，ｚ）、第１カメラ１に撮像された撮影カメラ２００の画像座標をＰ_１（ｘ_１，ｙ_１）、第２カメラ２に撮像された撮影カメラ２００の画像座標をＰ_２（ｘ_２，ｙ_２）、第１カメラ１における結像位置をＯ_１、第２カメラ２の結像位置をＯ_２、第１カメラ１及び第２カメラ２の焦点距離をｃ、基線長（カメラ１とカメラ２との光軸間距離である）をＢとして表すと、前述の（式１）〜（式５）の関係がある。そこで、（式３）を用いてｚ（所謂、撮影距離に相当する）を求め、この求めたｚを（式１）、（式２）に代入することにより、ｘ、ｙを求めることができ、これにより、計測対象Ｐの三次元座標Ｐ（ｘ，ｙ，ｚ）を得ることができる。

また、本実施例では、予め、焦点距離ｃが２０ｍｍ、基線長Ｂが２ｍ、画像分解能が３μｍに設定されており、（式１）及び（式２）で得られたｚが１００ｍとした場合、（式４）及び（式５）を用いて得られる計測精度は、平面分解能（ΔＸＹ）が１５ｍｍ、奥行き分解能（ΔＺ）が０．７５ｍである。

次に、撮影カメラ２００は、図４に表したように、計測対象Ｐを撮影する第３カメラ２１、第３カメラ２１で撮影した画像データを蓄積する第２画像データ蓄積部２８、第１カメラ制御装置１００及び計測対象三次元座標演算部３００と送受信可能に構成された第２通信制御部２６及び第２通信部２７、第２カメラ制御部２５等を備え、第２カメラ制御部２５が所定の制御プログラムに従って当該撮影カメラ２００の各処理を制御する。

第３カメラ２１は、撮影して得られた光学像をデジタル変換して出力するデジタルカメラであって、図示されない結像光学系を介して結像された光学像を画素毎に光電変換してアナログ電気信号を生成する第３イメージセンサ２２（例えば、ＣＣＤやＣＭＯＳセンサである）、第３イメージセンサ２２で生成されたアナログ電気信号をデジタル信号に変換する第３Ａ／Ｄ変換部２３、第３Ａ／Ｄ変換部２３で変換されたデジタル信号を画素座標に対応付けて記憶する第３画像メモリ２４、等によって構成されている。

第２画像データ蓄積部２８は、撮影した計測対象Ｐの画像データを、カメラ制御装置１００から受信した指令信号に対応付けて、順次蓄積する。

第２通信制御部２６は、一般的なＴＣＰ／ＩＰやＢＡＳＩＣ制御手順の通信プロトコルを制御する。そして、第２通信制御部２６は、受信の際は、受信したデータの誤り検出・再送、フロー制御を行い、正確な受信データを第２カメラ制御部２６へ渡す。また、第２通信制御部２６は、送信の際は、送信データを第２通信部２７へ適したデータフォーマット変換を行い、データ送信や再送要求を送信する。

そして、第２カメラ制御部２５は、第２通信部２７を介してカメラ制御装置１００からの撮影指令信号を受けると第３カメラ２１を制御して計測対象Ｐの撮影を行い、その画像データを撮影指令信号に対応付けて第２画像データ蓄積部２８に蓄積するように制御する。

また、第２画像データ蓄積部２８に蓄積された計測対象Ｐの画像データは、オペレータからの指令に応じて計測対象三次元座標演算部３００に送信される。また、この際、オペレータからの指令を、カメラ制御装置１００を介して撮影カメラ２００に送信したり、カメラ制御装置１００を介することなく、計測対象三次元座標演算部３００から撮影カメラに送信したりしてもよい。

次に、計測対象三次元座標演算部３００は、撮影カメラ２００で撮影された画像データとカメラ制御装置１００で計測した撮影カメラ２００の三次元座標を用いて、計測対象Ｐにおける各部位の三次元座標を演算する。また、この際、前述の（式６）〜（式９）の関係式で表されるバンドル法を用いて、傾いたカメラ座標系における計測対象Ｐ（Ｘ，Ｙ，Ｚ）の三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を求める。図６に表したように、Ｘ、Ｙ、Ｚの地上座標系を有する計測対象Ｐから反射された光線は、撮影カメラ２００の投影中心（Ｘ_０，Ｙ_０，Ｚ_０）に向かって直進し、投影面（写真座標面）において像点Ｐに結像する。

そこで、前述の（式６）〜（式８）において、カメラ制御装置１００における三次元画像処理部１０で算出された第３カメラ２１の三次元座標を（Ｘ_０，Ｙ_０，Ｚ_０）とし、第３カメラ２１の焦点距離をｃ、第３カメラ２１の傾き（ω，φ，κ）とする。

また、（式６）〜（式８）において、地上座標系における計測対象Ｐの三次元座標を（Ｘ，Ｙ，Ｚ）、計測対象Ｐ（Ｘ，Ｙ，Ｚ）の傾いたカメラ座標系におけるカメラ座標を（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）とする。

（式６）〜（式８）において、第３カメラ２１の傾き（ω，φ，κ）が未知数であるので、予め既知の３つ以上の基準点の座標をＸ_ｐ，Ｙ_ｐ，Ｚ_ｐとして与えると共に、それらの基準点の値をＸ、Ｙ、Ｚとして与え、最小２乗法で解くことによって３つの未知数（ω，φ，κ）を求める。

ここで求められた三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）は、ＧＰＳで得られる緯度、経度、高度等の絶対座標ではなく、ある点を基準としたときの相対座標なので、第３カメラ２１の撮影範囲内に予め絶対座標が既知の基準点を３つ以上含めておくことにより、この基準点における絶対座標と三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）との相関を求め、三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を絶対座標に変換する。

以上のように、本実施例に記載の三次元画像計測システムは、移動体に搭載した撮影カメラ２００をステレオ撮影して撮影カメラ２００の三次元座標を生成するカメラ制御装置１００と、撮影カメラ２００で撮影された画像データと撮影カメラ２００の三次元座標に基づいて計測対象Ｐの三次元座標を生成する計測対象三次元座標生成部３００とを備えているので、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる。

また、本実施例に記載の三次元画像計測システムは、移動体に搭載された撮影カメラ２００の三次元座標を計測する際に、カメラ制御装置１００を用いてステレオ撮影することにより、ＤＧＰＳやＲＴＫ−ＧＰＳに較べて、ＤＧＰＳやＲＴＫ−ＧＰＳに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影カメラ２００の撮影位置がＧＰＳ電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化を容易にできる。

また、本実施例に記載の三次元画像計測システムは、撮影カメラ２００の三次元座標に対応付けて、撮影タイミングを指令する撮影タイミング指令手段としての、位置判定処理部１２、指令値記憶手段１６、インタフェース１５等を備えているので、撮影カメラ２００の三次元座標と撮影動作とを容易に連動させることができる。

また、本実施例に記載の三次元画像計測システムは、撮影時刻検出部１７を備え、第１画像データ蓄積部１１に、撮影時刻に対応付けて、画像データと撮影カメラ２００の三次元座標を記憶するように構成されているので、計測対象Ｐの形状や位置が季節、時刻により変動する際には、これらの変動に対応付けて、計測対象の三次元座標を計測できる。

以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。例えば、計測対象三次元座標演算部３００において、バンドル法の原理を用いて計測対象Ｐの三次元座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を演算したが、バンドル法に代えてステレオ撮影法の原理を用いて計測対象Ｐの三次元座標を演算してもよい。

本発明の一実施例の三次元画像計測システムにおける、計測対象を計測する際の適用例を表す図である。 同実施例の三次元画像計測システムにおける、計測対象と撮影カメラ及びカメラ制御装置との配置を表した図である。 同実施例の三次元画像計測システムにおける、撮影カメラの三次元座標を計測するカメラ制御装置の構成を表したブロック図である。 同実施例の三次元画像計測システムにおける、計測対象を撮影する撮影カメラの構成を表したブロック図である。 ステレオ法の原理を説明する図である。 バンドル法における共線条件式の説明図である。

符号の説明

１…第１カメラ、２…第２カメラ、３…第１イメージセンサ、４…第２イメージセンサ、５…第１Ａ／Ｄ変換部、６…第２Ａ／Ｄ変換部、７…第１画像メモリ、８…第２画像メモリ、９…第１カメラ制御部、１０…３次元画像処理部、１１…第１画像データ蓄積部、１２…位置判定処理部、１３…第１通信制御部、１４…第１通信部、１５…インタフェース、１６…指令値記憶手段、１７…撮影時刻検出部、２１…第３カメラ、２２…第３イメージセンサ、２３…第３Ａ／Ｄ変換部、２４…第３画像メモリ、２５…第２カメラ制御部、２６…第２通信制御部、２７…第２通信部、２８…第２画像データ蓄積部、１００…カメラ制御装置、２００…撮影カメラ、３００…計測対象三次元座標演算部。

Claims (5)

1. 移動体に搭載されて該移動体から計測対象を撮影する撮影カメラと、
   前記移動体の移動に応じて、前記撮影カメラの平行ステレオ撮影を行い、該撮影カメラの三次元座標を順次計測するカメラ制御装置と、
   前記撮影カメラで撮影された前記計測対象の画像データと前記撮影カメラの三次元座標に基づいて、前記計測対象の三次元座標を生成する三次元画像処理部と、
   を備えることを特徴とする三次元画像計測システム。
2. 前記撮影カメラの三次元座標に対応付けて、該撮影カメラの撮影タイミングを指令する撮影タイミング指令手段を備える、
   ことを特徴とする請求項１に記載の三次元画像計測システム。
3. オペレータが前記撮影カメラの撮影タイミングを指令するオペレータ指令手段を備え、前記撮影カメラが、前記オペレータからの指令信号に基づいて前記計測対象を撮影するように構成されている、
   ことを特徴とする請求項１又は請求項２に記載の三次元画像計測システム。
4. 前記撮影カメラの撮影時刻を記憶すると共に、前記撮影時刻に対応付けて、前記画像データと前記撮影カメラの三次元座標を記憶する記憶手段を備える、
   ことを特徴とする請求項１乃至請求項３の何れか記載の三次元画像計測システム。
5. 前記撮影タイミング指令手段が、
   前記撮影対象を撮影する際の当該撮影カメラの三次元座標を予め記憶する撮影位置記憶手段と、
   前記カメラ制御装置で計測された前記撮影カメラの三次元座標を、前記撮影位置記憶手段に記憶された撮影カメラの三次元座標と比較する比較手段と、
   を備え、
   前記比較手段の比較結果に応じて、比較した両者の三次元座標が略一致した際に、前記撮影カメラの撮影タイミングを指令する、
   ことを特徴とする請求項２に記載の三次元画像計測システム。