JP2005091298A - 画像処理を用いたグローバル座標取得装置 - Google Patents

Abstract

【課題】 GPSが利用できない悪条件下でも精度良く対象のグローバル座標を測量する。
【解決手段】 ステレオカメラ１が対象を撮影し、同時に、GPS受信機３及び慣性センサ２がカメラ１のグローバル座標と姿勢角を検出する。主コントローラ４が、撮影画像からカメラ１を原点とする対象のローカル座標を求め、カメラ１のグローバル座標と姿勢角から座標変換式を求め、座標変換式により対象のローカル座標をグローバル座標に変換する。GPS受信機３、慣性センサ２の検出データが利用不能の場合、主コントローラ４は、撮影画像内で選ばれた基準点の別途入手したグローバル座標を入力し、基準点のグローバル座標と撮影画像からカメラ１のグローバル座標と姿勢角を算出して、座標変換式を決定する。
【選択図】図２

Description

本発明は、画像処理を用いて対象点のグローバル座標系での位置を計測する技術に関する。

グローバル座標系（例えば、経度及び緯度及び楕円体高などを用いて広域の位置情報を表す座標系）における３次元位置（以下、グローバル座標という）を取得する計測装置として、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などがある。

従来、ステレオビジョン処理を用いた３次元グローバル座標取得装置は、ステレオカメラの多点計測特性及びテクスチャー画像の座標軸の同一性などの特性をいかし、測量対象点のローカル座標系（すなわち、測量装置（例えば、測量装置に備えられている基準となるカメラ）を原点とした座標系）における３次元位置（以下、ローカル座標という）を取得し、これにＧＰＳなどを用いて求めた測量装置のグローバル座標と、コンパス（電子コンパスを含む）やジャイロ（加速度センサあるいは慣性センサを含む）を用いて求めた測量装置の姿勢角（例えば、ロール及びピッチ及びヘッディング角などの３次元角度）によって、測量対象点のグローバル座標を計測している。

特許文献１では、移動しながらカメラ撮影と、カメラのグローバル座標と姿勢角の計測を行ない、カメラで撮影された画像の２次元ローカル座標と、それぞれの撮影ポイントでのカメラ（すなわち、測量装置）のグローバル座標と姿勢角とから、測量対象点のグローバル座標を算出する技術が開示されている。

特許文献２では、移動しながらカメラ撮影と、カメラのグローバル座標と姿勢角の計測を行ない、カメラで撮影された画像より求めた３次元ローカル座標と、それぞれの撮影ポイントでのカメラの姿勢角とから、測量対象点のグローバル座標を算出する技術が開示されている。

特開平１０―１４１９５４号公報 特開平１１―２１１４７３号公報

特許文献１及び特許文献２に記載された従来技術では、測量対象点のグローバル座標を算出するため撮影ポイントでのカメラ（すなわち、測量装置）のグローバル座標と姿勢角を計測している。カメラのグローバル座標の計測は、ＧＰＳを用いている。しかし、ビルの谷間や山岳部などＧＰＳ電波が受信できない場所では、カメラのグローバル座標の計測が不可能である。また、このような場合でも、走行距離メータやジャイロなど自立航法機器を併用することによりカメラのグローバル座標を計測することもできるが、自立航法機器を用いたグローバル座標の計測は長時間の使用や移動距離の増加によって誤差が生じ、正確にカメラのグローバル座標を計測することができないという問題がある。また、カメラの姿勢角の計測は、ジャイロやコンパスを用いており、磁場の乱れや長時間の使用によって、正確にカメラの姿勢角を計測できない場合がある。

本発明は、測量対象点のローカル座標の原点となる測量装置（例えば、カメラ）のグローバル座標や姿勢角を計測できないなど悪条件下でも、精度良く測量対象点のグローバル座標を測量する３次元グローバル座標取得装置を提供することを目的とする。

本発明の一つの形態に従う、画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置は、撮影位置にてカメラ（１A、１B）で撮影された画像を入力する画像入力手段（１）と、前記画像入力手段からの前記画像を処理することにより、前記画像内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（１４、３３）と、前記画像入力手段からの前記画像内で基準点を設定し、設定された前記基準点のグローバル座標系での座標である参照グローバル座標を入力する基準点参照グローバル座標設定手段（１６）と、前記基準点参照グローバル座標設定手段からの前記基準点の参照グローバル座標に基づいて、前記画像を撮影したときの前記カメラのグローバル座標系での座標である装置グローバル座標を算出する装置グローバル座標算出手段（１７、２１、３２）と、前記画像を撮影したときの前記カメラの前記グローバル座標系での姿勢角を取得する姿勢角取得手段（２、１７、３２）と、前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記姿勢角取得手段からの前記姿勢角とに基づいて、前記対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８、２２）と、前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段からの前記対象点ローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）とを備える。このグローバル座標取得装置によれば、GPS受信機などが利用できない状況下でも、基準点の情報を用いて、カメラのグローバル座標を算出して、それに基づいて対象点のグローバル座標を掲載することができる。

或る具体的な形態においては、GPS受信機又はトータルステーションを用いて前記画像を撮影したときの前記カメラの装置グローバル座標を取得する装置グローバル座標検出手段（３）を更に設けられ、前記座標変換式決定手段（１８、２２）は、前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記装置グローバル座標検出手段からの前記装置グローバル座標とを選択的に用いて、座標変換式を決定するようになっている。

また、或る具体的な形態においては、前記基準点参照グローバル座標設定手段（１６）は、前記画像内で３点以上の基準点を設定して、設定された前記３点以上の基準点の参照グローバル座標を入力し、前記装置グローバル座標算出手段（１７）は、前記基準点参照グローバル座標設定手段からの前記３点以上の基準点の参照グローバル座標と、前記対象点ローカル座標算出手段により算出された前記画像内の前記３点以上の基準点の対象点ローカル座標とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出し、それにより、装置グローバル座標算出手段（１７）が前記姿勢角取得手段（１７）を兼ねるようになっている。

また、或る具体的な形態では、前記基準点参照グローバル座標設定手段（１６）は、前記画像内で１点以上の基準点を設定して、設定された前記１点以上の基準点の参照グローバル座標を入力し、前記装置グローバル座標算出手段（２１）は、前記基準点参照グローバル座標設定手段からの前記１点以上の基準点の参照グローバル座標と、前記対象点ローカル座標算出手段により算出された前記画像内の前記１点以上の基準点の対象点ローカル座標と、前記姿勢角取得手段からの前記画像を撮影したときの前記姿勢角とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出ようになっている。

また、或る具体的な形態では、前記基準点参照グローバル座標設定手段（１６）は、前記画像内で４点以上の基準点を設定して、設定された前記４点以上の基準点の参照グローバル座標を入力し、前記装置グローバル座標算出手段（３２）は、前記基準点参照グローバル座標設定手段からの前記４点以上の基準点の参照グローバル座標と、前記４点以上の基準点の前記画像内での２次元位置と、前記カメラの焦点距離とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出し、それにより、装置グローバル座標算出手段（３２）が前記姿勢角取得手段（３２）を兼ねるようになっている。

また、或る具体的形態では、慣性センサを用いて前記姿勢角を検出する姿勢角検出手段（２）を更に設けられ、前記座標変換式決定手段（１８）は、前記装置グローバル座標算出手段（１７、３２）からの前記姿勢角と、前記姿勢角検出手段（２）からの前記姿勢角とを選択的に用いて、座標変換式を決定するようになっている。

また、或る具体的な形態では、前記対象点ローカル座標算出手段（３３）が、前記画像入力手段からの同一カメラで異なる地点で撮影された複数の画像をステレオビジョン処理することにより、前記対象点ローカル座標を算出するようになっている。

本発明の別の形態に従う、画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置は、トータルステーション（以下、ＴＳという）（１０４）と、撮影位置にて少なくとも２点の基準点を前記ＴＳで計測したデータと、前記基準点のグローバル座標とに基づいた前記撮影地点における前記ＴＳのグローバル座標と基本方向での姿勢角とを算出して記憶するＴＳグローバル座標・姿勢角算出・記憶手段（１１３）と、前記ＴＳと所定の位置関係をもって備えられているカメラにより前記撮影位置にて任意の撮影方向で撮影された画像を入力する画像入力手段（１）と、前記カメラで前記任意の撮影方向で撮影した時の前記ＴＳで計測された姿勢角のデータを記憶する撮影時計測値記憶手段（１１４）と、前記ＴＳグローバル座標・姿勢角算出・記憶手段に記憶されている前記ＴＳの基本方向での姿勢角と、前記撮影時計測値記憶手段（１１４）に記憶されている前記撮影時における前記ＴＳによって計測されたデータとから、前記撮影時における前記ＴＳの姿勢角を算出し記憶するＴＳ姿勢角算出・記憶手段（１１５）と、前記画像入力手段からの前記画像を処理することにより、前記画像内の対象点の前記撮影位置を基準とするローカル座標での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（３３）と、前記ＴＳ姿勢角算出・記憶手段に記憶されている前記撮影時のＴＳの姿勢角と、前記ＴＳグローバル座標・姿勢角算出・記憶手段に記憶されている前記撮影位置でのＴＳのグローバル座標と、前記ＴＳと前記カメラとの位置関係と基づいて、対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８）と、
前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段によって算出された前記対象点のローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）とを備える。このグローバル座標装置によれば、GPS受信機などが利用できない状況下でも、画像処理を用いず、２点以上の基準点を計測したＴＳ１０４のデータを利用して、装置グローバル座標（ＴＳ１０４のグローバル座標及びカメラ１０１のグローバル座標）や装置姿勢角（ＴＳ１０４の姿勢角及びカメラ１０１の姿勢角）を算出して、それに基づいて対象点のグローバル座標を取得することができる。

本発明の更に別の形態に従う、画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置は、撮影位置にてカメラ（１A、１B）で撮影された画像を入力する画像入力手段（１）と、前記画像入力手段からの前記画像を処理することにより、前記画面内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（１４）と、前記画像を撮影したときの前記カメラの前記グローバル座標系での姿勢角を取得する姿勢角取得手段（２）と、前記画像を撮影したときの前記カメラの前記グローバル座標系での座標を取得するグローバル座標取得手段（３）と、前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記姿勢角取得手段からの前記姿勢角とに基づいて、前記対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８）と、前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段からの前記対象点ローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）とを備える。

以下、図面を参照して適用された本発明の実施形態を説明する。

図１は、本発明の実施形態に係る３次元グローバル座標取得装置の全体的な外観図である。本発明の３次元グローバル座標取得装置は、各種車両、航空機又は船舶等に搭載されるもの、或いは人間に携帯されるものなど様々な形態で実施可能であるが、図１に示す実施形態は人間に携帯されるものの例である。

図１に示すように、人間が抱えるための十字形の支持棒５上に、相互間で視差を生じるよう例えば左右方向に離れた位置に前方（図の紙面裏から表への方向）を撮影するよう配置された複数（例えば、２台）のデジタルスチルカメラ１Ａ、１Ｂから構成される画像入力装置１と、画像入力装置１の姿勢を示すグローバル座標系での３次元方位角（例えば、カメラ１Ａ、１Ｂの撮影方向又は指向方向のローリング、ピッチング及びヘッディングであり、以下、装置姿勢角という）を検出する装置姿勢角検出装置２と、この画像入力装置１の３次元グローバル座標（例えば緯度及び経度及び楕円体高であり、以下、装置グローバル座標という）を検出する装置グローバル座標検出装置３と、画像入力装置１、装置姿勢角検出装置２、装置グローバル座標検出装置３とそれぞれ接続されて、それらの装置によって取得したデータから画像入力装置１によって撮影された物体（以下、測量対象点という）の３次元グローバル座標（以下、対象点グローバル座標という）を算出する主コントローラ４とが取り付けられている。ユーザは、この３次元グローバル座標取得装置をその指示棒５のところで持って、所望の経路に沿って移動しつつ、移動経路上の様々な場所で画像入力装置１により周囲を撮影していくことになる。

なお、この３次元グローバル座標取得装置において、対象点グローバル座標の計算に用いられる装置グローバル座標及び装置姿勢角は、画像入力装置１（カメラ１A、１B)のグローバル座標及び姿勢角である（厳密には、例えば、カメラ１A、１Bの内から予め選ばれた一つの基準カメラ１Aのグローバル座標及び姿勢角)。これに対して、装置グローバル座標検出装置３のGPS受信機でよって検出されるグローバル座標はGPSアンテナの座標であって、画像入力装置１のグローバル座標ではない。また、装置姿勢角検出装置３によって検出される姿勢角も、画像入力装置１の姿勢角ではない。しかし、画像入力装置１、装置グローバル座標検出装置３及び装置姿勢角検出装置２の位置関係は固定されており、その位置関係に基づいて、検出されたグローバル座標及び姿勢角が補正されることで、画像入力装置１のグローバル座標及び姿勢角が得られるようになっている。従って、この明細書の説明中で用いる「装置グローバル座標検出装置３でよって検出（測定）されるグローバル座標」や「装置姿勢角検出装置３によって検出（測定）される姿勢角」という用語は、上記の補正が加えられて画像入力装置１のグローバル座標及び姿勢角となっているデータを意味するものとする。

以下の説明では、画像入力装置１は、図１に示すような２台のデジタルスチルカメラから構成されるステレオカメラであるとするが、これは一つの例示であり、これ以外に、３台以上のカメラから構成されていてもよいし、或いは、１台のカメラから成り、情報制御部４の方で、その１台のカメラにより移動中の異なる時点に（つまり、異なる場所で）撮影された複数枚の画像を用いてステレオビジョン処理を行なうようになっていても良い。或いは、画像入力装置１は、デジタルスチルカメラに代えて、ビデオカメラを用いたものであっても良い。或いは、画像入力装置１は、ステレオライン光学センサ、又は、レーザレンジファインダなどを用いたものでも良い。

装置グローバル座標検出装置３は、例えば、ＧＰＳ衛星からの情報をアンテナで受信して装置グローバル座標を求めるＧＰＳ受信機から構成される。或いは、装置グローバル座標検出装置３は、トータルステーションを用いたものでもよい。或いは、装置グローバル座標検出装置３は、ＧＰＳ受信機又はトータルステーションと、自立航法機器とを組み合わせたものであってもよい。装置グローバル座標検出装置３は、それがＧＰＳ受信機だけから構成される場合には、ＧＰＳ衛星からの電波の受信状況が悪い場所では、装置グローバル座標を計測するができない。一方、ＧＰＳ受信機と自立航法機器とを併用した場合には、装置グローバル座標検出装置３は、ＧＰＳ衛星からの電波の受信状況が悪い場所でも、自立航法機器によって装置グローバル座標を計測するができるが、しかし、その状況が継続する時間が長くなるにつれて、計測された装置グローバル座標の信頼性が低下していく。

装置姿勢角検出装置２は、例えば、コンパス（電子コンパスを含む）やジャイロ（加速度センサ或いは慣性センサを含む）などを用いて装置姿勢角を検出する。

主コントローラ４は、例えば、画像入力装置１から入力された画像をステレオビジョン処理して対象点のローカル座標（以下、対象点ローカル座標という）を計算するステレオ処理部６と、対象点ローカル座標と装置グローバル座標と装置姿勢角に基づいて対象点グローバル座標を算出するための処理を行なう座標算出部７と、撮影された画像や算出したグローバル座標などの各種の測定データや算出データを記録しておくデータ記録部８と、画像入力装置１で撮影された画像や測定データやその他の様々な情報を表示するデータ表示装置９と、カメラ１Ａ，１Ｂのシャッターボタンやステレオ処理を開始するためのステレオ処理ボタンや後述する基準点設定の入力を行うための設定デバイスなどをもった、ユーザがこの３次元グローバル座標取得装置を操作したり制御したりするための操作盤１０とを有する。なお、図１の例では、主コントローラ４の全部が支持棒５上に取り付けられているが、この構成に代えて、主コントローラ４のうちの一部、例えば操作盤１０とデータ記録部８のみが支持棒５上に取り付けられ、残りの部分は測量時に携帯されない別ハードウェアとして用意されていても良い。ここで、上記対象点ローカル座標とは、画像入力装置１（厳密には、例えば、カメラ１A、１Bから選ばれた所定の基準カメラ１A）を位置基準とした座標系（ローカル座標系）における対象点の位置座標、すなわち、画像入力装置１（厳密には、例えば基準カメラ１A）に対する対象点の相対座標のことである。

上記のように構成された３次元グローバル座標取得装置を用いて測量者が移動しつつ測量を行うときの動作は、例えば次のようなものである。

ユーザは、移動経路上の種々の地点で一時的に静止して操作盤１０上のシャッターボタンを押す。シャッターボタンが押されると、同期したシャッター信号が２台のカメラ１Ａ、１Ｂへ送られて同時に撮影が行われ、また、この同期したシャッター信号によって装置姿勢角検出装置２から出力される装置姿勢角の値がラッチされる（撮影が行われた時点の装置姿勢角が取得される）。このように静止して撮影が行われる場合には、装置グローバル座標検出装置３からのＧＰＳ測定データはシャッター操作と格別同期をとる必要はない。しかし、この３次元グローバル座標取得装置を車載などして移動しながら静止せずに撮影を行う場合には、ＧＰＳ測定データもシャッター操作と同期をとる必要がある。いずれにせよ、撮影された画像やその他の測定データは、取得後ただちにデータ記録部８に記憶される。撮影後、ユーザが操作盤１０上のステレオ処理ボタンを押すと、データ処理部６によってステレオビジョン処理が実行され、同時撮影された２枚の画像から、画像内の各ピクセルのカメラ１Ａ、１Ｂの原点からの距離が自動的に算出され、距離画像データが生成される。この距離画像データと撮影された画像内での各ピクセルの2次元位置とから、各ピクセルのローカル座標が自動的に計算される。一方、上記画像を撮影した時の装置グローバル座標は、装置グローバル座標検出装置３の例えばＧＰＳ受信機によって計測されるＷＧＳ−８４座標値として得られ、また、上記画像を撮影した時の装置姿勢角は装置姿勢角検出装置２から得られる。そして、座標算出部７によって、上記画像を撮影した時の装置グローバル座標と装置姿勢角とに基づいて、ローカル座標をグローバル座標に変換するための座標変換式が決定され、そして、その座標変換式を用いて、上記画像内の各ピクセルのローカル座標がグローバル座標に変換される。

このようにして算出された各ピクセルのグローバル座標は、そのピクセルに対応する測量対象点のグローバル座標を意味する。従って、所望の測量対象点のグローバル座標をユーザが出力したい場合には、ユーザは、例えばデータ表示部９にその所望の測量対象点が撮影されている画像を表示して、その画像中からカーソル等を用いてその所望の測量対象点（ピクセル）を指定する。すると、座標算出部７によって、指定された所望の測量対象点（ピクセル）のグローバル座標が出力される。

通常は、上記のようにして装置グローバル座標検出装置３及び装置姿勢角検出装置２からの測定データを用いて対象点グローバル座標が計算されるが、ＧＰＳ電波の受信状態が悪いなどの原因でそれらの計測データが利用できなった場合には、後刻に、ユーザは、操作盤１０上の設定デバイスを用いて、後に説明する基準点参照グローバル設定という操作を行う。すると、座標算出部７によって、利用できなかった計測データを代替する装置グローバル座標と装置姿勢角が自動的に算出され、それを用いて、上述した方法で対象点グローバル座標が取得されることになる。

以下、主コントローラ４の機能と動作について詳細に説明する。

主コントローラ４の具体的な機能構成には、種々のバリエーションがありえ、そのうちの幾つかの例が図３〜図５にそれぞれ示されている。図３〜図５に示された主コントローラ４の異なる機能構成例は、それぞれ単独で実施されることもできるが、好ましくは、ユーザによる設定や測量時の事情などに応じて選択的に使用されるような態様で実施されるとよい。主コントローラ４の機能はコンピュータプログラムによって実現することができるが、そのような場合、図３〜図５に示された異なる機能構成例が、例えばそのプログラムがもつ複数の動作モードのような形で実装されて、適宜に切替えられるようにすることができる。

図２に、主コントローラ４の一つの具体的な機能構成例を示す。

図２の機能構成例に係る主コントローラ４は、装置姿勢角検出装置２で検出された装置姿勢角と装置グローバル座標検出装置３で検出された装置グローバル座標が取得できない又はその信頼性が低いなどの理由でそれら測定データが利用できない状況に対して、画像入力装置１により撮影された画像内に「基準点」と呼ばれる特別の測量対象点(ピクセル）を複数個設定し、ステレオビジョン処理によって算出されたそれらの基準点のローカル座標と、別途に入手されたそれらの基準点の信頼できるグローバル座標とに基づいて、利用できなかった測定データを代替する装置グローバル座標と装置姿勢角を算出して、これを利用して測量対象点グローバル座標を算出することができるようになっている。

すなわち、図２に示すように、主コントローラ４は、装置グローバル座標記憶部１１と、装置姿勢角記憶部１２と、画像記憶部１３と、対象点ローカル座標算出・記憶部１４と、基準点ローカル座標読取り部１５と、基準点参照グローバル座標設定部１６と、装置グローバル座標・姿勢角算出・記憶部１７と、座標変換式決定・記憶部１８と、対象点グローバル座標算出手段１９とを有している。

装置グローバル座標記憶部１１は、装置グローバル座標検出装置３で検出されたグローバル座標を記憶している。装置姿勢角記憶部１２は、装置姿勢角検出装置２で検出された姿勢角を記憶している。画像記憶部１３は、画像入力装置１で移動経路上の諸地点で同時撮影された互いに視差を持った複数の画像（図１の構成においては、一撮影地点当たり、２台のビデオカメラ１Ａ、１Ｂで撮影した２枚の画像)を記憶している。

対象点ローカル座標算出・記憶部１４は、画像記憶部１３に記憶されている同一時点にデジタルカメラ１Ａ、１Ｂで撮影された２枚の画像を用いてステレオビジョン処理を行うことで、所定の一方の画像（すなわち、２台のカメラ１Ａ、１Ｂのうち基準カメラとして定められている一方のカメラ１Aで撮影された画像）内の各ピクセルの基準カメラ１Ａに対する３次元ローカル座標を算出して記憶する。こうして算出された各ピクセルのローカル座標は、そのピクセルに対応する測量対象点のローカル座標を意味するので、以下、これを対象点ローカル座標という。尚、ステレオビジョン処理の詳細については公知であるからここでは説明を省略する。

基準点参照グローバル座標設定部１６は、ある移動区間において装置グローバル座標検出装置３からの装置グローバル座標又は装置姿勢角検出装置２からの装置姿勢角の信頼性が低い又はそれが検出されなかったなどの理由でそれらの測定データが利用できなかった場合に、そのような移動区間（以下、特定区間という）内で画像入力装置１によって撮影された画像の中から任意の複数の測量対象点(ピクセル）をユーザに選ばせ、選ばれた複数の測量対象点をそれぞれ「基準点」として設定し、そして、それら基準点の別途入手された信頼性あるグローバル座標（例えば、トータルステーションなどを用いて別途に測量されたグローバル座標、或いは、この３次元グローバル座標取得装置によって特定区間以外の場所で取得されたグローバル座標などであり、以下、基準点の参照グローバル座標という）を入力して装置グローバル座標・姿勢角算出部１７へ送るものである。

基準点参照グローバル座標設定部１６は、例えば図１に示す操作盤１０からのユーザの指示に従って、上記特定区間内で撮影された任意の画像を画像記憶部１３から読み込んで、これを図１に示したデータ表示部９に表示する。そして、基準点参照グローバル座標設定部１６は、例えば図１に示す操作盤１０からのユーザの指示に従って、表示された画像中でユーザがカーソルなどで指し示した測量対象点（ピクセル）を基準点として設定し、さらに、操作盤１０からのユーザの入力操作に従って、その基準点の別途入手された参照グローバル座標を入力して装置グローバル座標・姿勢角算出・記憶部３２へ送る。ここで、一枚の画像内で設定される必要のある基準点の個数は３個以上である。

なお、基準点の信頼性あるグローバル座標が、既に主コントローラ４に記憶済みである場合には、基準点参照グローバル座標設定部１６は、上記のようにユーザの手動入力操作により基準点の参照グローバル座標を入力する代わりに、記憶済みの基準点の信頼性あるグローバル座標を上記の記憶場所から自動的に読み込んで、これをその基準点の参照グローバル座標として設定しても良い。

基準点ローカル座標読取り部１５は、基準点参照グローバル座標設定部１６によってある画像内で３点以上の基準点が設定されると、その画像に基づいて対象点ローカル座標算出・記憶部１４によって算出されたそれら基準点のローカル座標を、対象点ローカル座標算出・記憶部１４から取得して装置グローバル座標・姿勢角算出記憶部１７に送る。

装置グローバル座標・姿勢角算出・記憶部１７は、基準点参照グローバル座標設定部１６及び基準点ローカル座標読取り部１５により入力された３点以上の基準点の参照グローバル座標とローカル座標に基づいて、後述する計算方法を用いて、それら基準点が設定された画像が撮影された時点における装置グローバル座標と装置姿勢角を算出して、これを記憶する。

座標変換式決定・記憶部１８は、移動中に撮影が行われた各時点(各地点）における装置グローバル座標と装置姿勢角とに基づいて、各時点（各地点）での対象点ローカル座標を対象点グローバル座標に変換するための座標変換式を、後に説明する方法で算出して記憶するものである。すなわち、座標変換式決定・記憶部１８は、撮影が行われた或る時点（地点）における座標変換式を決定しようとする場合、そのターゲットとなる時点（地点）に装置グローバル座標検出装置３及び装置姿勢角検出装置２により検出された装置グローバル座標と装置姿勢角の存否や信頼性（推定精度又は推定誤差）などを調べることで、そのターゲット時点（地点）に検出された装置グローバル座標と装置姿勢角が利用できるか否かを判断する。或いは、ユーザがこの判断を行う。いずれにせよ、この判断の結果、ターゲット時点（地点）において検出された装置グローバル座標及び装置姿勢角が利用できる場合（つまり、上述した特定区間以外の地点で撮影が行なわれていた場合）には、座標変換式決定・記憶部１８は、装置グローバル座標記憶部１１及び装置姿勢角記憶部１２から、ターゲット時点（地点）に検出された装置グローバル座標及び装置姿勢角を読み込んで、読み込まれたデータに基づいて座標変換式を決定して記憶する。一方、上記判断の結果、ターゲット時点（地点）において検出された装置グローバル座標及び装置姿勢角が利用できない場合（つまり、上述した特定区間内の地点で撮影が行なわれていた場合）には、座標変換式決定・記憶部１８は、装置グローバル座標・姿勢角算出・記憶部１７によって算出されたターゲット時点(地点）における装置グローバル座標と装置姿勢角を、装置グローバル座標・姿勢角算出・記憶部１７から読み込んで、これを用いて座標変換式を算出して記憶する。

対象点グローバル座標算出・記憶部１９は、座標変換式決定・記憶部１８によって決定された各ターゲット時点（地点）の座標変換式と、対象点ローカル座標算出記憶部１４によって算出された各ターゲット時点（地点）に撮影された画像中の各測量対象点(各ピクセル）のローカル座標とから、各測量対象点（ピクセル）のグローバル座標を算出して記憶する。

以上のようにして、通常の場合には、装置グローバル座標検出装置３及び装置姿勢角検出装置２により各ターゲット時点（地点）で測定された装置グローバル座標及び装置姿勢角に基づいて、各ターゲット時点（地点）に撮影された測量対象点のグローバル座標が算出される。一方、ＧＰＳ電波の受信状況の悪化やその他の原因により、装置グローバル座標検出装置３又は装置姿勢角検出装置２により測定された装置グローバル座標又は装置姿勢角が利用できない場合には、別途入手された基準点の情報に基づいてターゲット時点（地点）における装置グローバル座標及び装置姿勢角が算出され、算出された装置グローバル座標及び装置姿勢角に基づいて、各ターゲット時点（地点）に撮影された測量対象点のグローバル座標が算出される。

以下に、上述した装置グローバル座標・姿勢角算出・記憶部１７が用いる計算方法について説明する。

任意の測量対象点の対象点グローバル座標と対象点ローカル座標と、３次元グローバル座標取得装置の装置姿勢角と装置グローバル座標は、次のような関係式（１）で表すことができる。

ＸＧ、ＹＧ、ＺＧ：対象点グローバル座標
Ｒ（３×３） ：装置姿勢角による回転行列
ＸＬ、ＹＬ、ＺＬ：対象点ローカル座標
Ａ、Ｂ、Ｃ ：並進ベクトル（装置グローバル座標）
ここで、装置グローバル座標・姿勢角算出・記憶部１７の処理においては、式（１）の装置姿勢角による回転行列Ｒと並進ベクトル（Ａ，Ｂ，Ｃ）が未知数である。そこで、装置グローバル座標・姿勢角算出・記憶部１７は、設定された３点以上の基準点の参照グローバル座標を式（１）に対象点グローバル座標（ＸＧ、ＹＧ、ＺＧ）として与え、それら基準点のローカル座標を式（１）に対象点ローカル座標（ＸＬ、ＹＬ、ＺＬ）として与えた上で、最小２乗法で解くことにより、回転行列Rと並進ベクトル（Ａ、Ｂ、Ｃ）（すなわち、実質的に装置姿勢角と装置グローバル座標）を算出する。

また、座標変換式決定・記憶部１８は、上記のようにして算出された回転行列Ｒと並進ベクトル（Ａ、Ｂ、Ｃ）を、上述の式（１）に当てはめることで、対象点ローカル座標（ＸＬ、ＹＬ、ＺＬ）を対象点グローバル座標（ＸＧ、ＹＧ、ＺＧ）に変換するための座標変換式を得る。

図３に、主コントローラ４の別の具体的な機能構成例を示す。

図３の機能構成例に係る主コントローラ４は、GPS電波の受信状況が悪いなどの原因で装置グローバル座標検出装置３からの装置グローバル座標は利用できないが、装置姿勢角検出装置２からの装置姿勢角は利用可能である状況に対して、検出された装置姿勢角と、別途取得した基準点の参照グローバル座標と、撮影画像から得られる基準点のローカル座標を利用して、装置グローバル座標を算出するものである。なお、図３において、図２に示したと同機能の要素には同じ参照番号を付して、重複した説明を省略する。

図３に示す構成例において、図２に示した構成例と異なる機能要素は、装置グローバル座標算出・記憶部２１と座標変換式決定・記憶部２２にあり、他の要素は機能的に図２の対応する要素と同じである。ただし、図３の構成例では、装置グローバル座標算出・記憶部２１にて装置グローバル座標を算出する際に装置姿勢角検出装置２により検出された装置姿勢角を利用するために、基準参照グローバル座標設定部１６で設定される必要のある基準点の個数は１枚の画像中で１点以上であり、これは図２の構成例の場合（１枚の画像中に３点以上）より少ない。

以下に、図３に示す構成例における図２に示したそれと異なる機能について説明する。

ユーザは、GPS電波の受信状況が悪いなどの原因で装置グローバル座標検出装置３からの装置グローバル座標が利用できない区間（つまり、前述した特定区間）があった場合、基準点参照グローバル座標設定部１６を用いて、その特定区間内の任意のターゲット時点（地点）で撮影された画像を表示し、その画像中で少なくとも１点の基準点を設定して、その基準点の別途入手した参照グローバル座標を入力する。なお、基準点の参照グローバル座標の入力は、図２の構成例の説明で述べたように自動的に行われても良い。いずれにせよ、基準点参照グローバル座標設定部１６は、入力された基準点の参照グローバル座標を装置グローバル座標算出・記憶部２１に送る。また、基準点ローカル座標読取り部１５は、上記基準点が設定された画像に基づいて算出された上記基準点のローカル座標を、対象点ローカル座標算出・記憶部１４から取得して装置グローバル座標算出・記憶部２１に送る。

装置グローバル座標算出・記憶部２１は、基準点参照グローバル座標設定部１６から与えられる基準点の参照グローバル座標と、基準点ローカル座標読取り部１５から与えられる基準点のローカル座標と、装置姿勢角記憶部１２から読み込まれた上記ターゲット時点（地点）で検出された装置姿勢角とから、このターゲット時点(地点）における装置グローバル座標を算出する。この計算方法は、既に説明した式（１）において、対象点グローバル座標（XG、YG、ZG）に上記基準点の参照グローバル座標を与え、回転行列Rに上記検出された装置姿勢角を与え、対象点ローカル座標（XL、YL、ZL）に上記基準点のローカル座標を与えて、並進ベクトル（A、B、C）つまり装置グローバル座標を算出するという方法で行うことができる。

座標変換式決定・記憶部２２は、装置グローバル座標検出装置３で検出された装置グローバル座標が利用可能な場合（つまり、特定区間以外の地点で撮影が行われた場合）は、装置グローバル座標検出手段３で検出された装置グローバル座標と、装置姿勢角検出装置２で検出された装置姿勢角と、対象点ローカル座標算出・記憶部１４で算出された対象点ローカル座標に基づいて、図２の構成例の説明で述べたと同様の方法で、対象点ローカル座標を対象点グローバル座標に変換するための座標変換式を計算し記憶する。一方、装置グローバル座標検出装置３で検出された装置グローバル座標が利用不能な場合（つまり、上記特定区間内の地点で撮影が行われた場合）は、座標変換式決定・記憶部２２は、上記検出された装置グローバル座標に代えて、装置グローバル座標算出・記憶部２１によって算出された装置グローバル座標を利用して、同様の方法で座標変換式を決定し記憶する。これにより、装置グローバル座標検出装置３からの装置グローバル座標が利用できない場合にも、測量対象点のグローバル座標を算出することが可能となる。

図４に、主コントローラ４のさらに別の具体的な機能構成例を示す。

図４の機能構成例に係る主コントローラ４は、図２に示した機能構成例と同様に、装置グローバル座標検出装置３からの装置グローバル座標と装置姿勢角検出装置２からの装置姿勢角の双方が利用不能である状況に対して、基準点に基づいて装置グローバル座標と装置姿勢角の双方を算出することができるものである。しかし、図４の構成例は、基準点に基づく装置グローバル座標と装置姿勢角の算出方法において、図２の構成例と相違している。すなわち、図４の構成例は、装置グローバル座標と装置姿勢角を算出するために、図２の構成例のように基準点のローカル座標を用いるのではなく、撮影画像内における基準点の2次元位置を用いる。そのため、図４の構成例において図２の構成例から相違する要素は、基準点画像内位置検出部３１と装置グローバル座標・姿勢角算出・記憶部３２であり、その他の要素の機能は図２のそれと同様である。ただし、基準点参照グローバル座標設定部１６により設定する必要のある基準点の個数は、１枚の画像上で４点以上であり、これは、図２の場合（１枚の画像上で３点以上）より多い。しかし、算出された装置グローバル座標と装置姿勢角の精度は、図２の場合より高いことが期待できる。なお、図４において、図２に示したと同機能の要素には同じ参照番号を付して、重複した説明を省略する。

以下、図４の構成例における図２の構成例と相違する機能について説明する。

ユーザは、装置グローバル座標検出装置３又は装置姿勢角座標検出装置２からの装置グローバル座標又は装置姿勢角が利用できない区間（つまり、前述した特定区間）がある場合、基準点参照グローバル座標設定部１６を用いて、その特定区間内の任意のターゲット時点（地点）で撮影された画像を表示し、その画像中で少なくとも４点の基準点を設定して、それらの基準点の別途入手した参照グローバル座標を入力する。なお、基準点の参照グローバル座標の入力は、図２の構成例の説明で述べたように自動的に行われても良い。いずれにせよ、基準点参照グローバル座標設定部１６は、入力された基準点の参照ブローバル座標を装置グローバル座標算出・記憶部２１に送る。

基準点画像内位置検出部３１は、画像記憶部１３から上記ターゲット時点（地点）に撮影された画像を読み込み、その画像内での基準点の２次元位置（例えば、画像の原点から数えた縦方向及び横方向のピクセル数で表した2次元座標などであり、以下、基準点の画像内位置という）を検出して装置グローバル座標・姿勢角算出・記憶部３２に送る。

装置グローバル座標・姿勢角算出・記憶部３２は、基準点参照グローバル座標設定部１６から与えられる４点以上の基準点の参照グローバル座標と、基準点画像内ローカル座標読取り部１５から与えられるそれら基準点の画像内位置と、その画像を撮影したカメラ（例えば、基準カメラ１A）の焦点距離とに基づいてバンドル法を利用して、上記ターゲット時点(地点）における装置グローバル座標と装置姿勢角を算出する。以下に、この算出方法を説明する。

任意の測量対象点のグローバル座標（対象点グローバル座標）と画像内位置と、３次元グローバル座標取得装置の装置グローバル座標と装置姿勢角と、カメラの焦点距離との関係は次のとおりである。

ＸＧ、ＹＧ、ＺＧ：対象点グローバル座標
Ｒ（３×３） ：装置姿勢角による回転行列
Ｉ、Ｊ ：対象点の画像内位置
ｓ ：物体までの距離と焦点距離の比
ｆ ：カメラの焦点距離
Ａ、Ｂ、Ｃ ：並進ベクトル（装置グローバル座標）
この式（２）において、未知数は、距離比Ｓと回転ベクトルＲと並進ベクトル（Ａ、Ｂ、Ｃ）である。そこで、装置グローバル座標・姿勢角算出・記憶部３２は、式（２）に、入力された４点以上の基準点の参照グローバル座標を対象点グローバル座標（ＸＧ、ＹＧ、ＺＧ）として与え、それら基準点の画像内位置を対象点画像内位置（Ｉ、Ｊ）として与え、そして、それら基準点を撮影したカメラの焦点距離を焦点距離ｆとして与えて、最小二乗法で解くことにより（ここで、バンドル法が用いられる）、距離比Ｓと回転行列Ｒと並進ベクトル（Ａ、Ｂ、Ｃ）を求める。求まった回転行列Ｒと並進ベクトル（Ａ、Ｂ、Ｃ）は、実質的に装置姿勢角と装置グローバル座標に相当する。

なお、座標変換式決定・記憶部１８が、上記のように求まった回転行列Ｒと並進ベクトル（Ａ、Ｂ、Ｃ）に基づいて座標変換式を決定する動作は、図２の構成例で説明したそれと同じである。

これにより、装置グローバル座標検出装置３からの装置グローバル座標又は装置姿勢角検出部２からの装置姿勢角が利用できない状況下においても、測量対象点の３次元グローバル座標を取得することが可能である。

図５に、主コントローラ４の更にまた別の具体的な機能構成例を示す。

図５の機能構成例は、既に説明した幾つかの構成例のように複数台のカメラで同時撮影した複数の画像を用いてステレオビジョン処理を行う代わりに、１台のカメラを用いて移動しながら異なる時点（すなわち、異なる場所）で撮影を行ない、その異なる場所で取得された複数の画像を用いてステレオビジョン処理を行うことで、撮影された測量対象点のローカル座標を算出するようにしたものである。ステレオビジョン処理される複数の画像の撮影地点間の距離（又は、撮影時刻間の時間間隔）が、必要な計測精度から決まる所定値より小さければ、計測結果の精度に問題はない。この構成例を適用した場合には、画像入力装置１は１台のカメラで構成することができる。或いは、ステレオカメラを構成する複数台のカメラのうちの一部が故障した場合にも対処できる。また、図５の機能構成例では、装置グローバル座標検出装置３又は装置姿勢角検出装置２からのデータが利用できない場合に対処するために、図４に示した構成例と同じ手法により、１つの画像内から選ばれた４点以上の基準点を用いて、その画像を撮影した時点での装置グローバル座標及び装置姿勢角を算出する機能を有する。よって、図５の構成例において図４の構成例と機能的に相違する要素は、主として対象点ローカル座標算出・記憶部３３である。なお、図５において、図４に示したとほぼ同機能の要素には同じ参照番号を付して、重複した説明を省略する。

以下、図５の構成例における図４の構成例と相違する機能について説明する。

図５に示すように、対象点ローカル座標算出・記憶部３３は、画像入力装置１に含まれる１台のカメラによって撮影された画像を画像記憶装置１３から読み込む。その際、対象点ローカル座標算出・記憶部３３は、移動中の或る時点ｔに撮影された測量対象点のローカル座標を算出しようとする場合に、そのターゲットの時点ｔに撮影された画像を読み込むと共に、そのターゲット時点ｔから所定の時間範囲内で（又は所定の時間間隔だけ）ずれた時刻に（又は、そのターゲット時刻での撮影地点から所定の距離範囲内で（又は所定の距離間隔だけ）ずれた撮影位置で）撮影された別の画像を読み込む。例えば、図示の例では、ターゲット時点ｔに撮影された画像及びターゲット時点ｔから或る時間間隔Δｔだけ後と前にずれた時点ｔ＋Δｔ及びｔ−Δｔにそれぞれ撮影された画像を含む合計３枚の画像（典型的には、例えば移動しながら連続して撮影された３枚の画像、又は、同じ撮影位置で方向を変えながら連続的撮影された３枚の画像）が読み込まれている。なお、この３枚という画像枚数は単なる例示に過ぎず、２枚でも良いし、或いは、もっと多くの枚数であってもよい。いずれにせよ対象点ローカル座標算出・記憶部３３は、ターゲット時点ｔに撮影された画像とそれとは異なる時点又は地点で撮影された別の１枚以上の画像を入力する。また、対象点ローカル座標算出・記憶部３３は、上記撮影時点ｔ、ｔ＋Δｔ及びｔ−Δｔにおける装置姿勢角を、装置姿勢角記憶部１２又は装置グローバル座標・姿勢角算出記憶部３２から読み込み、上記撮影時点ｔ、ｔ＋Δｔ及びｔ−Δｔにおける装置グローバル座標を、装置グローバル座標記憶部１１又は装置グローバル座標・姿勢角算出・記憶部３２から読みこむ。そして、各画像が撮影された時の装置姿勢角と装置グローバル座標とを入力することにより、対象点ローカル座標算出・記憶部３３は、読み込んだ撮影場所の異なる複数枚の画像に対して、読み込んだそれぞれの撮影時点での装置姿勢角と装置グローバル座標に基づいたステレオビジョン処理を行うことで、ターゲット時点ｔに撮影された測量対象点のターゲット時点ｔにおけるローカル座標を算出し記憶する。

基準点参照グローバル座標設定部１６は、図４の構成例に関して説明したと同様のやり方で、検出された装置グローバル座標又は装置姿勢角が利用できない特定区間内における或るターゲット時点ｔに撮影された画像を用いて４点以上の基準点を設定して、それら基準点の参照グローバル座標を入力して、装置グローバル座標・姿勢角算出・記憶部３２に送る。また、基準点画像内位置検出部３１は、ターゲット時点ｔに撮影された画像内での上記基準点の画像内位置を検出して、装置グローバル座標・姿勢角算出・記憶部３２に送る。

他の部分の動作と機能は、既に図４の構成例で説明したものと同様である。

以上により、１台のカメラのみを用いても、測量対象点のグローバル座標を取得することが可能である。また、装置グローバル座標検出装置３からの装置グローバル座標又は装置姿勢角検出部２からの装置姿勢角が取得できない又はその信頼性が低いなどの理由でこれら検出データが利用できない状況下においても、測量対象点の３次元グローバル座標を取得することが可能である。

なお、図５の構成例を変形して、図２の構成例のように、ターゲット時点ｔに撮影された画像内で設定された３点以上の基準点の参照グローバル座標と、対象点ローカル座標算出・記憶部３３で算出されたそれらの基準点のターゲット時点ｔにおけるローカル座標とに基づいて、ターゲット時点ｔにおける装置グローバル座標と装置姿勢角を算出するようにしてもよい。或いは、図５の構成例を変形して、図３の構成例のように、ターゲット時点ｔに撮影された画像内で設定された１点以上の基準点の参照グローバル座標と、ターゲット時点ｔに装置姿勢角検出装置１２で検出された装置姿勢角と、対象点ローカル座標算出・記憶部３３で算出されたその基準点のターゲット時点ｔにおけるローカル座標とに基づいて、ターゲット時点ｔにおける装置グローバル座標を算出するようにしてもよい。

図６に本発明の第２の実施形態に係る３次元グローバル座標取得装置の外観図を示す。

図６に示すように、第２の実施形態では、支持フレーム１００上に画像入力装置１であるデジタルスチルカメラ（以下、単に「カメラ」という）１０１と、測量対象点までの距離と水平角や鉛直角を計測する計測装置であって例えばトータルステーション（以下、単に「ＴＳ」という）１０４と、これらの装置によって取得したデータから測量対象点の３次元グローバル座標を算出する主コントローラ１０５とが取り付けられている。トータルステーション１０４は、支持フレーム１００に固定された台座部１０４Ｂと台座部１０４Ｂに対する方向（水平角と鉛直角）が可変であるサイト部１０４Ａとを有する。カメラ１０１は、サイト部１０４Ａに対して一定の位置関係を持って固定されており、両者は一体的に方向を変えることができる。

この実施形態では、ＧＰＳなどが利用できない場合でも、画像処理を用いず、２点以上の基準点を計測したＴＳ１０４のデータを利用して、装置グローバル座標（ＴＳ１０４のグローバル座標及びカメラ１０１のグローバル座標）や装置姿勢角（ＴＳ１０４の姿勢角及びカメラ１０１の姿勢角）を算出することが可能である。

この３次元グローバル座標取得装置を撮影位置に固定すると（つまり、支持フレーム１００を撮影位置に固定すると）、ＴＳ１０４の水平角＝０かつ鉛直角＝０である基本方向が自動的に定まる。また、カメラ１０１とＴＳ１０４のサイト部１０４Ａとが一定の位置関係をもって固定されて一体となって方向を変更するようになっているため、カメラ１０１の撮影方向を変更すると、ＴＳ１０４の３次元角度データにより、撮影位置での基本方向（水平角＝０かつ鉛直角＝０である方向）に対するカメラ１０１の姿勢角を求めることができる。

ユーザは、予めキャリブレーションを行い、ＴＳ１０４（サイト部１０４Ａ）とカメラ１０１の位置関係を求めておく。ユーザは、測量現場において撮影位置を定め、撮影位置から見える周辺地域の中から２点以上の基準点を選択し、選択した基準点のＴＳ１０４に対する方向（水平角と鉛直角）と距離をＴＳ１０４を用いて計測する。また、ユーザは、事前に又は事後に、別途の方法で、それら基準点の信頼性のあるグローバル座標を入手し（例えば、ＧＰＳやＴＳなどを用いて別途計測する、この３次元グローバル座標取得装置によって別途計測する、既存のデータソースから入手するなど）、入手した基準点のグローバル座標を主コントローラ１０５に入力する。主コントローラ１０５では、上述した基準点のＴＳ１０４による計測結果と基準点のグローバル座標とから、撮影位置での基本方向（水平角＝０かつ鉛直角＝０）におけるＴＳ１０４のグローバル座標と姿勢角が計算される。また、ユーザは、同じ撮影位置において、周辺の測量対象点に３次元グローバル座標取得装置を向け、カメラ１０１で測量対象点を撮影するとともに、その時のＴＳ１０４のデータ（例えば、姿勢角（水平角と鉛直角））を計測し、記憶する。撮影画像に基準点が含まれていなくとも良い。主コントローラ１０５では、上述した基本方向（水平角＝０かつ鉛直角＝０）におけるＴＳ１０４の姿勢角と、前記測量対象点を撮影した時のＴＳ１０４の姿勢角（例えば、水平角と鉛直角）から、測量対象点を撮影した時のＴＳ１０４の姿勢角が計算される。尚、撮影時のＴＳ１０４のグローバル座標は、基本方向におけるそれと同一である。そして、主コントローラ１０５では、求められた撮影時のＴＳ１０４のグローバル座標と姿勢角と、予め求められているＴＳ１０４とカメラ１０１との位置関係とにより、撮影時のカメラ１０１のグローバル座標と姿勢角とが計算される。ユーザは、３次元グローバル座標取得装置の位置を移動して（又は、移動せずにカメラ１０１の姿勢角を変更して）、上記操作を繰り返し実施する。

以上により、主コントローラ１０５では、複数の異なる撮影位置（又は方向）にてそれぞれ測量対象点を撮影した時のカメラのグローバル座標と姿勢角、および測量対象点を撮影した画像が計算される。主コントローラ１０５では、これら異なる撮影位置（又は方向）で撮影された測量対象点の複数の画像とカメラのグローバル座標と姿勢角とを用いてステレオ処理を行なうことにより、測量対象点のカメラ１０１からみたローカル座標が算出される。そして、主コントローラ１０５では、こうして求まった撮影位置での測量対象点のローカル座標と、撮影位置でのカメラ１０１のグローバル座標と姿勢角とを用いて、測量対象点の３次元グローバル座標が計算される。

ＴＳ１０４のグローバル座標と姿勢角を求めるこの方法は、画像処理によるカメラ１０１のグローバル座標と姿勢角を求める方法と比べて非常に簡単であり、この結果からカメラ１０１のグローバル座標と姿勢角とを容易に求めることができる。（例えば、図５に例示した画像処理によるグローバル座標と姿勢角の推定のためには基準点が４点以上必要であるが、これら４点以上の基準点により上記操作を行なうためには、例えばＴＳで最低でも基準点の４回の計測が必要であり、かつ、撮影画像中から対応する基準点の画像内位置を最低４回設定する作業も必要となる。）また、この方法では、測量対象点を撮影するカメラ１０１の撮影枠（すなわち、カメラ撮影された画像）の中に基準点を含める必要はなく、撮影位置から基準点をＴＳ１０４を用いて計測可能であれば良い。

尚、３次元グローバル座標取得装置を移動することなく、デジタルカメラ１０１の方向を変更して撮影した画像を用いてステレオ処理を行なうことにより３次元グローバル座標取得装置の移動が最小限で又は移動することなくパノラマの３次元計測が可能となる。

図７に、この実施形態における主コントローラ１０５の一機能構成例を示す。図７において、図５に示したものと同機能の要素には同じ参照番号を付して、重複した説明を省略する。

基準点計測値記憶部１１２は、ＴＳ１０４が計測した基準点のデータ（例えば、ＴＳから基準点までの距離や水平角や鉛直角）を記憶している。基準点グローバル座標入力部１１８は、基準点の信頼性のあるグローバル座標を入力する。ＴＳグローバル座標・姿勢角算出・記憶部１１３は、ＴＳ１０４が計測した２点以上の基準点のデータと、入力されたそれらの基準点のグローバル座標とから、撮影位置におけるＴＳ１０４のグローバル座標と、基本方向（水平角＝０かつ鉛直角＝０）のときの姿勢角を算出し、記憶する。撮影時計測値記憶部１１４は、画像入力装置１（すなわち、デジタルスチルカメラ１０１）によって測量対象点の撮影が行なわれた時のＴＳ１０４が計測したデータ（水平角と鉛直角）を記憶している。

ＴＳ姿勢角算出・記憶部１１５は、ＴＳグローバル座標・姿勢角算出・記憶部１１３が記憶している基本方向（水平角＝０かつ鉛直角＝０）におけるＴＳ１０４の姿勢角と、撮影時計測値記憶部１１４に記憶されている測量対象点撮影時のＴＳ１０４が計測したデータ（水平角と鉛直角）とから、測量対象点撮影時のＴＳ１０４の姿勢角（水平角と鉛直角）を算出し、記憶する。

カメラグローバル座標・姿勢角・算出記憶部１１７は、ＴＳグローバル座標・姿勢角算出記憶部１１３が記憶している測量対象点撮影時のＴＳ１０４のグローバル座標と、ＴＳ姿勢角算出・記憶部１１５が記憶している測量対象点撮影時のＴＳ１０４の姿勢角と、ユーザが予めキャリブレーションを行なって取得している画像入力装置１（カメラ１０１）とＴＳ１０４（サイト部１０４A）との位置関係とから、画像入力装置１（カメラ１０１）のグローバル座標と姿勢角を算出し、記憶する。算出されたカメラ１０１のグローバル座標と姿勢角に基づき、すでに説明したように座標変換式が決定され、その変換式を用いて測量対象点のローカル座標がグローバル座標に変換される。

なお、上述した実施形態では、１つの画像入力装置１（カメラ１０１）を用いて、その１つの画像入力装置１の位置を移動又は姿勢角を変更することによってステレオ処理のための複数の画像を入力しているが、変形例として図１のように、複数の画像入力装置１（カメラ）を用いて、同時に複数枚の画像を撮影し、それらのステレオ処理により、１つの基準カメラからみた測量対象点のローカル座標を算出してもよい。また、別の変形例として、図６、図７で説明した構成に加えて、図２に示した機能構成例のように、ＧＰＳなどの装置グローバル座標検出装置３と慣性センサ等の装置姿勢角検出装置２も併用して、例えば、装置グローバル座標検出装置３からの装置グローバル座標と装置姿勢角検出装置２からの装置姿勢角の双方が利用不能である状況の場合のみ、上述したようにＴＳ１０４を用いて測量対象点のグローバル座標を算出するというように、両方式を状況に応じて使い分けても良い。

また、上述した例では、ＴＳ１０４の姿勢角とグローバル座標を算出し、ＴＳ１０４と画像入力装置１との位置関係より画像入力装置１の姿勢角とグローバル座標を算出して、画像入力装置１の姿勢角とグローバル座標と撮影された画像とから測量対象点のグローバル座標を算出しているが、ＴＳ１０４の姿勢角とグローバル座標と、画像入力装置１によって撮影された画像と、ＴＳ１０４と画像入力装置１との位置関係とから測量対象点のグローバル座標を算出しても良い。

以上、本発明の実施形態を説明したが、これは本発明の説明のための例示であって、この実施形態のみに本発明の範囲を限定する趣旨ではない。従って、本発明は、その要旨を逸脱することなく、上述した実施形態とは異なる様々な態様で実施することが可能である。

例えば、図２〜図５を参照して説明した主コントローラの処理動作のうち、どの処理動作は移動中又は撮影時に行ない、また、どの処理動作は後刻に行われかという点については、様々なバリエーションがある。少なくとも、装置グローバル座標検出装置３と装置姿勢角検出装置２による測定動作は移動中の撮影時に行われなければならない。しかし、他の処理動作については、その全てを後にまとめて行ってもよいし、或いは、一部の処理動作は移動中に行ない他の一部の処理動作は後から行うようにしてもよい（例えば、装置グローバル座標検出装置３と装置姿勢角検出装置２による測定データと撮影画像を用いた対象点グローバル座標の算出は移動中にほぼリアルタイムで行うが、基準点の設定やそれに基づく処理は後からゆっくり行うというようにである）。

また、装置グローバル座標検出装置３において、GPS受信機と自立航法機器を併用した場合には、GPSが利用できない特定区間においても、自立航法機器のみを用いて装置グローバル座標が検出されるが、これは、特定区間が長く続くと精度が落ちる。このような場合、特定区間内の幾つかの地点に関して上述したような基準点の情報に基づいて装置グローバル座標を算出して、その幾つかの地点について算出された装置グローバル座標を用い、そして、それら幾つかの地点の間の区間については補完法を用いて計算する（例えば、算出された装置グローバル座標と測定された装置グローバル座標との誤差を、地点の間の区間の距離に応じて比例配分する）ことで、特定区間内の全地点で自立航法機器のみにより検出された低精度の装置グローバル座標の全てを、より精度の良いグローバル座標に補正することができる。この方法によれば、特定区間内の全ての地点で基準点に基づく装置グローバル座標の算出を行う必要がなく、より少数の地点でその算出を行えば済むという利点が得られる。

本発明は、地形や建物などの３次元形状を測量して３次元地図や３次元モデルを作成する分野、道路上の白線、信号機及び標識などの道路地物の位置や歩道と道路の段差などを測量して道路管理に役立てることを目的とする道路GIS分野、森林の樹木の位置座標、樹高及び樹径などを計測して森林管理に役立てることを目的とした森林GIS分野、及び、工事現場の地形の変化を計測して工事の効率化に役立てることを目的とする情報施工の分野など、様々な産業分野に応用できる。

本発明の一実施形態にかかる３次元グローバル座標取得装置の全体的な外観構成図。 主コントローラの一つの具体的な機能構成例を示すブロック図。 主コントローラの別の具体的な機能構成例を示すブロック図。 主コントローラのまた別の具体的な機能構成例を示すブロック図。 主コントローラのさらに別の具体的な機能構成例を示すブロック図。 本発明の別の実施形態にかかる３次元グローバル座標取得装置の全体的な外観構成図。 図６の主コントローラの具体的な機能構成例を示すブロック図。

符号の説明

１：画像入力装置
２：装置姿勢角検出装置
３：装置グローバル座標検出装置
４：主コントローラ
１１：装置グローバル座標記憶部
１２：装置姿勢角検出記憶部
１３：画像記憶手段
１４：対象点ローカル座標算出・記憶部
１５：基準点ローカル座標読取り部
１６：複数基準点グローバル座標設定部
１７：装置グローバル座標・姿勢角算出・記憶部
１８：座標変換式決定・記憶部
１９：対象点グローバル座標算出・記憶部
２１：装置グローバル座標算出・記憶部
２２：座標変換式決定・記憶部
３１：基準点画像内位置検出部
３２：装置グローバル座標・姿勢角算出・記憶部
３３：対象点ローカル座標算出・記憶部
１０１：デジタルスチルカメラ
１０４：ＴＳ
１０５：主コントローラ
１１１：キャリブレーション処理
１１２：基準点計測値記憶部
１１３：ＴＳグローバル座標・姿勢角算出記憶部
１１４：撮影時計測値記憶部
１１５：ＴＳ姿勢角算出・記憶部
１１７：カメラグローバル座標・姿勢角・算出・記憶部

Claims (10)

1. 画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置において、
   撮影位置にてカメラ（１A、１B）で撮影された画像を入力する画像入力手段（１）と、
   前記画像入力手段からの前記画像を処理することにより、前記画像内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（１４、３３）と、
   前記画像入力手段からの前記画像内で基準点を設定し、設定された前記基準点のグローバル座標系での座標である参照グローバル座標を入力する基準点参照グローバル座標設定手段（１６）と、
   前記基準点参照グローバル座標設定手段からの前記基準点の参照グローバル座標に基づいて、前記画像を撮影したときの前記カメラのグローバル座標系での座標である装置グローバル座標を算出する装置グローバル座標算出手段（１７、２１、３２）と、
   前記画像を撮影したときの前記カメラの前記グローバル座標系での姿勢角を取得する姿勢角取得手段（２、１７、３２）と、
   前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記姿勢角取得手段からの前記姿勢角とに基づいて、前記対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８、２２）と、
   前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段からの前記対象点ローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）と
   を備えたグローバル座標取得装置。
2. GPS受信機又はトータルステーションを用いて前記画像を撮影したときの前記カメラの装置グローバル座標を取得する装置グローバル座標検出手段（３）を更に備え、
   前記座標変換式決定手段（１８、２２）は、前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記装置グローバル座標検出手段からの前記装置グローバル座標とを選択的に用いて、座標変換式を決定するようになった請求項１記載のグローバル座標取得装置。
3. 前記基準点参照グローバル座標設定手段（１６）は、前記画像内で３点以上の基準点を設定して、設定された前記３点以上の基準点の参照グローバル座標を入力し、
   前記装置グローバル座標算出手段（１７）は、前記基準点参照グローバル座標設定手段からの前記３点以上の基準点の参照グローバル座標と、前記対象点ローカル座標算出手段により算出された前記画像内の前記３点以上の基準点の対象点ローカル座標とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出し、それにより、装置グローバル座標算出手段（１７）が前記姿勢角取得手段（１７）を兼ねるようになった請求項１記載のグローバル座標取得装置。
4. 前記基準点参照グローバル座標設定手段（１６）は、前記画像内で１点以上の基準点を設定して、設定された前記１点以上の基準点の参照グローバル座標を入力し、
   前記装置グローバル座標算出手段（２１）は、前記基準点参照グローバル座標設定手段からの前記１点以上の基準点の参照グローバル座標と、前記対象点ローカル座標算出手段により算出された前記画像内の前記１点以上の基準点の対象点ローカル座標と、前記姿勢角取得手段からの前記画像を撮影したときの前記姿勢角とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出するようになった請求項１記載のグローバル座標取得装置。
5. 前記基準点参照グローバル座標設定手段（１６）は、前記画像内で４点以上の基準点を設定して、設定された前記４点以上の基準点の参照グローバル座標を入力し、
   前記装置グローバル座標算出手段（３２）は、前記基準点参照グローバル座標設定手段からの前記４点以上の基準点の参照グローバル座標と、前記４点以上の基準点の前記画像内での２次元位置と、前記カメラの焦点距離とに基づいて、前記画像を撮影したときの装置グローバル座標と前記姿勢角を算出し、それにより、装置グローバル座標算出手段（３２）が前記姿勢角取得手段（３２）を兼ねるようになった請求項１記載のグローバル座標取得装置。
6. 慣性センサを用いて前記姿勢角を検出する姿勢角検出手段（２）を更に備え、
   前記座標変換式決定手段（１８）は、前記装置グローバル座標算出手段（１７、３２）からの前記姿勢角と、前記姿勢角検出手段（２）からの前記姿勢角とを選択的に用いて、座標変換式を決定するようになった請求項３又は５記載のグローバル座標取得装置。
7. 前記対象点ローカル座標算出手段（３３）が、前記画像入力手段からの同一カメラで異なる地点で撮影された複数の画像をステレオビジョン処理することにより、前記対象点ローカル座標を算出するようになった請求項１記載のグローバル座標取得装置。
8. 画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置において、
   トータルステーション（以下、ＴＳという）（１０４）と、
   撮影位置にて少なくとも２点の基準点を前記ＴＳで計測したデータと、前記基準点のグローバル座標とに基づいた前記撮影地点における前記ＴＳのグローバル座標と基本方向での姿勢角とを算出して記憶するＴＳグローバル座標・姿勢角算出・記憶手段（１１３）と、
   前記ＴＳと所定の位置関係をもって備えられているカメラにより前記撮影位置にて任意の撮影方向で撮影された画像を入力する画像入力手段（１）と、
   前記カメラで前記任意の撮影方向で撮影した時の前記ＴＳで計測された姿勢角のデータを記憶する撮影時計測値記憶手段（１１４）と、
   前記ＴＳグローバル座標・姿勢角算出・記憶手段に記憶されている前記ＴＳの基本方向での姿勢角と、前記撮影時計測値記憶手段（１１４）に記憶されている前記撮影時における前記ＴＳによって計測されたデータとから、前記撮影時における前記ＴＳの姿勢角を算出し記憶するＴＳ姿勢角算出・記憶手段（１１５）と、
   前記画像入力手段からの前記画像を処理することにより、前記画像内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（３３）と、
   前記ＴＳ姿勢角算出・記憶手段に記憶されている前記撮影時のＴＳの姿勢角と、前記ＴＳグローバル座標・姿勢角算出・記憶手段に記憶されている前記撮影位置でのＴＳのグローバル座標と、前記ＴＳと前記カメラとの位置関係とに基づいて、対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８）と、
   前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段によって算出された前記対象点のローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）と
   を備えたグローバル座標取得装置。
9. 画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得装置において、
   撮影位置にてカメラ（１A、１B）で撮影された画像を入力する画像入力手段（１）と、
   前記画像入力手段からの前記画像を処理することにより、前記画面内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出する対象点ローカル座標算出手段（１４）と、
   前記画像を撮影したときの前記カメラの前記グローバル座標系での姿勢角を取得する姿勢角取得手段（２）と、
   前記画像を撮影したときの前記カメラの前記グローバル座標系での座標を取得するグローバル座標取得手段（３）と、
   前記装置グローバル座標算出手段からの前記装置グローバル座標と、前記姿勢角取得手段からの前記姿勢角とに基づいて、前記対象点のローカル座標をグローバル座標に変換するための座標変換式を決定する座標変換式決定手段（１８）と、
   前記座標変換式決定手段からの座標変換式を用いて、前記対象点ローカル座標算出手段からの前記対象点ローカル座標をグローバル座標に変換する対象点グローバル座標算出手段（１９）と
   を備えたグローバル座標取得装置。
10. 画像処理を用いて対象点のグローバル座標を測定するグローバル座標取得方法において、
    撮影位置にてカメラ（１A、１B）で撮影された画像を入力するステップと、
    入力された前記画像を処理することにより、前記画像内の対象点の前記撮影位置を基準とするローカル座標系での座標である対象点ローカル座標を算出するステップと、
    入力された前記画像内で基準点を設定し、設定された前記基準点のグローバル座標系での座標である参照グローバル座標を入力するステップと、
    入力された前記基準点の参照グローバル座標に基づいて、前記画像を撮影したときの前記カメラのグローバル座標系での座標である装置グローバル座標を算出するステップと、
    前記画像を撮影したときの前記カメラの前記グローバル座標系での姿勢角を取得するステップと、
    算出された前記装置グローバル座標と、取得された前記姿勢角とに基づいて、前記対象点のローカル座標をグローバル座標に変換するための座標変換式を決定するステップと、
    決定された前記座標変換式を用いて、算出された前記対象点ローカル座標をグローバル座標に変換するステップと
    を備えたグローバル座標取得方法。

Images