JP2004347516A

JP2004347516A - 測量システム

Info

Publication number: JP2004347516A
Application number: JP2003146235A
Authority: JP
Inventors: Shinobu Uesono; 忍上園; Shigeru Wakashiro; 滋若代; Masami Shirai; 雅実白井
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2004-12-09

Abstract

【課題】測量機とカメラとの間の位置関係を簡単かつ迅速に算出する。
【解決手段】デジタルスチルカメラが内蔵された測量機１０において、測量対象物の画像を撮影する。撮影された画像上において４つの基準点を任意に選択し、各基準点の位置を測量する。手持ちカメラ２０により測量対象物の画像を撮影する。内蔵カメラで撮影された画像データと基準点の測量データ、手持ちカメラで撮影された画像データを測量機１０に転送する。内蔵カメラで撮影された画像上において基準点を中心とするテンプレート画像を抽出する。テンプレート画像に基づいて、手持ちカメラで撮影された画像の中から対応候補点を検出する。測量座標から求められる画像座標と対応候補点の画像座標のメリット関数を算出する。メリット関数が最小となる対応候補点の組を基準点に対する真の対応点とする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、測量機を用いた測量システムに関する。
【０００２】
【従来の技術】
測量機を用いて測量を行う際に、測点を含む周囲の状況をカメラで撮影することがあり、撮影には例えば市販のデジタルカメラ等が用いられる。また、近年では測量機内にデジタルカメラを内蔵したものも提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−３３７３３６号公報（図１）
【０００４】
【発明が解決しようとする課題】
測量現場をカメラで撮影し、画像データを測量データとともに利用する場合には、画像撮影時におけるカメラと測量機の間の位置関係を知る必要がしばしば発生する。カメラを内蔵した測量機では、カメラと測量機の位置関係が既知なので、カメラと測量機との位置関係を改めて求める必要はないが、測量機と別個独立の手持ちのカメラ（例えば市販のデジタルカメラ）を用いて撮影を行った場合には、各画像が撮影されたときのカメラの測量機に対する相対的な位置を算出する必要がある。
【０００５】
本発明は、測量機とカメラとの間の位置関係を簡単かつ迅速に算出できる測量システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の測量システムは、測量対象物の３次元的な測量座標を測量可能な測量機と、測量対象物に関する第１の画像を撮影し、測量機に対する外部評定要素が既知の第１の撮像手段と、測量対象物に関する第１の画像とは異なる第２の画像を撮影し、測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段と、第１の画像に撮像された基準点に対応する候補点を第２の画像から検出する対応候補点検出手段と、測量座標と対応候補点の画像座標とに基づいて、基準点に対応する第２の画像上の位置を特定する対応点特定手段とを備えたことを特徴としている。
【０００７】
測量システムは、基準点に対応する第２の画像上の位置と、基準点の測量座標とに基づいて、第２の撮像手段の未知の外部評定要素を算出する外部評定要素算出手段を備えることが好ましい。
【０００８】
また、第２の撮像手段として、市販のカメラを用いる場合には、測量システムは、第２の撮像手段の内部定位要素の一部又は全部が未知であり、基準点に対応する第２の画像上の位置と、基準点の測量座標とに基づいて、未知の内部定位要素を算出する内部定位要素算出手段を備えることが好ましい。
【０００９】
簡便にかつ正確に基準点に対応する第２の画像上の位置を特定するには、対応点特定手段は、基準点に対応する対応候補点の各組み合わせに対応する各画像座標を基準点に対応する第２の画像上の位置としたときに基準点の測量座標を用いて得られるメリット関数を各組み合わせ毎に算出し、このメリット関数が最小値を取る組み合わせを基準点に対応する第２の画像上の位置であると特定することが好ましい。
【００１０】
対応候点検出手段は例えば、第１の画像における基準点周りの画像パターンと類似する画像パターンを第２の画像から検出することにより、基準点に対応する対応候補点を第２の画像から検出する。また、この対応候補点検出手段において、例えば第１の画像における画像パターンと第２の画像における画像パターンとの間の相関を取ることにより２つの画像パターンの間における類似度が判定される。
【００１１】
また、本発明の外部標定要素算出方法は、測量対象物の３次元的な測量座標を測量可能な測量機に対する外部標定要素が既知の第１の撮像手段により撮影された測量対象物に関する第１の画像と、測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段により撮影された測量対象物に関する第１の画像とは異なる第２の画像とに基づいて、第１の画像に撮像された基準点に対応する候補点を第２の画像から検出するステップと、基準点の測量座標と対応候補点の画像座標とに基づいて、基準点に対応する第２の画像上の位置を特定するステップとを有したことを特徴としている。
【００１２】
また本発明の外部標定要素算出プログラムは、コンピュータに、測量対象物の３次元的な測量座標を測量可能な測量機に対する外部標定要素が既知の第１の撮像手段により撮影された測量対象物に関する第１の画像と、測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段により撮影された測量対象物に関する第１の画像とは異なる第２の画像とに基づいて、第１の画像に撮像された基準点に対応する候補点を第２の画像から検出する手順と、基準点の測量座標と対応候補点の画像座標とに基づいて、基準点に対応する第２の画像上の位置を特定する手順とを実行させることを特徴としている。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の第１実施形態である測量システムの概略を模式的に示す図である。
【００１４】
第１実施形態の測量システムは、例えば測量機１０、カメラ２０、及びコンピュータ３０から構成される。測量機１０は例えばデジタルカメラが内蔵されたトータルステーションであり、カメラ２０は例えば市販のデジタルスチルカメラである。測量機１０では、被写体Ｓの複数の点が測量されるとともに、その画像が内蔵カメラで撮影される。測量された各測点の測量データと内蔵カメラで撮影された被写体Ｓの画像は、例えば図示しないインターフェースケーブルを介してコンピュータ３０に転送される。
【００１５】
一方、カメラ２０は、測量機１０とは別個独立に設けられたカメラであり、例えば作業者により携行され、被写体Ｓの測量機１０とは異なる位置からの撮影に用いられる。また、コンピュータ３０では、後述するように、カメラ２０からの画像データと、測量機１０からの測量データ・画像データとを用いて、カメラ２０で画像が撮像された時のカメラ２０の測量機１０に対する相対的な位置及び向き（姿勢）が算出される。
【００１６】
図２は、第１実施形態の測量システムの電気的及び光学的な構成を示すブロック図である。以下、図２を参照して第１実施形態の測量システムの電気的な構成について説明する。
【００１７】
測量機１０は、測点に視準するための視準望遠鏡１７を備える。視準望遠鏡１７は、高度角θｐを測定するために視準望遠鏡を俯仰させる水平軸Ｌｈと、水平角θｈを測定するために視準望遠鏡を水平方向に回転させる鉛直軸Ｌｐとを有し、これらの軸の周りに回動可能である。水平軸Ｌｈと鉛直軸Ｌｐとは点Ｏ_Ｓ（以下視準原点Ｏ_Ｓと呼ぶ）において直交し、視準望遠鏡１７の光軸（視準線）Ｌ０は視準原点Ｏ_Ｓを通る。対物レンズ系ＬＳ１の光軸Ｌ０は、例えばプリズムＰＳ１において２分され、一方は接眼レンズ系ＬＳ２に導かれ他方は測距部１１に導かれる。測距部１１では視準された測点までの斜距離等が、例えば光波測距等により検出され、測角部１２ではこのときの水平角θｈ、高度角θｐ等が検出される。
【００１８】
測距部１１及び測角部１２はそれぞれシステムコンロール回路１３に接続されており、システムコントロール回路１３からの指令に基づき制御される。例えば測距部１１はシステムコントロール回路１３の指令に基づいて測距を行い、測定値をシステムコントロール回路１３に送出する。一方、測角部１２は常時水平角θｈ、高度角θｐ等を測定しておりシステムコントロール回路１３からの要求に応じてその測定値をシステムコントロール回路１３へ送出する。検出された斜距離、水平角、高度角等の測定値はシステムコントロール回路１３において処理される。
【００１９】
また、測量機１０は撮像光学系ＬＳ３及びＣＣＤ等の撮像素子を備えた撮像部１８を備え（内蔵カメラ）、撮像光学系ＬＳ３を介して視準方向の画像を撮像することができる。撮像部１８において取得された画像データは、システムコントロール回路１３に転送され、システムコントロール１３内に設けられた図示しないメモリに記録される。なお、システムコントロール回路１３には、この他にも、スイッチ群１４、表示器１５（例えばＬＣＤ）、インターフェース回路１６等が接続される。
【００２０】
インターフェース回路１６には、インターフェースケーブルを介して例えばノート型パーソナルコンピュータ等のコンピュータ３０が接続される。すなわち、測量機１０はインターフェースケーブルを介してコンピュータ３０等に測量データや画像データ等を送信できる。なお、インターフェース回路１６は、データコレクタ（図示せず）等の周辺機器にも接続可能である。
【００２１】
コンピュータ３０は、ＣＰＵ３１を中心にハードディスク、ＤＶＤ、ＭＯ、ＩＣカード等の記録媒体３２、マウス３３やキーボード３４等の入力装置や、ＬＣＤ、ＣＲＴ等の画像表示装置（モニタ）３５、及びインターフェース回路３６から概ねなる。インターフェース回路３６は上述したように、インターフェースケーブルを介して測量機１０のインターフェース回路１６に接続され、測量機１０との通信に用いられる。すなわち、測量機１０からの測量データや画像データは、インターフェース回路３６を介して入力される。また、インターフェース回路３６は、例えばデジタルスチルカメラ２０に接続可能である。すなわち、デジタルスチルカメラ２０で撮影された画像は、デジタル画像データとしてコンピュータ３０に伝送され、例えばインターフェース回路３６を介して記録媒体３２に記録される。
【００２２】
次に図３〜図８を参照して第１実施形態における自動単写真評定処理について説明する。図３は、単写真標定処理の前提となる測量作業の手順を示すフローチャートであり、図４、図５は、図３の測量作業で得られた測量データ及び画像データに基づいてコンピュータ３０で実行される自動単写真標定処理のプログラムのフローチャートである。図６は測量機１０に内蔵されたデジタルスチルカメラで撮影された基準点を含む測量対象物の画像の一例であり、図７、図８は手持ちカメラ２０で撮影された画像の一例である。なお、図７では、基準点に対応する対応候補点が示されており、図８では、対応候補点の中から最適な対応点が検出された状態が示されている。
【００２３】
図３に示されるように、測量作業では、まずステップＳ１００において、測量機１０の内蔵カメラを用いて、測量対象物の画像が撮影され、その画像データがコンピュータ３０に転送される。次にステップＳ１０１において、手持ちカメラ２０を用いて、同一の測量対象物に対して撮影が行われ、その画像データがコンピュータ３０に転送される。最後に、ステップＳ１０２において、測量機１０を用いて、手持ちカメラ２０で撮影された画像の標定（単写真標定）に用いられる基準点の測量が行われる。
【００２４】
基準点は、測量機１０の内蔵カメラ及び手持ちカメラ２０において共通に撮影される任意の点であり、本実施形態では測量対象物の周りの４点、すなわち基準点Ｐ１〜基準点Ｐ４（図１参照）が選択される。測量された基準点Ｐ１〜Ｐ４の３次元的な位置を示す測量データは、インターフェースケーブルを介してコンピュータ３０に転送される。以上により、コンピュータ３０における単写真標定処理の前提となる測量作業は終了する。なお、本実施形態では、手持ちカメラの位置、傾き、画面距離（レンズ投影中心から像面までの距離）が未知であることを前提にしており、基準点の数は４点以上であればよい。また、全ての測量作業が終了した後で、測量機１０やカメラ２０をコンピュータ３０に接続し、画像データや測量データを一括転送してもよい。
【００２５】
コンピュータ３０では、図４に示されるように、手持ちカメラ２０からの画像データと、測量機１０からの測量データ及び画像データとに基づいて自動単写真標定処理が実行される。
【００２６】
ステップＳ２００では、図３の測量作業における各ステップＳ１００〜Ｓ１０２の操作に対応して測量機１０からの測量データ及び画像データと、手持ちカメラ２０からの画像データがインターフェース回路３６を介して取り込まれ、記録媒体３２に記録される。ステップＳ２０１では、単写真標定処理に必要な測量データ及び画像データが全て揃っているか否かが判定され、揃っていないと判定された場合には、ステップＳ２００に戻り同様の処理を繰り返す。すなわち、測量機１０及び手持ちカメラ２０からのデータを受信するための処理が実行される。一方ステップＳ２０１において、全データが揃っていると判定された場合には、ステップＳ２０２に進む。
【００２７】
ステップＳ２０２では、図６に示すように、４つの基準点Ｐ１〜Ｐ４に対応する点が測量機１０の内蔵カメラで撮影された画像Ｓ１にマッピングされる。すなわち、測量機１０の視準光学系と内蔵カメラとの間の関係は既知なので、各基準点Ｐ１〜Ｐ４の測量データ（測量座標）から、各基準点Ｐ１〜Ｐ４に対応する画像Ｓ１上の画素Ｐ１’〜Ｐ４’（画像座標）が算出されて対応付けられる。
【００２８】
ステップＳ２０３では、内蔵カメラで撮影された画像Ｓ１から各基準点Ｐ１〜Ｐ４に対応するテンプレート画像Ｔ１〜Ｔ４が切り出される。テンプレート画像Ｔ１〜Ｔ４は、図６に示されるように、画像Ｓ１上の画素Ｐ１’〜Ｐ４’を中心とした所定の領域（例えば正方領域）の画像であり、次のステップＳ２０４〜ステップＳ２０７において実行される対応候補点検出処理において利用される。
【００２９】
対応候補点検出処理は、手持ちカメラ２０で撮影された画像Ｓ２の中からテンプレート画像Ｔ１〜Ｔ４に対応する可能性のある領域が例えば相関マッチングにより検出される。すなわち、対応候補点検出処理では、基準点Ｐ１〜Ｐ４の各々に対応する可能性がある複数の画素がそれぞれ対応候補点Ｑ_ｉ，ｊとして画像Ｓ２において検出される。なお、対応候補点Ｑ_ｉ，ｊの添え字ｉ（ｉ＝１，２，３，４）は、各テンプレート画像Ｔ１〜Ｔ４（各基準点Ｐ１〜Ｐ４）のインデックスであり、添え字ｊはテンプレート画像Ｔｉ（基準点Ｐｉ）に対して検出された複数の対応候補点の各々を識別するためのインデックスである。すなわち、テンプレート画像Ｔｉ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）に対応して画像Ｓ２からＮｉ（Ｎ１、Ｎ２、Ｎ３、Ｎ４）個の対応候補点が検出されるとすると、１≦ｊ≦Ｎｉである。なお、以下において、テンプレート画像Ｔｉ（基準点Ｐｉ）に対応する対応候補点Ｑ_ｉ，ｊを含む集合を対応候補点群Ｑｉで表わす。
【００３０】
図７では、一例として、基準点Ｐ１に対応する３つの対応候補点Ｑ_１，１、Ｑ_１，２、Ｑ_１，３、基準点Ｐ２に対応する１つの対応候補点Ｑ_２，１、基準点Ｐ３に対応する３つの対応候補点Ｑ_３，１、Ｑ_３，２、Ｑ_３，３、基準点Ｐ４に対応する１つの対応候補点Ｑ_４，１が示されている。すなわち、図７の例では、Ｎ１＝３、Ｎ２＝１、Ｎ３＝３、Ｎ４＝１である。
【００３１】
まず、ステップＳ２０４では、パラメータｉの初期化が行われｉ＝１に設定される。ステップＳ２０５では、テンプレート画像Ｔｉと手持ちカメラ２０の画像Ｓ２の間で相関マッチング処理（後述）が行われ、テンプレート画像Ｔｉ、すなわち基準点Ｐｉ、に対応する可能性がある複数の対応候補点Ｑ_ｉ，ｊが検出される。
【００３２】
次にパラメータｉは、ステップＳ２０６において１インクリメントされ、ステップＳ２０７ではｉ＞４であるか否かが判定される。すなわち、本実施形態では、基準点として４つの点を用いているので、パラメータｉがその最大値４を越えたか否かが判定される。ｉが４を越えていない場合には、ステップＳ２０５に戻り、１インクリメントされたｉに対して同様に対応候補点検出処理が行われる。一方、ステップＳ２０７においてｉ＞４であると判定されると、ステップＳ２０８〜Ｓ２１３において対応点特定処理が行われる。
【００３３】
ステップＳ２０８〜Ｓ２１３では、対応候補点群Ｑｉの各々から１点ずつ合計４点選択した組み合わせの中から最適な組み合わせが求められる。まずステップＳ２０８では、パラメータｋの初期化が行われ、ｋ＝１とされる。パラメータｋは、対応候補点群Ｑ１、Ｑ２、Ｑ３、Ｑ４からそれぞれ１点ずつ選択された合計４点の組み合わせの全てに対して付された通し番号（インデックス）であり、その最大値はＮ１×Ｎ２×Ｎ３×Ｎ４（ΠＮｉ）である。
【００３４】
ステップＳ２０９では、パラメータｋに対応する組み合わせに基づいて、各対応候補点群Ｑｉの中からそれぞれ対応候補点が１点ずつ選択される。ステップＳ２１０では、後述するように、選択された４つの対応候補点の画像Ｓ２上の画像座標と４つの基準点Ｐｉの測量座標からメリット関数Φｋが算出される。
【００３５】
ステップＳ２１１では、パラメータｋの値が１インクリメントされ、ステップＳ２１２では、パラメータｋの値が、その最大値Ｎ１×Ｎ２×Ｎ３×Ｎ４を越えたか否かが判定される。パラメータｋの値が最大値Ｎ１×Ｎ２×Ｎ３×Ｎ４以下であれば、ステップＳ２０９に戻り、更新されたパラメータｋに対応する対応候補点の組み合わせに対して同様の処理が繰り返され、メリット関数Φｋが求められる。またステップＳ２１２においてパラメータｋの値が最大値Ｎ１×Ｎ２×Ｎ３×Ｎ４よりも大きいと判定された場合には、既に全ての組み合わせに対してメリット関数Φｋが算出されているのでステップＳ２１３に進む。
【００３６】
ステップＳ２１３では、ステップＳ２１０で算出されたメリット関数Φｋ（１≦ｋ≦Ｎ１×Ｎ２×Ｎ３×Ｎ４）のうち最小のΦｋに対応する対応候補点Ｑ_ｉ，ｊの組み合わせが基準点Ｐｉに対する対応点とされ、そのときの画像Ｓ２の位置及び傾きを表わす外部標定要素や手持ちカメラ２０における画面距離（レンズ投影中心から像面Ｓ２までの距離）ｆとともに、例えば記録媒体３２に保存される。なお、図８では、対応候補点の組み合わせＱ_１，３、Ｑ_２，１、Ｑ_３，３、Ｑ_４，１が、基準点Ｐ１〜Ｐ４に対応する点として特定されている。以上により本実施形態の自動単写真標定処理は終了する。
【００３７】
次に図９、図１０を参照して、図４のステップＳ２０４〜ステップＳ２０７の対応候補点検出処理において実行される相関マッチング処理について説明する。
【００３８】
図９は、テンプレート画像Ｔｉの一例を示すものである。テンプレート画像Ｔｉ内の各画素の位置は、順序対（ａ，ｂ）で表わされ、テンプレート画像Ｔｉの中心に位置する基準点Ｐｉに対応する画素Ｐｉ’は（ｕ，ｖ）で表わされる。すなわち、画素Ｐｉ’の左斜め上に隣接する画素は（ｕ−１，ｖ−１）であり、右斜め下に隣接する画素は（ｕ＋１，ｖ＋１）で表わされる。テンプレート画像Ｔｉは、例えば画素Ｐｉ’（ｕ，ｖ）を中心とした縦（２ｍ＋１）画素、横（２ｎ＋１）画素の矩形領域である。なお、図９では、便宜上ｍ＝２、ｎ＝３として表わされているが、ｍ、ｎの値は任意であり、例えば１６である。
【００３９】
相関マッチング処理では、図１０に示されるように、テンプレート画像Ｔｉと同形かつ同じ大きさの矩形領域Ｔｉ’が、手持ちカメラ２０で撮影された画像Ｓ２から比較領域として切り出され、テンプレート画像Ｔｉと比較領域Ｔｉ’との間で相関が取られる。テンプレート画像Ｔｉと相関がとられる比較領域Ｔｉ’は、例えば画像Ｓ２の左上隅から水平方向に走査されるとともに下向きに副走査されて右下隅にまで至る。すなわち、画素Ｐｉ’（ｕ，ｖ）は、画像Ｓ２の左上隅から（ｍ，ｎ）の位置にある画素と右隅から（−ｍ，−ｎ）の位置にある画素を対角画素とした破線Ｓ２’で囲まれる矩形領域の全ての画素（ｍ１，ｍ２）と比較される。ここで、画像Ｓ２の縦横の画素数をＭ１、Ｍ２とすると、ｍ＋１≦ｍ１≦（Ｍ１−ｍ−１）、ｎ＋１≦ｍ２≦（Ｍ２−ｎ−１）である。
【００４０】
例えば、本実施形態では、以下の式を用いてテンプレート画像Ｔｉと画素（ｍ１，ｍ２）を中心とする比較領域Ｔｉ’との相関値Ｓ（ｍ１，ｍ２）が計算される。
【数１】

【数２】

【数３】

【数４】

【数５】

ここでＩ（ａ，ｂ）はテンプレート画像Ｔｉの画素（ａ，ｂ）の画素値であり、Ｉ’（ａ，ｂ）は画素（ｍ１，ｍ２）を中心とする比較領域Ｔｉ’における画素（ａ，ｂ）に対応する画素の画素値である。また、上線が冠せられたＩは、テンプレート画像Ｔｉにおける画素値の平均値であり、上線が冠せられたＩ’（ｍ１，ｍ２）は、画素（ｍ１，ｍ２）を中心とする比較領域Ｔｉ’における画素値の平均値である。また、σはテンプレート画像Ｔｉにおける画素値の標準偏差であり、σ’（ｍ１，ｍ２）は、画素（ｍ１，ｍ２）を中心とする比較領域Ｔｉ’における画素値の標準偏差である。
【００４１】
相関値Ｓ（ｍ１，ｍ２）は、−１≦Ｓ（ｍ１，ｍ２）≦１の範囲の値をとり、相関値Ｓ（ｍ１，ｍ２）の値が１に近いほど、テンプレート画像Ｔｉと画素（ｍ１、ｍ２）を中心とする比較領域Ｔｉ’の類似度が高い。したがって、本実施形態では、相関値Ｓ（ｍ１，ｍ２）の値が所定値（例えば０．８）よりも大きい画素（ｍ１，ｍ２）を基準点Ｐｉ（画素Ｐｉ’）に対応する対応候補点とする。
【００４２】
なお、本実施形態では、類似度の評価に上記相関マッチングを用いたが、類似度の評価に平均値や分散の差を用いたり、エッジ等の特徴点を抽出する方法と組み合わせてもよく、従来公知の様々な類似度評価のための手法が適用できることは言うまでもない。
【００４３】
次に図５のステップＳ２０８〜ステップＳ２１２における対応点特定処理の中心となるステップＳ２１０での処理について説明する。ステップＳ２１０では空間後方交会法の原理に基づいて処理が行なわれる。図１１、１２を参照してステップＳ２１０の処理について説明する。
【００４４】
図１１は、４つの基準点Ｐ１、Ｐ２、Ｐ３、Ｐ４とこれらの撮像面Ｓ２における像点Ｒ１、Ｒ２、Ｒ３、Ｒ４との関係を模式的に示す図である。図１１に示されるように、測量座標系の原点は、例えば視準原点Ｏ_Ｓに置かれる。手持ちカメラの位置及び傾き（外部標定要素）は、手持ちカメラ２０に固定された手持ちカメラ座標系の原点Ｏの測量座標系における位置（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ）と、撮影時の手持ちカメラ座標系のｘ軸、ｙ軸、ｚ軸回りの回転角（ω，φ，κ）として求められる。なお手持ちカメラ座標系は、レンズ中心（投影中心）Ｏを原点とした左手座標系であり、そのｙ軸、ｚ軸はスクリーン座標系（撮像面Ｓ２上の２次元座標系）のｓ’軸、ｔ’軸と平行であり、ｘ軸は撮像面Ｓ２に垂直で、投影中心から像面とは反対の方向に向けて定義される。すなわち手持ちカメラ２０の撮像レンズの画面距離をｆとするとき、手持ちカメラ座標系において、撮像面Ｓ２上の点は（−ｆ，ｙ，ｚ）で表される。なお、スクリーン座標系は、主点を原点とした撮像面上の２次元座標系であり、ｓ’軸は手持ちカメラ２０の撮像素子の水平ライン方向に、ｔ’軸は垂直ライン方向に対応する。
【００４５】
図１２は、手持ちカメラ２０の位置および傾きを表す外部標定要素（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ，ω，φ，κ）と画面距離ｆを、空間後方交会法を用いて算出するプログラムのフローチャートであり、その算出には最小二乗法を用いた逐次近似法が用いられる。なお本実施形態では、基準点の数は４つ以上であればいくつあってもよいが、ここでは基準点が４点指定された場合を例に説明を行なう。
【００４６】
まず、ステップＳ３０１では、カメラの位置および傾きを表す外部標定要素（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ，ω，φ，κ）に対して近似値として適当な初期値（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）、が与えられ、画面距離ｆに対しても同様に近似値として適当な初期値ｆ_Ｇが与えられる。また、後述するメリット関数Φには初期値０が与えられる。
【００４７】
次にステップＳ３０２で、与えられた外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）と画面距離ｆ_Ｇを用いて、測量機１０において測定された４つの基準点Ｐｉの測量データ、すなわち測量座標（Ｘｐ_ｉ，Ｙｐ_ｉ，Ｚｐ_ｉ）から各基準点Ｐ１〜Ｐ４に対応する像点Ｒ１〜Ｒ４の近似的な画像Ｓ２上における画像座標（ｘｐ_Ｇｉ’，ｙｐ_Ｇｉ’）が算出される。
【００４８】
すなわち、基準点Ｐｉの手持ちカメラ座標系における座標（ｘｐ_ｉ，ｙｐ_ｉ，ｚｐ_ｉ）は、測量座標系において測定された各基準点Ｐｉの測量座標（Ｘｐ_ｉ，Ｙｐ_ｉ，Ｚｐ_ｉ）から次の（１）式により求まるので、近似的な外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）、画面距離ｆ_Ｇおよび基準点Ｐｉの測量座標（Ｘｐ_ｉ，Ｙｐ_ｉ，Ｚｐ_ｉ）を（１）式に代入すると、基準点Ｐｉの近似的な手持ちカメラ座標（ｘｐ_Ｇｉ，ｙｐ_Ｇｉ，ｚｐ_Ｇｉ）を求めることができる。
【数６】

ここで行列｛Ｔ_ｊｋ｝は回転行列であり、各成分Ｔ_ｊｋは例えば次式で表される。
Ｔ_１１＝ｃｏｓφ・ｃｏｓκ
Ｔ_１２＝ｃｏｓω・ｓｉｎκ＋ｓｉｎω・ｓｉｎφ・ｃｏｓκ
Ｔ_１３＝ｓｉｎω・ｓｉｎκ−ｃｏｓω・ｓｉｎφ・ｃｏｓκ
Ｔ_２１＝−ｃｏｓφ・ｓｉｎκ
Ｔ_２２＝ｃｏｓω・ｃｏｓκ−ｓｉｎω・ｓｉｎφ・ｓｉｎκ
Ｔ_２３＝ｓｉｎω・ｃｏｓκ＋ｃｏｓω・ｓｉｎφ・ｓｉｎκ
Ｔ_３１＝ｓｉｎφ
Ｔ_３２＝−ｓｉｎω・ｃｏｓφ
Ｔ_３３＝ｃｏｓω・ｃｏｓφ
【００４９】
また基準点Ｐ１〜Ｐ４に対応する画像Ｓ２上における真の像点のスクリーン座標（ｓｐ_ｉ’，ｔｐ_ｉ’）は、撮影された基準点、投影中心、およびその像点が同一直線上にあるという共線条件から外部標定要素（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ，ω，φ，κ）、画面距離ｆおよび基準点Ｐｉの手持ちカメラ座標（ｘｐ_ｉ，ｙｐ_ｉ，ｚｐ_ｉ）を用いて次の（２）式により求められる。
【数７】

したがって、（２）式に近似的な外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）、画面距離ｆ_Ｇ、及び（１）式で求められた基準点Ｐｉの近似的な手持ちカメラ座標（ｘｐ_Ｇｉ，ｙｐ_Ｇｉ，ｚｐ_Ｇｉ）を代入することにより、基準点Ｐｉに対応する像点の近似的なスクリーン座標（ｓｐ_Ｇｉ’，ｔｐ_Ｇｉ’）を算出することができる。
【００５０】
また、像点Ｒｉ（ｉ＝１，２，３，４）の近似的な画像座標（ｘｐ_Ｇｉ’，ｙｐ_Ｇｉ’）は近似的なスクリーン座標（ｓｐ_Ｇｉ’，ｔｐ_Ｇｉ’）を次の（３）式に代入することにより求められる。
【数８】

ここで、Ｐｘ、ＰｙはそれぞれＣＣＤの水平、垂直方向の画素ピッチであり、Ｗ、Ｈはそれぞれ画像の水平、垂直方向のピクセル数である。
【００５１】
ステップＳ３０３では、近似的に与えられた外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）と画面距離ｆ_Ｇの値に対して、ｋ番目の対応候補点の組み合わせに関し、メリット関数Φ_ｋが計算される。メリット関数Φ_ｋは、例えば（４）式で定義される。
【数９】

ここで画像座標（ｘｐ_ｉｋ’，ｙｐ_ｉｋ’）は、ｋ番目の対応候補点の組み合わせにおいて各対応候補点群Ｑ１、Ｑ２、Ｑ３、Ｑ４から選ばれる対応候補点Ｑ_ｉ，ｊの画像座標である。すなわち、画像座標（ｘｐ_ｉｋ’，ｙｐ_ｉｋ’）は、ｋ番目の対応候補点の組み合わせにおいて、像点Ｐｉ’に対応する点として、対応候補点検出処理（ステップＳ２０４〜ステップＳ２０７）において画像Ｓ２から選択された対応候補点Ｑ_ｉ，ｊの画像座標である。対応候補点Ｑ_ｉ，ｊが実際に像点Ｐｉ’に対応していれば、画像座標（ｘｐ_ｉｋ’，ｙｐ_ｉｋ’）は、基準点Ｐｉの画像Ｓ２における像点Ｒｉに実質的に一致する。
【００５２】
なお、式（４）から明らかなように、本実施形態のメリット関数Φ_ｋは基準点Ｐｉの対応候補点Ｑ_ｉ，ｊの画像座標（ｘｐ_ｉｋ’，ｙｐ_ｉｋ’）、測量により求められた基準点Ｐｉの測量座標（Ｘｐ_ｉ，Ｙｐ_ｉ，Ｚｐ_ｉ）と近似的に与えられた外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）と画面距離ｆ_Ｇとから求められた像点Ｒｉの近似的な画像座標（ｘｐ_Ｇｉ’，ｙｐ_Ｇｉ’）との間の距離の２乗に対応している。
【００５３】
ステップＳ３０４では、ステップＳ３０２〜ステップＳ３０６の繰り返し処理において、メリット関数Φ_ｋが前回の値に対して変化しているか否かが判定される。例えば前回の処理におけるメリット関数の値がΦ_ｋ ^０であり、今回の処理での値がΦ_ｋ ^１であるとするとき、｜Φ_ｋ ^１−Φ_ｋ ^０｜の値が所定値以上であるか否かが判定される。
【００５４】
｜Φ_ｋ ^１−Φ_ｋ ^０｜≧所定値であると判定された場合には、ステップＳ３０５において、近似的に与えられた外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）と画面距離ｆ_Ｇに対する補正量（δＸ，δＹ，δＺ，δω，δφ，δκ）、δｆが例えば最小二乗法により求められる。すなわち共線条件を近似値であるＸ_ＧＯ、Ｙ_ＧＯ、Ｚ_ＧＯ、ω_Ｇ、φ_Ｇ、κ_Ｇ、ｆ_Ｇの周りにテイラー展開し高次の項を省いて線形化し、補正量δＸ、δＹ、δＺ、δω、δφ、δκ、δｆを未知量とする正規方程式を作成することにより適正な補正量δＸ、δＹ、δＺ、δω、δφ、δκ、δｆが求められる。また、ステップＳ３０６では、算出された補正量δＸ、δＹ、δＺ、δω、δφ、δκ、δｆに基づいて近似値である外部標定要素（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）と画面距離ｆ_Ｇの値が更新される。すなわち、（Ｘ_ＧＯ，Ｙ_ＧＯ，Ｚ_ＧＯ，ω_Ｇ，φ_Ｇ，κ_Ｇ）の各値は、それぞれ（Ｘ_ＧＯ＋δＸ，Ｙ_ＧＯ＋δＹ，Ｚ_ＧＯ＋δＺ，ω_Ｇ＋δω，φ_Ｇ＋δφ，κ_Ｇ＋δκ）に置き換えられ、画面距離ｆ_Ｇの値はｆ_Ｇ＋δｆに更新される。その後処理はステップＳ３０２へ戻り、ステップＳ３０４において｜Φ_ｊ ^１−Φ_ｊ ^０｜＜所定値と判定されるまで、ステップＳ３０２〜ステップＳ２０６が繰り返し実行される。ステップＳ３０６において｜Φ_ｊ ^１−Φ_ｊ ^０｜＜所定値と判定されると、このステップＳ２１０に対応する処理は終了しステップＳ２１１に戻る。
【００５５】
以上のステップＳ２１０に対応する処理は、Ｎ１×Ｎ２×Ｎ３×Ｎ４組の全ての対応候補点の組み合わせに対して実行されるが、対応候補点の組み合わせの中で正しい組み合わせは１組しかなく、このときメリット関数Φ_ｋは最小（実質的に０）の値を取る。
【００５６】
なお、以上の説明は、ディストーション等の内部定位が無い（無視できる量）場合、または概観画像が既に補正されたものの場合に対応する。補正していない概観画像を既知の内部定位量を用いて補正する場合は、（２）式で求められたスクリーン座標（ｓｐ_Ｇｉ’，ｔｐ_Ｇｉ’）を次の（５）式によりディストーション補正したスクリーン座標（ｓｃｐ_Ｇｉ’，ｔｃｐ_Ｇｉ’）に変換する。
【数１０】

ここで、Ｄ_２、Ｄ_４、Ｄ_６はそれぞれディストーション２次成分、４次成分、６次成分であり、Ｎ_１、Ｎ_２はディストーション非対称成分、Ｘ_Ｃ、Ｙ_Ｃは主点の画像中心からのｓ’軸方向、ｔ’軸方向への偏心量である。また、画像座標（ｘｐ_Ｇｉ’，ｙｐ_Ｇｉ’）は、次の（６）式から求められる。
【数１１】

【００５７】
以上により、本発明の第１の実施形態によれば、測量機との位置関係が既知である測量機の内蔵カメラで撮影された画像と手持ちカメラで撮影された画像を比較することにより、手持ちカメラで撮影された画像上において、内蔵カメラにおいて撮影された基準点に対応する点を対応候補点として検出し、これらの候補点に対し測量された基準点の測量値に基づいてメリット関数を計算することにより、簡便、迅速に手持ちカメラで撮影された画像における基準点の位置を自動検出することができる。また、これにより、手持ちカメラの外部標定を自動的に実行することができる。したがって、手持ちカメラで多数の画像を撮影した場合であっても、個々の画像毎に複数の基準点に対応する複数の点をユーザが指定する必要がなく、測量後の作業を極めて効率的に行うことができる。
【００５８】
次に図１３を参照して本発明の第２の実施形態について説明する。図１３は、第２の実施形態における測量システムの電気的な構成及び光学的な構成を示すブロック図である。第２の実施形態の測量システムでは、撮像部１８’が視準光学系と光学的に等価な位置に配置されており、それ以外の構成は第１の実施形態と略同様である。したがって、第１の実施形態と異なる構成についてのみ説明をし、その他の構成については説明を省略する。また、同一の構成については、同一参照符号を用いる。
【００５９】
第２の実施形態の測量システムにおいては、光軸Ｌ０上に光路を二分する光学素子、例えばプリズムＰＳ２が配置される。プリズムＰＳ２において分岐された光路の一方は、プリズムＰＳ１へと導かれる。プリズムＰＳ１では、第１の実施形態と同様に光路が二分され、その一方は接眼レンズ系ＬＳ２に導かれ他方は測距部１１に導かれる。また、プリズムＰＳ２において分岐された光路の他方は、撮像部１８’に導かれる。したがって、撮像部１８’では、視準光学系により観察される画像と略同様の画像が撮像され、撮像部１８’により撮像される画像Ｓ１は、視準光学系と実質的に光学的に等価な位置に配置される。すなわち、画像Ｓ１上の各画素の位置と視準光学系の視準方向とは、直接対応付けられる。
【００６０】
また、第２の実施形態では、４つの基準点Ｐｉが自動的に選択される。すなわち、第１の実施形態においては、図３のステップＳ１０２において、操作者が画像Ｓ１から任意の４点を基準点Ｐｉとして選択したが、第２の実施形態では、エッジ抽出処理などの従来公知のパターン解析を用いて、画像Ｓ１から特徴点を例えば４点抽出し、これを基準点Ｐｉとする。そしてこれらの基準点Ｐｉに対して、視準光学系が自動視準を行ない、各基準点Ｐｉの測量が行われる。
【００６１】
その後、第１の実施形態と同様に、図４のステップＳ２００以下の処理が行われる。但し、第２の実施形態では、基準点Ｐｉは、直接画像Ｓ１から抽出されているので、図４におけるステップＳ２０２のマッピング処理は省略される。
【００６２】
以上のように、第２の実施形態においても、第１の実施形態と略同様の効果が得られる。また、第２の実施形態では、基準点の抽出及び測量を自動で行なうことができるので、測量作業はより効率化される。
【００６３】
なお、本実施携帯では、手持ちカメラの画面距離が未知であるとして、基準点を４点指定したが、例えば手持ちカメラの画面距離ｆが既知の場合、基準点の数は３点であってもよい。また、手持ちカメラの内部定位要素も補正する場合には、更に多くの基準点を指定することにより補正することができる。
【００６４】
本実施形態では、測量機にデジタルスチルカメラが内蔵されているものとして説明を行なったが、測量機との位置関係が既知のカメラを内蔵カメラの変わりに用いても良い。また、本実施形態では、手持ちカメラの測量機に対する位置及び傾きが未知であるとして説明を行なったが、位置又は傾きなど一定のパラメータが既知の場合にも本発明を適用できることは言うまでもない。この場合、基準点の数は更に少なくすることができる。
【００６５】
【発明の効果】
以上のように、本発明によれば、測量機とカメラとの間の位置関係を簡単かつ迅速に算出できる測量システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である測量システムの概略を模式的に示す図である。
【図２】第１の実施形態である測量システムの電気的、光学的構成を概略的に示すブロック図である。
【図３】単写真標定処理の前提となる測量作業の手順を示すフローチャートである。
【図４】図３の測量作業で得られた測量データ及び画像データに基づいてコンピュータで実行される自動単写真標定処理のプログラムのフローチャートの前半部である。
【図５】図４の自動単写真標定処理のプログラムのフローチャートの後半部である。
【図６】測量機に内蔵されたデジタルスチルカメラで撮影された基準点を含む測量対象物の画像の一例である。
【図７】手持ちカメラで撮影された画像の一例であり、基準点に対応する対応候補点が示されている。
【図８】手持ちカメラで撮影された画像の一例であり、対応候補点の中から最適な対応点が検出された状態が示されている。
【図９】テンプレート画像の一例を示すものである。
【図１０】本実施形態で用いられる相関マッチング処理における走査を概念的に示す図である。
【図１１】４つの基準点Ｐ１、Ｐ２、Ｐ３、Ｐ４と撮像面Ｓ２における像点Ｒ１、Ｒ２、Ｒ３、Ｒ４との関係を模式的に示す図である。
【図１２】手持ちカメラの位置および傾きを表す外部標定要素（Ｘ_Ｏ，Ｙ_Ｏ，Ｚ_Ｏ，ω，φ，κ）と画面距離ｆを、空間後方交会法を用いて算出するプログラムのフローチャートである。
【図１３】第２の実施形態である測量システムの電気的、光学的構成を概略的に示すブロック図である。
【符号の説明】
１０測量機
１１測距部
１２測角部
１８撮像部
２０デジタルスチルカメラ（手持ちカメラ）
３０コンピュータ

Claims

測量対象物の３次元的な測量座標を測量可能な測量機と、
前記測量対象物に関する第１の画像を撮影し、前記測量機に対する外部評定要素が既知の第１の撮像手段と、
前記測量対象物に関する前記第１の画像とは異なる第２の画像を撮影し、前記測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段と、
前記第１の画像に撮像された基準点に対応する候補点を前記第２の画像から検出する対応候補点検出手段と、
前記測量座標と前記対応候補点の画像座標とに基づいて、前記基準点に対応する前記第２の画像上の位置を特定する対応点特定手段と
を備えることを特徴とする測量システム。
前記基準点に対応する前記第２の画像上の位置と、前記基準点の測量座標とに基づいて、前記第２の撮像手段の未知の外部評定要素を算出する外部評定要素算出手段を備えることを特徴とする請求項１に記載の測量システム。
前記第２の撮像手段の内部定位要素の一部又は全部が未知であり、前記基準点に対応する前記第２の画像上の位置と、前記基準点の測量座標とに基づいて、前記未知の内部定位要素を算出する内部定位要素算出手段を備えることを特徴とする請求項２に記載の測量システム。
前記対応点特定手段が、前記基準点に対応する前記対応候補点の各組み合わせに対応する各画像座標を前記基準点に対応する前記第２の画像上の位置としたときに前記基準点の測量座標を用いて得られるメリット関数を前記各組み合わせ毎に算出し、前記メリット関数が最小値を取る組み合わせを前記基準点に対応する前記第２の画像上の位置であると特定することを特徴とする請求項１に記載の測量システム。
前記対応候点検出手段が、前記第１の画像における前記基準点周りの画像パターンと類似する画像パターンを前記第２の画像から検出することにより、前記基準点に対応する対応候補点を前記第２の画像から検出することを特徴とする請求項１に記載の測量システム。
前記対応候補点検出手段において、前記第１の画像における画像パターンと前記第２の画像における画像パターンとの間の相関を取ることにより前記２つの画像パターンの間における類似度が判定されることを特徴とする請求項５に記載の測量システム。
測量対象物の３次元的な測量座標を測量可能な測量機に対する外部標定要素が既知の第１の撮像手段により撮影された前記測量対象物に関する第１の画像と、前記測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段により撮影された前記測量対象物に関する前記第１の画像とは異なる第２の画像とに基づいて、前記第１の画像に撮像された基準点に対応する候補点を前記第２の画像から検出するステップと、
前記基準点の測量座標と前記対応候補点の画像座標とに基づいて、前記基準点に対応する前記第２の画像上の位置を特定するステップと
を有することを特徴とする外部標定要素算出方法。
コンピュータに、測量対象物の３次元的な測量座標を測量可能な測量機に対する外部標定要素が既知の第１の撮像手段により撮影された前記測量対象物に関する第１の画像と、前記測量機に対する外部評定要素の一部又は全部が未知である第２の撮像手段により撮影された前記測量対象物に関する前記第１の画像とは異なる第２の画像とに基づいて、前記第１の画像に撮像された基準点に対応する候補点を前記第２の画像から検出する手順と、前記基準点の測量座標と前記対応候補点の画像座標とに基づいて、前記基準点に対応する前記第２の画像上の位置を特定する手順とを実行させる外部標定要素算出プログラム。