JP2005017288A - ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置 - Google Patents

Abstract

【課題】 焦点距離が可変なズームレンズの場合に用いて好適なキャリブレーション装置を提供する。
【解決手段】 焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部６０と、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部６２と、前記第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部６４と、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する基準マーク推論部６６とを有する。
【選択図】 図１

Description

本発明は、カメラの画像歪曲を修正するのに必要とされる内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を測定するためのキャリブレーションチャート装置及び方法に関し、特にカメラがズームレンズの場合に用いて好適なキャリブレーション装置及び方法に関する。また、本発明はズームレンズのキャリブレーション装置により得られたカメラの画像歪曲を用いて撮影画像を補正する撮影装置に関する。

従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、例えば特許文献１に示すように、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。

特開平９−３２９４１８号公報 ［０００１］

上述したカメラ内部パラメータを求める方法は、固定焦点距離式カメラのキャリブレーションとして適している。しかし、計測対象物の大きさは、様々であり、障害物などにより撮影距離に制限が生じる場合に、十分なアングルがとれずに、固定焦点距離式カメラの場合には、計測精度を犠牲にしている場合もあった。他方、近年のデジタルカメラやビデオカメラのようにズーム機能を搭載しているカメラの場合には、焦点距離を可変に調整できる。すると、障害物などにより撮影距離に制限が生じる場合でも、ズームレンズの焦点距離を適切な値に選択することによって、計測対象物の適切な画像が撮影可能である。

しかし、ズームレンズの場合は、焦点距離が広角から望遠まで可変である為に、各焦点距離に応じたキャリブレーション作業が必要となる。そこで、上述した固定焦点距離式カメラに適したカメラ内部パラメータを求める方法を、ズームレンズに直接適用したのではキャリブレーション作業が煩雑になるという課題があった。即ち、ズームレンズは広角側と望遠側に焦点距離を調整可能であるが、この焦点距離を変更するたびに撮影位置を変更せねばならず、キャリブレーション作業が煩雑になる。また、ズームレンズの焦点距離を望遠側に設定すると、精密に計測された３次元上に配置された多数の点を有する校正用三次元フィールドとカメラとの間隔を充分確保する必要があり、キャリブレーション作業に必要とされる空間として広大なスペースが必要になるという課題もあった。更に、ズームレンズの焦点距離を広角側に設定すると、校正用三次元フィールドとして幅広の構造体が必要となり、校正用三次元フィールドの建造コストが増大するという課題があった。

本発明は、上述する課題を解決したもので、焦点距離が可変なズームレンズの場合に用いて好適なキャリブレーション装置及び方法を提供することを目的とする。

本発明のズームレンズのキャリブレーション装置は、上記目的を達成するもので、図１に示すように、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部６０と、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部６２と、前記第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の前記第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部６４と、前記第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する基準マーク推論部６６とを備える。

このように構成された装置においては、第１画像取得部６０が、第１の焦点距離に設定された被校正撮影装置１９により撮影された第１の校正用画像を取得する。第２画像取得部６２が、第２の焦点距離に設定された被校正撮影装置１９により撮影された第２の校正用画像を取得する。補正係数算出部６４は、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する。基準マーク推論部６６によって、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係が推論されるので、補正係数算出部６４による第２の焦点距離に対するキャリブレーション補正係数の算出が容易に行える。

本発明のズームレンズのキャリブレーション装置において、好ましくは、被校正撮影装置１９は、前記第１及び第２の焦点距離を含む焦点距離で連続的に設定された焦点距離にて、前記校正用の基準マークが配置された領域を撮影する構成とすると、校正用の基準マーク位置が順次変化していくことから、基準マーク位置の探索が容易になる。

本発明のズームレンズのキャリブレーション装置において、好ましくは、前記校正用の基準マークが配置された領域における、当該基準マークの三次元位置情報が記憶された基準マーク位置情報データベース部６５を備えると共に、基準マーク推論部６６は、前記第１の校正用画像で撮影された校正用の基準マークと、前記第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する重複基準マーク抽出部６７と、前記第２の校正用画像の基準マーク画像中から、前記第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、当該追加基準マークに関する三次元位置情報を読み出す追加基準マーク位置情報抽出部６８と備える構成とすると、被校正撮影装置１９で撮影された第１の校正用画像に写っている校正用の基準マークを基準として、第２の校正用画像で撮影された固有の校正用の基準マークが容易に識別できる。

本発明のズームレンズのキャリブレーション装置において、好ましくは、基準マーク推論部６６は、前記第１の校正用画像で撮影された校正用の基準マークの位置情報、及び前記第１及び第２の焦点距離情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する構成とすると、第１及び第２の焦点距離情報によって被校正撮影装置１９で撮影された第１及び第２の校正用画像の縮尺が推定できるため、第１の校正用画像で撮影された校正用の基準マークと第２の校正用画像で撮影された校正用の基準マークの位置関係の推論が容易にできる。

本発明のズームレンズのキャリブレーション方法は、第１の目的を達成するもので、図２に示すように、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する工程（Ｓ３０２、Ｓ３０４）と、第１の校正用画像で撮影された校正用の基準マークを用いて、前記第１の焦点距離に対するキャリブレーション補正係数を算出する工程（Ｓ３０６）と、焦点距離が前記第１の焦点距離と近接した第２の焦点距離に設定された被校正撮影装置１９により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する工程（Ｓ３０８、Ｓ３１０）と、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する工程（Ｓ３１２）と、第２の校正用画像で撮影された校正用の基準マークを用いて、前記第２の焦点距離に対するキャリブレーション補正係数を算出する工程（Ｓ３１４）とを有する。

好ましくは、被校正撮影装置１９のキャリブレーション補正係数を算出すべき焦点距離が３以上存在する場合には、Ｓ３１４の後に全ての焦点距離について処理が完了したか問う工程（Ｓ３１６）を設け、Ｓ３１６で未了であれば従前の第２の焦点距離を更改して新規な第２の焦点距離を設定して（Ｓ３１８）、Ｓ３０８に戻すとよい。この場合、Ｓ３１８で従前の第１の焦点距離を、Ｓ３１８で従前の第２の焦点距離とされた値で置換えても良い。Ｓ３１６で完了していれば、被校正撮影装置１９のキャリブレーション補正係数を焦点距離の関数として表現する近似式を求める工程（Ｓ３２０）を有するとよい。S３２０の処理により、実際に撮影された校正用画像に基づき、得られたキャリブレーション補正係数に基づき、他の焦点距離、即ち、ズームレンズであれば、キャリブレーションのために撮影されなかった焦点距離のキャリブレーション補正係数を求めることができる。

本発明のズームレンズのキャリブレーション装置は、上記目的を達成するもので、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部と、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部と、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、第１の焦点距離、第２の焦点距離及びその他の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部とを備えている。本発明のズームレンズのキャリブレーション装置において、好ましくは、前記その他の焦点距離は、第１及び第２の画像取得部においては、校正用の画像が撮影されていない焦点距離であることを特徴としている。

本発明の撮影装置４００は、図１６に示すように、可変焦点距離のレンズを含む撮影部４２０と、撮影部４２０で画像が撮影された際の可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正する画像補正部４３０とを備えるものである。キャリブレーション補正係数は、例えば記憶部４１０に記憶される。

本発明のズームレンズのキャリブレーション装置によれば、被校正撮影装置の焦点距離を変更しても、第１画像取得部と第２画像取得部により焦点距離毎に校正用画像が取得される。基準マーク推論部によって、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係が推論されるので、補正係数算出部による第２の焦点距離に対するキャリブレーション補正係数の算出が容易に行える。

本発明の撮影装置によれば、可変焦点距離のレンズを含む撮影部を用いて撮影を行った場合に、画像補正部により撮影部が撮影された際における可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正するので、任意の可変焦点距離でもレンズ収差の少ない画像が得られる。

以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明のズームレンズのキャリブレーション装置は、第１画像取得部６０、第２画像取得部６２、補正係数算出部６４、基準マーク位置情報データベース部６５、基準マーク推論部６６を備えている。基準マーク推論部６６は、重複基準マーク抽出部６７と追加基準マーク位置情報抽出部６８を備えている。被校正撮影装置１９としては、例えば可動焦点距離式のズームレンズを有するデジタルカメラやビデオカメラが用いられる。被校正撮影装置１９では、ズーム機能を利用して連続的に焦点距離を調整して画像を取得する。

第１画像取得部６０は、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域（以下、『校正用三次元フィールド１００』という）を撮影して、第１の校正用画像を取得する。第２画像取得部６２は、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、校正用三次元フィールド１００を撮影して、第２の校正用画像を取得する。ここで、被校正撮影装置１９の第１の焦点距離と第２の焦点距離が近接していると、第１の校正用画像と第２の校正用画像に撮影されている校正用の基準マークの画像が似たものとなり、キャリブレーション作業が円滑に行なえる。被校正撮影装置１９のズーム比が大きい場合には、第１の焦点距離と第２の焦点距離との比を小さく保持したまま（例えば１．２〜１．５倍）、焦点距離を多段に変更して設定する。そして、第１の焦点距離と第２の焦点距離は、多段に設定された焦点距離について、隣接する焦点距離の組を用いて逐次読替えて行くと良い。ズーム機能を利用して連続的に焦点距離を調整することで、被校正撮影装置１９のキャリブレーション補正係数が焦点距離に依存している関係を正確に表すことができると共に、第１の焦点距離と第２の焦点距離との比を小さく保持することで、徒に測定する焦点距離の数を増大させることなく、効率的にキャリブレーション補正係数を求めることができる。

補正係数算出部６４は、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する。詳細は後で説明する。基準マーク位置情報データベース部６５は、校正用三次元フィールド１００における、基準マークの三次元位置情報が記憶されている。基準マーク推論部６６は、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する。被校正撮影装置１９の焦点距離は、連続的に変えることが可能であることから、焦点距離から定まるズーム比の情報を用いて、補正係数算出部６４で用いる探索エリア、テンプレートサイズを自動的に可変させることが可能できる。

重複基準マーク抽出部６７は、第１の校正用画像で撮影された校正用の基準マークと、第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する。追加基準マーク位置情報抽出部６８は、第２の校正用画像の基準マーク画像中から、第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、追加基準マークに関する三次元位置情報を読み出す。

図３は校正用三次元フィールドを説明する全体図で、明暗の二値画像にて示してある。図４は図３の校正用三次元フィールドのうち、望遠用領域を拡大した要部説明図で、明暗の二値画像にて示してある。図において、校正用三次元フィールド１００は、広角用領域１１０と、広角用領域１１０と重複する領域中に設けられた望遠用領域１２０とを有している。

広角用領域１１０は、ズームレンズの広角側のキャリブレーション画像の撮影に使用されるもので、撮影されたキャリブレーション画像において概括的な位置合わせに利用される広角用の粗位置合わせ基準マーク１１２と、撮影されたキャリブレーション画像において詳細な位置合わせに利用される広角用の精密位置合わせ基準マーク１１４が設けられている。広角用の粗位置合わせ基準マーク１１２は、望遠用領域１２０の近傍に７ヶ所設けられており、撮影するズームレンズの画角が小さい場合でも、確実に撮影されるように配慮してある。広角用の精密位置合わせ基準マーク１１４は、例えば１００個乃至２００個設けられたもので、撮影されたキャリブレーション画像において満遍なく写るように、均等な密度で配置されている。広角用の粗位置合わせ基準マーク１１２は、広角用の精密位置合わせ基準マーク１１４と同一形状（例えば円形『○』であるが、星型『★』や三角印『△』でもよい）の中心点と、この中心点を囲う矩形の枠線にて構成されている。枠線は、矩形に代えて丸型や三角形以上の多角形であればよく、要するに広角用の粗位置合わせ基準マーク１１２として識別できるものであれば良い。

望遠用領域１２０は、ズームレンズの望遠側のキャリブレーション画像の撮影に使用されるもので、撮影されたキャリブレーション画像において概括的な位置合わせに利用される望遠用の粗位置合わせ基準マーク１２２と、撮影されたキャリブレーション画像において詳細な位置合わせに利用される望遠用の精密位置合わせ基準マーク１２４が設けられている。望遠用領域１２０は、広角用領域１１０と重複する領域の中側の狭い領域に設けられているので、撮影を行うカメラと校正用三次元フィールドとの間隔を充分確保できない場合でも、画角の小さな望遠側の焦点距離に設定されたズムーレンズによりキャリブレーション画像が撮影できる。

望遠用の粗位置合わせ基準マーク１２２は、望遠用領域１２０の中心近傍に７ヶ所設けられており、撮影するズームレンズの画角が小さい場合でも、確実に撮影されるように配慮してある。望遠用の精密位置合わせ基準マーク１２４は、例えば１００個乃至２００個設けられたもので、撮影されたキャリブレーション画像において満遍なく写るように、均等な密度で配置されている。望遠用の粗位置合わせ基準マーク１２２は、望遠用の精密位置合わせ基準マーク１２４と同一形状の中心点と、この中心点を囲う矩形の枠線にて構成されている。枠線は、矩形に代えて丸型や三角形以上の多角形であればよく、要するに望遠用の粗位置合わせ基準マーク１２２として識別できるものであれば良い。

広角用の粗位置合わせ基準マーク１１２は、望遠用の粗位置合わせ基準マーク１２２よりも大きな外形を有し、広角用の精密位置合わせ基準マーク１１４は、望遠用の精密位置合わせ基準マーク１２４よりも大きな外形を有している。カメラで撮影されたキャリブレーション画像において、ズームレンズの広角側で撮影すると望遠用の基準マーク１２２、１２４が小さく撮影されるので、広角用の基準マーク１１２、１１４が識別容易となる。また、ズームレンズの望遠側で撮影すると、望遠用の基準マーク１２２、１２４は適切な大きさで写り、カメラで撮影されたキャリブレーション画像における望遠用の基準マーク１２２、１２４が識別容易となる。

次に、校正用三次元フィールド１００が設置される現場を、図面を用いて説明する。図５は校正用三次元フィールドが設置される現場を説明する全体図であり、図６は図５の校正用三次元フィールド全体図のうち、望遠用領域を拡大した要部説明図である。校正用三次元フィールド１００は、例えば地下室のように温度変化の少ない環境に設置されて、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４の相対的な位置関係が変動しないように配慮されている。広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４は、例えばコンクリート壁のような壁面に、基準マークを示すターゲット板を固定してある。

基準マーク１１２、１１４、１２２、１２４には、高い反射率を有する反射ターゲットを用いると、明暗の二値画像でキャリブレーション画像を撮影することが容易にできる。反射ターゲットには、例えばアルミ蒸着したガラス板のような反射率の高い基準マークを用いると、カメラで撮影されたキャリブレーション画像に基準マークが高輝度で写り、校正用三次元フィールドの背景面と基準マークとのコントラストが容易に確保できる。基準マークの高さは、例えばコンクリート壁面からのターゲット板の高さを違えることで、調整される。多様な高さの基準マークを、キャリブレーション画像に満遍なく均等に配置することによって、キャリブレーション対象となるズームレンズの内部パラメータが正確に算出できる。

図７は、キャリブレーション対象となるズームレンズにて校正用三次元フィールドを撮影する手順を説明するフローチャートである。まず最初に、被校正撮影装置１９を校正用三次元フィールド１００を撮影する位置に設置する（Ｓ２００）。そして、被校正撮影装置１９について、キャリブレーションしたい焦点距離に設定する（Ｓ２０２）。焦点距離は、例えば広角側と望遠側のうち、ズームレンズの広角側に設定するのが良いが、望遠側でも差し支えない。次に、被校正撮影装置１９の画面に、校正用三次元フィールド１００の基準マークがいっぱいに映るようにカメラの設置位置を調整する（Ｓ２０４）。被校正撮影装置１９が広角側の焦点距離であるときは、広角用の基準マーク１１２、１１４が写るように設定する。被校正撮影装置１９が望遠側であるときは、望遠用の基準マーク１２２、１２４が写るように設定する。

まず、キャリブレーションチャート撮影用カメラの露出設定を、校正用三次元フィールド１００の基準マークを除く背景領域に対して露出不足であって、校正用三次元フィールド１００の基準マークに対して露出オーバーに設定する（Ｓ２０６）。次に、キャリブレーションチャート撮影用カメラのストロボ撮影により、校正用三次元フィールド１００を撮影する（Ｓ２０８）。ズームレンズは絞りを最大限に絞って撮影できるため、被写界深度が深くなり、仮にピントが合っていなくても鮮明な解析画像が得られやすくなる。

続いて、撮影されたキャリブレーションチャート画像に対して、コントラストが強調されるように現像する（Ｓ２１０）。このように撮影されたキャリブレーションチャート画像では、コンクリートの壁面のような校正用三次元フィールドの背景画を暗くして、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４を明るくした２値画像が得られる（Ｓ２１２）。

そして、被校正撮影装置１９がキャリブレーションに必要な画像をすべて撮影したか判断する（Ｓ２１４）。被校正撮影装置１９について、一つの焦点距離で必要枚数の撮影が終了したのち、被校正撮影装置１９がズームレンズの場合には、必要とする全ての焦点距離で撮影が終了したか判定する（Ｓ２１６）。Ｓ２１６にて未了と判断されると、必要とされる次の焦点距離に対する撮影処理をＳ２０２に戻って繰り返す。例えば、被校正撮影装置１９の焦点距離として、補間したい必要焦点数についてズームレンズを調整して、Ｓ２０２〜Ｓ２１６の処理を繰り返す。ここで、被校正撮影装置１９のキャリブレーション画像の対象となる焦点距離数はキャリブレーションの必要精度に変えるのが良く、またズームレンズのレンジに応じて変えてもよい。この焦点距離数は、最低値として２焦点距離であるが、３以上の焦点距離でもよい。例えば、被校正撮影装置１９が広角から望遠まで５焦点の場合は５回行う。従って、被校正撮影装置１９について焦点距離変更した場合、キャリブレーション画像を被校正撮影装置１９の画面いっぱいに撮影できるよう、カメラ位置を変更して繰り返す。

被校正撮影装置１９によるキャリブレーション画像の撮影が終了したら、撮影されたキャリブレーション画像を第１画像取得部６０や第２画像取得部６２に格納する（Ｓ２１８）。キャリブレーション画像の格納は、フレキシブルディスクのような電磁気的記憶媒体でも良く、またインターネット経由にて通信によりキャリブレーション装置に画像データを転送してもよい。そして、Ｓ２１８の処理が完了すると戻しとなる。

このように撮影されたキャリブレーションチャート画像は、現像された２値画像の三次元計測位置と、予め測定された広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４の三次元座標とを比較演算して、ズームレンズの焦点距離毎にカメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めるのに使用される。校正用三次元フィールド１００の基準マークを除く背景領域は、均一な暗い領域画像となるので、後工程で行なわれるキャリブレーションチャート画像を用いたキャリブレーション作業において、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４が正確に検出できる。例えば、本発明者の実験によると、基準マーク（ターゲット）の重心位置検出の精度が、２値画像では１／１０画素程度であるのに対して、背景の壁面が写し込まれていると１／４画素程度と２倍〜３倍程度粗くなる。

なお、上記の実施の形態においては、広角用の基準マーク及び望遠用の基準マークは共通の壁面に固定して設置されている場合を示したが、校正用の基準マークが配置された領域としての校正用三次元フィールドはこれに限定されない。例えば、広角用の基準マークは壁面に固定して設置されるが、望遠用の基準マークは移動式のパネルに固定すると共に、壁面に対して移動式のパネルを適切に位置決めすることにより、広角用の基準マーク及び望遠用の基準マークの位置決めを行なうように構成しても良い。

図８は、本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。校正用三次元フィールド１００は、例えば前述の図３〜図６で説明したような広角用の基準マーク及び望遠用の基準マークを有するものである。被校正撮影装置１９は、既に説明したように、典型的にはキャリブレーションの対象となるズームレンズを有するカメラである。

画像データ記憶部３は、前述した第１画像取得部６０や第２画像取得部６２に対応するもので、ここでは被校正撮影装置１９によって撮影されたキャリブレーション画像データを記憶する記憶装置、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３では、第１画像取得部６０や第２画像取得部６２に格納されたキャリブレーション画像が、撮影時の焦点距離が判別できる態様で記憶されているとよい。キャリブレーション画像データには、前述の第１の校正用画像や第２の校正用画像が対応している。

キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。前述の補正係数算出部６４は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８の機能を用いて実現される。さらに、被校正撮影装置１９の焦点距離情報を用いて迅速に校正用三次元フィールド１００の基準マーク位置を検出する為に、基準マーク推論部６６としての機能を、抽出部４や概略マーク位置測定部５で用いている。

抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行うもので、基準マーク推論部６６を用いて、従前の焦点距離で求めた校正用三次元フィールド１００の基準マーク位置情報を利用して、今回の焦点距離における第２の校正用画像に撮影された基準マークの位置関係を利用する。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。ここで、第１マークとは、広角用の粗位置合わせ基準マーク１１２や望遠用の粗位置合わせ基準マーク１２２をいう。また、第２マークは、広角用の精密位置合わせ基準マーク１１４や望遠用の精密位置合わせ基準マーク１２４をいう。抽出部４による基準マーク推論部６６を用いた第１マーク抽出処理の詳細は、後で説明する。

概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理では、基準マーク推論部６６を用いて、各焦点距離毎に効率的に第２マークが抽出される。

精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、校正用三次元フィールド１００の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、被校正撮影装置１９の内部パラメータを演算する。演算された被校正撮影装置１９の内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。被校正撮影装置１９の内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。

画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、被校正撮影装置１９によって撮影された画像（特に、校正用三次元フィールド１００以外の画像）のデータ画像を再配列する。すると、被校正撮影装置１９によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。

マーク座標記憶部１０には、各焦点距離毎に撮影されたキャリブレーション画像における第１マークの画像座標値が記憶されていると共に、第２マークの画像座標値が記憶されているもので、好ましくは前述の基準マーク位置情報データベース部６５に記憶された校正用三次元フィールド１００における、基準マークの三次元位置情報も記憶していると良い。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算された被校正撮影装置１９の内部パラメータとしてのキャリブレーション補正係数が、被校正撮影装置１９の焦点距離と共に記憶されている。

次に、図９を参照して、本発明のキャリブレーション装置を用いたキャリブレーション処理の流れ全体について説明する。図９は、キャリブレーション処理の流れ全体を説明するフローチャートである。まず、レンズ収差の補償対象となる被校正撮影装置１９を所定の焦点距離に設定して、校正用三次元フィールド１００を撮影する（Ｓ１０）。この撮影の詳細は、例えば図７のフローチャートにおけるＳ２０２〜Ｓ２１４にて詳細に説明されている。

続いて、画像データ記憶部３に格納されたキャリブレーション画像に関して、画像上に記録されている焦点位置を読み込む（Ｓ２０）。次に、キャリブレーション画像に関して、被校正撮影装置１９の同一焦点距離の画像を一グループとして、各焦点距離ごとのキャリブレーション画像グループを作成する（Ｓ２５）。

続いて、各焦点距離ごとに形成されたキャリブレーション画像グループから今回の処理対象となる画像が選択される（Ｓ３０）。即ち、キャリブレーション装置は、選択されたキャリブレーション画像グループの画像データを画像データ記憶部３から読込んで、表示部９に表示する。そして、操作者は表示部９に表示された画像から、基準マークとしてのターゲットの対応付け及び計測を行う画像を選択する。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。

（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、校正用三次元フィールド１００とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−1からＩ−4までの処理を第１マークの点数分繰り返す。即ち、前述の図３、図４で説明したような広角用の基準マーク及び望遠用の基準マークにおいて、各広角用の粗位置合わせ基準マーク１１２の中に、広角用の精密位置合わせ基準マーク１１４が形成されている。また、各望遠用の粗位置合わせ基準マーク１２２の中に、望遠用の精密位置合わせ基準マーク１２４が形成されている。

Ｉ−1…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−2…Ｉ−1で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−3…Ｉ−2で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−3での位置あわせは厳密でなくともよい。
Ｉ−4…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−3で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−3で計測された第１マークの重心位置が基準点座標として記憶される。

なお、第１マーク抽出処理では、例えば校正用三次元フィールド１００上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図３、図４のような全体画像、もう一方側に単一の広角用の粗位置合わせ基準マーク１１２や望遠用の粗位置合わせ基準マーク１２２の拡大画像を表示するようにすれば、位置計測がしやすくなる。

次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図３、図４のような全体画像だけで計測する方式がある。この場合、Ｉ−1の処理を行うと共に、Ｉ−4においてＩ−1で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−2、Ｉ−3の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。

次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図３、図４の第１マーク配置であれば、その検出座標から各第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。

続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−1の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。

続いて、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。第２マークとは、前述したように、広角用の精密位置合わせ基準マーク１１４や望遠用の精密位置合わせ基準マーク１２４である。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。

次に、基準点座標と画像座標の関係を説明する。図１１（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にして校正用三次元フィールド１００の置かれる基準点座標系としての対象座標系５２と、被校正撮影装置１９のフィルム又はＣＣＤが置かれる画像座標系５０が図１１（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。

そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ^-1（Ｃ・ｂ８）
φ＝ｔａｎ^-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ^-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ^-1（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ^-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）

Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝1/２＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ^２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／(ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マークの平均標高とするから、例えば広角用の粗位置合わせ基準マーク１１２を用いる場合は図２に示す７点、望遠用の粗位置合わせ基準マーク１２２を用いる場合は図３に示す７点の平均をとる。Ｃは焦点距離で、前述の画面距離に相当している。

（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。

ここで、Ｘ0、Ｙ0、Ｚ0は、前述したように、図１１（Ａ）に示すような投影中心点Ｏｃの地上座標とする。

ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。

次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実の被校正撮影装置１９で撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｘ−Ｘ0）＋ａ13（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｘ−Ｘ0）＋ａ23（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝ （５）

ところで、式（３）中のｔａｎ^-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マークの画像座標と、式（５）で求めた対応する画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。

図９に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図１０を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。

（III）ターゲット認識
図１１（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マークの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。

次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ^２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ^２×ΣＸｉ^２−（ΣＸｉ) ^２｝×｛Ｍ^２×ΣＴｉ^２−（ΣＴｉ) ^２｝］ （６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。

次に、基準マーク推論部６６を用いた第１マーク抽出処理と第２マークの概略位置演算処理の詳細を説明する。図１２は、被校正撮影装置の焦点距離を調整した場合のターゲット認識とテンプレート画像の関係を説明する図で、校正用三次元フィールド１００に従前の焦点距離による校正画像と今回の焦点距離による校正画像の撮影領域を示してある。被校正撮影装置１９の焦点距離が順次変更される場合には、従前の焦点距離による校正画像のターゲット位置情報を用いて、今回の焦点距離による校正画像のターゲット位置とターゲット画像の大きさが推定できる。ここで、ターゲットとは、第１マークとしての広角用の粗位置合わせ基準マーク１１２と第２マークとしての広角用の精密位置合わせ基準マーク１１４、或いは第１マークとしての望遠用の粗位置合わせ基準マーク１２２と第２マークとしての望遠用の精密位置合わせ基準マーク１２４をいう。そこで、第１マークの場合には抽出部４が第１マークの画像座標値を抽出し、第２マークの場合には概略マーク位置測定部５が第２マークの概略位置を演算するが、その際に基準マーク推論部６６によってターゲット位置の抽出を迅速にする。

即ち、重複基準マーク抽出部６７によって、従前の焦点距離による校正画像としての第１の校正用画像で撮影された校正用の基準マークと、今回の焦点距離による校正画像としての第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する。そして、追加基準マーク位置情報抽出部６８によって、第２の校正用画像の基準マーク画像中から、第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、追加基準マークに関する三次元位置情報を読み出す。

図１３は、相互相関係数法による重複基準マーク抽出の一例を説明する図で、（Ａ）は従前の焦点距離による校正画像、（Ｂ）は今回の焦点距離による校正画像の場合を示している。相互相関係数による方法では、次式を用いた以下の手順による。

３−1：例えば、重複基準マーク抽出部６７で抽出された基準マークとなる点を中心とした、Ｎ１×Ｎ１画素の画像をテンプレート画像として従前の焦点距離による校正画像から切出す。そして、従前の焦点距離と今回の焦点距離から、テンプレート画像の寸法をＮ２×Ｎ２画素の画像に変換する。図１３（Ｂ）は切出されたテンプレート画像と変換後のテンプレート画像の一例を示す図である。
３−2：テンプレート画像より大きい今回の焦点距離による校正画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）^２として、探索範囲上でテンプレート画像を動かす。
３−3：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に従前の焦点距離による校正画像と今回の焦点距離による校正画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
３−4：今回の焦点距離による校正画像において、従前の焦点距離による校正画像に撮影されていない基準マークが存在するときは、追加基準マーク位置情報抽出部６８により処理する。

図１０に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇^２・Ｇ（ｘ）＝｛（ｘ^２−２σ^２）／２πσ^６｝・ｅｘｐ（−ｘ^２／２σ^２） （１２）
ここで、σはガウス関数のパラメ−タ−である。

次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（１２）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。

図９に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。

そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。

レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション補正係数を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション補正係数の演算対象として、校正用三次元フィールド１００上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。

（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション補正係数、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の式（１３）と式（１４）である。

この式（１３）と式（１４）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、式（１３）と式（１４）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション補正係数を求めることが可能となる。

次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の式（１５）に示す。

補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、演算処理部７では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きい校正用三次元フィールド１００上の第２マークを省くことによって、正確なキャリブレーション補正係数を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ７０）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ９０にて過誤のある第２マークを検出して、除去することが可能である。

図９に戻り、演算処理部７によるキャリブレーション補正係数を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション補正係数が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。

そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション補正係数演算に戻り、キャリブレーション補正係数を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。

キャリブレーション補正係数を求める演算処理結果が適性であれば、他の焦点距離のキャリブレーション画像グループが存在するか判断する（Ｓ１３５）。もし、他の焦点距離のキャリブレーション画像グループが存在していれば、Ｓ３０に戻る。全ての焦点距離のキャリブレーション画像グループに関して、キャリブレーション補正係数を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。

図１４は、キャリブレーション補正係数の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション補正係数である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合の理想曲線１０６についてグラフィック表示するとわかりやすい。

次に、演算処理部７で算出された内部パラメータを用いて、焦点距離を変数とするキャリブレーション補正係数関数の説明する。図１５は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、（Ａ）は式（１５）の係数ｋ１、（Ｂ）は式（１５）の係数ｋ２、（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０、（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０を表している。ここでは、被校正撮影装置１９の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。

式（１５）の係数ｋ１は、最広角側で最大値をとり、最望遠側では絶対値が小さくなっている。式（１５）の係数ｋ２は、最広角側で絶対値として最大値をとるが符号は負であり、最望遠側では絶対値が小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０は、被校正撮影装置１９の焦点距離が５２．２ｍｍで最小値４．４３をとり、３９．０ｍｍ付近で最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０は、被校正撮影装置１９の焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、被校正撮影装置１９の焦点距離ｆと、投影中心点Ｏｃから画像座標系５０までの画面距離Ｃとは、等しくなっている。

演算処理部７では、焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ_０、ｙ_０が得られる構成とするとよい。そして、内部パラメータ関数としての式（１３）、式（１４）、式（１５）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。

なお、上記の実施の形態においては、基準マーク推論部としての機能を抽出部や概略マーク位置測定部に格納している場合を示したが、本発明はこれに限定されるものではなく、例えば基準マーク推論部としての機能はキャリブレーション装置の共通機能として独立して構成しても良く、各種の変形実施例が存在する。

以上説明したキャリブレーション装置で求められた各焦点距離に対するキャリブレーション補正係数（実際に撮影された画像に基づき、求めた撮影された際の焦点距離のキャリブレーション補正係数と、この補正係数から所定の演算により求められた実際には撮影されていない焦点距離のキャリブレーション補正係数との両方を含む）、を利用して、実際に撮影された際の焦点距離に応じたキャリブレーション補正係数を用いた画像補正を行う画像補正機能を備えた撮影装置を形成することができる。

この撮影装置４００は、例えば図１６に示すように、各焦点距離に対するキャリブレーション補正係数を記憶する記憶部４１０と、焦点距離が可変に調整可能である撮影部４２０と、撮影部で撮影された画像の焦点距離に応じた記憶されているキャリブレーション補正係数に基づき、撮影部で撮影された画像に画像補正を施す画像補正部４３０から構成される。

ここで、キャリブレーション補正係数を記憶する記憶部４１０が記憶するキャリブレーション補正係数は、実際にキャリブレーションのため撮影された画像の焦点距離のキャリブレーション補正係数でもよいし、それのほか、図２のＳ３２０において求められた撮影された焦点距離以外の演算されたキャリブレーション補正係数が含まれてもよい。さらに、画像補正部において、図２のＳ３２０のような処理を行い、撮影された焦点距離以外の演算されたキャリブレーション補正係数を求めて、撮影画像が撮影された際の焦点距離の補正に対応したキャリブレーション補正係数による画像補正がなされるように構成することもできる。

本発明の第１の実施の形態を説明する全体構成ブロック図である。 ズームレンズによるキャリブレーション作業手順を説明するフローチャートである。 校正用三次元フィールドを説明する全体図で、明暗の二値画像にて示してある。 校正用三次元フィールドのうち、望遠用領域を拡大した要部説明図で、明暗の二値画像にて示してある。 校正用三次元フィールドが設置される現場を説明する全体図である。 図５の校正用三次元フィールド全体図のうち、望遠用領域を拡大した要部説明図である。 キャリブレーション対象となるズームレンズにて校正用三次元フィールドを撮影する手順を説明するフローチャートである。 本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。 キャリブレーション処理の流れ全体を説明するフローチャートである。 Ｓ６０における第２マーク精密位置計測を説明するフローチャートである。 （Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。 焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図である。 相互相関係数法による重複基準マーク抽出の一例を説明する図である。 被校正撮影装置の焦点距離を調整した場合のターゲット認識とテンプレート画像の関係を説明する図である。 キャリブレーション補正係数の演算処理結果の一例を示す説明図である。 実際に撮影された際の焦点距離に応じたキャリブレーション補正係数を用いて、画像補正を行う画像補正機能を有する撮影装置の構成ブロック図である。

符号の説明

３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
１０ マーク座標記憶部
１１ レンズ収差補償パラメータ記憶部
１９ 被校正撮影装置
６０ 第１画像取得部
６２ 第２画像取得部
６４ 補正係数算出部
６５ 基準マーク位置情報データベース部
６６ 基準マーク推論部
６７ 重複基準マーク抽出部
６８ 追加基準マーク位置情報抽出部
１００ 校正用三次元フィールド
１１０ 広角用領域
１１２ 粗位置合わせ基準マーク
１１４ 精密位置合わせ基準マーク
１２０ 望遠用領域
１２２ 粗位置合わせ基準マーク
１２４ 精密位置合わせ基準マーク

Claims (8)

1. 焦点距離が第１の焦点距離に設定された被校正撮影装置により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部と；
   焦点距離が第２の焦点距離に設定された前記被校正撮影装置により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部と；
   前記第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、前記被校正撮影装置の前記第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部と；
   前記第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する基準マーク推論部と；
   を備えるズームレンズのキャリブレーション装置。
2. 前記被校正撮影装置は、前記第１及び第２の焦点距離を含む焦点距離で連続的に設定された焦点距離にて、前記校正用の基準マークが配置された領域を撮影する請求項１に記載のズームレンズのキャリブレーション装置。
3. 前記ズームレンズのキャリブレーション装置は、前記校正用の基準マークが配置された領域における、当該基準マークの三次元位置情報が記憶された基準マーク位置情報データベース部を備えると共に；
   前記基準マーク推論部は；
   前記第１の校正用画像で撮影された校正用の基準マークと、前記第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する重複基準マーク抽出部と；
   前記第２の校正用画像の基準マーク画像中から、前記第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、前記基準マーク位置情報データベース部を参照して、当該追加基準マークに関する三次元位置情報を読み出す追加基準マーク位置情報抽出部と；
   を備える請求項１又は請求項２に記載のズームレンズのキャリブレーション装置。
4. 前記基準マーク推論部は、前記第１の校正用画像で撮影された校正用の基準マークの位置情報、及び前記第１及び第２の焦点距離情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する請求項１乃至請求項３の何れか１項に記載のズームレンズのキャリブレーション装置。
5. 焦点距離が第１の焦点距離に設定された被校正撮影装置により校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する工程と；
   前記第１の校正用画像で撮影された校正用の基準マークを用いて、前記第１の焦点距離に対するキャリブレーション補正係数を算出する工程と；
   焦点距離が前記第１の焦点距離と近接した第２の焦点距離に設定された前記被校正撮影装置により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する工程と；
   前記第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する工程と；
   前記第２の校正用画像で撮影された校正用の基準マークを用いて、前記第２の焦点距離に対するキャリブレーション補正係数を算出する工程と；
   を備えるズームレンズのキャリブレーション方法。
6. 焦点距離が第１の焦点距離に設定された被校正撮影装置により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部と；
   焦点距離が第２の焦点距離に設定された前記被校正撮影装置により、校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部と；
   前記第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、第１の焦点距離、第２の焦点距離及びその他の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部と；
   を備えるズームレンズのキャリブレーション装置。
7. 前記その他の焦点距離は、第１及び第２の画像取得部においては、校正用の画像が撮影されていない焦点距離であることを特徴とする請求項６記載のズームレンズのキャリブレーション装置。
8. 可変焦点距離のレンズを含む撮影部と；
   前記撮影部で画像が撮影された際の可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正する画像補正部と；
   を備えることを特徴とする撮影装置。

Images