JP2004037270A - キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 - Google Patents

Abstract

【課題】光学条件を変化させて撮影するカメラに対して、レンズディストーションの影響を除去するキャリブレーション用データの測定装置を提供すること。
【解決手段】マークが配置されたキャリブレーション用チャート１を、光学条件を変化させて撮影するカメラ２で撮影した、複数のチャート撮影画像を用いてカメラ２のキャリブレーション用データを求めるキャリブレーション用データ測定装置であって、前記チャート撮影画像からマークを抽出するマーク抽出部１３１と、抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算部１３４と、キャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、カメラ２の変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算部１６０とを備える。
【選択図】　図１

Description

【０００１】
【産業上の利用分野】
本発明は、撮影された画像のレンズ収差を補正する場合や、ステレオ画像計測用のようにレンズ収差が補正された画像が必要な場合に用いられるキャリブレーション用データ測定装置及び方法に関し、特に光学条件を変化させて撮影するカメラ（例えばズーム式カメラ）であってもレンズ収差が補正された画像を得るのに必要な内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を容易に求めることができるキャリブレーション用データ測定装置及び方法に関する。
また、本発明は、光学条件を変化させて撮影するカメラ（例えばズーム式カメラ）で撮影したステレオ画像に含まれるレンズ収差の影響を除去して、ステレオ画像計測により測定対象物の形状を正確に三次元形状測定ができる画像データ処理装置に関する。
【０００２】
【従来の技術】
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。
【０００３】
【発明が解決しようとする課題】
しかし、市販されている一般消費者向けのデジタルカメラでステレオ画像計測を行おうとした場合、レンズディストーションが大きい為に、撮影した画像を無修正で用いたのでは対象物のステレオ画像計測することはできないという課題がある。そこで、デジタルカメラのカメラ内部パラメータ（焦点距離、主点位置、レンズディストーション）を用いて撮影した画像を修正すると共に、三次元精度を高めるために撮影時のデジタルカメラの焦点距離も精度良く求める必要がある。以下、固定焦点式と可動焦点式に分けて更に詳細を説明する。
【０００４】
従来は、固定焦点式のステレオカメラに対してカメラキャリブレーションを行い、その固定した焦点位置でステレオ画像計測対象の写真撮影、解析を行っていた。しかし固定焦点式のステレオカメラでは、対象物に合わせて焦点距離を調整できないため、撮影条件によってはピントが合わず、或いは測定対象物の画像が写真画像一杯に写っていないため、ステレオ画像計測を行うのに必要とされる良質なステレオ画像が得られないという課題があった。さらに、計測対象物の大きさや必要精度のためにカメラやレンズを交換して、適切な焦点距離のカメラやレンズを選定する場合には、新たに選定したステレオカメラに対してキャリブレーションを再度行う必要があるという課題があった。そのため、固定焦点式のステレオカメラでは、３次元計測が簡単に行えないという課題があり、ステレオ画像計測の普及の妨げとなっていた。
【０００５】
他方、可動焦点式のいわゆるズームレンズを用いたデジタルカメラに関しては、レンズディストーションが大きく、さらに焦点距離に応じて奥行き精度やレンズディストーションが変動する。このため、焦点距離を変化させると新たにキャリブレーションを行う必要があり、ズームレンズを用いてステレオ画像計測を行うことは作業効率の点から困難であるという課題があった。そこで、ズームレンズのズーム機能を発揮することなく、固定焦点式のデジタルカメラとして使用されている為、作業現場でのステレオ画像計測が不便になっているという課題があった。
【０００６】
本発明の第１の目的は、上述する課題を解決したもので、光学条件を変化させて撮影するカメラ（例えばズーム式カメラ）を用いても、レンズディストーションの影響を除去した良質な画像を得るのに必要なレンズ収差を補正する内部パラメータが容易に得られるキャリブレーション用データ測定装置及び方法を提供することである。
本発明の第２の目的は、上述する課題を解決したもので、光学条件を変化させて撮影するカメラ（例えばズーム式カメラ）で撮影したステレオ画像に含まれるレンズ収差の影響を除去して、ステレオ画像計測により測定対象物の形状を正確に三次元形状測定ができる画像データ処理装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明のキャリブレーション用データ測定装置は、第１の目的を達成するもので、例えば図１に示すように、マークが配置されたキャリブレーション用チャート１を、光学条件を変化させて撮影するカメラ２の光学条件を変化させて撮影した、複数のチャート撮影画像を用いてカメラ２のキャリブレーション用データを求めるキャリブレーション用データ測定装置であって、前記チャート撮影画像から前記マークを抽出するマーク抽出部（１３１、１３２、１３３）と、マーク抽出部で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算部１３４と、内部パラメータ演算部１３４で演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、カメラ２の変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算部１６０とを備える。
【０００８】
ここで、光学条件を変化させて撮影するカメラとしては、典型的にはズームレンズのように焦点距離が可変に調整できるものや、自動焦点式のようにピント調整のためにレンズを調整できるものをいう。撮影の光学条件の異なるチャート撮影画像とは、カメラの焦点距離を複数設定して、各焦点距離毎に撮影されたチャート撮影画像や、カメラの自動焦点機構を用るためにレンズの移動位置が異なるものをいう。カメラの変化する撮影光学条件とは、典型的にはズームレンズのように焦点距離を可変に調整した後の個別焦点距離をいい、個別焦点距離にてチャート撮影画像が得られる。キャリブレーション用データは、典型的にはレンズの主点位置データ又はレンズの歪曲収差の少なくとも一方を含むものである。
【０００９】
このように構成された装置において、マーク抽出部は、チャート撮影画像からマークを抽出するもので、好ましくはマーク位置も抽出するとよい。内部パラメータ演算部１３４は、マーク抽出部で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算するもので、好ましくは撮影光学条件が共通するチャート撮影画像を一群のキャリブレーション用データ演算の基礎にするとよい。内部パラメータ関数演算部１６０は、内部パラメータ演算部１３４で演算された異なる撮影光学条件毎のキャリブレーション用データと、チャート撮影画像の撮影された複数の光学条件とを用いて、カメラ２の変化する撮影光学条件に対応するキャリブレーション用データを算出するものである。好ましくは、内部パラメータ関数演算部１６０は、内部パラメータ関数を構成する係数の関数形を求め、このカメラ２の変化する撮影光学条件に対応する係数を用いて、内部パラメータを演算する数式であるとよい。
【００１０】
好ましくは、例えば図１に示すように、前記キャリブレーション用チャートは平面状であり、例えば図５〜図７に示すように、前記複数のチャート撮影画像は、マーク抽出部（１３１、１３２、１３３）と内部パラメータ演算部１３４によって、キャリブレーション用データが算出可能な態様で撮影されたステレオ撮影画像であるとよい。
好ましくは、例えば図１４に示すように、前記キャリブレーション用チャートは立体状（立体基準チャート２０）であり、前記複数のチャート撮影画像は、マーク抽出部１７１と内部パラメータ演算部１７３によって、キャリブレーション用データが算出可能な態様で撮影されたステレオ撮影画像であるとよい。
好ましくは、例えば図１３に示すように、内部パラメータ関数演算部１６０で算出されるキャリブレーション用データは、前記カメラの変化する撮影光学条件に対して連続的に算出可能であるとよい。
【００１１】
本発明のキャリブレーション用データ測定方法は、第１の目的を達成するもので、例えば図８に示すように、光学条件を変化させて撮影するカメラの光学条件を変化させて、マークが配置されたキャリブレーション用チャートを当該カメラで複数のチャート撮影画像として撮影するステップ（Ｓ１０２、Ｓ１０４）と、前記チャート撮影画像から前記マークを抽出するマーク抽出ステップ（Ｓ１０５）と、前記抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算ステップ（Ｓ１０６）と、前記演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算ステップ（Ｓ１１０）とを有する。
【００１２】
本発明のキャリブレーション用データ測定プログラムは、第１の目的を達成するもので、例えば図１に示すように、光学条件を変化させて撮影するカメラの光学条件を変化させて、マークが配置されたキャリブレーション用チャート１を当該カメラ２で撮影して得られた複数のチャート撮影画像を用いて、当該カメラのキャリブレーション用データを求めるためにコンピュータを、前記チャート撮影画像から前記マークを抽出するマーク抽出手段（１３１、１３２、１３３）と、前記マーク抽出手段で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算手段１３４と、内部パラメータ演算手段１３４で演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算手段１６０として機能させるためのプログラムである。また、本発明のコンピュータ読取可能な記録媒体は、キャリブレーション用データ測定プログラムを記録してある。
【００１３】
本発明の画像データ処理装置は、第２の目的を達成するもので、例えば図１５に示すように、光学条件を変化させて撮影するカメラ２から撮影画像データと撮影光学条件を受取る撮影画像データ受取部（２１０、２２０）と、前記撮影画像データ受取部が受取った撮影光学条件に基づき、キャリブレーション用データを形成するキャリブレーション用データ形成部２３０と、形成されたキャリブレーション用データに基づき、撮影画像データを画像処理する画像処理部２４０とを備える。
【００１４】
このように構成された装置において、撮影画像データ受取部（２１０、２２０）は光学条件を変化させて撮影するカメラ２から撮影画像データと撮影光学条件を受取る。キャリブレーション用データ形成部２３０は、撮影画像データ受取部が受取った撮影光学条件に基づき、キャリブレーション用データを形成する。キャリブレーション用データにより、撮影画像データに含まれるカメラ２のレンズ収差の影響が補償可能となる。画像処理部２４０は、形成されたキャリブレーション用データに基づき、撮影画像データを画像処理するので、レンズ収差の影響のない正確な画像データが得られる。そこで、ステレオ画像計測のように画像に表れる僅かな視差差によって、表面の凸凹の標高を計測する用途であっても、正確な三次元形状測定が行える。なお、撮影光学条件は、撮影画像データ受取部２２０のようにカメラ２から直接受取っても良く、また焦点距離算出部２３２のように撮影画像データから間接的に求めてもよい。焦点距離算出部２３２が撮影光学条件を算出する場合には、キャリブレーション用データ形成部２３０は、撮影光学条件を焦点距離算出部２３２から受取る。
【００１５】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明するキャリブレーション用データ測定装置の構成ブロック図である。図において、キャリブレーション用チャートとしてのチャート１は、平面シートに第１マークと第２マークが印刷されている。なお、チャート１は、平面シートに代えて、例えばノートパソコンのような平面的な表示画面を有する機器に、第１マークと第２マークが表示された平面シートの画像表示を用いてもよい。液晶表示画面のようにガラスを用いた画面は、紙に比較して湿度や温度による平面の伸縮が極めて少ないため、チャート１の表示装置として適している。
【００１６】
第１マークは、概略マーク位置測定及び校正用写真組の画像相互の対応付けに利用されると共に、カメラ２がチャート１を撮影した撮影角度を決めるために利用される。第１マークは、チャート１の少なくとも３箇所に設けられるもので、好ましくはチャート１を４区分に等分したときの各象限に設けると良い。第２マークは、カメラ２によって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。チャート１の詳細については、後で説明する。
【００１７】
カメラ２は、例えば焦点距離可変式のキャリブレーションの対象となるカメラで、焦点距離を短く設定することで広角レンズ（例えば８ｍｍ）として機能させたり、焦点距離を標準レンズ（３５ｍｍ）相当に設定したり、焦点距離を長く設定することで望遠レンズ（例えば２００ｍｍ）として機能させることができる。カメラ２は、自動焦点（オートフォーカス）機能を有していることが好ましく、ピンチ調整の為にレンズを移動させている。典型的には、カメラ２は汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものである。カメラ２は、計測対象物やチャート１を撮影するもので、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によってステレオ撮影する。左撮影位置２Ｌと右撮影位置２Ｒの一組のステレオ撮影された画像データは、計測対象物の三次元画像計測を行うのに適する。
【００１８】
キャリブレーション用データ測定装置１００は、画像データ記憶部１１０、焦点距離データ記憶部１２０、キャリブレーション要素算出部１３０、画像処理部１４０、表示部１５０、並びに内部パラメータ関数演算部１６０を備えている。画像データ記憶部１１０は、カメラ２によって撮影されたチャート１の画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部１１０に記憶される画像データは、チャート１をカメラ２にてステレオ視できるように撮影したステレオ画像データであることが好ましく、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によって撮影されている。好ましくは、画像データ記憶部１１０では、カメラ２がチャート１を撮影した撮影角度が判別できる態様で校正用写真組の画像が記憶されているとよい。キャリブレーション用データ測定装置１００には、画像データ記憶部１１０の画像データを読取るＩ／Ｏ装置が設けられている。
【００１９】
焦点距離データ記憶部１２０は、画像データ記憶部１１０に記憶された画像を撮影した際のカメラ２の焦点距離を記憶している。この記憶は、カメラ２によって撮影されたチャート１の画像データに付して設けられる焦点距離データ情報を用いても良く、またカメラ２から取出した焦点距離データでもよく、更に計測時に画像データから算出された焦点距離でもよい。キャリブレーション要素算出部１３０で、カメラの内部パラメータを求める場合には、キャリブレーションに用いる焦点距離データの測定個数と測定間隔に適合するように、内部パラメータ関数演算部１６０で関数近似する多項式が選定される。例えば、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合には、焦点距離データの測定個数を６個とすると、７．２ｍｍ、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍ、５２．２ｍｍのように、光学的意味での等間隔で測定される。ここで、ズーム式カメラ２の焦点距離７．２ｍｍ−５０．８ｍｍは、一眼レフカメラの標準レンズ３５ｍｍ形式のレンズ焦点距離で表すと、２８ｍｍ−２００ｍｍに相当している。
【００２０】
キャリブレーション要素算出部１３０は、マーク抽出部１３１、概略マーク位置測定部１３２、精密マーク位置測定部１３３、内部パラメータ演算部１３４、マーク座標記憶部１３５、並びに内部パラメータ算出値記憶部１３６を備えている。キャリブレーション要素算出部１３０は、内部パラメータ演算部１３４にて算出される内部パラメータを確認するために画像処理部１４０とを備えると共に、外部機器として画像データ記憶部１１０や表示部１５０を備えている。キャリブレーション要素算出部１３０と画像処理部１４０には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００２１】
マーク抽出部１３１は、画像データ記憶部１１０に格納された画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部１３２による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１３５に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。マーク抽出部１３１による第１マーク抽出処理の詳細は、後で説明する。
【００２２】
概略マーク位置測定部１３２は、マーク抽出部１３１にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部１３２による第２マークの概略位置演算処理の詳細は、後で説明する。
【００２３】
精密マーク位置測定部１３３は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。内部パラメータ演算部１３４は、精密マーク位置測定部１３３にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、キャリブレーション用データとしてのカメラ２の内部パラメータを演算する。内部パラメータ算出値記憶部１３６には、内部パラメータ演算部１３４にて演算されたカメラ２の内部パラメータが記憶されている。なお、内部パラメータ演算部１３４は、精密マーク位置測定部１３３にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、内部パラメータ演算部１３４で演算されたカメラの内部パラメータは、チャート１を撮影した際のカメラ２の焦点距離と共に、内部パラメータ算出値記憶部１３６に格納すると良い。
【００２４】
カメラの内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。内部パラメータ演算部１３４にて求められた内部パラメータは、表示部１５０にてグラフィック表示される。なお、精密マーク位置測定部１３３、並びに内部パラメータ演算部１３４のカメラの内部パラメータ演算処理に関しての詳細は、後で説明する。
【００２５】
画像処理部１４０は、内部パラメータ演算部１３４にて演算された内部パラメータを用いて、カメラ２によって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、カメラ２によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部１５０に表示される。表示部１５０は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１３５には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。
【００２６】
内部パラメータ関数演算部１６０は、内部パラメータ演算部１３４で演算されたキャリブレーション用データと、キャリブレーション要素算出部１３０で対象とされたチャート１の画像データを撮影した際のカメラ２の焦点距離とを用いて、内部パラメータ関数演算を算出する。内部パラメータ関数演算部１６０がカメラ２の焦点距離に対応するキャリブレーション用データ（内部パラメータ関数）を算出する過程についても、後で詳細に説明する。
【００２７】
次に、キャリブレーション用チャートとしてのチャート１について説明する。ここでは、チャート１として紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。
【００２８】
図２は、キャリブレーション用チャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ^２＋ｌ^２）^１／２　　　　　　　　（１）
【００２９】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、キャリブレーション装置のマーク座標記憶部１３５に読込んで、概略マーク位置測定部１３２において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めキャリブレーション装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１３５に格納して利用する構成としてもよい。
【００３０】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部１３３で精密測定する際のテンプレートとして使用される。
【００３１】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、カメラ２の撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００３２】
図４は第２マークの一例を示す説明図で、（Ａ）は黒丸『●』、（Ｂ）はプラス『＋』、（Ｃ）は二重丸『◎』、（Ｄ）は英文字『Ｘ』、（Ｅ）は星印『★』、（Ｆ）は黒塗り四角『■』、（Ｇ）黒塗り三角形『▲』、（Ｈ）は黒塗り菱形『◆』を示している。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。
【００３３】
続いて、キャリブレーション対象となるカメラ２によって、チャート１を撮影する手順について説明する。図５はズーム式カメラの各種焦点距離でのレンズ収差を計測する場合のカメラ配置を説明する斜視図である。チャート１を異なる撮影角度から撮影した画像が、２枚以上の画像があれば、キャリブレーションが可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。図５の場合には、５方向、即ち図５（Ａ）を基準として正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）から撮影する手順を示している。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。また各種焦点距離とは、典型的には一眼レフカメラでいう標準レンズ、広角レンズ、望遠レンズに相当する各種の焦点距離をいう。
【００３４】
以下、図６を参照してズーム式カメラによるチャート１の撮影手順を説明する。図６は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応するチャート１とカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図５のカメラ位置に対応している。
【００３５】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する（図６（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（ＩＩ）：次に、一般的にズーム式カメラの焦点距離が望遠レンズ及び標準レンズに相当している場合に、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図６（Ａ２）、（Ｂ２））。但し、ズーム式カメラの焦点距離が広角レンズに相当している際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図６（Ａ３）、（Ｂ３））。次に、カメラ２をチャート１に近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図６（Ａ４）、（Ｂ４））。
【００３６】
（ＩＩＩ）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（ＩＶ）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ｄが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００３７】
次に、チャート１として、第１マークと第２マークを印刷したシート又は表示した平面的画面を用いた平面チャートを用いる場合における、第１マークを利用した撮影手順の利点について説明する。通常、平面のシートに印刷されたマークを撮影する場合、カメラ２に所望の角度がつけられないため、結果として画面距離（焦点距離）を正確に求めることができない。即ち、焦点距離方向（高さ、奥行き方向）に変化がないと、カメラの内部パラメータの計算値には拘束するものがないので、カメラの内部パラメータが算出されても著しく信頼性のないものとなる。そこで、三次元状に配置されたターゲットを計測して焦点距離を求めるのであるが、三次元状に配置されたターゲットは計測が困難で自動化ができないだけでなく、作成するのも容易ではないという課題がある。
【００３８】
これに対して平面チャート１では、第１マークと第２マークを印刷したシート又は表示した平面的画面を用いているので、三次元状に配置されたターゲットの場合に発生していた各ターゲット間の関連付けの困難性という問題は解消される。次に、第１マークを利用して撮影すると、カメラ２に所望の角度を付することができ、高さ（奥行き）方向の変化を確実にし、焦点距離を正確に算出できる。例えば、カメラ２の角度をチャート１に対して１０度以上傾けることができれば、本発明のキャリブレーション装置においては、焦点距離を確実に求めることができる。
【００３９】
ここでは、カメラ２とチャート１の間隔Ｈは、ズーム式カメラの焦点距離ｆから定められる。例えば、ズーム式カメラの焦点距離が３５ｍｍ式カメラの標準レンズに相当している場合では、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００４０】
図７はズーム式カメラの焦点距離が、標準レンズや望遠レンズに相当する焦点距離でのレンズ収差を計測する場合の、カメラ間隔を示した図である。焦点距離が標準レンズや望遠レンズに相当する場合には、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２とチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、正面のカメラ位置を中心として、左側のカメラ位置（ＩＩ）、（ＩＶ）と、右側のカメラ位置（ＩＩＩ）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（ＩＩ）、左下（ＩＶ）及び右上（ＩＩＩ）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００４１】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００４２】
次に、本発明のキャリブレーション用データ測定装置における処理の流れについて説明する。図８はキャリブレーション用データ測定装置を用いたキャリブレーション用データ測定方法を説明するフローチャートである。カメラのキャリブレーションは、カメラを用いて三次元計測を行う為の前準備に相当しているので、ここでは前準備と呼ぶ。前準備の開始に当たり、まず、チャート１を設置する（Ｓ１００）。次に、カメラ２の焦点距離を計測対象値に設定する（Ｓ１０２）。例えば、前述の説例のように、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合には、焦点距離データの測定個数を６個とすると、焦点距離として光学的意味での等間隔選択値（７．２ｍｍ、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍ、５２．２ｍｍ）の１つが選択される。
【００４３】
そして、キャリブレーション対象となるカメラ２によって、チャート１を撮影する（Ｓ１０４）。撮影手法は、ズーム式カメラの焦点距離が標準レンズや広角レンズに相当する焦点距離でのレンズ収差を計測する場合には図５、図６を参照して説明した撮影手順で行い、ズーム式カメラの焦点距離が望遠レンズに相当する焦点距離でのレンズ収差を計測する場合には図７で説明した撮影手順による。次に、マーク抽出部１３１によって、チャート撮影画像からチャート１に形成されているマークを抽出する（Ｓ１０５）。この際に、マーク抽出部１３１によって抽出されたマークの位置を、概略マーク位置測定部１３２と精密マーク位置測定部１３３によって測定する。続いて、内部パラメータ演算部１３４によって、カメラ２のキャリブレーション要素を算出する（Ｓ１０６）。このキャリブレーション要素算出部１３０の構成要素（マーク抽出部１３１、概略マーク位置測定部１３２、精密マーク位置測定部１３３、内部パラメータ演算部１３４）の演算過程は、後で図９、図１０を参照して詳細に説明する。そして、計測対象値のズーム式カメラ２の焦点距離が残っているか判断し（Ｓ１０８）、残っていればＳ１０２に戻る。残っていなければ、内部パラメータ関数演算部１６０を用いて焦点距離を変数とするキャリブレーション要素の関数を演算する（Ｓ１１０）。このようにして、前準備が終了する。
【００４４】
図９は個別焦点距離でのキャリブレーション要素算出過程を説明するフローチャートである。Ｓ１０４にて個別焦点距離でのカメラ２によって撮影された各撮影方向の画像データは、一旦画像データ記憶部１１０に格納されている。そこで、Ｓ１０５が開始されると、Ｓ２００で示すサブルーチンが実行される。キャリブレーション装置は、画像データ記憶部１１０に格納された画像データを読込んで、表示部１５０に表示する（Ｓ２０２）。そして、操作者は表示部１５０に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する（Ｓ２０４）。そして、マーク抽出部１３１により、選択された画像につき第１マーク抽出処理を行う（Ｓ２０６）。
【００４５】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００４６】
Ｉ−▲１▼…操作者は表示部１５０に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１３５に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００４７】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、マーク抽出部１３１側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部１５０に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００４８】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００４９】
次に、第１マーク抽出処理をマーク抽出部１３１により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ３０２）と同様なので、説明を省略する。
【００５０】
続いて、第１マーク抽出処理をマーク抽出部１３１によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予めマーク抽出部１３１に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像をマーク抽出部１３１が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００５１】
図９に戻り、概略マーク位置測定部１３２により第２マーク概略位置測定と対応付けを行う（Ｓ２０８）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（ＩＩ−１）と、第２マークの概算位置を演算する工程（ＩＩ−２）を含んでいる。
（ＩＩ−１）：外部標定要素を求める工程
概略マーク位置測定部１３２では、Ｓ２０６で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１）　（２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００５２】
次に、基準点座標と画像座標の関係を説明する。図１１（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、カメラ２のフィルム又はＣＣＤが置かれる画像座標系５０が図１１（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ０，Ｙ０，Ｚ０）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００５３】
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ^−１（Ｃ・ｂ８）
φ＝ｔａｎ^−１（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ^−１（−ｂ４／ｂ１）　（φ＝０のとき）
κ＝ｔａｎ^−１（−ｂ２／ｂ５）　（φ≠０、ω＝０のとき）
κ＝ｔａｎ^−１｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００５４】
Ｚ０＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝１／２＋Ｚｍ
Ｘ０＝ｂ３−（ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ）×（Ｚｍ−Ｚ０）
Ｙ０＝ｂ６−（ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ）×（Ｚｍ−Ｚ０）　　　　　　　　（３）
ただし、Ａ１＝１＋ｔａｎ^２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００５５】
（ＩＩ−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】

ここで、Ｘ０、Ｙ０、Ｚ０は、前述したように、図１１（Ａ）に示すような投影中心点Ｏｃの地上座標とする。
【００５６】
次に、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ１１〜ａ３３を求める。
次に、求めた回転行列の要素ａ１１〜ａ３３と式（３）で求めたカメラの位置（Ｘ０、Ｙ０、Ｚ０）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実のカメラ２で撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ１１（Ｘ−Ｘ０）＋ａ１２（Ｘ−Ｘ０）＋ａ１３（Ｚ−Ｚ０）｝／｛ａ３１（Ｘ−Ｘ０）＋ａ３２（Ｘ−Ｘ０）＋ａ３３（Ｚ−Ｚ０）｝
ｙ＝−Ｃ・｛ａ２１（Ｘ−Ｘ０）＋ａ２２（Ｘ−Ｘ０）＋ａ２３（Ｚ−Ｚ０）｝／｛ａ３１（Ｘ−Ｘ０）＋ａ３２（Ｘ−Ｘ０）＋ａ３３（Ｚ−Ｚ０）｝　（５）
【００５７】
ところで、式（３）中のｔａｎ^−１の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。
【００５８】
また、概略マーク位置測定部１３２では、例えばマーク座標記憶部１３５に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００５９】
図９に戻り、精密マーク位置測定部１３３によって第２マークの精密位置測定を行う（Ｓ２１０）。以下、図１０を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部１３３は、第２マークとしてのタ−ゲットを認識する（Ｓ３０２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００６０】
（ＩＩＩ）ターゲット認識
図１１（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ２０６）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ２０８）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００６１】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ^２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／［｛Ｍ^２×ΣＸｉ^２−（ΣＸｉ）^２｝×｛Ｍ^２×ΣＴｉ^２−（ΣＴｉ）^２｝］（６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００６２】
図１０に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ３０４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。
∇^２・Ｇ（ｘ）＝｛（ｘ^２−２σ^２）／２πσ^６｝・ｅｘｐ（−ｘ^２／２σ^２）　（７）
ここで、σはガウス関数のパラメ−タ−である。また、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
【００６３】
次に、ターゲットの重心位置を検出し（Ｓ３０６）、リターンとする（Ｓ３０８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ３０２〜Ｓ３０６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００６４】
図９に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ２１２）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部１５０に表示する。過誤がない場合には、Ｓ２１６に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ２１４）。例えば、Ｓ３０２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部１５０上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ２１８の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００６５】
そして、Ｓ２０４〜Ｓ２１４の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ２１６）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００６６】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に内部パラメータ演算部１３４のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション要素を求める処理に移る（Ｓ２１８）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部１３２と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００６７】
（ＩＶ）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
内部パラメータ演算部１３４のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の式（８）と式（９）である。
【００６８】
【数２】

【数３】

この式（８）と式（９）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、式（８）と式（９）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００６９】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の式（１０）に示す。
【数４】

補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、内部パラメータ演算部１３４では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きいチャート１上の第２マークを省くことによって、正確なキャリブレーション要素を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ２１２）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ２１８にて過誤のある第２マークを検出して、除去することが可能である。
【００７０】
図９に戻り、内部パラメータ演算部１３４によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ２２０）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ２２２にて対処する。Ｓ２２２では、過誤のある第２マークを含む画像を選択する。Ｓ２１８におけるキャリブレーション終了時点で、内部パラメータ演算部１３４によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００７１】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ２２４）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ２２６）、完了していればＳ２１８のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ２２２に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００７２】
キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部１５０に表示する（Ｓ２２８）。図１２は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部１５０への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１４２、補正後曲線１４４、理想に補正された場合１４６についてグラフィック表示するとわかりやすい。
【００７３】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部１４０にて作成して表示部１５０に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００７４】
次に、キャリブレーション要素算出部１３０で算出された内部パラメータを用いて、焦点距離を変数とするキャリブレーション要素の関数を内部パラメータ関数演算部１６０が演算した一例を説明する。図１３は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、（Ａ）は式（１０）の係数ｋ１、（Ｂ）は式（１０）の係数ｋ２、（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０、（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０を表している。ここでは、前述の説例のように、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。
【００７５】
式（１０）の係数ｋ１、ｋ２は、最広角側で最大値をとり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０は、ズーム式カメラ２の焦点距離が１１．６ｍｍと５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０は、ズーム式カメラ２の焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラ２の焦点距離ｆと、投影中心点Ｏｃから画像座標系５０までの画面距離Ｃとは、等しくなっている。
【００７６】
内部パラメータ関数演算部１６０では、焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ_０、ｙ_０が得られる。そして、内部パラメータ関数としての式（８）、式（９）、式（１０）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最少自乗法を適用することで、最も確からしい内部パラメータが算出できる。
【００７７】
図１４は本発明の第２の実施の形態を説明するキャリブレーション用データ測定装置の構成ブロック図である。図１に示す第１の実施の形態においては、キャリブレーション用チャートとして平面的なシート形状のチャート１を用いる場合を示したが、第２の実施の形態においてはキャリブレーション用チャートとして立体基準チャート２０を用いている。なお、図１４において前記図１と同一作用をするものには同一符号を付して、説明を省略する。
【００７８】
図において、立体基準チャート２０は、ターゲット２０ａ〜２０ｈの位置が三次元的に正確に測定されているもので、ターゲットの数、高さ、並びに平面的な座標は三次元計測に適するように適宜に定められている。カメラ２は、立体基準チャート２０をステレオ撮影するもので、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によって撮影する。カメラ２によって撮影された左右一組のステレオ画像データは、画像情報記憶媒体等を経由して画像データ記憶部１１０に送られる。ここで、左撮影位置２Ｌと右撮影位置２Ｒの間隔は、基線間隔と呼ばれるもので、厳密に測定される。
【００７９】
キャリブレーション要素算出部１７０は、立体基準チャート２０を用いた場合のカメラ２の内部パラメータを算出するもので、マーク抽出部１７１、内部パラメータ演算部１７３、立体基準チャートターゲット記憶部１７５、並びに内部パラメータ算出値記憶部１７７を有している。
【００８０】
マーク抽出部１７１では、立体基準チャート２０を撮影したステレオ画像データに撮影されているターゲット２０ａ〜２０ｈを抽出して、このターゲット２０ａ〜２０ｈの画像座標系での位置を測定する。内部パラメータ演算部１７３は、マーク抽出部１７１にて測定されたターゲット２０ａ〜２０ｈの位置データと、立体基準チャートターゲット記憶部１７５に記憶された立体基準チャート２０の全ターゲット２０ａ〜２０ｈの位置とを用いて、キャリブレーション用データとしてのカメラ２の内部パラメータを演算すると共に、このカメラ２の内部パラメータと同時に左右一組のステレオ画像データの外部標定要素と対象点座標を同時調整する。立体基準チャートターゲット記憶部１７５には、立体基準チャート２０の全ターゲット２０ａ〜２０ｈの位置が記憶されている。内部パラメータ算出値記憶部１７７には、内部パラメータ演算部１７３にて算出されたカメラ２の内部パラメータが記憶されている。
【００８１】
また、マーク抽出部１７１では、立体基準チャート２０を撮影したステレオ画像データにおいて、ターゲット２０ａ〜２０ｈがうまく写っていない場合には、不適切なターゲットを除外する機能を設けるとよい。さらに、内部パラメータ演算部１７３で演算されたカメラの内部パラメータは、立体基準チャート２０を撮影した際のカメラ２の焦点距離と共に、内部パラメータ算出値記憶部１７７に格納すると良い。
【００８２】
次に、このように構成された装置を用いたキャリブレーション用データ測定方法を、再び図８を参照して、説明する。まず、立体基準チャート２０を設置する（Ｓ１００）。次に、カメラ２の焦点距離を計測対象値に設定する（Ｓ１０２）。そして、キャリブレーション対象となるカメラ２によって、立体基準チャート２０を撮影する（Ｓ１０４）。撮影手法は、立体基準チャート２０においてはズーム式カメラの焦点距離に依存せず、立体基準チャート２０を所定のカメラ間隔で撮影する。
【００８３】
次に、マーク抽出部１７１によって、チャート撮影画像からチャート１に形成されているマークを抽出する（Ｓ１０５）。続いて、内部パラメータ演算部１７３によって、カメラ２のキャリブレーション要素を算出する（Ｓ１０６）。このキャリブレーション要素算出部１７０の構成要素（マーク抽出部１７１、内部パラメータ演算部１７３）の演算過程は、次のようになっている。まず、マーク抽出部１７１によって立体基準チャート２０を撮影したステレオ画像データに撮影されているターゲット２０ａ〜２０ｈを抽出して、このターゲット２０ａ〜２０ｈの画像座標系での位置を測定する。次に、内部パラメータ演算部１７３は、マーク抽出部１７１にて測定されたターゲット２０ａ〜２０ｈの位置データと、立体基準チャートターゲット記憶部１７５に記憶された立体基準チャート２０の全ターゲット２０ａ〜２０ｈの位置とを用いて、キャリブレーション用データとしてのカメラ２の内部パラメータを演算する。そして、内部パラメータ演算部１７３で演算されたカメラの内部パラメータを、立体基準チャート２０を撮影した際のカメラ２の焦点距離と共に、内部パラメータ算出値記憶部１７７に格納する。
【００８４】
そして、計測対象値のズーム式カメラ２の焦点距離が残っているか判断し（Ｓ１０８）、残っていればＳ１０２に戻って必要な焦点距離についてキャリブレーション用データ測定装置１００によるカメラの内部パラメータ測定を行う。残っていなければ、内部パラメータ関数演算部１６０を用いて焦点距離を変数とするキャリブレーション要素の関数を演算する（Ｓ１１０）。このようにして、前準備が終了する。
【００８５】
図１５は本発明の画像データ処理装置の一実施の形態を説明する構成ブロック図である。画像データ処理装置２００では、キャリブレーション用データ測定装置１００にてキャリブレーション用データとしての内部パラメータが算出されているカメラ２を用いて、計測対象物３０をステレオ撮影して画像計測を行う。計測対象物３０は、三次元形状を計測するもので、例えば考古学的な遺跡、土木施工、防災工事、都市計画等の他、発電所のタービンや航空機・船舶のような大規模構造物が含まれる。
【００８６】
カメラ２にて計測対象物３０をステレオ画像撮影した画像データは、一定間隔の左右画像が一対のステレオ画像データとして、フレキシブルディスクのような電磁的記憶媒体に記録されている。画像データ受取り部２１０は、カメラ２にて計測対象物３０をステレオ画像撮影した画像データを受取るＩ／Ｏ装置で、例えば電磁的記憶媒体の読取装置が用いられる。焦点距離データ記憶部２２０は、ステレオ画像撮影した画像データに関して、撮影時のカメラ２の焦点距離が測定されている場合に、当該焦点距離を画像データ処理装置２００側に伝達する。
【００８７】
キャリブレーション用データ形成部２３０は、画像データ受取り部２１０に格納されたステレオ画像データから、計測に必要な内部パラメータを作成するもので、焦点距離算出部２３２、バンドル調整法実行部２３４、内部パラメータ算出部２３６、内部パラメータ関数演算部２３８を有している。焦点距離算出部２３２は、画像データ受取り部２１０に格納されたステレオ画像データを用いてバンドル調整法実行部２３４により撮影時のカメラ２の焦点距離を算出するものである。なお、焦点距離データ記憶部２２０に記憶された撮影時のカメラ２の焦点距離が正確であれば、焦点距離算出部２３２で算出された焦点距離として焦点距離データ記憶部２２０に記憶された値を用いてもよく、また焦点距離データ記憶部２２０に記憶された焦点距離を焦点距離算出部２３２の初期値として使用してもよい。
【００８８】
内部パラメータ算出部２３６は、焦点距離算出部２３２で算出された焦点距離を用いて、内部パラメータ関数演算部２３８により、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ_０、ｙ_０が得られる。内部パラメータ関数演算部２３８は、キャリブレーション用データ測定装置１００の内部パラメータ関数演算部１６０と同じ機能を有するもので、カメラ２の内部パラメータを算出する。
【００８９】
画像処理部２４０は、ステレオ画像生成部２４２、画像計測部２４４、オルソ画像形成部２４６を有している。ステレオ画像生成部２４２は、カメラで撮影されたステレオ画像について標定（相互標定と絶対標定）を行って偏位修正を行って、偏位修正画像を生成する機能を有するもので、典型的にはコンピュータによって実行可能なソフトウェアにて構成されている。ここで偏位修正画像とは、カメラ２で撮影された右撮影方向と左撮影方向の一組のステレオ撮影された画像を偏位修正して、立体視できるように調整したものをいう。画像計測部２４４は、ステレオ画像生成部２４２により作成されたステレオ画像から、いわゆる絶対標定を行って、各画素（ピクセル）の地上座標を計算する。この処理の詳細は、例えば本出願人の提案にかかる特開平１１−３５１８６５号公報に開示されている。画像計測部２４４を用いることで、計測対象物３０表面の凹凸形状のような三次元形状を正確に測定できる。
【００９０】
オルソ画像形成部２４６は、キャリブレーション用データ形成部２３０で算出されたカメラ２の内部パラメータを用いて、画像データ受取り部２１０に格納されたステレオ画像データから、画像計測部２４４により三次元計測を行い、このステレオ画像データをオルソ画像に変換する。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。画像データ受取り部２１０に格納されたステレオ画像データは、中心投影画像とよばれるものである。オルソ画像形成部２４６は、ステレオ画像データの画像を中心投影から正射投影（オルソ）画像に作成し直して、計測対象物３０の詳細な画像図面を作成する。
【００９１】
次に、相互標定の詳細について説明する。標定計算は航空写真測量等で用いられているもので、相互標定と絶対標定の２段階計算により、左右それぞれの撮像装置の位置等が求められる。相互標定では、以下の共面条件式によりステレオ撮影パラメータを求める。
【００９２】
図１６はモデル座標系ＸＹＺと左右のカメラ座標系ｘｙｚを用いて標定計算を説明する図である。モデル座標系ＸＹＺの原点Ｏを左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長ｌを単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【００９３】
【数５】

このような条件にすると、式（１１）の共面条件式は式（１２）のようになり、この式を解けば各パラメータが求める。
【数６】

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数７】

【００９４】
式（１１）〜式（１３）の式を用いて、次の手順により、未知パラメータを求める。
Ｖ−１…初期近似値は通常０とする。
Ｖ−２…共面条件式式（１２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（１３）中の２つの式により求め、観測方程式をたてる。
Ｖ−３…最小二乗法をあてはめ、近似値に対する補正量を求める。
Ｖ−４…近似値を補正する。
Ｖ−５…補正された近似値を用いて、Ｖ−２〜Ｖ−５までの操作を収束するまで繰り返す。
【００９５】
以上の相互標定計算において、内部パラメータ関数演算部２３８で算出されるキャリブレーション要素を利用して計算する。具体的には、主点位置及びレンズ収差値Δｘ、Δｙはキャリブレーション要素により補正して計算する。また、画面距離（焦点距離）ｃも、そのキャリブレーション値を利用して計算する。
【００９６】
このように構成された画像データ処理装置を用いて、計測対象物の三次元形状を行う手順を次に説明する。図１７は計測対象物を現場でステレオ撮影して、ステレオ画像計測する過程を説明するフローチャートである。オンサイト処理においては、計測対象物が設置されている現場にオペレータが出向くと共に、キャリブレーション用データ測定装置により内部パラメータ関数の求められたカメラが撮影に用いられる（Ｓ４００）。まず、オペレータは、カメラ２の任意の焦点距離にて計測対象物を、画像計測処理様式にて撮影する（Ｓ４０２）。画像計測処理様式とは、航空写真測量のように計測対象物を立体視できる撮影間隔で連続撮影するもので、例えば計測対象物の左右方向には６０％程度の重複を持って撮影し、上下方向には２０％程度の重複を持って各画像を撮影する。撮影された画像は、画像データ受取り部２１０に画像データを受け渡せる態様で電磁的記憶媒体に格納される。
【００９７】
次に、電磁的記憶媒体に格納された画像データを画像データ受取り部２１０で受取り、今回のステレオ画像作成の対象となる一組の左右画像を選定する（Ｓ４０４）。焦点距離算出部２３２は、セルフキャリブレーション付きバンドル調整法により、撮影画像の焦点距離を算出する（Ｓ４０６）。そして、内部パラメータ算出部２３６は、算出された焦点距離に対応するカメラ２の他の内部パラメータを算出する（Ｓ４０８）。
【００９８】
相互標定による外部標定要素演算によって、ステレオ画像の位置と傾きがわかるので、さらにカメラ２の内部パラメータを加味して、ステレオ画像生成部２４２により最終的なステレオ画像を作成する。そして、画像計測部２４４は、ステレオ画像の計測対象物を三次元測定する（Ｓ４１０）。そして、オルソ画像形成部２４６は、三次元計測データに基づき、算出されたカメラ２の内部パラメータを用いて、レンズ収差の影響を除去したオルソ画像を形成する（Ｓ４１２）。次に、ステレオ画像作成の対象となる一組の左右画像が画像データ記憶部２１０に残っているか判断し（Ｓ４１４）、残っていればＳ４０４に戻る。残っていない場合は、撮影されたステレオ画像により、計測対象物を立体視可能な領域において三次元測定が可能な状態となる。
【００９９】
次に、上述の画像データ処理装置２００を用いて、実際のフィールドでステレオ画像計測を行った事案を説明する。図１８は、ステレオ画像計測のフィールドの一例として石段の壁を示している。石段の壁は、実際のフィールドとしての遺跡や土木施工現場に類似した三次元形状を有しているので、実験のフィールドとして適している。図１８に示すステレオ画像計測のフィールドには、図中白点で示される標定点として、例えば４９点が存在し、計測精度±１ｍｍの奥行き精度で測定されている。上述の画像データ処理装置２００では、標定点４９点のうち、選定された８点をセルフキャリブレーション付きバンドル調整法で用いる標定点として、カメラの焦点距離の算出に用いている。残りの標定点４１点は、ステレオ画像計測による奥行き精度測定に用いられる。
【０１００】
図１９はカメラの撮影条件を表す図で、広角、中間、望遠に相当する焦点距離に対して、撮影距離Ｈと撮影基線長Ｂを表している。カメラ２の焦点距離（概略値）は、ケース１の広角に対して９ｍｍ、ケース２の中間に対して３０ｍｍ、ケース３の望遠に対して４２ｍｍを用いている。また、石段の壁の撮影範囲は、それぞれ２ｍ×２ｍとしている。
【０１０１】
図２０は、ステレオ画像計測の計測精度の実験結果を示す図で、広角、中間、望遠に相当する焦点距離に対して、焦点距離（解析値）［ｍｍ］、相互標準時の縦視差［μｍ］、平面精度［ｍｍ］、奥行き精度［ｍｍ］、平面の１画素分解能σ_ｘｙ、奥行きの１画素分解能σ_ｚを表している。ここで、平面の１画素分解能σ_ｘｙ、奥行きの１画素分解能σ_ｚは、次の式で表される。
σ_ｘｙ＝［Ｈ／ｆ］×σ_ρ　……（１４）
σ_ｚ＝［Ｈ／ｆ］×［Ｈ／Ｂ］×σ_ρ　……（１５）
ここで、Ｈは撮影距離、Ｂは基線長、ｆは焦点距離、σ_ρは画素サイズである。
【０１０２】
なお、図２０の各欄において、カメラ２の内部パラメータを補正した場合を上側に、カメラ２の内部パラメータの補正がない場合の数値を下側に示している。奥行き精度は、何れの焦点距離であっても、２ｍｍ以内になっている。これに対して、カメラ２の内部パラメータの補正がない場合は、２ｃｍ程度になっている。即ち、ズーム式カメラの焦点距離に応じて、カメラ２の内部パラメータを補正することによって、補正しない場合に比較して奥行き精度が１桁程度向上している。
【０１０３】
なお、上記の実施の形態においては、光学条件を変化させて撮影するカメラの変化させる光学条件として、ズーム式カメラの焦点距離の場合を示したが、本発明はこれに限定されるものではない。光学条件を変化させて撮影するカメラの変化させる光学条件として、例えば自動焦点式カメラのレンズ配置の移動距離や、可視光線以外の赤外線や紫外線、エックス線、荷電粒子ビーム線の波長のように、画像データとして感得する光の波長が変更される場合に、波長毎にカメラの内部パラメータを調整するようにしてもよい。
【０１０４】
また、上記実施の形態においては、画像データ処理装置としてステレオ画像生成部により三次元計測してオルソ画像を作成する場合を示したが、本発明の画像データ処理装置はこれに限定されるものではなく、オルソ画像を作成することなく、直接計測対象物を三次元測定してもよい。
【０１０５】
【発明の効果】
以上説明したように、本発明のキャリブレーション用データ測定装置によれば、内部パラメータ演算部で演算されたキャリブレーション用データと、チャート撮影画像の撮影された複数の光学条件とを用いて、カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する構成としているので、光学条件を変化させて撮影するカメラの光学条件を変化させて撮影する場合でも、レンズディストーションの影響を除去した良質な画像を生成するのに必要な、カメラの変化する撮影光学条件に対応するキャリブレーション用データが容易に得られる。
【０１０６】
また、本発明の画像データ処理装置によれば、光学条件を変化させて撮影するカメラから撮影画像データと撮影光学条件を受取る撮影画像データ受取部と、撮影画像データ受取部が受取った撮影光学条件に基づき、キャリブレーション用データを形成するキャリブレーション用データ形成部と、形成されたキャリブレーション用データに基づき、撮影画像データを画像処理する画像処理部とを備えているので、光学条件を変化させて撮影するカメラの光学条件を変化させて撮影する場合でも、カメラの変化する撮影光学条件に対応するキャリブレーション用データを用いて、レンズディストーションの影響を除去した良質な画像が容易に得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明するキャリブレーション用データ測定装置の構成ブロック図である。
【図２】キャリブレーション用チャートの一例を示す平面図である。
【図３】第１マークの一例を示す説明図である。
【図４】第２マークの一例を示す説明図である。
【図５】ズーム式カメラの各種焦点距離でのレンズ収差を計測する場合のカメラ配置を説明する斜視図である。
【図６】ズーム式カメラによるチャートの撮影手順を説明する図で、カメラ画像並びにカメラ画像に対応するチャートとカメラの位置関係を示している。
【図７】ズーム式カメラの焦点距離が、標準レンズや望遠レンズに相当する焦点距離でのレンズ収差を計測する場合の、カメラ間隔を示した図である。
【図８】キャリブレーション用データ測定装置を用いたキャリブレーション用データ測定方法を説明するフローチャートである。
【図９】個別焦点距離でのキャリブレーション要素算出過程を説明するフローチャートである。
【図１０】第２マークの精密位置測定の処理手順を説明する詳細フロー図である。
【図１１】（Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１２】キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１３】焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図である。
【図１４】本発明の第２の実施の形態を説明するキャリブレーション用データ測定装置の構成ブロック図である。
【図１５】本発明の一実施の形態を説明する画像データ処理装置の構成ブロック図である。
【図１６】モデル座標系ＸＹＺと左右のカメラ座標系ｘｙｚを用いて標定計算を説明する図である。
【図１７】測定対象物を現場でステレオ撮影して、ステレオ画像計測する過程を説明するフローチャートである。
【図１８】ステレオ画像計測のフィールドの一例として石段の壁を示している。
【図１９】カメラの撮影条件を表す図である。
【図２０】ステレオ画像計測の計測精度の実験結果を示す図である。
【符号の説明】
１　チャート（キャリブレーション用チャート）
２　カメラ
２０　立体基準チャート
１００　キャリブレーション用データ測定装置
１１０　画像データ記憶部
１２０　焦点距離データ記憶部
１３０、１７０　キャリブレーション要素算出部
１４０　画像処理部
１６０　内部パラメータ関数演算部
２００　画像データ処理装置
２１０　撮影画像データ受取部
２３０　キャリブレーション用データ形成部
２４０　画像処理部

Claims (11)

1. マークが配置されたキャリブレーション用チャートを、光学条件を変化させて撮影するカメラの光学条件を変化させて撮影した、複数のチャート撮影画像を用いて当該カメラのキャリブレーション用データを求めるキャリブレーション用データ測定装置であって；
   前記チャート撮影画像から前記マークを抽出するマーク抽出部と；
   前記マーク抽出部で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算部と；
   前記内部パラメータ演算部で演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算部と；
   を備えるキャリブレーション用データ測定装置。
2. 前記キャリブレーション用チャートは平面状であり；
   前記複数のチャート撮影画像は、前記マーク抽出部と内部パラメータ演算部によって、キャリブレーション用データが算出可能な態様で撮影されたステレオ撮影画像である；
   請求項１に記載のキャリブレーション用データ測定装置。
3. 前記キャリブレーション用チャートは立体状であり；
   前記複数のチャート撮影画像は、前記マーク抽出部と内部パラメータ演算部によって、キャリブレーション用データが算出可能な態様で撮影されたステレオ撮影画像である；
   請求項１に記載のキャリブレーション用データ測定装置。
4. 前記内部パラメータ関数演算部で算出されるキャリブレーション用データは、前記カメラの変化する撮影光学条件に対して連続的に算出可能である；
   請求項１乃至請求項３の何れか１項に記載のキャリブレーション用データ測定装置。
5. 光学条件を変化させて撮影するカメラの光学条件を変化させて、マークが配置されたキャリブレーション用チャートを当該カメラで複数のチャート撮影画像として撮影するステップと；
   前記チャート撮影画像から前記マークを抽出するマーク抽出ステップと；
   前記抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算ステップと；
   前記演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算ステップと；
   を備えるキャリブレーション用データ測定方法。
6. 光学条件を変化させて撮影するカメラの光学条件を変化させて、マークが配置されたキャリブレーション用チャートを当該カメラで撮影して得られた複数のチャート撮影画像を用いて、当該カメラのキャリブレーション用データを求めるためにコンピュータを；
   前記チャート撮影画像から前記マークを抽出するマーク抽出手段と；
   前記マーク抽出手段で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算手段と；
   前記内部パラメータ演算手段で演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算手段；
   として機能させるためのキャリブレーション用データ測定プログラム。
7. 光学条件を変化させて撮影するカメラの光学条件を変化させて、マークが配置されたキャリブレーション用チャートを当該カメラで撮影して得られた複数のチャート撮影画像を用いて、当該カメラのキャリブレーション用データを求めるためにコンピュータを；
   前記チャート撮影画像から前記マークを抽出するマーク抽出手段と；
   前記マーク抽出手段で抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算手段と；
   前記内部パラメータ演算手段で演算されたキャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、前記カメラの変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算手段；
   として機能させるためのキャリブレーション用データ測定プログラムを記録したコンピュータ読取可能な記録媒体。
8. 光学条件を変化させて撮影するカメラから撮影画像データと撮影光学条件を受取る撮影画像データ受取部と；
   前記撮影画像データ受取部が受取った撮影光学条件に基づき、キャリブレーション用データを形成するキャリブレーション用データ形成部と；
   前記キャリブレーション用データに基づき、前記撮影画像データを画像処理する画像処理部と；
   を備える画像データ処理装置。
9. 光学条件を変化させて撮影するカメラから撮影画像データを受取る撮影画像データ受取部と；
   前記撮影画像データから撮影光学条件を求める算出部と；
   前記算出部で求められた撮影光学条件に基づき、キャリブレーション用データを形成するキャリブレーション用データ形成部と；
   前記キャリブレーション用データに基づき、前記撮影画像データを画像処理する画像処理部と；
   を備える画像データ処理装置。
10. 上記光学条件は、カメラの撮影レンズの焦点距離または、ピント調整のためのレンズ移動位置の少なくとも一方を含むことを特徴とする請求項１乃至請求項４の何れか１項に記載のキャリブレーション用データ測定装置、請求項５に記載のキャリブレーション用データ測定方法、請求項６に記載のキャリブレーション用データ測定プログラム、請求項７に記載のキャリブレーション用データ測定プログラムを記録したコンピュータ読取可能な記録媒体、又は請求項８、請求項９の何れかに記載の画像データ処理装置。
11. 上記キャリブレーション用データは、レンズの主点位置データまたは、レンズの歪曲収差の少なくとも一方を含むことを特徴とする請求項１乃至請求項４の何れか１項に記載のキャリブレーション用データ測定装置、請求項５に記載のキャリブレーション用データ測定方法、請求項６に記載のキャリブレーション用データ測定プログラム、請求項７に記載のキャリブレーション用データ測定プログラムを記録したコンピュータ読取可能な記録媒体、又は請求項８、請求項９の何れかに記載の画像データ処理装置。

Images