JP2020038550A - ラインセンサカメラのキャリブレーション装置及び方法 - Google Patents

Abstract

【課題】安定したラインセンサカメラのキャリブレーションを行うことができるラインセンサカメラのキャリブレーション装置及び方法を提供する。【解決手段】２次元平面座標が既知の白黒帯２３を有し位置および姿勢が異なるＬ字マーカ２０の画像が入力される画像入力部３２、Ｌ字マーカ２０の白黒帯２３の１次元画像座標を算出する計測座標算出部３３、ラインセンサカメラ１０の変換行列に初期の内部パラメータを入力し線形解法により初期の外部パラメータを算出する外部パラメータ算出部３４、レンズ歪みを考慮した誤差関数と内部パラメータを考慮した値を加算した評価関数に初期の内部及び外部パラメータを入力し、検出点の全数及び画像の全数についての誤差関数の総和と内部パラメータを考慮した値を加算した評価関数が最小となる内部及び外部パラメータを非線形解法により算出する非線形最小二乗部３５を設けた。【選択図】図１

Description

本発明は、画像処理分野において、ラインセンサカメラのキャリブレーションを行う装置及び方法に関する。

下記非特許文献１では、カメラのキャリブレーション方法として、エリアカメラで平面マーカを様々な位置姿勢で撮影することにより、各撮影毎の外部パラメータ及びカメラの内部パラメータを求める提案を行っている。

また、下記特許文献１には、校正用パターンを計測対象物に投影し、計測対象物を撮影し、撮影画像を画像解析して特徴点を抽出し、取得した複数の特徴点に基づいて三次元計測に必要なパラメータのうちの少なくとも一つを推定するようにした校正装置、方法及びプログラムにおいて、全てのパラメータを未知数とすると不定性があり、値が一意に決まらないため、評価関数に正則化項をつけるなどして最適化を行うことが記載されている。

また、下記特許文献２には、対象画像から一部の画像領域を指定し、指定された画像領域からエッジを抽出し、エッジ位置の画像上の座標及び強度に基づいて歪み係数を算出するようにした撮影パラメータ測定方法及び装置並びに記録媒体において、各エッジにおける強度を、歪み係数を算出する処理における重み付けに用いることが記載されている。

また、下記特許文献３には、キャリブレーション用マーカを用いてラインセンサカメラの内部パラメータを校正するようにしたラインセンサカメラのキャリブレーション装置及び方法が記載されている。

特開２０１５−３６６２９号公報 特許第３６６１０７３号公報 特開２０１６−２１８８１５号公報

Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000年, pp.1330-1334. Richard Szeliski，玉木 徹 他，"コンピュータビジョン‐アルゴリズムと応用‐"，共立出版，2013年, pp.51 C.M.ビショップ著，「パターン認識と機械学習 上」，シュプリンガー・ジャパン，2007年，pp.9

非特許文献１に記載のキャリブレーション方法は、平面マーカを様々な位置姿勢で撮影し、内部パラメータと各撮影の外部パラメータを非線形最適化手法によって解く方法である。平面マーカを用いるためマーカの作成が容易なこと、複数回の撮影を行うため焦点距離などを高精度に推定できることといったメリットがある。これらの特徴から、非特許文献１の方法はカメラのキャリブレーション方法として現在最も用いられている。しかしながら、この方法はラインセンサカメラには対応していなかった。例えば、ラインセンサカメラにおいて、非特許文献１の方法のように平面マーカを用いると、焦点距離などの算出が不安定になるという問題があった。

また、特許文献１に記載のものは、評価関数に正則化項を付けるなどして最適化を行うことで安定的にパラメータを求める方法であるが、各パラメータをどの程度正則化項として重要視するかといった事前知識については特に考慮されていなかった。

また、特許文献２に記載のものは、評価関数に重み付けを取り入れる点で正則化に重み付けをする本発明の考え方と類似しているが、本発明とは、重み付けをする箇所および考え方が異なる。また、パラメータの値を直接的に安定的に推定する機能がないという問題があった。

また、特許文献３に記載のものは、エリアカメラに比べ情報量の少ないラインセンサカメラでマーカ画像を複数枚撮影するだけでキャリブレーションが可能な装置だが、歪み係数が極端に大きくなったり焦点距離が実際の値と大きく異なったりということが撮影画像によっては起こり得るという問題があった。

このようなことから本発明は、ラインセンサカメラのキャリブレーションを安定して行うことが可能なラインセンサカメラのキャリブレーション装置及び方法を提供することを目的とする。

上記課題を解決する第１の発明に係るラインセンサカメラのキャリブレーション装置は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカと、
前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
前記処理部は、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数に、前記内部パラメータを考慮した値を加算してなる評価関数について、前記評価関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和に前記内部パラメータを考慮した値を加算した評価関数が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
ことを特徴とする。

上記課題を解決する第２の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１の発明に係るラインセンサカメラのキャリブレーション装置において、
前記評価関数は、レンズの焦点距離の大きさ、レンズの主点座標の位置及びレンズの歪み係数の大きさにそれぞれ重み付けをして前記誤差関数に加算したものである
ことを特徴とする。

上記課題を解決する第３の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１または第２の発明に係るラインセンサカメラのキャリブレーション装置において、
前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
ことを特徴とする。

上記課題を解決する第４の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１から第３のいずれか一つの発明に係るラインセンサカメラのキャリブレーション装置において、
前記数式モデルは、ピンホールカメラモデルを用いたものである
ことを特徴とする。

上記課題を解決する第５の発明に係るラインセンサカメラのキャリブレーション方法は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数に、前記内部パラメータを考慮した値を加算してなる評価関数について、前記評価関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和に前記内部パラメータを考慮した値を加算した評価関数が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
ことを特徴とする。

上記課題を解決する第６の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第５の発明に係るラインセンサカメラのキャリブレーション方法において、
前記評価関数として、レンズの焦点距離の大きさ、レンズの主点座標の位置及びレンズの歪み係数の大きさにそれぞれ重み付けをして前記誤差関数に加算したものを用いる
ことを特徴とする。

上記課題を解決する第７の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第５または第６の発明に係るラインセンサカメラのキャリブレーション方法において、
前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
ことを特徴とする。

上記課題を解決する第８の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第５から第７のいずれか一つの発明に係るラインセンサカメラのキャリブレーション方法において、
前記数式モデルとして、ピンホールカメラモデルを用いる
ことを特徴とする。

本発明に係るラインセンサカメラのキャリブレーション装置及び方法によれば、ラインセンサカメラのキャリブレーションを安定して行うことができる。

本発明に係るラインセンサカメラのキャリブレーション装置の実施形態の一例を示す概略構成図である。 図１に示した装置で実施するラインセンサカメラのキャリブレーション方法を説明するフローチャートである。 Ｌ字マーカを撮影して取得した画像の例である。 Ｌ字マーカを撮影して取得した画像の他の例である。

カメラを用いた計測を行う際、カメラの焦点距離、主点座標、歪み係数などといったカメラパラメータを事前に求めることは必須であり、これを求めることをカメラキャリブレーションという。なお、以降、カメラキャリブレーションを、単に、キャリブレーションと呼ぶ。

本発明では、非特許文献１の方法のように、ラインセンサカメラのキャリブレーションに、マーカの複数回撮影と非線形最適化手法によるカメラパラメータ算出を導入する。しかしながら、非特許文献１の方法はエリアカメラを前提としているため、この方法をそのままラインセンサカメラのキャリブレーションに導入することはできない。例えば、ラインセンサカメラでは、次元数が少ないため、回転行列の直交性を活用できず、又、ラインセンサカメラがキャリブレーション用の平面マーカをチェスボード状に撮影できないため、焦点距離と外部パラメータ算出が不安定になることが問題となる。そこで、本発明では、キャリブレーション用として、立体マーカを用いている。

又、本発明では、カメラモデルとして、ピンホールカメラモデルを用いる。但し、本発明では、ラインセンサカメラを使うため、通常のエリアカメラでは撮像範囲の３次元空間が２次元画像になるのに対して、ラインセンサカメラでは撮像範囲の２次元平面が１次元画像となる。そして、撮像範囲の２次元平面上に立体マーカを設置することで、求める外部パラメータを、回転が１軸、平行移動が２次元とすることができる。

ここで、本発明の装置構成を図１に示すと共に、図１に示す構成における数式モデルを下記式（１）に示す。なお、図１に示す本発明の装置構成の詳細については後述する。

又、下記の式（１）〜（１７）の式中において、ボールド体（太字）ではないアルファベットはスカラーであり、ボールド体（太字）の小文字のアルファベットはベクトルであり、ボールド体（太字）の大文字のアルファベットは行列である。なお、文書中においては、ボールド体（太字）を使用できないので、通常の書式とし、該当するアルファベットの直後に“（ボールド体）”と付記している。

図１において、ラインセンサカメラ１０は１ラインしか撮像を行わないため、撮像範囲は３次元空間上では２次元平面１１となる。この２次元平面１１上のＬ字マーカ２０のオブジェクト座標系（２次元平面座標系）をＸ軸、Ｙ軸で表現し、ラインセンサカメラ１０のカメラ座標系（１次元画像座標系）を、ラインセンサカメラ１０の光軸方向の軸ｗに直交し、撮像範囲の２次元平面１１と並行なｕ軸で表現している。又、オブジェクト座標系とカメラ座標系間の回転行列をＲ（ボールド体）（回転軸は１軸でその角度はθ）、並進ベクトルをｔ（ボールド体）（２次元ベクトルで、その要素はｔ₁、ｔ₂）とする。

ここで、ｓはスケーリング係数、ｆは焦点距離、ｃは主点座標、ｕは実際に観測されたカメラ座標系における位置（ピクセル座標における計測座標）、Ｘ、Ｙはオブジェクト座標系における位置（Ｌ字マーカ２０の実空間（２次元平面１１）上における真値座標）である。

上記式（１）は、Ｌ字マーカ２０のオブジェクト座標（２次元平面座標）からラインセンサカメラ１０のカメラ座標（１次元画像座標）へ変換する数式モデルとなっている。但し、上記式（１）では、ラインセンサカメラ１０のレンズの歪みが考慮されていない。そこで、下記式（２）のように（ｘ，ｙ）を定義すると、下記式（３）〜（５）のように歪みを表すことができる。なお、ｋ₁〜ｋ₃は半径歪み係数である。また、レンズの歪みについては、非特許文献２（特に、５１頁）を参考にしている。

上記式（１）〜（５）について展開したいが、式（５）にｘ”をそのまま代入できないため、次式（５）’を式（４）に代入する。式（１）〜（３）についても式（４）に代入すると下記式（６）となる。

このカメラモデルでキャリブレーションを行う場合には、単位焦点距離面での誤差最小化を行うことになり、下記式（７）が最小となるように、レーベンバーグマーカート法により、内部及び外部パラメータを求めることとなる。

上記式（７）において、Ｍは画像の撮影回数、Ｎは各撮影において取得される特徴点数（白黒帯２３の検出点数）である。上記式（７）は、上記式（６）に基づく誤差関数を、撮像した画像の全数Ｍ及び検出点の全数Ｎについて総和したものとなる。

ここで、立体マーカを用いて実際にキャリブレーションを行ってみると立体マーカを用いるだけでは解が不安定になることを完全には防げないことが分かった。ここで不安定というのは「焦点距離はレンズに定められた初期値から大きくは変化しないはずだ」、「レンズの歪み係数ｋ₁，ｋ₂，ｋ₃は極端に大きな値にはならず、またレンズの歪み係数ｋ₁，ｋ₂，ｋ₃は一般的にｋ₁＞ｋ₂＞ｋ₃となることが多い」というカメラキャリブレーションを行う熟練者であれば知っている一般的な知識から大きく外れることを指す。

すなわち、上記式（７）が最小になるパラメータを最適化処理で求めると、パラメータが非現実的な値になる可能性があった。そこで本実施例では、上記式（６）に基づく誤差関数に、「焦点距離ｆはレンズの規定値ｆ₀から大きくは変わらない」、「主点座標ｃは（カメラによるが）画像中心ｃ₀の近くである」、「レンズの歪み係数ｋ₁，ｋ₂，ｋ₃は極端に大きな数字にはならない」、「レンズの歪み係数の大きさはｋ₁＞ｋ₂＞ｋ₃となることが多い」等の専門家の知識を導入した評価関数（下記式（８））が最小となるように、レーベンバーグマーカート法により内部及び外部パラメータを求めることとした。

上記式（８）において、ｗ_fは焦点距離の正則化項の重み係数、ｗ_cは主点座標の正則化項の重み係数、ｃ₀は主点座標の既定値、ｗ_k1は歪み係数ｋ₁の正則化項の重み係数、ｗ_k2は歪み係数ｋ₂の正則化項の重み係数、ｗ_k3は歪み係数ｋ₃の正則化項の重み係数である。

上記式（８）を用いることで、誤差が小さいだけでなく、焦点距離の大きさ、主点座標の位置、歪み係数の大きさ等の内部パラメータを考慮したキャリブレーションを行うことができる。また各内部パラメータ（ここでは、焦点距離の大きさ、主点座標の位置、歪み係数の大きさ）に重み付けをすることで、焦点距離の大きさ、主点座標の位置、歪み係数の大きさのうち、どのパラメータを重要視するかを必要に応じて設定することができ、これにより、設計者や専門家の知識を導入することができる。なお、上記式（８）ではＬ２ノルムと呼ばれる二乗の指標を用いたが、Ｌ１ノルムと呼ばれる絶対値指標を使用することも有効である。

次に、上述した内部及び外部パラメータが全て校正済み（キャリブレーション済み）の場合に、計測座標ｕが得られた時のＸ、Ｙについて求める。これは、上記式（６）をＸ、Ｙの形になるように解けばよいが、上記式（６）にはＸ、Ｙ両方が含まれているため、このままでは解くことができない。そこで、Ｌ字マーカ２０の検出点では、Ｘ、Ｙの２次元平面１１上の真値座標がどちらかは０であることを利用し、真値座標が０となる方向で得られたパラメータによって算出される値も０と仮定して解く。その結果、上記式（６）は下記式（９）、（１０）となり、解析的にＸ、Ｙの値を求めることができた。ここで、ｘ’やｘ”は上記式（３）〜（５）で定義された値である。

次に、外部パラメータを撮影毎に求める方法について述べる。並進と回転を表す変換行列を下記式（１１）とすると、上記式（１）に基づいて、変換行列は下記式（１２）で表すことができる。

これを展開、整理すると、下記式（１３）となる。

ここで、スケールが次数を１つ減らせる性質を利用し、３本以上の同時方程式を立てることで変換行列を解くことができる。実際には、Ｌ字マーカ２０の座標は３点以上あるが、この場合、方程式と未知数の数が一致しない。そこで、最小二乗法を用いる。二乗誤差をＥ、各計測点で生じる誤差ベクトルをｅ（ボールド体）、マーカの座標数をｎとし、下記式（１４）で表す行列を用いると、二乗誤差Ｅを下記式（１５）で表すことができる。なお、“^T”は、転置行列を表す記号である。

二乗誤差Ｅを最小化するためのベクトルは、Ｂ^TＢ（ボールド体）の最小の固有値に対応する固有ベクトルとなる。そこで、解となる固有ベクトルを求めるため、特異値分解を用いる。これは下記式（１６）となる。ここで、Ｕ（ボールド体）は左特異行列、Ｖ（ボールド体）は右特異行列、Σ（ボールド体）は特異値行列であり、Ｉ（ボールド体）は単位行列である。これにより、Ｂ^TＢ（ボールド体）は下記式（１７）で表すことができる。

この結果より、固有ベクトルが右特異行列Ｖ（ボールド体）の右特異ベクトルと同じになり、固有値が特異値の二乗と同じになることが分かる。このことから、特異値分解を使うことで、変換行列を求めることができる。

実際の外部パラメータとするには、スケール不定及びｔ₂＞０のため、ｔ₂で正規化を行い、回転行列の性質より、（ｃｏｓθ）²＋（ｓｉｎθ）²＝１を使用して、回転と並進のパラメータを求める。

このように、ラインセンサカメラであっても、計測座標ｕ、真値座標Ｘ、Ｙ、焦点距離ｆ、主点座標ｃが分かっていれば、線形解法で解を求めることができる。実際には、焦点距離ｆ、主点座標ｃは最初には分からないため、適当な値を入力することで、初期の外部パラメータを求める。そして、最終的に、この初期の外部パラメータを初期値として、式（８）をレーベンバーグマーカート法によって解くことで、最終的な内部及び外部パラメータを得ることができる。

次に、上述した計算を行う本発明に係るラインセンサカメラのキャリブレーション装置及び方法について、図１及び図２を参照して以下に説明する。

［実施例１］
本実施例の装置は、ラインセンサカメラ１０のキャリブレーション装置であり、図１に示すように、Ｌ字マーカ２０と、処理システム３０とを有し、処理システム３０は、記憶部３１、画像入力部３２、計測座標算出部３３、外部パラメータ算出部３４及び非線形最小二乗部３５を有している。

ラインセンサカメラ１０は、ＣＣＤ（Charge-Coupled Device）などの撮像素子が一次元の線状に配置され、１次元の線状に撮像対象物の画像を撮像するものである。

Ｌ字マーカ２０は、Ｌ字型の形状の立体マーカであり、その中央２１で９０°に折れ曲がり、折れ曲がった内側の面２２に白黒帯２３を有する剛体からなる。この白黒帯２３は、中央２１を中心に対称的に配置されると共に、内側の面２２の長手方向に沿って交互に白黒となるように配置されており、白黒帯２３の白黒の幅が既知、つまり、白黒帯２３による複数の検出点が２次元平面１１上における２次元平面座標で既知となっている。上述した非特許文献１の方法のように、平面マーカを用いる場合には焦点距離が不安定になるが、本実施例では、Ｌ字マーカ２０をキャリブレーションに用いており、焦点距離を正確に算出可能となる。

なお、本実施例では、Ｌ字型の立体マーカを用いているが、複数の検出点に奥行きを持たせることができ、かつ、全ての検出点の２次元平面１１上のＸ、Ｙの真値座標のどちらかを必ず０とすることができれば、Ｌ字型の立体マーカに限らない。例えば、直方体や直角三角柱において、直角を挟む２辺の外面に図１に示したような白黒帯２３を設けても良い。

処理システム３０において、記憶部３１では、後述するように、ラインセンサカメラ１０からの画像データ、各撮影でのＬ字マーカ２０の白黒帯２３の画像上の計測座標データ（計測座標ｕ）、レンズ初期値、Ｌ字マーカ２０の白黒帯２３の真値座標Ｘ、Ｙ、ラインセンサカメラ１０の内部パラメータ（焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃）及び各撮影でのラインセンサカメラ１０の外部パラメータ（回転θ、並進ｔ₁、ｔ₂）を保管する。記憶部３１としては、ＲＡＭ（Random Access memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置が使用可能である。

又、画像入力部３２では、ラインセンサカメラ１０で取得したＬ字マーカ２０の画像データが、ラインセンサカメラ１０から入力されて、入力された画像データを記憶部３１へ保管している。

又、計測座標算出部３３では、ラインセンサカメラ１０で撮像した画像データからＬ字マーカ２０の白黒帯２３（検出点）を検出し、各撮影でのＬ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を求め、計測座標データとして記憶部３１へ保管する。なお、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の座標については、２値化処理やエッジ検出といった画像処理を行うことにより検出している。

又、外部パラメータ算出部３４では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙから、上述した式（１１）〜（１７）を用いて、各撮影でのラインセンサカメラ１０の外部パラメータを求め、記憶部３１へ保管している。

又、非線形最小二乗部３５では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙ、外部パラメータ算出部３４で求めた各撮影でのラインセンサカメラ１０の外部パラメータを用い、最終的なラインセンサカメラ１０の内部パラメータ及び各撮影でのラインセンサカメラ１０の外部パラメータについて、上述した式（８）をレーベンバーグマーカート法により算出し、記憶部３１へ保管している。

次に、図１と共に図２を参照して、本発明に係るラインセンサカメラのキャリブレーション方法を説明する。

（ステップＳ１）
画像入力工程において、位置を固定したＬ字マーカ２０に対し、様々な位置、姿勢（ｗ軸周りの回転角θおよびｕ軸及びｖ軸に平行な向きの位置ｔ１，ｔ２の少なくともひとつが異なり、かつ、立体マーカ全体が撮影できる位置、姿勢）になるようにラインセンサカメラ１０を設置し、それぞれの位置、姿勢での画像を撮像し、記憶部３１へ保管する（画像入力部３２）。撮像した画像の一例を図３Ａ，図３Ｂに示す。Ｌ字マーカ２０は、その位置を固定しているので、設置誤差は含まれないようになっている。

（ステップＳ２）
計測座標算出工程において、撮影した画像毎に、Ｌ字マーカ２０の白黒帯２３（検出点）の検出処理を行い、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を算出し、計測座標データとして記憶部３１へ保管する（計測座標算出部３３）。

（ステップＳ３）
外部パラメータ算出工程において、ラインセンサカメラ１０の初期の内部パラメータとなるレンズ初期値として、焦点距離ｆをメーカの公表値、主点座標ｃを総画素数の半分、歪み係数ｋ₁〜ｋ₃を全て０とし、撮影した画像毎に、上述した式（１１）〜（１７）を用い、線形解法により初期の外部パラメータを算出し、記憶部３１へ保管する（外部パラメータ算出部３４）。

（ステップＳ４）
非線形最小二乗工程において、上述した初期の内部パラメータ及びステップＳ３で算出した初期の外部パラメータを初期値として、撮影した画像毎に、上述した式（８）を用い、レーベンバーグマーカート法で最終的な内部及び外部パラメータを算出し、記憶部３１へ保管する（非線形最小二乗部３５）。

本実施例は、１台のラインセンサカメラ１０と１つのＬ字マーカ２０を用い、以上の手順により、ラインセンサカメラ１０の焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃といった内部パラメータを求めると共に、撮影毎のＬ字マーカ２０の回転θ、平行移動ｔ₁、ｔ₂といった外部パラメータを求めることが可能となる。

以上説明したように、本実施例では、誤差関数だけでなく内部パラメータの値も考慮した評価関数を最小化する非線形解法を用いることで、レンズの歪みを含む内部パラメータと外部パラメータとを安定的かつ同時に算出することが可能となる。また、内部パラメータの値を考慮する際に重み係数を導入することにより、どの内部パラメータについて重要視するかといった専門家の知識を導入することができ、より好適にキャリブレーションを行うことが可能となる。

１０ ラインセンサカメラ
２０ Ｌ字マーカ
２３ 白黒帯
３０ 処理システム
３１ 記憶部
３２ 画像入力部
３３ 計測座標算出部
３４ 外部パラメータ算出部
３５ 非線形最小二乗部

Claims (8)

1. ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカと、
   前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
   前記処理部は、
   位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
   前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
   前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
   前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数に、前記内部パラメータを考慮した値を加算してなる評価関数について、前記評価関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和に前記内部パラメータを考慮した値を加算した評価関数が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
   ことを特徴とするラインセンサカメラのキャリブレーション装置。
2. 請求項１に記載のラインセンサカメラのキャリブレーション装置において、
   前記評価関数は、レンズの焦点距離の大きさ、レンズの主点座標の位置及びレンズの歪み係数の大きさにそれぞれ重み付けをして前記誤差関数に加算したものである
   ことを特徴とするラインセンサカメラのキャリブレーション装置。
3. 請求項１または請求項２に記載のラインセンサカメラのキャリブレーション装置において、
   前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
   ことを特徴とするラインセンサカメラのキャリブレーション装置。
4. 請求項１から請求項３のいずれか１項に記載のラインセンサカメラのキャリブレーション装置において、
   前記数式モデルは、ピンホールカメラモデルを用いたものである
   ことを特徴とするラインセンサカメラのキャリブレーション装置。
5. ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
   位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
   前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
   前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
   前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数に、前記内部パラメータを考慮した値を加算してなる評価関数について、前記評価関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和に前記内部パラメータを考慮した値を加算した評価関数が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
   ことを特徴とするラインセンサカメラのキャリブレーション方法。
6. 請求項５に記載のラインセンサカメラのキャリブレーション方法において、
   前記評価関数として、レンズの焦点距離の大きさ、レンズの主点座標の位置及びレンズの歪み係数の大きさにそれぞれ重み付けをして前記誤差関数に加算したものを用いる
   ことを特徴とするラインセンサカメラのキャリブレーション方法。
7. 請求項５または請求項６に記載のラインセンサカメラのキャリブレーション方法において、
   前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
   ことを特徴とするラインセンサカメラのキャリブレーション方法。
8. 請求項５から請求項７のいずれか１項に記載のラインセンサカメラのキャリブレーション方法において、
   前記数式モデルとして、ピンホールカメラモデルを用いる
   ことを特徴とするラインセンサカメラのキャリブレーション方法。

Images