JP2010151582A - カメラキャリブレーションターゲット、およびカメラキャリブレーション方法 - Google Patents

Abstract

【課題】安定した精度でカメラキャリブレーションを実現するキャリブレーション用ターゲットを提供する。
【解決手段】車両に異なる状態で取り付けられたカメラのキャリブレーションを同じ設備で実施する際に使用するカメラキャリブレーション用のキャリブレーションターゲットであって、大きさが異なる複数の相似形の図形より構成され、当該相似図形は大きさの小さい図形がより大きな図形の中にその互いの辺が接触しないように配置され、小さい図形を構成する辺と大きい図形を構成する辺の間に、小さい図形を構成する辺から所定の領域をガードエリアとして有する一連の図形を１つのマーカとし、該マーカを複数配置することを特徴とする。
【選択図】図１

Description

本発明は、車両等に取り付けられたカメラの取り付け状態を補正するカメラキャリブレーション方法、およびカメラキャリブレーションターゲットに関するものである。

従来のカメラキャリブレーション用のターゲットは、図１１に示すように半径が一定の円よりなるキャリブマーカである。その動作原理について説明する。まず、Ｓｏｂｅｌフィルタによるエッジ検出を行いエッジ強度最大値の８０％を閾値としてその閾値を越える画素を抽出してキャリブマーカの輪郭抽出を行う。次にマーカ内部で交差する２本の直線をハフ変換によって抽出し、その交点から中心位置を算出する。

このようにしてマーカの輪郭と中心位置が算出されると、図１２に示すように円の上端と下端を求めてａ−ｂ、ｂ−ｃの距離をそれぞれ計算し、画像上の位置関係から図１３における角度ＡＯＢと角度ＢＯＣを求める。そしてこれらの角度からカメラの取り付け状態Ｈとαを計算する。（例えば、特許文献１参照）。
特開２００１−１１６５１５号公報（第２図）

しかしながら、従来のカメラキャリブレーション方法においては、キャリブマーカの撮像に十分な解像度が確保されないとマーカ内の直線が正しく検出されず、結果、マーカ上の交点が求まらずにキャリブレーションに失敗するという問題がある。ここで、キャリブマーカの解像度を上げるためには撮像素子の画素数を上げるか、撮像するキャリブマーカの大きさを十分大きくとるかが考えられる。しかし、カメラのキャリブレーションを実施する状況は様々であり、例えば、近年、需要が高まっている車載カメラシステムにおいては、車両に搭載されるカメラの解像度は数十万画素程度であり、かつ、魚眼レンズ等の非常に広範囲な視野角を持つカメラが利用される。

また、車載カメラのキャリブレーションにおいては、車両の組立て工場内でカメラのキャリブレーションを実施することになるが、その場合、非常に限られたスペースでキャリブレーションを実施する必要があるため当然ながらキャリブマーカの大きさや設置箇所も制限される。そして、その撮像状況についてもカメラ位置から遠方や斜め方向にあるキャリブマーカは歪みや解像度劣化が特に大きい。こうした状況で従来方法によるキャリブレーションを実施した場合、キャリブマーカの解像度を確保することが難しく、交点の中心位置が正しく算出されないために十分なキャリブレーション精度を保証することが難しい。

さらに、車載カメラの場合には同じ設備で異なる車種用のカメラキャリブレーションを実施することも想定され、カメラとキャリブマーカの相対位置が変化した場合にキャリブレーション精度が変化してしまい一定精度を保証することが困難という問題もある。

上記問題の具体的な事例を図面を用いて説明する。図１４（a）において、車両１４０１に取り付けられたカメラ１４０２でキャリブレーションターゲット１４０３を撮像した場合と、同一のラインで異なる車両１４０４に取り付けられたカメラ１４０５で同じキャリブレーションターゲット１４０３を撮像した場合では、取り付けるカメラの高さや角度および、キャリブレーションターゲット１４０３とカメラ間の距離が異なるため、撮像されるキャリブレーションターゲット１４０３、および、キャリブマーカの画像が大きく変化する。この様子を図１５に示す。図１５（a）はカメラ１４０２で撮像されたキャリブレーションターゲット１４０３の画像であり、図１５（b）はカメラ１４０５で撮像されたキャリブレーションターゲット１４０３の画像である。

このように、処理する画像サイズが変化するとノイズ除去や輪郭抽出などの処理速度の安定性や効率性を低下させてしまい一定のキャリブレーション精度を保証することが難しくなる。特に、キャリブレーション処理に重要なキャリブマーカ位置としてカメラ画像中のキャリブマーカの重心座標を利用する際に顕著となる。図１６に路面上のキャリブマーカの中心とカメラ撮像面のキャリブマーカ（撮像マーカ）の関係を示し説明する。路面上のキャリブマーカの中心と撮像マーカの重心位置は図１６に示すように、キャリブマーカを正面からではなく、斜め方向から撮像した際にズレ量が生じる。このズレ量は、撮像マーカの面積に比例して大きくなる。つまり、同じ設備で異なる車種用のカメラキャリブレーションを実施する際に、カメラとキャリブレーションターゲットの位置関係が図１４（ａ）、（ｂ）のように異なると、図１５（ａ）、（ｂ）に示すように撮像マーカの面積が異なることにより、路面上のキャリブマーカの中心と撮像マーカの重心位置にズレ量が生じ一定のキャリブレーション精度を保証することが難しくなる。

本発明は、従来のこのような問題を解決するためになされたもので、キャリブレーションの実施環境が変わってキャリブレーションターゲットとカメラの位置関係が変化した場合でも安定した精度でカメラキャリブレーションをすることのできるキャリブレーションターゲット、およびそのターゲットを用いたキャリブレーション方法を提供することを目的とする。

上記の課題を解決するために、本願の第１の局面は、車両に異なる状態で取り付けられたカメラのキャリブレーションを同じ設備で実施する際に使用するカメラキャリブレーション用のキャリブレーションターゲットであって、大きさが異なる複数の相似形の図形より構成され、当該相似図形は大きさの小さい図形がより大きな図形の中にその互いの辺が接触しないように配置され、小さい図形を構成する辺と大きい図形を構成する辺の間に、小さい図形を構成する辺から所定の領域をガードエリアとして有する一連の図形を１つのマーカとし、該マーカを複数配置することを特徴とする。

この構成により、キャリブレーションの実施環境が変わってキャリブパターンとカメラの位置関係が変化した場合でも安定した精度でカメラキャリブレーションをすることができる。特に、複数の相似図形をガードエリアによって分離することができるため、カメラとキャリブターゲットの相対位置に合わせて処理すべき最適な大きさの相似図形を選択することができる。結果、選択された最小の相似図形をマーカとして重心位置を算出すれば処理時間の短縮や誤差の低減を図ることができる。

また、相似図形群の各重心位置が一致することを特徴とする。

この構成により、カメラ配置が変化して検出されるマーカ重心がマーカを構成するどの相似図形から選択されたとしても同じ位置となるため内部に記憶させるべき重心の基準座標の数を最低限に抑えることができる。

また、相似図形と前記ガードエリアが異なる配色であることを特徴とする。

この構成により、該ターゲットに対して画像処理により自動的にマーカを検出しようとした場合に、例えば画像内の輝度情報や色相情報を利用して相似形図形とガードエリアを容易に分離することができる。

本願の第２の局面は、車両に取り付けられた撮像手段で撮像した画像から第１の局面に記載のキャリブレーションターゲットからマーカを検出するマーカ検出ステップと、マーカ検出ステップによって検出されたマーカの重心位置を算出するマーカ重心算出ステップと、マーカ重心算出ステップで算出したマーカ重心座標と前記マーカの世界座標に基づいて撮像手段のカメラパラメータを算出するカメラパラメータ算出ステップと、を有するカメラキャリブレーション方法である。

この構成により、カメラの設置状態とターゲットの設置状態を規定の関係に固定すれば、撮像した画像内から自動的にマーカを検出して、検出したマーカ座標と記憶手段で記憶された座標位置を照合してその差分からカメラの取り付け状態を人手を介することなく実行できる。

また、マーカ検出ステップは、撮像手段とキャリブレーションターゲットの位置関係の変化によってマーカを構成する相似図形の間に存在するガードエリアが画像上で認識できない際に、当該ガードエリアに隣接する相似図形を結合した図形を一つのマーカとして検出することを特徴とする。

この構成により、カメラを取り付ける車種が変化してカメラとキャリブレーションターゲットの相対位置関係が変化してしまう場合でも、外側にあるより大きな相似図形が自動的に選択されてマーカ検出が失敗することなく正しく検出され、さらには車種が変化しても検出されるマーカサイズが変化しないために一定の精度でキャリブレーションが行われる。

また、マーカ検出ステップは、検出する複数のマーカの面積が同等となるようにマーカを構成する相似図形を結合してそれぞれのマーカを検出することを特徴とする。

本発明は、大きさの異なる複数の相似図形がガードエリアによって分離されているため、カメラとキャリブレーションターゲットとの位置関係に合わせて処理すべき最適の大きさの図形を選択することができる。それにより、車種によりカメラとキャリブレーションターゲットの位置関係が異なる場合でもキャリブレーションの精度を一定に保つことができる。

以下、本発明の実施の形態のカメラキャリブレーション方法について、図面を用いて説明する。

まず、キャリブレーションターゲットについて説明する。本実施の形態における典型的な例を図１に示す。キャリブレーションのターゲット１０１は、大きさが異なる複数の相似図形より構成される。図１の場合、四角形の小さい図形１０２と大きい図形１０３が相似図形であり、二つの図形を合わせて相似図形群とする。該相似図形群は小さい図形１０２がより大きな図形１０３の中にその互いの辺が接触しないように配置される。そして、小さい図形１０２を構成する辺から所定の領域をガードエリア１０４とする。相似図形である小さい図形１０２と大きい図形、およびガードエリア１０４の一連の図形を１つのマーカ１０５とし、キャリブレーションターゲットは、該マーカを複数配置することを特徴とする。なお、小さい図形１０２と大きい図形１０３の重心位置が同じであることが好ましい。

以上のように構成されたキャリブレーションターゲットをどのように用いるかにについて、図２を用いて説明する。

本発明のキャリブレーションターゲットの特徴はガードエリア１０４で分割された複数の相似図形で構成されていることである。そのため、状況に応じて相似図形のいずれかをマーカとして選択できる。例えば、図２（ａ）のようにキャリブレーションターゲット２０１がカメラから遠方に設置されている際は、撮像画面において、最も大きな図形を演算に用いるマーカとして抽出する。

一方、図２（ｂ）のようにキャリブレーションターゲット２０２がカメラの近傍に設置され大きく撮像された場合は、最も小さな図形を演算に用いるマーカとして抽出する。その結果、ターゲットの撮像場所に関わらず、常に一定の大きさの図形をマーカとして抽出することができ、抽出されたマーカを同一の演算方法で処理することができ一定のキャリブレーション精度を維持することが可能となる。

次に、相似図形群の各重心位置が一致しない場合のカメラキャリブレーション用のターゲットを図３に示し、どのように用いるかについて述べる。
図３（a）において、相似図形３０１と相似図形３０２の重心はそれぞれ円３０３、円３０４である。カメラとキャリブレーションターゲットの配置関係によって、マーカとして選択される図形が相似図形３０１、または相似図形３０２と変わるることを考慮すると、キャリブレーション演算用に円３０３と円３０４それぞれの重心座標を記憶しておく必要がある。しかしながら、図３（ｂ）のように、相似図形３０５と相似図形３０６の重心座標は同じで円３０７の位置である。この場合、カメラとキャリブレーションターゲットの配置関係によってどの相似図形がマーカとして選択されたとしても記憶すべき重心座標は１つでよい。

図４にキャリブレーションターゲットの別の形態を示す。

キャリブレーションターゲット４０１は、マーカを構成する相似図形４０２、相似図形４０３とガードエリア４０４で構成される点は前述のキャリブレーションターゲットと同様である。しかし、ガードエリア４０４と相似図形４０２、相似図形４０３は識別が容易となるように色情報が大きく異なるように配色されている。そのため、この色情報の差を利用してマーカとする相似図形を容易に分離、選択することができる。このとき色情報としては、輝度情報や明度情報、色相情報、彩度情報などが利用可能である。より具体的には、輝度情報を利用する場合には、ガードエリアを輝度０の黒色に配色し、周囲の相似図形を輝度最大の白色に配色する。またはその逆の配色でもよい。さらに他の方法として例えば彩度情報を利用する場合には、ガードエリアを彩度の低い無彩色に配色し、周囲の相似図形を彩度が高い有彩色で配色する方法などがある。

次に、キャリブレーション方法全体の構成、フローについて説明する。

図５にカメラキャリブレーションを実施する際の構成を示すブロック図を示す。まず、キャリブレーションターゲット５０１は、複数の相似図形よりなるマーカを複数配置した図４に示すキャリブレーションターゲット４０１が一例である。なお、相似図形は四角形に限らず円や多角形、曲線を含むその他の図形でも問題ない。

キャリブレーションを実施する撮像手段５０２は、たとえば、ＣＣＤカメラやＣＭＯＳイメージセンサが挙げられる。

マーカ検出手段５０３は、撮像手段５０２によって撮像されたキャリブレーションターゲット５０１の撮像画像からマーカ領域を検出する。

マーカ検出手段５０３について、具体的に図６、図７を用いて説明する。図６に示すようにキャリブレーションターゲットの撮像画像６０１内のキャリブレーションターゲット６０２からマーカ６０３を抽出するには、例えば、画像の輝度情報を用いた閾値処理で２値化することによってマーカ領域を検出することができる。輝度情報以外の情報を用いることも考えられる。図７に図６の画像を輝度情報による２値化処理をして得たマーカ検出の結果を示す。

一方、図５におけるマーカ座標記憶手段５０６は、実空間におけるマーカの３次元位置座標（以下、世界座標とする）を記憶する。この世界座標は、後述するカメラパラメータ算出手段５０５で撮像手段５０２の取り付け状態を推定するときに利用する。

マーカ重心算出手段５０４は、マーカ検出手段５０３で検出されたマーカ図形の中心位置を求める。具体的な方法としては、図７において、マーカ検出手段５０３で検出されたマーカ図形７０１を構成する各画素の画像上でのＸ座標値、Ｙ座標値をすべて積算し、それぞれの平均値を該マーカ図形の重心とする方法がある。マーカ図形７０１の４つの頂点を２次元画像上で求め、対角線の交点を重心とする方法もあるが、頂点の無い図形では使うことができない。

カメラパラメータ算出手段５０５は、マーカ重心算出手段５０４が算出したマーカ重心座標とマーカ座標記憶手段５０６に格納された、実際に設備に配置されたキャリブレーションターゲット５０１の世界座標系での位置座標との対応づけを行ってカメラパラメータを算出する。

以下に詳しく説明する。世界座標系の点Ｐ（ｘw、ｙw、ｚw）からカメラを基準とするカメラ座標系の点Ｃ（ｘ、ｙ、ｚ）への変換は、[数１]の回転移動と平行移動の組合せで表される。

ただし、[数２]に示すように、Ｒは回転を表す行列、Ｔは平行移動を表すベクトルであり、これらＲ、Ｔがそれぞれカメラの取付角度と取付位置を示す外部パラメータであり、これを算出する。

次に、カメラ座標系の点Ｃ（ｘ、ｙ、ｚ）から画像座標系の点Ｉ（ｘｉ、ｙｉ）への変換は、レンズの焦点距離をｆとして[数３]で表される。

以上の[数２]と[数３]の２式に、既知の世界座標系の座標と画像座標の組を代入し、得られる連立方程式を非線形最適化手法によって解くことで回転行列Ｒ、移動ベクトルＴ、焦点距離ｆを求める。

ここで、図８に本実施の形態のカメラキャリブレーション方法におけるマーカ検出手段の処理フローを詳しく説明する。

図８における撮像手段によって撮像されたキャリブレーションターゲットの画像８０１の一例を図９に示す。キャリブレーションターゲット９０１は、４つのマーカよりなるキャリブレーションターゲットが撮像されている。この入力画像に対して、図８の２値化処理８０２を行う。２値化処理８０２を行うための閾値は固定閾値や判別分析法によって決定すればよい。このようにして、ある閾値によって２値化されたキャリブレーションターゲットの画像９０１は、図９のターゲット画像９０２となる。

次に、グルーピング処理８０３について述べる。この処理は、２値化された画像９０２を画素単位で順に走査していき、注目する画素の周囲４近傍、もしくは、８近傍の画素を評価して注目画素と同じ画素値を持つ画素を同じグループとして分類していく。このようなグルーピング手法は、画像処理において一般的なラベリングアルゴリズムで実現可能である。ラベリングアルゴリズムには、４近傍ラベリング、ラインブロック法、ヒストグラムを利用した方法があるが、いずれの方法も本発明のグルーピング処理８０３に適用可能である。

グルーピング処理８０３を施した結果がターゲット画像９０５である。ターゲット画像９０２とターゲット画像９０５を比較すると、撮像手段５０２に近いマーカ９０４と遠方にあるマーカ９０３でグルーピングの結果が異なることがわかる。これは、マーカが撮像手段５０２から遠ざかることによって、マーカ内のガード領域が識別できなくなり、周囲の相似図形と結合してしまうためである。この特徴を利用して、マーカ抽出処理８０４では、グルーピング処理８０３で同一グループになった相似図形の最大面積のものをマーカとして抽出することにより、マーカ９０３はマーカ９０６として抽出され、マーカ９０４はマーカ９０７として抽出される。その結果、遠方のマーカがつぶれることなく常に一定のサイズのマーカとして検出できるので、後の重心検出処理において、同一のアルゴリズムで安定した精度を維持することが可能となる。

さらに、図１０の１００１のように複数の相似図形を重ねてマーカを構成しておくことにより、撮像条件が変化した場合（例えば車載カメラで車種を変更した場合）に上記と同様にグルーピング処理によるマーカの結合によって、最終的にはほぼ同じ面積のマーカが検出されることになり（図１０（ｂ）、図１０（ｃ））、マーカ中心位置の誤差がばらつくことがない。その結果、一定誤差内でマーカ中心の検出が可能となり、キャリブレーション精度が安定する。さらには、誤差が一定であることを利用して予め決まった量でその誤差を補正することも可能である。

以上のように、本発明は、車両に取り付けられたカメラの取り付け状態を補正するカメラキャリブレーションターゲット、キャリブレーション方法として有用である。

本発明の実施の形態におけるカメラキャリブレーション用のターゲットを示す図 （ａ）本発明の実施の形態におけるカメラキャリブレーション用のターゲットが遠方にある際の撮像画面を示す図（ｂ）本発明の実施の形態におけるカメラキャリブレーション用のターゲットがカメラ近傍にある際の撮像画面を示す図 （ａ）本発明の実施の形態における相似図形群の各重心位置が一致しない場合のカメラキャリブレーション用のターゲットを示す図（ｂ）本発明の実施の形態における相似図形群の各重心位置が一致するカメラキャリブレーション用のターゲットを示す図 本発明の実施の形態における相似図形群とガードエリアの色情報が異なる配色であるカメラキャリブレーション用のターゲットを示す図 本発明の実施の形態におけるカメラキャリブレーションを実施する際の構成を示すブロック図 本発明の実施の形態におけるキャリブレーションターゲットの撮像画像示す図 本発明の実施の形態におけるマーカ検出手段５０３で検出されたマーカ図形を示す図 本発明の実施の形態におけるマーカ検出手段の処理を示すフローチャート 本発明の実施の形態におけるキャリブレーションターゲットの撮像画像の一例を示す図 本発明の実施の形態におけるキャリブレーションターゲットの他の例を示す図 従来のカメラキャリブレーション用のターゲットを示す図 従来のカメラキャリブレーション用ターゲットをカメラで撮像した際の撮像画面を示す図 従来のカメラキャリブレーション方法の動作を説明するための図 （ａ）カメラとキャリブレーションターゲットの相対位置の一例を示す図（ｂ）カメラとキャリブレーションターゲットの相対位置の別の一例を示す図 （ａ）カメラで撮像されたキャリブレーションターゲットの撮像画像の一例を示す図（ｂ）カメラで撮像されたキャリブレーションターゲットの撮像画像の別の一例を示す図 路面上のキャリブマーカの中心とカメラ撮像面のキャリブマーカ（撮像マーカ）の関係を示す図

符号の説明

１０１、５０１、６０２、９０１、９０２、９０５ キャリブレーションターゲット
１０２、１０３、３０１、３０２、３０５、３０６、４０２、４０３、６０３ 相似図形
１０４、４０４ ガードエリア
１０５、２０１、２０２、７０１、９０３、９０４、９０６、９０７、１００１ キャリブマーカ
３０３、３０４、３０７ 重心座標を示す円
５０２ 撮像手段
５０３ マーカ検出手段
５０４ マーカ重心算出手段
５０５ カメラパラメータ算出手段
５０６ マーカ座標記憶手段
６０１、８０１ 撮像画像
８０２ ２値化処理
８０３ グルーピング処理
８０４ マーカ抽出処理

Claims (6)

1. 車両に異なる状態で取り付けられたカメラのキャリブレーションを同じ設備で実施する際に使用するカメラキャリブレーション用のキャリブレーションターゲットであって、
   大きさが異なる複数の相似形の図形より構成され、当該相似図形は大きさの小さい図形がより大きな図形の中にその互いの辺が接触しないように配置され、小さい図形を構成する辺と大きい図形を構成する辺の間に、小さい図形を構成する辺から所定の領域をガードエリアとして有する一連の図形を１つのマーカとし、該マーカを複数配置することを特徴とするキャリブレーションターゲット。
2. 前記相似図形群の各重心位置が一致することを特徴とする請求項１記載のキャリブレーションターゲット。
3. 前記相似図形と前記ガードエリアが異なる配色であることを特徴とする請求項１または請求項２記載のキャリブレーションターゲット。
4. 車両に取り付けられた撮像手段で撮像した画像から請求項１に記載のキャリブレーションターゲットからマーカを検出するマーカ検出ステップと、
   前記マーカ検出ステップによって検出されたマーカの重心位置を算出するマーカ重心算出ステップと、
   前記マーカ重心算出ステップで算出したマーカ重心座標と前記マーカの世界座標に基づいて前記撮像手段のカメラパラメータを算出するカメラパラメータ算出ステップと、
   を有するカメラキャリブレーション方法。
5. 前記マーカ検出ステップは、前記撮像手段と前記キャリブレーションターゲットの位置関係の変化によって前記マーカを構成する相似図形の間に存在するガードエリアが画像上で認識できない際に、当該ガードエリアに隣接する相似図形を結合した図形を一つのマーカとして検出することを特徴とする請求項４に記載のカメラキャリブレーション方法。
6. 前記マーカ検出ステップは、検出する複数のマーカの面積が同等となるように前記マーカを構成する相似図形を結合してそれぞれのマーカを検出することを特徴とする請求項４に記載のカメラキャリブレーション方法。

Images