JP2004200819A - 車載カメラのキャリブレーション方法及びキャリブレーション装置 - Google Patents

Abstract

【課題】キャリブレーションの高精度化を図ることができる車載カメラのキャリブレーション方法を提供する。
【解決手段】本発明に係るキャリブレーション方法では、車両との相対的な位置関係が既知の基準マーカーをカメラにより撮像し、基準マーカーの撮像画像をディスプレイ４の画面に表示させるとともに、ジョイスティックの操作に応じて画面内で移動するポイントマーカー１７ａ，１７ｂ，…，１７ｉをその撮像画像とともに表示させ、ジョイスティックの操作によりポイントマーカー１７ａ，１７ｂ，…，１７ｉが独立に移動して画面内で基準マーカーの特定点１６ａ’，１６ｂ’，…，１６ｉ’に重ねられたときに、ポイントマーカー１７ａ，１７ｂ，…，１７ｉの画面内における座標を抽出し、その抽出された座標と特定点の実空間における座標とを対応させることにより、カメラの設置情報を求める。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に設けられたカメラの設置誤差をソフト的に吸収するために行う車載カメラのキャリブレーション方法と、この方法に用いられるキャリブレーション装置に関する。
【０００２】
【従来の技術】
一般に、車両にカメラを搭載する場合には、カメラの設置位置やカメラの向く方向（設置角度）にどうしてもばらつき（設置誤差）が生じてしまう。このばらつきは、単にカメラの撮像画像をそのまま表示するだけの場合にはあまり問題にならないが、近年のように撮像画像に画像処理を施す場合や距離マーカーを精密に調整する場合等には、上記設置位置又は設置角度のわずかなずれが問題になる。この問題に対し、カメラの設置位置や設置角度を物理的に可変とする機構を実装させることが考えられるが、そのような可変機構は部品点数の増加によるコストアップを招く点で好ましくなく、カメラの内部でＣＣＤの位置がずれている場合には必ずしも十分でない。
【０００３】
そこで、車両に取り付けたカメラの撮像画像から設置位置や設置角度に関する情報を取得し、この設置情報を後の画像処理時等に利用することによって、上記ずれの問題をソフト的に吸収する方法が考案されている。このような車載カメラのキャリブレーション方法としては、例えば特許文献１に記載されているように、ターゲットバーと呼ばれる平面的な棒状の指標をカメラにより撮像し、そのターゲットバーの撮像画像にディスプレイの画面上で棒状のアイコン（ウィンドウ）を重ね合わせ、このアイコンの両端の位置情報に基づいてキャリブレーションを行うものが知られている。
【０００４】
【特許文献１】
特開２００１−２４５３２６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に記載のキャリブレーション方法では、ターゲットバーが平面的であるため作業効率の向上等は図られるものの、カメラが広角レンズを有する場合には画面に映し出されたターゲットバーが大きく歪んで棒状のアイコンがきちんと重ならないので、両者の正確な重ね合わせが難しくキャリブレーションの精度が低下するという問題があった。
【０００６】
また、棒状のアイコンを用いて両端の２点を指定するだけなので、キャリブレーションの精度を向上させるには演算の基礎となるサンプル数が少ないという不都合があった。
【０００７】
本発明は、上記の事情に鑑みて為されたもので、キャリブレーションの高精度化を図ることができる車載カメラのキャリブレーション方法と、この方法に用いられるキャリブレーション装置を提供することを課題としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、車両に設けられたカメラの設置位置又は設置角度に関する情報を求めてキャリブレーションを行う車載カメラのキャリブレーション方法であって、前記車両との相対的な位置関係が既知の基準マーカーを前記カメラにより撮像する第１のステップと、前記基準マーカーの撮像画像を表示手段の画面に表示させるとともに、操作手段の操作に応じて前記画面内で移動する複数のマーカーを前記撮像画像とともに表示させる第２のステップと、前記操作手段の操作により前記複数のマーカーが独立に移動して前記画面内で前記基準マーカーの複数の特定点にそれぞれ重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出する第３のステップと、前記複数のマーカーの抽出された座標と前記複数の特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求める第４のステップとを含むことを特徴とする。
【０００９】
請求項２に係る発明は、請求項１に記載の車載カメラのキャリブレーション方法において、前記複数のマーカーはそれぞれ前記複数の特定点のいずれかと１対１に関連付けられるとともに、他のマーカーと区別可能に表示され、前記第３のステップで、前記複数のマーカーのそれぞれが前記複数の特定点の関連付けされたものに重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出し、前記第４のステップで、各マーカーの抽出された座標とそのマーカーが重ねられた特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求めることを特徴とする。
【００１０】
請求項３に係る発明は、請求項１に記載の車載カメラのキャリブレーション方法において、前記第２のステップで、前記カメラの設置誤差がないとしたときに前記画面内で前記複数の特定点が本来位置すべき位置に前記複数のマーカーを表示させ、前記第３のステップで、前記複数のマーカーのそれぞれが前記複数の特定点の最も近くにあるものに重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出し、前記第４のステップで、各マーカーの抽出された座標とそのマーカーが重ねられた特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求めることを特徴とする。
【００１１】
請求項４に係る発明は、車両に設けられたカメラの設置位置又は設置角度に関する情報を求めてキャリブレーションを行う車載カメラのキャリブレーション装置であって、前記車両との相対的な位置関係が既知の基準マーカーを前記カメラにより撮像したときに、前記基準マーカーの撮像画像を表示手段の画面に表示させるとともに、操作手段の操作に応じて前記画面内で移動する複数のマーカーを前記撮像画像とともに表示させる画像処理手段と、前記操作手段の操作により前記複数のマーカーが独立に移動して前記画面内で前記基準マーカーの複数の特定点にそれぞれ重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出する座標抽出手段と、前記複数のマーカーの抽出された座標と前記複数の特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求める設置情報算出手段とを有することを特徴とする。
【００１２】
請求項５に係る発明は、請求項４に記載の車載カメラのキャリブレーション装置において、前記カメラ、前記表示手段及び前記操作手段を有することを特徴とする。
【００１３】
請求項６に係る発明は、請求項４又は請求項５に記載の車載カメラのキャリブレーション装置において、前記操作手段がジョイスティックであることを特徴とする。
【００１４】
本発明によれば、操作手段の操作により複数のマーカーを独立に移動させて画面内で基準マーカーの複数の特定点にそれぞれ重ねることができるので、あるマーカーの画面内における位置合わせが他のマーカーの位置合わせに依存、影響せず、マーカーと特定点との正確な重ね合わせが容易である。したがって、たとえカメラが広角レンズを有する場合であっても高精度なキャリブレーションが可能で、かつ、重ね合わせのサンプル数を増やすことによるキャリブレーションの高精度化も容易である。
【００１５】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１は、本発明に係るキャリブレーション方法に用いられるキャリブレーション装置の概略構成を示す。このキャリブレーション装置１は、車両２の後部に設けられたカメラ３と（図２参照）、車両２の車室内に設けられた表示手段としてのディスプレイ（画像出力装置）４と、カメラ３及びディスプレイ４に接続された信号処理装置５と、外部操作入力装置６とを備えている。なお、カメラ３、ディスプレイ４及び外部操作入力装置６は後方監視装置やナビゲーション装置等と兼用可能であるので、本発明に係るキャリブレーション装置としては信号処理装置５のキャリブレーションに関する部分のみを考えてもよい。
【００１７】
信号処理装置５は、画像処理／重畳部７と、画像描画部８と、情報処理部９と、データ出力部１０と、コネクタ１１とを備える。画像処理／重畳部７は、カメラ３の撮像画像に画像処理等を施すとともに、この撮像画像に画像描画部８で生成された画像を必要に応じて重畳させ、ディスプレイ４に出力する。情報処理部９には、コネクタ１１を介して外部操作入力装置６から操作信号が入力される。情報処理部９は、その操作信号に応じて画像描画部８に重畳画像を生成させたり、ディスプレイ４の画面内におけるマーカーの座標や実空間における基準マーカーの座標を記憶してカメラ３の設置位置又は設置角度に関する情報（設置情報）を求めたりするが、この点については後述する。情報処理部９において求められた設置情報は、車両２の後進時に車両後方の映像とともに予想進路軌跡をディスプレイ４に表示するような場合に、データ出力部１０から画像処理／重畳部７に送出されてキャリブレーションが行われる。
【００１８】
外部操作入力装置６としては、ここではディスプレイ４の下方に設けられたジョイスティック１２及びボタン１３，１４，１５が利用される（図３参照）。このジョイスティック１２等は、本来はナビゲーションやエアコン、オーディオ等の操作に用いられるものであるが、キャリブレーションの際には操作手段等として機能する。外部操作入力装置６としては、このように車室内の既設の操作部を利用せず専用の装置を用いることもでき、その専用の装置がキャリブレーションのときにだけコネクタ１１に接続されて操作信号を送出するようにしてもよい。
【００１９】
キャリブレーション装置１によりキャリブレーションを行うには、図２に示すように、車両２の後方の地面の所定距離だけ離れた位置に「田」の字型の基準マーカー１６を用意する（ステップ１（図４において「Ｓ．１」と記載。以下同様））。基準マーカー１６は、地面に直接描画されるものでも「田」の字型のテープ又は平板が配置されてなるものでもよく、複数の直線が交差する点を特定点１６ａ，１６ｂ，…，１６ｉとして有する。車両２と基準マーカー１６との相対的な位置関係が固定されることにより、車両２から見たときの基準マーカー１６の実空間における座標は既知であり、この基準マーカー１６の座標（特定点１６ａ，１６ｂ，…，１６ｉの座標）は情報処理部９に予め記憶されている。
【００２０】
この状態でボタン１３（モード切替ボタン）が押され、図示を略すメモリに記憶されたキャリブレーションモードが呼び出されると（ステップ２）、情報処理部９は画像描画部８に９つの点状のマーカー（以下「ポイントマーカー」という。）の画像信号を生成させ、その９つのポイントマーカーの画像とカメラ３の撮像画像とを画像処理／重畳部７により重畳させてディスプレイ４に表示させる（ステップ３）。ここで、カメラ３には広角レンズが用いられており、この広角レンズにより基準マーカー１６が見下ろすように撮影されるので、ディスプレイ４の画面には基準マーカー１６が図３に符号１６’で示すように表示され、特定点１６ａ，１６ｂ，…，１６ｉが同図に符号１６ａ’，１６ｂ’，…，１６ｉ’で示すように表示される。また、９つのポイントマーカーは、同図に符号１７ａ，１７ｂ，…，１７ｉで示すようにディスプレイ４の画面上部に表示される。ポイントマーカー１７ａ，１７ｂ，…，１７ｉは次述のようにジョイスティック１２の操作により移動可能であり、ポイントマーカー１７ａ，１７ｂ，…，１７ｉの画面内における座標は情報処理部９に記憶される。
【００２１】
つぎに、ボタン１４（マーカー選択ボタン）によりポイントマーカー１７ａ，１７ｂ，…，１７ｉのいずれかが選択されると（ステップ４）、選択されたポイントマーカーがジョイスティック１２の操作に応じて画面内で移動可能になるので、作業者はジョイスティック１２を操作してそのポイントマーカーを移動させ、特定点に重ね合わせる（ステップ５）。この状態でボタン１５（決定ボタン）が押されると（ステップ６）、選択されたポイントマーカーはその位置に固定され、以降、作業者はすべてのポイントマーカーについて同様な操作を繰り返す（ステップ７）。
【００２２】
ポイントマーカー１７ａ，１７ｂ，…，１７ｉのすべてが図５に示すように特定点１６ａ’，１６ｂ’，…，１６ｉ’に重ねられた状態で、作業者により決定ボタン１５が押されると、情報処理部９はポイントマーカー１７ａ，１７ｂ，…，１７ｉの画面内における座標と特定点１６ａ，１６ｂ，…，１６ｉの実空間における座標とを対応させ、カメラ３の設置情報（本実施の形態では設置位置及び設置角度あるいは設置角度）を演算により算出する（ステップ８）。なお、ポイントマーカー１７ａ，１７ｂ，…，１７ｉの画面内における座標と特定点１６ａ，１６ｂ，…，１６ｉの実空間における座標との１対１対応によりカメラ３の設置情報を得る手法については、上記特許文献１やTsaiの手法（R.Y.Tsai:"An efficient and accurate camera calibration technique for 3D machine vision",CVPR,pp.364-374,1986）等により公知であるので説明を省略する。
【００２３】
情報処理部９により求められたカメラ３の設置情報は、データ出力部１０の不揮発性のメモリに記憶され、上述したように車両２の後進時に予想進路軌跡を表示するような場合に画像処理／重畳部７に送出されてキャリブレーションが行われる（ステップ９）。
【００２４】
ところで、上述したように、キャリブレーションのためには基準マーカー１６の特定点１６ａ，１６ｂ，…，１６ｉの画面内における座標と実空間における座標とを対応させる必要がある一方、後者の座標については車両２と基準マーカー１６との相対的な位置関係が正確であるとの前提の下に予め情報処理部９に記録・保持されているので、画面内の座標値がプリセットされている地上（実空間）での座標値のどれと対応しているのかをステップ５において作業者が正しく対応させる必要がある。
【００２５】
このための手法として、ポイントマーカー１７ａ，１７ｂ，…，１７ｉが予め一つ一つ区別され、それぞれが対応する特定点１６ａ，１６ｂ，…，１６ｉと関連付けられているとする方法があり、例えばポイントマーカー１７ａは画面左下の特定点、ポイントマーカー１７ｃは画面右下の特定点というように関連付けを行っておく。このとき、各ポイントマーカーに異なる色を付したり、数字や「左下」、「右下」等の記号をデザインしたりすることによってポイントマーカー同士を区別することができ、これにより作業者は迷うことなく適切なポイントマーカーを適切な位置（特定点）にセットすることができる。
【００２６】
あるいは、カメラ３の設置がある程度精度よくなされているならば、ポイントマーカー１７ａ，１７ｂ，…，１７ｉを最初に画面上部に表示させるのではなく、図６に示すように画面内で特定点１６ａ’，１６ｂ’，…，１６ｉ’が本来位置すべき位置（カメラ３の設置が完全である場合に特定点１６ａ’，１６ｂ’，…，１６ｉ’が位置すべき位置：以下「理想位置」という。）に表示させるようにしてもよい。これにより、作業者はポイントマーカー１７ａ，１７ｂ，…，１７ｉを選択した際に少しだけ移動させればよいので、ポイントマーカーと特定点との対応関係の混乱が防止され、ジョイスティック１２の操作量も少なくてすむので作業性が向上する。この場合、さらに、ポイントマーカーごとにジョイスティック１２で移動させることのできる可動範囲を決めておき、各ポイントマーカーを関連ある特定点にしか移動させることができないようにしてもかまわない。
【００２７】
一方、カメラ３の設置誤差が大きくないことを条件に、ポイントマーカー１７ａ，１７ｂ，…，１７ｉを同じものとして区別せず、予め特定点１６ａ，１６ｂ，…，１６ｉと関連付けておかない手法を採ることも可能である。この方法では、ポイントマーカー１７ａ，１７ｂ，…，１７ｉの座標値は理想位置からそれほどずれないと予想されるので、画面内の理想位置に対応する地上での座標値を情報処理部９にデータベースとしてプリセットし、このデータベースを用いて各理想位置に最も近いポイントマーカーの座標値を当該理想位置に対応する地上での座標値に対応させ、処理を行うことができる。また、隣接する理想位置間の距離が短い場合には、ポイントマーカー１７ａ，１７ｂ，…，１７ｉの相対的な位置関係と理想位置同士の相対的な位置関係との相似性を利用することにより、上記データベースを用いた対応付けを一層確実に行うことが可能になる。
【００２８】
この実施の形態に係るキャリブレーション方法では、ジョイスティック１２の操作によりポイントマーカー１７ａ，１７ｂ，…，１７ｉを独立に移動させて画面内で基準マーカー１６’の特定点１６ａ’，１６ｂ’，…，１６ｉ’にそれぞれ重ねることができるので、あるポイントマーカーの画面内における位置合わせが他のポイントマーカーの位置合わせに依存、影響せず、ポイントマーカーと特定点との正確な重ね合わせが容易である。したがって、たとえ上述したようにカメラ３が広角レンズを有する場合であっても高精度なキャリブレーションが可能であり、さらに、ここでは重ね合わせのサンプル数が９つあるので、情報処理部９による演算時にキャリブレーションの精度を向上させることも容易である。
【００２９】
なお、本発明は上述した形態に限られるものではなく、例えば上記実施の形態では基準マーカーのデザインを「田」の字型としたが、地面上の位置を特定点により指定することができればどのようなデザインであってもよく、基準マーカー１６のように９点の指定を行うならば３×３の点列を基準マーカーとして用いてもよい。あるいは、５点の指定を行うならば、基準マーカーをサイコロの五の目のような並びにしても五角形にしてその頂点を特定点としてもよく、２点の指定を行うならば、上記特許文献１に記載されているように棒状の基準マーカーを用意しても点状の基準マーカーを２つ用意してもかまわない。ただし、Tsaiの手法によれば、ポイントマーカーの座標と特定点の座標との１対１対応のサンプルが５つ以上得られなければ、カメラの設置位置及び設置角度に関する情報を得ることができず、そのようなサンプルが２つ以上得られなければ、カメラの設置角度に関する情報を得ることができない。
【００３０】
【発明の効果】
本発明は、以上説明したように構成したので、キャリブレーションの高精度化を図ることができるという効果を奏する。
【図面の簡単な説明】
【図１】発明の実施の形態に係るキャリブレーション装置の概略構成を示すブロック図である。
【図２】図１の車載カメラの撮像対象となる基準マーカーを示す説明図である。
【図３】図１のディスプレイの画面に基準マーカー及びポイントマーカーが表示された例を示す説明図である。
【図４】図１のキャリブレーション装置によるキャリブレーション方法を示す流れ図である。
【図５】図３のポイントマーカーが画面内ですべての特定点に重ねられた状態を示す説明図である。
【図６】図３のポイントマーカーが画面内で理想位置に表示された状態を示す説明図である。
【符号の説明】
１ キャリブレーション装置
２ 車両
３ カメラ
４ ディスプレイ（表示手段）
５ 信号処理装置
７ 画像処理／重畳部（画像処理手段）
９ 情報処理部（座標抽出手段、設置情報算出手段）
１２ ジョイスティック（操作手段）
１６ 基準マーカー
１６ａ〜１６ｉ 特定点
１６’ 基準マーカー（の像）
１６ａ’〜１６ｉ’ 特定点（の像）
１７ａ〜１７ｉ ポイントマーカー（マーカー）

Claims (6)

1. 車両に設けられたカメラの設置位置又は設置角度に関する情報を求めてキャリブレーションを行う車載カメラのキャリブレーション方法であって、
   前記車両との相対的な位置関係が既知の基準マーカーを前記カメラにより撮像する第１のステップと、
   前記基準マーカーの撮像画像を表示手段の画面に表示させるとともに、操作手段の操作に応じて前記画面内で移動する複数のマーカーを前記撮像画像とともに表示させる第２のステップと、
   前記操作手段の操作により前記複数のマーカーが独立に移動して前記画面内で前記基準マーカーの複数の特定点にそれぞれ重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出する第３のステップと、
   前記複数のマーカーの抽出された座標と前記複数の特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求める第４のステップとを含むことを特徴とする車載カメラのキャリブレーション方法。
2. 前記複数のマーカーはそれぞれ前記複数の特定点のいずれかと１対１に関連付けられるとともに、他のマーカーと区別可能に表示され、
   前記第３のステップで、前記複数のマーカーのそれぞれが前記複数の特定点の関連付けされたものに重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出し、
   前記第４のステップで、各マーカーの抽出された座標とそのマーカーが重ねられた特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求めることを特徴とする請求項１に記載の車載カメラのキャリブレーション方法。
3. 前記第２のステップで、前記カメラの設置誤差がないとしたときに前記画面内で前記複数の特定点が本来位置すべき位置に前記複数のマーカーを表示させ、
   前記第３のステップで、前記複数のマーカーのそれぞれが前記複数の特定点の最も近くにあるものに重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出し、
   前記第４のステップで、各マーカーの抽出された座標とそのマーカーが重ねられた特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求めることを特徴とする請求項１に記載の車載カメラのキャリブレーション方法。
4. 車両に設けられたカメラの設置位置又は設置角度に関する情報を求めてキャリブレーションを行う車載カメラのキャリブレーション装置であって、
   前記車両との相対的な位置関係が既知の基準マーカーを前記カメラにより撮像したときに、前記基準マーカーの撮像画像を表示手段の画面に表示させるとともに、操作手段の操作に応じて前記画面内で移動する複数のマーカーを前記撮像画像とともに表示させる画像処理手段と、
   前記操作手段の操作により前記複数のマーカーが独立に移動して前記画面内で前記基準マーカーの複数の特定点にそれぞれ重ねられたときに、前記複数のマーカーの前記画面内における座標を抽出する座標抽出手段と、
   前記複数のマーカーの抽出された座標と前記複数の特定点の実空間における座標とを対応させることにより、前記カメラの設置位置又は設置角度に関する情報を求める設置情報算出手段とを有することを特徴とする車載カメラのキャリブレーション装置。
5. 前記カメラ、前記表示手段及び前記操作手段を有することを特徴とする請求項４に記載の車載カメラのキャリブレーション装置。
6. 前記操作手段がジョイスティックであることを特徴とする請求項４又は請求項５に記載の車載カメラのキャリブレーション装置。

Images