JP2018036189A - キャリブレーション装置およびキャリブレーション方法 - Google Patents

Abstract

【課題】マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション方法を提供する。
【解決手段】車両基準座標系で座標が既知の複数の車両基準点と、剛体基準座標系で座標が既知の複数の剛体基準点と、の組合せからなる２点間の距離のそれぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する座標算出部（１２，１４）と、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するパラメータ算出部（１５〜１７）とを備える。
【選択図】図１

Description

本発明は、車両に搭載されたカメラをキャリブレーション対象としたキャリブレーション装置およびキャリブレーション方法に関するものである。

近年、車両周辺を撮影する目的で、車両に取り付けられるカメラ・センサが増えている。これらカメラやセンサにより周辺の障害物などが検知されると、車両を制御するコントローラは、移動中の車両に緊急ブレーキを掛けることができる。

また、コントローラは、これらカメラやセンサを介して取得した車両周辺の複数画像を合成して、ユーザーにその画像を提供することができる。その際、正確に周辺の障害物を検知するためには、あるいは車両周辺の滑らかな合成画像を得るためには、カメラまたはセンサと、車両との位置・姿勢関係を正確に測定しておく必要がある。

上述した測定の方法をキャリブレーション方法という。このようなキャリブレーション方法は、車両にカメラ、およびセンサを取り付ける際には、不可欠な方法である。

車両用のカメラ、センサの位置・姿勢を実際にキャリブレーションする際には、コントローラは、まず、地面や壁に設置したマーカーを該当センサで取得する。そして、コントローラは、センサとマーカーの相対位置、およびマーカーと車両の相対位置とから、センサが車両に対してどのような位置・姿勢で設置されているのかを測定する（例えば、特許文献１参照）。

特開２０１３−８９９８４号公報

しかしながら、従来技術には、以下のような課題がある。
一般に、カメラやセンサのキャリブレーション方法では、精密にカメラ・センサと車両との位置関係を測定するために、車両に対して既知の位置・姿勢で正確にマーカーを設置する必要がある。

すなわち、従来のキャリブレーション方法では、自車両からの相対位置・姿勢があらかじめ分かっている場所に、ターゲットとなるマーカーを正確に配置する必要がある。このため、車両を中心とした正確な座標軸、またはそれに準じる直交パターンを、水糸などを使用して地面に描画する必要があった。

一例として、「自車両の先端中央の地面上の点を原点とし、車両進行方向を軸の一つとするような車両座標系において、車両前方２ｍ、左舷方向１ｍの場所に自車両と傾きが同一になるようにターゲットマーカーを配置する」場合における従来のキャリブレーション方法について、おおまかに説明する。従来のキャリブレーション方法では、以下の手順１〜手順４の工程を踏む必要があった。

（手順１）初めに、車両先端中央の地面上の点および車両後端中央の地面上の点を、下げ振りを用いてマークする。
（手順２）次に、それら２点を通り、かつ、車両の下を通る直線を、水糸を用いて引き、この直線を車両進行方向の軸とする。

（手順３）次に、車両先端中央の点から２ｍ前方の点を巻尺で測り、そこから車両進行方向の軸と直交する直線を、水糸を用いて引く。
（手順４）そして、最後に、直交する直線において、車両進行方向の軸から左方向に１ｍの点の場所に、ターゲットのマーカーを設置する。

ここで、手順３において直交する直線パターンを引くためには、墨出し器を用いる方法、あるいはコンパスを用いて作図する方法などを適用する必要がある。しかしながら、前者においては、専用の高価な機器が必要となり、後者においては、作業が煩雑で、作業員のミスにより不正確な作図をしてしまうおそれがある、といった課題があった。

上述した一例では、あらかじめマーカーが設置されていない、ディーラー等にて行う再調整のためのキャリブレーションについて説明した。しかしながら、あらかじめマーカーが設置されている工場などでのキャリブレーションにおいても、自車両とマーカーとの相対位置・姿勢を、例えば、約１ｃｍ以下の精度で精密に定めることは、困難を要する。

ここで、工場内で、作業員が、車両をキャリブレーション作業空間に運転して持ち込む場合を考える。この場合、車両を決められた位置に１°の角度も付けずに停車することは、相当に熟練した作業員でも大変難しい。また、車両を定位置に停めるための輪止め等の器具があったとしても、１ｃｍもずれずに停車できるような精度が保障されない場合が多い。

本発明は、上記のような課題を解決するために行われたものであって、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション装置およびキャリブレーション方法を提供することを目的とする。

本発明に係るキャリブレーション装置は、地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション装置であって、地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、地面に軸の２つと原点が含まれ、地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点とに基づいて、複数の車両基準点の１点と複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて受け付ける測定距離入力装置と、車両に搭載されたキャリブレーション対象であるカメラにより撮像されたマーカーを含む撮像画像と、それぞれの測定値に基づいて、車両基準座標系における剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するキャリブレーションパラメータ計算装置とを備え、キャリブレーションパラメータ計算装置は、それぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する座標算出部と、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するパラメータ算出部とを備えるものである。

また、本発明に係るキャリブレーション方法は、地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション方法であって、地面に軸の２つと原点が含まれ、地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点について、複数の剛体基準点のそれぞれの座標をあらかじめ記憶部に記憶させる第１ステップと、地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、複数の剛体基準点とに基づいて、複数の車両基準点の１点と複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて測定距離入力装置を介して受け付ける第２ステップと、車両に搭載されたキャリブレーション対象であるカメラにより撮像されたマーカーを含む撮像画像を取り込む第３ステップと、それぞれの測定値から、車両基準座標系における複数の剛体基準点の座標を算出する第４ステップと、撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、記憶部に記憶された剛体基準座標系における複数の剛体基準点の座標との対応関係から、車両基準座標系における剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する第５ステップとを有するものである。

本発明は、車両基準座標系における複数の車両基準点と剛体基準座標系における複数の剛体基準点との組合せからなる２点間の距離のそれぞれの測定値に基づいて、車両基準座標系における複数の剛体基準点の座標を算出し、車両に搭載されたカメラによる撮像画像に含まれる複数の剛体基準点の画像上座標の位置と、車両基準座標系における複数の剛体基準点の座標との対応関係から、カメラの相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する構成を備えている。この結果、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でマーカーの位置を計算することのできるキャリブレーション装置およびキャリブレーション方法を得ることができる。

本発明の実施の形態１に係るキャリブレーション方法を実行するキャリブレーション装置のブロック図である。 本発明の実施の形態１に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。 本発明の実施の形態１における車両座標系を示す説明図である。 本発明の実施の形態１における測定距離入力装置の画面構成を示す説明図である。 本発明の実施の形態１に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。 本発明の実施の形態１における三辺測量計算部において実行される三辺測量法の説明図である。 本発明の実施の形態１の手順Ｂ４による車両基準座標系での点Ｒ０の座標の求め方を示した説明図である。 本発明の実施の形態１の手順Ｂ８によるキャリブレーションパラメータの求め方を示した説明図である。 本発明の実施の形態１において、３次元座標系の点を２次元平面上の点に置き換える手法を示した説明図である。 本発明の実施の形態２に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。 本発明の実施の形態２に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。

以下、本発明のキャリブレーション装置およびキャリブレーション方法の好適な実施の形態につき、図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１に係るキャリブレーション方法を実行するキャリブレーション装置のブロック図である。また、図２は、本発明の実施の形態１に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。図１、図２においては、キャリブレーションパラメータ計算装置１０とともに、測定距離入力装置２０および画像入力装置３０が示されている。

測定距離入力装置２０は、作業員が測定距離の数値を入力するためのキーボード２１と、入力した数値を表示するための画面２２とを有して構成される。

画像入力装置３０は、詳細は図示を省略しているが、レンズ、撮像素子、および歪み補正部を有して構成され、車両１に搭載されている。以下では、画像入力装置３０のことを単に「カメラ３０」と称して説明する。そして、カメラ３０は、キャリブレーションを行うために地面に設置されたターゲットマーカー３１を撮像する。

以下では、ターゲットマーカー３１のことを、単に「マーカー３１」と称し、マーカー３１を含む画像としてカメラ３０により撮像された画像を、「マーカー画像」と称して説明する。

図１に示したキャリブレーションパラメータ計算装置１０は、測定距離入力装置２０を介して作業員により入力された距離データと、カメラ３０により撮像されたマーカー画像とに基づいて、マーカー３１に対するカメラ３０の相対位置、相対姿勢をキャリブレーションパラメータとして計算する。そこで、次に、このようなキャリブレーションパラメータの算出演算処理を行うキャリブレーションパラメータ計算装置１０の内部構成について、詳細に説明する。

図１に示した本実施の形態１におけるキャリブレーションパラメータ計算装置１０は、マーカー形状パラメータ記憶部１１、三辺測量計算部１２、誤入力判定部１３、車両基準マーカー相対位置計算部１４、車両基準カメラ相対位置計算部１５、マーカー位置検出部１６、およびキャリブレーションパラメータ記憶部１７を備えて構成されている。

ここで、キャリブレーションパラメータ計算装置１０内の車両基準カメラ相対位置計算部１５は、パラメータ算出部に相当する。また、キャリブレーションパラメータ計算装置１０内のマーカー形状パラメータ記憶部１１、三辺測量計算部１２、車両基準マーカー相対位置計算部１４、車両基準カメラ相対位置計算部１５、マーカー位置検出部１６、およびキャリブレーションパラメータ記憶部１７は、座標算出部に相当する。

マーカー形状パラメータ記憶部１１は、マーカー３１の形状についての情報が、あらかじめ記憶されている。このような情報の具体例としては、マーカー３１に含まれる特徴点の色、形状、配置等の特徴点情報、マーカー３１の外形情報などが挙げられる。

図２では、外径が長方形のマーカー３１の内部に、黒丸で記載された１５個の特徴点が配置され、外形の右上部が点Ｍ_１として、右下部が点Ｍ_２として示されている。さらに、図２では、車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ_１、点Ｖ_２として示している。

このような点Ｍ_１、点Ｍ_２、点Ｖ_１、点Ｖ_２の４点の配置から、作業員は、距離Ｍ_１Ｖ_１、距離Ｍ_１Ｖ_２、距離Ｍ_２Ｖ_１、距離Ｍ_２Ｖ_２の４つの距離を実測する。そして、作業員は、実測した４つの距離を、測定距離入力装置２０を介して入力する。

三辺測量計算部１２は、測定距離入力装置２０から入力された４つの距離の数値から、三辺測量の公式を用いて、点Ｖ_２基準の点Ｍ_１、Ｍ_２の座標を計算する。誤入力判定部および車両基準マーカー相対位置計算部へ出力する。

誤入力判定部１３は、三辺測量計算部１２によって点Ｖ_２基準で計算された点Ｍ_１、Ｍ_２の座標を、マーカー形状パラメータ記憶部１１にあらかじめ記憶されたマーカー３１の外形情報と比較し、作業員によって入力された測定距離が妥当であるか否かを判定し、測定距離入力装置２０にその判定結果を送る。

三辺測量計算部１２による三辺測量、および誤入力判定部１３による判定処理の詳細については、図および数式を用いて後述する。

なお、作業員は、誤入力判定部１３によりＮＧ判定されたことを測定距離入力装置２０に表示される判定結果により知った場合には、距離Ｍ_１Ｖ_１、距離Ｍ_１Ｖ_２、距離Ｍ_２Ｖ_１、距離Ｍ_２Ｖ_２を再入力する必要がある。

車両基準マーカー相対位置計算部１４は、三辺測量計算部１２によって点Ｖ_２基準で計算された点Ｍ_１、Ｍ_２の座標、およびマーカー形状パラメータ記憶部１１にあらかじめ記憶されたマーカー３１の外形情報および特徴点情報から、マーカーに３１含まれる特徴点群の車両座標系における座標を計算し、車両基準カメラ相対位置計算部１５へ送る。

ここで、図３は、本発明の実施の形態１における車両座標系を示す説明図である。自車両１の前方中央端点を地面上に垂直に降ろした点を原点Ｏとし、直進方向をｚ軸、右方向をｘ軸、地中方向をｙ軸として規定される座標系が、本発明における車両座標系に相当する。

マーカー位置検出部１６は、画像入力装置３０から受け取ったマーカー画像から、マーカー３１上の特徴点群の位置を検出して、その画像上での座標を車両基準カメラ相対位置計算部１５へ送る。

車両基準カメラ相対位置計算部１５は、マーカー位置検出部から受け取った画像上でのマーカー内特徴点位置の座標と、車両基準マーカー相対位置計算部１４から受け取った車両座標系でのマーカー内特徴点位置の座標から、車両座標系におけるカメラの位置・姿勢を計算する。

そして、車両基準カメラ相対位置計算部１５は、車両座標系におけるカメラの位置・姿勢をキャリブレーションパラメータ記憶部１７に記憶させる。この結果、キャリブレーションパラメータ記憶部１７は、車両基準カメラ相対位置計算部１５で算出されたカメラの位置・姿勢に関するキャリブレーションパラメータを、ＲＯＭへ保存することができる。

次に、本実施の形態１においてキャリブレーションを実施する際の作業手順を、順に説明する。

キャリブレーション作業は、凹凸のない水平な地面上で行うこととする。また、作業空間は、キャリブレーション対象カメラの数、画角に応じたマーカー３１の大きさ、配置によって、適切に確保されるものとする。

ターゲットマーカー３１は、既知のパターンの複数の特徴点を有している。具体的には、カメラの位置・姿勢計算をするために、複数の特徴点が設けられている。キャリブレーション対象のカメラ３０にマーカー３１の全体が撮影されるように、マーカー３１は、大まかな位置は決めて配置する必要があるが、正確な位置は、未知の状態でよい。

ここで、マーカー３１に含まれる複数の特徴点が、どの位置に何点存在するかの特徴点情報、およびマーカー３１の外形情報は、あらかじめ既知とする。本実施の形態１では、後の画像処理においてマーカー３１の特徴点群の位置を自動処理で検出しやすいようにするために、黒く塗りつぶされた円形として構成された各特徴点を、マーカー３１上に規則的に配置した。

また、自車両１に近い方のマーカー３１の外側の角２点を点Ｍ_１、点Ｍ_２とする。また、車両１の特定の２点から地面上に垂直に下ろした２点を点Ｖ_１、点Ｖ_２とする。なお、点Ｖ_１、点Ｖ_２の車両座標系における座標位置は、あらかじめ測定しておき既知とする。本実施の形態１では、左右ヘッドライトの端を基準として地面に垂直に降ろした点を、Ｖ_１、Ｖ_２とした。

図４は、本発明の実施の形態１における測定距離入力装置２０の画面構成を示す説明図である。画面２２は、測定した距離を入力するための入力部２２ａ、誤入力判定部１３で判定された、入力した距離の数値が妥当か否かの判定結果および誤差を表示する出力部２２ｂ、およびカメラ映像を表示する表示部２２ｃで構成されている。

表示部２２ｃには、カメラ３０から入力されたカメラ映像が出力される。従って、作業員は、設置したマーカー３１がカメラ撮像範囲に収まっているか否かを、表示部２２ｃに表示されたカメラ画像から確認できる。

さらに、測定距離入力装置２０は、マーカー位置検出部１６で検出したマーカーの位置である点Ｍ_１、点Ｍ_２から、測定対象である点Ｖ_１、点Ｖ_２までの４つの距離が、画像上でどの位置に当たるのかを、入力部２２ａの入力項目に応じて、表示部２２ｃ内に重畳してアイコンを表示させる機能を有している。この機能により、作業員は、入力項目に対応する部分がどの距離に相当するかを、視覚的に容易に確認することができる。

また、撮像画像にオーバーラップさせてアイコンを表示部２２ｃに表示させる際には、カメラ画像内のマーカー位置を画像処理により検出することで、検出結果に応じてアイコンの表示位置を正確な位置に修正することができる。すなわち、自車両１の停止位置、あるいはカメラ３０の設置状態によらず、アイコンの表示位置を正確な位置に修正することができる。

さらに、キャリブレーションパラメータから複数カメラを用いた合成映像を作成するようなアプリケーションを持つ場合には、測定距離入力装置２０は、キャリブレーション計算結果を反映した合成映像を表示部２２ｃに表示させることで、映像品質を確認できるようにしてもよい。

次に、図１〜図４を用いて上述した内容を踏まえ、本実施の形態１におけるキャリブレーション方法について、具体的な手順に沿って説明する。図５は、本発明の実施の形態１に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。

まず始めに、ステップＳ５０１において、作業員は、複数の特徴点を持つマーカー３１を、カメラ３０による撮影範囲内になるように、地面に設置する。

この時、マーカー３１の位置と、自車両１の相対位置は、まだ正確に分からなくてよい。ただし、カメラ３０により撮像された画像によるキャリブレーション計算精度を安定させるために、マーカー３１をおおまかにどの位置に設置するかは、あらかじめ定めておく。本実施の形態１において、マーカー３１は、自車両１の前方の地面上であって、かつ、カメラ３０の画角の広い範囲内で撮影されるような位置に配置する。

次に、ステップＳ５０２において、作業員は、車両１に搭載されたキャリブレーション対象であるカメラ３０の実際の撮像範囲内にマーカー３１が入るように、車両１を移動させる。この際に、作業員は、測定距離入力装置２０の表示部２２ｃに表示される撮像画像を参照しながら、車両１の停止位置を決定することができる。

次に、ステップＳ５０３において、作業員は、車両１の特定の２点から地面上に垂直に下ろした２点を、サインペンなどでマークする。この際、下げ振りなどの道具を用いると正確に求められる。この２点が、先の図２中で示した点Ｖ_１、点Ｖ_２である。

なお、点Ｖ_１、点Ｖ_２は、後に点間の距離を測る際に作業しやすいように、点Ｖ_１、点Ｖ_２とマーカーの点Ｍ_１、点Ｍ_２との間に、自車両１のタイヤといったような余計な障害物がないように、それぞれの位置を設定するのがよい。

また、本実施の形態１では、後の計算を簡素化するために、点Ｖ_１、点Ｖ_２の位置は、それらを結んだ直線Ｖ_１Ｖ_２が車両座標系のｘ軸に平行になるように設定した。

次に、ステップＳ５０４において、作業員は、巻尺などを用いて、マーカー上の点Ｍ_１、点Ｍ_２と、車体上の点Ｖ_１、点Ｖ_２の間の距離を測定する。具体的に測定する距離は、先の図２中に示したように、Ｍ_１Ｖ_１間、Ｍ_１Ｖ_２間、Ｍ_２Ｖ_１間、Ｍ_２Ｖ_２間の４距離である。

次に、ステップＳ５０５において、作業員は、これら測定した４距離の数値を、測定距離入力装置２０を介して入力する。具体的には、作業員は、先の図４中に示した入力部２２ａのそれぞれの項目に対応して数値設定を行うことで、４距離の測定結果を入力する。

次に、ステップＳ５０６において、キャリブレーションパラメータ計算装置１０内の三辺測量計算部１２は、測定距離入力装置２０を介して入力された４距離の数値から、点Ｖ_２を基準とした点Ｍ_１、点Ｍ_２の座標を計算する。図６は、本発明の実施の形態１における三辺測量計算部１２において実行される三辺測量法の説明図である。なお、この図６では、点Ｍ_１の座標を計算する場合を例示している。

具体的には、三辺測量計算部１２は、図６に示すような車両座標系における点Ｍ_１から、直線Ｖ_１Ｖ_２に垂直に降ろした点Ｈについて、距離Ｖ_２Ｈおよび距離Ｍ_１Ｈを、三辺測量を利用した下式（１）、（２）を用いて求める。

このようにして求めた距離Ｖ_２Ｈと距離Ｍ_１Ｈとは、点Ｖ_２を原点として直線Ｖ_２Ｖ_１をｘ軸とした際の、点Ｍ_１のｘ座標，ｚ座標の値である。また、三辺測量計算部１２は、同様の方法を用いて、点Ｍ_２の座標値も計算する。

次に、ステップＳ５０７において、誤入力判定部１３は、三辺測量計算部１２で求めた点Ｍ_１、点Ｍ_２の座標を用いて、距離Ｍ_１Ｍ_２を計算する。さらに、誤入力判定部１３は、マーカー形状パラメータ記憶部１１からマーカー３１の外形の一部である距離Ｍ_１Ｍ_２の設計値を読み出す。計算値である距離Ｍ_１Ｍ_２と識別するために、以下の説明では、この距離Ｍ_１Ｍ_２の設計値のことを、距離Ｍ_１Ｍ_{２ｔｒｕｔｈ}と称することとする。

そして、誤入力判定部１３は、計算値である距離Ｍ_１Ｍ_２と設計値である距離Ｍ_１Ｍ_{２ｔｒｕｔｈ}と、特定の閾値θ_Ｍとを用いて、距離Ｍ_１Ｍ_２が妥当な値か否かを、下式（３）が真であるか否かによって判定する。

誤入力判定部１３により上式（３）が真であると判定された場合には、先のステップＳ５０５で実施した作業員による測定値の入力が妥当であることとなる。そこで、ステップＳ５０８による車両基準カメラ相対位置計算部の処理に移行する。

一方、誤入力判定部１３により上式（３）が偽であると判定された場合には、先のステップＳ５０５で実施した作業員による測定値の入力が妥当でないこととなる。そこで、先の図４で示したように、測定距離入力装置２０の出力部２２ｂを介して、その旨および誤差の値を作業員へ通知するとともに、ステップＳ５０５の処理に戻り、作業員による再測定、再入力処理を促す。

なお、距離Ｍ_１Ｍ_２と距離Ｍ_１Ｍ_{２ｔｒｕｔｈ}との差は、巻尺で正しく測定すれば約１ｃｍ以下に収まると考えられる。そこで、本実施の形態１では、上式（３）で用いる特定の閾値θ_Ｍの値は、一例として２ｃｍとする。

次に、ステップＳ５０８に進んだ場合には、車両基準マーカー相対位置計算部１４は、三辺測量計算部１２で求めた点Ｖ_２基準の点Ｍ_１および点Ｍ_２の座標を、車両座標基準の座標に変換する。前述したように、本実施の形態１においては、点Ｖ_１、Ｖ_２は、直線Ｖ_１Ｖ_２が車両座標のｘ軸に平行になるように設定している。このため、車両基準マーカー相対位置計算部１４による座標変換は、点Ｖ_２基準の座標に、車両座標基準の点Ｖ_２の座標値を加算するだけでよい。

もちろん、直線Ｖ_１Ｖ_２が車両座標系に対して平行あるいは垂直にならないように定めることも可能である。ただし、その場合には、座標変換に回転が加わるため、余計な演算処理がかかることとなる。

また、点Ｖ_１、点Ｖ_２が地面上ではなく、ｙ軸成分を持つような３次元上の任意の点を指定しても、車両座標系の座標Ｍ_１、Ｍ_２を求めることは可能である。ただし、その場合には、３次元の座標変換を行う必要があるため、３次元の回転行列を計算する演算処理が必要である。

さらに、３次元上の任意の点を指定する場合には、距離Ｍ_１Ｖ_１などを測定する際に多少の難しさが生じる。具体的には、地面上ではなく、空中の距離を測定する必要があるため、巻尺がたるむなどの誤測定のリスクが高まることとなる。

次に、ステップＳ５０９において、作業員は、カメラ３０を用いて、所望のタイミングでマーカー３１を含む画像を静止画として撮影する。なお、撮影の際には、画像入力装置であるカメラ３０と、設置したマーカー３１との間に、マーカー３１の全景を撮影することを妨げる障害物があってはならない。

次に、ステップＳ５１０において、マーカー位置検出部１６は、カメラ３０を介して得られた画像中から、マーカー３１に含まれる特徴点を画像処理によって見つけ出し、それらの座標を出力する。

本実施の形態１では、マーカー３１に含まれている複数の特徴点は、先の図２に示したように、規則的に並んだ黒点としている。従って、マーカー位置検出部１６は、複数の黒点の各々の重心位置を各々の特徴点の座標として出力する。このとき、カメラ３０は、歪み補正部を有しており、カメラ３０のレンズに歪みがある場合には、歪み補正を施した画像を出力することができる。

また、マーカー３１の特徴点の座標を特定するに当たっては、画像処理を用いる代わりに、入力画像表示装置と座標指定装置を設けて、作業員が画面を見て特徴点の位置を指定するようにしてもよい。

次に、ステップＳ５１１において、車両基準カメラ相対位置計算部１５は、ステップＳ５１０においてマーカー位置検出部１６で検出した画像上のマーカー内特徴点位置と、ステップＳ５０８において車両基準マーカー相対位置計算部１４で計算した車両座標系でのマーカー内特徴点位置との対比から、車両座標系におけるカメラ３０の位置・姿勢を計算する。

具体的には、車両基準カメラ相対位置計算部１５は、特徴点群の、画像上座標と車両座標系での座標との対応から連立方程式を立てることができ、その誤差を最小にするように、カメラ３０の位置・姿勢を計算する。

さらに、車両基準カメラ相対位置計算部１５は、計算したカメラの位置・姿勢をカメラの外部キャリブレーションパラメータとして、キャリブレーションパラメータ記憶部１７に保存し、一連処理を終了する。

上述したキャリブレーション方法を整理すると、以下のような手順Ａ１〜Ａ９となる。
（手順Ａ１）マーカー３１を地面に置かれた剛体とすると、剛体基準座標系で座標かあらかじめ分かっている２点Ｍ_１、Ｍ_２を定める。
（手順Ａ２）車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ_１、点Ｖ_２として定める。
（手順Ａ３）点Ｍ_１、点Ｍ_２と点Ｖ_１、点Ｖ_２とに基づいて、２点間の計４種類の距離Ｍ_１Ｖ_１、Ｍ_１Ｖ_２、Ｍ_２Ｖ_１、Ｍ_２Ｖ_２を実測する。

（手順Ａ４）地面上の直線Ｖ_１Ｖ_２を車両座標系のｘ軸に平行になるように設定し、点Ｖ_２を基準として、手順Ａ３で得られた実測値から三辺測量を用いて点Ｍ_１、点Ｍ_２の座標を求める。
（手順Ａ５）手順Ａ４により求めた点Ｍ_１、点Ｍ_２の座標値から距離Ｍ_１Ｍ_２を算出し、計算値とする。また、剛体基準座標系の座標値から距離Ｍ_１Ｍ_２を算出し、設計値とする。

（手順Ａ６）計算値が設計値に対して許容閾値以内の差に収まっていない場合には、手順Ａ３に戻り、実測をやり直す。一方、計算値が設計値に対して許容閾値以内の差に収まっている場合には、次の手順Ａ７に進む。
（手順Ａ７）手順Ａ４により求めたＶ_２基準の２点Ｍ_１、Ｍ_２の座標を車両座標系の座標に変換し、さらに、車両座標系でのマーカー内特徴点群の座標を求める。

（手順Ａ８）車両１に搭載されたカメラ３０でマーカーの静止画を撮像し、静止画からマーカー内特徴点群の画像上での位置を画像上座標として検出する。
（手順Ａ９）マーカー内特徴点群に関して、手順Ａ８で検出した画像上座標を、手順Ａ７で求めた車両座標系での座標に一致させるようにして、車両座標系におけるカメラ３０の位置、姿勢を計算し、キャリブレーションパラメータとして記憶部に記憶させる。

なお、上述した手順Ａ１〜Ａ９は、計算を簡素化するために、以下のような制約を設けていた。
（制約１）車両に関する２点について
三辺測量を用いて点Ｍ_１、点Ｍ_２の座標を求める際に、いずれも、点Ｖ_１、点Ｖ_２に対する座標値として求めていた。しかしながら、点Ｍ_１、点Ｍ_２のいずれか一方の座標値を点Ｖ_１、点Ｖ_２に対する座標値として求め、他方の座標値を点Ｖ_１、点Ｖ_２とは異なる２点に対する座標値として求めることも可能である。

（制約２）直線Ｖ_１Ｖ_２の方向について
直線Ｖ_１Ｖ_２を車両座標系のｘ軸に平行になるように設定したが、必ずしもｘ軸と平行にする必要はない。

（制約３）マーカー内の特徴点群について
手順Ａ７〜手順Ａ９では、マーカー内の特徴点群に関する画像上座標と車両座標系での座標との位置合わせを行うことで、キャリブレーションパラメータを求めていたが、必ずしもマーカー内の特徴点群を用いる必要はない。マーカー内の特徴点群は用いずに、剛体に関する２点Ｍ_１、Ｍ_２に関する画像上座標と車両座標系での座標との位置合わせを行うことでも、キャリブレーションパラメータを求めることが可能である。

そこで、以上のような制約１〜３を設けない場合の一般的な手順を、以下に手順Ｂ１〜Ｂ９として示す。以下の説明では、剛体基準座標系で座標かあらかじめ分かっている２点をＲ０、Ｒ１とし、車両基準座標系として規定される２組の点をＶ０、Ｖ１、およびＶ２、Ｖ３として説明する。ここで、点Ｒ０、Ｒ１は、複数の剛体基準点を構成する点に相当し、点Ｖ０、Ｖ１、Ｖ２、Ｖ３は、複数の車両基準点を構成する点に相当する。

（手順Ｂ１）マーカー３１を地面に置かれた剛体とすると、剛体基準座標系で座標かあらかじめ分かっている２点Ｒ０、Ｒ０を定める。
（手順Ｂ２）車両１上の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ０、点Ｖ１として定める。さらに、車両１上の別の特定の２点から垂直に地面に下ろしたそれぞれの点を点Ｖ２、点Ｖ３として定める。
（手順Ｂ３）点Ｒ０と点Ｖ０、点Ｖ１とに基づいて、２点間の２種類の距離Ｒ０Ｖ０、Ｒ０Ｖ１を実測する。同様に、点Ｒ１と点Ｖ２、点Ｖ３とに基づいて、２点間の２種類の距離Ｒ１Ｖ２、Ｒ１Ｖ３を実測する。

（手順Ｂ４）Ｖ０を原点として、直線Ｖ０Ｖ１を軸の１つとするＶ０基準座標系において、手順Ｂ３で得られた実測値から三辺測量を用いて点Ｒ０の座標を求め、（Ｒ０_ｘ＿Ｖ０、Ｒ０_ｙ＿Ｖ０）とする。同様に、Ｖ２を原点として、直線Ｖ２Ｖ３を軸の１つとするＶ２基準座標系において、手順Ｂ３で得られた実測値から三辺測量を用いて点Ｒ１の座標を求め、（Ｒ１_ｘ＿Ｖ０、Ｒ１_ｙ＿Ｖ０）とする。

さらに、求まった座標（Ｒ０_ｘ＿Ｖ０、Ｒ０_ｙ＿Ｖ０）および座標（Ｒ１_ｘ＿Ｖ０、Ｒ１_ｙ＿Ｖ０）を、共通の原点を有する車両基準座標系の座標に変換し、座標（Ｒ０_{ｘ＿ｔｒｕｅ}、Ｒ０_{ｙ＿ｔｒｕｅ}）および座標（Ｒ１_{ｘ＿ｔｒｕｅ}、Ｒ１_{ｙ＿ｔｒｕｅ}）として求める。

ここで、手順Ｂ４について、図および数式を用いて詳細に説明する。図７は、本発明の実施の形態１の手順Ｂ４による車両基準座標系での点Ｒ０の座標の求め方を示した説明図である。ここで、Ｖ０基準座標系におけるＶ０、Ｖ１のそれぞれの値を、
Ｖ０＝（Ｖ０_ｘ、Ｖ０_ｙ）
Ｖ１＝（Ｖ１_ｘ、Ｖ１_ｙ）
とする。

Ｖ０を原点とするＶ０基準座標系と、Ｏを原点とする車両座標系との角度α_ｖ０は、下式（４）で求まる。

そして、車両基準座標系での点Ｒ０の座標Ｒ０ｔｒｕｅは、下式（５）により求めることができる。

同様にして、車両基準座標系での点Ｒ１の座標Ｒ１ｔｒｕｅを求めることができる。

（手順Ｂ５）手順Ｂ４により求めた点Ｒ０、点Ｒ１の座標値から距離Ｒ０Ｒ１を算出し、計算値とする。また、マーカー形状パラメータ記憶部１１にあらかじめ記憶された剛体基準座標系におけるマーカー３１関連の座標値から距離Ｒ０Ｒ１を算出し、設計値とする。

（手順Ｂ６）計算値が設計値に対して許容閾値以内の差に収まっていない場合には、手順Ｂ３に戻り、実測をやり直す。一方、計算値が設計値に対して許容閾値以内の差に収まっている場合には、次の手順Ｂ７に進む。
（手順Ｂ７）車両１に搭載されたカメラ３０でマーカーの静止画を撮像し、静止画からマーカーのＲ０およびＲ１の位置を画像上座標として検出する。
（手順Ｂ８）２点Ｒ０、Ｒ１に関して、手順Ｂ７で検出した画像上座標を、手順Ｂ４で求めた車両座標系での座標に一致させるようにして、車両座標系におけるカメラ３０の位置、姿勢を計算し、キャリブレーションパラメータとしてキャリブレーションパラメータ記憶部１７に記憶させる。

ここで、手順Ｂ８について、図および数式を用いて詳細に説明する。図８は、本発明の実施の形態１の手順Ｂ８によるキャリブレーションパラメータの求め方を示した説明図である。ここで、画像上座標におけるＲ０、Ｒ１のそれぞれの値を、
Ｒ０＝（Ｒ０_ｘ＿Ｒ、Ｒ０_ｙ＿Ｒ）
Ｒ１＝（Ｒ１_ｘ＿Ｒ、Ｒ１_ｙ＿Ｒ）
とする。

Ｏ_Ｒを原点とする画像上座標と、Ｏを原点とする車両座標系との角度に相当する相対姿勢α_Ｒは、下式（６）で求まる。

さらに、原点Ｏ_Ｒの相対位置は、下式（７）により求めることができる。

この結果、車両基準カメラ相対位置計算部１５は、相対姿勢α_Ｒと、原点Ｏ_Ｒの相対位置を、キャリブレーションパラメータとして求めることができる。

なお、上述した手順Ｂ１および手順Ｂ２は、計算を簡素化するために、点Ｒ０、点Ｒ１、点Ｖ０〜点Ｖ３をいずれも地面上と同一の平面内の点として規定していた。しかしながら、本発明は、これらの点を地面よりも上側の、３次元座標系の点として規定することもできる。このような場合には、３次元座標系で規定された点を地面上の２次元平面上の点に置き換えることで、上述した手順Ｂ１、Ｂ２に対応した座標値を算出することが可能である。

図９は、本発明の実施の形態１において、３次元座標系の点を２次元平面上の点に置き換える手法を示した説明図である。この図９では、点Ｒ０が地面からの高さＲ０_{ｈｅｉｇｈｔ}で規定され、点Ｖ０が地面からの高さＶ０_{ｈｅｉｇｈｔ}で規定されている。さらに、Ｒ０_Ｇは、点Ｒ０を垂直に地面に下ろすことで規定される点であり、Ｖ０_Ｇは、点Ｖ０を垂直に地面に下ろすことで規定される点である。

そして、図９の横軸は、地平面において、点Ｒ０_Ｇと点Ｖ０_Ｇを結ぶ直線を含む軸であり、縦軸は、高さ方向としたものである。

Ｒ０−Ｖ０間の距離は、実測値として求められる。また、Ｒ０−Ｖ０間の高さ方向の距離は、
Ｒ０_{ｈｅｉｇｈｔ}−Ｖ０_{ｈｅｉｇｈｔ}
により求めることができる。従って、Ｒ０−Ｖ０間の横軸方向の距離、すなわち、Ｒ０_Ｇ−Ｖ０_Ｇ間の距離は、三平方の定理より、
√（（Ｒ０Ｖ０）^２−（Ｒ０_{ｈｅｉｇｈｔ}−Ｖ０_{ｈｅｉｇｈｔ}）^２）によって求めることができる。

同様にして、その他の２点間の地平面上の距離も、三平方の定理を利用して算出することができる。

以上のように、実施の形態１によれば、車両に対するマーカーの設置位置を、車両基準座標系の２点と剛体基準座標系の２点の組合せによる４つの距離の計測値により規定することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを演算処理によって求めることが可能となる。

より具体的には、三辺測量法を使用することにより、車両とマーカーの位置相対関係を、４つの距離を測定することで求めることが可能となる。さらに、地面上の距離を測るのみなので、３次元測定器や墨出し器などの特殊な機器を使うことなく、下げ振りと巻尺一本で素早く簡単にキャリブレーション作業を行うことができる。

また、車両基準座標系の２点を結んだ直線が車両座標系の１つの軸と平行となるように、この２点を設定することで、平行移動処理のみで座標変換を行うことが可能となる。従って、浮動小数点演算を用いる必要がなく、三角関数の計算が近似計算になるおそれがないため、座標変換の演算精度を向上させることができる。

また、図９を用いて説明したように、地面上の点ではなく、３次元的な高さを持った点を採用した場合にも、三平方の定理を使用して地面上の点に換算することで、キャリブレーションパラメータを求めることが可能である。

また、剛体基準座標系における距離の設計値と、車両基準座標系における距離の計算値の差の絶対値が、特定の閾値以内に収まっているか否かを判定する構成を備えている。さらに、判定結果を表示する構成、および撮像画像にオーバーラップさせて測定箇所をアイコン表示させる構成を備えている。

従って、作業員は、測定ミス、あるいは入力ミスを確実に見つけ出すことができるとともに、表示されるガイダンスに従って正確な測定データを入力でき、このような正確な測定データに基づくキャリブレーションパラメータの算出が可能となる。

なお、先の図４に示したように、撮像画像にオーバーラップさせてアイコンを表示部２２ｃに表示させる際には、撮像画像内のマーカー位置を画像処理により検出することで、検出結果に応じてアイコンの表示位置を正確な位置に修正することができる。すなわち、自車両の停止位置、あるいはカメラの設置状態によらず、アイコンの表示位置を正確な位置に修正することができる。

この結果、実施の形態１によれば、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程で、キャリブレーションパラメータを高精度に求めることのできるキャリブレーション方法を実現できる。

実施の形態２．
先の実施の形態１では、自車両１に対するマーカー３１の２点が地面上に２次元的に配置される場合のキャリブレーションパラメータの算出方法について説明した。これに対して、本実施の形態２では、自車両１に対するマーカー３１の３点が３次元的に配置される場合のキャリブレーションパラメータの算出方法について説明する。

図１０は、本発明の実施の形態２に係るキャリブレーション装置により実行されるキャリブレーションパラメータ算出の概要を説明するための外観図である。この図１０は、自車両１に対するマーカー３１の配置が３次元的であるような場合の例を表す図である。

このような場合、マーカー３１が地面に対して完全に垂直に立っていることなどが前提にあれば、マーカーが地面に接している部分に対して先の実施の形態１のような方法を実施することで、マーカー３１の自車両１に対する相対位置を求めることができる。

しかしながら、このような前提がない場合、すなわち、マーカー３１が地面に対して完全に垂直に立っているか分からない場合、あるいは、マーカー３１が地面に接していない場合には、マーカー３１の３次元的な相対位置・姿勢を求めることが必要になる。そこで、本実施の形態２では、先の実施の形態１の手法を３次元に拡張した形態について説明する。

図１１は、本発明の実施の形態２に係るキャリブレーション方法の一連の処理手順を示すフローチャートである。ここでは、先の実施の形態１における図５のフローチャートとの相違点を中心に説明する。

まず始めに、ステップＳ１１０１において、作業員は、複数の特徴点を持つマーカー３１を、カメラ３０による撮影範囲内になるように、地面に設置する。

この時、マーカー３１の位置と、自車両１の相対位置は、まだ正確に分からなくてよい。ただし、カメラ３０により撮像された画像によるキャリブレーション計算精度を安定させるために、マーカー３１をおおまかにどの位置に設置するかは、あらかじめ定めておく。なお、本実施の形態２において、マーカー３１は、先の実施の形態１と異なり、自車両１の前方の地面上に設置する必要はない。

次に、ステップＳ１１０２において、作業員は、車両１に搭載されたキャリブレーション対象であるカメラ３０の実際の撮像範囲内にマーカー３１が入るように、車両１を移動させる。この際に、作業員は、測定距離入力装置２０の表示部２２ｃに表示される撮像画像を参照しながら、車両１の停止位置を決定することができる。

次に、ステップＳ１１０３において、作業員は、車両１の特定の３点として、点Ｖ_１、点Ｖ_２、点Ｖ_３を設定する。なお、本実施の形態２における特定の３点は、先の実施の形態１と異なり、必ずしも地面上に設定する必要はない。

次に、ステップＳ１１０４において、作業員は、巻尺などを用いて、マーカー上の点Ｍ_１、点Ｍ_２、点Ｍ_３と、車体上の点Ｖ_１、点Ｖ_２、点Ｖ_３の間の距離を測定する。具体的に測定する距離は、Ｍ_１Ｖ_１間、Ｍ_１Ｖ_２間、Ｍ_１Ｖ_３間、Ｍ_２Ｖ_１間、Ｍ_２Ｖ_２間、Ｍ_２Ｖ_３間、Ｍ_３Ｖ_１間、Ｍ_３Ｖ_２間、Ｍ_３Ｖ_３間の９距離である。なお、図１０では、Ｍ_１Ｖ_１間、Ｍ_１Ｖ_２間、Ｍ_１Ｖ_３間の３距離のみを例示している。

次に、ステップＳ１１０５において、作業員は、これら測定した９距離の数値を、測定距離入力装置２０を介して入力する。具体的には、作業員は、入力部２２ａの９項目のそれぞれに対応して数値設定を行うことで、９距離の測定結果を入力する。

次に、ステップＳ１１０６において、キャリブレーションパラメータ計算装置１０内の三辺測量計算部１２は、測定距離入力装置２０から入力されてきた９距離の数値から、点Ｖ_３を基準とした点Ｍ_１、点Ｍ_２、点Ｍ_３の座標を計算する。

先の実施の形態１では、三角形の３辺の長さから三角形が一意に求まることを利用して、三辺測量にてＶ_２基準のＭ_１、Ｍ_２の座標を計算した。これに対して、本実施の形態２では、三角錐の６辺の長さから三角錐が一意に求まることを利用して、Ｖ_３基準のＭ_１、Ｍ_２、Ｍ_３の座標を計算する。

次に、ステップＳ１１０７において、誤入力判定部１３は、三辺測量計算部１２で求めた点Ｍ_１、点Ｍ_２、点Ｍ_２の座標を用いて、距離Ｍ_１Ｍ_２、距離Ｍ_１Ｍ_３、距離Ｍ_２Ｍ_３を計算する。さらに、誤入力判定部１３は、マーカー形状パラメータ記憶部１１からマーカー３１の外形の一部である距離Ｍ_１Ｍ_２、距離Ｍ_１Ｍ_３、距離Ｍ_２Ｍ_３の設計値を読み出す。

なお、計算値である距離Ｍ_１Ｍ_２、距離Ｍ_１Ｍ_３、距離Ｍ_２Ｍ_３と識別するために、以下の説明では、この距離Ｍ_１Ｍ_２、距離Ｍ_１Ｍ_３、距離Ｍ_２Ｍ_３の設計値のことを、それぞれ、距離Ｍ_１Ｍ_{２ｔｒｕｔｈ}、距離Ｍ_１Ｍ_{３ｔｒｕｔｈ}、距離Ｍ_２Ｍ_{３ｔｒｕｔｈ}と称することとする。

そして、誤入力判定部１３は、対応する計算値と設計値の差分が特定の閾値θ_Ｍに収まっているか否かを判定する。

誤入力判定部１３により誤入力がないと判定された場合には先のステップＳ１１０５で実施した作業員による測定値の入力が妥当であることとなる。そこで、ステップＳ１１０８による車両基準カメラ相対位置計算部の処理に移行する。

一方、誤入力判定部１３により誤入力があると判定された場合には、先のステップＳ１１０５で実施した作業員による測定値の入力が妥当でないこととなる。そこで、先の図４で示したように、測定距離入力装置２０の出力部２２ｂを介して、その旨および誤差の値を作業員へ通知するとともに、ステップＳ１１０５の処理に戻り、作業員による再測定、再入力処理を促す。

なお、先の実施の形態１では、マーカー３１上で求めた座標は、２点Ｍ_１、Ｍ_２のみだったため、１つの距離Ｍ_１Ｍ_２のみを用いて誤入力の判定を行った。これに対して、本実施の形態２では、３点Ｍ_１、Ｍ_２、Ｍ_３の座標を求めている。従って、誤入力の判定も、３つの距離Ｍ_１Ｍ_２、Ｍ_２Ｍ_３、Ｍ_３Ｍ_１について個別に実施することが可能である。

この際、例えば、距離Ｍ_２Ｍ_３および距離Ｍ_３Ｍ_１について誤入力であるとの判定が出る一方で、距離Ｍ_１Ｍ_２については誤入力であるとの判定が出なかった場合を考える。この場合には、点Ｍ_１、Ｍ_２に係る距離については正確である可能性が高いため、Ｍ_３が関連する距離であるＶ_１Ｍ_３、Ｖ_２Ｍ_３、Ｖ_３Ｍ_３の３個のみ再測定を行うことで、誤入力判定がなくなる可能性が高いと考えられる。従って、９個全てのデータを再測定する場合と比較して、効率的に再測定を行うことができる。

次に、ステップＳ１１０８に進んだ場合には、車両基準マーカー相対位置計算部１４は、三辺測量計算部１２で求めた点Ｖ_３基準の点Ｍ_１、点Ｍ_２、および点Ｍ_３の座標を、車両座標基準の座標に変換する。

なお、先の実施の形態１では、２次元の回転・並進のみで座標変換を行った。これに対して、本実施の形態２では、三次元の回転・並進を用いて座標変換を行うこととなる。

次に、ステップＳ１１０９において、作業員は、カメラ３０を用いて、所望のタイミングでマーカー３１を含む画像を静止画として撮影する。なお、撮影の際には、画像入力装置であるカメラ３０と、設置したマーカー３１との間に、マーカー３１の全景を撮影することを妨げる障害物があってはならない。

次に、ステップＳ１１１０において、マーカー位置検出部１６は、カメラ３０を介して得られた画像中から、マーカー３１に含まれる特徴点を画像処理によって見つけ出し、それらの座標を出力する。

次に、ステップＳ１１１１において、車両基準カメラ相対位置計算部１５は、ステップＳ１１１０においてマーカー位置検出部１６で検出した画像上のマーカー内特徴点位置と、ステップＳ１１０８において車両基準マーカー相対位置計算部１４で計算した車両座標系でのマーカー内特徴点位置から、車両座標系におけるカメラ３０の位置・姿勢を計算する。

具体的には、車両基準カメラ相対位置計算部１５は、特徴点群の、画像上座標と車両座標系での座標との対応から連立方程式を立てることができ、その誤差を最小にするように、カメラ３０の原点の相対位置および相対姿勢を計算する。

さらに、車両基準カメラ相対位置計算部１５は、計算したカメラ３０の原点の相対位置および相対姿勢を、カメラ３０の外部キャリブレーションパラメータとして、キャリブレーションパラメータ記憶部１７に保存し、一連処理を終了する。

以上のように、実施の形態２によれば、車両に対するマーカーの設置位置を、車両３点とマーカー３点の組合せによる９つの距離の計測値により３次元的に規定することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを演算処理によって求めることが可能となる。

特に、地面に接していないようなマーカーを用いた場合にも、演算処理を２次元から３次元に拡張することで、容易にかつ簡潔に、車両に搭載されたカメラのキャリブレーションパラメータを求めることが可能となる。

この結果、実施の形態２によれば、剛体基準座標系および車両基準座標系で特定される各点を３次元の領域まで拡張した上で、マーカーの設置のために専用の機器を用いる必要がなく、かつ、従来方法と比較して少ない工程でキャリブレーションパラメータを求めることのできるキャリブレーション方法を実現できる。

１０ キャリブレーションパラメータ計算装置、１１ マーカー形状パラメータ記憶部、１２ 三辺測量計算部、１３ 誤入力判定部、１４ 車両基準マーカー相対位置計算部、１５ 車両基準カメラ相対位置計算部、１６ マーカー位置検出部、１７ キャリブレーションパラメータ記憶部、２０ 測定距離入力装置、２１ キーボード、２２ 画面、２２ａ 入力部、２２ｂ 出力部、２２ｃ 表示部、３０ 画像入力装置（カメラ）、３１ ターゲットマーカー（マーカー）。

Claims (18)

1. 地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション装置であって、
   前記地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、前記地面に軸の２つと原点が含まれ、前記地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点とに基づいて、前記複数の車両基準点の１点と前記複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて受け付ける測定距離入力装置と、
   前記車両に搭載されたキャリブレーション対象であるカメラにより撮像された前記マーカーを含む撮像画像と、前記それぞれの測定値に基づいて、前記車両基準座標系における前記剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出するキャリブレーションパラメータ計算装置と
   を備え、
   前記キャリブレーションパラメータ計算装置は、
   前記それぞれの測定値から、前記車両基準座標系における前記複数の剛体基準点の座標を算出する座標算出部と、
   前記撮像画像に含まれる前記複数の剛体基準点の画像上座標の位置と、前記車両基準座標系における前記複数の剛体基準点の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出するパラメータ算出部と
   を備えるキャリブレーション装置。
2. 前記複数の車両基準点は、前記車両基準座標系で前記地面上での座標が既知の点Ｖ０、点Ｖ１、点Ｖ２、および点Ｖ３で構成され、
   前記複数の剛体基準点は、前記剛体基準座標系で前記地面上での座標が既知の点Ｒ０および点Ｒ１で構成され、
   前記測定距離入力装置は、前記点Ｖ０と前記点Ｒ０との間の距離Ｖ０Ｒ０の測定値、前記点Ｖ１と前記点Ｒ０との間の距離Ｖ１Ｒ０の測定値、前記点Ｖ２と前記点Ｒ１との間の距離Ｖ２Ｒ１の測定値、前記点Ｖ３と前記点Ｒ１との間の距離Ｖ３Ｒ１の測定値からなる４つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
   前記座標算出部は、
   前記４つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を軸の１つとするＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ２を原点とし前記点Ｖ２と前記点Ｖ３を結ぶ直線を軸の１つとするＶ２基準座標系における前記点Ｒ１の座標とを、三辺測量法によって計算する三辺測量計算部と、
   前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ２基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換部と
   を有し、
   前記パラメータ算出部は、前記撮像画像に含まれる前記点Ｒ０および前記点Ｒ１の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０および前記点Ｒ１の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
   請求項１に記載のキャリブレーション装置。
3. 前記点Ｖ２が、前記点Ｖ０と同一の点であり、前記点Ｖ３が、前記点Ｖ１と同一の点であるように設定され、かつ、前記点Ｖ０と前記点Ｖ１との結ぶ直線が、前記車両基準座標系の１つの軸と平行となるように前記点Ｖ０および前記点Ｖ１が設定される条件が成立する場合に、
   前記座標変換部は、前記平行移動のみで前記座標変換を実行する
   請求項２に記載のキャリブレーション装置。
4. 前記車両基準座標系および前記剛体基準座標系がともに前記地面からの高さ方向に３軸目を有する３次元座標系であり、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１の６点のうちの少なくともいずれか１点が、前記地面に含まれない既知の点である条件が成立する場合には、
   前記三辺測量計算部は、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１を垂直に地面に下ろした点をそれぞれ点Ｖ０_Ｇ、点Ｖ１_Ｇ、点Ｖ２_Ｇ、点Ｖ３_Ｇ、点Ｒ０_Ｇ、および点Ｒ１_Ｇとして求め、Ｖ０_Ｇ基準座標系における前記点Ｒ０_Ｇの座標およびＶ２_Ｇ基準座標系における前記点Ｒ１_Ｇの座標を三辺測量法によって計算し、
   前記座標変換部は、前記三辺測量計算部により計算された前記Ｖ０_Ｇ基準座標系における前記点Ｒ０_Ｇの座標および前記Ｖ２_Ｇ基準座標系における前記点Ｒ１_Ｇの座標を用いて前記座標変換を実行し、
   前記パラメータ算出部は、前記座標変換部による座標変換後の値を用いて前記キャリブレーションパラメータを算出する
   請求項２に記載のキャリブレーション装置。
5. 前記キャリブレーションパラメータ計算装置は、
   前記座標変換部により求められた前記車両基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を計算値として算出し、前記剛体基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を設計値として算出し、前記計算値と前記設計値との差分の絶対値が、あらかじめ設定された閾値未満であるか否かを判定し、判定結果を前記測定距離入力装置に送信する誤入力判定部
   をさらに備え、
   前記測定距離入力装置は、受信した前記判定結果から、前記絶対値が前記閾値以上である場合には、作業員に前記４つの測定値の再設定を促すメッセージを表示部に出力させる
   請求項２に記載のキャリブレーション装置。
6. 前記測定距離入力装置は、
   前記４つの測定値を数値設定するための入力部と、
   前記カメラにより撮像された前記車両の一部および前記マーカーを含む前記撮像画像を画面表示する表示部と
   を有する請求項２に記載のキャリブレーション装置。
7. 前記測定距離入力装置は、前記４つの測定値のうち、前記入力部で数値設定される項目に該当する測定箇所を示すアイコンを、前記撮像画像にオーバーレイさせて前記表示部に表示させる
   請求項６に記載のキャリブレーション装置。
8. 前記測定距離入力装置は、前記アイコンをオーバーレイ表示させる際に、前記撮像画像に対して画像処理を施すことで、前記撮像画像内における前記マーカーの位置を検出し、検出結果に応じて前記アイコンの表示位置を修正して前記撮像画像にオーバーレイさせる
   請求項７に記載のキャリブレーション装置。
9. 前記複数の車両基準点は、前記車両基準座標系で３次元上での座標が既知であり、かつ、３点が一直線上に存在しない３組の点として、（点Ｖ０、点Ｖ１、点Ｖ２）からなる１組目と、（点Ｖ３、点Ｖ４、点Ｖ５）からなる２組目と、（点Ｖ６、点Ｖ７、点Ｖ８）からなる３組目で構成され、
   前記複数の剛体基準点は、前記剛体基準座標系で３次元上での座標が既知であり、かつ、３点が一直線に存在しない１組の点として、（点Ｒ０、点Ｒ１、点Ｒ２）で構成され、
   前記測定距離入力装置は、前記１組目を構成する３点のそれぞれと前記点Ｒ０との距離の測定値、前記２組目を構成する３点のそれぞれと前記点Ｒ１との距離の測定値、および前記３組目を構成する３点のそれぞれと前記点Ｒ２との距離の測定値からなる９つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
   前記座標算出部は、
   前記９つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を１軸目とし、前記１組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ３を原点とし前記点Ｖ３と前記点Ｖ４を結ぶ直線を１軸目とし、前記２組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ３基準座標系における前記点Ｒ１の座標と、前記点Ｖ６を原点とし前記点Ｖ６と前記点Ｖ７を結ぶ直線を１軸目とし、前記３組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ６基準座標系における前記点Ｒ２の座標とを、三辺測量法によって計算する三辺測量計算部と、
   前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ３基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ６基準座標系における前記点Ｒ２の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換部と
   を有し、
   前記パラメータ算出部は、前記撮像画像に含まれる前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
   請求項１に記載のキャリブレーション装置。
10. 地面に置かれた剛体と車両との相対位置・姿勢を測定するキャリブレーション方法であって、
    前記地面に軸の２つと原点が含まれ、前記地面に設置された剛体であるマーカーの設置位置により規定される剛体基準座標系で座標が既知の複数の剛体基準点について、前記複数の剛体基準点のそれぞれの座標をあらかじめ記憶部に記憶させる第１ステップと、
    前記地面に軸の２つと原点が含まれ、車両の停止位置に応じて規定される車両基準座標系で座標が既知の複数の車両基準点と、前記複数の剛体基準点とに基づいて、前記複数の車両基準点の１点と前記複数の剛体基準点の１点との組合せからなる２点間の距離のそれぞれの測定値を、作業員による入力操作に基づいて測定距離入力装置を介して受け付ける第２ステップと、
    前記車両に搭載されたキャリブレーション対象であるカメラにより撮像された前記マーカーを含む撮像画像を取り込む第３ステップと、
    前記それぞれの測定値から、前記車両基準座標系における前記複数の剛体基準点の座標を算出する第４ステップと、
    前記撮像画像に含まれる前記複数の剛体基準点の画像上座標の位置と、前記記憶部に記憶された前記剛体基準座標系における前記複数の剛体基準点の座標との対応関係から、前記車両基準座標系における前記剛体基準座標系の相対姿勢および原点の相対位置をキャリブレーションパラメータとして算出する第５ステップと
    を有するキャリブレーション方法。
11. 前記複数の車両基準点は、前記車両基準座標系で前記地面上での座標が既知の点Ｖ０、点Ｖ１、点Ｖ２、および点Ｖ３で構成され、
    前記複数の剛体基準点は、前記剛体基準座標系で前記地面上での座標が既知の点Ｒ０および点Ｒ１で構成され、
    前記第２ステップにおいて、前記点Ｖ０と前記点Ｒ０との間の距離Ｖ０Ｒ０の測定値、前記点Ｖ１と前記点Ｒ０との間の距離Ｖ１Ｒ０の測定値、前記点Ｖ２と前記点Ｒ１との間の距離Ｖ２Ｒ１の測定値、前記点Ｖ３と前記点Ｒ１との間の距離Ｖ３Ｒ１の測定値からなる４つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
    前記第４ステップは、
    前記４つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を軸の１つとするＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ２を原点とし前記点Ｖ２と前記点Ｖ３を結ぶ直線を軸の１つとするＶ２基準座標系における前記点Ｒ１の座標とを、三辺測量法によって計算する三辺測量計算ステップと、
    前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ２基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換ステップと
    を有し、
    前記第５ステップにおいて、前記撮像画像に含まれる前記点Ｒ０および前記点Ｒ１の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０および前記点Ｒ１の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
    請求項１０に記載のキャリブレーション方法。
12. 前記点Ｖ２が、前記点Ｖ０と同一の点であり、前記点Ｖ３が、前記点Ｖ１と同一の点であるように設定され、かつ、前記点Ｖ０と前記点Ｖ１との結ぶ直線が、前記車両基準座標系の１つの軸と平行となるように前記点Ｖ０および前記点Ｖ１が設定される条件が成立する場合に、
    前記座標変換ステップにおいて、前記平行移動のみで前記座標変換を実行する
    請求項１１に記載のキャリブレーション方法。
13. 前記車両基準座標系および前記剛体基準座標系がともに前記地面からの高さ方向に３軸目を有する３次元座標系であり、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１の６点のうちの少なくともいずれか１点が、前記地面に含まれない既知の点である条件が成立する場合には、
    前記三辺測量計算ステップにおいて、前記点Ｖ０、前記点Ｖ１、前記点Ｖ２、前記点Ｖ３、前記点Ｒ０、および前記点Ｒ１を垂直に地面に下ろした点をそれぞれ点Ｖ０_Ｇ、点Ｖ１_Ｇ、点Ｖ２_Ｇ、点Ｖ３_Ｇ、点Ｒ０_Ｇ、および点Ｒ１_Ｇとして求め、Ｖ０_Ｇ基準座標系における前記点Ｒ０_Ｇの座標およびＶ２_Ｇ基準座標系における前記点Ｒ１_Ｇの座標を三辺測量法によって計算し、
    前記座標変換ステップにおいて、前記三辺測量計算ステップにより計算された前記Ｖ０_Ｇ基準座標系における前記点Ｒ０_Ｇの座標および前記Ｖ２_Ｇ基準座標系における前記点Ｒ１_Ｇの座標を用いて前記座標変換を実行し、
    前記第５ステップにおいて、前記座標変換ステップによる座標変換後の値を用いて前記キャリブレーションパラメータを算出する
    請求項１１に記載のキャリブレーション方法。
14. 前記第４ステップは、前記座標変換ステップにより求められた前記車両基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を計算値として算出し、前記剛体基準座標系における前記点Ｒ０と前記点Ｒ１の座標から両点間の距離を設計値として算出し、前記計算値と前記設計値との差分の絶対値が、あらかじめ設定された閾値未満であるか否かを判定し、前記絶対値が前記閾値以上であると判定した場合には、作業員に前記４つの測定値の再設定を促すメッセージを前記測定距離入力装置に表示させる誤入力判定ステップ
    をさらに有する請求項１１に記載のキャリブレーション方法。
15. 前記第２ステップにおいて、前記カメラにより撮像された前記車両の一部および前記マーカーを含む前記撮像画像を、前記測定距離入力装置の表示部に表示させる
    請求項１１に記載のキャリブレーション方法。
16. 前記第２ステップにおいて、前記４つの測定値のうち数値設定される項目に該当する測定箇所を示すアイコンを、前記撮像画像にオーバーレイさせて前記表示部に表示させる
    請求項１５に記載のキャリブレーション方法。
17. 前記第２ステップにおいて、前記アイコンをオーバーレイ表示させる際に、前記撮像画像に対して画像処理を施すことで、前記撮像画像内における前記マーカーの位置を検出し、検出結果に応じて前記アイコンの表示位置を修正して前記撮像画像にオーバーレイさせる
    請求項１６に記載のキャリブレーション方法。
18. 前記複数の車両基準点は、前記車両基準座標系で３次元上での座標が既知であり、かつ、３点が一直線上に存在しない３組の点として、（点Ｖ０、点Ｖ１、点Ｖ２）からなる１組目と、（点Ｖ３、点Ｖ４、点Ｖ５）からなる２組目と、（点Ｖ６、点Ｖ７、点Ｖ８）からなる３組目で構成され、
    前記複数の剛体基準点は、前記剛体基準座標系で３次元上での座標が既知であり、かつ、３点が一直線に存在しない１組の点として、（点Ｒ０、点Ｒ１、点Ｒ２）で構成され、
    前記第２ステップにおいて、前記１組目を構成する３点のそれぞれと前記点Ｒ０との距離の測定値、前記２組目を構成する３点のそれぞれと前記点Ｒ１との距離の測定値、および前記３組目を構成する３点のそれぞれと前記点Ｒ２との距離の測定値からなる９つの測定値を、前記それぞれの測定値として作業員による入力操作に基づいて受け付け、
    前記第４ステップは、
    前記９つの測定値から、前記点Ｖ０を原点とし前記点Ｖ０と前記点Ｖ１を結ぶ直線を１軸目とし、前記１組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ０基準座標系における前記点Ｒ０の座標と、前記点Ｖ３を原点とし前記点Ｖ３と前記点Ｖ４を結ぶ直線を１軸目とし、前記２組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ３基準座標系における前記点Ｒ１の座標と、前記点Ｖ６を原点とし前記点Ｖ６と前記点Ｖ７を結ぶ直線を１軸目とし、前記３組目を構成する３点が含まれる平面上に２軸目を有する３次元のＶ６基準座標系における前記点Ｒ２の座標とを、三辺測量法によって計算する三辺測量計算ステップと、
    前記Ｖ０基準座標系における前記点Ｒ０の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ３基準座標系における前記点Ｒ１の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行し、前記Ｖ６基準座標系における前記点Ｒ２の座標を前記車両基準座標系における座標に回転および平行移動を行って座標変換を実行する座標変換ステップと
    を有し、
    前記第５ステップにおいて、前記撮像画像に含まれる前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の画像上座標の位置と、前記車両基準座標系における前記点Ｒ０、前記点Ｒ１、および前記点Ｒ２の座標との対応関係から、前記相対姿勢および前記原点の相対位置を前記キャリブレーションパラメータとして算出する
    請求項１０に記載のキャリブレーション方法。

Images