JP2014074591A - キャリブレーション方法、及びキャリブレーション装置 - Google Patents

Abstract

【課題】測定に必要なスペースの省スペース化を実現しながら、容易に測定を行うことができる技術を提供する。
【解決手段】路面から所定距離にあり水平方向にずれた複数のマーカであって、マーカ間の位置関係が既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正する方法であり、第一工程〜第三工程を有する。第一工程は、カメラで前記複数のマーカを撮影して２次元画像を得る。第二工程は、第一工程によって得られた２次元画像における複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する。第三工程は、第二工程によって得られた、前記面における複数のマーカ間の距離と、既知の位置関係から求まる複数のマーカ間の距離とのずれに基づいて、カメラのパラメータ値を算出する。
【選択図】図７

Description

本発明は、車載カメラの設置に関する測定を行う技術に関する。

従来、車載カメラの設置に関する測定（いわゆるキャリブレーション）を行う技術として、次の技術が知られている。
例えば、下記の特許文献１に記載された方法は、予め所定の位置関係を規定して路面上に複数の設置パターン（ターゲット）を設けておき、その設置パターンの近傍に車両を停車させて測定を行う方法である。

また、下記の特許文献２に記載された方法は、ジョイントやスコープ等の位置合わせ手段によって車両とターゲット装置との位置関係を固定して測定を行う方法である。

特開２００８−１４２６６５号公報 特開２００９−２８８１５２号公報

ところが、上記特許文献１に記載された方法の場合、測定の精度を高めるためにはカメラからターゲットまでの距離や角度を適正にする必要があるため、路面上の広範囲にターゲットを設置する必要がある。このため、車両の占める面積の数倍以上の測定スペース（測定に必要なターゲットを置く平面スペース）が必要になる。

また、特許文献２に記載された技術の場合、路面から高さのあるターゲットを用いているため、測定に必要なスペースの省スペース化を図れるが、測定には車両とターゲットとの間の位置関係情報が必要である。このため、車両とターゲットとをジョイントによって所定の位置関係に物理的に固定するか、車両とターゲットとが所定の位置関係になるようにスコープ手段を用いてターゲットの位置を調整する必要があり、測定に手間を要するという問題があった。

本発明はこのような問題にかんがみなされたものであり、測定に必要なスペースの省スペース化を実現しながら、容易に測定を行うことができる技術を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載のキャリブレーション方法は、同一鉛直方向に並んだ複数のマーカであって、いずれのマーカも路面からの高さが既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するキャリブレーション方法であって、第一工程〜第三工程を有する。第一工程は、カメラで複数のマーカを撮影して２次元画像を得る工程である。第二工程は、第一工程によって得られた２次元画像における複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する工程である。第三工程は、第二工程によって得られた、前記面における複数のマーカ同士の位置ずれに基づいて、カメラのパラメータ値を算出する工程である。

このような工程を有するキャリブレーション方法によれば、マーカ（ターゲット）は路面から高さのある場所に設けられているため、路面上にマーカがある場合と比較して測定に必要なスペースの省スペース化を実現できる。そして、車両とマーカとをジョイントによって所定の位置関係に物理的に固定したり、車両とマーカとが所定の位置関係になるようにスコープ手段を用いてマーカの位置を調整する必要も無いため、従来技術と比較して測定に手間を要しない。

ところで、第三工程において算出するパラメータ値は、カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであるとよい（請求項２）。このようなパラメータは、第三工程によって精度よく算出することができる。

また、カメラは１台だけ車両に搭載されていてもよいし、複数台搭載されていてもよい。複数台搭載されている場合、各工程は次のようにするとよい（請求項３）。第一工程では、複数のカメラで同一の複数のマーカを撮影し、カメラ毎に２次元画像を得るようにするとよい。第二工程では、第一工程で得られた２次元画像のそれぞれについて、前記鳥瞰変換を行うとよい。第三工程では、カメラ毎の前記パラメータ値の算出に加え、カメラ間で同一のマーカの鳥瞰変換後の位置が一致する、各カメラのヨー角、又は、各カメラの取付位置の水平成分の少なくともいずれか一つを、カメラ毎にパラメータ値としてさらに算出するとよい。

このような工程を有するキャリブレーション方法であれば、測定に必要なスペースの省スペース化と測定の容易化とを実現しながら、複数台の車載カメラについて、各カメラの取付位置に関するヨー角、又は、各カメラの取付位置の水平成分の少なくともいずれか一つを同一の座標系で算出することができる。

上記課題を解決するためになされた請求項４に記載のキャリブレーション方法は、路面から所定距離にあり水平方向にずれた複数のマーカであって、マーカ間の位置関係が既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するキャリブレーション方法であって、第一工程〜第三工程を有する。第一工程は、カメラで複数のマーカを撮影して２次元画像を得る工程である。第二工程は、第一工程によって得られた２次元画像における複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する工程である。第三工程は、第二工程によって得られた、前記面における複数のマーカ間の距離と、既知の位置関係から求まる複数のマーカ間の距離（実際の距離）とのずれに基づいて、カメラのパラメータ値を算出する工程である。

このような工程を有するキャリブレーション方法によれば、マーカ（ターゲット）は路面から高さのある場所に設けられているため、路面上にマーカがある場合と比較して測定に必要なスペースの省スペース化を実現できる。そして、車両とマーカとをジョイントによって所定の位置関係に物理的に固定したり、車両とマーカとが所定の位置関係になるようにスコープ手段を用いてマーカの位置を調整する必要も無いため、従来技術と比較して測定に手間を要しない。

ところで、第三工程において算出するパラメータ値は、カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであるとよい（請求項５）。このようなパラメータは、第三工程によって精度よく算出することができる。

ところで、第三工程で算出するパラメータ値は、カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つだけであってもよいが、これらのパラメータ値の算出に加え、第三工程では次のようにして他のパラメータ値を算出してもよい。すなわち、第二工程によって得られた、前記面における複数のマーカ同士を結ぶ線分と、既知の位置関係から求まる複数のマーカ同士を結ぶ線分との位置ずれに基づいて、カメラのヨー角、又は、カメラの取付位置の水平成分の少なくともいずれか一つを、カメラのパラメータ値としてさらに算出するとよい（請求項６）。

このような工程を有するキャリブレーション方法であれば、測定に必要なスペースの省スペース化と測定の容易化とを実現しながら、複数台の車載カメラについて、各カメラの取付位置に関するヨー角、又は、各カメラの取付位置の水平成分の少なくともいずれか一つを同一の座標系で算出することができる。

また、カメラは１台だけ車両に搭載されていてもよいし、複数台搭載されていてもよい。複数台搭載されている場合、第一工程ないし第三工程を、カメラ毎に行うとよい（請求項７）。

このようなキャリブレーション方法であれば、測定に必要なスペースの省スペース化と測定の容易化とを実現しながら、複数台の車載カメラについて、各カメラのパラメータ値を算出することができる。

実施形態の画像処理システムの概略構成を示すブロック図である。 （Ａ）第一実施形態のカメラの取付位置、並びに、車両及びマーカの位置関係を示す説明図である。（Ｂ）第二実施形態のカメラの取付位置、並びに、車両及びマーカの位置関係を示す説明図である。 姿勢パラメータ決定処理１を説明するためのフローチャートである。 （Ａ）撮影画像の一例である。（Ｂ）鳥瞰変換後にマーカ間の距離を算出することの説明図である。（Ｃ）マーカ間の実際の距離を説明するための図である。（Ｄ）測定によって得られたマーカに基づいて定義される線分が、実際の配置に基づいて定義される線分に合わさるように平行移動及び回転させる様子を示す図である。（Ｅ）平行移動及び回転させた後を示す図である。 （Ａ）測定によって得られた各カメラの取付位置を概念的に表す図である（マーカ座標系）。（Ｂ）理想カメラ配置に基づく車両を基準とした座標系を概念的に示す図である。（Ｃ）測定によって得られたカメラ位置に基づいて定義される線分が、理想の配置に基づいて定義される線分に合わさるように平行移動及び回転させる様子を示す図である。（Ｄ）カメラの取付位置の水平成分とカメラの撮影方向のヨー角とが、マーカ座標系から車両座標系に変換されたことを概念的に示す図である。 姿勢パラメータ決定処理２を説明するためのフローチャートである。 （Ａ）撮影画像の一例である。（Ｂ）鳥瞰変換後に同一ポール上のマーカの位置差を算出することの説明図である。（Ｃ）各鳥瞰画像をいずれかの鳥瞰画像のカメラ座標系で同一マーカが重なるように合成し、各カメラの取付位置の水平成分及び撮影方向のヨー角を特定することの説明図である。 （Ａ）測定によって得られた各カメラの取付位置を概念的に表す図である（カメラ座標系）。（Ｂ）理想カメラ配置に基づく車両を基準とした座標系を概念的に示す図である。（Ｃ）測定によって得られたカメラ位置に基づいて定義される線分が、理想の配置に基づいて定義される線分に合わさるように平行移動及び回転させる様子を示す図である。（Ｄ）カメラの取付位置の水平成分とカメラの撮影方向のヨー角とが、カメラ座標系から車両座標系に変換されたことを概念的に示す図である。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、下記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

［構成の説明］
図１に示すように、実施形態の画像処理システム５は、カメラ１１ａ〜１１ｄと画像処理装置２１と表示装置３１とを備える。

カメラ１１ａ〜１１ｄは、ＣＣＤやＣＭＯＳ等の撮像素子を有する広角のカメラであり、車両周辺を撮影してその撮影画像を所定頻度（例えば、１秒間に６０フレーム。）で画像処理装置２１へ出力するカメラである。本実施形態では、図２（Ａ）に示すように、カメラ１１ａは車両の前方周辺を撮影できるように車両の前端中央に設置され、カメラ１１ｂは車両の右方周辺を撮影できるように車両の右側面（具体的にはドアミラー）に設置され、カメラ１１ｃは車両の後方周辺を撮影できるように車両の後端中央に設置され、カメラ１１ｄは車両の左方周辺を撮影できるように車両の左側面（具体的にはドアミラー）に設置されている。なお、以下では、各カメラを区別せずに説明する際には、単にカメラ１１として説明する。

説明を図１に戻し、画像処理装置２１は、画像記憶部２２ａ〜２２ｄ、操作部２３、姿勢パラメータ等記憶部２４、及び、制御部２５を備える。
画像記憶部２２ａ〜２２ｄは、ＤＲＡＭ等の記憶デバイスからなり、カメラ１１より逐次出力される撮影画像を所定時間分（例えば、過去１０秒分）記憶する。なお、画像記憶部２２ａはカメラ１１ａから出力される画像を記憶し、画像記憶部２２ｂはカメラ１１ｂから出力される画像を記憶し、画像記憶部２２ｃはカメラ１１ｃから出力される画像を記憶し、画像記憶部２２ｄはカメラ１１ｄから出力される画像を記憶する。以下では、各画像記憶部を区別せずに説明する際には、単に画像記憶部２２として説明する。

操作部２３は、表示装置３１の表示面に設けられたタッチパネルや、表示装置３１の周囲等に設置されたメカニカルなキースイッチからなり、運転者等から各種操作指示を入力することができるデバイスである。

姿勢パラメータ等記憶部２４は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、カメラ１１の姿勢パラメータ値（カメラ１１の取付位置についての水平成分及び鉛直成分、並びに、撮影方向のピッチ角、ロール角及びヨー角）、制御部２５が実行するプログラム等を記憶するためのデバイスである。なお、姿勢パラメータ等記憶部２４に記憶された姿勢パラメータが用いられて、カメラ１１が撮影した映像の処理（例えば、鳥瞰画像への変換）が行われる。また、この姿勢パラメータは、車両の振動等の理由によってカメラ１１の取付位置や取付角度が異常になっていることを警告する際の判断にも用いられる。

制御部２５は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等からなるマイコンから構成され、姿勢パラメータ等記憶部２４が記憶するプログラムを読み込んで各種処理を実行する。
表示装置３１は、液晶ディスプレイや有機ＥＬディスプレイからなり、カメラ１１で撮影された撮影画像に基づいて画像処理装置２１で処理された画像を表示することができる。

［第１実施形態の動作の説明］
次に第１実施形態の画像処理装置２１の動作について説明するが、以下では本発明に関する処理を中心に説明し、従来より知られたこの手の車載カメラが撮影した撮影画像を表示装置に表示させるための処理（例えば、車庫入れを補助するために撮影画像を鳥瞰画像に変換し車輪の予測軌跡などを合成して表示装置に表示させる処理等）については、説明を省略する。

第１実施形態では、図２（Ａ）に示すように、４本のマーカポール４１ａ〜４１ｄによって囲まれた場所に車両を移動させてカメラキャリブレーションを行う。この４本のマーカポール４１ａ〜４１ｄは、円柱形状を有したものであり、その軸方向が路面と垂直になるように固定されている。そして、マーカポール４１ａ〜４１ｄの中央付近であって路上から同一距離の位置には、車両の方向に向けられたマーカ４２ａ〜４２ｄがそれぞれ設けられている。すなわち、マーカ４２ａ〜４２ｄは、路面と平行な同一平面内に設けられている。なお、マーカ４２ａ〜４２ｄは、その平面上での位置も把握されている。したがって、マーカ４２ａ〜４２ｄの実際の位置は、所定の位置を基準とした座標系（マーカ座標系）上の座標によって特定されている。マーカ４２ａ〜４２ｄは、車両に搭載されたカメラ１１が撮影し、画像処理装置２１が認識できるものであればどのようなものであってもよい。例えば、マーカポール４１ａ〜４１とは異なる色によって描かれた目印や、ＬＥＤ等の発光素子などが適当である。

なお、以下では、各マーカポールを区別せずに説明する際には、単にマーカポール４１として説明し、各マーカを区別せずに説明する際には、単にマーカ４２として説明する。
次に図３のフローチャートを用いて画像処理装置２１が実行するカメラキャリブレーションである姿勢パラメータ決定処理１について説明する。姿勢パラメータ決定処理１は、車両が図２（Ａ）に示すように配置され、各カメラ１１によってそれぞれ２本のマーカポール４１（２つのマーカ４２）が撮影できるようになった後に測定者が操作部２３を操作して姿勢パラメータの更新を意味する指示を入力した際に、姿勢パラメータ等記憶部２４からプログラムが制御部２５に読み込まれて実行が開始される。なお、制御部２５は、下記で説明するＳ１０５〜Ｓ１４０まではカメラ１１ａ〜１１ｄのそれぞれに対応させて実行し、Ｓ１４５及びＳ１５０はカメラ毎のＳ１０５〜Ｓ１４０が全て終了した後に一度実行する。

制御部２５は、姿勢パラメータ決定処理１の実行を開始すると、ある選択した一つの画像記憶部２２から最新の撮影画像を取得する（Ｓ１０５）。すなわち、画像記憶部２２ａ〜２２ｄのいずれか一つから、画像データを読み出して制御部２５の図示しないＲＡＭに展開する。

続いて、制御部２５は、取得した撮影画像からマーカ４２の座標を検出する（Ｓ１１０）。すなわち、図４（Ａ）に示すように、撮影画像中におけるマーカ４２ａ及びマーカ４２ｂのそれぞれの中心位置を、画像座標系で特定することである。特定方法は、撮影画像における色差や輝度差等が大きい場所をマーカ４２の位置と特定する方法や、マーカ４２が発光素子からなるものであれば、発光素子を点滅させるようにし、発光前の撮影画像と発行後の撮影画像との差分を取ることによって特定する方法が考えられる。

説明を図３に戻し、続いて、制御部２５は、マーカ４２の高さを考慮して撮影画像を鳥瞰変換する（Ｓ１１５）。鳥瞰変換の方法は、周知であるため説明を省略するが、例えば、特開平１０−２１１８４９号に詳しい。なお、姿勢パラメータ決定処理１の実行を開始して最初にＳ１１５を実行する際（鳥瞰変換する際）に用いるカメラ１１の姿勢パラメータの値は、車両出荷時等の初期値を用いてもよいし、姿勢パラメータ等記憶部２４が記憶する姿勢パラメータの値（前回の姿勢パラメータ決定処理１によって記憶された値）を用いてもよい。また、鳥瞰変換は、撮影画像全体に対して行ってもよいし、部分的（例えばマーカ４２の箇所のみ）行ってもよい。また、マーカ４２については、マーカ４２の高さの水平面に鳥瞰変換し、マーカ４２以外については路面に鳥瞰変換し、これらを合成する方法が考えられる。

続いて、制御部２５は、鳥瞰変換した画像中のマーカ間の距離Ｄを算出する（Ｓ１２０）。すなわち、図４（Ｂ）に示すように、対象のカメラ１１を基準とする座標系（カメラ座標系）におけるマーカ間の距離Ｄを、マーカ４２ａの座標とマーカ４２ｂの座標から算出する。

説明を図３に戻し、続いて、制御部２５は、Ｓ１２０で算出したマーカ間の距離Ｄは、規定値に十分に近いと評価できるか否かを判定する（Ｓ１２５）。ここでいう「規定値」は、マーカ間の実際の距離であり、予め特定されているマーカ４２のマーカ座標系での座標に基づいて算出された２つのマーカ間の距離である（図４（Ｃ）参照）。また、「十分に近いと評価」というのは、例えば、Ｓ１２０で算出したマーカ間の距離Ｄと規定値との差の割合が所定割合以下であった場合にそのように評価することが考えられる。

制御部２５は、Ｓ１２５において、Ｓ１２０で算出したマーカ間の距離Ｄは規定値に十分に近いと評価できると判定した場合、Ｓ１３５へ移行し、一方、十分に近いと評価できないと判定した場合、Ｓ１３０へ移行する。

Ｓ１２０で算出したマーカ間の距離Ｄは規定値に十分に近いと評価できないと判定した場合に進むＳ１３０では、制御部２５は、Ｓ１１５の鳥瞰変換の際に用いた姿勢パラメータのうち、カメラ１１の取付位置の鉛直成分（ｚ）、並びに、撮影方向のピッチ角及びロール角の次候補を選定する。次候補というのは、これらの要素のうちの少なくともいずれか一つの値を少しだけ（例えば０．１％分に相当する値だけ）変えたものである。

Ｓ１３０において次候補を選択すると、制御部２５は、上述したＳ１１５へ移行し、選定した値を用いて再び鳥瞰変換を行う。
一方、Ｓ１２０で算出したマーカ間の距離Ｄは規定値に十分に近いと評価できると判定した場合に進むＳ１３５では、制御部２５は、最新のＳ１１５の鳥瞰変換で用いた、カメラ１１の取付位置の鉛直成分（ｚ）、並びに、撮影方向のピッチ角及びロール角を姿勢パラメータ等記憶部２４に記憶させる。

続いて、制御部２５は、最新のＳ１１５の鳥瞰変換により得た鳥瞰画像（カメラ座標系における画像）のマーカ４２間を結んで得られる線分が、現実配置（実際のマーカの配置であってマーカ座標系での配置）におけるマーカ４２間を結んで得られる線分に合わさるように移動及び回転させる。そして、これと同時にＳ１１５で得た鳥瞰画像におけるカメラ座標系の原点及び各座標軸も移動及び回転させ、回転後の原点及び各座標軸に基づいて、カメラ１１の取付位置の水平成分（ｘ，ｙ）と撮影方向のヨー角とをマーカ座標系で算出する（Ｓ１４０）。なお、線分の移動については、各線分の中点が合わさるように移動させることが考えられるが、これに限らない。

このＳ１４０について、図４（Ｂ）〜図４（Ｅ）を用いて具体的に説明する。
図４（Ｂ）は、撮影画像を鳥瞰変換した画像に基づいてマーカ４２ａ，４２ｂ及びポール４１ａ，４１ｂが選択的に描かれた画像であり、マーカ４２ａとマーカ４２ｂとを結ぶ線分４４が定義されている。なお、この画像を撮影したカメラ１１の取付位置はカメラ座標系の原点Ｏｃに対応し、カメラの撮影方向はＹｃＺｃ平面上に存在する。

図４（Ｃ）は、マーカ４２ａとマーカ４２ｂとの現実配置（実際のマーカの配置）を示す図であるが、マーカ４２ａとマーカ４２ｂとを結ぶ線分４５が定義されている。なお、マーカ４２に関する座標系（マーカ座標系）として、図に示す場所にその原点Ｏｍが置かれているが、この場所に限らない。

図４（Ｂ）における線分４４が図４（Ｃ）における線分４５に合わさるように線分４４を平行移動及び回転させる様子を示す図が、図４（Ｄ）である。このように線分４４を平行移動及び回転させる際に、カメラ座標系の原点Ｏｃと各座標軸も移動させる（移動の様子は図示せず）。

図４（Ｅ）は、図４（Ｂ）における線分４４が図４（Ｃ）における線分４５に合わさるように線分４４を平行移動及び回転させた後の図である。マーカ座標系における、カメラ座標系の原点Ｏｃの位置及び各軸が確認できる。この図における原点Ｏｃの座標位置の水平成分（ｘ成分とｙ成分）が、マーカ座標系におけるカメラ１１の取付位置の水平成分であり、カメラ座標系のＹｃ・Ｚｃ面とＹｍ・Ｚｍ面とがなす角が、マーカ座標系におけるカメラ１１の撮影方向のヨー角である。

説明を図３に戻し、続いて制御部２５は、Ｓ１４０で算出したマーカ座標系での各カメラ１１の取付位置の水平成分と撮影方向のヨー角とを、車両座標系でのカメラ１１の取付位置の水平成分とカメラ１１の撮影方向のヨー角とに変換する（Ｓ１４５）。この変換について、図５（Ａ）〜図５（Ｄ）を用いて説明する。

図５（Ａ）は、Ｓ１０５〜Ｓ１４０をカメラ１１ａ〜１１ｄ毎に行ったことによって得られた、マーカー座標系での各カメラの取付位置を概念的に表す図である。この例では、車両前端中央に設置されたカメラ１１ａと車両後端中央に設置されたカメラ１１ｃとが選ばれ、各カメラの取付位置を結ぶ線分５１が定義されている。なお、選択するカメラはこの例に限らず、別の組み合わせでもよい。

図５（Ｂ）は、理想カメラ配置に基づく車両の前端中央部を基準とした座標系（車両座標系）を概念的に示す図である。車両前端中央に設置されたカメラ１１ａの設置位置を原点とし、車両前方の水平方向をＹ軸とし、車両右方の水平方向をＸ軸とし、車両上方（鉛直方向）をＺ軸としている。なお、この例でも、車両前端中央に設置されたカメラ１１ａと車両後端中央に設置されたカメラ１１ｃとが選ばれ、各カメラの取付位置を結ぶ線分５２が定義されている。

これらを前提に、図５（Ａ）の線分５１が、図５（Ｂ）の線分５２に重なるように回転及び平行移動させ、この回転及び平行移動にしたがってカメラ１１の取付位置の水平成分と撮影方向のヨー角とについても回転及び平行移動させる。これにより、カメラ１１の取付位置の水平成分と撮影方向のヨー角とが、マーカ座標系から車両座標系に変換される。

図５（Ａ）の線分５１が、図５（Ｂ）の線分５２に重なるように回転及び平行移動させる様子を示す図が、図５（Ｃ）である。なお、線分５１の移動については、線分５１の中点と線分５２の中点とが合わさるように移動させることが考えられるが、これに限らない。

図５（Ｄ）は、各カメラ１１の取付位置の水平成分と撮影方向のヨー角とが、マーカ座標系から車両座標系に変換されたことを概念的に示す図である。図５（Ｂ）と比較して各カメラが異なる方向を向いていることが確認でき、図５（Ａ）における各カメラ１１の取付位置が車両座標系で特定可能になっていることが確認できる。

説明を図３に戻し、続いて制御部２５は、Ｓ１４５で変換した車両座標系での各カメラ１１の取付位置の水平成分と撮影方向のヨー角とを、姿勢パラメータ等記憶部２４に記憶させる（Ｓ１５０）。そして、制御部２５は、本処理（姿勢パラメータ決定処理１）を終了する。

［第１実施形態の効果］
以上、第１実施形態の画像処理装置２１の動作について説明したが、これによれば、マーカ４２は路面から高さのある場所に設けられているため、路面上にマーカがある場合と比較して測定に必要なスペースの省スペース化を実現できる。そして、車両とマーカとをジョイントによって所定の位置関係に物理的に固定したり、車両とマーカとが所定の位置関係になるようにスコープ手段を用いてマーカの位置を調整する必要も無いため、従来技術と比較して測定に手間を要しない。

また、第１実施形態の画像処理装置２１によれば、車載されたカメラ１１の全てについて、各カメラの全てのパラメータ値（カメラ１１の取付位置、ピッチ角、ロール角及びヨー角）を算出することができる。

［第２実施形態の動作の説明］
次に第２実施形態の画像処理装置２１の動作について説明するが、以下では第１実施形態の画像処理装置２１との相違点を中心に説明し、同一の動作については、説明を省略する。

第２実施形態でも、図２（Ｂ）に示すように、４本のマーカポール４１ａ〜４１ｄによって囲まれた場所に車両を移動させてカメラキャリブレーションを行う。この４本のマーカポール４１ａ〜４１ｄには、その中央付近であって路上から同一距離の位置に、車両の方向に向けられたマーカ４２ａ〜４２ｄ（以下、これらを「下側マーカ」とも称する。）がそれぞれ設けられている。また、マーカポール４１ａ〜４１ｄの上端付近であって路上から同一距離の位置には、車両の方向に向けられたマーカ４３ａ〜４３ｄ（以下、これらを「上側マーカ」とも称する。）がそれぞれ設けられている。なお、これらのマーカ４２ａ〜４２ｄ，４３ａ〜４３ｄは、同一ポールに設けられたマーカ同士が鉛直線上に位置するように設けられている。また、第一実施形態の場合と異なり、マーカ４２ａ〜４２ｄ，４３ａ〜４３ｄの位置が何らかの座標系によって特定されている必要は無い。ただし、各マーカの路面からの高さだけは特定されている。

なお、以下では、マーカ４２ａ〜４２ｄの各マーカを区別せずに説明する際には、単にマーカ４２（又は下側マーカ４２）として説明し、マーカ４３ａ〜４３ｄの各マーカを区別せずに説明する際には、単にマーカ４３（又は上側マーカ４３）として説明する。

次に図６のフローチャートを用いて画像処理装置２１が実行するカメラキャリブレーションである姿勢パラメータ決定処理２について説明する。姿勢パラメータ決定処理２は、車両が図２（Ｂ）に示すように配置され、各カメラ１１によってそれぞれ２本のマーカポール４１の各マーカが撮影できるようになった後に測定者が操作部２３を操作して姿勢パラメータの更新を意味する指示を入力した際に、姿勢パラメータ等記憶部２４からプログラムが制御部２５に読み込まれて実行が開始される。なお、制御部２５は、下記で説明するＳ２０５〜Ｓ２３５まではカメラ１１ａ〜１１ｄのそれぞれに対応させて実行し、Ｓ２４０〜Ｓ２５０はカメラ毎のＳ２０５〜Ｓ２３５が全て終了した後に一度実行する。

制御部２５は、姿勢パラメータ決定処理２の実行を開始すると、ある選択した一つの画像記憶部２２から最新の撮影画像を取得する（Ｓ２０５）。
続いて、制御部２５は、取得した撮影画像から下側マーカ４２及び上側マーカ４３の座標を検出する（Ｓ２１０）。すなわち、図７（Ａ）に示すように、撮影画像中におけるマーカ４２ａ，４２ｂ，４３ａ，４３ｂのそれぞれの中心位置を、画像座標系で特定する。

説明を図６に戻し、続いて、制御部２５は、撮影画像を鳥瞰変換する（Ｓ２１５）。その際、下側マーカ４２及び上側マーカ４３の高さを考慮して鳥瞰変換する。
続いて、制御部２５は、鳥瞰変換した画像において、同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離を算出する（Ｓ２２０）。例えば、図７（Ｂ）に示すように、下側マーカ４２ａと上側マーカ４３ａとの位置ずれの距離ｄ１と、下側マーカ４２ｂと上側マーカ４３ｂとの位置ずれの距離ｄ２とを、撮影したカメラ１１ａを基準とする座標系（カメラ座標系）で算出する。

説明を図６に戻し、続いて、制御部２５は、Ｓ２２０で算出した同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離は、共に最小と評価できるか否かを判定する（Ｓ２２５）。なお、「最小」としては、理想的には０が好ましいが、誤差などを考慮して限りなく０に近い値であればよい。

制御部２５は、Ｓ２２５において、Ｓ２２０で算出した同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離は最小と評価できると判定した場合、Ｓ２３５へ移行し、一方、Ｓ２２０で算出した同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離は最小と評価できないと判定した場合、Ｓ２３０へ移行する。

Ｓ２２０で算出した同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離は最小と評価できないと判定した場合に進むＳ２３０では、制御部２５は、Ｓ２１５の鳥瞰変換の際に用いた姿勢パラメータのうち、カメラ１１の取付位置の鉛直成分（ｚ）、並びに、カメラ１１の撮影方向のピッチ角及びロール角の次候補を選定する。次候補というのは、これらの要素のうちの少なくともいずれか一つの値を少しだけ（例えば０．１％分に相当する値だけ）変えたものである。

Ｓ２３０において次候補を選択すると、制御部２５は、上述したＳ２１５へ移行し、選定した値を用いて再び鳥瞰変換を行う。
一方、Ｓ２２０で算出した同一ポールの下側マーカ４２と上側マーカ４３との位置ずれの距離は最小と評価できると判定した場合に進むＳ２３５では、制御部２５は、最新のＳ２１５の鳥瞰変換で用いた、カメラ１１の取付位置の鉛直成分（ｚ）、並びに、カメラ１１の撮影方向のピッチ角及びロール角を姿勢パラメータ等記憶部２４に記憶させる。

制御部２５は、ここまでの処理（Ｓ２０５〜Ｓ２３５）をカメラ１１ａ〜１１ｄのそれぞれに対応させて実行し、全てのカメラ１１について鳥瞰画像（最新のＳ２１５の鳥瞰変換による画像）を得ると、Ｓ２４０の処理の開始する。

制御部２５は、カメラ１１毎の鳥瞰画像（カメラ座標系における画像）を合成する（Ｓ２４０）。すなわち、異なる画像間での同一のマーカが一つに重なるように、画像同士を平行移動及び回転させて位置合わせを行って合成する。その際、いずれか一つの画像におけるカメラ座標系を基準として、他のカメラ１１のカメラ座標系の原点及び座標軸の平行移動及び回転も行う。

ここで、図７（Ｃ）を用いて合成について説明する。前方鳥瞰画像６１ａは車両の前端中央部に設置されたカメラ１１ａの撮影画像に基づく鳥瞰画像であり、右方鳥瞰画像６１ｂは車両の右側面に設置されたカメラ１１ｂの撮影画像に基づく鳥瞰画像であり、後方鳥瞰画像６１ｃは車両の後端中央部に設置されたカメラ１１ｃの撮影画像に基づく鳥瞰画像であり、左方鳥瞰画像６１ｄは車両の左側面に設置されたカメラ１１ｄの撮影画像に基づく鳥瞰画像である。図７（Ｃ）の例では、前方鳥瞰画像６１ａのカメラ座標系を基準として、異なる画像間での同一のマーカが一つに重なるように、画像同士を平行移動及び回転させて位置合わせを行って合成している。この際、各画像に対応する各カメラ１１の取付位置の水平成分と撮影方向のヨー角とについても、平行移動及び回転させる。このため、各画像に対応する各カメラ１１について、その撮影位置の水平成分と撮影方向のヨー角とを、前方鳥瞰画像６１ａのカメラ座標系を基準として、算出することができる。

説明を図６に戻し、続いて制御部２５は、Ｓ２４０で算出したカメラ座標系での各カメラ１１の取付位置の水平成分と撮影方向のヨー角とを、車両座標系でのカメラ１１の取付位置の水平成分と撮影方向のヨー角とに変換する（Ｓ２４５）。この変換について、図８（Ａ）〜図８（Ｄ）を用いて説明する。

図８（Ａ）は、カメラ座標系での各カメラ１１の取付位置の水平成分と撮影方向のヨー角とを概念的に表す図である。この例では、車両前端中央に設置されたカメラ１１ａと車両後端中央に設置されたカメラ１１ｃとが選ばれ、各カメラの取付位置を結ぶ線分７１が定義されている。なお、選択するカメラはこの例に限らず、別の組み合わせでもよい。

図８（Ｂ）は、理想カメラ配置に基づく車両の前端中央を基準とした座標系（車両座標系）を概念的に示す図である。車両前端中央に設置されたカメラ１１ａの設置位置を原点とし、車両前方の水平方向をＹ軸とし、車両右方の水平方向をＸ軸とし、車両上方（鉛直方向）をＺ軸としている。なお、この例でも、車両前端中央に設置されたカメラ１１ａと車両後端中央に設置されたカメラ１１ｃとが選ばれ、各カメラの取付位置を結ぶ線分７２が定義されている。

これらを前提に、図８（Ａ）の線分７１が、図８（Ｂ）の線分７２に重なるように回転及び平行移動させ、この回転及び平行移動にしたがってカメラ１１の取付位置の水平成分とカメラ１１の撮影方向のヨー角とについても回転及び平行移動させる。これにより、カメラ１１の取付位置の水平成分とカメラ１１の撮影方向のヨー角とが、車両座標系のものに変換される。

図８（Ａ）の線分７１が、図８（Ｂ）の線分７２に重なるように回転及び平行移動させる様子を示す図が、図８（Ｃ）である。なお、線分７１の移動については、線分７１の中点と線分７２の中点とが合わさるように移動させることが考えられるが、これに限らない。

図８（Ｄ）は、各カメラ１１の取付位置の水平成分と撮影方向のヨー角とが、カメラ座標系から車両座標系に変換されたことを概念的に示す図である。図８（Ｂ）と比較して各カメラが異なる方向を向いていることが確認でき、図８（Ａ）における各カメラ１１の取付位置が車両座標系で特定可能になっていることが確認できる。

説明を図６に戻し、続いて制御部２５は、Ｓ２４５で変換した車両座標系での各カメラ１１の取付位置の水平成分と撮影方向のヨー角とを、姿勢パラメータ等記憶部２４に記憶させる（Ｓ２５０）。そして、制御部２５は、本処理（姿勢パラメータ決定処理２）を終了する。

［第２実施形態の効果］
以上、第２実施形態の画像処理装置２１の動作について説明したが、これによれば、マーカ４２，４３は路面から高さのある場所に設けられているため、路面上にマーカがある場合と比較して測定に必要なスペースの省スペース化を実現できる。そして、車両とマーカとをジョイントによって所定の位置関係に物理的に固定したり、車両とマーカとが所定の位置関係になるようにスコープ手段を用いてマーカの位置を調整する必要も無いため、従来技術と比較して測定に手間を要しない。

また、第２実施形態の画像処理装置２１によれば、車載されたカメラ１１の全てについて、各カメラの全てのパラメータ値（カメラ１１の取付位置、ピッチ角、ロール角及びヨー角）を算出することができる。

また、第１実施形態との比較で言えば、第２実施形態の場合は、マーカポール４１の設置位置が既知である必要がない（予め定められた位置に厳密に設置されている必要がない）。このため、測定をするときのみマーカポール４１を設置して測定するということが、第１実施形態と比較して容易に行うことができる。

［他の実施形態］
（１）上記実施形態は、カメラ１１の姿勢パラメータのうち、全ての姿勢パラメータ値を算出したが、一部の姿勢パラメータ値だけを算出してもよい。例えば、カメラ１１の撮影方向のピッチ角及びヨー角のみを算出する等してもよい。

（２）姿勢パラメータ等記憶部２４に記憶させる姿勢パラメータ値は、上記実施形態で説明した座標系によるものに限らず、別の座標系に変換して姿勢パラメータ等記憶部２４に記憶させてもよい。

（３）上記実施形態では、車両に搭載された画像処理装置２１の制御部２５が、姿勢パラメータ決定処理の全てを実行したが、画像処理装置２１ではない別装置が、姿勢パラメータ決定処理の一部を実行してもよい。その場合、その別装置は画像処理装置２１とは別の場所（車外）に設置され、画像処理装置２１は通信線を介して別装置と通信しながら姿勢パラメータ決定処理を実行するようにするとよい。

５…画像処理システム、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ…カメラ、２１…画像処理装置、２２，２２ａ，２２ｂ，２２ｃ，２２ｄ…画像記憶部、２３…操作部、２４…姿勢パラメータ等記憶部、２５…制御部、３１…表示装置、４１，４１ａ，４１ｂ，４１ｃ，４１ｄ…マーカポール、４２，４２ａ，４２ｂ，４２ｃ，４２ｄ，４３，４３ａ，４３ｂ，４３ｃ，４３ｄ…マーカ。

Claims (14)

1. 同一鉛直方向に並んだ複数のマーカであって、いずれのマーカも路面からの高さが既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するキャリブレーション方法であって、
   前記カメラで前記複数のマーカを撮影して２次元画像を得る第一工程と、
   前記第一工程によって得られた２次元画像における前記複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する第二工程と、
   前記第二工程によって得られた、前記面における前記複数のマーカ同士の位置ずれに基づいて、前記カメラのパラメータ値を算出する第三工程と、
   を有することを特徴とするキャリブレーション方法。
2. 請求項１に記載のキャリブレーション方法において、
   前記第三工程において算出する前記パラメータ値は、前記カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであること、
   を特徴とするキャリブレーション方法。
3. 請求項２に記載のキャリブレーション方法において、
   前記車両には複数のカメラが搭載されており、
   前記第一工程では、前記複数のカメラで同一の前記複数のマーカを撮影し、カメラ毎に２次元画像を得、
   前記第二工程では、前記第一工程で得られた前記２次元画像のそれぞれについて、前記鳥瞰変換を行い、
   前記第三工程では、前記カメラ毎の前記パラメータ値の算出に加え、前記カメラ間で同一のマーカの鳥瞰変換後の位置が一致する、前記各カメラのヨー角、又は、前記各カメラの取付位置の水平成分の少なくともいずれか一つを、前記カメラ毎にパラメータ値としてさらに算出すること、
   を特徴とするキャリブレーション方法。
4. 路面から所定距離にあり水平方向にずれた複数のマーカであって、前記マーカ間の位置関係が既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するキャリブレーション方法であって、
   前記カメラで前記複数のマーカを撮影して２次元画像を得る第一工程と、
   前記第一工程によって得られた２次元画像における前記複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する第二工程と、
   前記第二工程によって得られた、前記面における前記複数のマーカ間の距離と、前記既知の位置関係から求まる前記複数のマーカ間の距離とのずれに基づいて、前記カメラのパラメータ値を算出する第三工程と、
   を有することを特徴とするキャリブレーション方法。
5. 請求項４に記載のキャリブレーション方法において、
   前記第三工程において算出する前記パラメータ値は、前記カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであること、
   を特徴とするキャリブレーション方法。
6. 請求項５に記載のキャリブレーション方法において、
   前記第三工程では、前記カメラの前記パラメータ値の算出に加え、前記第二工程によって得られた、前記面における前記複数のマーカ同士を結ぶ線分と、前記既知の位置関係から求まる前記複数のマーカ同士を結ぶ線分との位置ずれに基づいて、前記カメラのヨー角、又は、前記カメラの取付位置の水平成分の少なくともいずれか一つを、前記カメラのパラメータ値としてさらに算出すること、
   を特徴とするキャリブレーション方法。
7. 請求項４〜６のいずれかに記載のキャリブレーション方法において、
   前記車両には複数のカメラが搭載されており、
   前記第一工程ないし前記第三工程を、前記カメラ毎に行うこと
   を特徴とするキャリブレーション装置。
8. 同一鉛直方向に並んだ複数のマーカであって、いずれのマーカも路面からの高さが既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するためのキャリブレーション装置であって、
   前記カメラで前記複数のマーカが撮影された２次元画像を得る画像取得手段と、
   前記画像取得手段によって取得された２次元画像における前記複数のマーカを、各マーカの高さを反映させて路面又は路面と平行な面に鳥瞰変換する変換手段と、
   前記変換手段によって得られた、前記面における前記複数のマーカ同士の位置ずれに基づいて、前記カメラのパラメータ値を算出する算出手段と、
   を有することを特徴とするキャリブレーション方法。
9. 請求項８に記載のキャリブレーション装置において、
   前記算出手段が算出する前記パラメータ値は、前記カメラの取付位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであること、
   を特徴とするキャリブレーション方法。
10. 請求項９に記載のキャリブレーション装置において、
    前記車両には複数のカメラが搭載されており、
    前記画像取得手段は、前記複数のカメラで同一の前記複数のマーカが撮影された２次元画像であって、カメラ毎にその２次元画像を取得し、
    前記変換手段は、前記画像取得手段が取得した前記２次元画像のそれぞれについて、前記鳥瞰変換を行い、
    前記算出手段は、前記カメラ毎の前記パラメータ値の算出に加え、前記カメラ間で同一のマーカの鳥瞰変換後の位置が一致する、前記各カメラのヨー角、又は、前記各カメラの水平成分の少なくともいずれか一つを、前記カメラ毎にパラメータ値としてさらに算出すること、
    を特徴とするキャリブレーション装置。
11. 路面から所定距離にあり水平方向にずれた複数のマーカであって、前記マーカ間の位置関係が既知であるマーカを用いて、車両に搭載されたカメラの姿勢を校正するキャリブレーション装置であって、
    前記カメラで前記複数のマーカを撮影して２次元画像を取得する画像取得手段と、
    前記画像取得手段が取得した２次元画像における前記複数のマーカを、各マーカの高さを反映させて路面上又は路面と平行な面に鳥瞰変換する変換手段と、
    前記変換手段によって得られた、前記面における前記複数のマーカ間の距離と、前記既知の位置関係から求まる前記複数のマーカ間の距離とのずれに基づいて、前記カメラのパラメータ値を算出する算出手段と、
    を有することを特徴とするキャリブレーション装置。
12. 請求項１１に記載のキャリブレーション装置において、
    前記算出手段が算出する前記パラメータ値は、前記カメラの取り付け位置の鉛直成分、ピッチ角、又は、ロール角の少なくともいずれか一つであること、
    を特徴とするキャリブレーション装置。
13. 請求項１２に記載のキャリブレーション装置において、
    前記算出手段は、前記カメラの前記パラメータ値の算出に加え、前記変換手段によって得られた、前記面における前記複数のマーカ同士を結ぶ線分と、前記既知の位置関係から求まる前記複数のマーカ同士を結ぶ線分とのずれに基づいて、前記カメラのヨー角、又は、前記カメラの取付位置の水平成分の少なくともいずれか一つを、前記カメラのパラメータ値としてさらに算出すること、
    を特徴とするキャリブレーション装置。
14. 請求項１１〜１３のいずれかに記載のキャリブレーション装置において、
    前記車両には複数のカメラが搭載されており、
    前記各手段は、前記カメラ毎に前記の処理を行うこと
    を特徴とするキャリブレーション装置。