JP2021174044A - キャリブレーション装置及びキャリブレーション方法 - Google Patents

Abstract

【課題】車両が走行する路面が平坦でない場合であっても、カメラの姿勢を示すパラメータを高精度に校正する。【解決手段】キャリブレーション装置１００は、自車両１Ａに搭載され、自車両１Ａに搭載されたカメラ４の撮影画像のうち、自車両１Ａの周囲の路面が撮影された撮影画像の領域に含まれる特徴点を抽出する特徴点抽出部１５４と、撮影画像のうち、自車両１Ａの車体１０が撮影された撮影画像の領域に含まれる車体特徴点を抽出する自車体認識部１５３と、特徴点抽出部１５４により抽出された特徴点と、自車体認識部１５３により抽出された車体特徴点とに基づき、自車両１Ａに対するカメラ４の設置状態を示す外部パラメータ１２５を校正する外部パラメータ推定部１５８と、を備える。【選択図】図３

Description

本発明は、キャリブレーション装置及びキャリブレーション方法に関する。

近年、自動運転や、運転支援の目的で車両へのカメラの搭載が進んでいる。カメラは設計に基づいた位置及び姿勢で車両に取り付けられるが、取り付けに誤差が生じることが避けられない。カメラにより撮影して得られた画像を用いて距離計算等を行う場合、この取り付け誤差が距離精度に大きな影響を与える。

このため、車載カメラの取り付け誤差を補正する外部パラメータを用意し、距離計算等を行う際にカメラの外部パラメータを考慮して計算を行うことが広く行われている。外部パラメータは、工場出荷前に工場内にて所定のテストパターン等を用いて算出することも可能であるが、乗車人員の増減や車両中の重量物の移動等により車両の姿勢が変化するため、厳密には外部パラメータも変化することが知られている。このため車両が道路を走行中に外部パラメータを推定すること、すなわち外部パラメータのキャリブレーションが求められている。車両の走行中に外部パラメータをキャリブレーションができれば工場出荷前の外部パラメータの算出を省略でき、作業工程の削減にも資する。

特許文献１は、車載カメラと、車載カメラの撮影画像を画像処理して認識される路面標示の特徴量から、撮影時における車載カメラの設置高及び角度からなるカメラパラメータを算出するカメラパラメータ算出部と、カメラパラメータ算出部により出力されるカメラパラメータにより、車載カメラの光軸補正制御を行うカメラパラメータ補正部と、を備えるキャリブレーション装置を開示する。

特開２００８−１１１７４号公報

しかしながら、特許文献１に記載された発明では、周囲の路面が平坦でない場合に車載カメラの高精度な外部パラメータのキャリブレーションが困難である。

本発明は上記事情に鑑みてなされたものであり、車両が走行する路面が平坦でない場合であっても、カメラの姿勢を示すパラメータを高精度に校正することを目的とする。

上記課題を解決するため、本発明のキャリブレーション装置は、車両に搭載されたキャリブレーション装置であって、前記車両に搭載されたカメラの撮影画像が入力される入力部と、前記撮影画像のうち、前記車両の周囲の路面が撮影された領域に含まれる第１特徴点を抽出する第１特徴点抽出部と、前記撮影画像のうち、前記車両の車体が撮影された領域に含まれる第２特徴点を抽出する第２特徴点抽出部と、前記第１特徴点及び前記第２特徴点に基づき、前記車両に対する前記カメラの姿勢を示すパラメータを校正する校正部と、を備えることを特徴とする。

本発明によれば、車両が走行する路面が平坦でない場合であっても、カメラの姿勢を示すパラメータを高精度に校正することができる。

車両の構成を示すブロック構成図である。 特徴点登録テーブルの構成の一例を示す図である。 走行中キャリブレーションプログラムを実行するプロセッサの動作を説明する説明図である。 排水勾配の推定への影響を説明する説明図である。 自車両の右サイドに取り付けられたカメラから見える自車両の車体の画像の例を示す図である。 キャリブレーション装置の全体の処理フローを示すフローチャートである。 自車体認識部の処理動作を示すフローチャートである。 特徴点抽出部の処理動作を示すフローチャートである。 追跡部の処理動作を示すフローチャートである。 外部パラメータ推定部の処理動作を表すフローチャートである。 第２実施形態における外部パラメータ推定部の処理動作を表すフローチャートである。

［第１実施形態］
１．キャリブレーション装置の構成
以下、添付図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用したキャリブレーション装置１００が搭載された車両の構成を示すブロック構成図である。以下の説明において、キャリブレーション装置１００が搭載された車両を「自車両１Ａ」と表記する。
自車両１Ａには、キャリブレーション装置１００が搭載される。キャリブレーション装置１００は、本発明のキャリブレーション方法を実行する装置である。キャリブレーション装置１００は、自車両１Ａに対するカメラ４の設置状態を示す外部パラメータ１２５を補正する装置である。カメラ４の設置状態を示す外部パラメータ１２５には、カメラ４の３軸角度や高さが含まれる。３軸角度は、カメラ４の自車両１Ａに対する姿勢を示す姿勢角であり、３軸角度には、ロール角、ピッチ角及びヨー角がある。カメラ４の高さとは、例えば、カメラ４の基準位置からの高さである。基準位置には、例えば、自車両１Ａの車体１０や、路面が選択される。外部パラメータ１２５の詳細については後述する。

キャリブレーション装置１００は、通信インターフェイス５を介して不図示の車載ネットワークに接続される。車載ネットワークには、車速センサ２や、舵角センサ３、カメラ４等が接続される。車載ネットワークは、例えば、ＣＡＮや、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）等の多様なネットワークを採用可能である。

車速センサ２は、自車両１Ａの車速を検出するセンサである。車速センサ２は、検出した車速を示すセンサデータをキャリブレーション装置１００に出力する。舵角センサ３は、自車両１Ａのステアリングの操舵角を検出するセンサである。舵角センサ３は、検出した操舵角を示すセンサデータをキャリブレーション装置１００に出力する。

カメラ４は、例えば、自車両１Ａの車幅方向の左右両サイドに取り付けられる。自車両１Ａの左サイドに取り付けられたカメラ４を左カメラ４Ａといい、自車両１Ａの右サイドに取り付けられたカメラ４を右カメラ４Ｂという。また、左カメラ４Ａと右カメラ４Ｂとを総称する場合には、カメラ４と表記する。

カメラ４は、自車両１Ａの側方を含む周囲を撮影する。カメラ４の撮影範囲には、自車両１Ａが走行する路面が含まれる。カメラ４の自車両１Ａとの位置や姿勢等の設計値は、外部パラメータ初期値１２３として後述するフラッシュメモリ１１５に格納される。ただし、カメラ４の自車両１Ａへの取り付けが設計値からずれが生じることは避けられず、実際の取り付け状態に対応する理想的な外部パラメータ１２５と、設計値である外部パラメータ初期値１２３とは一致しない。

カメラ４は、レンズ、撮像素子、及び撮像素子の受光状態から撮影画像を生成するデータ処理回路を備える。カメラ４は、生成した撮影画像を、通信インターフェイス５を介してキャリブレーション装置１００に出力する。

また、キャリブレーション装置１００には、Ｉ／Ｏインターフェイス６を介して表示装置７が接続される。Ｉ／Ｏインターフェイス６は、データが入出力されるインターフェイスである。表示装置７は、例えば、液晶パネル等の表示パネルを備え、キャリブレーション装置１００の制御に従い情報を表示する。

キャリブレーション装置１００は、メモリ１１０と、プロセッサ１５０とを備えるコンピュータ装置である。メモリ１１０は、ＲＯＭ（Read Only Memory）１１１、ＲＡＭ（Random access memory）１１３及びフラッシュメモリ１１５を備える。
ＲＯＭ１１１は、キャリブレーション装置１００が実行するコンピュータプログラムや、パラメータを格納する。本実施形態のＲＯＭ１１１は、走行中キャリブレーションプログラム１２１、カメラ利用プログラム１２２、外部パラメータ初期値１２３及び車体設計情報１２４を格納する。ＲＯＭ１１１は、本発明の「記憶部」に対応する。また、車体設計情報１２４は、本発明の「車体の設計情報」に対応する。

走行中キャリブレーションプログラム１２１、及びカメラ利用プログラム１２２は、プロセッサ１５０が実行するコンピュータプログラムである。走行中キャリブレーションプログラム１２１は、外部パラメータ１２５のキャリブレーションのときにプロセッサ１５０が実行するプログラムである。

カメラ利用プログラム１２２は、カメラ４の撮影画像に基づいて、自車両１Ａと、自車両１Ａの周囲に存在する他の車両（以下、他車両１Ｂという）との距離を算出するプログラムである。
プロセッサ１５０は、カメラ利用プログラム１２２の実行時に、カメラ４の外部パラメータ１２５及び内部パラメータを必要としており、これらのパラメータをフラッシュメモリ１１５から読み込む。カメラ利用プログラム１２２を実行するプロセッサ１５０は、フラッシュメモリ１１５に外部パラメータ１２５及び内部パラメータが保存されていない場合、ＲＯＭ１１１に格納されている内部パラメータ初期値及び外部パラメータ初期値１２３を読み込む。

外部パラメータ初期値１２３は、外部パラメータ１２５の設計値である。
車体設計情報１２４は、例えば、車体側面のエッジ等の車体特徴点の設計上の位置を示すＣＡＤデータである。カメラ４が設計通りに自車両１Ａの車体１０（図４参照）に設置された場合、外部パラメータ１２５と、車体設計情報１２４とに基づき、車体１０が撮影された撮影画像の位置を計算することができる。

また、ＲＯＭ１１１には、レンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数及び寸法が内部パラメータ初期値として格納される。

ＲＡＭ１１３には、プロセッサ１５０が、コンピュータプログラムの実行時に処理されるデータや処理結果のデータが格納される。本実施形態のＲＡＭ１１３には、外部パラメータ１２５及び特徴点登録テーブル１２６が格納される。

外部パラメータ１２５は、前述したようにカメラ４の設置状態を示すパラメータであり、カメラ４の３軸角度や高さが含まれる。また、外部パラメータ１２５は、カメラ４の撮影画像を俯瞰変換する場合に使用される。俯瞰変換とは、カメラ４の撮影画像を、あたかも自車両１Ａの上方に仮想的に配置されたカメラによって撮影された画像のように変換することをいう。また、外部パラメータ１２５は、走行中キャリブレーションプログラム１２１を実行するプロセッサ１５０により算出される。ＲＡＭ１１３に格納される外部パラメータ１２５は、キャリブレーション過程における途中の値であり、キャリブレーション終了まで書き換えられながら使用される。

フラッシュメモリ１１５は、不揮発性の半導体メモリである。本実施形態のフラッシュメモリ１１５には、走行中キャリブレーションプログラム１２１を実行するプロセッサ１５０により生成された外部パラメータ１２５が格納される。

ここで、図２を参照しながら特徴点登録テーブル１２６について説明する。図２は、特徴点登録テーブル１２６の一例を示す構成図である。
特徴点登録テーブル１２６の１レコードには、１の特徴点に関する情報が登録される。１の特徴点に関する情報には、特徴点の座標と、特徴点の追跡状態とが含まれ、これらの特徴点に関する情報が特徴点識別子に対応づけて登録される。
特徴点は、例えば画像中の壁の角、縁石の角、破線の角、横断歩道の角、等のエッジの交点、すなわちコーナーエッジである。コーナーエッジは、例えば公知の技術であるハリスオペレータを適用することにより抽出することができる。

特徴点識別子は、特徴点を識別する識別情報である。本実施形態では、特徴点識別子が、抽出された特徴点の順番に付された通し番号である場合について説明するが、特徴点識別子は、各特徴点を識別可能な情報あればよい。

特徴点の座標は、特徴点が検出された撮影画像上の座標である。特徴点の座標は、この特徴点が検出された撮影画像の撮影時刻に対応づけて特徴点登録テーブル１２６に登録される。以下では、撮影画像に設定される座標系を画像座標系という。この画像座標系は、撮影画像の左上を原点とし、右をＸ軸の正方向、下をＹ軸の正方向とする座標系である。また、図２には、ｔ１、ｔ２、ｔ３、ｔ４及びｔ５の５つの撮影時刻が特徴点登録テーブル１２６に登録された例を示すが、特徴点登録テーブル１２６に登録される撮影時刻の数は、後述する特徴点軌跡の移動速度の算出に十分な数であればよい。特徴点登録テーブル１２６に登録する撮影時刻の数を増やすとテーブルサイズが無限に大きくなりメモリを圧迫するため、公知のリングバッファ技術等により、テーブルを循環的に活用する。
また、撮影時刻は、撮影画像が撮影された時刻ではなくてもよく、例えば、キャリブレーション装置１００の電源がオンにされてからの経過時刻でもよいし、特徴点の座標を特徴点登録テーブル１２６に登録した時刻であってもよい。

図２に示す特徴点登録テーブル１２６には、時刻ｔ１に撮影された撮影画像から３つの特徴点が抽出され、時刻ｔ２、ｔ３、ｔ４に撮影された撮影画像からは４つの特徴点が抽出され、時刻ｔ５に撮影された撮影画像からは１つ特徴点が抽出されたことが示されている。

また、時刻ｔ２、ｔ３の撮影画像から抽出された４つの特徴点のうち、特徴点識別子１００１、１００２及び１００３の特徴点は、時刻ｔ１から追跡が継続されていることを表している。
時刻ｔ５に撮影された撮影画像からは、特徴点識別子１００１、１００３、１００４の特徴点が抽出されなかったため、特徴点登録テーブル１２６の対応するフィールドには「ｘ」マークが登録される。

特徴点の追跡状態は、特徴点の追跡が完了したか否かを示す情報である。図２に示す特徴点登録テーブル１２６の例では、特徴点の追跡が完了した特徴点の追跡状態のフィールドには「ＯＫ」が登録され、特徴点の追跡が完了していない特徴点の状態のフィールドには「未」が格納される。なお、後述する外部パラメータ推定部１５８は、特徴点登録テーブル１２６の追跡状態が、追跡完了、すなわち、追跡状態のフィールドに「ＯＫ」が登録された特徴点の軌跡を使用して、外部パラメータ１２５の校正を行う。

また、図２に示す特徴点登録テーブル１２６は、左カメラ４Ａの撮影画像と、右カメラ４Ｂの撮影画像とでそれぞれ別々に作成される。すなわち、左カメラ４Ａの撮影画像から検出された特徴点に関する情報が登録された特徴点登録テーブル１２６と、右カメラ４Ｂの撮影画像から検出された特徴点に関する情報が登録された特徴点登録テーブル１２６とがそれぞれ別々に作成される。左カメラ４Ａの撮影画像から検出された特徴点に関する情報が登録された特徴点登録テーブル１２６を、左特徴点登録テーブル１２６Ａという。また、右カメラ４Ｂの撮影画像から検出された特徴点に関する情報が登録された特徴点登録テーブル１２６を、右特徴点登録テーブル１２６Ｂという。
また、特徴点登録テーブル１２６の１レコードに、検出された特徴点が、左カメラ４Ａの撮影画像から検出された特徴点であるのか、右カメラ４Ｂの撮影画像から検出された特徴点であるのかを登録するフィールドを設けてもよい。この場合、作成する特徴点登録テーブル１２６の数を１つにすることができる。

図１に戻り、キャリブレーション装置１００の構成について引き続き説明する。
プロセッサ１５０は、ＣＰＵ（Central Processing Unit）やマイクロプロセッサ等の演算装置である。プロセッサ１５０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、プロセッサ１５０は、メモリ１１０の一部又は全部や、その他の回路と統合されたＳｏＣ（System on Chip）や、ＦＰＧＡ（field-programmable gate array）により構成してもよい。また、プロセッサ１５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰ（Digital Signal Processor）との組合せによりプロセッサ１５０を構成してもよい。さらに、プロセッサ１５０は、プロセッサ１５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

図１には、キャリブレーション装置１００が備える機能的構成を機能単位のブロックで示した機能ブロック図を示す。機能的構成とは、プロセッサ１５０が走行中キャリブレーションプログラム１２１を実行することで、実現される機能の構成である。
キャリブレーション装置１００は、機能ブロックとして、画像取得部１５１、車両情報取得部１５２、自車体認識部１５３、特徴点抽出部１５４、追跡部１５５、蓄積部１５６、実施判定部１５７、外部パラメータ推定部１５８及び採否判定部１５９、距離検出部１６０及び表示制御部１６１を備える。

図３は、走行中キャリブレーションプログラム１２１を実行するプロセッサ１５０の動作を説明する説明図である。
図３には、プロセッサ１５０が走行中キャリブレーションプログラム１２１を実行する場合の機能ブロック間、及び、機能ブロックとメモリ１１０との間のデータの流れが示される。図３を参照しながらキャリブレーション装置１００が備える機能ブロックの動作について説明する。

画像取得部１５１は、カメラ４に撮影を実行させる。カメラ４は、画像取得部１５１に撮影の実行が指示されると、例えば毎秒３０回等の高い頻度で撮影を実行し、撮影により得られた撮影画像をキャリブレーション装置１００に出力する。画像取得部１５１は、撮影画像が入力されるごとに、入力された撮影画像を特徴点抽出部１５４及び追跡部１５５に出力する。また、画像取得部１５１は、処理負荷を低減するため、入力された撮影画像を、所定回に１回、特徴点抽出部１５４及び追跡部１５５に出力する構成であってもよい。

車両情報取得部１５２には、車速センサ２から車速を示すセンサデータが入力され、舵角センサ３から舵角を示すセンサデータが入力される。車両情報取得部１５２は、入力されたセンサデータが示す車速や舵角を、車両情報として実施判定部１５７及び外部パラメータ推定部１５８に出力する。車両情報取得部１５２は、入力されたセンサデータが示す車速及び舵角を瞬時値として実施判定部１５７及び外部パラメータ推定部１５８に出力してもよいし、車速及び舵角をそれぞれ積分演算等して実施判定部１５７及び外部パラメータ推定部１５８に出力してもよい。

自車体認識部１５３は、画像取得部１５１から入力される撮影画像に画像処理を施して、自車両１Ａの車体１０の特徴点である車体特徴点を抽出する。自車体認識部１５３は、公知の技術であるソーベルフィルタ等を用いて、車体１０の側面下端のエッジを車体特徴点として抽出する。自車体認識部１５３は、抽出した車体特徴点の画像座標系における座標をＲＡＭ１１３に格納する。自車体認識部１５３は、本発明の「第２特徴点抽出部」に対応する。また、自車体認識部１５３が抽出する車体特徴点が、本発明の「第２特徴点」に対応する。

特徴点抽出部１５４は、画像取得部１５１から入力される撮影画像に画像処理を施し、自車両１Ａの車体１０から離れた車両周囲に存在する特徴点を抽出する。特徴点抽出部１５４は、上述したように、コーナーエッジを抽出する。特徴点抽出部１５４は、抽出したコーナーエッジの画像座標系における座標をＲＡＭ１１３に格納する。特徴点抽出部１５４は、本発明の「第１特徴点抽出部」に対応する。また、特徴点抽出部１５４が抽出する特徴点は、本発明の「第１特徴点」に対応する。

追跡部１５５には、画像取得部１５１から撮影画像が入力される。また、追跡部１５５は、特徴点抽出部１５４が抽出し、ＲＡＭ１１３に格納された特徴点の座標を読み出す。追跡部１５５が読み出す特徴点の座標は、特徴点抽出部１５４によって抽出された座標であって、画像取得部１５１から入力される撮影画像の１フレーム前の撮影画像から抽出された特徴点の座標である。

追跡部１５５は、異なる時刻に撮影された撮影画像の同一の特徴点を追跡して特徴点の軌跡である特徴点軌跡を算出する。特徴点軌跡は、本発明の移動軌跡に対応する。追跡部１５５は、１フレーム前の撮影画像から得られた特徴点を対象として、特徴点を追跡する。すなわち、追跡部１５５は、１フレーム前の撮影画像から得られた特徴点と同一の特徴点を、入力された撮影画像から検出して特徴点軌跡を算出する。特徴点の追跡には、既知の追跡手法であるＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）、ＬＫ（Lucas‐Kanade）法等を用いることができる。追跡部１５５は、算出した特徴点軌跡に関する情報を蓄積部１５６に出力する。

蓄積部１５６は、追跡部１５５から入力された特徴点軌跡に関する情報を特徴点登録テーブル１２６に登録する。さらに、蓄積部１５６は、追跡部１５５から入力された特徴点軌跡に関する情報を実施判定部１５７に出力する。

実施判定部１５７は、蓄積部１５６から入力される特徴点軌跡に関する情報に基づいてキャリブレーションの実施の可否を判定する。特徴点軌跡の総数が少ない状態でキャリブレーションを実施すると、誤差系列が含まれていた場合に大きく誤ったキャリブレーション結果となる。このため、実施判定部１５７は、特徴点の追跡状態のフィールドに「ＯＫ」が登録された特徴点の数が、あらかじめ定めた所定の数以上になると、外部パラメータ推定部１５８に、キャリブレーションの実行指令を出力する。

また、キャリブレーションを実施するためには、自車中心から見て、進行方向の左側と右側の領域にそれぞれ特徴点軌跡が必要となる。実施判定部１５７は、左特徴点登録テーブル１２６Ａと、右特徴点登録テーブル１２６Ｂとにおいて、追跡状態のフィールドに「ＯＫ」が登録された特徴点の数が、あらかじめ定めた所定の数以上になった場合に、外部パラメータ推定部１５８にキャリブレーションの実行指令を出力する。

外部パラメータ推定部１５８は、本発明の「校正部」に対応し、複数得られた特徴点軌跡が同一平面上に存在すると仮定してカメラ４の外部パラメータ１２５を算出する。外部パラメータ推定部１５８は、追跡部１５５が算出した特徴点軌跡の位置、すなわち特徴点登録テーブル１２６に登録された特徴点の位置を現在の外部パラメータ１２５を用いて自車両１Ａの上部から見下ろしたように俯瞰変換する。

次に、外部パラメータ推定部１５８は、俯瞰視点での特徴点軌跡の角度や長さを用いて、カメラ４の３軸角度及び高さを推定する。カメラ４の３軸角度及び高さは、自車両１Ａに対するカメラ４の設置状態を示すパラメータに対応する。特徴点登録テーブル１２６に登録される特徴点軌跡は、自車両１Ａが直進している場合に、自車両１Ａが接地する路面平面から取得した特徴点軌跡である。このため、カメラ４の３軸角度と高さが演算に使用した外部パラメータ１２５と一致するならば、俯瞰視点での複数の特徴点軌跡は平行かつ俯瞰映像縦方向に垂直であり、所定の長さとなる。この特徴点軌跡が理想軌跡である。

また、カメラ４の３軸角度と高さが、演算子に使用した外部パラメータ１２５と一致しない場合、すなわち外部パラメータ１２５に誤差がある場合、俯瞰視点での特徴点軌跡が理想軌跡に対してそれぞれ特徴的な差異が生じる。ピッチ角に誤差がある場合、俯瞰視点での特徴点軌跡がハの字状に開く。ヨー角に誤差がある場合は、俯瞰視点での自車両１Ａの左右の特徴点軌跡に、長さの差が生じる。ロール角に誤差がある場合、特徴点軌跡の全体が斜めに回転する。カメラ４の高さに誤差がある場合は、特徴点軌跡の長さが所定の長さから差異が生じる。

外部パラメータ推定部１５８は、理想軌跡に近づくように公知の最適化技術を用いて外部パラメータ１２５の値を変化させることで、外部パラメータ１２５の校正（キャリブレーション）を実現する。ただし、理想軌跡が成立するのは、路面が平面と見なせる範囲に限られる。実際の道路には、道路に雨水を滞留させないため、法令により車道の幅方向に数％の排水勾配がつけられている。従って、平面的でない路面も画像に含まれてしまう。この影響は特定の角度に顕著に表れ、この特定の角度については、精度良く推定することが困難になる。そこで、排水勾配で推定が困難になる角度については車体１０を参照して推定する。最適化処理による推定終了後、外部パラメータ１２５を採否判定部１５９に出力する。

採否判定部１５９には、外部パラメータ推定部１５８から外部パラメータ１２５が入力される。採否判定部１５９は、入力された外部パラメータ１２５を最終的なパラメータとして採用するか否かを判定する。採否判定部１５９は、入力された外部パラメータ１２５を、最終的なパラメータとして採用してよいと判定した場合、外部パラメータ１２５をフラッシュメモリ１１５に格納する。また、採否判定部１５９は、入力された外部パラメータ１２５を、最終的なパラメータとして不採用と判定した場合、推定途中の外部パラメータ１２５としてＲＡＭ１１３に格納する。ＲＡＭ１１３に格納された外部パラメータ１２５は、次の画像が入力される際に初期値として利用される。また、採否判定部１５９は、特徴点登録テーブル１２６に登録した特徴点に関する情報を初期化する。

採否判定部１５９は、入力された外部パラメータ１２５を、最終的なパラメータとしてよいか否かの判定を、収束性判定、回数判定、及び画像判定の３つの判定により判定する。収束性判定は、外部パラメータ１２５の過去値との比較により、外部パラメータ１２５の値の変動が十分小さいか否かを判定する。すなわち、採否判定部１５９は、外部パラメータ１２５の値が、予め定めた所定範囲内にあるか否かを判定する。回数判定は、外部パラメータ１２５を複数回検証して所定の範囲内で同じ値が得られている否かの判定である。画像判定は、俯瞰画像上で検証して、正しい俯瞰図とみなせる映像になっている否かの判定である。

採否判定部１５９は、収束性判定、回数判定、及び画像判定の全てを満たす場合に、最終パラメータとして採用してよいと判定し、入力された外部パラメータ１２５をフラッシュメモリ１１５に書き込む。採否判定部１５９が、外部パラメータ１２５をフラッシュメモリ１１５に書き込むことで、外部パラメータ１２５の校正が終了する。採否判定部１５９は、収束性判定及び画像判定のみ満足すると判断する場合は、回数判定を満たした回数をカウントアップし、ＲＡＭ１１３に格納された特徴点列と演算途中の外部パラメータ１２５をクリアし、初期状態から再開始する。

距離検出部１６０は、カメラ４の撮影画像に基づいて、他車両１Ｂとの距離を算出する。距離検出部１６０は、カメラ４の撮影画像を、外部パラメータ１２５及び内部パラメータを用いて補正し、補正後の撮影画像に基づいて他車両１Ｂとの距離を算出する。

表示制御部１６１は、表示装置７の表示を制御する。表示制御部１６１は、距離検出部１６０が検出した他車両１Ｂとの距離が、予め設定された設定距離以下になると、表示装置７に表示させる表示データを生成し、生成した表示データを表示装置７に出力する。この表示データは、自車両１Ａの運転者に危険を報知するメッセージが含まれる。

図４は排水勾配の推定への影響を説明する図である。図４（ａ）は道路の平面図、図４（ｂ）は道路の断面図、図４（ｃ）は特徴点の移動速度を示す図である。図４（ａ）〜図４（ｃ）では共通するＸＹＺ軸を定義する。ただし、画像座標系におけるＸ軸及びＹ軸と区別するために、図４に示す座標系を「空間座標系」と呼ぶ。空間座標系において、Ｘ軸は道路の幅方向に平行であり、Ｙ軸は自車両１Ａの進行方向に平行であり、Ｚ軸は天地方向を示す。

車道には白線Ｌ２０１と、中央線Ｌ２０２と、白線Ｌ２０３とが描画されている。中央線Ｌ２０２を挟んで自車両１Ａの逆側には、他車両１Ｂが対向車線を走行している。図４（ａ）に示す破線Ｍは、車道の勾配の頂点位置を示す。以下、頂点位置Ｍと表記する。自車両１Ａが走行する車道は、雨水の排水等を目的として、法令により車道の幅方向に数％の勾配、すなわち横断勾配を有することが定められている。このため、車道の中央部が高く、道路の幅方向に向かってなだらかに低くなる構成を有することが多い。ただし、横断勾配の頂点位置Ｍと、中央線Ｌ２０２の幅方向中央部とが一致しないこともある。図４に示す例では、中央線Ｌ２０２よりも図示右側に勾配の頂点位置Ｍが位置している。

図４（ｂ）は車道の断面図であり、図示横方向の位置は図４（ａ）と対応している。図４（ｂ）の図示上下方向は天地方向に対応しており、図示左右端の白線Ｌ２０１及び白線Ｌ２０３の位置が最も低く、道路の中央部ほど高い。図４（ａ）と同様に、中央線Ｌ２０２よりも少し右の頂点位置Ｍが最も高い。
図４（ｂ）に示す例では、Ｙ方向における断面の形状は一様であり、すなわち図４に示す車道は頂点位置Ｍの左側の第１面Ｔ１１と、頂点位置Ｍの右側の第２面Ｔ１２とから構成される。第１面Ｔ１１は、自車両１Ａが接地している面ともいえる。第１面Ｔ１１を、頂点位置Ｍを超えて第２面Ｔ１２側に延伸させた仮想的な面を、仮想第２面Ｔ１２Ａと称する。また、第２面Ｔ１２と仮想第２面Ｔ１２Ａとのなす角を角度差θという。

図４（ｃ）は、検出された特徴点軌跡の位置と、自車両１Ａの移動速度の関係を示す概念図である。図４（ｃ）では、全ての特徴点が自車両１Ａの接地面と同一平面上、すなわち第１面Ｔ１１又は仮想第２面Ｔ１２Ａに存在すると仮定している。図４（ｃ）に示すそれぞれの白丸が特徴点軌跡であり、図示上方に存在するほど移動速度が速いことを示している。自車両１Ａと同一の平面である第１面Ｔ１１に存在する特徴点は、自車両１Ａが移動すると、その特徴点は地面に固定されているので、自車両１Ａからは自車両１Ａの移動とは逆方向に同じ速度で移動したように観測される。しかし第２面Ｔ１２に存在する特徴点は、仮想第２面Ｔ１２Ａに存在すると仮定されているため、仮想第２面Ｔ１２Ａに射影した位置として算出され、実際よりも移動速度が遅いように観測される。

図４（ｃ）には、特徴点軌跡の分布を２本の直線、ＬＶ１とＬＶ２で近似した場合を示す。ＬＶ１とＬＶ２の交点の道路幅方向の位置は、頂点位置Ｍと一致する。ＬＶ１とＬＶ２の傾きの差は、第１面Ｔ１１と第２面Ｔ１２のなす角、換言すると角度差θに対応する。従って、例えば、第２面Ｔ１２上の特徴点だけを使用した場合、角度差θ分の誤差が上乗せされた状態で角度が推定されることになる。この角度差θに相当するのは、カメラ４のピッチ角（俯角、上下方向）である。
また、カメラ４が、自車両１Ａの前方を撮影するフロントカメラ、又は自車両１Ａの後方を撮影するリアカメラの場合、この角度差θに相当するのは、カメラ４のロール角（首振り、横方向）となる。

実際には、第１面Ｔ１１と第２面Ｔ１２とで特徴点軌跡が含まれる状態になるが、第２面Ｔ１２の特徴点軌跡を含んだ分だけ、精度が低下する。第１面Ｔ１１と第２面Ｔ１２の境界位置は、自車両１Ａが走行する位置や道路によって変化し、環境によって異なる。このため、常時混入を避けるのは困難である。従って、カメラ４のピッチ角（俯角、上下方向）を校正する場合、路面を参照することを避け、車体１０を参照することで外部パラメータ１２５を推定する。また、カメラ４がリアカメラ又はフロントカメラの場合には、ロール角（首振り、横方向）を校正する場合、路面を参照することを避け、車体１０を参照することで外部パラメータ１２５を推定する。車体１０であれば、路面を参照しないため、排水勾配の影響を受けずに、推定することができる。車体１０を使う方法も推定できないパラメータがあるが、自車両１Ａの両サイドに設置したカメラ４のピッチ角に関しては、推定可能であるため、双方の弱点を補い合う形で併用する。

図５は、自車両１Ａの右サイドに取り付けられたカメラ４から見える自車両１Ａの車体１０の画像の例を示す図である。この車体１０の画像の例では、カメラ４として魚眼カメラを用いているが、自車両１Ａの車体１０を撮影できるのであれば適用対象は魚眼カメラに限らない。カメラ４は、例えば、自車両１Ａのサイドミラーの下に下向きに取り付けられており、カメラ４の取り付け位置よりも低い位置の車体１０が撮影される。

自車体認識部１５３は、例えば、車体１０の側面下端のエッジＰを認識する。カメラ４が理想的に設置され、カメラ４により本来撮影される車体１０の側面下端の理想的なエッジＱの位置を破線により示す。車体１０の側面下端のエッジＱは、外部パラメータ１２５と、車体設計情報１２４から、自車両１Ａの車体がカメラ４にどのように映るかを計算することで得られるものである。自車体認識部１５３で認識した車体１０の側面下端のエッジＰを、認識エッジＰと表記し、計算によって求めた理想的なエッジＱを理想エッジＱと表記する。
外部パラメータ推定部１５８は、カメラ４のピッチ角推定においては、認識エッジＰの位置が、理想エッジＱの位置に一致するように、ピッチ角を推定する。この推定は公知の最適化処理によって実現できる。

２．キャリブレーション装置の全体フロー
図６は、キャリブレーション装置１００の全体の処理フローを示すフローチャートである。図６に示すフローチャートを参照しながらキャリブレーション装置１００の全体の処理フローを説明する。
ステップＳ１において、キャリブレーション装置１００は、カメラ４に撮影を実行させる。キャリブレーション装置１００には、カメラ４の撮影画像が入力される。
ステップＳ２において、キャリブレーション装置１００は、車体特徴点の抽出処理を実行する。この処理は、自車体認識部１５３により実行される。ステップＳ２の詳細は、図７に示すフローチャートを参照しながら説明する。ステップＳ２は、本発明の「第２抽出ステップ」に対応する。
ステップＳ３において、キャリブレーション装置１００は、特徴点の抽出処理を実行する。この処理は、特徴点抽出部１５４により実行される。ステップＳ３の詳細は、図８に示すフローチャートを参照しながら説明する。ステップＳ３は、本発明の「第１抽出ステップ」に対応する。

ステップＳ４において、キャリブレーション装置１００は、特徴点の追跡処理を実行する。この処理は、追跡部１５５により実行される。ステップＳ４の詳細は、図９に示すフローチャートを参照しながら説明する。
ステップＳ５において、キャリブレーション装置１００は、実施判定処理を実行する。この処理は、実施判定部１５７により実行される。上述したように実施判定部１５７は、左特徴点登録テーブル１２６Ａと、右特徴点登録テーブル１２６Ｂとの追跡状態のフィールドに「ＯＫ」が登録された特徴点の数が、あらかじめ定めた所定の数以上になった場合に、外部パラメータ推定部１５８にキャリブレーションの実行指令を出す。
ステップＳ６において、キャリブレーション装置１００は、キャリブレーションの実行を可と判定した場合、外部パラメータ１２５の校正処理を実行する。この処理は、外部パラメータ推定部１５８により実行される。ステップＳ６の詳細については、図１０に示すフローチャートを参照しながら説明する。ステップＳ６は、本発明の「校正ステップ」に対応する。

ステップＳ７において、キャリブレーション装置１００は、ステップＳ６の校正処理により校正した外部パラメータ１２５を最終的なパラメータとして採用するか否かを判定する。この処理は、採否判定部１５９により実行される。採否判定部１５９は、入力された外部パラメータ１２５を、最終的なパラメータとして採用する場合には、外部パラメータ１２５をフラッシュメモリ１１５に格納する。また、採否判定部１５９は、入力された外部パラメータ１２５が、最終的なパラメータとして不採用である場合、推定途中の外部パラメータ１２５としてＲＡＭ１１３に格納し、ステップＳ１からの処理を繰り返す。

３．自車体認識部１５３の動作フロー
図７は、車体特徴点の抽出処理を実行する自車体認識部１５３の処理動作を示すフローチャートである。図７に示すフローチャートを参照しながら自車体認識部１５３の処理動作を説明する。図７に示す各ステップの動作主体は、プロセッサ１５０である。

ステップＳ２１において、自車体認識部１５３は、画像取得部１５１から撮影画像の入力があるか否かを判定する。否定判定の場合、自車体認識部１５３は、画像取得部１５１から撮影画像の入力があるまで処理の開始を待機する。また、肯定判定の場合、自車体認識部１５３は、ステップＳ２２の処理に移行する。

ステップＳ２２において、自車体認識部１５３は、歪み補正を実施する。カメラ４に魚眼カメラを使用した場合、魚眼カメラにより生成される撮影画像は、本来直線状である車体１０のエッジが曲線状に撮影され、車体１０のエッジの認識が難しくなる。このため、自車体認識部１５３は、事前に撮影画像の歪みを除去して直線化しておく。歪み補正は、カメラ４の設計情報を用いることで実施できる。この処理によって、車体１０のエッジが直線化され、車体１０のエッジを認識しやすくなる。

ステップＳ２３において、自車体認識部１５３は、自車両１Ａの車体１０のエッジを抽出する撮影画像の抽出領域を決定する。自車体認識部１５３は、カメラ４の撮影方向に基づき、車体１０のエッジを抽出する抽出領域を決定する。自車体認識部１５３は、車体設計情報１２４に含まれる自車両１Ａの車体１０の形状設計情報に基づき、認識対象の車体１０のエッジが映る範囲を計算する。外部パラメータ１２５は、設計公差に基づき、取り付け誤差範囲が一定の範囲に制限される。自車体認識部１５３は、この点を考慮して認識対象の車体１０のエッジが映る範囲を計算し、計算により求めた範囲を抽出領域として決定する。

ステップＳ２４において、自車体認識部１５３は、抽出処理を実行する。自車体認識部１５３は、ステップＳ２３で決定した撮影画像の抽出領域内において公知のソーベルフィルタ等を用い、車体１０の側面下端のエッジに該当する車体特徴点を抽出する。以下、車体１０の側面下端のエッジを、車体１０のエッジという。この抽出処理で抽出される車体１０のエッジは、路面に設けられた路面標示等の車体１０への映り込みや、太陽光の反射等による白飛び等の影響により、車体１０のエッジ以外を、車体１０のエッジとして抽出する場合がある。

ステップＳ２５において、自車体認識部１５３は、抽出された車体特徴点の座標をＲＡＭ１１３に格納する蓄積処理を行う。自車体認識部１５３は、撮影画像の複数フレームで抽出処理を行い、抽出結果である車体特徴点の座標をＲＡＭ１１３に格納する。ＲＡＭ１１３には、同一のエッジと判定された車体特徴点の座標同士が対応づけられて格納される。車体特徴点のＲＡＭ１１３への格納方法は、車体１０のエッジの位置（画像座標系の座標）を直線方程式により近似し、近似した直線方程式のパラメータをＲＡＭ１１３に格納させてもよい。また、公知のハフ変換などで車体１０のエッジの位置を変換し、変換結果をＲＡＭ１１３に格納してもよい。

ステップＳ２６において、自車体認識部１５３は、ＲＡＭ１１３に格納した複数の車体特徴点の検出回数に基づいて車体１０のエッジを検出する。自車体認識部１５３は、ＲＡＭ１１３に格納された車体特徴点（エッジ）の検出回数同士を比較することで、車体１０のエッジを検出する。

上述したように、抽出処理により抽出される車体１０のエッジには、車体１０のエッジ以外が含まれる。しかし、自車両１Ａの走行により自車両１Ａの周囲の映り込み等の影響が変化しても、撮影画像に撮影された車体１０のエッジの位置は変わらない。このため、複数フレームで検出したエッジの検出回数に基づいて車体１０のエッジを検出することができる。例えば、自車体認識部１５３は、最大ピークと第二番目に大きいピークの差が、あらかじめ定めた値以上であれば、最大ピークが示す位置が車体１０のエッジであると判定する。

ステップＳ２７において、自車体認識部１５３は、車体１０のエッジを検出した場合には、検出した車体１０のエッジの画像をＲＡＭ１１３に格納する。以降、一度、検出に成功すれば、自車体認識部１５３は、図７のフローチャートに示す処理を再度、実施する必要はない。
また、ステップＳ２７において、自車体認識部１５３は、車体１０のエッジが検出できなかった場合、ステップＳ２１の判定に戻る。例えば、自車体認識部１５３は、最大ピークと第二番目に大きいピークの差が、あらかじめ定めた値よりも小さい場合、車体１０のエッジの検出に失敗したと判定し、次フレームにおいて、図６に示す一連の処理を実施する。

４．特徴点抽出部１５４の動作フロー
図８は、特徴点の抽出処理を実行する特徴点抽出部１５４の処理動作を示すフローチャートである。図８に示すフローチャートを参照しながら特徴点抽出部１５４の処理動作を説明する。特徴点抽出部１５４は、画像取得部１５１から撮影画像が入力されるごとに、以下に示す処理動作を実行する。以下に説明する各ステップの実行主体はプロセッサ１５０である。

ステップＳ３１において、特徴点抽出部１５４は、自車両１Ａの進行方向、及び自車両１Ａの進行方向に対するカメラ４の撮影方向に基づき、特徴点を抽出する撮影画像の領域である抽出領域を決定する。抽出領域の面積は、広ければ広いほど計算処理に時間がかかる。このため、リアルタイム処理で計算するためには、無駄な領域を計算することによる処理負荷を軽減する必要がある。従って、特徴点抽出部１５４は、自車両１Ａから離れた場所の特徴点を抽出するように抽出領域を設定する。

ステップＳ３２において、特徴点抽出部１５４は、ステップＳ３１で決定した抽出領域を対象として特徴点を抽出する。特に、特徴点抽出部１５４は、エッジとエッジとの交点であるコーナーエッジを抽出することが好ましい。特徴点抽出部１５４は、ステップＳ３１で決定した特徴点抽出領域に対して、ハリスオペレータ等を適用してコーナーエッジを抽出する。

ステップＳ３３において、特徴点抽出部１５４は、ステップＳ３２で抽出した特徴点の座標をＲＡＭ１１３に格納し、この処理を終了させる。

５．追跡部１５５の動作フロー
図９は、特徴点の追跡処理を実行する追跡部１５５の処理動作を示すフローチャートである。図９に示すフローチャートを参照しながら追跡部１５５の処理動作を説明する。追跡部１５５は、画像取得部１５１から撮影画像が入力されるごとに、以下に示す処理動作を実行する。以下に説明する各ステップの実行主体はプロセッサ１５０である。

ステップＳ４１において、追跡部１５５は、特徴点の追跡処理の対象となる領域である追跡領域を設定する。具体的には、追跡部１５５は、ＲＡＭ１１３から読み出した特徴点の座標、及び車両情報取得部１５２が取得した車両情報に基づき、この特徴点の座標の移動方向及び移動距離を推定する。追跡部１５５がＲＡＭ１１３から読み出した特徴点の座標は、特徴点抽出部１５４が１フレーム前の撮影画像から抽出した座標である。追跡部１５５は、推定した移動方向及び移動距離に基づき、画像取得部１５１から入力される撮影画像において、特徴点を追跡する追跡領域を設定する。

移動方向及び移動距離の推定に用いる撮影画像は、１フレーム前の撮影画像に限定されない。例えば、追跡部１５５は、複数フレームの撮影画像に基づいて移動方向及び移動距離を推定してもよいし、１フレーム前の撮影画像以外の撮影画像を用いて移動方向及び移動距離を推定してもよい。つまり、より早い時間に撮影された撮影画像を用いて特徴点の移動方向及び移動距離を推定してもよい。

ステップＳ４２において、追跡部１５５は、画像取得部１５１から入力された撮影画像を対象として、ＲＡＭ１１３から読み込んだ特徴点の座標を追跡する。例えば、追跡部１５５は、ＳＡＤやＬＫ法等の公知の手法を用いて特徴点を追跡する。以下では、ＲＡＭ１１３から座標を読み込んだ特徴点を、対象特徴点という。

ステップＳ４３において、追跡部１５５は、特徴点の追跡が継続できたか否かを判定する。例えば、追跡部１５５は、ＳＡＤ等による照合度があらかじめ定めた閾値以下であれば、対象特徴点は、カメラ４の画角から外れた等の理由で追跡ができないと判断する。また、追跡部１５５は、対象特徴点が撮影画像中のあらかじめ定めた一定のラインを通過した場合や、所定の領域から外れた場合は、強制的に追跡を終了させる。強制的に追跡を終了する理由は、次の撮影画像ではカメラ４の画角から外れることが想定されるためである。また、被写体との距離が遠くなり追跡する必要性がなくなるためである。追跡部１５５は、対象特徴点の追跡が継続できた場合には、ステップＳ４４に進み、追跡終了の場合には、ステップＳ４５に進む。

ステップＳ４４において、追跡部１５５は、対象特徴点に関する情報を登録した特徴点登録テーブル１２６のレコードであって、対象特徴点の撮影画像が撮影された時刻の列に、追跡した特徴点の座標を記録する。また、ステップＳ４５において、追跡部１５５は、対象特徴点に関する情報を登録した特徴点登録テーブル１２６のレコードであって、処理対象の撮影画像が撮影された時刻の列に、追跡が終了したマーク、例えば「ｘ」を記録する。

ステップＳ４４又はステップＳ４５の処理が完了すると、ステップＳ４６において、追跡部１５５は、ステップＳ３２において抽出されたすべての特徴点を対象特徴点として、ステップＳ４２〜Ｓ４５の処理を実行したか否かを判定する。追跡部１５５は、対象特徴点として選択していない未処理の特徴点がある場合、ステップＳ４２の処理に戻る。また、追跡部１５５は、対象特徴点として選択していない未処理の特徴点がない場合、この処理フローを終了させる。

６．外部パラメータ推定部１５８の動作フロー
図１０は、外部パラメータ１２５の校正処理を実行する外部パラメータ推定部１５８の処理動作を表すフローチャートである。図１０に示すフローチャートを参照しながら外部パラメータ推定部１５８の動作を説明する。外部パラメータ推定部１５８は、実施判定部１５７から実行指令が入力されるごとに、以下の動作を実行する。以下に説明する各ステップの実行主体はプロセッサ１５０である。

ステップＳ６１において、外部パラメータ推定部１５８は、外部パラメータ１２５のピッチ角を推定する。外部パラメータ推定部１５８は、ＲＡＭ１１３に格納された外部パラメータ１２５と、車体設計情報１２４と、自車体認識部１５３で認識された車体特徴点とを演算に用いてピッチ角の推定を行う。
外部パラメータ推定部１５８は、自車体認識部１５３で認識された車体１０のエッジが、車体設計情報１２４に基づいて計算した設置位置にカメラ４が設置された場合に映るはずの車体特徴点の位置に一致するようにピッチ角を補正する。具体的には、外部パラメータ推定部１５８は、車体特徴点の一致度を評価する目的関数を設計し、その目的関数を公知の技術によりピッチ角に関して最小化することでピッチ角を推定する。

外部パラメータ推定部１５８は、外部パラメータ１２５のピッチ角をステップＳ６１で推定したピッチ角に書き換える。外部パラメータ推定部１５８は、書き換えた、外部パラメータ１２５のピッチ角をＲＡＭ１１３に格納する。これにより、ＲＡＭ１１３に格納された外部パラメータ１２５の値が更新される。

ステップＳ６２において、外部パラメータ推定部１５８は、ステップＳ６１で推定したピッチ角の座標変換を実施する。ステップＳ６１で推定したピッチ角は、車体１０のエッジに基づいて検出したものであり、車体１０のエッジを基準としたカメラ４の取り付け誤差を補正するパラメータである。
一方、この後のステップＳ６４〜Ｓ６６では、外部パラメータ推定部１５８は、路面を基準とする外部パラメータ１２５を算出する。基準が異なるもので算出されたパラメータをそのまま使うと整合が取れない。このため、外部パラメータ推定部１５８は、外部パラメータ１２５の座標変換を行う。外部パラメータ推定部１５８は、ステップＳ６１で推定した車体１０のエッジを基準とする外部パラメータ１２５を、路面を基準とするパラメータになるようにピッチ角を座標変換する。ステップＳ６３において、外部パラメータ推定部１５８は、座標変換した外部パラメータ１２５のピッチ角をＲＡＭ１１３に格納する。

次に、ステップＳ６４において、外部パラメータ推定部１５８は、外部パラメータ１２５のヨー角を推定する。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に格納された特徴点軌跡の情報と、ステップＳ６１の処理により更新された外部パラメータ１２５とを用いた演算によりヨー角を推定する。

外部パラメータ推定部１５８は、特徴点軌跡の垂直性、すなわち特徴点軌跡が俯瞰図において進行方向に沿う程度を評価する目的関数を設計する。外部パラメータ推定部１５８は、設計した目的関数を、公知の技術によりヨー角に関して最小化することで、ヨー角推定を実現する。ここで設計される目的関数は、１本の特徴点軌跡の垂直性を評価する関数を基本とし、全ての特徴点軌跡に関する目的関数の総和を、ピッチ角を推定する目的関数として設計する。従って、特徴点軌跡の全体が、できるだけ垂直方向を向くようにヨー角が算出される。ステップＳ６５において、外部パラメータ推定部１５８は、外部パラメータ１２５のヨー角を、推定したヨー角で書き換え、書き換えたヨー角をＲＡＭ１１３に格納する。

ステップＳ６６において、外部パラメータ推定部１５８は、外部パラメータ１２５のロール角を推定する。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に格納された特徴点軌跡の情報と、ステップＳ６４の処理により更新された外部パラメータ１２５とを用いた演算によりロール角を推定する。外部パラメータ推定部１５８は、特徴点軌跡の平行性を評価する目的関数を設計し、その目的関数を公知の技術によりロール角に関して最小化することでロール角を推定する。ここで、設計される目的関数は、２本の特徴点軌跡の平行性を評価する関数を基本とし、２本の特徴点軌跡のペアを複数作成し、作成した特徴点軌跡のペアの全ての目的関数の総和を、ロール角を推定する目的関数として設計する。従って、特徴点軌跡の全体が、できるだけ平行になるようにロール角が補正される。

また、選択される特徴点軌跡のペアは、自車両１Ａの中心よりも左側の特徴点軌跡と、自車両１Ａの中心よりも右側の特徴点軌跡、換言すると、自車両１Ａの進行方向の左側の特徴点軌跡と、自車両１Ａの進行方向の右側の特徴点軌跡とを組み合わせる。また、選択される特徴点軌跡のペアとして、考えられる全ての組み合わせを選択してもよいし、その中から幾つか選択したもののみでもよい。ステップＳ６７において、外部パラメータ推定部１５８は、外部パラメータ１２５のロール角を、推定したロール角で書き換え、書き換えたロール角をＲＡＭ１１３に格納する。

ステップＳ６８において、外部パラメータ推定部１５８は、カメラ４の取り付け位置の高さ推定を行う。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に登録された特徴点軌跡の情報と、ステップＳ６３、Ｓ６５及びＳ６７の処理により更新された外部パラメータ１２５とを用いた演算により、カメラ４の取り付け位置の高さ推定を行う。

外部パラメータ推定部１５８は、特徴点軌跡の長さと、車両情報から予想される理想軌跡の長さの差をあらわす目的関数を、公知の技術により高さに関して最小化することで高さ推定を実現する。目的関数は、全特徴点軌跡の長さと理想軌跡の長さの差を最小化するものとして設計する。従って、特徴点軌跡全体と理想軌跡の長さの差ができるだけ小さくなるように、すなわち理想俯瞰視点に近づくように高さが補正される。ステップＳ６９において、外部パラメータ推定部１５８は、外部パラメータ１２５の高さを、ステップＳ６８で推定した高さで書き換えて、ＲＡＭ１１３に格納する。

以上説明したように第１実施形態のキャリブレーション装置１００は、自車両１Ａに搭載され、画像取得部１５１、自車体認識部１５３、特徴点抽出部１５４及び外部パラメータ推定部１５８を備える。
画像取得部１５１には、自車両１Ａに搭載されたカメラ４の撮影画像が入力される。
自車体認識部１５３は、自車両１Ａの車体１０が撮影された撮影画像の領域に含まれる車体特徴点を抽出する。
特徴点抽出部１５４は、自車両１Ａの周囲の路面が撮影された撮影画像の領域に含まれる特徴点を抽出する。
外部パラメータ推定部１５８は、車体特徴点及び特徴点に基づき、自車両１Ａに対するカメラ４の設置状態を示す外部パラメータ１２５を校正する。

キャリブレーション装置１００は、自車両１Ａが走行する道路の幅方向の高さが一様ではなく、高低差がある場合であって、外部パラメータ１２５が、この道路の高低差の影響を受けて精度が得られないパラメータの場合には、自車両１Ａの車体１０から抽出した車体特徴点に基づいてカメラ４の設置状態を示す外部パラメータ１２５を校正する。また、外部パラメータ１２５が、道路の影響が少なく、精度の低下が少ないパラメータである場合には、自車両１Ａの周囲の路面から抽出した特徴点に基づいてカメラ４の設置状態を示す外部パラメータ１２５を校正する。従って、外部パラメータ１２５の校正を高精度に行うことができる。

外部パラメータ推定部１５８が校正する外部パラメータ１２５には、自車両１Ａに対するカメラの姿勢角であるピッチ角が含まれる。外部パラメータ推定部１５８は、撮影画像が、自車両１Ａの側方を撮影した撮影画像である場合、自車両１Ａの車体１０が撮影された撮影画像の領域から抽出した車体特徴点に基づいてピッチ角を校正する。従って、道路の幅方向の高低差の影響を受けて精度が得られない外部パラメータ１２５であるピッチ角の校正を高精度に行うことができる。

外部パラメータ推定部１５８が校正する外部パラメータ１２５には、自車両１Ａに対するカメラの姿勢角であるヨー角及びロール角が含まれる。外部パラメータ推定部１５８は、撮影画像が、自車両１Ａの側方を撮影した撮影画像である場合、自車両１Ａの周囲の路面が撮影された撮影画像の領域に含まれる特徴点を抽出して、ヨー角及びロール角を校正する。
従って、道路の幅方向の高低差の影響が少ないヨー角及びロール角を、路面の撮影画像から抽出した特徴点に基づいて校正することで、ヨー角及びロール角を高精度に校正することができる。

自車両１Ａの車体１０の車体設計情報１２４を記憶したＲＯＭ１１１を備える。
外部パラメータ推定部１５８は、自車体認識部１５３により抽出された車体特徴点が、車体設計情報１２４に基づいて算出される車体特徴点の位置に一致するように、ピッチ角を校正する。
従って、ピッチ角の校正を車体特徴点に基づいて高精度に行うことができる。

また、特徴点抽出部１５４は、複数の撮影画像から徴点を抽出する。キャリブレーション装置１００は、特徴点抽出部１５４により抽出される特徴点を追跡して特徴点軌跡を求める追跡部１５５を備える。
外部パラメータ推定部１５８は、追跡部１５５により求められた特徴点軌跡を対象として選択し、選択した特徴点軌跡に基づきヨー角及びロール角を校正する。従って、ヨー角及びロール角を高精度に校正することができる。

また、自車体認識部１５３は、撮影画像が、自車両１Ａの側方を撮影した撮影画像である場合、特徴点として、自車両１Ａの側面の下端エッジを抽出する。
従って、撮影画像から特徴点として抽出しやすく、抽出した特徴点に基づいてピッチ角の校正を高精度に行うことができる。

［第２実施形態］
上述した第１の実施の形態では、カメラ４がサイドカメラである場合について説明した。本実施形態では、カメラ４が、自車両１Ａの前方を撮影するフロントカメラ、又は自車両１Ａの後方を撮影するリアカメラである場合の外部パラメータ１２５の校正について説明する。カメラ４が、フロントカメラ又はリアカメラである場合、カメラ４の撮影画像には、車体１０の一部としてフロントバンパーやリアバンパーが撮影される。

図１１は、カメラ４が、フロントカメラ及びリアカメラの少なくとも一方である場合の外部パラメータ推定部１５８の動作を表すフローチャートである。図１０に示すフローチャートを参照しながら外部パラメータ推定部１５８の動作を説明する。外部パラメータ推定部１５８は、実施判定部１５７から実行指令が入力されるごとに、以下の動作を実行する。以下に説明する各ステップの実行主体はプロセッサ１５０である。

ステップＳ１１１において、外部パラメータ推定部１５８は、ピッチ角の推定を行う。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に登録された特徴点軌跡の情報と、ＲＡＭ１１３に格納された外部パラメータ１２５とを用いた演算によりピッチ角の推定を行う。外部パラメータ推定部１５８は、特徴点軌跡の平行性を評価する目的関数を設計し、設計した目的関数を公知の技術によりピッチ角に関して最小化することでピッチ角を推定する。

設計した目的関数は、２本の特徴点軌跡の平行性を評価する関数を基本とする。外部パラメータ推定部１５８は、２本の特徴点軌跡のペアを複数作成し、複数作成した特徴点軌跡のペアの全ての目的関数の総和を、ピッチ角を推定する目的関数として設計する。このため、特徴点軌跡の全体が、できるだけ平行になるようにピッチ角が補正される。

選択される特徴点軌跡のペアは、自車両１Ａの中心よりも左側の特徴点軌跡と、自車両１Ａの中心よりも右側の特徴点軌跡、換言すると、自車両１Ａの進行方向の左側の特徴点軌跡と、自車両１Ａの進行方向の右側の特徴点軌跡とを組み合わせる。また、選択される特徴点軌跡のペアとして、考えられる全ての組み合わせを選択してもよいし、その中から幾つか選択したもののみでもよい。ステップＳ６７において、外部パラメータ推定部１５８は、外部パラメータ１２５のロール角を、推定したロール角で書き換え、書き換えたロール角をＲＡＭ１１３に格納する。

ステップＳ１１２において、外部パラメータ推定部１５８は、ヨー角の推定を行う。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に登録された特徴点軌跡の情報と、ステップＳ１１１において更新されたピッチ角の外部パラメータ１２５とを用いた演算により、ヨー角を推定する。

外部パラメータ推定部１５８は、特徴点軌跡の垂直性、すなわち特徴点軌跡が俯瞰図において進行方向に沿う程度を評価する目的関数を設計する。外部パラメータ推定部１５８は、設計した目的関数を、公知の技術によりヨー角に関して最小化することで、ヨー角推定を実現する。ここで設計される目的関数は、１本の特徴点軌跡の垂直性を評価する関数を基本とし、全ての特徴点軌跡に関する目的関数の総和を、ピッチ角を推定する目的関数として設計する。従って、特徴点軌跡の全体が、できるだけ垂直方向を向くようにヨー角が算出される。外部パラメータ推定部１５８は、外部パラメータ１２５のヨー角を、推定したヨー角で書き換え、書き換えたヨー角をＲＡＭ１１３に格納する。

ステップＳ１１３において、外部パラメータ推定部１５８は、ステップＳ１１１において推定したピッチ角、及びステップＳ１１２において推定したヨー角の座標変換を行う。ステップＳ１１１で推定したピッチ角、及びステップＳ１１２で推定したヨー角は、路面を基準としたパラメータである。一方、この後のステップＳ１０４で推定するロール角は、自車両１Ａの車体１０を基準としたパラメータである。異なる基準で算出されたパラメータは、そのまま使用すると整合が取れないため、ピッチ角及びヨー角の座標変換を行う。外部パラメータ推定部１５８は、路面を基準とするパラメータであるピッチ角及びヨー角を、自車両１Ａの車体１０を基準とするパラメータとなるように座標変換する。外部パラメータ推定部１５８は、座標変換したピッチ角及びヨー角をＲＡＭ１１３に格納する。

ステップＳ１１４において、外部パラメータ推定部１５８は、ロール角を推定する。外部パラメータ推定部１５８は、ＲＡＭ１１３に格納した外部パラメータ１２５と、車体設計情報１２４と、自車体認識部１５３で認識された車体１０のエッジとを用いた演算によりロール角を推定する。

外部パラメータ推定部１５８は、自車体認識部１５３で認識された車体１０のエッジが、車体設計情報１２４から計算されるカメラ４の理想位置に設置された場合に映るはずの車体１０のエッジに一致するようにロール角を補正する。この場合の車体１０のエッジは、例えばバンパーとなる。外部パラメータ推定部１５８は、車体１０のエッジの一致度を評価する目的関数を設計し、設計した目的関数を公知の技術によりロール角に関して最小化することでロール角を推定する。外部パラメータ推定部１５８は、外部パラメータ１２５のロール角を、ステップＳ１１４で推定したロール角により書き換え、ＲＡＭ１１３に格納する。

ステップＳ１１５において、外部パラメータ推定部１５８は、高さ推定を行う。外部パラメータ推定部１５８は、特徴点登録テーブル１２６に登録された特徴点軌跡の情報と、ステップＳ１１４の処理により更新された外部パラメータ１２５とを用いた演算により、車体１０に取り付けられたカメラ４の路面からの高さを推定する。

外部パラメータ推定部１５８は、特徴点軌跡の長さと、車両情報から予想される理想軌跡の長さの差をあらわす目的関数を、公知の技術により高さに関して最小化することでカメラ４の路面からの高さを推定する。目的関数は、全特徴点軌跡の長さと理想軌跡の長さの差を最小化するものとして設計する。従って、特徴点軌跡の全体と理想軌跡の長さとの差ができるだけ小さくなるように、すなわち理想俯瞰視点に近づくように高さが補正される。外部パラメータ推定部１５８は、外部パラメータ１２５の高さを、推定した高さで書き換えて、ＲＡＭ１１３に格納する。

第２実施形態の外部パラメータ推定部１５８は、撮影画像が、自車両１Ａの前方又は後方を撮影した撮影画像である場合、自車両１Ａの車体１０が撮影された撮影画像の領域から抽出した車体特徴点に基づいてロール角を校正する。従って、道路の幅方向の高低差の影響を受けて精度が得られない外部パラメータ１２５であるロール角の校正を高精度に行うことができる。

また、外部パラメータ推定部１５８は、撮影画像が、自車両１Ａの前方又は後方を撮影した撮影画像である場合、自車両１Ａの周囲の路面が撮影された撮影画像の領域に含まれる特徴点を抽出して、ピッチ角及びヨー角を校正する。従って、道路の幅方向の高低差の影響が少ないピッチ角及びヨー角を、路面の撮影画像から抽出した特徴点に基づいて校正することで、ピッチ角及びヨー角を高精度に校正することができる。

自車両１Ａの車体１０の車体設計情報１２４を記憶したＲＯＭ１１１を備える。
外部パラメータ推定部１５８は、自車体認識部１５３により抽出された車体特徴点が、車体設計情報１２４に基づいて算出される車体特徴点の位置に一致するように、ロール角を校正する。従って、ピッチ角の校正を車体特徴点に基づいて高精度に行うことができる。

また、特徴点抽出部１５４は、複数の撮影画像から徴点を抽出する。キャリブレーション装置１００は、特徴点抽出部１５４により抽出される特徴点を追跡して特徴点軌跡を求める追跡部１５５を備える。外部パラメータ推定部１５８は、追跡部１５５により求められた特徴点軌跡を対象として選択し、選択した特徴点軌跡に基づきピッチ角及びヨー角を校正する。従って、ピッチ角及びヨー角を高精度に校正することができる。

また、自車体認識部１５３は、撮影画像が、自車両１Ａの側方を撮影した撮影画像である場合、特徴点として、自車両１Ａに搭載されたバンパーを抽出する。従って、撮影画像から特徴点として抽出しやすく、抽出した特徴点に基づいてロール角の校正を高精度に行うことができる。

上述した第１実施形態及び第２実施形態は、本発明の好適な実施の形態である。ただし、本発明は、上述した第１実施形態及び第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した第１実施形態及び第２実施形態では、外部パラメータ１２５のキャリブレーションについて説明したが、キャリブレーション装置１００は内部パラメータのキャリブレーションも行ってもよい。また、上述した第１実施形態及び第２実施形態において、プログラムはＲＯＭ１１１に格納されるとしたが、プログラムはフラッシュメモリ１１５に格納されていてもよい。

また、キャリブレーション装置１００をコンピュータにより実現する場合、コンピュータに実行させるプログラムを、このプログラムを記録した記録媒体からキャリブレーション装置１００に読み込む構成としてもよい。例えば、キャリブレーション装置１００は、Ｉ／Ｏインターフェイス６に記録媒体の接続が検出されると、接続された記録媒体に記録されたプログラムを読み込み、キャリブレーション装置１００にインストールする。記録媒体には、磁気的又は光学的にデータを記録する記録媒体や、半導体メモリーデバイスを用いることができる。具体的には、記録媒体には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスクが挙げられる。また、記録媒体として、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体を挙げることもできる。また、記録媒体を、キャリブレーション装置１００が備えるメモリ１１０の不揮発性記憶装置として構成してもよい。

また、キャリブレーション装置１００をコンピュータにより実現する場合、コンピュータに実行させるプログラムは、キャリブレーション装置１００がアクセス可能なネットワーク上のサーバ装置に格納されていてもよい。キャリブレーション装置１００は、サーバ装置からプログラムをダウンロードし、ダウンロードしたプログラムをインストールして実行する。

１Ａ 自車両
１Ｂ 他車両
２ 車速センサ
３ 舵角センサ
４ カメラ
４Ａ 左カメラ
４Ｂ 右カメラ
５ 通信インターフェイス
６ Ｉ／Ｏインターフェイス
１０ 車体
１００ キャリブレーション装置
１１０ メモリ
１１１ ＲＯＭ
１１３ ＲＡＭ
１１５ フラッシュメモリ
１２１ 走行中キャリブレーションプログラム
１２２ カメラ利用プログラム
１２３ 外部パラメータ初期値
１２４ 車体設計情報
１２５ 外部パラメータ
１２６ 特徴点登録テーブル
１２６Ａ 左特徴点登録テーブル
１２６Ｂ 右特徴点登録テーブル
１５０ プロセッサ
１５１ 画像取得部
１５２ 車両情報取得部
１５３ 車体認識部
１５４ 特徴点抽出部
１５５ 追跡部
１５６ 蓄積部
１５７ 実施判定部
１５８ 外部パラメータ推定部
１５９ 採否判定部
１６０ 距離検出部
１６１ 表示制御部
１００１〜１００４ 特徴点識別子

Claims (13)

1. 車両に搭載されたキャリブレーション装置であって、
   前記車両に搭載されたカメラの撮影画像のうち、前記車両の周囲の路面が撮影された前記撮影画像の領域に含まれる第１特徴点を抽出する第１特徴点抽出部と、
   前記撮影画像のうち、前記車両の車体が撮影された前記撮影画像の領域に含まれる第２特徴点を抽出する第２特徴点抽出部と、
   前記第１特徴点及び前記第２特徴点に基づき、前記車両に対する前記カメラの設置状態を示すパラメータを校正する校正部と、
   を備えることを特徴とするキャリブレーション装置。
2. 前記校正部が校正する前記パラメータには、前記車両に対する前記カメラの姿勢角であるピッチ角が含まれ、
   前記校正部は、前記撮影画像が、前記車両の側方を撮影した撮影画像である場合、前記第２特徴点に基づいて前記ピッチ角を校正する、ことを特徴とする請求項１記載のキャリブレーション装置。
3. 前記校正部が校正する前記パラメータには、前記車両に対する前記カメラの姿勢角であるヨー角及びロール角が含まれ、
   前記校正部は、前記撮影画像が、前記車両の側方を撮影した撮影画像である場合、前記第１特徴点に基づいて前記ヨー角及び前記ロール角を校正する、ことを特徴とする請求項１又は２に記載のキャリブレーション装置。
4. 前記車両の車体の設計情報を記憶した記憶部を備え、
   前記校正部は、前記第２特徴点抽出部により抽出された前記第２特徴点が、前記設計情報に基づいて算出される前記第２特徴点の位置に一致するように、前記ピッチ角を校正する、ことを特徴とする請求項２記載のキャリブレーション装置。
5. 前記第１特徴点抽出部は、複数の前記撮影画像から前記第１特徴点を抽出し、
   前記第１特徴点抽出部により抽出される前記第１特徴点の移動軌跡を求める追跡部を備え、
   前記校正部は、前記追跡部により移動軌跡が求められた前記第１特徴点を対象として選択し、選択した前記対象の第１特徴点の移動軌跡に基づき前記ヨー角及び前記ロール角を校正する、ことを特徴とする請求項３記載のキャリブレーション装置。
6. 前記第２特徴点抽出部は、前記撮影画像が、前記車両の側方を撮影した撮影画像である場合、前記第２特徴点として、前記車両の側面の下端エッジを抽出する、ことを特徴とする請求項１から５のいずれか一項に記載のキャリブレーション装置。
7. 前記校正部が校正する前記パラメータには、前記車両に対する前記カメラの姿勢角であるロール角が含まれ、
   前記校正部は、前記撮影画像が、前記車両の前方又は後方を撮影した撮影画像である場合、前記第２特徴点に基づいて前記ロール角を校正する、ことを特徴とする請求項１記載のキャリブレーション装置。
8. 前記校正部が校正する前記パラメータには、前記車両に対する前記カメラの姿勢角であるピッチ角及びヨー角が含まれ、
   前記校正部は、前記撮影画像が、前記車両の前方又は後方を撮影した撮影画像である場合、前記第１特徴点に基づいて前記ピッチ角及び前記ヨー角を校正する、ことを特徴とする請求項１又は７に記載のキャリブレーション装置。
9. 前記車両の車体の設計情報を記憶した記憶部を備え、
   前記校正部は、前記第２特徴点抽出部により抽出された前記第２特徴点が、前記設計情報に基づいて算出される前記第２特徴点の位置に一致するように、前記ロール角を校正する、ことを特徴とする請求項７記載のキャリブレーション装置。
10. 前記第１特徴点抽出部は、複数の前記撮影画像から前記第１特徴点を抽出し、
    前記第１特徴点抽出部により抽出される前記第１特徴点の移動軌跡を求める追跡部を備え、
    前記校正部は、前記追跡部により移動軌跡が求められた前記第１特徴点を対象として選択し、選択した前記対象の第１特徴点の移動軌跡に基づき前記ピッチ角及び前記ヨー角を校正する、ことを特徴とする請求項８記載のキャリブレーション装置。
11. 前記第２特徴点抽出部は、前記撮影画像が、前記車両の前方又は後方を撮影した撮影画像である場合、前記第２特徴点として、バンパーのエッジを抽出する、ことを特徴とする請求項１、７、８、９及び１０のいずれか一項に記載のキャリブレーション装置。
12. 前記第１特徴点抽出部は、前記第１特徴点として、路面に表示された路面標示に含まれるエッジとエッジとの交点であるコーナーエッジを抽出する、ことを特徴とする請求項１から１１のいずれか一項に記載のキャリブレーション装置。
13. 車両に搭載されたカメラの設置状態を示すパラメータを生成するキャリブレーション方法であって、
    前記カメラの撮影画像のうち、前記車両の周囲の路面が撮影された前記撮影画像の領域に含まれる第１特徴点を抽出する第１抽出ステップと、
    前記撮影画像のうち、前記車両の車体が撮影された前記撮影画像の領域に含まれる第２特徴点を抽出する第２抽出ステップと、
    前記第１特徴点及び前記第２特徴点に基づき、前記車両に対する前記カメラの設置状態を示すパラメータを校正する校正ステップと、
    を有することを特徴とするキャリブレーション方法。

Images