JP2013131885A - パラメータ取得装置、パラメータ取得方法、及び、プログラム - Google Patents

Abstract

【課題】照明環境に関わらず精度の高い設置パラメータを導出する。
【解決手段】キャリブレーション処理において、点滅するハザードランプ８３に照明されたマークＭを、カメラ５が連続的に所定時間にわたって撮影することで複数の画像を取得する。車載装置２の特徴量導出部は、これら複数の画像のそれぞれのマーク像の明瞭度合いを示す特徴量を導出する。そして、画像選択部が複数の画像のうちから特徴量に基づいて一の画像を選択し、パラメータ導出部が選択された画像中のマーク像に基づいて設置パラメータを導出する。複数の画像には、様々な強度の照明光の照明下で撮影された画像が含まれる。したがって、マーク像が明瞭となる強度の照明光の照明下で撮影された画像に基づいて設置パラメータを導出することができるため、作業場の照明環境に関わらず精度の高い設置パラメータを導出できる。
【選択図】図１

Description

本発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得する技術に関する。

従来より、自動車などの車両に搭載されたカメラで車両の周辺を撮影して得られた画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。

カメラを車両に設置した場合においては、カメラの光軸に関して設計上の位置に対してわずかに誤差が発生する。このようなカメラの光軸の誤差に起因して、当該カメラで取得された画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。

このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得するキャリブレーション処理がなされている（例えば、特許文献１参照。）。

車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、画像中の被写体の像の位置を補正することができる。

特開２００８−２０９３５４号公報

ところで一般に、キャリブレーション処理は、車両の外部に配置された所定の模様あるいは形状のマークをカメラで撮影し、得られた画像をディスプレイに表示させ、その画像中に含まれるマークの像の特定部分をユーザ（作業員等）が指定することで行われる。

また、キャリブレーション処理は、車両工場や車両整備場などの様々な作業場で実行されるようになっている。このようなキャリブレーション処理を実行する様々な作業場における照明環境を統一することは難しい。

このため、作業場によっては照明光が暗すぎるなど、照明環境に起因して画像中に含まれるマークの像が不明瞭となる場合がある。このような場合は、ユーザがマークの像の特定部分を正確に指定することが難しくなるため、精度の高い設置パラメータを安定して取得することができない。

この問題に対応するため、マークをカメラで撮影する際に、補助光源として車両が備える灯火装置（ヘッドランプ等）などを用いてマークを照明することも考えられる（例えば、特許文献１参照。）。しかしながら、補助光源でマークを一律に照明したとすると、作業場によっては逆にマークを照明する証明光が明るくなりすぎ、画像中に含まれるマークの像が不明瞭となる可能性がある。

本発明は、上記課題に鑑みてなされたものであり、照明環境に関わらず精度の高い設置パラメータを導出できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影することで得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する第１導出手段と、前記複数の画像のうちから、前記特徴量に基づいて画像を選択する選択手段と、前記選択手段に選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する第２導出手段と、を備えている。

また、請求項２の発明は、請求項１に記載のパラメータ取得装置において、前記特徴量は、前記画像のコントラストを含む。

また、請求項３の発明は、請求項１または２に記載のパラメータ取得装置において、前記選択手段は、選択した前記画像を、映像信号の同期タイミングに合わせて連続的に前記第２導出手段に出力する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載のパラメータ取得装置において、前記所定時間は、前記光源の点滅の一周期である。

また、請求項５の発明は、請求項１ないし４のいずれかに記載のパラメータ取得装置において、前記光源は、前記車両に設けられる灯火装置である。

また、請求項６の発明は、請求項５に記載のパラメータ取得装置において、前記灯火装置は、所定の周期で点滅するハザードランプである。

また、請求項７の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、（ａ）点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影する工程と、（ｂ）前記工程（ａ）で得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する工程と、（ｃ）前記複数の画像のうちから、前記特徴量に基づいて画像を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する工程と、を備えている。

また、請求項８の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、（ａ）点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影することで得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する工程と、（ｂ）前記複数の画像のうちから、前記特徴量に基づいて画像を選択する工程と、（ｃ）前記工程（ｂ）で選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する工程と、を実行させる。

請求項１ないし８の発明によれば、点滅する光源に照明されたマークを連続的に撮影することで得られる複数の画像のうちから、マークの像の明瞭度合いを示す特徴量に基づいて画像を選択する。そして、選択された画像に基づいて設置パラメータを導出する。複数の画像には、様々な強度の照明光の照明下で撮影された画像が含まれる。したがって、マークの像が明瞭となる強度の照明光の照明下で撮影された画像に基づいて設置パラメータを導出することができるため、照明環境に関わらず精度の高い設置パラメータを導出できる。

また、特に請求項２の発明によれば、マークの像の明瞭度合いを示す特徴量を容易に導出できる。

また、特に請求項３の発明によれば、選択した画像を第２導出手段に容易に受け渡すことができる。

また、特に請求項４の発明によれば、光源の点滅の一周期以上にわたって連続的に撮影することで複数の画像を取得するため、複数の画像にマークの像が最も明瞭となる強度の照明光の照明下で撮影された画像を含めることができる。

また、特に請求項５の発明によれば、車両の灯火装置を光源として用いるため、光源を容易に確保することができる。

また、特に請求項６の発明によれば、通常の動作として所定の周期で点滅するハザードランプを光源として用いるため、光源の点滅制御を不要とすることができる。

図１は、キャリブレーションシステムの概要を示す図である。 図２は、複数のカメラの配置及び撮影方向を示す図である。 図３は、車載装置の構成を示す図である。 図４は、画像合成部が合成画像を生成する手法を説明する図である。 図５は、画像中で利用する領域の修正を説明する図である。 図６は、キャリブレーション画像の一例を示す図である。 図７は、パラメータ導出処理で表示される画面の一例を示す図である。 図８は、キャリブレーション画像の一例を示す図である。 図９は、キャリブレーション画像の一例を示す図である。 図１０は、ハザードランプの駆動状態を示す図である。 図１１は、時間的に連続的に取得された画像中のコントラストの変化を示す図である。 図１２は、車載装置の動作の流れを示す図である。 図１３は、画像選択処理の詳細な流れを示す図である。 図１４は、画像中のマークの像を含む領域を説明する図である。 図１５は、パラメータ導出処理で表示される画面の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．システムの概要＞
図１は、キャリブレーションシステム１０の概要を示す図である。このキャリブレーションシステム１０は、車両（本実施の形態では自動車）９に搭載される複数のカメラ５の設置に関する設置パラメータを取得するキャリブレーション処理に用いられる。キャリブレーションシステム１０は、車両９に搭載される複数のカメラ５及び車載装置２、並びに、車両９の外部に配置される４つの標識体７を備えている。

車載装置２は、複数のカメラ５で撮影して得られる複数の画像に基づいて、これら複数のカメラ５それぞれの設置に関する設置パラメータを取得する。この設置パラメータは、カメラの設置誤差（光軸の設計上の位置に対する誤差）を示すものであり、例えば、ロール角、チルト角、及び、パン角などである。

４つの標識体７はそれぞれ、所定模様のマークＭが主面に形成された鉄板やプラスチック板などの板状体である。これら複数の標識体７は、車両工場や車両整備場などのキャリブレーション処理を実行する作業場に固定的に配置される。

４つの標識体７は、車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４にそれぞれ配置される。４つの標識体７にはそれぞれ、所定の模様のマークＭが含まれている。マークＭの模様は、例えば、二色の正方形を交互に配した市松模様である。この模様を形成する二色のうちの一方は相対的に暗い色（例えば、黒）、他方は相対的に明るい色（例えば、白）となっている。

一般に、このような作業場の天井などには、作業場全体を照明する光源（以下、「通常光源」という。）が取り付けられている。４つの標識体７が配置される領域Ａ１，Ａ２，Ａ３，Ａ４を含む車両９の周辺は、この通常光源によって照明される。ただし、この通常光源からの照明光の明るさは、作業場によって異なる。

キャリブレーション処理を実行する場合には、このような作業場の所定位置に、略正確に車両９が正対装置などにより停車される。これにより、４つの標識体７の車両９に対する相対的な位置は略一定となる。この状態で、車両９に搭載されたカメラ５が、標識体７を含む車両９の周囲を撮影して画像を取得する。

車載装置２は、このようにして得られた画像に含まれるマークＭの像の特定部分の位置に基づいてカメラ５の設置パラメータを導出する。マークＭの像の特定部分の位置は、ユーザ（作業員等）が指定することになる。車載装置２は、カメラ５の設置に関する設置パラメータを取得するパラメータ取得装置であるともいえる。

このようなキャリブレーション処理は、車両９に複数のカメラ５を取り付けた際に実行される。キャリブレーション処理で得られた設置パラメータは、車載装置２に記憶され、車載装置２が実行する画像処理において利用される。

また、車両９には、通常の走行に用いる灯火装置として、ヘッドランプ８１、テールランプ８２、及び、ハザードランプ８３などが設けられている。ヘッドランプ８１は車両９の前方に設けられて車両９の前方を照明し、テールランプ８２は車両９の後方に設けられて車両９の後方を照明する。

また、ハザードランプ８３は、車両９の左前方、右前方、左後方、及び、右後方にそれぞれ設けられ、車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４をそれぞれ照明可能である。４つのハザードランプ８３は、同一のタイミング、かつ、所定の周期で点滅する。キャリブレーションシステム１０では、キャリブレーション処理を実行する際に、通常光源に加えて、補助光源としてこのハザードランプ８３に車両９の周囲を照明させるようになっている。

＜２．車載カメラ＞
図２は、複数のカメラ５の配置及び撮影方向を示す図である。複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す画像を電子的に取得する。複数のカメラ５はそれぞれ、車載装置２とは別に車両９の適位置に配置され、取得した画像を車載装置２に入力する。

複数のカメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられる。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられる。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５によって重複して撮影することが可能となっている。このように２つのカメラ５によって重複して撮影可能な４つの領域Ａ１，Ａ２，Ａ３，Ａ４に、４つの標識体７がそれぞれ配置される（図１参照。）。

＜３．車載装置＞
図３は主に、車載装置２の構成を示す図である。図に示すように、車載装置２は、４つのカメラ５と通信可能に接続されている。車載装置２は、４つのカメラ５でそれぞれ得られた４つの画像を合成して仮想視点からみた車両９の周辺の様子を示す合成画像を生成し、この合成画像を表示する機能を備えている。車載装置２は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。

車載装置２は、ディスプレイ２６と、操作部２５と、画像取得部２２と、画像合成部２３と、記憶部２４と、信号送信部２７と、制御部２１とを備えている。

ディスプレイ２６は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ２６は、その画面がユーザから視認可能なように、車両９の車室内のインストルメントパネルなどに配置される。

操作部２５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２６の画面に重ねて設けられ、操作ボタンはディスプレイ２６の画面の周囲に設けられる。ユーザが操作部２５を操作した場合は、その操作の内容を示す信号が制御部２１に入力される。

画像取得部２２は、４つのカメラ５から、各カメラ５で得られた画像を取得する。画像取得部２２は、アナログの画像をデジタルの画像に変換する機能など基本的な画像処理機能を有している。画像取得部２２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部２３及び制御部２１に入力する。

画像合成部２３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部２３は、４つのカメラ５でそれぞれ取得された４つの画像を用いて、任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する。画像合成部２３が仮想視点からみた合成画像を生成する手法については後述する。

記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、設置パラメータ２４ａ、及び、プログラム２４ｂを記憶している。設置パラメータ２４ａは、キャリブレーション処理により取得されたものである。記憶部２４には、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒそれぞれに対応する設置パラメータ２４ａが記憶される。このような設置パラメータ２４ａは、画像合成部２３が合成画像を生成する際に利用される。また、プログラム２４ｂは車載装置２のファームウェアである。

信号送信部２７は、車両９に設けられた車載装置２以外の装置へ、制御信号を出力する。信号送信部２７は、例えば、ハザードランプ８３を含む灯火装置を制御する灯火制御装置８０へ制御信号を送信する。灯火制御装置８０は、通常は、ユーザ（ドライバ）の操作に応じて、ヘッドランプ８１及びテールランプ８２をオン（点灯）／オフ（滅灯）させ、あるいは、ハザードランプ８３を点滅させる。また、灯火制御装置８０は、外部からの制御信号に応答して、ヘッドランプ８１及びテールランプ８２をオン／オフさせたり、ハザードランプ８３を点滅させることも可能である。灯火制御装置８０は、例えば、ウィンカーリレーを用いてハザードランプ８３を点滅させる。ウィンカーリレーは、通電すると接点部分が所定の周期でオン／オフを繰り返す素子である。

制御部２１は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す照明制御部２１ａ、特徴量導出部２１ｂ、画像選択部２１ｃ、及び、パラメータ導出部２１ｄは、プログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。

照明制御部２１ａは、ハザードランプ８３を含む灯火装置の動作を制御する。照明制御部２１ａは、信号送信部２７を介して灯火制御装置８０に制御信号を送信することで、灯火装置の動作を制御する。照明制御部２１ａは、ハザードランプ８３の点滅の開始、及び、点滅の終了を指示することができる。また、特徴量導出部２１ｂ、画像選択部２１ｃ、及び、パラメータ導出部２１ｄは、キャリブレーション処理に係る処理を実行することになるが、その詳細は後述する。

＜４．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。

車載装置２のフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両９の全周囲のデータが含まれている。

画像合成部２３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９が存在する位置として定められている。一方、投影面ＴＳの中心以外の部分は、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられている。画像合成部２３は、投影面ＴＳの中心以外の部分に、画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータを投影する。

画像合成部２３は、投影面ＴＳにおいて車両９の前方に相当する領域に、フロントカメラ５Ｆの画像ＧＦのデータを投影する。また、画像合成部２３は、投影面ＴＳにおいて車両９の後方に相当する領域に、バックカメラ５Ｂの画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影面ＴＳにおいて車両９の左側方に相当する領域に左サイドカメラ５Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて車両９の右側方に相当する領域に右サイドカメラ５Ｒの画像ＧＲのデータを投影する。

４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ５それぞれの設置誤差に応じて変化する。このため、画像合成部２３は、記憶部２４に記憶された４つのカメラ５それぞれの設置パラメータ２４ａ（ロール角、チルト角、パン角など）を用いて、画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。

例えば、図５に示すフロントカメラ５Ｆで取得された画像ＧＦを例に説明する。仮にフロントカメラ５Ｆに関して設置誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域Ｒ１となる。通常はフロントカメラ５Ｆに関して設置誤差が存在することから、画像合成部２３は、フロントカメラ５Ｆの設置パラメータ２４ａに基づいて、投影面ＴＳに投影する領域を領域Ｒ１から領域Ｒ２に修正する。そして、画像合成部２３は、この領域Ｒ２に含まれるデータを投影面ＴＳに投影することになる。

図４に戻り、このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

次に、画像合成部２３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２３は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定することができる。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部２３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。

例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成されることになる。

このような合成画像ＣＰの生成において設置パラメータの精度が低い場合には、４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが整合なく合成されてしまい、画像同士の接続部分で被写体の像が分断されるなど不適切な合成画像ＣＰが生成される可能性がある。このため、適切な合成画像ＣＰを生成するためには、精度の高い設置パラメータが必要となる。

＜５．キャリブレーション処理＞
次に、設置パラメータを取得するキャリブレーション処理の概要について説明する。キャリブレーション処理は、図１に示すように４つの標識体７が予め配置された作業場の所定位置に車両９を停車させた状態で実行される。キャリブレーション処理では、標識体７のマークＭを含む車両９の周辺の領域がカメラ５で撮影される。そして、この撮影により得られた画像が、キャリブレーション処理のための画像（以下、「キャリブレーション画像」という。）として利用される。

図６は、キャリブレーション画像Ｇ１の例を示す図である。図６では、フロントカメラ５Ｆで取得された画像を、キャリブレーション画像Ｇ１の一例として示している。図に示すようにキャリブレーション画像Ｇ１には、左側及び右側にそれぞれマークＭの像（以下、「マーク像」という。）Ｐｍが含まれる。

このキャリブレーション画像Ｇ１は、図７に示すようにディスプレイ２６の画面に表示される。ユーザは、図７に示すような画面を参照して、キャリブレーション画像Ｇ１中に含まれる２つのマーク像Ｐｍの中心位置（市松模様の二色の境界線が交差する位置）を指定する。ユーザは、画面に表示された２つのカーソルＣをそれぞれ移動させることで、２つのマーク像Ｐｍそれぞれの中心位置を指定する。

図７に示すディスプレイ２６の画面には、切替ボタンＢ１と、上下左右の４方向をそれぞれ示す４つの方向ボタンＢ２と、完了ボタンＢ３とが表示される。ユーザは、４つの方向ボタンＢ２に触れることで、２つのカーソルＣのうち移動対象となる一方のカーソルを移動させることができる。また、ユーザは、切替ボタンに触れることで、移動対象となるカーソルを、もう一方のカーソルに切り替えることができる。ユーザは、これらのコマンドボタンＢ１，Ｂ２に触れることで、２つのカーソルＣを２つのマーク像Ｐｍの中心位置にそれぞれ移動させる。また、ユーザは、完了ボタンＢ３に触れることで、キャリブレーション画像Ｇ１中に２つのカーソルＣで指定した位置を、指定位置として確定することができる。

キャリブレーション処理では、このようにユーザに指定された指定位置に基づいて、パラメータ導出部２１ｄが所定の演算を行って、キャリブレーション画像Ｇ１を取得したカメラ５の設置パラメータを導出する。パラメータ導出部２１ｄは、例えば、キャリブレーション画像Ｇ１中の左側の指定位置と右側の指定位置との高さの差に基づいてロール角を導出し、左右の指定位置の上下の位置に基づいてチルト角を導出し、画像Ｇ１中の指定位置の左右の位置に基づいてパン角を導出する。

キャリブレーション処理では、このようなユーザの指定位置に基づいて設置パラメータを導出する処理（以下、「パラメータ導出処理」という。）が４つのカメラ５の全てに関して行われる。これにより、４つのカメラ５の全ての設置パラメータが取得されることになる。

パラメータ導出処理では、ユーザがマーク像Ｐｍの中心位置を指定することになるため、キャリブレーション画像Ｇ１中に含まれるマーク像Ｐｍが明瞭である必要がある。しかしながら、キャリブレーション処理を行う際の作業場の照明環境によっては、不明瞭なマーク像Ｐｍを含むキャリブレーション画像Ｇ１が取得される可能性がある。

例えば、マークＭを照明する照明光が比較的暗い場合は、図８に示すように、全体的に輝度の低いキャリブレーション画像Ｇ１が取得される。このキャリブレーション画像Ｇ１は、暗い色の部分と明るい色の部分との差（コントラスト）がはっきりしない不明瞭なマーク像Ｐｍを含むことになる。

また、キャリブレーション画像Ｇ１を取得する際に、通常光源とは別に補助光源で車両９の周囲を一律に照明することも考えられる。しかしながら、この場合において、通常光源の照明光の明るさが十分である場合は、マークＭを照明する照明光が明るくなりすぎる。その結果、図９に示すように、全体的に輝度の高いキャリブレーション画像Ｇ１が取得される。このキャリブレーション画像Ｇ１も、暗い色の部分と明るい色の部分との差（コントラスト）がはっきりしない不明瞭なマーク像Ｐｍを含むことになる。

仮に、図８や図９に示すような不明瞭なマーク像Ｐｍを含むキャリブレーション画像Ｇ１を用いて、パラメータ導出処理を行った場合には、ユーザがマーク像Ｐｍの中心位置を正確に指定することが難しくなるため、精度の高い設置パラメータを安定して取得することができなくなる。

このため、本実施の形態のキャリブレーションシステム１０では、キャリブレーション処理を実行する際に、通常光源の照明に加えて、ハザードランプ８３によってマークＭを含む車両９の周囲を照明するようになっている。

図１０は、時間を横軸として、ハザードランプ８３の駆動状態を示す図である。図に示すように、ハザードランプ８３は、所定の周期Ｔでオン（点灯）とオフ（滅灯）とを交互に繰り返す点滅する光源である。したがって、ハザードランプ８３の照明光の強度は時間的に変化し、その変化は周期Ｔで繰り返されることになる。このようなハザードランプ８３の点滅の一周期Ｔは、例えば１秒である。

一方で、カメラ５が撮影を繰り返す周期は、この点滅の一周期Ｔよりも十分に短い。カメラ５は、例えば３０ｆｐｓで画像を取得することが可能である。したがって、ハザードランプ８３の点滅の一周期Ｔのうちに、カメラ５は３０枚の画像を取得できる。このようにハザードランプ８３の点滅の一周期Ｔのうちに取得される３０枚の画像には、様々な強度の照明光の照明下で撮影された画像が含まれる。すなわち、これらの３０枚の画像には、様々な明瞭度合いのマーク像Ｐｍを含む画像が含まれることになる。

図１１は、時間を横軸として、ハザードランプ８３が点滅している状態で時間的に連続して取得された画像中のコントラストの変化を示す図である。画像中のコントラストは、マーク像Ｐｍの明瞭度合いを示す特徴量として利用できる。

図に示すように、画像中のコントラストは時間的に変化し、その変化はハザードランプ８３の点滅の周期Ｔと同一の周期で繰り返される。このため、ハザードランプ８３の点滅の一周期Ｔのうちに取得される３０枚の画像のうちには、コントラストが高くなる画像（すなわち、マーク像Ｐｍが明瞭となる画像）が含まれることになる。

本実施の形態のキャリブレーションシステム１０は、このようなハザードランプ８３の点滅の一周期Ｔのうちに取得される複数の画像のうちから、コントラストが最も高くなる一の画像を選択する。このようにして選択された画像は、マーク像Ｐｍが最も明瞭となる画像である。そして、キャリブレーションシステム１０は、その選択した一の画像をキャリブレーション画像Ｇ１として用いてパラメータ導出処理を行う。その結果、ユーザがマーク像Ｐｍの中心位置を正しく指定することができるため、精度の高い設置パラメータを安定的に導出できることになる。

このようなハザードランプ８３の点滅を利用した処理は、通常光源の照明光が比較的暗い場合のみならず、比較的明るい場合であっても適用することができる。通常光源の照明光が比較的暗い場合には、ハザードランプ８３がオン（点灯）の場合に取得された画像が、コントラストが最も高くなる画像として選択される。これに対して、通常光源の照明光が比較的明るい場合には、ハザードランプ８３がオフ（滅灯）の場合に取得された画像が、コントラストが最も高くなる画像として選択される。このため、本実施の形態のキャリブレーションシステム１０の処理は、作業場の元々の照明環境に関わらず適用できる。したがって、本実施の形態のキャリブレーションシステム１０は、作業場の照明環境に影響されずに、精度の高い設置パラメータを導出できることになる。

＜６．車載装置の動作＞
このようなハザードランプ８３の点滅の開始及び終了は、車載装置２の制御部２１が指示する。図１２は、制御部２１の処理を含む、キャリブレーション処理を行う際の車載装置２の動作の流れを示す図である。この図１２に示す動作は、車載装置２の操作部２５にユーザが所定の操作を行った場合に実行される。以下、この図を参照して、キャリブレーション処理を行う際の車載装置２の動作の流れについて説明する。

まず、制御部２１の照明制御部２１ａが、信号送信部２７を介して灯火制御装置８０に制御信号を送信して、ハザードランプ８３の点滅の開始を指示する（ステップＳ１１）。これにより、ハザードランプ８３が点滅を開始し、以降、ハザードランプ８３は所定の周期Ｔ（例えば、１秒）で点滅する。

次に、制御部２１は、４つのカメラ５のうちの一つのカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ１２）。選択された注目カメラは、車両９のマークＭを含む車両９の周辺の領域の撮影を開始する。以降、注目カメラは、車両９の周辺の領域を時間的に連続して撮影し、映像信号の同期タイミングの周期（例えば、１／３０秒周期）で画像を繰り返し取得する。

このようにして注目カメラで取得された画像は映像信号として車載装置２に出力され、画像取得部２２によって車載装置２に取得される。そして、制御部２１の画像選択部２１ｃは、注目カメラで取得された画像を順次に制御部２１のＲＡＭに蓄積する。この処理を継続することにより、ハザードランプ８３の点滅一周期Ｔにわたって注目カメラ５で連続的に撮影がなされ、この撮影で得られた複数の画像がＲＡＭに蓄積される。例えば、時間的に連続して取得された３０枚の画像がＲＡＭに記憶される（ステップＳ１３）。

点滅一周期Ｔ分の複数の画像がＲＡＭに蓄積されると、次に、画像選択部２１ｃは、ＲＡＭに蓄積された複数の画像からコントラストが最も高くなる一の画像を選択する画像選択処理を実行する（ステップＳ１４）。一方で、パラメータ導出部２１ｄは、画像選択処理において画像選択部２１ｃに選択された一の画像をキャリブレーション画像Ｇ１として用いたパラメータ導出処理を実行する（ステップＳ１５）。これら画像選択処理とパラメータ導出処理とは並列的に実行される。パラメータ導出処理では、上述したように、ユーザに指定された指定位置に基づいて注目カメラの設置パラメータが導出される。

パラメータ導出処理が完了するまでは（ステップＳ１６にてＮｏ）、画像選択部２１ｃは、画像選択処理（ステップＳ１４）を映像信号の同期タイミングの周期（１／３０秒周期）で繰り返し実行する。図１３は、画像選択処理（ステップＳ１４）の詳細な流れを示す図である。パラメータ導出処理が完了するまでは、図１３に示す処理が周期的に繰り返されることになる。

まず、画像選択部２１ｃは、ＲＡＭに蓄積している画像を更新する（ステップＳ２１）。具体的には、画像選択部２１ｃは、注目カメラで新規に取得された画像をＲＡＭに記憶するとともに、最も古い画像をＲＡＭから削除する。これにより、ＲＡＭには、直近の点滅一周期Ｔ分の複数の画像が蓄積される。

次に、特徴量導出部２１ｂが、ＲＡＭに蓄積された複数の画像の全てのコントラストを導出する（ステップＳ２２）。特徴量導出部２１ｂは、画像の全体ではなく、画像中のマーク像Ｐｍが含まれる領域のコントラストを導出する。

図１４に示すように、ＲＡＭに蓄積された画像Ｇ０においては左側及び右側にそれぞれマーク像Ｐｍが含まれる。このようなマーク像Ｐｍが含まれる位置は、当該画像Ｇ０を取得した注目カメラの設置精度に依存するものの、おおよそ一定となる。このため、特徴量導出部２１ｂは、左側及び右側のマーク像Ｐｍが含まれるべき位置の近傍の領域をそれぞれ領域画像Ｇ２として画像Ｇ０から切り出す。

そして、特徴量導出部２１ｂは、切り出した２つの領域画像Ｇ２それぞれのコントラストを導出する。特徴量導出部２１ｂは、領域画像Ｇ２のコントラストとして、例えば、領域画像Ｇ２に含まれる画素の画素値（輝度値）の分散を導出する。画素値の分散は、画素値の平均値からの散らばりの程度を示すため、実質的にコントラストに相当する。特徴量導出部２１ｂは、２つの領域画像Ｇ２それぞれのコントラストの平均を、それらの切り出し対象となった画像Ｇ０のコントラストとする。特徴量導出部２１ｂは、このようなコントラストを、ＲＡＭに蓄積された複数の画像のそれぞれについて導出する。

次に、画像選択部２１ｃは、ＲＡＭに蓄積された複数の画像Ｇ０のそれぞれのコントラストを比較する（ステップＳ２３）。そして、画像選択部２１ｃは、この比較結果に基づいて、ＲＡＭに蓄積された複数の画像のうちコントラストが最も高い一の画像を選択する（ステップＳ２４）。これにより、直近の点滅一周期Ｔ分の複数の画像のうちで、マーク像Ｐｍが最も明瞭となる一の画像が選択される。そして、画像選択部２１ｃは、選択した一の画像をパラメータ導出部２１ｄに出力する（ステップＳ２５）。

前述のように、画像選択部２１ｃは、この画像選択処理（ステップＳ１４）を映像信号の同期タイミングの周期（１／３０秒周期）で繰り返し実行する（図１２参照。）。したがって、画像選択部２１ｃは、選択した一の画像を、映像信号の同期タイミングに合わせて連続的にパラメータ導出部２１ｄに出力することになる。

これにより、パラメータ導出部２１ｄは、直近の点滅一周期Ｔ分の複数の画像のうちで最もコントラストの高い画像、すなわち、マーク像Ｐｍが最も明瞭となる画像を用いてパラメータ導出処理を実行できる。画像選択部２１ｃは、選択した画像を映像信号の同期タイミングに合わせて連続的に出力するため、選択した画像をパラメータ導出部２１ｄに容易に受け渡すことができる。

パラメータ導出処理が完了すると（図１２のステップＳ１６にてＹｅｓ）、次に、制御部２１は、４つのカメラ５の全てについて設置パラメータの導出が完了したか否かを判定する。そして、設置パラメータの導出が完了していないカメラ５がある場合は（ステップＳ１７にてＮｏ）、注目カメラとされていない他のカメラ５が新たな注目カメラに設定されて、上述した処理が繰り返される。このような処理が繰り返されることにより、パラメータ導出部２１ｄは、４つのカメラ５の全ての設置パラメータを導出する。

４つのカメラ５の全ての設置パラメータが導出されると（ステップＳ１７にてＹｅｓ）、次に、照明制御部２１ａが、信号送信部２７を介して灯火制御装置８０に制御信号を送信してハザードランプ８３の点滅の終了を指示する（ステップＳ１８）。これにより、ハザードランプ８３の点滅が終了することになる。

以上のように、本実施の形態においては、キャリブレーション処理において、点滅するハザードランプ８３に照明されたマークＭを、カメラ５が連続的に所定時間にわたって撮影することで複数の画像を取得する。車載装置２の特徴量導出部２１ｂは、これら複数の画像のそれぞれのマーク像Ｐｍの明瞭度合いを示す特徴量を導出する。そして、画像選択部２１ｃが複数の画像のうちから特徴量に基づいて一の画像を選択し、パラメータ導出部２１ｄが選択された画像中のマーク像Ｐｍに基づいて設置パラメータを導出する。複数の画像には、様々な強度の照明光の照明下で撮影された画像が含まれる。したがって、マーク像Ｐｍが明瞭となる強度の照明光の照明下で撮影された画像に基づいて設置パラメータを導出することができるため、作業場の照明環境に関わらず精度の高い設置パラメータを導出できる。

また、マーク像Ｐｍの明瞭度合いを示す特徴量としてコントラストを用いるため、特徴量を容易に導出できる。

また、ハザードランプ８３の点滅の一周期Ｔにわたって連続的に撮影することで複数の画像を取得するため、複数の画像にマーク像Ｐｍが最も明瞭となる強度の照明光の照明下で撮影された画像を含めることができる。

また、点滅する光源として車両９に設けられたハザードランプ８３を用いるため、点滅する光源を容易に確保することができる。

＜７．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、２つのマーク像Ｐｍを含む画像Ｇ１の全体を用いてパラメータ導出処理を行なっていた（図７参照。）。これに対して、図１５に示すように、画像Ｇ１中の一方のマーク像Ｐｍを含む領域のみを切り出した領域画像Ｇ２を用いてパラメータ導出処理を行うようにしてもよい。この場合は、左側の領域画像Ｇ２と右側の領域画像Ｇ２とがそれぞれ個別に表示されることになる。

また、このように領域画像Ｇ２のみを用いてパラメータ導出処理を行う場合は、パラメータ導出処理に用いる画像を選択する場合に、左側の領域画像Ｇ２と右側の領域画像Ｇ２とを個別に選択するようにしてもよい。例えば、左側の領域画像Ｇ２に関しては、ＲＡＭに蓄積された複数の画像それぞれの左側の領域画像のうちコントラストが最も高い一の領域画像を選択して、パラメータ導出処理に利用する。同様に、右側の領域画像Ｇ２に関しては、ＲＡＭに蓄積された複数の画像それぞれの右側の領域画像のうちコントラストが最も高い一の領域画像を選択して、パラメータ導出処理に利用すればよい。この場合は、左側のマークＭと右側のマークＭとで照明環境が異なる場合であっても、安定して精度の高い設置パラメータを導出できる。

また、上記実施の形態では、車載装置２は、複数のカメラ５でそれぞれ得られた複数の画像を合成した結果となる合成画像を表示するものであった。これに対して、１つのカメラで得られた画像を合成せずに表示するような車載装置に、上記で説明した技術を適用してもよい。

また、上記実施の形態では、点滅する光源としてハザードランプ８３を利用していた。これに対して、ヘッドランプ８１やテールランプ８２などのハザードランプ８３以外の車両に設けられる灯火装置を点滅する光源として利用してもよい。ただし、ヘッドランプ８１やテールランプ８２などの灯火装置は、ハザードランプ８３のように通常の動作として点滅する動作をしない。このためこの場合は、照明制御部２１ａが周期的に制御信号を灯火制御装置８０へ送信することなどにより、灯火装置を所定の周期で点滅させればよい。このような光源の点滅制御を不要とする点で、上記実施の形態のように、点滅する光源としてハザードランプ８３を利用することが望ましい。

また、作業場に通常光源とは別に、所定の周期で点滅する補助光源を設け、この補助光源で車両９の周囲を照明するようにしてもよい。また、車載装置２から制御信号を送信することで、このような補助光源の点滅の制御を行うようにしてもよい。

また、上記実施の形態では、画像中のマーク像Ｐｍの明瞭度合いを示す特徴量としてコントラストが採用されていたが、エッジの強度や、コーナー（特徴点）の強度などを用いてもよい。

また、上記実施の形態では、キャリブレーション画像Ｇ１の選択の候補として、ハザードランプ８３の点滅の一周期Ｔ分の複数の画像を蓄積すると説明したが、点滅の一周期Ｔより長い期間分の複数の画像を蓄積してもよい。すなわち、点滅の一周期Ｔ以上にわたって注目カメラで連続的に撮影することで得られる複数の画像を蓄積すればよい。

また、上記実施の形態の車載装置２（パラメータ取得装置）は、ユーザに指定された指定位置に基づいて設置パラメータを導出するものであった。これに対して、画像中のマーク像Ｐｍの位置をパターンマッチング等で自動的に検出し、そのマーク像Ｐｍの位置に基づいて設置パラメータを導出するパラメータ取得装置であっても、上記で説明した技術を好適に適用可能である。このように画像中のマーク像Ｐｍの位置を自動的に検出する場合であっても、画像中のマーク像Ｐｍが明瞭であるほど精度の高い設置パラメータを導出できる。

また、上記実施の形態では、ＲＡＭに蓄積された複数の画像の全ての特徴量（コントラスト）を導出するようにしていたが、過去の画像選択処理で特徴量が導出済の画像に関してはその特徴量を利用して再度の特徴量の導出を省略してもよい。

また、上記実施の形態では、ＲＡＭに蓄積している画像を更新する際に最も古い画像を削除していたが、特徴量に基づいて最もマーク像Ｐｍが不明瞭な画像を削除するようにしてもよい。また、過去に得られた画像のうちで最もマーク像Ｐｍが明瞭な画像のみをＲＡＭに記憶し、この画像と新規に取得された画像とのみを比較した結果に基づいてパラメータ導出処理に用いる画像を選択するようにしてもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

２ 車載装置
５ カメラ
７ 標識体
２１ｂ 特徴量導出部
２１ｃ 画像選択部
２１ｄ パラメータ導出部
８３ ハザードランプ
９ 車両
Ｃ カーソル
Ｍ マーク
Ｐｍ マーク像

Claims (8)

1. 車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
   点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影することで得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する第１導出手段と、
   前記複数の画像のうちから、前記特徴量に基づいて画像を選択する選択手段と、
   前記選択手段に選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する第２導出手段と、
   を備えることを特徴とするパラメータ取得装置。
2. 請求項１に記載のパラメータ取得装置において、
   前記特徴量は、前記画像のコントラストを含むことを特徴とするパラメータ取得装置。
3. 請求項１または２に記載のパラメータ取得装置において、
   前記選択手段は、選択した前記画像を、映像信号の同期タイミングに合わせて連続的に前記第２導出手段に出力することを特徴とするパラメータ取得装置。
4. 請求項１ないし３のいずれかに記載のパラメータ取得装置において、
   前記所定時間は、前記光源の点滅の一周期であることを特徴とするパラメータ取得装置。
5. 請求項１ないし４のいずれかに記載のパラメータ取得装置において、
   前記光源は、前記車両に設けられる灯火装置であることを特徴とするパラメータ取得装置。
6. 請求項５に記載のパラメータ取得装置において、
   前記灯火装置は、所定の周期で点滅するハザードランプであることを特徴とするパラメータ取得装置。
7. 車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、
   （ａ）点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影する工程と、
   （ｂ）前記工程（ａ）で得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する工程と、
   （ｃ）前記複数の画像のうちから、前記特徴量に基づいて画像を選択する工程と、
   （ｄ）前記工程（ｃ）で選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する工程と、
   を備えることを特徴とするパラメータ取得方法。
8. 車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
   （ａ）点滅する光源に照明されたマークを前記カメラで連続的に所定時間以上撮影することで得られる複数の画像それぞれの、前記マークの像の明瞭度合いを示す特徴量を導出する工程と、
   （ｂ）前記複数の画像のうちから、前記特徴量に基づいて画像を選択する工程と、
   （ｃ）前記工程（ｂ）で選択された前記画像中の前記マークの像に基づいて、前記設置パラメータを導出する工程と、
   を実行させることを特徴とするプログラム。

Images