JP2016171509A - キャリブレーション装置 - Google Patents

Abstract

【課題】地面にパターンを投影させてカメラのキャリブレーションを行う場合に、適切なキャリブレーション結果が得られるようにする。
【解決手段】キャリブレーション環境測定部１０９は、車載カメラ１０５のキャリブレーションのためのパターンが投影される地面の平面度を測定する。キャリブレーション環境判定部１０８は、キャリブレーション環境測定部１０９により測定された地面の平面度が閾値を超えているか否かを判定する。キャリブレーション実行部１０４は、キャリブレーション環境判定部１０８により地面の平面度が閾値を超えていると判定された場合に、地面にパターンを投影させて、車載カメラ１０５のキャリブレーションを実行する。
【選択図】図１

Description

本発明は、カメラのキャリブレーションに関する。

車載カメラのキャリブレーションは、一般的に、発光装置が投影するマーカ（パターンともいう）や横断歩道、自車ボディから取得する特徴点を使って行われる。
特許文献１でも、発光装置を用いるキャリブレーションシステムが開示されている。
特許文献１のキャリブレーションシステムでは、地面にマーカを投影するための発光装置が、カメラに取り付けられている。
そして、特許文献１のキャリブレーションシステムでは、発光装置が地面に投影するマーカをカメラで撮影して、マーカの存在を認識することにより、車載カメラのキャリブレーションを行っている。

特開２００７−２７４５６４号公報

特許文献１のキャリブレーションシステムでは、地面に投影したマーカを使ってカメラのキャリブレーションを行うが、マーカを投影する地面の状態が考慮されない。
地面は必ずしも平らではなく、時には凹凸や傾斜がある。
凹凸や傾斜があることで、マーカの形が崩れるなど、投影したマーカは地面が平らな時とは異なる映り方をする。
その結果、キャリブレーションに失敗する、もしくは間違ったキャリブレーション結果を取得する可能性がある。

本発明は、このような事情に鑑みたものであり、地面にパターンを投影させてカメラのキャリブレーションを行う場合に、適切なキャリブレーション結果が得られるようにすることを主な目的する。

本発明に係るキャリブレーション装置は、
カメラのキャリブレーションのためのパターンが投影される地面の平面度を測定するキャリブレーション環境測定部と、
前記キャリブレーション環境測定部により測定された前記地面の平面度が閾値を超えているか否かを判定するキャリブレーション環境判定部と、
前記キャリブレーション環境判定部により前記地面の平面度が閾値を超えていると判定された場合に、前記地面に前記パターンを投影させて、前記カメラのキャリブレーションを実行するキャリブレーション実行部を有する。

本発明によれば、キャリブレーションの前に地面の平面度が確認されるため、キャリブレーションに適した地面においてキャリブレーションを行うことができ、適切なキャリブレーション結果を得ることができる。

実施の形態１に係るキャリブレーション装置の機能構成例を示す図。 実施の形態１に係るキャリブレーション装置の動作例を示すフローチャート図。 実施の形態１に係るパターンの投影に必要なスペースを示す図。 実施の形態２に係るキャリブレーション装置の機能構成例を示す図。 実施の形態２に係るキャリブレーション装置の動作例を示すフローチャート図。 実施の形態３に係るキャリブレーション装置の機能構成例を示す図。 実施の形態３に係るキャリブレーション装置の動作例を示すフローチャート図。 実施の形態４に係る周囲が暗いときのパターンの投影例を示す図。 実施の形態４に係るキャリブレーション装置の機能構成例を示す図。 実施の形態４に係るキャリブレーション装置の動作例を示すフローチャート図。 実施の形態５に係るキャリブレーション装置の機能構成例を示す図。 実施の形態６に係るキャリブレーション装置の機能構成例を示す図。 実施の形態６に係るキャリブレーション装置の動作例を示すフローチャート図。 実施の形態１〜６に係るキャリブレーション装置のハードウェア構成例を示す図。

実施の形態１．
本実施の形態では、車両に取り付けられた映像出力装置から投影されるパターンを使い、車載カメラのキャリブレーションを行う構成を説明する。
ここでのキャリブレーションとは、車載カメラの取付け位置・姿勢のずれを算出する処理である。
車載カメラの取付け位置とは、３次元的な位置をいう。
また、姿勢とは、３次元座標それぞれの軸に対する傾きである。

本実施の形態では、キャリブレーションを行う時、前方環境を確認することで、前方障害物と一定距離を空けるとともに、地面（路面ともいう）上の投影予定エリアが平面であるかを判断する。
なぜなら、パターンを投影する地面は、必ずしも平面とは限らないからである。
投影面が平面でないと、パターンが崩れて投影されて、キャリブレーションに失敗する可能性がある。
パターンを投影する地面が平面であると判断した場合のみ、パターンを照射してキャリブレーションを実施する。
地面が平面であるかの判断は、パターン投影予定エリアの地面に一定以上凹凸が存在しないか、一定以上の傾きが存在しないかを確認することで行う。

＊＊＊構成の説明＊＊＊
図１に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
キャリブレーション装置１０は、車両に搭載されている。
なお、キャリブレーション装置１０が搭載されている車両を、以下では、自車という。

図１において、周囲環境測定部１００は、周囲測定センサ１０１から得たデータをもとに、前方物体との距離や周辺の３次元地図を算出する。

周囲測定センサ１０１は、自車の前方の車両といった前方障害物との距離や周辺の３次元地図を作るのに必要な情報を測定する。

車両制御部１０２は、周囲環境測定部１００で算出した情報と、後述する車両状態管理部１０３が持つ情報をもとに、前方物体と一定以上の間隔を空けるよう自車を制御する。

車両状態管理部１０３は、自車の状態（速度、加速度など）を管理する。
なお、車両状態管理部１０３は、自車に搭載された各種センサから自車の状態を受け取る。

キャリブレーション実行部１０４は、周囲環境測定部１００から、前方障害物と一定以上の距離が離れたと通知を受けると、キャリブレーション環境判定部１０８に対し地面の平面度を測定するように指示を出す。
地面の平面度は、地面が平坦かつ水平であることを表す度数である。
地面に凹凸が多いと平面度が低くなり、また、地面が傾いていると平面度は低くなる。
また、キャリブレーション実行部１０４は、キャリブレーション環境判定部１０８により、パターン投影予定の地面の平面度が閾値を超えていると判定された場合に、映像出力装置１０７を制御して地面にパターンを投影させて、車載カメラ１０５の画像を取得し、キャリブレーションを実行する。
キャリブレーション環境判定部１０８により、パターン投影予定の地面の平面度が閾値以下であると判定された場合は、キャリブレーションを実行しない。
地面に投影させるパターンは、例えば、図３に示すように市松模様のパターンである。
なお、キャリブレーションは撮影したパターンから取得した特徴点と、基準画像として保存している画像から取得した特徴点の位置を比較することで行う。
特徴点の位置を比較することで、画像中でのパターンのずれを検出することができる。
その結果、車載カメラ１０５の取付け位置・姿勢の変化を算出することができる。

車載カメラ１０５は、自車に搭載されているカメラである。

パターンデータ１０６は、車載カメラ１０５のキャリブレーションを行う時に地面に投影するパターンである。

映像出力装置１０７は、パターンデータ１０６を用いて、地面にキャリブレーション用のパターンを投影する。

キャリブレーション環境判定部１０８は、キャリブレーション環境測定部１０９の平面度の計測値と閾値データ１１０の閾値とを比較する。

キャリブレーション環境測定部１０９は、レーザやカメラ等から自車周辺の３次元情報を取得可能なセンサである。
キャリブレーション環境測定部１０９は、取得した３次元情報から平面度を測定する。
平面度の測定方法は、問わない。
平面度の測定方法は、既存の方法でもよい。

閾値データ１１０は、地面が平面であるかどうかを判断する際に基準となる閾値が示されるデータである。
つまり、閾値データ１１０に示される閾値は、地面にパターンを投影した際に地面の凹凸や地面の傾斜によってパターンが変形して投影される状態にならないかを判断するための基準値である。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るキャリブレーション装置１０の動作例を説明する。
図２は、本実施の形態に係るキャリブレーション装置１０の動作例を示すフローチャートである。
図２の各ステップについて説明する。

［自車周囲の３次元地図生成 Ｓ２００］
周囲環境測定部１００が、周囲測定センサ１０１のデータを使い、自車周囲の３次元地図を生成する。
３次元地図とは、周囲障害物の位置や概形等のデータを含むものとする。

［制御方針決定 Ｓ２０１］
前方障害物との距離や車両状態管理部１０３から通知される自車の状態（速度など）を加味し、パターン投影に必要なスペースを確保するため、車両制御部１０２は、前方障害物との距離が一定以上空くようにブレーキ等の車両装置を制御する時の方針を決定する。

［自車制御（停止） Ｓ２０２］
車両制御部１０２は、Ｓ２０１で決定した制御方針を実行する。
つまり、車両制御部１０２は、前方障害物と一定の距離が空くように自車を停止させる（自動制御）。

［前方障害物との距離測定 Ｓ２０３］
Ｓ２０２の停止位置にて、Ｓ２００とＳ２０１と同様の処理を行い、前方障害物との距離を測定する。

［前方障害物と一定距離以上離れている？ Ｓ２０４］
車両制御部１０２が、Ｓ２０３で測定した前方障害物との距離を評価し、自車が前方障害物と一定距離以上離れているか判断する。
図３に示すように、キャリブレーションのためのパターンを投影するには、前方障害物（図３では他の車両）との間に一定の距離が必要である。
自車が前方障害物と一定距離以上離れている場合は、車両制御部１０２は、キャリブレーションを実施可能と判断する。
この時、自車と前方障害物とが一定以上離れていないと判断すれば、Ｓ２０１に戻り、制御方針を再検討する。

［平面度測定 Ｓ２０５］
キャリブレーション環境測定部１０９が、パターン投影予定エリア（自車の前方エリア）の路面の平面度を測定する。

［測定値＞閾値？ Ｓ２０６］
キャリブレーション環境判定部１０８が、キャリブレーション環境測定部１０９による平面度の測定値と、閾値データ１１０を比較することで、路面にパターンを投影してもパターンが崩れないかどうかを確認する。

［パターン投影 Ｓ２０７］
測定値＞閾値であれば（Ｓ２０６でＹＥＳ）、キャリブレーション実行部１０４が、映像出力装置１０７を制御し、映像出力装置１０７からパターンデータ１０６のパターンを、パターン投影予定エリアに投影する。

［パターン撮影 Ｓ２０８］
路面上に投影されたパターンを車載カメラ１０５で撮影する。

［キャリブレーション実施 Ｓ２０９］
キャリブレーション実行部１０４は、車載カメラ１０５で撮影された画像を使い、キャリブレーションを実施する。

＊＊＊効果の説明＊＊＊
このように、本実施の形態によれば、車両に取り付けられた映像出力装置から出力されるパターンを、路面に対しカメラから見て崩れずに投影することができる。
そのため、適正なキャリブレーション結果を得ることができる。

なお、本実施の形態では、車載カメラのキャリブレーション方法を説明したが、地面にキャリブレーション用のパターンを投影させてカメラをキャリブレーションする場合であれば、車載カメラでなくても本実施の形態に係るキャリブレーション方法を適用可能である。

実施の形態２．
本実施の形態では、キャリブレーション実施時に前方障害物と空ける距離を、映像出力装置の情報をもとに決定する方法を、例を用いて説明する。
前方障害物と空ける距離は、パターンが障害物に被らず路面に投影できればよいので、路面上に投影されるパターンの大きさに依存する。
路面に投影されるパターンの大きさは、使用する映像出力装置の性能および取付け位置・角度によって決まる。そのため、システムが映像出力装置の性能および取付け位置・角度を知っておくことで、前方障害物と空ける距離を求めることが可能となる。

＊＊＊構成の説明＊＊＊
図４に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
図４の構成は、映像出力装置１０７の性能をもとに前方障害物との間で空ける距離を考慮した時のシステム構成である。
図４では、図１と比較して、映像出力装置データ１１１が追加されている。
また、車両制御部１１２は、図１の車両制御部１０２と異なる動作を行う。
以下では、映像出力装置データ１１１と車両制御部１０２について説明する。
他の要素は、図１と同じであるため、説明を省略する。

映像出力装置データ１１１は、大きく分けて下記の３つのデータを含む。
・映像出力装置の取付けデータ
映像出力装置１０７の車両への取付け角と車内基準点からの相対３次元位置を示す。
このデータと画角を使い、路面に投影されるパターンの大きさを算出することができる。
・映像出力装置１０７のパラメータ
画角や焦点距離などのデータである。
・タイムスタンプ
映像出力装置１０７が更新された年月日、時刻を示す。
このデータをもとに、車両制御部１１２はデータが更新されていないかを判断する。

車両制御部１１２は、映像出力装置データ１１１から、前方障害物との間で空ける距離を算出する。
また、車両制御部１１２は、算出した距離及び算出に使用した映像出力装置データ１１１のタイムスタンプを保存する。
そして、車両制御部１１２は、キャリブレーションの際に、前方障害物との間で、算出した距離を空けて自車を停止させる。
つまり、車両制御部１１２は、路面に投影される際のパターンの大きさを推定し、推定したパターンの大きさに基づき、パターンが投影できるだけのスペースのサイズを算出する。
そして、キャリブレーション時に、算出したサイズのスペースが路面において得られるように、自車の位置を制御する。

＊＊＊動作の説明＊＊＊
図５に、前方障害物との間で空ける距離の算出フローを示す。
なお、図２に示したキャリブレーションを行う時のフローに変化はない。

［データ更新された？ Ｓ２１０］
映像出力装置データ１１１が更新されていないか判断するため、車両制御部１１２は、保持するタイムスタンプと映像出力装置データ１１１のタイムスタンプが同じものか確認する。

［投影パターン予想サイズ算出 Ｓ２１１］
車両制御部１１２は、映像出力装置データ１１１に記述される映像出力装置１０７の位置・姿勢、パラメータをもとに、路面に投影した時のパターンの予想される大きさを算出する。

［停車時に前方障害物と空けるべき距離算出 Ｓ２１２］
車両制御部１１２は、算出した予想投影サイズをもとに、前方障害物と空けるべき距離を算出する。
つまり、パターンが投影できるだけのスペースのサイズを算出する。
なお、車両制御部１１２は、この時、前方障害物にパターンが投影することを避けるために、予想投影サイズに１．２倍程度の補正値を乗算し、乗算値を前方障害物との距離とする。
なお、補正値には特に制限はなく、他の値を用いてもよい。

［算出距離保存 Ｓ２１３］
車両制御部１１２は、算出した距離及び算出に使用した映像出力装置データ１１１のタイムスタンプを保存する。

そして、キャリブレーション時には図２のフローが実行されるが、Ｓ２０１及びＳ２０２において、車両制御部１１２は、図５のフローで算出した距離に基づき、自車の位置を制御する。
＊＊＊効果の説明＊＊＊
本実施の形態によれば、映像出力装置の性能が変化しても、パターンが前方障害物に被らないように自車の位置を制御できる。

実施の形態３．
本実施の形態では、赤信号などで走行を停止する時の、キャリブレーション実施方法について、例を用いて説明する。
走行時に、赤信号等の自車を止めなければならない状況に、必ずどこかで遭遇する。
止まるためには、必ず自車を制御する。
この時、前方障害物と一定以上の距離を取ることができれば、キャリブレーションを行うことができる。
キャリブレーションを行うには、何かしらのトリガが必要となる。
トリガの決め方は色々とあるが、上記のように赤信号で停車するタイミングをキャリブレーションのトリガとすることができる。

＊＊＊構成の説明＊＊＊
図６に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
図６の構成は、キャリブレーション処理実施タイミングを知る機能を搭載した時の、システム構成である。
図６では、図１の構成と比較して、停止可能性判断部１１３と路車通信装置１１４が追加されている。
また、車両制御部１１５は、図１の車両制御部１０２と異なる動作を行う。
以下では、停止可能性判断部１１３と路車通信装置１１４と車両制御部１１５について説明する。
他の要素は、図１と同じであるため、説明を省略する。

停止可能性判断部１１３は、インフラとの通信や周囲環境測定部１００から得た情報をもとに、自車を停止させる／させないを判断する。

路車通信装置１１４は、走路中に組み込まれている路側通信装置と通信する。
路車通信装置１１４は、路側通信装置との通信により、信号の位置や現在の信号の色、渋滞の有無・（渋滞発生中なら）渋滞の場所、踏切の場所・踏切が下りている／いない等の情報を得る。

車両制御部１１５は、停止可能性判断部１１３から自車の停止を要求された時、実施の形態１のようにして自車を停止させる。
つまり、車両制御部１１５は、走行中の自車が停止する際に、キャリブレーション用のパターンが投影できるだけのスペースが路面において得られるように、自車の停止位置を制御する。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るキャリブレーション装置１０の動作を、図７を参照して説明する。
図２と同じ符号のステップでは、図２と同じ処理が行われる。
図２との差分を以下に示す。
図２と同じ処理は説明を省略する。

［周辺インフラ情報入手 Ｓ２１４］
路車通信装置１１４が、インフラ側の通信装置である路側通信装置と通信し、以下を調査する。
・信号が近づいていないか、近づいているならば赤に変わりそうなのか。
・渋滞が発生していないか、発生しているならば渋滞までどの位の距離離れているか。
・近くに踏切があるか、あるならばどの位離れていて、閉まっているか。

［停止する？ Ｓ２１５］
Ｓ２１４において得られた情報から、停止可能性判断部１１３が、自車を停車させる必要性を検討する。

そして、停止可能性判断部１１３が自車を停止させる必要があると判断した場合（Ｓ２１５でＹＥＳ）は、図２の処理が行われる。
つまり、車両制御部１１５がパターンの投影のためのスペースを確保できる位置で自車を停止させ、地面の平面度が測定され、平面度が閾値を超えていれば、パターンを投影させてキャリブレーションが実行される。

＊＊＊効果の説明＊＊＊
このように、本実施の形態によれば、車両を停止させるタイミングを認識し、車両を停止させる際に前方障害物と一定以上距離を空けて、キャリブレーション用のパターンを投影するのに適した状況を作ることができる。

実施の形態４．
本実施の形態では、パターンの映り方を考慮してキャリブレーションを行う方法について、例を用いて説明する。
周囲の明るさによっては、投影されたパターンが車載カメラで認識されないことがある。
本来であれば、図８の右図のように認識されるべきパターンが、夜間の様な周囲が暗い時は、図８の左図のようにパターンの輝度が足りずに、車載カメラがパターンを認識できない。
そこで、本実施の形態では、周囲の輝度を考慮してパターンの輝度を調整することで、周囲の暗さに左右されずにキャリブレーションを実行できるようにする。

＊＊＊構成の説明＊＊＊
図９に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
図９の構成は、周囲の明るさを考慮してパターンの輝度を調整する機能を有す時の、システム構成である。
図９では、図１と比較して、輝度センサ１１８及び映像出力装置データ１１９が追加されている。
また、キャリブレーション実行部１１６及びキャリブレーション環境判定部１１７は、図１のキャリブレーション実行部１０４及びキャリブレーション環境判定部１０８と異なる動作を行う。
以下では、キャリブレーション実行部１１６、キャリブレーション環境判定部１１７、輝度センサ１１８及び映像出力装置データ１１９について説明する。
他の要素は、図１と同じであるため、説明を省略する。

キャリブレーション実行部１１６は、キャリブレーション環境判定部１１７に対し、車載カメラ１０５の撮影画像においてパターンの特徴点を認識できる輝度を特定するよう指示する。
また、キャリブレーション実行部１１６は、キャリブレーション環境判定部１１７から通知される輝度が、映像出力装置１０７が出力可能な輝度であれば、パターン投影を映像出力装置１０７へ指示し、不可能であればパターンの投影・キャリブレーションの実施を止める。
つまり、キャリブレーション実行部１１６は、地面に投影されるパターンの輝度を制御する。

キャリブレーション環境判定部１１７は、輝度センサ１１８の計測値と現在の映像出力装置１０７の出力輝度値から、輝度においてどの程度コントラストを付ければ、車載カメラ１０５の撮影画像においてパターンの特徴点が認識できるか判断する。
キャリブレーション環境判定部１１７は、キャリブレーション実行部１１６に目標となる輝度値を通知する。

輝度センサ１１８は、車両に搭載された、パターン周辺の輝度を測定するためのセンサである。

映像出力装置データ１１９は、映像出力装置１０７が出力可能な輝度値の範囲が示されるデータである。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るキャリブレーション装置１０の動作を、図１０を参照して説明する。
図２と同じ符号のステップでは、図２と同じ処理が行われる。
図２との差分を以下に示す。
図２と同じ処理は説明を省略する。

［輝度情報取得 Ｓ２１６］
輝度センサ１１８が、自車周辺の輝度情報を取得する。

［最適輝度値選定 Ｓ２１７］
キャリブレーション環境判定部１１７が、輝度センサ１１８が取得した輝度情報をもとに、現在映像出力装置１０７が出力すべき輝度値を選定する。

［対応可能？ Ｓ２１８］
キャリブレーション実行部１１６は、Ｓ２１７で選定された輝度値を映像出力装置１０７が出力できるか判断する。
より具体的には、キャリブレーション実行部１１６は、映像出力装置データ１１９に示される、映像出力装置１０７が出力可能な輝度値と、Ｓ２１７で選定された輝度値とを比較して、Ｓ２１７で選定した輝度値を映像出力装置１０７が出力できるかを判断する。
映像出力装置１０７がＳ２１７で選定した輝度を出力できると判断した場合（Ｓ２１８でＹＥＳ）は、キャリブレーション実行部１１６は映像出力装置１０７に輝度値を指示する。

［出力映像の輝度をアップ Ｓ２１９］
映像出力装置１０７は、出力パターンの輝度を、キャリブレーション実行部１１６から指示された値に変更する。

＊＊＊効果の説明＊＊＊
本実施の形態によれば、周囲の明るさ（暗さ）に左右されず、車載カメラの画像中のパターンから常に特徴点が検出することができる。

実施の形態５．
本実施の形態では、キャリブレーション実行スケジュールを決定する方法について、例を用いて説明する。
自動走行において、車載カメラが正常に動いていることは重要な要素である。
もしも正常に動いていない場合、安全を保障できないことから、自動運転を継続できない可能性がある。
車載カメラが正常に動いているか判断するためには、キャリブレーションが必要となる。
そのため、車載カメラのキャリブレーションは一定時間内に実施することで、自動走行に必要な情報の信頼度を担保することが可能となる。

＊＊＊構成の説明＊＊＊
図１１に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
図１１の構成は、キャリブレーションを一定時間内に実行するよう調整する機能を有す時の、システム構成である。
図１１では、図１の構成と比較して、キャリブレーション実行時刻記憶部１２１が追加されている。
また、キャリブレーション実行部１２０は、図１のキャリブレーション実行部１０４と異なる動作を行う。
以下では、キャリブレーション実行部１２０とキャリブレーション実行時刻記憶部１２１について説明する。
他の要素は、図１と同じであるため、説明を省略する。

キャリブレーション実行部１２０は、キャリブレーション実行時刻記憶部１２１に記憶されている前回のキャリブレーション実行時刻と現在の時刻を比較し、前回のキャリブレーションから一定時間以上経過していないか確認する。
そして、前回のキャリブレーションから一定時間以上経過していると判断した場合に、周囲測定センサ１０１から得られた情報をもとに、周囲障害物と一定以上距離を取るよう、車両制御部１０２に対し指示を出す。
つまり、キャリブレーション実行部１２０は、前回のキャリブレーションの実行時刻から閾値以上の時間が経過している場合に、車両制御部１０２にパターンの投影のためのスペースを空けるよう指示するとともに、キャリブレーション環境測定部１０９に、地面の平面度を測定するよう指示する。

キャリブレーション実行時刻記憶部１２１は、キャリブレーション実行部１２０による前回のキャリブレーション実行時刻を記憶する。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るキャリブレーション装置１０の動作を説明する。

キャリブレーション実行部１２０は、キャリブレーション実行時刻記憶部１２１に記憶されている前回のキャリブレーション実行時刻と現在の時刻を比較し、前回のキャリブレーションから一定時間以上経過していないかを逐次確認する。
前回のキャリブレーションから一定時間以上経過していると判断した場合、図２のフローに基づき、キャリブレーション実行部１２０は、キャリブレーションを行う。

＊＊＊効果の説明＊＊＊
本実施の形態によれば、キャリブレーションを一定時間内に実行することが可能となり、車載カメラの情報に対する信頼度を向上させることができる。

実施の形態６．
本実施の形態では、カメラや車体の振動を考慮してキャリブレーションを実行する方法について、例を用いて説明する。
車体やカメラは、エンジン等の車の駆動部や、風などの環境要因に依り、走行しているかどうかに関係なく、振動することがある。
振動すると、画像がぶれて特徴点を取れない可能性がある。
特徴点が取れないと、キャリブレーションを行うことができない。
本実施の形態では、振動を考慮することで、上記の様な要因に左右されず、安定して画像中から特徴点を取得可能な構成を説明する。

＊＊＊構成の説明＊＊＊
図１２に、本実施の形態に係るキャリブレーション装置１０の機能構成例を示す。
図１２の構成は、車体やカメラの振動を考慮する機能を有す時の、システム構成である。
図１２では、図１の構成と比較して、振動センサ１２３が追加されている。
また、キャリブレーション実行部１２２は、図１のキャリブレーション実行部１０４と異なる動作を行う。
以下では、キャリブレーション実行部１２２と振動センサ１２３について説明する。
他の要素は、図１と同じであるため、説明を省略する。

キャリブレーション実行部１２２は、車載カメラ１０５でパターンを撮影後、振動センサ１２４の値に応じて撮影画像を補正する。
つまり、キャリブレーション実行部１２２は、キャリブレーションにおいて車載カメラ１０５により撮影されたパターンの撮影画像のぶれ補正を行う。

振動センサ１２３は、車体及びカメラの振動を検出するセンサである。
車体とカメラは剛体結合している訳ではないので、それぞれ独立に振動する。
そのため、車体・カメラそれぞれで振動を計測する必要がある。
このため、図１２では図示を省略しているが、車体用の振動センサとカメラ用の振動センサが設けられる。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係るキャリブレーション装置１０の動作を、図１３を参照して説明する。
図２と同じ符号のステップでは、図２と同じ処理が行われる。
図２との差分を以下に示す。
図２と同じ処理は説明を省略する。

［振動センサ値取得 Ｓ２２０］
キャリブレーション実行部１２２は、車体・カメラに取り付けられた、振動センサ１２３の値を取得する。

［画像ぶれ補正 Ｓ２２１］
キャリブレーション実行部１２２は、取得した振動センサ１２３の値を使い、取得したカメラ画像のぶれ補正を行う。

＊＊＊効果の説明＊＊＊
本実施の形態によれば、エンジンや風などの振動源の影響を受けずに、キャリブレーションを成功させることができる。

以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

＊＊＊ハードウェア構成の説明＊＊＊

キャリブレーション装置１０のハードウェア構成例を図１４を参照して説明する。
キャリブレーション装置１０はコンピュータである。
キャリブレーション装置１０は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、通信装置９０４、センサインタフェース９０５、カメラインタフェース９０６、センサ９０７、車載カメラ９０８、映像出力装置インタフェース９１３、映像出力装置９１４といったハードウェアを備える。
プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
センサインタフェース９０５は、ケーブル９１１を介してセンサ９０７に接続されている。
カメラインタフェース９０６は、ケーブル９１２を介して車載カメラ９０８に接続されている。
映像出力装置インタフェース９１３は、ケーブル９１５を介して映像出力装置９１４に接続されている。

プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置９０４は、データを受信するレシーバー９０４１及びデータを送信するトランスミッター９０４２を含む。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

補助記憶装置９０２には、図１、図４、図６、図９、図１１、図１２に示す「部」の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。
更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図１４では、１つのプロセッサ９０１が図示されているが、キャリブレーション装置１０が複数のプロセッサ９０１を備えていてもよい。
そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。

また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。

１０ キャリブレーション装置、１００ 周囲環境測定部、１０１ 周囲測定センサ、１０２ 車両制御部、１０３ 車両状態管理部、１０４ キャリブレーション実行部、１０５ 車載カメラ、１０６ パターンデータ、１０７ 映像出力装置、１０８ キャリブレーション環境判定部、１０９ キャリブレーション環境測定部、１１０ 閾値データ、１１１ 映像出力装置データ、１１２ 車両制御部、１１３ 停止可能性判断部、１１４ 路車通信装置、１１５ 車両制御部、１１６ キャリブレーション実行部、１１７ キャリブレーション環境判定部、１１８ 輝度センサ、１１９ 映像出力装置データ、１２０ キャリブレーション実行部、１２１ キャリブレーション実行時刻記憶部、１２２ キャリブレーション実行部、１２３ 振動センサ。

Claims (7)

1. カメラのキャリブレーションのためのパターンが投影される地面の平面度を測定するキャリブレーション環境測定部と、
   前記キャリブレーション環境測定部により測定された前記地面の平面度が閾値を超えているか否かを判定するキャリブレーション環境判定部と、
   前記キャリブレーション環境判定部により前記地面の平面度が閾値を超えていると判定された場合に、前記地面に前記パターンを投影させて、前記カメラのキャリブレーションを実行するキャリブレーション実行部を有するキャリブレーション装置。
2. 前記キャリブレーション装置は、
   車載カメラとともに車両に搭載されており、
   前記キャリブレーション環境測定部は、
   前記車載カメラのキャリブレーションのためのパターンが投影される地面の平面度を測定し、
   前記キャリブレーション実行部は、
   前記車載カメラのキャリブレーションを実行する請求項１に記載のキャリブレーション装置。
3. 前記キャリブレーション装置は、更に、
   前記地面に投影された前記パターンの輝度を測定する輝度センサを有し、
   前記キャリブレーション実行部は、
   前記輝度センサの測定結果に基づき、前記地面に投影される前記パターンの輝度を制御する請求項１に記載のキャリブレーション装置。
4. 前記キャリブレーション装置は、更に、
   前記キャリブレーション実行部による前回のキャリブレーション実行時刻を記憶するキャリブレーション実行時刻記憶部を有し、
   前記キャリブレーション実行部は、
   前記キャリブレーション実行時刻記憶部に記憶されている前回のキャリブレーション実行時刻から閾値以上の時間が経過している場合に、前記キャリブレーション環境測定部に、地面の平面度を測定するよう指示する請求項１に記載のキャリブレーション装置。
5. 前記キャリブレーション実行部は、
   キャリブレーションにおいて前記カメラにより撮影された前記パターンの撮影画像のぶれ補正を行う請求項１に記載のキャリブレーション装置。
6. 前記キャリブレーション装置は、更に、
   前記地面に投影される際の前記パターンの大きさを推定し、推定した前記パターンの大きさに基づき、前記パターンが投影できるだけのスペースのサイズを算出し、算出したサイズのスペースが前記地面において得られるように、前記車両の位置を制御する車両制御部を有する請求項２に記載のキャリブレーション装置。
7. 前記車両制御部は、
   走行中の前記車両が停止する際に、前記パターンが投影できるだけのスペースが前記地面において得られるように、前記車両の停止位置を制御する請求項６に記載のキャリブレーション装置。

Images