JP2017158142A - キャリブレーション装置 - Google Patents

Abstract

【課題】キャリブレーションによる処理負荷を低減させることができるキャリブレーション装置を提供する。
【解決手段】Ｓ１０１で車載カメラは、自車両周囲の画像を撮像し、撮像画像の画像信号を、特徴部分検出部及び画像メモリに与える。Ｓ１０２で、特徴部分検出部は、車載カメラにより撮像された撮像画像に、２つ以上の特徴部分が検出されたか否かを判定する。Ｓ１０２で２つ以上の特徴的な部分が検出されたと判定した場合には、ベクトル検出部は、Ｓ１０４で連続する２フレームの撮像画像に共通して含まれる特徴部分に基づいて、撮像動きベクトルを検出する。Ｓ１０５でベクトル変換部は、変換式を用いて複数の撮像動きベクトルを鳥瞰動きベクトルに座標変換を行う。Ｓ１０６で光軸角度算出部は、複数の鳥瞰動きベクトルに基づいて、車載カメラの現在の光軸角度を算出する。
【選択図】図４

Description

本発明は、車両に取り付けられた車載カメラによって撮像された複数フレームの撮像画像に基づいて、車両の接している路面に対する車載カメラの光軸の角度である光軸角度のキャリブレーションを行うキャリブレーション装置に関する。

車両の運転を補助することを目的として、車両の周囲を撮像する車載カメラを車両に備え、車載カメラにより撮像された画像を、例えば車内の表示装置に表示したり、車両制御に利用したりするものがある。しかしながら、車載カメラの光軸角度は、車載カメラの取付け部材の経年劣化や、荷物の重量などによる車両の傾きなどにより変化する。これにより、車載カメラの光軸角度のキャリブレーションが必要とされる。

特許文献１に記載の構成では、車載カメラで撮像された複数フレームの画像を車両の真上から鳥瞰した画像である平面画像に変換し、平面画像に基づいて、真上視点の動きベクトルを検出する。動きベクトルは、複数フレーム作成した平面画像に共通して含まれる特徴的な部分である特徴部分の変位を表すベクトルである。複数の動きベクトルが車両の進行方向と同一方向かつ同一長さになるようにすることで、車載カメラの光軸角度を算出し、キャリブレーションを行うことができる。

特開２０１３−７４３２５号公報

しかしながら、特許文献１に記載の構成では、光軸角度を算出するために、撮像した画像を平面画像に変換し、その平面画像から、動きベクトルを検出する。このため、マイコンへの処理負荷が大きく、低スペックのマイコンを使用した際には、処理に時間がかかる。

本発明は、こうした問題にかんがみてなされたものであり、キャリブレーションによる処理負荷を低減させることができるキャリブレーション装置を提供することを目的としている。

本発明の一側面は、車両に取り付けられた車載カメラ（１１）によって撮像された複数フレームの撮像画像に基づいて、車両の接している路面に対する車載カメラの光軸の角度である光軸角度をキャリブレーションするキャリブレーション装置（１）であって、特徴部分検出部（１３）、ベクトル検出部（１５）、ベクトル変換部（１６）及び光軸角度算出部（１７）を備える。特徴部分検出部は、複数フレームの撮像画像に共通して含まれる特徴的な部分である特徴部分を検出する。ベクトル検出部は、複数フレーム間での特徴部分の変位を表す動きベクトルである撮像動きベクトル（２１ａ〜２１ｃ）を検出する。ベクトル変換部は、あらかじめ決められた光軸角度に取り付けられた車載カメラの撮像画像を車両の真上から鳥瞰した画像に変換するための関係に基づいて、撮像動きベクトルを車両の真上から鳥瞰した動きベクトルである鳥瞰動きベクトル（３１ａ〜３１ｃ）に変換する。光軸角度算出部は、鳥瞰動きベクトルに基づいて、光軸角度を算出する。

このような構成によれば、撮像画像自体から撮像動きベクトルを検出し、検出した撮像動きベクトルを車両の真上から鳥瞰した動きベクトルである鳥瞰動きベクトルに変換し、車載カメラの光軸角度を算出することができる。すなわち、撮像画像全体ではなく、撮像動きベクトルのみを変換することで、鳥瞰動きベクトルを作成し、光軸角度を算出することができるので、キャリブレーションによる処理負荷を低減した構成で、光軸角度を算出することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

キャリブレーション装置の構成を示すブロック図である。 車載カメラによって撮像された画像と撮像動きベクトルとを示す図である。 ベクトル変換部によって変換された鳥瞰動きベクトルを示す図である。 キャリブレーション装置が行うキャリブレーション処理のフローチャートである。

以下、本発明の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示すキャリブレーション装置１は、車両の内部に備えられる装置である。以下、キャリブレーション装置１が備えられる車両を「自車両」という。

キャリブレーション装置１は、車載カメラ１１、制御部１２、特徴部分検出部１３、画像メモリ１４、ベクトル検出部１５、ベクトル変換部１６及び光軸角度算出部１７を備える。

車載カメラ１１は、自車両の周辺を連続的に撮像するカメラである。具体的には、車載カメラ１１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサにより構成され、自車両の周囲の画像を取り込んで画像信号を生成して、特徴部分検出部１３及び画像メモリ１４に与える。なお、ここでいうＣＣＤイメージセンサはＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅイメージセンサの略称であり、ＣＭＯＳイメージセンサはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒイメージセンサの略称である。本実施形態では、車載カメラ１１は、自車両後部に取り付けられ、路面と平行な線よりもやや下向きのあらかじめ決められた角度に設けられる。以下、車載カメラ１１の角度を「光軸角度」といい、あらかじめ決められた車載カメラ１１の角度を「初期の光軸角度」という。車載カメラ１１には、より広範な撮像画像が取得可能なように撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角レンズが使用される。すなわち、通常のレンズで撮像した画像に比べ、広角レンズで撮像した画像には歪みが生じる。広角レンズとしては、例えば、魚眼レンズ等が挙げられる。

制御部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を構成要素とするマイクロコンピュータを備える。制御部１２は、ＣＰＵがＲＯＭに記録されているプログラムを実行することで、特徴部分検出部１３、画像メモリ１４、ベクトル検出部１５、ベクトル変換部１６及び光軸角度算出部１７の動作を統括して管理する。

特徴部分検出部１３は、動きベクトルを検出する足がかりとなる特徴部分を２つ以上含む撮像画像を検出する。この際、形状や寸法が既知の図形を検出する必要はない。また、特徴部分検出部１３は、撮像画像が特徴部分を２つ以上含まない場合、当該画像とは別の撮像画像から、特徴部分の検出処理を行う。特徴部分検出部１３が特徴部分を検出する場合としては、例えば路面上に描かれた路面標示や模様、又はマンホールの蓋などの路面に固定された固定物が検出された場合や、撮像画像のうち、自車両の進行方向に対して横方向の部分に所定数以上の明暗エッジが検出された場合などが挙げられる。ここでいう明暗エッジは、例えば隣接する画素値の差分が一定以上異なる部分などである。

画像メモリ１４は、車載カメラ１１に接続され、車載カメラ１１によって撮像された撮像画像及び当該撮像画像に対して特徴部分検出部１３により検出された特徴部分を、連続する２フレーム分記憶する。

ベクトル検出部１５は、画像メモリ１４に記憶された、連続した２フレームの撮像画像に共通して含まれる特徴部分に基づいて、撮像画像における特徴部分の変位を表す動きベクトルを検出する。以下、撮像画像における特徴部分の変位を表す動きベクトルを「撮像動きベクトル」とする。この撮像動きベクトルの検出には、ブロックマッチング法が用いられる。連続した２フレームの撮像画像において検出された複数の特徴部分のうち、先に撮像された撮像画像中に含まれる特徴部分のそれぞれの平均の画素値と、後に撮像された撮像画像中に含まれる特徴部分のそれぞれの平均の画素値との違いを比較する。特徴部分のそれぞれの平均の画素値の違いが一定以下である場合に、同一の特徴部分が変位したものであると認識する。この同一の特徴部分の変位において、先に撮像された撮像画像の特徴部分の任意の点を始点とし、後に撮像された撮像画像の特徴部分の対応する点を終点としたベクトルを撮像動きベクトルとする。この際、始点と終点とで変位が検出されない場合には、撮像動きベクトルとして検出しない。図２の例では、３つの特徴部分のそれぞれの始点２１１ａ〜２１１ｃと、それぞれの終点２１２ａ〜２１２ｃとの変位から３つの撮像動きベクトル２１ａ〜２１ｃを検出する。なお、図２の実線部２２ａ及び実線部２２ｂは路面の端を表している。

ベクトル変換部１６は変換式を用いて、ベクトル検出部１５によって検出された複数の撮像動きベクトルに対して座標変換を行う。ここでいう変換式は、初期の光軸角度に取り付けられた車載カメラ１１の撮像画像を、自車両を真上から鳥瞰した画像に座標変換するための式である。以下、撮像動きベクトルに対して座標変換を行うことにより得られる変換後の動きベクトルを「鳥瞰動きベクトル」とする。具体的に鳥瞰動きベクトルに座標変換された撮像動きベクトルの例を図３を用いて説明する。すなわち、鳥瞰動きベクトル３１ａ〜３１ｃは、自車両を真上から鳥瞰した視点における特徴部分の変位を表すように撮像動きベクトルを変換した動きベクトルである。この際、車載カメラ１１の現在の光軸角度が初期の光軸角度からずれていない場合には、図３に示すように、ベクトル変換部１６で変換された複数の鳥瞰動きベクトル３１ａ〜３１ｃは、同一方向かつ同一長さで検出される。この場合において、それら複数の鳥瞰動きベクトル３１ａ〜３１ｃはすべて自車両の動きと逆方向に検出される。なお、図３に示す点線部３２ａ及び点線部３２ｂは、図２に示す撮像画像における路面の端を表す実線部２２ａ及び実線部２２ｂに対応するものである。本実施形態では、撮像画像自体は座標変換しないため、変換後には路面の端３２ａ及び３２ｂは存在し得ないが、図３では参考のため図示している。

光軸角度算出部１７は、複数の鳥瞰動きベクトルに基づいて、車載カメラ１１の現在の光軸角度を算出する。すなわち、現在の光軸角度が初期の光軸角度からずれている場合には、複数の鳥瞰動きベクトルはそれぞれ、方向及び長さのうち少なくとも一方が異なって検出される。この検出された複数の鳥瞰動きベクトルの方向及び長さの分布から、回転補正を行い、車載カメラ１１の傾いている方向及び量が求められる。具体的な回転補正の詳細は、前述した特許文献１に記載のものと同様である。概要を以下に示す。なお以下、自車両の進行方向をｚ軸、路面法線方向をｙ軸、自車両の進行方向及び路面法線方向に直交する方向をｘ軸とする直交座標系を前提とする。車載カメラ１１が初期の光軸角度からずれていない場合には、前述のとおり、複数の鳥瞰動きベクトルは、同一方向かつ同一長さで検出される。一方、車載カメラ１１が初期の光軸角度からずれている場合には、複数の鳥瞰動きベクトルは同一方向かつ同一長さとならず、複数の鳥瞰動きベクトルはｘ軸、ｙ軸及びｚ軸周りに回転されている。このとき、回転されている複数の鳥瞰動きベクトルは、すべて同じようにｘ軸、ｙ軸及びｚ軸周りに回転されている。回転補正は、検出された複数の鳥瞰動きベクトル全体を、３軸周りにそれぞれ独立に回転し、補正する。具体的には、回転補正後の複数の鳥瞰動きベクトルをｙ軸方向に直交する平面に対してｙ軸と平行に投影した場合に、投影したすべてのベクトルの方向及び長さが同一になるように回転補正する。当該回転補正の回転補正量が車載カメラ１１の初期の光軸角度に対するずれに相当し、車載カメラ１１の現在の光軸角度が求められる。

［２．処理］
キャリブレーション装置１が行うキャリブレーション処理を図４のフローチャートを用いて説明する。この処理は、自車両のイグニッションがオンである間に任意の周期で周期的に実行される。

Ｓ１０１で、車載カメラ１１は、自車両周囲の画像を撮像し画像信号を生成して、当該画像信号を、特徴部分検出部１３及び画像メモリ１４に与える。
Ｓ１０２で、特徴部分検出部１３は、車載カメラ１１により撮像された撮像画像に、２つ以上の特徴部分が検出されたか否かを判定する。２つ以上の特徴部分が検出されなかったと判定した場合には、Ｓ１０１に戻り、引き続き、特徴部分検出部１３は、２つ以上の特徴部分を検出すべく、車載カメラ１１により撮像された画像を監視する。Ｓ１０２で２つ以上の特徴的な部分が検出されたと判定した場合には、特徴部分検出部１３は、２つ以上の特徴部分を含む撮像画像を検出した旨の情報を制御部１２に与え、Ｓ１０３以降の処理を行う。

Ｓ１０３で、ベクトル検出部１５は、画像メモリ１４から連続する２フレームの撮像画像を読み出す。
Ｓ１０４で、ベクトル検出部１５は、画像メモリ１４に記憶された、連続する２フレームの撮像画像に共通して含まれる特徴部分に基づいて、撮像動きベクトルを検出する。

Ｓ１０５で、ベクトル変換部１６は、変換式を用いて複数の撮像動きベクトルに対して座標変換を行う。その結果、撮像動きベクトルは、鳥瞰動きベクトルに変換される。車載カメラ１１の現在の光軸角度が初期の光軸角度からずれている場合には、複数の鳥瞰動きベクトルはそれぞれ、方向及び長さのうち少なくとも一方が異なって検出される。

Ｓ１０６で、光軸角度算出部１７は、複数の鳥瞰動きベクトルに基づいて、車載カメラ１１の現在の光軸角度を算出する。具体的には、検出された複数の鳥瞰動きベクトルの方向及び長さの分布から、複数の鳥瞰動きベクトルがすべてのベクトルの方向及び長さが同一になるように回転補正するための式を求める。前述の特許文献１に記載の方法と同様である。

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）本実施形態のキャリブレーション装置１によれば、キャリブレーション処理に要するマイコンへの処理負荷及び画像メモリ１４へのメモリの消費を低減することができる。すなわち、仮に車載カメラ１１によって撮像された撮像画像全体を自車両の真上視点の画像に座標変換し、真上視点の画像から動きベクトルを検出し、車載カメラ１１の光軸角度を算出する場合、撮像動きベクトルだけでなく撮像画像全体を座標変換するため、座標変換を行うためにマイコンにかかる処理負荷は大きい。また撮像画像に加え、撮像画像を座標変換した画像も記憶するため、画像メモリ１４は、撮像画像のみを記憶する場合に比べ、より多くのメモリ容量を消費する。これに対して、本実施形態では、車載カメラ１１によって撮像された撮像画像そのものから特徴部分検出部１３が特徴部分を検出し、検出した特徴部分に基づいてベクトル検出部１５が撮像動きベクトルを検出する。その後、当該撮像動きベクトルのみを座標変換し、車載カメラ１１の光軸角度を求めている。そのため、車載カメラ１１によって撮像された撮像画像そのものを座標変換する場合に比べ、キャリブレーション処理に要するマイコンへの処理負荷を低減することができる。また、撮像画像そのものを座標変換した画像を記憶しないため、画像メモリ１４へのメモリの消費を低減することができる。

（１ｂ）本実施形態のキャリブレーション装置１によれば、座標変換に用いられるルックアップテーブルを不要とすることができる。すなわち、仮に車載カメラ１１によって撮像された撮像画像全体を自車両の真上視点の画像に座標変換する場合、撮像画像全体を変換式を用いて座標変換を行うと、ルックアップテーブルを用いて座標変換を行う場合と比較してマイコンへの処理負荷が大きい。一方で、ルックアップテーブルを用いて座標変換を行うと、画像全体を座標変換するための変換式の代わりに、使用するルックアップテーブルを記憶するためのメモリ等が必要になる。これに対して、本実施形態では、撮像画像全体ではなく撮像動きベクトルのみを座標変換し、車載カメラ１１の光軸角度を求めている。つまり座標変換は、撮像動きベクトルのみを対象とすることができるので、ルックアップテーブルを用いることなく変換式によって座標変換を行っても、画像全体を変換式によって座標変換する場合に比べ、処理負荷を低減することができる。したがって、ルックアップテーブルがない構成でも、マイコンへの処理負荷を低減した座標変換を行うことができる。

（１ｃ）本実施形態では、車載カメラ１１には広角レンズが使用される。このため、通常のレンズを使用した場合に比べ、より広範な撮像画像が取得可能となる。
［４．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施できる。

（２ａ）上記実施形態では、車載カメラ１１は広角レンズを使用した広角カメラとしたが、カメラの種類はこれに限定されるものではない。車載カメラは、例えば、歪みのない画像が撮像される通常のカメラとしてもよい。

（２ｂ）上記実施形態では、撮像動きベクトルの検出のために用いられる撮像画像のフレーム数は２フレームとしたが、用いられる撮像画像のフレームの数はこれに限定されるものではない。すなわち、撮像動きベクトルの検出のために用いられる撮像画像のフレーム数は３フレーム以上としてもよい。

（２ｃ）上記実施形態では、特徴部分検出部１３による特徴部分の検出方法は、撮像された画像内の明暗エッジを検出することにより行われるが、特徴部分の検出方法はこれに限定されるものではない。すなわち、テンプレートマッチング等の方法により特徴部分を検出してもよい。

（２ｄ）上記実施形態では、ベクトル変換部１６は撮像ベクトルから鳥瞰ベクトルへの座標変換を、変換式を用いて行うが、座標変換は変換式を用いた方法に限定されるものではない。例えばルックアップテーブルを用いた座標変換を行ってもよい。また、このような構成であっても、前述の（１ｂ）に示す効果は得られる。すなわち座標変換は、撮像動きベクトルのみを対象とすることができるので、マイコンへの処理負荷を低減することができる。

（２ｅ）上記実施形態では、特徴部分検出部１３、ベクトル検出部１５、ベクトル変換部１６及び光軸角度算出部１７は、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現されるが、特徴部分検出部、ベクトル検出部、ベクトル変換部及び光軸角度算出部は、それぞれハードウェアに限定されるものではなく、その一部又は全部の要素をＣＰＵがプログラムを実行することでソフトウェアを用いて実現してもよい。

（２ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（２ｇ）本発明は、前述したキャリブレーション装置１の他、キャリブレーション装置１を構成要素とする車載システム、キャリブレーション装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、キャリブレーション方法など、種々の形態で実現することができる。

１…キャリブレーション装置、１１…車載カメラ、１２…制御部、１３…特徴部分検出部、１４…画像メモリ、１５…ベクトル検出部、１６…ベクトル変換部、１７…光軸角度算出部、２１ａ〜２１ｃ…撮像動きベクトル、３１ａ〜３１ｃ…鳥瞰動きベクトル。

Claims (3)

1. 車両に取り付けられた車載カメラ（１１）によって撮像された複数フレームの撮像画像に基づいて、前記車両の接している路面に対する前記車載カメラの光軸角度をキャリブレーションするキャリブレーション装置（１）であって、
   前記複数フレームの撮像画像に共通して含まれる特徴的な部分である特徴部分を検出する特徴部分検出部（１３）と、
   前記複数フレーム間での前記特徴部分の変位を表す動きベクトルである撮像動きベクトル（２１ａ〜２１ｃ）を検出するベクトル検出部（１５）と、
   あらかじめ決められた前記光軸角度に取り付けられた前記車載カメラの前記撮像画像を前記車両の真上から鳥瞰した画像に変換するための関係に基づいて、前記撮像動きベクトルを前記車両の真上から鳥瞰した動きベクトルである鳥瞰動きベクトル（３１ａ〜３１ｃ）に変換するベクトル変換部（１６）と、
   前記鳥瞰動きベクトルに基づいて、前記光軸角度を算出する光軸角度算出部（１７）と、
   を備えるキャリブレーション装置。
2. 請求項１に記載のキャリブレーション装置であって、
   前記車載カメラは、前記撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラである、キャリブレーション装置。
3. 請求項１又は請求項２に記載のキャリブレーション装置であって、
   前記ベクトル変換部は、あらかじめ決められた前記光軸角度に取り付けられた前記車載カメラの前記撮像画像を前記車両の真上から鳥瞰した画像に変換するための関係を表した変換式に基づいて、前記撮像動きベクトルを前記鳥瞰動きベクトルに変換する、キャリブレーション装置。

Images