JP2018124678A - 障害物検出装置、障害物検出方法および障害物検出プログラム - Google Patents

Abstract

【課題】障害物の検出精度を向上させること。【解決手段】実施形態に係る障害物検出装置は、生成部と、変換部と、算出部と、変更部と、検出部とを備える。生成部は、車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する。変換部は、撮像装置の視点位置に基づいて生成部によって生成されたオプティカルフローを路面座標に投影することで路面ベクトルへ変換する。算出部は、変換部によって変換された路面ベクトルの大きさの分散値を算出する。変更部は、算出部によって算出された分散値に基づいて生成部がオプティカルフローの生成に用いた比較画像を変更する。検出部は、変更部によって変更された比較画像に基づく路面ベクトルから障害物を検出する。【選択図】図１Ｂ

Description

本発明は、障害物検出装置、障害物検出方法および障害物検出プログラムに関する。

従来、車両上で撮像された撮像画像から障害物を検出する障害物検出装置がある。かかる障害物検出装置は、撮像画像のオプティカルフローに基づいて障害物との相対的な位置関係を算出する（例えば、特許文献１参照）。

特開２０１１−２０３７６６号公報

しかしながら、従来の障害物検出装置では、オプティカルフローを正しく生成できない場合があり、かかる場合に、障害物との相対的な位置関係が正しく算出されず、障害物の検出精度が低下するおそれがあった。

本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置、障害物検出方法および障害物検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る障害物検出装置は、生成部と、変換部と、算出部と、変更部と、検出部とを備える。生成部は、車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する。変換部は、前記撮像装置の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する。算出部は、前記変換部によって変換された前記路面ベクトルの大きさの分散値を算出する。変更部は、前記算出部によって算出された前記分散値に基づいて前記生成部が前記オプティカルフローの生成に用いた前記比較画像を変更する。検出部は、前記変更部によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する。

本発明に係る障害物検出装置、障害物検出方法および障害物検出プログラムによれば、障害物の検出精度を向上させることができる。

図１Ａは、障害物検出装置の搭載例を示す図である。 図１Ｂは、障害物検出方法の概要を示す図である。 図２は、障害物検出装置のブロック図である。 図３Ａは、算出部による処理の具体例を示す図（その１）である。 図３Ｂは、算出部による処理の具体例を示す図（その２）である。 図４Ａは、コントラスト比と、分散値の関係の一例を示す図である。 図４Ｂは、比較画像の変更例を示す図（その１）である。 図４Ｃは、比較画像の変更例を示す図（その２）である。 図５は、検出部による障害物の検出処理を説明する図である。 図６は、障害物検出装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る障害物検出装置、障害物検出方法および障害物検出プログラムについて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る障害物検出方法の概要について説明する。図１Ａは、障害物検出装置の搭載例を示す図である。図１Ｂは、障害物検出方法の概要を示す図である。

図１Ａに示すように障害物検出方法を実行する障害物検出装置１は、車両Ｃに搭載される。また、撮像装置１０であるカメラは、車両Ｃの後部に設けられ、車両Ｃの後方を撮像する。

また、図１Ｂでは、撮像装置１０の視点位置１０ａから撮像された撮像画像Ｐおよび座標平面Ｒを示している。視点位置１０ａは、車両Ｃにおける撮像装置１０の取り付け位置に対応する。座標平面Ｒは、路面の位置に対応しており、直交座標（以下、路面座標という）で表される仮想平面である。

実施形態に係る障害物検出方法では、撮像装置１０によって撮像された撮像画像Ｐのうち、基準画像Ｐｂと、基準画像Ｐｂの後に撮像された比較画像Ｐｃとから同一の特徴点を結んだベクトルであるオプティカルフローＦを生成する。そして、障害物検出方法では、オプティカルフローＦを路面座標に投影して変換された路面ベクトルＶを用いて障害物２００の検出を行う。

ここで、実施形態に係る障害物検出方法では、基準画像Ｐｂと比較画像Ｐｃとを撮像する間の車両Ｃの移動距離、すなわち、視点位置１０ａの視点間距離に基づいて障害物２００との位置関係を算出する。

かかる視点間距離は、路面の特徴点から得られる路面ベクトルＶに対応する。通常、撮像画像Ｐには、路面を表示する部分が最も多く含まれるため、路面に対応する路面ベクトルＶが最も多く含まれる。

そのため、実施形態に係る障害物検出方法では、路面ベクトルＶについて大きさに関するヒストグラムを作成し、かかるヒストグラムにおいて分布が最も多い値に基づいて視点間距離を算出する。

このとき、オプティカルフローＦが正しく生成されていれば、路面ベクトルＶの大きさに関するヒストグラムの分散値は小さい値となる。

一方、オプティカルフローＦが正しく生成されていなかった場合、ヒストグラムにバラつきが生じ、かかる分散値は大きい値となる。すなわち、路面ベクトルＶの大きさに関する分散値は、オプティカルフローＦの確からしさの尺度となる。

ここで、オプティカルフローＦが正しく生成されない要因の１つとして、視点間距離が大きすぎて、基準画像Ｐｂおよび比較画像Ｐｃの間で、同一の特徴点を正しく結ぶことができなかったことが考えられる。

そこで、実施形態に係る障害物検出方法では、上記した分散値に基づいて視点間距離を変更する、すなわち、比較画像Ｐｃを変更することとした。例えば、図１Ｂに示す時刻ｔ１に撮像された基準画像Ｐｂと、時刻ｔ３に撮像された比較画像Ｐｃ１とに基づく分散値が所定値よりも大きかったとする。この場合、比較画像Ｐｃを変更することで視点間距離を短くする。

具体的には、実施形態に係る障害物検出方法では、比較画像Ｐｃを比較画像Ｐｃ１が撮像された時刻ｔ３よりも前の時刻ｔ２に撮像された比較画像Ｐｃ２へ変更する。

つまり、基準画像Ｐｂおよび比較画像Ｐｃが撮像された時間間隔を短くする。これにより、基準画像Ｐｂおよび比較画像Ｐｃにおける変化量を小さくすることができ、精度が高いオプティカルフローＦを生成することが可能となる。

したがって、実施形態に係る障害物検出方法によれば、オプティカルフローＦをより正確に生成することができ、上記の分散値を小さくすることができる。そして、実施形態に係る障害物検出方法では、かかるオプティカルフローＦから変換された路面ベクトルＶに基づいて障害物２００を検出する。

つまり、実施形態に係る障害物検出方法によれば、障害物２００の検出精度を向上させることができる。

ところで、実施形態に係る障害物検出方法では、上記した分散値が大きい場合に、比較画像Ｐｃのコントラスト比を調整することで分散値を小さくすることもできる。この点の詳細については、図４Ａを用いて後述する。

また、実施形態に係る障害物検出方法では、上記した分散値が後述の目標値Ｖｂよりも小さい場合、すなわち、オプティカルフローＦの生成の精度が高い場合に、視点間距離を大きくするように比較画像Ｐｃを変更することもできる。この点の詳細については、図４Ｃを用いて後述する。

次に、図２を用いて実施形態に係る障害物検出装置１の構成について説明する。図２は、障害物検出装置１のブロック図である。なお、図２に示すように、障害物検出装置１は、撮像装置１０、車両制御装置５０および表示装置５１に接続される。

撮像装置１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラであり、例えば車両Ｃ後方の様子を撮像する位置に設けられる。

また、撮像装置１０は、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。なお、撮像装置１０は、車両Ｃ後方を撮像する場合に限らず、車両Ｃの前方や側方を撮像する位置に設けられてもよい。

車両制御装置５０は、障害物検出装置１から出力される情報に基づいてＰＣＳ（Pre-crash Safety System）やＡＥＢ(Advanced Emergency Braking System)などの車両制御を行う。

表示装置５１は、例えば、液晶パネルを備え、障害物検出装置１から出力される情報を表示する。例えば、表示装置５１は、撮像画像Ｐや、撮像画像Ｐに含まれる障害物２００を囲った枠画像を表示する。

障害物検出装置１は、制御部２および記憶部３を備える。制御部２は、画像取得部２１と、生成部２２と、変換部２３と、算出部２４と、変更部２５と、検出部２６と、調整部２７とを備える。記憶部３は、画像情報３１を記憶する。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Desk Drive）、入出力ポートなどを有するコンピュータや各種回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶された各種プログラムを読み出して実行することによって、制御部２の画像取得部２１、生成部２２、変換部２３、算出部２４、変更部２５、検出部２６および調整部２７として機能する。

また、制御部２の画像取得部２１、生成部２２、変換部２３、算出部２４、変更部２５、検出部２６および調整部２７の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３０は、たとえば、ＲＯＭ、ＲＡＭおよびＨＤＤに対応する。ＲＯＭ、ＲＡＭおよびＨＤＤは、画像情報３１や各種プログラムの情報等を記憶することができる。なお、制御部２は、有線や無線のネットワークで接続された他のコンピュータや可搬型記憶媒体を介して画像情報３１や各種情報を取得することとしてもよい。

制御部２の画像取得部２１は、撮像装置１０から所定の周期（例えば、１／３０秒周期）で時間的に連続して撮像画像Ｐを取得する。画像取得部２１は、取得した撮像画像Ｐを画像情報３１として記憶部３に記憶させるとともに、生成部２２へ出力する。

記憶部３の画像情報３１は、撮像画像Ｐが時系列に並べて記憶された情報である。画像情報３１は、画像取得部２１によって最新の撮像画像Ｐが記憶されると、時間的に最も古い撮像画像Ｐから順次削除して更新される。

生成部２２は、画像取得部２１が取得した撮像画像ＰからオプティカルフローＦを生成する。具体的には、まず、生成部２２は、画像情報３１の中から基準画像Ｐｂを調整部２７を介して取得し、基準画像Ｐｂから特徴点を抽出する。

生成部２２は、例えばソベルフィルタ等の既知の手法を特徴点の抽出処理に用いることができる。また、生成部２２は、画像情報３１から基準画像Ｐｂの後に撮像された比較画像Ｐｃを取得し、比較画像Ｐｃから特徴点を抽出する。

つづいて、生成部２２は、基準画像Ｐｂおよび比較画像Ｐｃから抽出した特徴点に基づいてオプティカルフローＦを生成し、変換部２３へ出力する。

生成部２２は、例えば勾配法であるLucas-Kaneda法やHorn-Schunk法といった等の既知の手法によってオプティカルフローＦを生成することができる。なお、生成部２２は、勾配法に限らず、ブロックマッチング法によってオプティカルフローＦを生成してもよい。

変換部２３は、撮像装置１０の視点位置１０ａに基づいて生成部２２によって生成されたオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する。

変換部２３は、車両Ｃにおける撮像装置１０の取り付け高さおよび取り付け俯角によって設定される視点位置１０ａを仮想視点に変換することで、オプティカルフローＦの撮像画像Ｐにおける座標を路面座標へ変換する。

より詳細には、変換部２３は、撮像画像Ｐを等距離射影方式により変換した平面を取り付け俯角だけ回転させることで、オプティカルフローＦを路面座標系である座標平面Ｒの路面ベクトルＶへ変換する。また、変換部２３は、変換した路面ベクトルＶを算出部２４へ出力する。

算出部２４は、変換部２３によって変換された路面ベクトルＶの大きさの分散値および視点間距離を算出する。ここで、図３Ａおよび図３Ｂを用いて算出部２４による処理内容について説明する。図３Ａおよび図３Ｂは、算出部２４による処理の具体例を示す図である。

なお、図３Ａは、撮像画像Ｐと座標平面Ｒとの対応関係を模式的に示し、図３Ｂは、路面ベクトルＶの大きさに関するヒストグラムを示す。また、図３Ｂでは、横軸を路面ベクトルＶの大きさ（例えば、１ｍｍ間隔）とし、縦軸を路面ベクトルＶの個数としている。

算出部２４は、図３Ａに示す撮像画像Ｐの下側の領域Ｐ１に対応する座標平面Ｒの下側に領域Ｒ１に対応する路面ベクトルＶについて路面ベクトルＶの大きさの分散値を算出する。換言すると、座標平面Ｒにおける領域Ｒ１以外を路面ベクトルＶの大きさの分散値の算出対象から除外する。

これは、撮像画像Ｐにおいて領域Ｐ１以外には、路面以外の物体が写り込みやすく、かかる物体によって路面ベクトルＶの大きさにバラつきが生じるおそれがあるためである。

このため、算出部２４は、例えば、路面ベクトルＶの初期座標が領域Ｒ１内にある路面ベクトルＶのみを対象として分散値の算出処理を行う。

これにより、算出部２４は、障害物２００の影響を低減した分散値を算出することができ、視点間距離の算出精度を向上させることができる。

なお、図３Ａに示す領域Ｐ１や領域Ｒ１は、一例であって、これに限定されるものではなく、任意に変更することができる。また、領域Ｒ１の下端は、撮像画像Ｐの下端と一致している必要はなく、かかる下端から任意の幅を持たすことにしてもよい。

また、領域Ｐ１の形状も矩形である必要はなく、円形や三角形など他の形状とすることにしてもよい。また、領域Ｐ１や領域Ｒ１を設けず、全ての路面ベクトルＶから分散値を算出することにしてもよい。

続いて、図３Ｂを用いて分散値および視点間距離の算出処理について説明する。まず、算出部２４は、上記の領域Ｒ１の路面ベクトルＶの大きさに関してヒストグラムを作成する。

上記したように、路面ベクトルＶのヒストグラムにおいて個数が最も多くなる値が基準画像Ｐｂおよび比較画像Ｐｃにおける視点間距離に対応する。同図に示す例では、算出部２４は、路面ベクトルＶの大きさの最も個数が多くなる距離Ｄ８を視点間距離として算出する。

また、オプティカルフローＦの確からしさは、路面ベクトルＶの大きさの分散値から求めることができる。このため、算出部２４は、かかるヒストグラムから標準偏差を用いて路面ベクトルＶの大きさの分散値を算出する。

そして、算出部２４は、算出した分散値および視点間距離と、変換部２３から入力された路面ベクトルＶとを含む路面ベクトル情報を変更部２５へ出力する。

図２の説明に戻り、制御部２の説明を続ける。制御部２の変更部２５は、算出部２４から入力される分散値に基づいて生成部２２がオプティカルフローＦの生成に用いた比較画像Ｐｃを変更する。

ここで、分散値が大きくなった理由として、視点間距離に加えて、撮像画像Ｐにおいて被写体の輪郭が鮮明でなかった場合が考えられる。かかる場合、生成部２２による特徴点の抽出精度が低下し、オプティカルフローＦの確からしさが低下する。

このため、変更部２５は、算出部２４が算出した分散値が基準値Ｖａ（例えば、５０）よりも大きかった場合、調整部２７へ比較画像Ｐｃのコントラスト比の調整を指示する。

調整部２７は、かかる指示に基づいて記憶部３の画像情報３１から生成部２２がオプティカルフローＦの生成に用いた比較画像Ｐｃを取得し、かかる比較画像Ｐｃのコントラスト比を調整し、生成部２２へ出力する。

ここで、図４Ａおよび図４Ｂを用いて変更部２５および調整部２７による処理について説明する。図４Ａは、コントラスト比と、分散値の関係の一例を示す図である。なお、同図では、縦軸を分散値とし、横軸をコントラスト比としている。

調整部２７は、比較画像Ｐｃのコントラスト比を例えば、１倍から１．５倍の間において１０段階で調整し、変更部２５の指示に基づいてコントラスト比を１段階ずつあげて生成部２２へ出力する。

同図に示す例では、コントラスト比Ｃｒ１が初期値（コントラスト比１倍）に対応する。調整部２７は、変更部２５の指示に従って比較画像Ｐｃのコントラスト比をコントラスト比Ｃｒ１からコントラスト比Ｃｒ２へ調整し、生成部２２へ出力する。

生成部２２は、基準画像Ｐｂと比較画像Ｐｃとに基づいてオプティカルフローＦを生成し、変換部２３および算出部２４は、上記した処理を繰り返し行う。

そして、変更部２５は、例えば、今回の分散値と、前回の分散値とが略一定だった場合、または、今回の分散値が、前回の分散値よりも小さい場合に、比較画像Ｐｃのコントラスト比の調整を調整部２７へ再度指示する。

調整部２７は、かかる指示を受けて比較画像Ｐｃのコントラスト比をコントラスト比Ｃｒ２からコントラスト比Ｃｒ３へ調整する。そして、変更部２５は、今回の分散値が基準値Ｖａ（例えば、５０）を下回った場合に、かかる分散値を最適なコントラスト比として設定する。

もしくは、変更部２５は、今回の分散値が前回の分散値よりも大きくなった時点で前回のコントラスト比を最適なコントラスト比として設定する。そして、調整部２７は、例えば、次にコントラスト比が変更されるまで撮像画像Ｐをかかるコントラスト比で調整する。

同図に示す例では、変更部２５は、コントラスト比Ｃｒ３を最適なコントラスト比として設定し、白丸で示すコントラスト比Ｃｒ５以降の処理を省略することができる。

これにより、コントラスト比に基づく、オプティカルフローＦの劣化を排除することができる。なお、調整部２７は、コントラスト比を全て調整（Ｃｒ１〜Ｃｒ１０）し、変更部２５は、かかる調整結果に基づいて最適なコントラスト比を設定することにしてもよい。

なお、ここでは、調整部２７が、撮像画像Ｐのコントラスト比が高くなるように調整する場合について説明したが、調整部２７は、コントラスト比が低くなるように調整（例えば、０．５倍〜１倍の間）することもできる。

これは、撮像画像Ｐに影などのノイズが混入していた場合、生成部２２は、かかるノイズを特徴点として抽出し、かかるノイズの特徴点からオプティカルフローＦを生成したおそれがあるためである。

このため、調整部２７は、コントラスト比が低くなるように調整することで、生成部２２によるオプティカルフローＦの生成の際に、ノイズの影響を受けにくくすることができる。また、調整部２７は、コントラスト比以外に、比較画像Ｐｃの色調、明度、シャープネス等の各種パラメータを調整することにしてもよい。

次に、図４Ｂおよび図４Ｃを用いて変更部２５による比較画像Ｐｃの変更処理について説明する。図４Ｂおよび図４Ｃは、基準画像Ｐｂと、比較画像Ｐｃとの関係を示す図である。図４Ｂおよび図４Ｃでは、時刻ｔ１に撮像された撮像画像Ｐを基準画像Ｐｂとし、時刻ｔ４に撮像された撮像画像Ｐが現在の比較画像Ｐｃ３である場合を示している。

まず、図４Ｂを用いて視点間距離を短くする場合について説明する。変更部２５は、現在の比較画像Ｐｃ３に基づく分散値が基準値Ｖａ以上である場合に、画像情報３１から現在の比較画像Ｐｃ３よりも１つ前に撮像された比較画像Ｐｃ２へ変更するように調整部２７へ指示する。

これにより、調整部２７は、比較画像Ｐｃ２を上記したコントラスト比に調整して生成部２２へ出力し、生成部２２、変換部２３および算出部２４は、上記した処理を繰り返す。

そして、変更部２５は、分散値が最少となった時点または、分散値が基準値Ｖａ以下となった時点で、路面ベクトルＶを検出部２６へ出力する。これにより、基準画像Ｐｂおよび比較画像Ｐｃ間の視点間距離を短くすることができ、オプティカルフローＦの生成精度を向上させることができる。

また、変更部２５は、分散値が最少となった時点で現在の比較画像Ｐｃを基準画像Ｐｂへ変更するように生成部２２へ指示する。これにより、制御部２では、比較画像Ｐｃを基準画像Ｐｂとした次回の障害物検出処理を開始することとなる。

ところで、変更部２５は、視点間距離が大きくなるように比較画像Ｐｃの変更を指示することもできる。そこで、図４Ｃを用いて視点間距離を大きくする場合の処理の具体例について説明する。

変更部２５は、分散値が目標値Ｖｂ（例えば、３０）以下であった場合、比較画像Ｐｃを視点間距離が短くなる向きに変更していないことを条件として、現在の比較画像Ｐｃ３よりも後に撮像された比較画像Ｐｃ４へ変更するように調整部２７へ指示する。

そして、変更部２５は、今回の分散値が、前回の分散値よりも大きくなった時点で、前回の分散値の路面ベクトルＶを検出部２６へ出力する。これにより、分散値が良好である場合、すなわち、オプティカルフローＦの生成精度が高い場合に、視点間距離を大きくすることができる。

これは、視点間距離を大きくすると、後述する検出部２６による障害物２００の検出精度が向上するためである。具体的には、検出部２６は、視点間距離と、路面ベクトルＶとを比較することで障害物２００を検出する。

このとき、視点間距離を大きくすると、路面ベクトルＶも相対的に大きくなる。このため、視点間距離と路面ベクトルＶとの比較が容易になり、障害物２００の検出精度が向上する。

このように、変更部２５は、分散値が目標値Ｖｂよりも大きい場合に、視点間距離が大きくなるように調整部２７へ指示することができる。これにより、障害物２００の検出精度を向上させることができる。

ところで、視点間距離は、大きすぎると分散値が低下しやすく、小さすぎると、障害物２００の検出精度が低下するおそれがある。このため、変更部２５は、視点間距離が例えば、１０ｍｍ〜５００ｍｍの範囲から逸脱する場合に、かかる範囲に収まるように比較画像Ｐｃを変更する。

これにより、視点間距離を適切な値に設定することができ、障害物２００の検出精度を確保することができる。

図２の説明に戻り、制御部２の説明を続ける。検出部２６は、変更部２５から入力される路面ベクトルＶに基づいて障害物２００を検出する。ここで、図５を用いて検出部２６による障害物２００の検出処理について説明する。

図５は、検出部２６による障害物２００の検出処理を説明する図である。図５には、路面である座標平面Ｒから撮像装置１０の視点位置１０ａまでの高さＨＡと、障害物２００の高さＨと、高さＨＡおよび高さＨの差分である高さＨＢを示している。

ここでは、車両Ｃが距離Ｄ１だけ障害物２００に近づいたものとし、算出部２４が、視点間距離を距離Ｄ１として算出したものとする。かかる場合に、高さがある障害物２００の頂点の特徴点に対応する路面ベクトルＶｃは、幾何学的関係から距離Ｄ１よりも長い距離Ｄ２として算出される。

このため、検出部２６は、視点間距離よりも大きい路面ベクトルＶに対応する特徴点を障害物２００として検出することができる。次に、検出部２６は、障害物２００として検出した特徴点のうち、路面ベクトルＶの終点の座標が所定値よりも小さい路面ベクトルＶを抽出する。

そして、検出部２６は、かかる路面ベクトルＶに対応する特徴点を車両Ｃに接触する可能性がある障害物２００として図２に示した車両制御装置５０や表示装置５１へ出力する。

このように、検出部２６は、視点間距離が適切に補正された路面ベクトルＶに基づいて障害物２００を検出する。これにより、障害物２００の検出精度を向上させることができる。

ところで、例えば、空き缶など、障害物２００の高さが低い場合、車両Ｃの走行の妨げとならない場合がある。このため、検出部２６は、接触する可能性がある障害物２００のうち、所定値（例えば、１０ｃｍ）以上の高さを有する障害物２００のみを選択して車両制御装置５０や表示装置５１へ出力することもできる。

ここで、検出部２６による高さＨの算出方法について説明する。図５に示す、高さＨＡおよび高さＨＢは、三角比の関係により、ＨＡ：ＨＢ＝Ｄ２：Ｄ１となる。高さＨＢは、ＨＡ−Ｈであるため、障害物２００の高さＨを示す数式は、Ｈ＝ＨＡ−（ＨＡ×Ｄ１）／Ｄ２となる。なお、高さＨＡ、距離Ｄ１および距離Ｄ２は、既知であるため、これらを上記式に代入すると障害物２００の高さＨを求めることができる。

次に、図６を用いて実施形態に係る障害物検出装置１が実行する処理手順について説明する。図６は、実施形態に係る障害物検出装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御部２によって繰り返し実行される。

まず、画像取得部２１は、撮像画像Ｐを取得する（ステップＳ１０１）。続いて、生成部２２は、基準画像Ｐｂおよび比較画像ＰｃからオプティカルフローＦを生成する（ステップＳ１０２）。

次に、変換部２３は、オプティカルフローＦを路面ベクトルＶへ変換し（ステップＳ１０３）、算出部２４は、視点間距離および分散値を算出する（ステップＳ１０４）。

続いて、変更部２５は、分散値が基準値Ｖａより大きいか否かを判定する（ステップＳ１０５）。ここで、変更部２５は、分散値が基準値Ｖａ以下の場合（ステップＳ１０５，Ｎｏ）、分散値が目標値Ｖｂよりも小さいか否かを判定する（ステップＳ１０６）。

そして、分散値が目標値Ｖｂ以上の場合（ステップＳ１０６，Ｎｏ）、検出部２６は、路面ベクトルＶに基づいて障害物２００を検出し（ステップＳ１０７）、処理を終了する。

一方、分散値が基準値Ｖａよりも大きい場合（ステップＳ１０５，Ｙｅｓ）、変更部２５は、比較画像Ｐｃのコントラスト比を最適化済みか否かを判定する（ステップＳ１０８）。

ここで、コントラスト比を最適化済みである場合（ステップＳ１０８，Ｙｅｓ）、変更部２５は、視点間距離が小さくなる向きに比較画像Ｐｃを変更し（ステップＳ１０９）、制御部２は、ステップＳ１０２以降の処理を繰り返す。

一方、コントラスト比を最適化済みでない場合（ステップＳ１０８，Ｎｏ）、調整部２７は、比較画像Ｐｃのコントラスト比を調整し（ステップＳ１１０）、制御部２は、ステップＳ１０２以降の処理を繰り返す。

なお、ここでは、コントラスト比を調整し、分散値が基準値Ｖａ以下となった場合に、ステップＳ１０９の処理を省略する場合について示したが、コントラスト比を調整し、分散値が基準値Ｖａを下回った場合であっても、ステップＳ１０９の処理を行うことにしてもよい。

また、変更部２５は、分散値が目標値Ｖｂより小さい場合（ステップＳ１０６，Ｙｅｓ）、視点間距離が小さくなる向きに比較画像Ｐｃ変更済みか否かを判定する（ステップＳ１１１）。

制御部２は、比較画像Ｐｃを変更済みである場合（ステップＳ１１１，Ｙｅｓ）、ステップＳ１０７の処理へ移行し、処理を終了する。一方、変更部２５は、比較画像Ｐｃを変更済みでない場合（ステップＳ１１１，Ｎｏ）、今回の分散値は前回の分散値より小さいか否かを判定する（ステップＳ１１２）。なお、後述するステップＳ１１３の処理を行っていない場合、ステップＳ１１２の処理は省略される。

そして、変更部２５は、今回の分散値が前回の分散値より小さい場合（ステップＳ１１２，Ｙｅｓ）、視点間距離が大きくなる向きに比較画像Ｐｃを変更し（ステップＳ１１３）、制御部２は、ステップＳ１０２以降の処理を繰り返す。

一方、今回の分散値が前回の分散値以上である場合（ステップＳ１１２，Ｎｏ）、検出部２６は、前回の路面ベクトルＶに基づいて障害物２００を検出し（ステップＳ１０７）、処理を終了する。

上述したように、実施形態に係る障害物検出装置１は、生成部２２と、変換部２３と、算出部２４と、変更部２５と、検出部２６とを備える。生成部２２は、車両Ｃに搭載された撮像装置１０によって撮像された撮像画像Ｐのうち、基準画像Ｐｂと、当該基準画像Ｐｂの後に撮像された比較画像ＰｃとからオプティカルフローＦを生成する。

変換部２３は、撮像装置１０の視点位置１０ａに基づいて生成部２２によって生成されたオプティカルフローＦを路面座標に投影することで路面ベクトルＶへ変換する。

算出部２４は、変換部２３によって変換された路面ベクトルＶの大きさの分散値を算出する。変更部２５は、算出部２４によって算出された分散値に基づいて生成部２２がオプティカルフローＦの生成に用いた比較画像Ｐｃを変更する。検出部２６は、変更部２５によって変更された比較画像Ｐｃに基づく路面ベクトルＶから障害物２００を検出する。したがって、実施形態に係る障害物検出装置１によれば、障害物２００の検出精度を向上させることができる。

なお、上述した実施形態では、車両制御装置５０が障害物検出装置１による障害物２００の検出結果に基づいて車両Ｃを制御する場合について説明したがこれに限定されるものではない。すなわち、車両制御装置５０は、例えば、ミリ波レーダなどを備えた他の障害物検出装置の検出結果を併用して車両Ｃを制御することにしてもよい。これにより、車両制御装置５０は、より確実に危険を回避することが可能となる。

また、障害物検出装置１の生成部２２が、変更部２５の指示に基づいて基準画像Ｐｂおよび比較画像ＰｃからオプティカルフローＦを生成する場合について示したが、これに限定されるものではない。

生成部２２は、基準画像Ｐｂと、複数の比較画像ＰｃとのオプティカルフローＦを算出しておき、変更部２５は、かかる複数のオプティカルフローＦに基づく分散値から最適な路面ベクトルＶを選択するようにしてもよい。

また、障害物検出装置１は、分散値に基づいて撮像装置１０の撮像間隔（いわゆる、フレームレート）を調整し、基準画像Ｐｂおよび比較画像Ｐｃの視点間距離を調整することにしてもよい。

また、障害物検出装置１は、最新の撮像画像Ｐを基準画像Ｐｂとし、当該基準画像Ｐｂより前に撮像された撮像画像Ｐを比較画像Ｐｃとして視点間距離を調整することにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 障害物検出装置
２２ 生成部
２３ 変換部
２４ 算出部
２５ 変更部
２６ 検出部
２７ 調整部
２００ 障害物
Ｐ 撮像画像
Ｐｂ 基準画像
Ｐｃ 比較画像
Ｆ オプティカルフロー
Ｖ 路面ベクトル

Claims (7)

1. 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成部と、
   前記撮像装置の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換部と、
   前記変換部によって変換された前記路面ベクトルの大きさの分散値を算出する算出部と、
   前記算出部によって算出された前記分散値に基づいて前記生成部が前記オプティカルフローの生成に用いた前記比較画像を変更する変更部と、
   前記変更部によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出部と
   を備えることを特徴とする障害物検出装置。
2. 前記算出部は、
   前記撮像画像における下側の領域に対応する前記路面ベクトルについて前記分散値を算出すること
   を特徴とする請求項１に記載の障害物検出装置。
3. 前記変更部は、
   前記分散値が基準値より大きい場合に、前記比較画像を当該比較画像よりも前に撮像された前記撮像画像へ変更すること
   を特徴とする請求項１または２に記載の障害物検出装置。
4. 前記分散値が前記基準値より大きい場合に、前記比較画像のコントラスト比を調整する調整部
   をさらに備えること
   を特徴とする請求項３に記載の障害物検出装置。
5. 前記変更部は、
   前記基準値よりも低い目標値よりも前記分散値が小さい場合に、前記比較画像を当該比較画像よりも前に撮像された前記撮像画像へ変更していないことを条件として前記比較画像を当該比較画像よりも後に撮像された前記撮像画像へ変更すること
   を特徴とする請求項３または４に記載の障害物検出装置。
6. 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成工程と、
   前記撮像装置の視点位置に基づいて前記生成工程によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換工程と、
   前記変換工程によって変換された前記路面ベクトルの大きさの分散値を算出する算出工程と、
   前記算出工程によって算出された前記分散値に基づいて前記生成工程が前記オプティカルフローの生成に用いた前記比較画像を変更する変更工程と、
   前記変更工程によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出工程と
   を含むことを特徴とする障害物検出方法。
7. 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成手順と、
   前記撮像装置の視点位置に基づいて前記生成手順によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換手順と、
   前記変換手順によって変換された前記路面ベクトルの大きさの分散値を算出する算出手順と、
   前記算出手順によって算出された前記分散値に基づいて前記生成手順が前記オプティカルフローの生成に用いた前記比較画像を変更する変更手順と、
   前記変更手順によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出手順と
   をコンピュータに実行させることを特徴とする障害物検出プログラム。

Images