JP2019134266A - 画像処理装置、画像処理方法および運転支援システム - Google Patents

Abstract

【課題】付着物の影響を排除してセンシングを継続して行うこと。【解決手段】実施形態に係る画像処理装置は、検出部と、探索部とを備える。検出部は、撮像装置によって撮像された撮像画像から撮像装置に付着物が付着した付着物領域を検出する。探索部は、撮像画像に対して複数の探索領域を設定し、探索領域毎に対象物を探索する。また、探索部は、検出部によって検出された付着物領域を含む探索領域の探索を停止するとともに、残りの探索領域の探索を継続して行う。【選択図】図１Ｂ

Description

本発明は、画像処理装置、画像処理方法および運転支援システムに関する。

従来、車両の周囲が撮像された撮像画像に基づいて路面上の白線や車両への接近物などをセンシングする画像処理装置がある。また、かかる画像処理装置では、撮像装置のレンズに付着した雨滴や雪片などの付着物による影響を排除するために、付着物を検出した場合に、センシング動作を停止する（例えば、特許文献１参照）。

特開２０１５−０２６９８７号公報

しかしながら、従来技術では、付着物を検出した場合に、全てのセンシング動作を停止させるため、付着物の影響が少ないセンシング動作も停止されていた。

本発明は、上記に鑑みてなされたものであって、付着物の影響を排除してセンシングを継続して行うことができる画像処理装置、画像処理方法および運転支援システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、検出部と、探索部とを備える。前記検出部は、撮像装置によって撮像された撮像画像から前記撮像装置に付着物が付着した付着物領域を検出する。前記探索部は、前記撮像画像に対して複数の探索領域を設定し、前記探索領域毎に対象物を探索する。また、前記探索部は、前記検出部によって検出された前記付着物領域を含む前記探索領域の前記探索を停止するとともに、残りの前記探索領域の前記探索を継続して行う。

本発明によれば、付着物の影響を排除してセンシングを継続して行うことができる。

図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、運転支援システムのブロック図である。 図３Ａは、継続条件の一例を示す図である。 図３Ｂは、待機時間の一例を示す図である。 図４Ａは、探索領域の設定処理の具体例を示す図（その１）である。 図４Ｂは、探索領域の設定処理の具体例を示す図（その２）である。 図４Ｃは、探索領域の設定処理の具体例を示す図（その３）である。 図４Ｄは、移動物に対する処理の具体例を示す図である。 図５は、算出部による処理の具体例を示す図である。 図６は、生成部による処理の具体例を示す図である。 図７は、画像処理装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置、画像処理方法および運転支援システムについて説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置および画像処理方法の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。図１Ｂは、画像処理方法の概要を示す図である。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載される。車両Ｃは、例えば、それぞれ異なる撮像領域を有する４つのカメラを有する。具体的には、車両Ｃは、車両Ｃの前方を撮像するフロントカメラ１０ｆ、車両Ｃの後方を撮像するバックカメラ１０ｂ、車両Ｃの左側方を撮像する左カメラ１０ｌおよび車両Ｃの右側方を撮像する右カメラ１０ｒを備える。なお、以下では、それぞれのカメラを区別する必要がない場合、「カメラ１０」と記載する。

画像処理装置１は、カメラ１０によって撮像された撮像画像Ｌに対して、障害物検知や白線検知等の各種センシングを行う。かかる各種センシング結果は、車両Ｃの自動運転や自動駐車に用いられる。

ところで、カメラ１０は、車両Ｃの外部に設置されるので、カメラ１０のレンズには、水滴をはじめとして付着物が付着する場合がある。かかる場合に、撮像画像Ｌに付着物が写り込み、上記の各種センシングを阻害するおそれがある。

このため、従来技術では、付着物を検出した場合に、全てのセンシング動作を停止していた。しかしながら、全てのセンシング動作を停止させると、車両Ｃの自動運転や自動駐車を停止させる必要が生じる。

そこで、実施形態に係る画像処理方法では、撮像画像Ｌにおいて付着物が付着している付着物領域のセンシングを停止するものの、付着物領域以外の領域についてセンシングを継続して行うこととした。

以下、図１Ｂを用いて実施形態に係る画像処理方法の概要について説明する。なお、図１Ｂでは、車両Ｃの後方に配置されたバックカメラ１０ｂによって撮像された撮像画像Ｌから車両Ｃが駐車するための白線を探索する場面を示す。

図１Ｂに示すように、実施形態に係る画像処理方法では、まず、付着物領域Ｒｆを検出する（ステップＳ１）。ここで、付着物領域Ｒｆは、撮像画像Ｌにおいてカメラ１０のレンズに付着物が付着している領域である。また、付着物は、例えば、水滴、雪、泥、ごみ等を含む。なお、図１Ｂにおいて付着物領域Ｒｆを黒塗で示す。

続いて、実施形態に係る画像処理方法では、対象物を探索する（ステップＳ２）。同図に示す例では、対象物が、駐車枠Ｐｓであり、駐車枠Ｐｓを検出するための２つの探索領域Ｒｓ１、Ｒｓ２が設定されている場面を示す。

ここで、探索領域Ｒｓ１と探索領域Ｒｓ２とを比較すると、探索領域Ｒｓ１は、複数の付着物領域Ｒｆを含む一方、探索領域Ｒｓ２は付着物領域Ｒｆを含まない。

つまり、図１Ｂに示す例において、探索領域Ｒｓ１については、駐車枠Ｐｓと付着物が重畳するため、駐車枠Ｐｓの検出精度が低下するおそれがある。一方、探索領域Ｒｓ２については、駐車枠Ｐｓと付着物が重畳していないので、探索領域Ｒｓ１に比べて駐車枠Ｐｓを精度よく検出することが可能となる。

このため、実施形態に係る画像処理方法では、探索領域Ｒｓ１における駐車枠Ｐｓの探索を停止するとともに、探索領域Ｒｓ２において駐車枠Ｐｓの探索を継続して行う。

つまり、撮像画像Ｌにおいて、付着物により対象物の探索精度が低下する領域については探索を停止するものの、付着物により対象物の探索精度が低下しない領域については、探索を継続して行う。

したがって、実施形態に係る画像処理方法によれば、付着物の影響を排除してセンシングを継続して行うことができる。

次に、図２を用いて実施形態に係る運転支援システム１００の構成例について説明する。図２は、運転支援システム１００のブロック図である。図２に示すように、運転支援システム１００は、画像処理装置１と、車両制御装置１５とを備える。また、図２には、カメラ１０、舵角センサ１１、速度センサ１２、シフトセンサ１３を併せて示す。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば車両の周囲を撮像する位置にそれぞれ取り付けられる。また、カメラ１０のレンズには、魚眼レンズ等の広角レンズが採用される。これにより、車両Ｃの全周囲を撮像することが可能となる。カメラ１０によって撮像された撮像画像Ｌは、画像処理装置１に出力される。

舵角センサ１１は、車両Ｃの現在の舵角を検出するセンサであり、検出結果を画像処理装置１に随時出力する。速度センサ１２は、車両Ｃの走行速度を検出するセンサであり、検出結果を画像処理装置１に随時出力する。また、シフトセンサ１３は、車両Ｃのシフトレバの位置を検出するセンサであり、検出結果を画像処理装置１に随時出力する。

車両制御装置１５は、車両Ｃの自動運転や運転アシスト（例えば、ＰＣＳ（Pre-crash Safety System）やＡＥＢ(Advanced Emergency Braking System)など）の車両制御を行う。例えば、車両制御装置１５は、画像処理装置１から入力されるセンシング結果に基づいて自動駐車制御等の上記の車両制御を行うことができる。なお、車両制御装置１５を画像処理装置１の構成に含めることにしてもよい。

画像処理装置１は、制御部２および記憶部３を備える。制御部２は、検出部２１と、探索部２２と、算出部２３と、生成部２４とを備える。制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の検出部２１、探索部２２、算出部２３および生成部２４として機能する。

また、制御部２の検出部２１、探索部２２、算出部２３および生成部２４の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、辞書情報３１や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２の検出部２１は、カメラ１０によって撮像された撮像画像Ｌからカメラ１０に付着物が付着した付着物領域Ｒｆを検出する。検出部２１は、付着物として水滴、雪片（レンズの凍結を含む）、泥、ごみ等を検出することができる。

例えば、検出部２１は、付着物の種類に応じてそれぞれ異なるアルゴリズムを用いて撮像画像Ｌを解析することで、付着物領域Ｒｆを検出することができる。

検出部２１は、付着物領域Ｒｆの撮像画像Ｌにおける座標位置と付着物の種類を撮像画像Ｌに対応付けて探索部２２へ出力する。なお、図１Ａに示したように、複数のカメラ１０を備える場合、各カメラ１０によって撮像されたそれぞれの撮像画像Ｌに対して付着物領域Ｒｆを検出する。

探索部２２は、撮像画像Ｌに対して複数の探索領域Ｒｓを設定し、探索領域Ｒｓ毎に対象物を探索する。また、探索部２２は、検出部２１によって検出された付着物領域Ｒｆを含む探索領域Ｒｓの探索を停止するとともに、残りの探索領域Ｒｓの探索を継続して行う。

例えば、探索部２２は、記憶部３に記憶された辞書情報３１を参照して撮像画像Ｌから対象物を探索する。例えば、辞書情報３１は、撮像画像Ｌに写る物体が対象物か否かを判定する基準となる情報であり、機械学習によって予め作成される。

例えば、形状が既知の複数種類の対象物の画像と、対象物以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１００００枚の画像）準備する。

続いて、準備した各画像から、例えば、ＨＯＧ（Histogram of Gradient）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて２次元平面状にプロットする。

続いて、例えば、ＳＶＭ（Support Vector Machine）等の識別器によって、２次元平面上における対象物の画像と対象物以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が辞書情報３１となる。

なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量であってもよい。また、対象物の画像と対象物以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。

なお、対象物は、例えば、他車両、歩行者、駐車枠等を含み、対象物の種類に応じて異なる辞書が辞書情報３１として記憶部３に記憶される。

ここで、探索部２２は、探索する対象物の種類に応じて設定される継続条件に基づいて探索を継続するか停止するかを判定する。図３Ａは、継続条件の一例を示す図である。

図３Ａに示すように、例えば、継続条件は、対象物の種類に応じて設定される。ここでは、対象物の種類が、駐車枠、障害物（静止物）、障害物（移動物）等に大別される場合について示している。

例えば、対象物が駐車枠である場合の継続条件は、例えば、探索領域Ｒｓに対して付着物領域Ｒｆが占める割合が２０％以下である。すなわち、探索部２２は、付着物領域Ｒｆが占める割合が２０％以下である探索領域Ｒｓにおいて駐車枠の探索を継続する。

また、探索部２２は、付着物領域Ｒｆが占める割合が２０％を超える探索領域Ｒｓにおいて駐車枠の探索を継続せず、探索を停止する。また、対象物が障害物（静止物）である場合の継続条件は、探索領域Ｒｓに対して付着物領域Ｒｆが占める割合が３０％以下である。

一方、探索部２２は、対象物が障害物（移動物）である場合、継続条件を設けず、探索を継続して行う。これは、対象物が障害物（移動物）である場合、移動する方向や、移動速度が急に変化する可能性が高いためである。すなわち、障害物（移動物）が、車両Ｃの走行経路に急に入ってくる可能性があるためである。

このため、探索部２２は、付着物領域Ｒｆの有無によらず、探索領域Ｒｓにおいて障害物（移動物）を追従して探索することで、車両Ｃと障害物（移動物）との衝突を未然に抑制することができる。

このように、実施形態に係る画像処理装置１では、対象物の種類に応じて継続条件を設定することで、対象物の種類に応じて適切に探索を継続するか停止するかを判定することができる。

なお、図３Ａに示した継続条件は、一例であり、任意に変更することが可能である。かかる場合に、障害物（移動物）について継続条件を設けることにしてもよい。また、障害物（静止物および移動物）については、車両Ｃとの距離が近いほど、継続条件を緩和することにしてもよい。言い換えれば、車両Ｃと接触する可能性が高いほど、探索部２２が対象物を探索するようにしてもよい。

また、探索部２２は、付着物領域Ｒｆの付着物の種類に応じても探索を継続するか否かを判定することができる。例えば、探索部２２は、付着物がごみや、泥などである場合、探索を継続しないと判定する。一方、探索部２２は、付着物が水滴や雪片である場合、探索を停止せず、待機させる。

これは、付着物がごみや、泥などである場合、時間が経過しても付着物が保持されている可能性が高いためである。また、カメラ１０を起動すると、カメラ１０のレンズが熱を帯びるため、付着物が水滴や雪片である場合、時間が経過すると、蒸発する可能性があるためである。

図３Ｂは、待機時間の一例を示す図である。探索部２２は、付着物が水滴や雪片である場合、付着物の大きさに応じて探索を再開するまでの待機時間を設定する。

図３Ｂに示すように、待機時間は、付着物の大きさが大きくなるほど、長くなり、例えば、待機時間線ａによって定義される。すなわち、水滴や雪片の大きさが大きいほど、蒸発するまでに時間が長くかかるので、待機時間が長く設定される。

なお、探索部２２は、待機時間線ａの傾きについて例えば、気温、湿気等によって補正することも可能である。すなわち、気温が高く、湿度が低いほど、水滴が早く蒸発するので、待機時間線ａの傾きを小さくし、気温が低く、湿度が高いほど、水滴が蒸発しにくいので、待機時間線ａの傾きを多くする。

このように、探索部２２は、付着物の種類に応じて探索を継続するか否かを判定することで、不必要に探索を停止することなく対象物の探索を継続して行うことが可能となる。

ところで、探索部２２は、対象物の種類に応じて探索領域Ｒｓを設定することも可能である。ここで、図４Ａ〜図４Ｃを用いて探索領域Ｒｓの設定処理の具体例について説明する。

図４Ａ〜図４Ｃは、探索領域Ｒｓの設定処理の具体例を示す図である。なお、図４Ａ〜図４Ｃでは、探索部２２が、バックカメラ１０ｂの撮像画像Ｌから車両Ｃが駐車するための駐車枠Ｐｓを検出する場合における探索領域Ｒｓの設定処理について説明する。

図４Ａに示すように、探索部２２は、バックカメラ１０ｂによって撮像された撮像画像Ｌから駐車枠Ｐｓを検出する場合、複数の探索領域Ｒｓを設定する。具体的には、探索部２２は、駐車枠Ｐｓを探索する駐車枠領域Ｒｓｐと、障害物を探索する障害物領域Ｒｓｏとを設定する。

駐車枠領域Ｒｓｐは、例えば、撮像画像Ｌの左右両端部に設定され、障害物領域Ｒｓｏは、２つの駐車枠領域Ｒｓｐに挟まれるように、撮像画像Ｌの中央部に設定される。

探索部２２は、上記の辞書情報３１を参照して、駐車枠領域Ｒｓｐから駐車枠Ｐｓ、他車両、障害物（歩行者や壁等を含む）を探索する。これにより、撮像画像Ｌから現在駐車可能な駐車枠Ｐｓを探索することが可能となる。

一方、障害物領域Ｒｓｏについては、探索部２２は、他車両、障害物の探索を行うものの、駐車枠Ｐｓの探索を省略することができる。これは、障害物領域Ｒｓｏは、車両Ｃの駐車枠Ｐｓまでの走行経路に対応するためである。

すなわち、駐車枠領域Ｒｓｐは、現在駐車可能な駐車枠Ｐｓを探索するためのものであり、障害物領域Ｒｓｏは、駐車枠Ｐｓまで走行経路上の障害物を探索するためのものである。

つまり、探索部２２は、探索領域Ｒｓ毎に探索する対象物を設定し、探索対象となる対象物の種類に応じて探索領域Ｒｓの位置を設定する。これにより、各探索領域Ｒｓにおいて探索する対象物の種類を限定することができるので、探索部２２による処理負荷を抑制することができる。

ここで、例えば、探索部２２は、駐車枠領域Ｒｓｐにおいて、駐車枠Ｐｓに対する継続条件（図３Ａ参照）を満たさなくなった場合、駐車枠領域Ｒｓｐにおける駐車枠Ｐｓの探索を停止する。一方、探索部２２は、駐車枠領域Ｒｓｐにおいて、障害物（移動物）の継続条件は満たすので、障害物（移動物）の探索を継続して行う。

このように、探索領域Ｒｓ毎に探索する対象物を設定し、対象物の種類に応じて継続条件を設けることで、１つの探索領域Ｒｓにおいて対象物の種類毎に探索を継続するか否かを判定する。これにより、不必要に探索を停止せず、探索を継続して行うことが可能となる。

また、図４Ｂに示すように、探索部２２は、図４Ａに示す一方の駐車枠領域Ｒｓｐで駐車枠Ｐｓを検出し、その後、車両Ｃが後進する場合、駐車枠Ｐｓを拡張させる。

具体的には、図４Ｂに示すように、探索部２２は、例えば、シフトセンサ１３（図２参照）から車両Ｃのシフトレバがリバースに切り替わったことを示すリバース信号が入力された場合、駐車枠領域Ｒｓｐを拡張し、拡張領域Ｒｓｗを設定する。

すなわち、探索部２２は、車両Ｃが駐車枠Ｐｓに実際に駐車する場合に、駐車枠領域Ｒｓｐを拡張する。ここで、拡張領域Ｒｓｗには、駐車枠Ｐｓに加えて駐車枠Ｐｓに隣接する他車両を含む領域が設定される。

これにより、探索部２２は、拡張領域Ｒｓｗから駐車枠Ｐｓに加えて他車両や障害物を検出することとなる。したがって、探索部２２は、拡張領域Ｒｓｗから例えば、他車両が動き出した場合や、他車両に乗り込もうとする歩行者等を検出することが可能となる。

つまり、探索部２２は、駐車枠Ｐｓが存在する駐車枠領域Ｒｓｐを拡張した拡張領域Ｒｓｗを設定することで、駐車枠Ｐｓ周辺の障害物を検出することが可能となる。

また、探索部２２は、図４Ｃに示すように、車両Ｃの移動にあわせて駐車枠Ｐｓが存在する駐車枠領域Ｒｓｐを撮像画像Ｌ上で移動させることも可能である。例えば、図４Ｂに示すように、車両Ｃが後進した場合、撮像画像Ｌ上における駐車枠Ｐｓの位置が変わる。

このため、探索部２２は、駐車枠Ｐｓが存在する駐車枠領域Ｒｓｐの位置を撮像画像Ｌ上で補正する。具体的には、探索部２２は、舵角センサ１１、速度センサ１２、シフトセンサ１３（いずれも図２参照）によって検出されるセンサ値に基づいて車両Ｃの進行方向および移動量を算出する。

そして、探索部２２は、算出した進行方向および移動量に基づいて駐車枠領域Ｒｓｐを撮像画像Ｌ上で移動させる。同図に示す例では、車両Ｃが後進するので、駐車枠Ｐｓは、撮像画像Ｌ上を左から右側に移動することとなる。

このため、探索部２２は、車両Ｃの移動に伴って駐車枠Ｐｓが存在する駐車枠領域Ｒｓｐを右側に移動させる。つまり、探索部２２は、対象物を含む探索領域Ｒｓについて車両Ｃの移動にあわせて撮像画像Ｌ上を移動させる。

これにより、駐車枠Ｐｓに追従して駐車枠領域Ｒｓｐを移動させるので、探索する領域を限定して駐車枠Ｐｓを探索することができる。なお、ここでは、探索部２２が、舵角センサ１１、速度センサ１２、シフトセンサ１３（いずれも図２参照）のセンサ値に基づいて車両Ｃの進行方向や移動量を算出する場合について説明したが、これに限定されるものではない。

すなわち、探索部２２は、例えば、時間的に連続する撮像画像Ｌから特徴点を結んだベクトルであるオプティカルフローに基づいて車両Ｃの進行方向や移動量を算出することにしてもよい。かかる場合に、画像処理装置１を舵角センサ１１、速度センサ１２、シフトセンサ１３等に接続しなくてよいので、画像処理装置１の設置作業を簡略化することが可能となる。

ところで、例えば、駐車枠領域Ｒｓｐを拡張した結果、拡張領域Ｒｓｗが上記の継続条件から外れる場合や、駐車枠領域Ｒｓｐを車両Ｃの移動に伴って移動させた結果、駐車枠領域Ｒｓｐが継続条件から外れる場合がある。

かかる場合に、探索部２２は、拡張領域Ｒｓｗや移動後の駐車枠領域Ｒｓｐについて探索を継続して行うことにしてもよいし、探索を停止することにしてもよい。あるいは、対象物の種類によって探索を継続する対象物と、探索を停止する対象物とを設定することにしてもよい。

また、かかる場合に、バックカメラ１０ｂによって撮像された撮像画像Ｌに対する探索を停止し、例えば、ソナーなど車両Ｃが備えるその他の機器によって対象物の探索を委ねることにしてもよい。

ところで、図４Ｄに示すように、探索部２２は、移動物の探索を継続して行った場合、移動物と付着物領域Ｒｆとが重なる場合がある。かかる場合に、探索部２２は、警告を出力する。

図４Ｄは、移動物に対する処理の具体例を示す図である。なお、図４Ｄでは、探索部２２が、移動物として歩行者Ｈを探索する場合について説明する。例えば、図４Ｄに示すように、撮像画像Ｌ上を歩行者Ｈが移動し、付着物領域Ｒｆと重なる場合がある。

付着物領域Ｒｆと歩行者Ｈとが重なると、探索部２２による歩行者Ｈの探索精度が低下する。言い換えれば、探索部２２によって探索された歩行者Ｈの信頼性が低下する。このため、探索部２２は、付着物領域Ｒｆと歩行者Ｈとが重なる場合に、例えば、車両制御装置１５に対して警告を出力する。

車両制御装置１５は、かかる警告により、歩行者Ｈが付着物領域Ｒｆと重なったことを認識することができる。これにより、車両制御装置１５は、歩行者Ｈが存在する方向への車両Ｃの移動を抑制することができる。

また、探索部２２は、車両Ｃが自動運転機能を備えず、撮像画像Ｌが車両Ｃのモニタに表示される場合、運転者に対して上記の警告を出力する。これにより、運転者に対してモニタに表示された撮像画像Ｌから歩行者Ｈを確認させることができるので、車両Ｃと歩行者Ｈとの衝突を未然に回避することができる。

また、探索部２２は、付着物領域Ｒｆによって継続して探索する探索領域Ｒｓがないと判定した場合、車両制御装置１５に通知する。すなわち、探索部２２は、設定した全ての探索領域Ｒｓが継続条件（図３Ａ参照）を満たさなくなった場合、車両制御装置１５に通知する。

車両制御装置１５は、車両Ｃの駐車制御中に探索部２２から探索領域Ｒｓがないと通知された場合、車両Ｃに対する駐車制御を停止する。これにより、車両Ｃは安全に停車又は手動による駐車制御に移行することができる。なお、例えば、車両制御装置１５は、駐車制御における進行方向の探索領域Ｒｓについて探索部２２によって探索が停止された場合に、駐車制御を停止することにしてもよい。

図２に戻って、算出部２３について説明する。算出部２３は、探索部２２によって探索された対象物との相対位置を算出する。図５は、算出部２３による処理の具体例を示す図である。

図５に示すように、算出部２３は、撮像画像Ｌにおける対象物ＬＯの位置を実際の路面上の座標に変換する。具体的には、算出部２３は、撮像画像Ｌを等距離射影方式により変換した平面に対してカメラ１０の取付俯角だけ回転させる。これにより、対象物ＬＯの路面上の座標Ｏ（ｘ１，ｙ１）を算出することができ、対象物との相対位置を算出することができる。

なお、算出部２３は、撮像画像Ｌに複数の対象物ＬＯが含まれる場合、各対象物ＬＯについて相対位置を算出する。算出部２３は、算出した相対位置に対象物の種類を対応付けて生成部２４（図２参照）へ出力する。

図２の説明に戻り、生成部２４について説明する。生成部２４は、算出部２３によって算出された相対位置に基づいて対象物の位置関係を示すマップを生成する。

図６は、生成部２４による処理の具体例を示す図である。なお、図６では、車両Ｃが駐車場を直進後の場面を示す。図６に示すように、例えば、生成部２４は、算出部２３によって算出された対象物との相対位置に基づいてマップを生成する。

図６に示す例では、マップには、車両Ｃの現在地Ｘと、駐車枠Ｐｓと、他車両が存在する他車両領域Ｐｏとを含む俯瞰マップである場合を示す。すなわち、マップは、車両Ｃの現在地Ｘ、駐車枠Ｐｓ、他車両領域Ｐｏの位置関係を示す。

ここで、駐車枠Ｐｓは移動しない。このため、生成部２４は、車両Ｃの移動にあわせてマップ上で現在地Ｘを更新することで、駐車枠Ｐｓまでの位置関係を把握することが可能である。

つまり、生成部２４が、マップを生成することで、駐車枠Ｐｓの位置を求めれば、以降の駐車枠Ｐｓの探索処理を省略することができる。かかる場合に、探索部２２は、駐車枠Ｐｓ以外の障害物を探索すればよいので、探索部２２による処理負荷を抑制することができる。

生成部２４によって生成されたマップは、車両制御装置１５（図２参照）へ出力される。これにより、車両制御装置１５は、かかるマップに基づいて車両Ｃの現在地Ｘ、駐車枠Ｐｓ、他車両の位置関係を容易に把握することが可能となる。

次に、図７を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図７は、画像処理装置１が実行する処理手順を示すフローチャートである。

図７に示すように、まず、検出部２１は、付着物領域Ｒｆを検出する（ステップＳ１０１）。続いて、探索部２２は、探索する対象物に応じて探索領域Ｒｓを設定する（ステップＳ１０２）。

続いて、探索部２２は、付着物領域Ｒｆを含まない探索領域Ｒｓである継続領域が有るか否かを判定する（ステップＳ１０３）。ここで、探索部２２は、継続領域が有った場合（ステップＳ１０３，Ｙｅｓ）、継続領域に対象物が有るか否かを判定する（ステップＳ１０４）。

ここで、継続領域に対象物が有った場合（ステップＳ１０４，Ｙｅｓ）、算出部２３は、対象物との位置関係を算出する（ステップＳ１０５）。そして、生成部２４は、対象物との位置関係に基づいてマップを生成し（ステップＳ１０６）、処理を終了する。

一方、ステップＳ１０３の判定において継続領域がなかった場合（ステップＳ１０３，Ｎｏ）、探索部２２は、全ての探索を停止し（ステップＳ１０７）、処理を終了する。

また、車両制御装置１５は、車両Ｃの駐車制御中に探索部２２がステップＳ１０３の判定において継続領域がないと判定した場合、すなわち、全ての探索領域Ｒｓが継続条件を満たさない場合、車両Ｃに対する駐車制御を停止する。これにより、車両Ｃは安全に停車又は手動による駐車制御に移行することができる。また、制御部２は、継続領域に対象物がなかった場合（ステップＳ１０４，Ｎｏ）、処理を終了する。

上述したように、実施形態に係る画像処理装置１は、検出部２１と、探索部２２とを備える。検出部２１は、カメラ１０（撮像装置の一例）によって撮像された撮像画像Ｌからカメラ１０に付着物が付着した付着物領域Ｒｆを検出する。探索部２２は、撮像画像Ｌに対して複数の探索領域Ｒｓを設定し、探索領域Ｒｓ毎に対象物を探索する。

また、探索部２２は、検出部２１によって検出された付着物領域Ｒｆを含む探索領域Ｒｓの探索を停止するとともに、残りの探索領域Ｒｓの探索を継続して行う。したがって、実施形態に係る画像処理装置１によれば、付着物の影響を排除してセンシングを継続して行うことができる。

ところで、上述した実施形態では、撮像画像Ｌに探索領域Ｒｓを設定し、探索領域Ｒｓにおける付着物領域Ｒｆが占める割合に基づいて探索領域Ｒｓの探索を継続するか否かを判定する場合について説明したが、これに限定されるものではない。

すなわち、少なくとも一つの探索領域Ｒｓにおいて、付着物領域Ｒｆが占める割合が所定値以上であった場合、撮像画像Ｌにおける全ての領域について探索を停止することにしてもよい。

また、かかる場合に、かかる撮像画像Ｌを撮像したカメラ１０に対する探索を停止することにしてもよいし、あるいは、全てのカメラ１０に対する探索を停止することにしてもよい。

また、上述した実施形態では、カメラ１０が車両Ｃに設定される車載カメラである場合について説明したが、これに限定されるものではない。すなわち、カメラ１０は、街灯や建物等に設けられる固定カメラであってもよい。

また、上述した実施形態では、画像処理装置１が、車両Ｃに搭載される場合について説明したが、これに限定されるものではない。すなわち、画像処理装置１は、車両Ｃの他、船舶や鉄道、航空機等である移動体に搭載されてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 画像処理装置
１０ カメラ（撮像装置の一例）
２１ 検出部
２２ 探索部
２３ 算出部
２４ 生成部
Ｌ 撮像画像
Ｒｓ 探索領域
Ｒｆ 付着物領域

Claims (10)

1. 撮像装置によって撮像された撮像画像から前記撮像装置に付着物が付着した付着物領域を検出する検出部と、
   前記撮像画像に対して複数の探索領域を設定し、前記探索領域毎に対象物を探索する探索部と
   を備え、
   前記探索部は、
   前記検出部によって検出された前記付着物領域を含む前記探索領域の前記探索を停止するとともに、残りの前記探索領域の前記探索を継続して行うこと
   を特徴とする画像処理装置。
2. 前記探索部は、
   前記対象物の種類に応じて前記探索領域を設定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記撮像装置は、
   移動体に搭載され、
   前記探索部は、
   前記対象物を含む前記探索領域について前記移動体の移動にあわせて前記撮像画像上を移動させること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記探索部は、
   前記対象物を含む前記探索領域について前記移動体の移動に伴って前記探索領域を拡張すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記探索部によって探索された前記対象物との相対位置を算出する算出部と、
   前記算出部によって算出された前記相対位置に基づいて前記対象物の位置関係を示すマップを生成する生成部と
   をさらに備えること
   を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記探索部は、
   前記付着物の種類に応じて前記付着物領域を含む前記探索領域に対する前記探索の継続および停止を判定すること
   を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記探索部は、
   前記対象物が移動物である場合、前記付着物領域の有無によらず当該移動物を追跡して探索すること
   を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記探索部は、
   前記移動物が前記付着物領域と重なる場合に、警告を出力すること
   を特徴とする請求項７に記載の画像処理装置。
9. 請求項１〜８のいずれか一つに記載の画像処理装置と、
   移動体に備えられ、該移動体を駐車制御する車両制御装置と
   を備え、
   前記車両制御装置は、
   前記探索部が前記探索を継続すべき前記探索領域がないと判定した場合、前記移動体に対する駐車制御を停止すること
   を特徴とする運転支援システム。
10. 撮像装置によって撮像された撮像画像から前記撮像装置に付着物が付着した付着物領域を検出する検出工程と、
    前記撮像画像に対して複数の探索領域を設定し、前記探索領域毎に対象物を探索する探索工程と
    を含み、
    前記探索工程は、
    前記検出工程によって検出された前記付着物領域を含む前記探索領域の前記探索を停止するとともに、残りの前記探索領域の前記探索を継続して行うこと
    を特徴とする画像処理方法。

Images