JP2016033729A - 周囲環境認識装置 - Google Patents

Abstract

【課題】レンズの汚れ状態に応じて変化するセンシング可能範囲をユーザに提示する周囲環境認識装置を提供すること。【解決手段】本発明は、画像を取得する撮像部１００と、画像から認識対象物を認識するアプリケーションを実行するアプリ実行部４００と、画像に基づいてカメラのレンズ状態を診断するレンズ状態診断部２００と、アプリケーションを実行した場合にレンズ状態診断部で診断したレンズ状態によって認識対象物をセンシングすることが可能なセンシング可能範囲と、認識対象物をセンシング不可能なセンシング不可能範囲を判断するセンシング範囲判断部３００と、センシング範囲判断部のセンシング可能範囲を報知する報知制御部５００を有することを特徴としている。【選択図】図１

Description

本発明は、カメラで撮像した画像に基づいて周囲の環境を認識する周囲環境認識装置に関する。

車両に設置されたカメラで周囲を撮像した画像から周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中で、車室外にカメラが設置されている場合に、カメラのレンズが正常に認識できる状態となっているかどうかを判定する技術がある（特許文献１）。特許文献１の技術は、カメラのレンズに付着した異物等を検出し、その領域の割合が閾値を超えると、周囲環境を認識するアプリケーションを停止して、アプリケーションが停止したことをユーザに報知するものである。また、車両走行時の画像から背景が動くにも関わらず、変化しない不動領域を検出し、この不動領域を除いた領域のみで物体検出する技術も、従来から種々存在する。

特開2012-38048号公報

しかしながら、認識対象物を認識可能な範囲がどのように変化したかをユーザに提示するものはない。従来のように、レンズ汚れ時に、アプリケーションを停止するだけ、あるいは、不動領域を除いた領域のみで物体検出するだけでは、ユーザがアプリを過信して、周囲環境への注意が疎かになるおそれもある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、レンズの汚れ状態に応じて変化するセンシング可能範囲をユーザに提示する周囲環境認識装置を提供することである。

上記課題を解決する本発明の周囲環境認識装置は、カメラで外部環境を撮像した画像に基づいて周囲環境を認識する周囲環境認識装置であって、前記画像を取得する画像取得部と、前記画像から認識対象物を認識するアプリケーションを実行するアプリ実行部と、前記画像に基づいて前記カメラのレンズ状態を診断するレンズ状態診断部と、前記アプリケーションを実行した場合に前記レンズ状態診断部で診断したレンズ状態によって前記認識対象物をセンシングすることが可能なセンシング可能範囲と、前記認識対象物をセンシング不可能なセンシング不可能範囲を判断するセンシング範囲判断部と、該センシング範囲判断部のセンシング可能範囲とセンシング不可能範囲との少なくとも一方を報知する報知制御部を有することを特徴としている。

本発明によれば、レンズ汚れに起因した現状の画像認識アプリケーションの性能低下状況をユーザに報知することによって、ユーザのカメラ認識機能への過信を抑制し、ユーザに対してレンズ汚れ時には周囲環境により注意して運転することを促すことができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

周囲環境認識装置の内部機能を説明するブロック図。 レンズ状態診断部の内部機能を説明するブロック図。 センシング範囲判断部の内部機能を説明するブロック図。 アプリ実行部の内部機能を説明するブロック図。 報知制御部の内部機能を説明するブロック図。 車載カメラシステムの全体構成を説明する概略図。 車載モニタに表示される画面の一例を示す図。 車載モニタに表示される画面の一例を示す図。 車両のフロントガラスに表示される画像の一例を示す図。 レンズに付着した付着物の検知方法を説明する図。 レンズの鮮明度を検知する方法を説明する図。 レンズに付着した水滴の検知方法を説明する図。 付着物の大きさに応じた歩行者のセンシング可能範囲の判断方法を説明する図。 歩行者のセンシング不可能状態と可能状態の画像の一例を示す図。 歩行者のセンシング可能範囲の一例を示す図。 付着物の大きさに応じた車両のセンシング可能範囲の判断方法を説明する図。 車両のセンシング不可能状態と可能状態の画像の一例を示す図。 付着物の大きさに応じた障害物のセンシング可能範囲の判断方法を説明する図。 各アプリの認識対象物の標準サイズと耐久遮蔽率の定義を示す図。 鮮明度に応じてセンシング可能範囲を判断する方法を説明する図。 各アプリで鮮明度に応じて設定される最大検知距離の定義を示す図。 水滴の大きさに応じてセンシング可能範囲を判断する方法を説明する図。 各アプリで水滴付着状態に応じて設定される限界水滴占有率と最大検知距離を定義する図。 認識対象物に応じたセンシング可能範囲を比較する図。

次に、本発明の周囲環境認識装置が適用される実施形態について図面を用いて以下に説明する。なお、以下の実施例では、本発明の周囲環境認識装置を自動車などの車両に搭載される車載用環境認識装置に適用した場合を例に説明するが、車載用に限定されるものではなく、建築機器、ロボット、監視カメラ、農業機器などにも適用することができる。

図１は、周囲環境認識装置の内部機能を説明するブロック図である。
本実施の形態における車載用の周囲環境認識装置１０は、車両の外部を撮像する車載カメラと、車載カメラで撮像した画像に基づいて外部の環境を認識する認識装置を有しているが、車載カメラ自体は周囲環境認識装置の必須の構成要素ではなく、車載カメラ等で撮像した外部の画像を取得することができる構成であればよい。

周囲環境認識装置１０は、図１に示すように、撮像部１００と、レンズ状態診断部２００と、センシング範囲判断部３００と、アプリ実行部４００と、報知制御部５００を有している。

撮像部１００は、例えば車体の前後左右に取り付けられた車載カメラ１０１（図６を参照）によって撮像された車両周囲の画像を取得する（画像取得部）。アプリ実行部４００は、撮像部１００が取得した画像から対象物を認識して、歩行者検知や車両検知などの各種のアプリケーション（以下、アプリ）を実行する。

レンズ状態診断部２００は、撮像部１００で取得した画像に基づいて車載カメラ１０１のレンズの状態を診断する。車載カメラ１０１は、ＣＭＯＳ等の撮像素子と、撮像素子の前に配置される光学系のレンズを有している。なお、本実施形態におけるレンズは、ピントを調整する度付のレンズのみに限定されるものではなく、一般的に撮像素子の前方に配置される光学系のガラス（例えば汚れ防止用のフィルタレンズや偏光レンズなど）も含まれる。

レンズ状態診断部２００は、レンズの付着物や白濁、水滴等による汚れを診断する。車載カメラ１０１は、例えば車外に配置されている場合、泥やゴミ、虫などの付着物がレンズに付着し、あるいは塵埃や水垢などによって磨りガラスのように白く白濁し、また、水滴自体が付着して、レンズが汚れるおそれがある。車載カメラ１０１のレンズが汚れると、画像に撮像されている背景の一部または全部が隠れたり、鮮明度が低くなってぼやけたり、背景が歪むなどして対象物の認識が困難となるおそれがある。

センシング範囲判断部３００は、レンズ状態診断部２００で診断したレンズ状態に基づいて認識対象物を認識可能なセンシング可能範囲を判断する。センシング可能範囲は、レンズに対する付着物の付着位置、大きさなどの汚れ度合いに応じて変化するが、それだけではなく、アプリ実行部４００で実行されるアプリに応じても変化する。例えば、レンズの汚れ度合い及び対象物までの距離が同じ場合であっても、アプリの認識対象物が車両などのように比較的大きいものの方が、歩行者などのように比較的小さいものよりも、センシング可能範囲が広くなる。

報知制御部５００は、センシング可能範囲判断部３００からの情報に基づいて、センシング可能範囲とセンシング不可能範囲の少なくとも一方をユーザに報知する制御を行う。報知制御部５００は、例えば車載モニタや警報装置からユーザにセンシング可能範囲を表示したり、警報音やメッセージ等を流すことでユーザにセンシング可能範囲の変化を報知し、また、車両制御装置が車両制御に用いることができるように、センシング可能範囲に応じて車両制御装置に情報を提供することができる。

図６は、車両のシステム構成の一例であって、車載カメラシステムの全体構成を説明する概略図である。周囲環境認識装置１０は、車載カメラ１０１の画像処理を行う画像処理装置２の内部機能と、画像処理装置からの処理結果に基づいて運転者への報知や車両制御を行う車両制御装置３の内部機能とを用いて構成されている。画像処理装置２は、例えば、レンズ状態診断部２００と、センシング可能範囲判断部３００、アプリ部４００を備えており、車両制御装置３は、報知制御部５００を備えている。

車両１は、複数の車載カメラ１０１、例えば車両１の前方を撮像する前方カメラ１０１ａ、後方を撮像する後部カメラ１０１ｂ、左側方を撮像する左側部カメラ１０１ｃ、右側方を撮像する右側部カメラ１０１ｄの４台の車載カメラ１０１を有しており、車両１の周囲を全周に亘って連続して撮像できるようになっている。なお、車載カメラ１０１は、複数に限定されるものではなく、単一のものであってもよく、また、全周に亘って撮像するものに限定されず、前方のみや後方のみを撮像するものであってもよい。

左右の車載カメラ１０１は、サイドミラーに装着されたカメラでもよく、また、サイドミラーの代わりに設置されたカメラでもよい。報知制御部５００は、ユーザとのインタフェースであり、これは画像処理装置２とは別のハードウェア上に実装されている。報知制御部５００は、アプリ実行部４００において実行された結果を利用して、予防安全機能や利便性機能を実現する制御を実施する。

図７は、車載モニタに表示される画面の一例を示す図である。
システムが正常動作中で所定のアプリが実行中の場合に、アプリのセンシング可能範囲を、自車（車両１）の上から見たような距離空間のまま、車載モニタ７００に提示する俯瞰表示方法が従来から存在する。

所定のアプリにより車両１に最も近い対象物をセンシング可能（認識可能）な最小センシングライン７０１は、車両１の周囲を囲む小楕円で示され、同じアプリにより車両１から最も遠い対象物をセンシング可能（認識可能）な最大センシングライン７０２は、大楕円で示されている。最小センシングライン７０１と最大センシングライン７０２との間がセンシング範囲７０４となり、レンズに汚れがない通常状態の場合には、センシング範囲７０４全体がセンシング可能範囲となる。なお、図中に破線で示される符号７０３は、互いに隣り合う車載カメラの撮像範囲が重複する部分を示す。

センシング範囲７０４は、実行されるアプリに応じて設定される。例えばアプリの対象物が車両１のように比較的大きい場合には最大センシングライン７０２と最小センシングライン７０１はそれぞれ大きくなり、対象物が歩行者など比較的小さい場合には最大センシングライン７０２と最小センシングライン７０１はそれぞれ小さくなる。

車載カメラ１０１のレンズに汚れ等がある場合、たとえセンシング範囲７０４内であったとしても、その汚れ等によって隠れている背景部分については認識対象物の検知が困難となり、アプリは所期の性能を発揮できない性能低下状態となるおそれがある。本発明の周囲環境認識装置では、アプリが性能低下状態となっていることをユーザに伝えるために報知する制御を行う。

報知方法として、例えば車載モニタ等にセンシング範囲７０４からセンシング可能範囲とセンシング不可能範囲を視覚的に表示し、性能低下状態をユーザに明確に伝えることができる。この表示方法は、車両１からの検知可能な距離が把握しやすく、性能低下によるセンシング能力の低下の程度もわかりやすく提示することができる。また、車室内のメータパネル等に設けられたＬＥＤを点灯させたり、警告音や振動などにより合わせてユーザにアプリの動作が性能低下状態であることを伝えてもよい。

図８は、車載モニタに表示される画面の一例を示す図である。車載モニタ８０１には、車両前部の車載カメラ１０１で撮像した画像８０２と、その画像８０２に重畳してセンシング可能領域８０３とセンシング不可能領域８０４とが表示されている。画像８０２には、車両１の前方の道路Ｒと、走行車線を示す左右の白線ＷＬが撮像されている。このような表示により、ドライバー（運転者）に対して車載カメラ１０１（図６を参照）のレンズ状態を見せながら、レンズ状態に応じたセンシング可能領域８０３を伝えることができる。そして、例えば、「この程度の汚れの場合には遠方が見えなくなるので拭いた方がよい」など、レンズ状態とセンシング可能領域８０３を同時に見せることができるため、ドライバーに車載カメラ１０１のセンシング能力をわかりやすく伝えることができる。

図９は、車両のフロントガラスに表示される画像の一例を示す図である。
ここでは、車内からみたフロントガラス９０１越しの風景に、ヘッドアップディスプレイ（ＨＵＤ）を利用して、現実世界に重畳して見せている。現実世界の路面上にセンシング可能領域８０３やセンシング不可能領域８０４を重畳して見せることで、実際の車載カメラ１０１のセンシング可能領域やセンシングの距離を視覚的に把握しやすくできる。ただし、フロントガラス９０１への投影型のヘッドアップディスプレイは、ドライバー（運転者）の視界を遮ることからフロントガラス９０１全面への表示は困難である。このため、図９に示すようにフロントガラス９０１の下側を利用した路面への重畳表示か、フロントガラス９０１の上側を利用した空中への重畳表示によりセンシング可能領域８０３等を現実世界に提示してもよい。

次に、図１に示される、レンズ状態診断部２００、センシング可能範囲判断部３００、アプリ実行部４００、報知制御部５００でそれぞれ実行される内容について順番に説明する。

図２は、レンズ状態診断部２００の内部機能を説明するブロック図である。レンズ状態診断部２００は、付着物検知部２１０と、鮮明度検知部２２０と、水滴検知部２３０を備えており、撮像部１００で取得された画像に基づいて車載カメラ１０１のレンズに付着したそれぞれの汚れ状態を種別に応じて診断する。

図１０は、レンズに付着した付着物の検知方法を説明する図であり、図１０（ａ）は、車載カメラ１０１で前方を撮像した画像１００１を示し、図１０（ｂ）、（ｃ）は、付着物を検知する方法を説明する図である。

図１０（ａ）に示すように、画像１００１にはレンズに複数の付着物１００２が付着して汚れている。付着物検知部２１０は、レンズに付着した付着物、例えば泥のように背景の様子を遮る付着物１００２を検知する。泥のような付着物１００２はレンズに付着すると背景が見えづらく、周囲と比較して輝度が低い状態が継続される。したがって、輝度変化が小さな領域を検出することによって付着物１００２を検知できる。

まず、付着物検知部２１０は、画像１００１の画像領域を、図１０（ｂ）に示されるように複数のブロックＡ（ｘ，ｙ）に分割する。次に、画像１００１の各画素の輝度を検出して、各ブロックＡ（ｘ，ｙ）ごとにそのブロックＡ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉ_ｔ（ｘ，ｙ）を算出する。そして、現フレームの撮影画像について算出したＩ_ｔ（ｘ，ｙ）と前フレームの撮影画像について同様に算出したＩ_ｔ−１（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＡ（ｘ，ｙ）ごとに算出する。そして、この差ΔＩ（ｘ，ｙ）が周囲のブロックと比較して小さいブロックＡ（ｘ，ｙ）を検出して、そのブロックＡ（ｘ，ｙ）に対応するスコアＳＡ（ｘ，ｙ）を所定値、たとえば、「１」だけ増加させる。

付着物検知部２１０は、画像１００１中の全画素について上述の判定を行った後、各ブロックＡ（ｘ，ｙ）のスコアＳＡ（ｘ，ｙ）を初期化してからの経過時間ｔＡを取得する。そして、各ブロックＡ（ｘ，ｙ）のスコアＳＡ（ｘ，ｙ）を、その経過時間ｔＡで除して、スコアＳＡ（ｘ，ｙ）の時間平均ＳＡ（ｘ，ｙ）/ｔＡを算出する。付着物検知部２１０は、全ブロックＡ（ｘ，ｙ）の時間平均ＳＡ（ｘ，ｙ）/ｔＡの総和を算出して、それを撮影画像中の全ブロック数で除してスコア平均ＳＡ_aveを算出する。

車載カメラ１０１のレンズに泥などの汚れ１００２が継続的に付着していると、順次に撮像されたフレームごとにスコア平均ＳＡ_aveが増加する。換言すると、スコア平均ＳＡ_aveが大きい場合、長時間レンズに泥などが付着している確率が高い。時間平均ＳＡ（ｘ，ｙ）/ｔＡが所定の閾値を超えたかどうかを判定し、閾値を超えた領域は泥が付着し、背景が見えない領域であると判定する。閾値を超えた領域の大きさに応じた各アプリのセンシング可能範囲の計算に利用される。また、スコア平均ＳＡ_aveを利用して、各アプリの動作が可能かどうかの最終判定を実施する。図１０（ｃ）は、スコア例を示したものであり、全ブロックをスコアに応じた色の濃淡で示している。そして、スコアが所定の閾値以上の場合には、付着物で背景が見えない領域１０１２と判定する。

次に、図１１を用いて鮮明度検知部２２０の動作について説明する。図１１は、レンズの鮮明度を検知する方法を説明する図である。鮮明度検知部２２０は、レンズが鮮明な状態であるのか不鮮明な状態であるか鮮明度の指標としてレンズ状態を検知する。レンズが不鮮明な状態とは、例えば、レンズの表面が汚れによって白く濁り、コントラストが低くなって対象物の輪郭等がぼやけたようになることであり、その程度は鮮明度によって示される。

鮮明度検知部２２０は、図１１（ａ）に示されるように、画像１００１に地平線が写り込む予定の位置に左上検知領域ＢＧ＿Ｌ（Background Left）と上検知領域ＢＧ＿Ｔ（Background Top）と右上検知領域ＢＧ＿Ｒ(Background Right)とを設定する。上検知領域ＢＧ＿Ｔは、路面に互いに平行に設けられた２本のレーンマークＷＬが遠方で交わる消失点と地平線が含まれるような位置に設定される。左上検知領域ＢＧ＿Ｌは上検知領域ＢＧ＿Ｔよりも左側に設定され、右上検知領域ＢＧ＿Ｒは上検知領域ＢＧ＿Ｔよりも右側に設定される。それぞれ画像上に必ずエッジが含まれるように、地平線を含む領域に設定する。また、画像１００１中にレーンマークＷＬが写る予定の位置に左下検知領域ＲＤ＿Ｌ(Road Left)と右下検知領域ＲＤ＿Ｒ(Road Right)とを設定する。

鮮明度検知部２２０は、左上検知領域ＢＧ＿Ｌと上検知領域ＢＧ＿Ｔと右上検知領域ＢＧ＿Ｒと左下検知領域ＲＤ＿Ｌと右下検知領域ＲＤ＿Ｒのそれぞれの領域内の画素に対して、エッジ検出処理を行う。左上検知領域ＢＧ＿Ｌと上検知領域ＢＧ＿Ｔと右上検知領域ＢＧ＿Ｒに対するエッジ検出では、地平線などのエッジが必ず検出される。また、左下検知領域ＲＤ＿Ｌと右下検知領域ＲＤ＿Ｒとに対するエッジ検出では、レーンマークＷＬなどのエッジが検出される。

鮮明度検知部２２０は、各検知領域ＢＧ＿Ｌ，ＢＧ＿Ｔ，ＢＧ＿Ｒ，ＲＤ＿Ｌ，ＲＤ＿Ｒに含まれる各画素についてそれぞれエッジ強度を算出する。そして、鮮明度検知部２２０は、各検知領域ＢＧ＿Ｌ，ＢＧ＿Ｔ，ＢＧ＿Ｒ，ＲＤ＿Ｌ，ＲＤ＿Ｒごとにエッジ強度の平均値Blaveを算出して、この平均値Blaveを元に鮮明の程度を判定する。図１１（ｂ）に示すように、エッジ強度が強いほどクリアなレンズで鮮明だと判定し、エッジ強度が弱いほど白濁して不鮮明なレンズと判定する鮮明度を設定する。

算出した平均値Blaveを基に標準鮮明度を下回った場合に、アプリの認識性能に影響を及ぼすと判定し、各領域の鮮明度の平均値を使ってアプリの性能低下度合いを、アプリごとに判定する。最低鮮明度α２を下回った場合には、アプリの認識が困難であることを各アプリごとに判定する。

図１２は、レンズに付着した水滴の検知方法を説明する図である。
図２の水滴検知部２３０では、撮像画面上で図１２（ａ）に示すような周囲画素との輝度比較を実施することで、水滴特徴量を抽出する。水滴検知部２３０は、その着目点から上方向、右上方向、右下方向、左上方向、左下方向に、それぞれ所定距離（たとえば、３ｐｉｘ）離れた画素を内部参照点Ｐｉに設定して、それらの５方向に更に所定距離（たとえば、更に３ｐｉｘ）離れた画素を外部参照点Ｐｏに設定する。次に、水滴検知部２３０は、各内部参照点Ｐｉと各外部参照点Ｐｏのそれぞれについて、輝度を比較する。

水滴１２０２の縁より内側付近は、外側よりもレンズ効果で明るい可能性が高い。そこで、水滴検知部２３０は、５方向の各々について、水滴１２０２の縁の内側に設置された内部参照点Ｐｉの輝度が外部参照点Ｐｏの輝度よりも高いか否かを判定する。換言すると、水滴検知部２３０は、着目点が水滴１２０２の中心部であるか否かを判定する。水滴検知部２３０は、各方向の内部参照点Ｐｉの輝度が同方向の外部参照点Ｐｏの輝度よりも高い場合、その着目点が属する図１２（ｂ）に示す領域のＢ（ｘ，ｙ）のスコアＳＢ（ｘ，ｙ）を所定値、たとえば、「１」だけ増加させる。Ｂ（ｘ，ｙ）のスコアは、所定時間ｔＢ時間の瞬間値を保存し、ｔＢ時間以上経過した過去のスコアについては、破棄されるものとする。

水滴検知部２３０は、撮影画像中の全画素について上述の判定を行った後、各ブロックＢ（ｘ，ｙ）のスコアＳＢ（ｘ，ｙ）を、その経過時間ｔＢの総和を求めＴｂで除算することにより、時間平均スコアＳＢ（ｘ，ｙ）を算出して、それを撮影画像中の全ブロック数で除してスコア平均SB_aveを算出する。分割領域のＳＢ(x,y)ごとに特定の閾値ThrBを、どの程度、超えているかどうかを判定し、スコア化し、図１２(ｃ)に示すような閾値を超えている分割領域とそのスコアをマップ上に示し、このマップ上のスコアの総計SB2を算出する。

車載カメラ１０１のレンズに水滴が継続的に付着していると、フレームごとにスコア平均SB_aveが増加する。換言すると、スコア平均SB_aveが大きい場合、そのレンズ位置に水滴が付着している確率が高い。水滴検知部２３０は、このスコア平均SB_aveを、利用してレンズ上での水滴付着の多さを判定する。レンズ上での水滴付着量の多さがSB2に値し、この値を利用してシステム全体のフェール判定を実施する。各ロジックごとの判定には、別途、水滴占有率により、その最大検知距離の判定に利用する。

レンズ汚れによる認識アプリケーションの性能低下の判定には、水滴付着量の多さと、スコア平均SB_aveの両方を利用する。そして、どのようにセンシング可能範囲を計算するか考える。図１２（ｃ）は、スコア例を示したものであり、全ブロックをスコアに応じた色の濃淡で示している。そして、スコアが所定の閾値以上の場合には、水滴により背景が見えない領域と判定する。

図３は、センシング範囲判断部の内部機能を説明する図である。センシング範囲判断部３００は、付着物に応じた距離換算部３１０と、鮮明度に応じた距離換算部３２０と、水滴に応じた距離換算部３３０を備えており、レンズ状態診断部２００における診断結果を利用してセンシング可能範囲を判断する処理を行う。付着物に応じた距離換算部３１０では、付着物検知部２１０の検知結果を利用して各アプリの検知が保証可能なセンシング可能範囲を換算する。鮮明度に応じた距離換算部３２０では、鮮明度検知部２２０の検知結果を利用して各アプリの検知が保証可能なセンシング可能範囲を換算する。水滴に応じた距離換算部３３０では、水滴検知部２３０の検知結果を利用して各アプリの検知が保証可能なセンシング可能範囲を換算する。

付着物に応じた距離換算部３１０は、付着物検知部２１０の検知結果に応じてセンシング可能範囲を計算する。付着物検知部２１０の結果を利用して、時間平均SA（ｘ，ｙ）/tAが所定の閾値を超えたかどうかを判定し、閾値を超えた領域は泥が付着し、背景が見えない領域であると判定する。例えば、図１３−１（ａ）に示すように、画像１３０１上の左上に泥等の付着物１３０２が付着した場合、付着物１３０２の領域に対応する領域の時間平均SA（ｘ，ｙ）/tAが所定の閾値を超えたとする。これにより、図１３−１（ｂ）に色が濃い領域１３０３として示すように、付着物１３０２が付着したことによって背景が見えない領域を画像上で選定する。

次に、この場合のセンシング可能範囲を、それぞれのアプリ別に定義する。ここで重要となるのが、各アプリによって認識対象物の大きさが異なる点である。まず、例題としてわかりやすい歩行者検知のアプリの場合を例に説明する。

＜歩行者検知の場合＞
図１３−２（ａ）、（ｂ）に示すように、付着物１３０２によって背景が見えないとされる領域部分に、歩行者Ｐが重なる場合を想定する。画像上では、奥行き方向の距離に応じて歩行者Ｐの大きさが異なって見える。歩行者Ｐが遠方にいるほど、付着物１３０２が歩行者Ｐを遮るパーセンテージ（率）が高まるために、遠方、およびフロント魚眼カメラの左方向で検知を保証することが困難になる。この例では、歩行者が自車両から６．０ｍ離れており、歩行者のほとんどの部分が付着物１３０２の陰に隠れてしまっており、歩行者の大きさの４０％未満しか見えていないので、アプリ実行部４００の歩行者検知部４３０は、歩行者を認識できない。一方、図１３−２（ｂ）に示すように、歩行者が自車両から１．０ｍ離れている場合には、歩行者の大きさの４０％以上が見えているので、歩行者検知部４３０は歩行者を認識できる。奥行き距離Ｚごとにこの処理を実施する。

歩行者は、身長１．８ｍの標準的な体型を想定し、これを１ｍから５ｍの奥行き距離Ｚ別に、画像１３０１上で歩行者Ｐがどの程度の大きさに見えるかを計算する。この奥行き別の歩行者Ｐの形状と、泥などの付着物１３０２によって背景が見えない領域部分を比較し、最大、歩行者Ｐの何パーセントを付着物１３０２が隠す可能性があるかどうかを計算する。例えば、歩行者Ｐが最大３０％以上見えなくなる可能性がある奥行きと、カメラ１０１からの視野角度θを計算する。

図１３−３（ａ）、（ｂ）は、歩行者を認識（センシング）することが不可能なセンシング不可能範囲１３３１と、認識可能なセンシング可能範囲１３３２とを車載モニタなどの表示部１３３０に表示した状態の一例をそれぞれ示している。センシング範囲判断部３００は、アプリを実行した場合にレンズ状態診断部２００で診断したレンズ状態によって歩行者をセンシングすることが可能なセンシング可能範囲と、センシング不可能なセンシング不可能範囲を判断する。図１３−３（ａ）に示す例では、付着物の大きさや形状に応じて距離換算された所定距離７０５よりも遠方の歩行者は見えないと判断してセンシング不可能範囲１３３１を設定している。所定距離７０５は、付着物の大きさが大きくなるほど車両１に接近し、付着物の大きさが小さくなるほど車両１から離れるように設定される。センシング不可能範囲１３３１の横幅を決定するθは、付着物の大きさに応じて設定されている。そして、図１３−３（ｂ）の例では、車両１の前部に取り付けられた車載カメラ１０１ａに付着物が付着しており、遠方は付着物の影になって見えない可能性が高いので、車両前部の車載カメラ１０１で撮像される画像の所定距離７０５より遠方全てを使用不可に設定している。

＜車両検知の場合＞
車両検知は、歩行者検知の考え方と同様であり、認識対象物である車両Ｍの大きさを幅1.8m奥行き4.7mと定義する。そして、歩行者Ｐと異なる部分は、検知対象の車両Ｍの向きをレーン認識もしくは、自車両の進行方向と同じと定義する部分である。例えば図１４−１（ａ）に示すように、レーンＷＬに沿って走る先行車両Ｍが、左上の付着物１３０２に重なる場合を奥行き別に調査する。歩行者Ｐと比較して車両Ｍは大きいので、歩行者Ｐよりも遠方まで検出することが可能である。ここでは、車体の４０％以上が隠れた場合に、検知の保証が困難と判定している。車両Ｍは、歩行者Ｐと比較して剛体であり、人工物であるため、歩行者Ｐと比較して見えないパーセンテージ（比率）が高くなっても検知の保証が可能である。例えば、図１４−２（ａ）、（ｂ）に示すように、車両Ｍが遠方にいるほど、付着物１３０２が車両Ｍを遮るパーセンテージが高まるために、遠方、およびフロント魚眼カメラの前方向で検知を保証することが困難になる。

＜レーン認識の場合＞
レーン認識は、その基本の考え方としては歩行者検知や車両検知同様である。異なるのは認識対象物に決まった大きさがないことである。しかし、重要な考え方は、レーンＷＬを認識する場合にそもそも遠方10mから近傍50cmを認識対処としており、その中で奥行き何ｍから何ｍまでが見えないかどうかということである。画面上の汚れ領域を、カメラ幾何を利用して路面上のどの範囲を隠すかどうかを判定する。

白線（レーンＷＬ）の場合には、遠方の左側が見えないことが、平行性を利用した右側の認識性能に影響するため、左側5mより遠方が見えないと判定された場合には、右側も同等の性能として、白線の遠方が認識できないと判定する。実際の画像処理でも、5m遠方部分を除外して画像処理することで、誤検知を低減してもよい。または、汚れ領域のみをセンシング領域から外してもよい。検知保証可能範囲を提示するとともに、検知保証領域が狭くなるにつれて低下するレーン認識の横位置、ヨー角、曲率の精度を考慮して、制御に利用可能か、制御には利用できないが警報に利用できるレベルなのか、まったく利用できないのかを同時に判定する。

＜駐車枠検知の場合＞
駐車枠は、白線と同様に路面に存在するが、白線と異なり対象物の大まかなサイズは既知とみなすことができる。当然場所によって駐車枠の大きさに若干の差異はあるものの例えば幅2.2ｍ、奥行き5ｍの大きさであると駐車枠を定義し、この領域の枠内部の何パーセントを隠す可能性があるかを計算する。実際には、枠線のみが重要で枠内部だけが泥で汚れていても検知可能であるが、車両が動いて見えなくなればアプリとしては性能保証できないことに変わりはないため、枠内部の何パーセントが泥で見えなくなる可能性があるかを計算し、３０％を超える場合には、動作保証不可とする。これも奥行き別に実施する。また、駐車枠を利用したアプリでは、車を旋回させながら駐車支援に利用することが多い、このためフロントカメラの左奥７ｍ以降だけが３０％を超える泥が付着していたとしても、アプリが性能保証できる範囲は、フロントカメラでは７ｍより近傍だけと定義する。

＜障害物検知＞
障害物検知の場合には、車両周囲に存在する立体物全てを検知対象とするため、検知対象物体の大きさを定義することができない。このため障害物検知では、立体物の足元が路面上に存在することを特定することができない場合を、障害物検知の性能保証できないと定義する。このため基本的な考え方は、泥検知領域にあるサイズの路面領域が映っていると仮定した場合に、自車両からどの範囲では遮蔽率が高まって見えないかを距離変換することで、障害物検知の性能保証範囲を決定する。例えば図１５（ａ）に示すように、レンズに付着物１３０２が付着することによって、上方向の矢印が見えなくなっている領域が存在する場合に、図１５（ｂ）に示すように、付着物で背景が見えない領域、すなわちセンシング不可能範囲１３０３であると判定できる。

このように立体物の検知対象の大まかな３次元サイズが仮定できる車両検知や歩行者検知では、検知対象である仮定サイズの立体物を想定し、３次元位置を路面上での奥行き方向と、それに直交する横方向に変化させた場合それぞれにおいて画像上でどの程度の汚れで立体物が遮蔽されるかのパーセンテージを算出する。付着物によって遮られるパーセンテージが、閾値を超えた場合には、認識不可能な３次元位置であると判断し、閾値を超えない範囲であれば、認識可能であると判断する。

このように付着物の状態と図１６に示すようなアプリ別の対象物の耐久遮蔽率を計算することで、検知対象の検知率が低下する場所を、自車両を中心とした３次元的なエリアとして推定する。ただし、障害物検知のように、物体サイズに定義が無い場合は、足元位置にある一定サイズを仮定し、この領域が見えるかどうかの判定で代用してもよい。

図１６は、アプリの認識対象物の標準サイズと耐久遮蔽率を示した表である。ここで、耐久遮蔽率とは、画像上で付着物の大きさが認識対象物の大きさよりもどれくらいのパーセンテージで小さい場合に認識対象物として認識できるかを定義したものである。例えば車両検知では付着物が車両の５０％以下の大きさである場合に車両を認識でき、歩行者検知では、付着物が歩行者の４０％以下の大きさである場合に車両を認識できるように設定されている。このように画像的にも、3次元的なエリアとしてもカメラのセンシング可能範囲を推定することで、カメラのレンズ状態に応じて変化するセンシング可能範囲をユーザにわかりやすく伝えることを可能とする。

＜鮮明度に応じた距離換算部３２０について＞
図３に示す鮮明度に応じた距離換算部３２０では、鮮明度検知部２２０の結果、鮮明度の平均値Blaveに基づいて保証検知距離を計算する。まず、各アプリ別に認識対象物体を最大検知距離まで認識するために必要なエッジ強度を得るための必要なレンズ鮮明度の標準鮮明度α１を設定する。図１８（ａ）は、各アプリのエッジ強度と最大検知距離との関係を説明する図である。そして、鮮明度が標準鮮明度α１以上を示している場合には、各アプリは最大検知距離までセンシング動作を保証可能であるが、これが、標準鮮明度α１を下回るにつれて最大検知距離から保証検知距離が短くなる。鮮明度に応じた距離換算部３２０は、鮮明度が標準鮮明度α１から低下するに応じて保証検知距離を短くする。

図１８（ｂ）は、検知距離と鮮明度との関係を示すグラフであり、鮮明度Blaveが標準鮮明度α１と最低鮮明度α２の中間に存在する場合に、アプリの保証検知距離が変化することを示している。

それぞれのアプリの設定は、図１８（ａ）の表に示すように、各アプリの最大検知距離が存在し、この最大検知距離での範囲を保証する場合には、各アプリごとに設定された標準鮮明度α１以上を鮮明度の平均値Blaveが示す必要がある。鮮明度の平均値Blaveが標準鮮明度α１から低下するにつれて保証検知距離が低下し、対象アプリの最低鮮明度α２に達したところで検知が不可であることを示す。

例えばアプリが車両検知の場合、標準鮮明度０．４のときに最大検知距離１０ｍとなり、最低鮮明度が０．１５のときに最小検知距離０ｍになる。そして、アプリが歩行者検知の場合、標準鮮明度０．５のときに最大検知距離５ｍとなり、最低鮮明度が０．２のときに最小検知距離０ｍになる。

図１７は、センシング範囲判断部３００が鮮明度に応じてセンシング可能範囲を判断する方法を説明する図であり、図１７（ａ）は、鮮明度が低い状態が車載モニタに表示されている例を示しており、図１７（ｂ）は、歩行者を認識（センシング）することが不可能なセンシング不可能範囲１３３１と、認識可能なセンシング可能範囲１３３２とを車載モニタなどの表示部１３３０に表示した状態の一例を示している。
例えば図１７（ａ）に示すように、白濁のために鮮明度が低い場合には、図１７（ｂ）に示すように、車両前部の車載カメラ１０１で撮像される画像の所定距離７０５より遠方全てを使用不可と定義する。所定距離７０５は、最低鮮明度に近くなるほど車両１に接近し、標準鮮明度に近くなるほど車両１から離れるように設定される。

＜水滴に応じた距離換算部３３０について＞
図３に示す水滴に応じた距離換算部３３０では、水滴検知部２３０の結果に基づいて、各アプリ別にセンシング可能範囲を計算する。水滴検知の結果のSB(x,y)と閾値ThrBに基づいて、各アプリの処理領域内にあり、かつSB(x,y)が閾値ThrBを超えた場合の面積を算出する。これは各アプリの処理領域内で水滴がどれだけの量を付着しているかを示す数値となるため、アプリの処理領域内中の水滴付着面積を処理領域の面積で割ることで、水滴占有率を各アプリごとに求める。

この水滴占有率を利用して、最大検知距離を決定する。図１９（ａ）に示すように、水滴１９０２の場合、そのレンズ状態が素早く変化する可能性が高い。例えば、降ってくる雨による影響や、路面上の水分を巻き上げたことにより更なる水滴が付着して、レンズ状態が変化する場合、また、反対に走行中の風や、カメラ起動中の発熱により水滴が減少していくなどレンズ状態は常に変化しうる可能性が高い状態である。このため、現在の水滴の位置により視野が妨げられている箇所１９０３を視野外や検知不可の領域と判断するのはなく、現在の水滴付着量から、ここしばらくの間のレンズ状態では、遠方や小さな物体の位置を正しく判定することができないため、検知距離を短く設定することで、レンズ状態に応じ動作を保証する。

各アプリ別に、処理エリアが異なるため、水滴に応じた距離換算部３３０では、この処理領域を考慮した水滴占有率から保証検知距離を算出する。更に、水滴占有率の値から、アプリの最大検知距離をそのまま保証できる水滴占有率を図２０（ａ）に示す耐久水滴占有率とする。更に、アプリの動作自体ができずに検知を保証できなくなる水滴占有率を限界水滴占有率として定める。限界水滴占有率の状態は、すなわち保証検知距離が０ｍの状態を示し、耐久水滴占有率から限界水滴占有率の間で保証検知距離が、図２０（ｂ）に示すように、線形に低下するような仕組みとする。

水滴付着時には、背景の映像が見えづらくなるが、レンズ上の水滴付着量が多いほど画像認識ロジックにとって誤検知や不検知が生じやすい要因となる。このため、レンズに付着した水滴のうち、特に認識対象物を認識するために画像処理する範囲内の水滴付着量を求めることで、各アプリ別に誤検知や不検知の影響が出る度合いとして換算して利用する。例えば、レーン認識の処理領域内の水滴占有率が高い場合には、画像上でレーンが存在すると予想した領域には水滴が大量に付着しており、レーンが適切に認識できない可能性がある。そこで、特に水滴の歪みの影響を受けやすい遠方の検知は、水滴占有率が少し上がった段階で保証対象外とし、水滴占有率が上がるに応じて近傍の距離も徐々に保証対象外としている。

例えば実行中のアプリが車両検知の場合、水滴占有率が耐久水滴占有率３５％以下までが最大検知距離１０ｍを保証でき、限界水滴占有率６０％よりも大きいときに最小検知距離０ｍになる。そして、アプリが歩行者検知の場合、水滴占有率が耐久水滴占有率３０％のときに最大検知距離５ｍを保証でき、限界水滴占有率が５０％よりも大きいときに最小検知距離０ｍになる。

図４は、アプリ実行部４００の内部機能を説明するブロック図である。
アプリ実行部４００は、例えばレーン認識部４１０、車両検知部４２０、歩行者検知部４３０、駐車枠検知部４４０、障害物検知部４５０を備えており、予め設定された条件に基づいてそれぞれ実行される。

アプリ実行部４００は、車載カメラ１０１で撮像された画像を入力として利用し、予防安全や利便性を高めるために画像認識を利用する各種アプリを実行する。

レーン認識部４１０は、例えば、車線逸脱の警報や防止、車線維持支援、カーブ手前減速などに利用されるレーン認識を実行する。レーン認識部４１０では、画像上から白線ＷＬの特徴量を抽出し、この特徴量の直線性や曲線性を評価することで、自車両が車線内のどの横位置に存在するか、また車線に対する傾きを示すヨー角、走行車線の曲率等を推定する。そして、推定した車両横位置や、ヨー角、曲率に応じて、自車両が車線から逸脱しそうな場合に、ドライバーにその危険性を伝える警報を鳴らす、もしくは、車線逸脱しそうな場合に、その逸脱を防ぐために自車線に戻す制御を実施する。ただし、車両の制御を実施する際には、車線の認識性能自体が安定的で横位置、ヨー角が精度良く求められていることが条件となる。更に、遠方まで高精度に車線を抽出できている場合には、曲率の推定精度も高く、カーブ中の制御などにも利用可能であり、より滑らかにカーブに沿って走行するためのアシストを実施してもよい。

車両検知部４２０は、先行車の背面の画像上で四角い形状を特徴量として抽出し、車両候補を抽出する。この候補に対して、背景と異なり自車速で画面上を移動していく静止物体でないことを確認する。また、候補領域に対してパターンマッチングをかけることで、候補の絞り込みに用いても良い。このように車両候補を絞り込み、自車両に対する相対位置を推定することで、自車両と接触、衝突の恐れがあるかなどを判定し、警報対象となるか、もしくは制御対象となるかの判定を実施する。先行車追従のようなアプリケーションとして利用する場合には、先行車両の相対距離に応じて自車速度を制御することで、先行車に衝突しないように自動追従する。

歩行者検知部４３０は、歩行者の頭部形状もしくは脚部形状などを基にした、特徴量を抽出することで歩行者候補を絞り込む。更に、自車両の移動にともなう静止物の背景の動きと比較して、その歩行者候補の移動が衝突方向に向かっているかなどを判定基準として、移動中の歩行者検知を実施する。パターンマッチングを利用することで、静止歩行者をも対象としても良い。このように歩行者を検知することで、走行中の飛びだしに対する警報や制御が可能となる。また、道路走行中でなくとも駐車所や交差点などといった低速領域でも非常に役に立つアプリケーションとなる。

駐車枠検知部４４０は、たとえば、時速２０ｋｍ以下のような低速時に、白線認識と同様に、白線の特徴量を抽出する。次に、画面上に存在するあらゆる傾きの直線をハフ変換により抽出する。更に、単なる白線の直線を見つけるのではなく、ドライバーに駐車を促す駐車枠かどうかの判定を実施する。左右枠の幅が車両１を止められる程度の幅であること、更に駐車した場合に車両１の後方もしくは前方にくる車止めブロック、もしくは前後の白線などを検出することで駐車可能領域かどうかを検出する。広い駐車場で駐車枠が遠方まで見えるような場所のときは、複数の枠候補からユーザに駐車枠を選択させることもできるが、近傍の駐車枠のみしか見えないような場合のときには、近くの駐車スペースまで近寄らないと認識できない。また、基本的に車両１の駐車制御に利用させるため、認識が不安定な場合には、制御できないことをユーザに報知する。

障害物検知部４５０は、画像上で特徴的な点を抽出する。物体の角などで構成される画像上で固有の特徴を持つ特徴点は、次のフレームにおいても、画像上の変化が小さい場合に、同一の特徴を持つ特徴点である、と対応付けをすることができる。この２フレーム間もしくはマルチフレーム間で対応がとれた特徴点を利用して3次元復元を実施する。この時に、自車両との衝突の恐れがあるような障害物を検出する。

図５は、報知制御部５００の内部機能を説明するブロック図である。
報知制御部５００は、例えば警報部５１０、制御部５２０、ディスプレイ部５３０、汚れ除去部５４０、ＬＥＤ表示部５５０等を備えている。

報知制御部５００は、センシング範囲判断部３００の判断結果を受けて、その情報をユーザに伝えるインタフェース部分をになう。例えばアプリが必要としているセンシング範囲内においてセンシング不可能範囲がなく、全てがセンシング可能範囲となっているときのような正常状態では、緑色のＬＥＤを点灯表示させ、抑制モード中は緑色のＬＥＤを点滅させる。そして、雨天中などの一時的で、早期復帰の可能性があるシステムギブアップ状態ではオレンジ色のＬＥＤを点灯表示させ、レンズに泥や白濁のような長期的な汚れが付着している可能性が高く、ユーザがレンズを拭かなければ、復帰の可能性が低いようなシステムギブアップ状態の場合には赤色のＬＥＤを点灯させる、などのように、ユーザへ現状の予防安全アプリケーションの動作状況とともに、現在のシステムのレンズ汚れによる異常状態をユーザに警告できるようなシステム構成とする。なお、システムギブアップ状態とは、レンズ表面の付着物によって画像認識に適切な撮像が難しいと判断した場合に、予防安全のために認識対象物を認識するアプリケーションを停止する状態を示す。また、認識自体は停止しなくともCAN出力を停止、もしくは、CAN出力は出たままの状態であっても最終出力となる警報や車両制御、画面への表示などにおいて、認識対象物の認識結果をユーザへ伝えないような状態を示す。システムギブアップ状態は、認識対象物の認識結果を提示しない代わりに、ユーザに認識システムがギブアップ状態であることを表示したり、音声などで伝えてもよい。

他にも、予防安全のアプリケーションが、一時的にシステムギブアップ状態に移行する際には、ユーザへ予防安全アプリケーションの停止を警告するディスプレイ表示や、ドライバーの運転を阻害しないように音声で案内する等、レーン認識、車両検知などのアプリケーションが停止状態に移行することをユーザに伝える機能があっても良い。また、復帰時には同様に、復帰したことをユーザに伝える表示や、音声案内があっても良い。また、長期的な汚れが付着したと判断された場合に、レンズ状態は改善したが、道路構造物トラッキング部による視認性の改善が確認されないような状況では、長期ギブアップ時には赤点灯であった表示を、オレンジ色に変更し、レンズの改善を伝えるようにしても良い。ただし、実際には、背景や光源環境の影響を受けただけの可能性もある。また、特に赤色のＬＥＤが点灯するような水滴付着以外の長期的に付着した汚れと判定された場合には、停車時、もしくは発進前などにレンズを拭くようにユーザへ指示を促しても良い。

レンズ状態診断部２００で診断されたレンズ状態とセンシング範囲判断部３００で判断されたセンシング可能範囲とに基づいた各アプリの動作状況をユーザに伝えることで、ユーザが知らない間に予防安全機能が停止していたということが無いようにする。

これは車線認識が作動していることを期待しているにも関わらず、車線逸脱しても警報がならなかったというようなクレームがなきよう、また、システムの故障などを疑われないように現状のシステム状況をユーザへ告知することで、改善したい場合の対処方法、レンズを拭く、レンズ洗浄用のハードウェアを手動で動作させるなどの改善方法をユーザに伝える意味合いがある。

レンズ汚れによるシステムギブアップ状態において、ユーザによるレンズ表面の汚れ除去などをしなければ状況改善しづらいような状況では、これをユーザへ報知することで、改善を促すとともに、現在のアプリケーションが動いてないことをユーザに報告する。

図２１は、認識対象物に応じたセンシング可能範囲を比較する図である。
前方の車載カメラ１０１に付着している付着物の大きさ及び位置が同じで、各アプリの認識対象物が車両、歩行者、障害物の３種類の場合、認識対象物の大きさが個々に異なるのでセンシング範囲も互いに異なっている。例えば、認識対象物が車両の場合、最小センシング範囲２１０１の車両前方の長さＬａ２と、最大センシング範囲２１０２の車両前方の長さＬａ１は、歩行者の最小センシング範囲２１１１の車両前方の長さＬｐ２と、最大センシング範囲２１１２の車両前方の長さＬｐ１よりも長く、障害物の最小センシング範囲２１２１の車両前方の長さＬｍ２と、最大センシング範囲２１２２の車両前方の長さＬｍ１は、歩行者の最小センシング範囲２１１１の車両前方の長さＬｐ２と、最大センシング範囲２１１２の車両前方の長さＬｐ１よりも小さくなる。一方、付着物によって背景が隠される角度θは、各アプリの間でもほぼ同じとなるが、認識対象物の大きさに応じて補正がされる。

上記した本発明の周囲環境認識装置１によれば、車載カメラ１０１のレンズ汚れに応じたセンシング可能範囲をユーザに示すことができ、ユーザは、アプリの認識対象物を認識可能な範囲を知ることができる。したがって、ユーザがアプリを過信して周囲環境への注意が疎かになるのを防ぎ、より注意して運転することを促すことができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０ 周囲環境認識装置
１００ 撮像部
２００ 自己診断部
２１０ 付着物検知部
２２０ 鮮明度検知部
２３０ 水滴検知部
３００ センシング範囲判断部
３１０ 付着物に応じた距離換算部
３２０ 鮮明度に応じた距離換算部
３３０ 水滴付着に応じた距離換算部
４００ アプリ実行部
４１０ レーン認識部
４２０ 車両検知部
４３０ 歩行者検知部
４４０ 駐車枠検知部
４５０ 障害物検知部
５００ 報知制御部
５１０ 警報部
５２０ 制御部
５３０ ディスプレイ部
５４０ 汚れ除去部
５５０ ＬＥＤ表示部

Claims (6)

1. カメラで外部環境を撮像した画像に基づいて周囲環境を認識する周囲環境認識装置であって、
   前記画像を取得する画像取得部と、
   前記画像から認識対象物を認識するアプリケーションを実行するアプリ実行部と、
   前記画像に基づいて前記カメラのレンズ状態を診断するレンズ状態診断部と、
   前記アプリケーションを実行した場合に前記レンズ状態診断部で診断したレンズ状態によって前記認識対象物をセンシングすることが可能なセンシング可能範囲と、前記認識対象物をセンシング不可能なセンシング不可能範囲を判断するセンシング範囲判断部と、
   該センシング範囲判断部のセンシング可能範囲とセンシング不可能範囲との少なくとも一方を報知する報知部と、
   を有することを特徴とする周囲環境認識装置。
2. 複数のアプリケーションを備え、
   前記センシング範囲判断部は、各アプリケーションが認識する認識対象物に応じて前記センシング可能範囲をそれぞれ判断することを特徴とする請求項１に記載の周囲環境認識装置。
3. 前記レンズ状態診断部は、前記レンズに付着した付着物を検知する付着物検知部と、前記レンズの鮮明度を検知する鮮明度検知部と、前記レンズに付着した水滴を検知する水滴検知部の少なくとも一つを備え、
   該検知結果に基づいて前記レンズ状態の診断を行うことを特徴とする請求項２に記載の周囲環境認識装置。
4. 前記付着物検知部は、前記付着物が前記画像内を占める付着物領域を算出し、
   前記センシング範囲判断部は、予め定義されている前記アプリケーションの認識対象物の標準サイズを用いて、前記付着物領域が前記標準サイズの認識対象物を遮蔽する割合を算出し、予め設定された耐久遮蔽率に基づいて前記認識対象物を検知可能な保証検知距離を換算することを特徴とする請求項３に記載の周囲環境認識装置。
5. 前記鮮明度検知部は、前記画像に写り込む地平線を含む複数の領域の各エッジを検出し、該各エッジのエッジ強度に基づいて鮮明度を設定し、
   前記センシング範囲判断部は、前記鮮明度が低下するに応じて前記認識対象物を検知可能な保証検知距離を短くすることを特徴とする請求項３に記載の周囲環境認識装置。
6. 前記水滴検知部は、検知された水滴エリアを利用して、認識アプリ別に各処理領域内の水滴占有率を算出し、この水滴占有率に応じて認識アプリ別に保証検知距離を変更することを特徴とする請求項３に記載の周囲環境認識装置。

Images