JP2017092622A - 画像処理システム - Google Patents

Abstract

【課題】車載カメラにレンズ汚れなどが生じている状態であっても、車載カメラによって撮像された画像から、車両などの物体検知を行うことができる物体検知方法を提供することにある。【解決手段】撮像された画像に含まれる物体を検知する物体検知方法において、前記撮像された画像から、検知対象の物体を含む元画像を作成し、前記作成した元画像を用いて、前記元画像に所定の加工を行った加工画像を生成し、前記元画像と前記加工画像とを用いて、前記検知対象の物体の画像に関する復元学習を行う。【選択図】 図１

Description

本発明は、カメラ画像を用いて物体を検出する画像処理システムに関する。

車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力するとともに、車両挙動自体を自動で制御する技術が進展している。車載カメラを車外に設置したシステムでは、雨天等の悪天候または車両が走行することで撒き上がった泥や粉塵によって車載カメラのレンズが汚れやすく、場合によっては誤警報となり、それ自体が安全性低下を招く可能性がある。そこで、レンズの汚れを自動的に検出し、エアーや水を吹きかけてレンズ汚れを除去するシステムも実用化されているが、そのようなシステムは一般的に高価である。レンズ汚れが進行した状態で撮影された車両形状が一部欠落したり、ぼやけが生じたりした場合でも、可能な範囲で安定して車両検知ができることが望ましい。

例えば、特許文献１は、車載カメラのレンズ汚れを異なるタイミングで撮像した複数の画像において、対応する各画素を比較して、画像間の濃度の差分がしきい値以下の画素を汚れが生じている画素と判定して、レンズ汚れが生じたことをユーザに報知する技術が開示されている。

特開２００７−３１８３５５号公報

特許文献１には、車載カメラにレンズ汚れが生じたことを検出してユーザに報知する技術が開示されているが、レンズ汚れた状態で撮影された画像を用いて車両検知処理を実行する方法については言及されていない。このため、特許文献１では、レンズ汚れが生じた領域を特定することはできても、レンズ汚れにより車両形状が欠落、あるいは変形した状態で車両を認識する技術が開示されていないため、レンズ汚れが生じた状態で車両検知処理を実行することは困難である。

本発明は、車載カメラにレンズ汚れが生じている状態であっても、車両検知を実行することを目的とする。

上記目的を達成するために、本発明は、撮像された画像に含まれる物体を検知する物体検知方法において、前記撮像された画像から、検知対象の物体を含む元画像を作成し、前記作成した元画像を用いて、前記元画像に所定の加工を行った加工画像を生成し、前記元画像と前記加工画像とを用いて、前記検知対象の物体の画像に関する復元学習を行う構成を採用する。

本発明によれば、車載カメラのレンズに汚れが生じている場合であっても、車載カメラによって撮像された画像から車両を検知することができる。

本発明の一実施形態である車両検知システムの構成図である。 クリアモード時の復元学習の例を示す図である。 クリアモード時の復元学習に用いる画像を示す図である。 疑似汚れ生成部における画像の加工方法の例を示す図である。 学習計画部の動作の例を示す図である。 汚れモード時の復元学習の例を示す図である。 識別スコア蓄積部の情報内容および識別スコア判定部の動作の例を示す図である。 車両検知処理の全体フローである。 クリアモードの車両検知フローである。 汚れモードの車両検知フローである。 汚れモードの車両検知フローの他の例である。 学習計画部による復元学習部の実行制御フローである。 学習計画部による復元学習部の実行制御フローの他の例である。 学習計画部による復元学習部の実行制御フローのさらに他の例である。 車両検知処理の検知FAIL信号の出力制御フローである。 車両検知モード切換えの別の制御フローである。 本実施形態における外界認識装置の構成の一例を示すである。

以下、本発明の一実施形態を、図面を用いて詳細に説明する。

以下に記載する実施例では、車載カメラで車両を検知してドライバーに車両同士の衝突警報等を報知したり、衝突防止のために自動ブレーキをかけるトリガとなる車両制御信号を出力したりするための外界認識装置を例に説明する。但し、本実施形態における検知対象の物体は車両に限定されず、検知対象を他に変更して実施してもよい。また、カメラも車載カメラに限らず、街頭に設置された監視カメラ等に変更して実現してもよい。

図1は、本実施例における外界認識装置のブロック構成図である。

外界認識装置は、第1検知部101、疑似汚れ生成部103、復元学習部104、復元型識別器106、識別スコア蓄積部107、識別スコア判定部108、学習計画部109、レンズ汚れ診断部110、および検知モード切り換え部111を備える。カメラ100は、外界認識装置と接続され、撮像した画像を外界認識装置に送信する。

カメラ100は、自車両のボディに取り付けられ、自車両の外部を撮像する。第1検知部101は、カメラ100のカメラレンズに汚れが生じていないときに撮像された画像をカメラ100から受信し、その画像の中から自車両以外の車両（以下、単に車両という。）を検知し、検知した車両の車両画像（元画像）を作成する。擬似汚れ生成部103は、第1検知部101が作成した車両画像から、検知した車両を囲む部分の画像に対する画像処理により、前記車両画像に擬似的に汚れを重ねる加工を行った加工画像である擬似汚れ画像を生成する。

復元学習部104は、第1検知部101が作成した車両画像と、疑似汚れ生成部103が生成した擬似汚れ画像（加工画像）とをもとに、擬似汚れ画像から元の車両画像の状態、すなわち擬似汚れが取り除かれた画像状態に近づくように復元する機械学習処理を行い、学習結果として、元の車両画像への復元処理に必要な情報となる識別器パラメータ118を生成する。

復元型識別器106は、形状復元部105と第2検知部102とを備える。形状復元部105は、カメラ100のレンズに汚れが実際に生じている場合に、カメラ100が撮像した画像をもとに、復元学習部104が生成した識別器パラメータ118を用いて、レンズが汚れた状態で撮影された画像から車両形状を復元する。第2検知部は、形状復元部105が復元した画像をもとに車両検知を実行する。

識別スコア蓄積部107は、復元型識別器106が形状復元を実行する際に算出される、識別に関する評価値を記憶する。識別スコア判定部108は、識別スコア蓄積部107に記憶された評価値情報を解析して、復元学習の進み度合い更新および復元学習に基づく車両認識精度の状態を推定し、車両認識精度が所定のしきい値以下になった場合は、車両検知処理を停止させるためのFAIL信号を出力する。学習計画部109は、識別スコア判定部108の判定結果に基づいて、擬似汚れの生成パターン変更および復元学習で学習する車種種別のON/OFF制御を行う。

レンズ汚れ診断部110は、カメラ100のレンズの汚れ状態を、カメラ100が撮像した画像の画像解析等で判断し、レンズが汚れているか、あるいは汚れていないかを判別する。検知モード切り換え部111は、レンズ汚れ診断部110によるレンズ汚れの判別結果に応じて、車両検知モードをレンズ汚れが生じていないときの車両検知モード(以下、クリアモード)、またはレンズ汚れが生じているときの車両検知モード(以下、汚れモード)に切り換える。

また、第1検知部101および第2検知部102は、検知した車両と自車との距離や、検知した車両の接近速度等を観測し、解析情報を出力する機能も有する。この解析情報により、検知した車両が自車と衝突する危険な状態にあるか否かを解析し、警報を発する警報処理が実行されてもよい。

図2は、クリアモード時の復元学習の例である。

クリアモード時の復元学習は、カメラ100のカメラレンズに汚れが生じていないときに、カメラ100が撮像した画像をもとに、第1検知部101が車両検知を行い、その画像から検知した車両を囲む部分の画像を切り出した画像(元画像)と、擬似汚れ生成部103が、元画像に対して画像処理で人工的に擬似的に汚れを重ねた擬似汚れ画像を生成し、元画像と擬似汚れ画像とをペアにしてA画像データ群114として一旦蓄積する。この複数ペアのA画像データ群114が所定の数だけ蓄積された時点で、復元学習部104に入力される。

復元学習部104は、擬似汚れ画像から元の検知した車両画像の状態、即ち擬似汚れが取り除かれた画像状態に近づくように復元する機械学習処理を実行する。復元学習部104は、学習結果として、元の車両画像への復元処理に必要な情報となる識別器パラメータ118を出力する。

復元学習部104が学習を行うタイミングとなるA画像データ群の数は、任意に設定してよい。例えば、A画像データの蓄積数が10000枚増加するごとに復元学習を実行するようにしてもよい。

本装置を最初に起動した時点では、復元学習がまったく実施されていないため、装置の製造段階で、オフラインで生成した既存の識別器パラメータ118を、復元型識別器にプリセットしておく。または、装置稼動の初期段階では復元型識別器106による車両検知を稼動させず、復元学習部104による学習が進んで識別器パラメータ118が更新された時点から、復元型識別器106による車両検知を稼動させるようにしてもよい。

復元学習とは、検知対象にノイズ成分を含んだ画像と、ノイズ成分を含まない画像をペアにして複数組入力し、ノイズを含んだ画像からノイズ成分を除去した画像に復元できるように識別器のパラメータを自動設定する機会学習手法のことである。このような手法の例としては、Deep Learning(深層学習)がある。Deep learningは、入力された複数画像が共通して持つ画像の特徴パラメータを細かく分けて自動的に抽出することができる。

特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法がある。ニューラルネットワーク構造は、まず小画像領域ごとに入力画像群に共通の画像特徴に一致したときのみに反応(入力画像から抽出した画像特徴が識別器として仮定義した比較用の画像特徴に一致するか否かを返す)するニューロン・ユニットと呼ばれる入出力関数(活性化関数)を多数組み合わせる。そして、さらにこれらを複数の層状に積み重ねてピラミッド構造にして、検知対象の画像位置や画像サイズを変えながら段階的に検知対象を識別できるように各層毎に識別器パラメータを抽出し、最終的に検知対象全体を識別可能な識別器パラメータを得ることができる。また、復元学習では、ノイズを含んだ画像からノイズ成分を含まない画像へ自動的に復元するための内部動作情報も識別器パラメータに含まれている。

図3は、クリアモード時の復元学習に用いる画像の例である。

図3(a)は、第1検知部101が、レンズ汚れが生じていない条件の画像から検知した車両301の画像300である。

図3(b)は、図3(a)の画像に擬似汚れ303を重ね合わせた画像302である。図3(b)は、レンズに泥や雨滴などが付着したときの撮像状態を擬似的に再現するようにした例である。

図3(c)は、擬似汚れ画像の別の形態である。元の車両画像300を所定の小領域に分割し、汚れでレンズが隠ぺいする画像領域305をランダムに配置した画像304である。汚れの隠ぺいする領域の面積およびサイズは画像毎に統一しても良いし、画像毎に任意に変更してもよい。この手法では、擬似汚れ画像の生成を容易に実施できる。

図3(b)および図3(c)において、疑似汚れ部分の画像の加工方法としては、泥の付着を想定して車両部分を隠すように例えば黒く塗りつぶしてもよい。または、雨滴付着を想定して透過処理等で車両部分が薄く視認できるようにする、あるいは雨滴付着や氷結を想定して車両形状が歪むように処理してもよい。

クリアモード時の復元学習部104には、図3に示すレンズ汚れの無い車両画像300と、擬似汚れ画像302または別の擬似汚れ画像304のペアが、複数入力される。

図4は、疑似汚れ生成部103における画像の加工方法の例である。

図4(a)は、レンズに泥401が付着した状況を想定して、車両の一部分を隠すように例えば黒く塗りつぶして加工して生成した泥の擬似汚れ画像400である。

図4(b)は、レンズに雨滴403が付着した状況を想定して、車両の一部分を透過処理等で薄く視認できるように加工して生成した雨滴の擬似汚れ画像402である。また、擬似雨滴部分においては、雨滴による光の屈折現象を再現するために、擬似雨滴の内部の画像を歪ませるように加工してもよい。

図4(c)は、雨天時の走行に伴い泥水等が跳ねてレンズ面全体に付着し、時間経過と共に乾燥して白濁が生じた状況を想定して、車両のコントラストを下げるように加工して生成した白濁の擬似汚れ画像404である。

図4(d)は、寒冷地の走行によりレンズ面に付着した水分が氷結した状況を想定して、車両のコントラストを下げると共に、車両形状を歪ませるように加工して生成した氷結の擬似汚れ画像405である。

図5は、学習計画部の動作の例である。

図5(a)、図5(b)、図5(c)は、学習計画部109が、擬似汚れ生成部103と復元学習部104に伝達する情報の内容を示す図である。

学習計画部109は、復元学習部104が学習を実行する際に、どこまで学習を進行させるかについて予め目標を設定した学習目標設定テーブル500(図5(b))と、現在どこまで学習が進んだかを記録し、保持する学習履歴テーブル501(図5(c))を格納する。

学習目標設定テーブル500は、学習の目標値として、入力画像のポジティブ学習数およびネガティブ学習数、検知車種ごとの学習数、汚れパターンごとの学習数を含む。ここで、ポジティブ画像とは、検知対象である車両が被写体となっている画像である。ネガティブ画像とは、車両以外が被写体となっている画像である。検知車種の学習数は、復元型識別器106が識別可能な車種数に基づいて設定する。汚れパターンの学習数は、復元型識別器106が復元処理可能な汚れの種類数に基づいて設定する。

学習履歴テーブル501は、既に学習が終わった入力画像のポジティブ学習数およびネガティブ学習数、既に学習が終わった検知車種ごとの学習数、既に学習が終わった汚れパターンごとの学習数を含む。

復元学習部104は、入力された画像のポジティブ画像またはネガティブ画像の種別、検知車種、汚れパターンの各々の入力数に応じて、学習履歴テーブル501の該当学習数を更新し、学習目標設定テーブル500において設定された目標値を全てクリアするまで、復元学習を繰り返す。

なお、学習目標設定テーブル500において、特定の値を設定せず、半永久的に復元学習を実行させるようにしてもよい。例えば、学習目標設定値にマイナスの値が設定されている場合は、その項目の復元学習を終了させないようにしてもよい。

図6は、汚れモード時の復元学習の例である。

図6(a)は、汚れモード時の復元学習の流れを示す。

汚れモード時の復元学習は、カメラ100のカメラレンズに汚れが生じているときに撮像した画像をもとに、復元型識別器106が車両検知を行う。復元型識別器106は、復元学習部104が生成した識別器パラメータ118を用いて、レンズが汚れた状態で撮像した画像から車両形状を復元する形状復元部105と、その復元された画像をもとに車両検知を実行する第2検知部102とで構成される。

形状復元部105において復元された車両画像をもとに、第2検知部102が車両を検知した場合に、元の画像における検知車両と同一位置の車両画像を切り出した実汚れ画像と、形状復元部105において復元された車両画像とをペアにして、B画像データ群114として一旦蓄積する。この複数ペアのB画像データ群114が所定の数だけ蓄積された時点で、そのデータ群が復元学習部104に入力され、復元学習部104は、実汚れ画像から復元した車両画像の状態、即ち実際の汚れが取り除かれた画像状態に近づくように復元する機械学習処理を実行する。

図6(b)は、第2検知部102によって出力される、カメラレンズが実際に汚れている状態の車両画像600の例である。図6(b)は、カメラレンズに泥601が付着したときの例である。図6(c)は、形状復元部105が実行する画像処理（復元学習によって得られた識別器パラメータ118に基づく画像処理）によって、レンズの汚れを除去し、本来の車両形状に近づくように復元された車両画像602の例である。

汚れモード時では、実際にレンズ汚れが生じた状態で撮像された車両画像600と、形状復元部105で本来の車両形状に近づくように復元された車両画像602とをペアにして、複数のペアが復元学習部104に入力される（図1）。

図7は、復元型識別器106の識別結果について、識別スコア蓄積部107に格納される情報内容および識別スコア判定部108の動作の例である。

図7(a)は、識別スコア判定部108の判定結果における、識別車種の類似度Scと識別評価値Ccとの関係を示した判定曲線700を示す。図7(a)における識別評価値Ccは、入力画像の車両について、復元型識別器106が復元した画像に含まれる車両が、ある車種に対してどの程度近いかを算出した数値である。入力画像の車両が、ある識別車種に似ているほど数値Ccは大きく、ある識別車種に似ていないほど数値Ccは小さくなる。

図7(a)では、識別評価値Ccの範囲が0から1の範囲で表現されるように設定しているが、この数値は任意に変更してもよい。

識別対象車種の類似度Scは、入力画像の特徴が機械学習によって得た物体の特徴と比較してどの程度近いかを算出した数値であり、最も大きい数値を得られた識別対象車種の類似度Scを選択する。ここで、識別対象車種の類似度Scをそのまま最終的な識別評価値Ccと置き換えてもよい。

ところで、人の脳の働きにおいて物体を分類する際の知覚の確率曲線は、必ずしもリニアではなく、あるしきい値付近で急激に変化することが知られている。例えば、ある物体を見てその物体の名称を当てる場合、曖昧に感じる確率は小さく、名称を知っているか或いは知らない確率の方が大きいという特性がある。この特性を表現した関数としてシグモイド関数がある。ニューラルネットワークを活用した機械学習は人の脳の働きを模していることから、シグモイド関数との親和性が高いと考えられており、シグモイド関数の出力曲線の線形に基づいて図7(a)に図示したような関数曲線を設定する。得られた識別対象車種の類似度Scを正規化し、前述の識別評価値Ccに置き換えて類似度合いを最終決定する。

図7(a)に示した関数曲線は一例であり、さらに変形した特性を設定してもよいし、または関数処理を簡略化するためにリニアな線形の特性を設定してもよい。

図7(b)は、識別スコア判定部108の判定結果における、汚れパターンの類似度Sdと識別評価値Cdとの関係を示した判定曲線702を示す。

図7(b)の識別評価値Cdは、入力画像の汚れパターンについて、復元型識別器106が復元した画像に含まれる汚れパターンが、ある汚れパターンに対してどの程度近いかを算出した数値である。入力画像の汚れパターンが、学習した際に用いた基準となる汚れ画像の汚れパターンに似ているほど、数値Cdは大きく、その汚れパターンに似ていないほど、数値Cdは小さくなる。

ここで、「学習した際に用いた基準となる汚れ画像」とは、図3(b)および図(c)に示した擬似汚れ画像、または雨天などの悪天候下において走行中にカメラレンズに雨滴や泥が付着した状態で撮影された実際の汚れ画像である。

図７（ｂ）の例では、識別評価値Cdの範囲が0から1の範囲で表現されるように設定しているが、この数値は任意に変更してもよい。

識別スコア蓄積部107は、復元型識別器106が出力した直近の識別結果を記録する最新識別情報テーブル704(図7(c))、および過去の識別結果を累積して記録する累積識別情報テーブル705(図7(d))を格納する。

図7(c)は、最新識別情報テーブル704の例を示す。最新識別情報テーブル704は、検知車種種別、検知車種の識別評価値、汚れパターン種別、汚れパターンの識別評価値、検知車種mcのしきい値、汚れパターンmdのしきい値、車両全体のしきい値、汚れパターン全体のしきい値、車両検知モード切り換えのしきい値をそれぞれ格納する。

図7(d)は、累積識別情報テーブル705の例を示す。累積識別情報テーブル705には、検知車種全体の平均識別評価値、汚れパターン全体の平均識別評価値、検知車種nの平均識別評価値、汚れパターンmの平均識別評価値をそれぞれ格納する。

また、検知車種全体の平均識別評価値が検知車種のしきい値以下になった場合、または汚れパターン全体の平均識別評価値が汚れパターンのしきい値以下になった場合は、識別スコア判定部108は、検知FAIL信号117を出力し、ユーザ等に本装置の車両検知の信頼度が低下していることを知らせる機能を有する（図1）。

図8は、本実施形態における外界認識装置が実行する車両検知処理の全体フロー図である。

まず、自車のイグニッションがONになったか否かを判定し(ステップ800)、イグニッションがONでない場合は、ONになるまで待機状態を維持する。

イグニッションがONの場合は、学習計画部109に格納された学習目標設定テーブル500（図5(b)）が設定済みか否かを確認する(ステップ801)。学習目標設定テーブル500が設定済みの場合は、レンズ汚れ診断(ステップ805)にスキップする。学習目標設定テーブル500が未設定の場合は、所定の学習目標を設定し(ステップ802)、学習履歴テーブル501（図5(c)）を初期化して(ステップ803)、復元型識別器106に初期設定用の識別器パラメータを設定する (ステップ804)。

次に、車載カメラのレンズ汚れ診断を行い(ステップ805)、レンズ汚れの有無を判定する(ステップ806)。

レンズ汚れが無い場合は（ステップ806：YES）、車両検知モードをクリアモード(M1)に設定する(ステップ807)。クリアモードでは、第1検知部101は、レンズ汚れ無しに対応する車両検知を実行し(ステップ808)、車両検知結果に応じた警報処理を行う(ステップ809)。続いて、復元学習部104は、クリアモードで取得または生成された、車両の元画像と擬似汚れ画像を用いて復元学習を行い(ステップ810)、学習履歴テーブル501を更新する(ステップ811)。また、復元学習で得た識別器パラメータを復元型識別器に対して出力して更新する(ステップ812)。

ステップ806において、レンズ汚れ有りの場合は（ステップ806：NO）、車両検知モードを汚れモード(M2)に設定する(ステップ813)。汚れモードでは、レンズ汚れ有りに対応する復元型識別器106の第2検知部102による車両検知を実行(ステップ814)し、車両検知結果に応じた警報処理を行う(ステップ815)。続いて、識別スコア判定部108は、識別スコア判定を行い(ステップ816)、その判定内容に基づいて、学習計画部109は復元学習の学習計画を更新する(ステップ817)。この後、復元学習部104は復元学習を行い(ステップ810)、学習履歴テーブル501を更新し(ステップ811)、復元学習で得た識別器パラメータを復元型識別器106に対して出力して更新する(ステップ812)。

最後に、車両検知処理の動作を終了する否かの判定を行い(ステップ818)、終了しない（動作継続）の場合は（ステップ818：NO）、ステップ805に戻り車両検知処理を繰り返す。動作終了の場合は（ステップ818：YES）、車両検知処理を終了する。

図9は、クリアモード(M1)における車両検知フローである。

クリアモード(M1)では、カメラ画像を入力し(ステップ900)、第1検知部101による車両検知で取得した画像を元画像とし(ステップ901)、さらに、元画像に擬似汚れを重ねた画像を擬似汚れ画像とし(ステップ902)、元画像と擬似汚れ画像の画像ペアを、復元学習部104の学習に適用する(ステップ903)。

図10は、汚れモード(M2)における、第2検知部102が行う車両検知フローである。

汚れモード(M2)では、カメラ画像を入力し(ステップ1000)、復元型識別器106で車両形状復元した画像を元画像とし(ステップ1001)、さらに、第2検知部102による車両検知で取得した画像を実汚れ画像とし(ステップ1002)、元画像と実汚れ画像の画像ペアを、復元学習部104の学習に適用する(ステップ1003)。

図11は、汚れモード(M2)における、第2検知部102が行う車両検知フローの他の例である。

汚れモード(M2)の他の例では、カメラ画像を入力し(ステップ1100)、復元型識別器106で車両形状復元した画像を元画像とし(ステップ1101)、さらに、第2検知部102による車両検知で取得した画像を実汚れ画像とし(ステップ1102)、汚れパターンの平均識別評値が最新識別情報テーブル704の汚れパターンのしきい値以上か否かを判定し(ステップ1103)、しきい値以上ならば、レンズ汚れが生じている状態の信頼性が高いと判断して、元画像と実汚れ画像の画像ペアを復元学習部104の学習に適用する(ステップ1104)。しきい値以下ならば、レンズ汚れが生じている状態の信頼性が低いと判断して、元画像と実汚れ画像の画像ペアを復元学習部104へ出力しない(ステップ1105)。

図12は、学習計画部109による復元学習部104の実行制御フローである。図12は、クリアモード時(M1)の例を示す。

まず、カメラ100から入力した画像の中に、第1検知部101が車両を検知したか否かを判定する(ステップ1200)。検知車両が無い場合は(ステップ1200：NO)、ステップ1206にスキップする。検知車両が有る場合は(ステップ1200：YES)、入力画像から車両のポジティブ学習画像を生成して復元学習部104に入力し(ステップ1201)、学習履歴テーブル501のポジティブ学習数を+1加算する(ステップ1202)。

次に、学習履歴テーブル501のポジティブ学習数が学習目標設定テーブル500のポジティブ学習数以上か否かを判定する(ステップ1203)。ポジティブ学習数が目標学習数以上になった場合は(ステップ1203：YES)、復元学習部104へのポジティブ学習画像の入力を停止すると共にポジティブ学習画像を用いた復元学習を停止する(ステップ1204)。ポジティブ学習数が目標学習数以下の場合は(ステップ1203：NO)、ポジティブ学習画像を用いた復元学習を継続する(ステップ1205)。

続いて、入力画像から車両のネガティブ学習画像を生成して復元学習部104に入力し(ステップ1206)、学習履歴テーブル501のネガティブ学習数を+1加算する(ステップ1207)。次に、学習履歴テーブル501のネガティブ学習数が学習目標設定テーブル500のネガティブ学習数以上か否かを判定する(ステップ1208)。ネガティブ学習数が目標学習数以上になった場合は(ステップ1208：YES)、復元学習部104へのネガティブ学習画像の入力を停止すると共にネガティブ学習画像を用いた復元学習を停止する(ステップ1209)。ネガティブ学習数が目標学習数以下の場合は(ステップ1208：NO)、ネガティブ学習画像を用いた復元学習を継続する(ステップ1210)。

上記の制御フローは、汚れモード時でも同じ処理を実行するが、ポジティブ学習画像およびネガティブ学習画像は、復元型識別器106から出力された画像(B画像データ)に置き換えて処理を実行する。

図13は、学習計画部109による復元学習部104の実行制御フローの他の例である。図13は、クリアモード時(M1)の例を示す。

まず、カメラ100から入力した画像の中に、第1検知部101が車両を検知したか否かを判定する(ステップ1300)。検知車両が無い場合は(ステップ1300：NO)、本制御フローを終了する。検知車両が有る場合は(ステップ1300：YES)、第1検知部101が検知車種を判定する(ステップ1301)。ここで、検知した車種をmcとする。

次に、学習履歴テーブル501の検知車種mcの学習数を+1加算する(ステップ1302)。次に、学習履歴テーブル501の検知車種mcの学習数が学習目標設定テーブル500の検知車種mcの学習数mcn以上か否かを判定する(ステップ1303)。検知車種mcの学習数が目標学習数(mcn)以上になった場合は(ステップ1303：YES)、復元学習部104への検知車種mcの学習画像の入力を停止すると共に検知車種mcの学習画像を用いた復元学習を停止する(ステップ1304)。検知車種mcの学習数が目標学習数(mcn)以下の場合は(ステップ1303：NO)、検知車種mcの学習画像を用いた復元学習を継続する(ステップ1305)。

続いて、復元学習に入力する際に設定した擬似汚れ画像の汚れパターンmdに基づき、学習履歴テーブル501の汚れパターンmdの学習数を+1加算する(ステップ1306、1307)。次に、学習履歴テーブル501の汚れパターンmdの学習数が学習目標設定テーブル500の汚れパターンmdの学習数mdn以上か否かを判定する(ステップ1308)。ここで、汚れパターンmdの学習数が目標学習数(mdn)以上になった場合は(ステップ1308：YES)、復元学習部104への汚れパターンmdの学習画像の入力を停止すると共に汚れパターンmd学習画像を用いた復元学習を停止する(ステップ1309)。汚れパターンmdの学習数が目標学習数(mdn)以下の場合は(ステップ1308：NO)、汚れパターンmdの学習画像を用いた復元学習を継続する(ステップ1310)。

上記の制御フローは、汚れモード時でも同じ処理を実行するが、検知した車種および汚れパターンは、復元型識別器106で検知した車種および汚れパターンに置き換えて処理を実行する。

図14は、学習計画部109による復元学習部104が行う実行制御フローの、さらに他の例である。図14は、汚れモード時(M2)の例を示す。

図14の制御フローは、復元型識別器106で検知した車種の平均識別評価値および検知した汚れパターンの平均識別評価値に基づき、復元学習部104の実行を制御する。

まず、カメラ100から入力した画像の中に、第2検知部102が車両を検知したか否かを判定する(ステップ1400)。検知車両が無い場合は(ステップ1300：NO)、本制御フローを終了する。

検知車両が有る場合(ステップ1300：YES)、仮に検知した車種をmcとする。復元型識別器106で演算した検知車種mcの識別評価値に基づき、累積識別情報テーブル705の検知車種mcの平均識別評価値を更新する(ステップ1401)。

次に、累積識別情報テーブル705の検知車種mcの平均識別評価値が最新識別情報テーブル704の検知車種mcのしきい値th1以上か否かを判定する(ステップ1402)。検知車種mcの平均識別評価値がしきい値th1以上になった場合は(ステップ1402：YES)、復元学習部104への検知車種mcの学習画像の入力を停止すると共に検知車種mcの学習画像を用いた復元学習を停止する(ステップ1403)。検知車種mcの平均識別評価値がしきい値th1以下の場合は(ステップ1402：NO)、検知車種mcの学習画像を用いた復元学習を継続する(ステップ1404)。

続いて、復元型識別器106で演算した汚れパターンmdの識別評価値に基づき、累積識別情報テーブル705の汚れパターンmdの平均識別評価値を更新する(ステップ1405)。

累積識別情報テーブル705の汚れパターンmdの平均識別評価値が最新識別情報テーブル704の汚れパターンmdのしきい値th2以上か否かを判定する(ステップ1406)。汚れパターンmdの平均識別評価値がしきい値th2以上になった場合は(ステップ1406：YES)、復元学習部104への汚れパターンmdの学習画像の入力を停止すると共に汚れパターンmdの学習画像を用いた復元学習を停止する(ステップ1407)。汚れパターンmdの平均識別評価値がしきい値th2以下の場合は(ステップ1406：YES)、汚れパターンmdの学習画像を用いた復元学習を継続する(ステップ1408)。

図15は、識別スコア判定部108における、車両検知処理の検知FAIL信号の出力制御フローである。図15は、汚れモード時(M2)の例を示す。なお、本装置の起動時は、検知FAIL信号117は解除信号(0)の状態に初期化するものとする。

まず、カメラ100から入力した画像の中に、第2検知部102が車両を検知したか否かを判定する(ステップ1500)。検知車両が無い場合は(ステップ1500：NO)、本制御フローを終了する。検知車両が有る場合(ステップ1500：YES)、復元型識別器106の車両検知結果に基づき、検知車両全体の平均識別評価値caveを算出し、累積識別情報テーブル705の検知車種全体の平均識別評価値caveを更新する(ステップ1501)。

次に、検知車種全体の平均識別評価値が最新識別情報テーブル704の検知車両全体のしきい値th3以下か否かを判定する(ステップ1502)。検知車種全体の平均識別評価値がしきい値th3以下ならば(ステップ1503：YES)、復元型識別器106の車両検知の信頼性が低下していると判断して、本装置の車両検知処理を停止させるための検知FAILの設定信号(1)を出力する(ステップ1508)。検知車種全体の平均識別評価値がしきい値th3以上ならば(ステップ1503：NO)、復元型識別器106の車両検知結果に基づき汚れパターン全体の平均識別評価値を算出し、累積識別情報テーブル705の汚れパターン全体の平均識別評価値daveを更新する(ステップ1504)。

次に、汚れパターン全体の平均識別評価値が最新識別情報テーブル704の汚れパターン全体のしきい値th4以下か否かを判定する(ステップ1505)。汚れパターン全体の平均識別評価値が識別しきい値th4以下ならば(ステップ1503：YES)、復元型識別器106の汚れパターン判別の信頼性が低下していると判断して、本装置の車両検知処理を停止させるための検知FAILの設定信号(1)を出力して(ステップ1508)、本制御フローを終了する。

汚れパターン全体の平均識別評価値が識別しきい値th4以上ならば(ステップ1503：NO)、現在、本装置の車両検知処理がFAIL状態か否かを判定する(ステップ1506)。車両検知処理がFAIL状態ならば(ステップ1506：YES)、検知FAILの解除信号(0)を出力して(ステップ1507)、本制御フローを終了する。車両検知処理がFAIL状態でない場合は(ステップ1506：NO)、非FAIL状態を保持して、本制御フローを終了する。

図16は、車両検知モード切り換え処理（図8のステップ805〜807、813）の制御フローの他の例である。

図8の車両検知処理の全体フロー図において、ステップ805、806における車両検知モードの切り換え処理を、復元型識別器106の車両検知結果に基づいて算出した汚れパターン全体の平均識別評価値で切り換えるようにしても良い。

例えば、汚れパターン全体の平均識別評価値が車両検知モードの切換えしきい値以下(ゼロ、或いはごく低い値)か否かを判定し(ステップ1600)、しきい値以下の場合は(ステップ1600：YES)、レンズに汚れている可能性がごく低い状態であると判断して、車両検知モードをクリアモード(M1)に設定し(ステップ1601)、図8のステップ808に遷移する。しきい値以上の場合は(ステップ1600：NO)、レンズ汚れが生じている可能性が高い状態であると判断して、車両検知モードを汚れモード(M2)に設定し(ステップ1602)、図8の処理ステップ814に遷移する。

図17は、本実施例における外界認識装置1700の構成を示す図である。

外界認識装置1700は、車両認識部1701(図1の全体、但しカメラ100を除く)と、周辺状態認識部1704と、警報処理部1706と、ドライバー通知部1709とで構成される。

また、外界認識装置1700は、信号バスを介して、自車両周辺の画像を撮影する車載カメラ1710(100)、車載カメラ1710(図1におけるカメラ100に相当する)が撮影する複数の撮像画像を一時的に保持するメモリ1712、車載カメラ1710と外界認識装置1700間の撮像画像の入出力および外界認識装置1700と自車両制御部1713間の認識結果情報および警報信号の入出力を制御する制御部1711と接続される。

車両認識部1701は、車両の検出結果に基づき車両の接近または衝突の危険を表す警報信号1702(図1における115,116)、および車載カメラ1710のレンズの汚れ状態の検知結果に基づいた検知FAIL信号を、周辺状態認識部1704に対して出力する。

周辺状態認識部1704は、自車周辺の車両認識を含む、自車周辺の状態認識を行うための周辺認識部1705で構成される。

警報処理部1708は、周辺認識部1705から出力された認識結果情報および警報信号1706を、自車両制御部1713に送信する。

車両認識部1701から検知FAIL信号1703（図1における117）が出力されて、車載カメラレンズ面が泥、雨、白濁、氷結等で汚れている状態であると判断されたときは、周辺認識部1705が正確な画像認識処理が困難で誤認識が生じやすい状態であるため、車両認識部1701および周辺認識部1705の動作を一時的または連続して停止させる。

その場合、周辺認識部1705は、一時的または連続して動作停止状態であることを示す汚れ通知情報1707をドライバー通知部1709に出力する。ドライバー通知部1709は、汚れ通知情報1707を受信すると、外界認識装置1700の外部に設置されたLED1714、スピーカ1705、ディスプレイ1706、カーナビ1707等に対して、点灯または表示を行うことを指示する情報を送信し、ドライバーに対する通知を行う。

ここで、周辺認識部1705が行う認識処理とは、自車の近傍および遠方の周辺空間をカメラ撮像画像の解析処理を行い、バイク、自転車を含む他車両および歩行者の有無、自車両の走行や駐車の妨げになる障害物体の有無を検知、認識することである。また、自車の近傍および遠方のバイク、自転車を含む他車両および歩行者が急接近を検知して自車との衝突を予測すること、および自車両と障害物との衝突を予測することも認識処理に含まれる。さらに、自車が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理、自車両のドライバーからの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理も認識処理に含まれる。

１００ カメラ
１０１ 第1検知部
１０２ 第2検知部
１０３ 擬似汚れ生成部
１０４ 復元学習部
１０５ 形状復元部
１０６ 復元型識別器
１０７ 識別スコア蓄積部
１０８ 識別スコア判定部
１０９ 学習計画部
１１０ レンズ汚れ診断部
１１１ 検知切り換え部

Claims (14)

1. 撮像された画像に含まれる物体を検知する物体検知方法において、
   前記撮像された画像から、検知対象の物体を含む元画像を作成し、
   前記作成した元画像を用いて、前記元画像に所定の加工を行った加工画像を生成し、
   前記元画像と前記加工画像とを用いて、前記検知対象の物体の画像に関する復元学習を行うことを特徴とする物体検知方法。
2. 前記物体検知方法は、
   前記復元学習を行う際の学習計画を作成し、
   前記作成された学習計画に基づいて復元学習を行うことを特徴とする請求項１記載の物体検知方法。
3. 前記学習計画は、少なくとも、前記検知対象の物体の種類ごとの学習数、前記撮像された画像のうち前記検知対象の物体が含まれている画像の学習数を含むことを特徴とする請求項２記載の物体検知方法。
4. 前記学習計画に含まれる学習数を超えるまで前記復元学習を行うことを特徴とする請求項３記載の物体検知方法。
5. 前記物体検知方法は、
   前記撮像された画像をもとに、前記検知対象の物体の検知する第１の検知モードと第２の検知モードの切り換えを行うことを特徴とする請求項１記載の物体検知方法。
6. 撮像された画像に含まれる物体を検知する物体検知方法において、
   前記撮像された画像の中の物体を含む部分に対して復元処理を行って復元画像を生成し、
   前記撮像された画像と前記復元画像とを用いて、前記物体の画像に関する復元学習を行うことを特徴とする物体検知方法。
7. 前記復元画像の生成処理において、前記復元学習によって生成されたパラメータを用いることを特徴とする請求項６記載の物体検知方法。
8. 前記復元処理を実行する際に算出される評価値を記憶し、
   前記評価値が所定のしきい値以下である場合は、前記前記復元処理を継続しないことを特徴とする請求項６記載の物体検知方法。
9. 撮像された画像に含まれる物体を検知する物体検知装置において、
   前記撮像された画像の中に含まれる検知対象の物体を検知し、前記検知した物体の元画像を作成する第１検知部と、
   前記第１の検知部が作成した元画像を用いて、前記元画像に所定の加工を行った加工画像を生成する生成部と、
   前記元画像と前記加工画像とを用いて、前記検知対象の物体の画像に関する復元学習を行う復元学習部とを備えることを特徴とする物体検知システム。
10. 前記物体検知システムは、
    前記復元学習部による復元学習に関する学習計画を作成する学習計画部をさらに備え、
    前記復元学習部は、前記作成された学習計画に基づいて復元学習を行うことを特徴とする請求項９記載の物体検知システム。
11. 前記学習計画は、少なくとも、前記検知対象の物体の種類ごとの学習数、前記撮像された画像のうち前記検知対象の物体が含まれている画像の学習数を含むことを特徴とする請求項１０記載の物体検知システム。
12. 前記復元学習部は、前記学習計画に含まれる学習数を超えるまで復元学習を行うことを特徴とする請求項１１記載の物体検知システム。
13. 前記物体検知システムは、
    前記撮像された画像をもとに、前記検知対象の物体の検知する第１の検知モードと第２の検知モードの切り換えを行う検知モード切り換え部をさらに備えることを特徴とする請求項９記載の物体検知システム。
14. 前記物体検知システムは、
    前記撮像された画像をもとに、前記第２の検知モードに切り換えられた場合に、前記撮像された画像の中の物体を含む部分に対して復元処理を行って復元画像を生成する第２の検知部をさらに備え、
    前記復元学習部は、前記撮影された画像と前記復元画像とを用いて、前記物体の画像に関する復元学習を行うことを特徴とする請求項１３記載の物体検知システム。

Images