JP2017058949A - 物体認識装置及び汚れ検出方法 - Google Patents

Abstract

【課題】光条の発生原因となるウィンドウガラスの汚れを検出する。
【解決手段】物体認識装置（１）は、車両に搭載され、該車両の車室内からウィンドウガラス（４０）のうちワイパにより払拭される領域（４０ｌ、４０ｒ）を通して車外を夫々撮像する二つのカメラ（１１、１２）を有するステレオカメラ（１０）の撮像画像を用いる物体認識装置である。当該物体認識装置は、二つのカメラのうち少なくとも一方のカメラにより撮像された撮像画像上の光源を検出する光源検出手段（２１）と、該少なくとも一方のカメラにより撮像された撮像画像上で、ワイパの拭き取り方向と交わる方向に延びるエッジを検出するエッジ検出手段（２２）と、光源検出手段の検出結果及びエッジ検出手段の検出結果に基づいて、光源から前記交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、ウィンドウガラスが汚れ状態であると判定する判定手段（２３）と、を備える。
【選択図】図１

Description

本発明は、例えば自動車等の車両の車室内からウィンドウガラス越しに車外を撮像するステレオカメラの撮像画像を用いる物体認識装置及び汚れ検出方法の技術分野に関する。

この種の装置では、ステレオカメラの左カメラで撮像された画像と該ステレオカメラの右カメラで撮像された画像とに基づく視差から、車両前方に存在する物体までの距離が算出される。ところで、ウィンドウガラスには汚れが付着する可能性があり、該ウィンドウガラスの汚れに起因して距離算出の精度が低下する可能性がある。

例えば特許文献１には、自車両の走行中にステレオカメラの撮像画像上で時系列的に変化しない不変領域が検出された場合に、該不変領域はワイパ装置による拭き残し（即ち、汚れ）である可能性が高いと判定し、ワイパブレードの払拭性能が劣化していると判定する装置が記載されている。

特開２０１２−２０１１７８号公報

特許文献１に記載の技術は、撮像画像に写るウィンドウガラスの汚れを対象としているのみで、撮像画像に鮮明に写らないウィンドウガラスの汚れ（例えば、雨天時のワイパの拭きムラ（即ち、水膜）や、油膜等）については考慮されない。

しかしながら、撮像画像に鮮明に写らない汚れがウィンドウガラスにある場合に、該ウィンドウガラス越しに光源（例えば、対向車のヘッドライトや街路灯等）がステレオカメラにより撮像されると、該光源から延びる光条（光の筋）が撮像画像に写りこむことがある。光条が写っている撮像画像に基づく視差から距離が算出されると、光条に起因して、本来何もない空間に物体が存在するという誤った結果が出力される可能性があるという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、光条の発生原因となるウィンドウガラスの汚れを検出することができる物体認識装置及び汚れ検出方法を提供することを課題とする。

本発明の物体認識装置は、上記課題を解決するために、車両に搭載され、前記車両の車室内からウィンドウガラスのうちワイパにより払拭される領域を通して車外を夫々撮像する二つのカメラを有するステレオカメラの撮像画像を用いる物体認識装置であって、前記二つのカメラのうち少なくとも一方のカメラにより撮像された撮像画像上の光源を検出する光源検出手段と、前記少なくとも一方のカメラにより撮像された撮像画像上で、前記ワイパの拭き取り方向と交わる方向に延びるエッジを検出するエッジ検出手段と、前記光源検出手段の検出結果及び前記エッジ検出手段の検出結果に基づいて、前記光源から前記交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、前記ウィンドウガラスが汚れ状態であると判定する判定手段と、を備える。

ウィンドウガラスのうちワイパにより払拭される領域では、ワイパの拭き取り方向に沿って汚れが延びることが多い。このため、ウィンドウガラスが汚れている場合に、該ウィンドウガラスのワイパにより払拭される領域を通して、車外にある光源がステレオカメラにより撮像されると、ワイパの拭き取り方向と交わる方向に、該光源から延びる光条が撮像画像に写りこむ（詳細については後述する）。撮像画像において光条は、その周囲に比べて明るく、周囲との画素値の差（例えば輝度値の差）が比較的大きいので、該撮像画像にエッジ検出処理を施せば、光条がエッジとして検出される。

光源検出手段による検出結果及びエッジ検出手段による検出結果に基づいて、光源からワイパの拭き取り方向に交わる方向に延びるエッジが検出されれば、光源からワイパの拭き取り方向と交わる方向に延びる光条が、撮像画像に写っている可能性が高い。判定手段は、光源からワイパの拭き取り方向に交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、ウィンドウガラスが汚れ状態であると判定する。

このように、本発明に係る物体認識装置は、ウィンドウガラスの汚れそのものではなく、該汚れに起因する光条をエッジとして検出することによりウィンドウガラスの汚れを検出している。従って、本発明の物体認識装置によれば、撮像画像に鮮明に写りにくい光条の発生原因となるウィンドウガラスの汚れも検出することができる。

加えて、判定手段が、上述の如く、光源からワイパの拭き取り方向に交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、ウィンドウガラスが汚れ状態であると判定するので、判定の信頼性を向上させることができる。

本発明の汚れ検出方法は、上記課題を解決するために、車両に搭載され、前記車両の車室内からウィンドウガラスのうちワイパにより払拭される領域を通して車外を夫々撮像する二つのカメラを有するステレオカメラの撮像画像を用いる物体認識装置における汚れ検出方法であって、前記二つのカメラのうち少なくとも一方のカメラにより撮像された撮像画像上の光源を検出する光源検出工程と、前記少なくとも一方のカメラにより撮像された撮像画像上で、前記ワイパの拭き取り方向と交わる方向に延びるエッジを検出するエッジ検出工程と、前記光源検出工程の検出結果及び前記エッジ検出工程の検出結果に基づいて、前記光源から前記交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、前記ウィンドウガラスが汚れ状態であると判定する判定工程と、を備える。

本発明に係る汚れ検出方法も、上述した本発明に係る物体認識装置と同様に、撮像画像に鮮明に写りにくい光条の発生原因となるウィンドウガラスの汚れも検出することができると共に、判定工程における判定の信頼性を向上させることができる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

第１実施形態に係る物体認識装置の要部を示すブロック図である。 車外から車両のフロントガラスを見た場合のワイパ払拭領域とステレオカメラとの位置関係を示す図である。 ステレオカメラにより撮像された時系列に連続する複数枚の画像を示す概念図である。 ステレオカメラにより撮像された画像の一例を模式的に示す図である。 図４に示した撮像画像に基づく視差画像の一例を模式的に示す図である。 ワイパの拭き取り方向と光源から延びる光条との関係を示す図である。 第１実施形態に係る汚れ検出処理を示すフローチャートである。 第１実施形態に係るエッジ検出方法を説明する図である。 第２実施形態に係る汚れ検出処理を示すフローチャートである。

本発明の物体認識装置及び汚れ検出方法に係る実施形態を、図面に基づいて説明する。

＜第１実施形態＞
本発明の物体認識装置及び汚れ検出方法に係る第１実施形態を、図１乃至図８を参照して説明する。

（物体認識装置の構成）
第１実施形態に係る物体認識装置の構成について、図１を参照して説明する。図１は、第１実施形態に係る物体認識装置の要部を示すブロック図である。

図１において、物体認識装置１は、ステレオカメラ１０、ステレオ画像認識装置２０及び表示装置３０を備えて構成されている。

ステレオカメラ１０は、レンズ１１ａ及び撮像素子１１ｂを有する左カメラ１１と、レンズ１２ａ及び撮像素子１２ｂを有する右カメラ１２と、カメラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３と、画像出力部１４とを備えて構成されている。

撮像素子１１ｂ及び１２ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等により構成されている。カメラＣＰＵ１３は、左カメラ１１及び右カメラ１２各々の露出等の制御を行う。また、カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１ｂ及び１２ｂによる撮像画像を画像信号としてステレオ画像認識装置２０に送信する。

ここで、ステレオカメラ１０を構成する左カメラ１１及び右カメラ１２は、図２に示すように、車両のフロントガラス４０上のワイパ払拭領域に対向して配置されている。図２は、車外から車両のフロントガラスを見た場合のワイパ払拭領域とステレオカメラとの位置関係を示す図である。尚、本実施形態に係る「フロントガラス４０」は、本発明に係る「ウィンドウガラス」の一例である。

具体的に説明すると、運転者によりワイパスイッチ（図示せず）がオン操作されると、ワイパアーム（図示せず）がフロントガラス４０に沿って揺動する結果、左のワイパブレード４１ｌがフロントガラス４０の左側の払拭領域４０ｌを、右のワイパブレード４１ｒがフロントガラス４０の右側の払拭領域４０ｒを、払拭する。これらのワイパ払拭領域のうち、左側の払拭領域４０ｌの上部に対向する位置に左カメラ１１が配置され、右側の払拭領域４０ｒの上部に対向する位置に右カメラ１２が配置されている。

従って、左カメラ１１及び右カメラ１２各々は、車両の車室内からフロントガラス４０のワイパ払拭領域を通して車外を撮像することとなる。左カメラ１１及び右カメラ１２各々が、予め定められた時間間隔で連続して撮像することにより、時系列的に撮像された複数枚の撮像画像が生成される（図３参照）。

再び図１に戻り、ステレオ画像認識装置２０は、光源検出部２１、エッジ検出部２２及び汚れ判定部２３を備えて構成されている。尚、光源検出部２１、エッジ検出部２２及び汚れ判定部２３は、ステレオ画像認識装置２０に備えられたＣＰＵ（図示せず）がＲＯＭ（図示せず）に記憶されたコンピュータプログラムを実行することにより実現される機能である。図１に示すステレオ画像認識装置２０の機能は、後述する汚れ検出を実施する機能であるが、ステレオ画像認識装置２０は、ここでは図示しない、物体認識を実施する機能等も備えている。

（フロントガラスの汚れの影響）
次に、上述の如く構成された物体認識装置１における画像認識処理を説明しつつ、フロントガラス４０の汚れが画像認識処理に及ぼす影響について、図４及び図５を参照して説明する。図４は、ステレオカメラにより撮像された画像の一例を模式的に示す図である。図５は、図４に示した撮像画像に基づく視差画像の一例を模式的に示す図である。尚、図４では、図が煩雑になることを回避するため、１箇所についてのみ「光源」と記載しているが、複数の光源が撮像画像に写っている。

物体認識装置１は、ステレオカメラ１０の撮像画像に基づく画像認識処理を行うに際し、先ず、所定のキャリブレーションデータを用いて、レンズ１１ａ及び１１ｂ、撮像素子１１ｂ及び１２ｂ等によるハード的な内部誤差要因（例えばレンズ歪み、光軸ずれ、焦点距離ずれ、撮像素子歪み等）の影響を、撮像画像から取り除き、エピポーラ線を画像水平線に合わせる、等の既存の幾何変換処理を行う。

物体認識装置１は、幾何変換処理が施された画像データに基づいて、画像認識処理を行う。画像認識処理には、視差画像（視差情報）に基づく物体認識処理と、パターンマッチングによる物体認識処理とが含まれる。

視差画像に基づく物体認識処理は、例えば左カメラ１１及び右カメラ１２各々により撮像された一対の画像（例えば図３におけるｉ番目の左画像とｊ番目の右画像）の相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。具体的には、一対の画像の両方から対象物が写っている部分を抽出し、該抽出された部分の対応点の一対の画像間でのずれ量（視差）を求めることによって対象物までの距離が算出される。

他方、パターンマッチングによる物体認識処理は、例えば左カメラ１１及び右カメラ１２のいずれかにより撮像された画像を用いて実行されてよい。パターンマッチングには既存の手法を適用可能である。具体的には例えば、パターンマッチングには、マスターパターンを用いた残差マッチング、正規化相関法等や幾何マッチングやベクトル相関を用いた手法を適用可能である。

ところで、車両のフロントガラス４０にワイパの拭き残し（即ち、汚れ）がある場合、フロントガラス４０越しにステレオカメラ１０に比較的強い光が入射すると、光源から延びる光条が撮像画像に写りこむことがある。

撮像画像に光源から延びる光条が写りこむ場合、図４に示すように、撮像画像に写りこむ光条の傾き（発生方向）は、左カメラ１１により撮像された左画像と、右カメラ１２により撮像された右画像とで異なる（尚、光条の発生方向については後述する）。

図４に示した撮像画像に基づくと、図５に示す視差画像が得られる。該視差画像上において、図４に示した撮像画像上の光条が写っている領域に対応する領域の一部に、至近距離の視差を示す領域が存在する。このように、左画像の光条と右画像の光条との視差から算出された距離は、光源の距離と著しく異なることがある。

この視差画像に基づいて物体認識処理が行われると、本来何もない空間に、何らかの物体が存在すると誤認識される。すると、物体認識装置１による画像認識処理の結果を利用する、例えば衝突被害軽減ブレーキシステムの不要な動作が引き起こされる可能性がある。

（光条の発生方向）
ここで、光条について図６を参照して説明を加える。図６は、ワイパの拭き取り方向と光源から延びる光条との関係を示す図である。

ガラス等の透明部材の表面に一の方向に沿って延びる汚れ（又は傷）がある場合、該透明部材越しに光源が撮像されると、光源から該一の方向に交わる方向に延びる光条が撮像画像に写りこむことが知られている。これは、光の回折現象に起因していると考えられている。

車両のフロントガラス４０の場合、ワイパブレード４１ｌ及び４１ｒによって払拭されることが多いので、ワイパの拭き取り方向に沿って汚れが延びることが多い。このため、フロントガラス４０が汚れている場合に該フロントガラス４０越しに光源が撮像されると、ワイパの拭き取り方向と交わる方向に、光源から延びる光条が撮像画像に写りこむこととなる（図６参照）。

尚、図６では、ワイパの拭き取り方向が明確になるように（つまり、撮像画像に写るように）、故意にフロントガラス４０を汚しているが、フロントガラス４０が汚れてさえいれば汚れの程度にかかわらず、光条がワイパの拭き取り方向と交わる方向に延びることが、本願発明者の研究により判明している。

本願発明者は、この光条の発生方向に着目し、フロントガラス４０が汚れていることを検出する方法を想到した。

「ワイパの拭き取り方向と交わる方向」は、ワイパの拭き取り方向に垂直な方向に限らず、ワイパの拭き取り方向に垂直な方向から大なり小なりずれた方向であっても、実践上、ワイパの拭き取り方向に交わっているとみなせる方向を含む概念である。

（汚れ検出方法）
次に、上述の如く構成された物体認識装置１における汚れ検出方法について、図７及び図８を参照して説明する。図７は、第１実施形態に係る汚れ検出処理を示すフローチャートである。図８は、第１実施形態に係るエッジ検出方法を説明する図である。図７に示す汚れ検出処理のルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行される。

図７のフローチャートにおいて、先ず、物体認識装置１のステレオ画像認識装置２０は光源検出を行う（ステップＳ１０１）。本実施形態では、光源検出、及び後述するエッジ検出は、ステレオカメラ１０の左カメラ１１及び右カメラ１２のいずれかにより撮像された画像に対して実行される。ここでは、左カメラ１１により撮像された左画像に対し光源検出が行われることとする。

具体的には、ステレオ画像認識装置２０の光源検出部２１は、左画像から高輝度画素（例えば、画素の輝度値が２５５である画素）が連結している領域を、光源領域として抽出する。光源検出部２１は、抽出された光源領域の画像上での位置及びサイズ等を示す情報を光源位置情報として出力する。尚、光源領域が検出されない場合には、該光源位置情報は空データとなる。

上述したステップＳ１０１と並行して、ステレオ画像認識装置２０はエッジ検出を行う（ステップＳ１０２）。撮像画像において光条は、その周囲に比べて明るく、周囲との画素値の差（例えば輝度値の差）が比較的大きいので、エッジとして検出される。

具体的には、ステレオ画像認識装置２０のエッジ検出部２２は、図８（ａ）に示す処理対象の左画像を、図８（ｂ）に示すように、予め定められた特定角度だけ回転する。続いて、エッジ検出部２２は、特定角度回転された左画像に対して、縦ソーベルフィルタを適用することにより、エッジ検出方向（図８（ｃ）参照）のエッジを検出する。その後、エッジ検出部２２は、左画像を回転して元に戻す（図８（ｄ）参照）。

ここで「特定角度」は、ワイパの拭き取り方向に基づいて決定される。具体的には、ワイパの拭き取り方向は、ステレオカメラ１０の取り付け位置に関する情報（例えば、車両の設計図面、ステレオカメラの搭載図面等から取得すればよい）と、ワイパの動作に関する情報（例えば、車両の設計図面、ワイパの設計図面等から取得すればよい）とに基づいて求められる。図８に示した画像では、左上から右下の方向がワイパ拭き取り方向である。

上述の「光条の発生方向」に記載したように、光源から延びる光条の方向は、ワイパの拭き取り方向と交わる方向である。従って、求められたワイパ拭き取り方向と交わる方向が、エッジ検出方向に沿うような角度として「特定角度」は決定される。

上述のエッジ検出により検出されたエッジは、ワイパの拭き取り方向と交わる方向に延びるエッジであり、フロントガラス４０の汚れに起因して発生した光条を示している可能性が高い。

尚、ワイパ払拭領域は、図２に示したように、円弧状であるが、撮像素子１１ｂ及び１２ｂに夫々写る範囲では、ワイパの拭き取り方向は直線とみなせる。また、図２に示したように、左カメラ１１及び右カメラ１２は、配置されている位置が互いに異なるので、左カメラ１１についてのワイパ拭き取り方向と、右カメラ１２についてのワイパ拭き取り方向とは互いに異なることとなる。この結果、左カメラ１１により撮像された左画像についての特定角度と、右カメラ１２により撮像された右画像についての特定角度とは互いに異なることとなる。

エッジ検出部２２は、検出されたエッジの画像上での始点及び終点等を示す情報をエッジ情報として出力する。尚、エッジが検出されない場合には、該エッジ情報は空データとなる。

次に、ステレオ画像認識装置２０の汚れ判定部２３は、光源位置情報に基づいて、光源が検出されたか否かを判定する（ステップＳ１０３）。光源が検出されなかったと判定された場合（ステップＳ１０３：Ｎｏ）、物体認識装置１は、後述する汚れ判定に用いられるカウンタの値をリセットして（ステップＳ１０９）一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像（例えば図３のｉ番目の左画像）の時系列的に次の左画像（例えば図３のｉ＋１番目の左画像）に対して汚れ検出処理を行う。

光源が検出されたと判定された場合（ステップＳ１０３：Ｙｅｓ）、汚れ判定部２３は、エッジ情報に基づいて、エッジが検出されたか否かを判定する（ステップＳ１０４）。エッジが検出されなかったと判定された場合（ステップＳ１０４：Ｎｏ）、物体認識装置１は、後述する汚れ判定に用いられるカウンタの値をリセットして（ステップＳ１０９）一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像（例えば図３のｉ番目の左画像）の時系列的に次の左画像（例えば図３のｉ＋１番目の左画像）に対して汚れ検出処理を行う。

エッジが検出されたと判定された場合（ステップＳ１０４：Ｙｅｓ）、汚れ判定部２３は、光源位置情報及びエッジ検出情報に基づいて、エッジ検出情報により示されるエッジに、光源位置情報により示される光源から延びるエッジ（即ち、光条）があるか否かを判定する（ステップＳ１０５）。

ここで、「光源から延びるエッジ」があるか否かは、例えば、エッジ検出情報により示されるエッジ、又は該エッジの延長線が、光源位置情報により示される光源（光源領域）を通過するか否かにより判定すればよい。尚、複数のエッジが検出された場合、エッジ検出情報により示される複数のエッジのうち少なくとも一つが、光源位置情報により示される光源（光源領域）を通過していれば、光源から延びるエッジがあると判定される。

光源から延びるエッジがないと判定された場合（ステップＳ１０５：Ｎｏ）、物体認識装置１は、後述する汚れ判定に用いられるカウンタの値をリセットして（ステップＳ１０９）一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像（例えば図３のｉ番目の左画像）の時系列的に次の左画像（例えば図３のｉ＋１番目の左画像）に対して汚れ検出処理を行う。

他方、光源から延びるエッジがあると判定された場合（ステップＳ１０５：Ｙｅｓ）、汚れ判定部２３は、カウンタの値を変更する（ステップＳ１０６）。尚、カウンタの値は、光源から延びるエッジがあると判定された場合に、例えば１ずつ増加されてもよいし、例えば１ずつ減少されてもよい（つまり、インクリメントされてもよいし、ディクリメントされてもよい）。

次に、汚れ判定部２３は、光源から延びるエッジが一定時間以上継続して検出されたか否かを判定する（ステップＳ１０７）。具体的には、光源から延びるエッジがあると判定された場合にカウンタの値がインクリメントされる場合、汚れ判定部２３は、現在のカウンタの値が、一定時間（例えば１０秒）に相当する時系列的に連続する複数枚の撮像画像全てについて光源から延びるエッジがあると判定された場合のカウンタの値以上となっているときに、光源から延びるエッジが一定時間継続して検出されたと判定する。

或いは、光源から延びるエッジがあると判定された場合にカウンタの値がディクリメントされる場合、汚れ判定部２３は、現在のカウンタの値がゼロ以下となっているときに、光源から延びるエッジが一定時間継続して検出されたと判定する。カウンタの値がディクリメントされる場合、カウンタの初期値は、一定時間に相当する時系列的に連続する複数枚の撮像画像全てについて光源から延びるエッジがあると判定された場合に減少するカウンタの値の絶対値とすればよい。

尚、ステップＳ１０７の処理では、同一のエッジが一定時間以上継続して検出される必要はなく、同一か否かにかかわらず光源から延びるエッジが一定時間以上継続して検出されていれば、一定時間以上継続して検出されたと判定される。

一定時間以上継続して検出されていないと判定された場合（ステップＳ１０７：Ｎｏ）、物体認識装置１は、一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像（例えば図３のｉ番目の左画像）の時系列的に次の左画像（例えば図３のｉ＋１番目の左画像）に対して汚れ検出処理を行う。

他方、光源から延びるエッジが一定時間以上継続して検出されたと判定された場合（ステップＳ１０７：Ｙｅｓ）、汚れ判定部２３は、フロントガラス４０が汚れている旨を示す情報を汚れ有無情報として出力する。フロントガラス４０が汚れている旨を示す汚れ有無情報を受信した表示装置３０は、文字や図形を表示したり、所定の標識を点灯したりすることにより、車両の運転者にフロントガラス４０が汚れている旨を報知する。

その後、物体認識装置１は、一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像（例えば図３のｉ番目の左画像）の時系列的に次の左画像（例えば図３のｉ＋１番目の左画像）に対して汚れ検出処理を行う。

本実施形態に係る「一定時間」は、フロントガラス４０が汚れているか否かを決定する値であり、典型的には固定値として定められているが、何らかの物理量又はパラメータに応じた可変値として定められていてもよい。このような「一定時間」は、経験的に若しくは実験的に、又はシミュレーションによって、例えば、光源から延びるエッジが連続して検出された回数と、誤判定の確率との関係を求め、該求められた関係に基づいて、誤判定の確率が許容範囲内となる検出回数に相当する時間として設定すればよい。尚、本実施形態に係る「一定時間」は、本発明に係る「所定時間」の一例である。

尚、物体認識装置１は、フロントガラス４０が汚れていると判定された場合、車両の運転者にフロントガラス４０が汚れている旨を報知すると共に、上述した画像認識処理を中止又は中断するように構成されてもよいし、ウォッシャー液及びワイパを用いてフロントガラス４０を自動的に洗浄するように構成されてもよい。このように構成すれば、光条が写っている撮像画像に基づく画像認識処理が行われ、本来何もない空間に物体が存在する等の誤った結果が出力されることを防止することができる。

本実施形態に係る「光源検出部２１」、「エッジ検出部２２」及び「汚れ判定部２３」は、夫々、本発明に係る「光源検出手段」、「エッジ検出手段」及び「判定手段」の一例である。本実施形態に係る「光源位置情報」及び「エッジ情報」は、夫々、本発明に係る「光源検出手段による検出結果」及び「エッジ検出手段による検出結果」の一例である。

（発明の効果）
本実施形態に係る物体認識装置１における汚れ検出方法では、上述の如く、光源からワイパの拭き取り方向に延びる光条をエッジとして検出することにより、フロントガラス４０が汚れているか否かが判定される。つまり、本実施形態では、フロントガラス４０の汚れそのものが撮像画像に写っているか否かにかかわらず、光条の発生原因となるフロントガラス４０の汚れを検出することができる。

特に、運転者が周囲を視認しにくくなる夜間には、例えば対向車のヘッドライトや街路灯等の光源が多く、フロントガラス４０が汚れていると光条が撮像画像に写りこむ可能性が高い。もちろん、昼間であっても、車両の周囲の環境によっては、フロントガラス４０が汚れていると光条が撮像画像に写りこむ可能性が相応にある。このとき、撮像画像に写りこんだ光条に起因して誤った画像認識処理結果が得られ、例えば衝突被害軽減ブレーキシステム等の運転支援システムの不要な動作が引き起こされると、運転者に不安を与えるおそれがある。

本実施形態に係る物体認識装置１を、例えば、フロントガラス４０が汚れていると判定された場合に、画像認識処理を中止又は中断するように構成すれば、運転支援システムの不要な動作を回避することができ、実用上非常に有利である。

尚、図２に示したステレオカメラ１０の配置に限らず、例えば、ステレオカメラ１０の左カメラ１１及び右カメラ１２の両方が、左側の払拭領域４０ｌ及び右側の払拭領域４０ｒの一方のみに対向して配置されてよい。

また、図７に示したフローチャートのステップＳ１０４の処理は、ステップＳ１０３の処理よりも前に行われてもよいし、ステップＳ１０３の処理と並行して行われてもよい。上述した光源検出の手法及びエッジ検出の手法に限らず、他の既存の各種手法も適用可能である。

＜第２実施形態＞
本発明の物体認識装置及び汚れ検出方法に係る第２実施形態について、図９を参照して説明する。上述した第１実施形態では、ステレオカメラ１０の左カメラ１１及び右カメラ１２のいずれかにより撮像された画像に対して汚れ検出処理が行われたが、第２実施形態では、左カメラ１１及び右カメラ１２により撮像された画像両方に対して汚れ検出処理が行われる。それ以外の構成は、上述した第１実施形態と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図９を参照して説明する。

（汚れ検出方法）
第２実施形態に係る物体認識装置１における汚れ検出方法について、図９のフローチャートを参照して説明する。

図９において、物体認識装置１のステレオ画像認識装置２０は、ステレオカメラ１０の左カメラ１１により撮像された左画像に対して汚れ検出を行う（ステップＳ２０１）。具体的には、ステレオ画像認識装置２０は、左画像に対して、図７に示したフローチャートのステップＳ１０１〜Ｓ１０７及びＳ１０９の処理を行う。

ステップＳ２０１の処理と並行して、ステレオ画像認識装置２０は、ステレオカメラ１０の右カメラ１２により撮像された右画像に対して汚れ検出を行う（ステップＳ２０２）。具体的には、ステレオ画像認識装置２０は、右画像に対して、図７に示したフローチャートのステップＳ１０１〜Ｓ１０７及びＳ１０９の処理を行う。

ここで、ステップＳ２０１の処理において、例えば図３に示すｉ番目の左画像について汚れ検出が行われる場合、ステップＳ２０２の処理では、左画像と同一時期に撮像された、ｊ番目の右画像について汚れ検出が行われる。本実施形態に係る汚れ検出処理が繰り返し実行された結果、例えば図３に示すｉ番目〜ｉ＋ｎ番目の左画像について汚れ検出が行われた場合、左画像と同一時期に撮像された、ｊ番目〜ｊ＋ｎ番目の右画像についても汚れ検出が行われることとなる。

次に、ステレオ画像認識装置２０の汚れ判定部２３は、ステップＳ２０１の処理の結果に基づいてフロントガラス４０が汚れているか否かを判定する（ステップＳ２０３）。具体的には、汚れ判定部２３は、左画像について、図７に示したフローチャートのステップＳ１０７の処理において、光源から延びるエッジが一定時間継続して検出されたと判定された場合に、フロントガラス４０が汚れていると判定する。

フロントガラス４０は汚れていないと判定された場合（ステップＳ２０３：Ｎｏ）、物体認識装置１は、一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像及び右画像（例えば図３のｉ番目の左画像、ｊ番目の右画像）各々の時系列的に次の左画像及び右画像（例えば図３のｉ＋１番目の左画像、ｊ＋１番目の右画像）に対して汚れ検出処理を行う。

他方、フロントガラス４０が汚れていると判定された場合（ステップＳ２０３：Ｙｅｓ）、汚れ判定部２３は、ステップＳ２０２の処理の結果に基づいてフロントガラス４０が汚れているか否かを判定する（ステップＳ２０４）。具体的には、汚れ判定部２３は、右画像について、図７に示したフローチャートのステップＳ１０７の処理において、光源から延びるエッジが一定時間継続して検出されたと判定された場合に、フロントガラス４０が汚れていると判定する。

フロントガラス４０は汚れていないと判定された場合（ステップＳ２０４：Ｎｏ）、物体認識装置１は、一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像及び右画像（例えば図３のｉ番目の左画像、ｊ番目の右画像）各々の時系列的に次の左画像及び右画像（例えば図３のｉ＋１番目の左画像、ｊ＋１番目の右画像）に対して汚れ検出処理を行う。

他方、フロントガラス４０が汚れていると判定された場合（ステップＳ２０４：Ｙｅｓ）、汚れ判定部２３は、フロントガラス４０が汚れている旨を示す情報を汚れ有無情報として出力する。フロントガラス４０が汚れている旨を示す汚れ有無情報を受信した表示装置３０は、文字や図形を表示したり、所定の標識を点灯したりすることにより、車両の運転者にフロントガラス４０が汚れている旨を報知する。

その後、物体認識装置１は、一旦処理を終了し、所定の待機時間の後、今回汚れ検出処理の対象となった左画像及び右画像（例えば図３のｉ番目の左画像、ｊ番目の右画像）各々の時系列的に次の左画像及び右画像（例えば図３のｉ＋１番目の左画像、ｊ＋１番目の右画像）に対して汚れ検出処理を行う。

このように構成すれば、ステレオカメラ１０の左カメラ１１及び右カメラ１２のいずれかにより撮像された画像のみを用いてフロントガラス４０の汚れを検出する場合に比べて、判定精度を向上することができる（つまり、誤判定を低減することができる）。

本実施形態に係る「左カメラ１１」及び「右カメラ１２」は、本発明に係る「ステレオカメラを構成する二つのカメラ」の一例である。本実施形態に係る「左画像」及び「右画像」は、夫々、本発明に係る「第１画像」及び「第２画像」の一例である。

尚、図９に示したフローチャートのステップＳ２０４の処理は、ステップＳ２０３の処理よりも前に行われてもよいし、ステップＳ２０３の処理と並行して行われてもよい。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置及び汚れ検出方法もまた本発明の技術的範囲に含まれるものである。

１…物体認識装置、１０…ステレオカメラ、１１…左カメラ、１２…右カメラ、２０…ステレオ画像認識装置、２１…光源検出部、２２…エッジ検出部、２３…汚れ判定手段、３０…表示装置

Claims (3)

1. 車両に搭載され、前記車両の車室内からウィンドウガラスのうちワイパにより払拭される領域を通して車外を夫々撮像する二つのカメラを有するステレオカメラの撮像画像を用いる物体認識装置であって、
   前記二つのカメラのうち少なくとも一方のカメラにより撮像された撮像画像上の光源を検出する光源検出手段と、
   前記少なくとも一方のカメラにより撮像された撮像画像上で、前記ワイパの拭き取り方向と交わる方向に延びるエッジを検出するエッジ検出手段と、
   前記光源検出手段の検出結果及び前記エッジ検出手段の検出結果に基づいて、前記光源から前記交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、前記ウィンドウガラスが汚れ状態であると判定する判定手段と、
   を備えることを特徴とする物体認識装置。
2. 前記判定手段は、前記光源検出手段の検出結果及び前記エッジ検出手段の検出結果に基づいて、前記二つのカメラのうち一方のカメラにより撮像された撮像画像である第１画像について、前記第１画像上の光源から、前記第１画像上での前記ワイパの拭き取り方向と交わる方向に延びるエッジが前記所定時間継続して検出され、且つ、前記二つのカメラのうち他方のカメラにより前記第１画像と同一時期に撮像された撮像画像である第２画像について、前記第２画像上の光源から、前記第２画像上での前記ワイパの拭き取り方向と交わる方向に延びるエッジが前記所定時間継続して検出されたことを条件に、前記ウィンドウガラスが汚れ状態であると判定することを特徴とする請求項１に記載の物体認識装置。
3. 車両に搭載され、前記車両の車室内からウィンドウガラスのうちワイパにより払拭される領域を通して車外を夫々撮像する二つのカメラを有するステレオカメラの撮像画像を用いる物体認識装置における汚れ検出方法であって、
   前記二つのカメラのうち少なくとも一方のカメラにより撮像された撮像画像上の光源を検出する光源検出工程と、
   前記少なくとも一方のカメラにより撮像された撮像画像上で、前記ワイパの拭き取り方向と交わる方向に延びるエッジを検出するエッジ検出工程と、
   前記光源検出工程の検出結果及び前記エッジ検出工程の検出結果に基づいて、前記光源から前記交わる方向に延びるエッジが所定時間継続して検出されたことを条件に、前記ウィンドウガラスが汚れ状態であると判定する判定工程と、
   を備えることを特徴とする汚れ検出方法。