JP2017181208A - 異物検出装置、車両、および異物検出方法 - Google Patents

異物検出装置、車両、および異物検出方法 Download PDF

Info

Publication number
JP2017181208A
JP2017181208A JP2016066745A JP2016066745A JP2017181208A JP 2017181208 A JP2017181208 A JP 2017181208A JP 2016066745 A JP2016066745 A JP 2016066745A JP 2016066745 A JP2016066745 A JP 2016066745A JP 2017181208 A JP2017181208 A JP 2017181208A
Authority
JP
Japan
Prior art keywords
foreign
foreign matter
foreign object
vehicle
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016066745A
Other languages
English (en)
Inventor
新 平野
Arata Hirano
新 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016066745A priority Critical patent/JP2017181208A/ja
Publication of JP2017181208A publication Critical patent/JP2017181208A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】車両のフロントガラスに付着した異物を正確に検出する。【解決手段】撮像光学系を含む撮像装置であって、車両に設けられた異物識別用被写体との間に車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と車両のウィンドウの一部とを撮像範囲に含み、撮像光学系の最も異物識別用被写体側の面と異物識別用被写体とを結ぶ直線が、ウィンドウの一部の表面に沿うに配置された撮像装置と、撮像装置によって異物識別用被写体の少なくとも一部が撮像された画像に基づいて、ウィンドウに付着した異物を検出するプロセッサと、を備える。【選択図】図1

Description

本発明は、異物検出装置、車両、および異物検出方法に関する。
車両内に設置された撮像装置がフロントガラスに付着した雨滴を検出し、検出した雨滴量に対応した検出信号に基づいて、運転者による操作を介さずに駆動回路がワイパーを動作させる装置が提案されている(例えば、特許文献1参照)。
特開平9−126998号公報
しかし、上述のような方法においては、撮像装置が車両の内部に配置され、フロントガラスの表面に付着した雨滴とともに、車両の前方の景色が撮像される。このため、撮像装置が撮像するフロントガラス前方の被写体は、車両の走行とともに変化する。したがって、変化する画像の中から、フロントガラス上の雨滴を識別することは容易ではない。また、前方の景色の変化に伴って、雨滴の測定精度が安定しないことが懸念される。
したがって、これらの点に着目してなされた本発明の目的は、車両のフロントガラスに付着した異物を正確に検出することができる異物検出装置、当該異物検出装置を搭載した車両、および異物検出方法を提供することにある。
上記目的を達成する異物検出装置は、撮像光学系を含む撮像装置であって、車両に設けられた異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置と、前記撮像装置によって前記異物識別用被写体の少なくとも一部が撮像された画像に基づいて、前記異物を検出するプロセッサと、を備える。
上記目的を達成する車両は、車両に設けられた異物識別用被写体と、撮像光学系を含む撮像装置であって、前記異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置と、前記撮像装置によって前記異物識別用被写体の少なくとも一部が撮像された画像に基づいて、前記ウィンドウに付着した異物を検出するプロセッサと、を備える異物検出装置を備える。
上記目的を達成する方法は、撮像光学系を含む撮像装置であって、車両に設けられた異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置を備える異物検出装置の異物検出方法であって、前記撮像装置が、前記異物識別用被写体と前記車両のウィンドウの一部とを撮像するステップと、プロセッサが、前記撮像装置によって撮像された画像から、前記ウィンドウに付着した異物および前記異物識別用被写体に基づいて、前記異物を検出するステップと、を含む。
本発明の実施形態に係る異物検出装置、車両、および異物検出方法によれば、車両のフロントガラスに付着した異物を正確に検出することができる。
第1の実施形態に係る撮像装置の概略構成を示す図である。 図1に示す撮像装置を搭載した車両を簡略化して示す図である。 図2に示す車両の一部を簡略化して示す図である。 図2に示す車両の一部を簡略化した他の例を示す図である。 図2および図3に示す識別用被写体を示す図である。 図1に示す撮像装置によって撮像された画像の模式図である。 図4に示す識別用被写体の断面図である。 図4に示す識別用被写体が異物によって覆われた状態を示す模式図である。 図1に示す撮像装置によって撮像された画像の例を示す図である。 図1に示す駆動間隔メモリに記憶されている雨滴の大きさランクおよび分布密度ランクと、ワイパー駆動間隔との例を示す図である。 図1に示す異物検出装置の制御部の処理フローを表すフロー図である。 図11に示す物体の付着を判定する処理の詳細を示すフロー図である。 図11に示す雨滴の分布密度を算出する処理の詳細を示すフロー図である。 図11に示す雨滴の大きさを算出する処理の詳細を示すフロー図である。 図14に示す各雨滴の大きさを算出する処理の詳細を示すフロー図である。 第2の実施形態に係る撮像装置を搭載した車両の一部を簡略化して示す図である。
(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1に示すように、第1の実施形態に係る異物検出装置10は、撮像装置11と、制御部12と、駆動間隔メモリ13と、画像メモリ14等を含んで構成される。
撮像装置11は、例えば、図2に示すように、車両1のフロントガラス3の一部3’を撮像するように車両1の外部に搭載される。図2に示す例においては、撮像装置11は、車両1の外部に取り付けられているが、内部に取り付けられてもよい。
また、撮像装置11は、図3に示すように、撮像装置11が有する撮像レンズの最も異物識別用被写体2側の面と、異物識別用被写体2とを結ぶ直線が車両1のフロントガラス3の一部3’の表面に略平行となるよう配置される。異物識別用被写体2とは、車両1を構成する部品、車両1に取り付けられた標識等であり、車両1が走行しても変化しないものである。車両1の外部に設置された撮像装置11と異物識別用被写体2との間に車両1のフロントガラス3の一部3’が位置した状態で、撮像装置11が異物識別用被写体2を撮像すると、画像においてはフロントガラス3上の異物が異物識別用被写体2の少なくとも一部を覆うようにして撮像される。このようにして、撮像装置11は、その撮像範囲に、フロントガラス3の一部3’と、フロントガラス3の一部3’より遠くにある異物識別用被写体2とが含まれるように配置される。また、このとき、撮像レンズの最も異物識別用被写体2側の面の何れかの位置と異物識別用被写体2の何れかの位置とを結ぶ直線は、フロントガラス3の一部3’に平行になる。
図4に示すように、撮像装置11が車両1の内部に設置される場合も、撮像装置11は、撮像レンズの最も異物識別用被写体2側の面の何れかの位置と異物識別用被写体2の何れかの位置とを結ぶ直線が、車両1のフロントガラス3の一部3’の表面に略平行となるよう配置される。このような場合においても、図4に示すように、撮像装置11が異物識別用被写体2を撮像すると、画像においてはフロントガラス3上の異物が異物識別用被写体2の少なくとも一部を覆うようにして撮像されるように、撮像装置11が配置される。すなわち、撮像装置11からみてフロントガラス3の一部3’の向こう側に異物識別用被写体2があるように配置される。撮像装置11をフロントガラス3の上部に沿うように、車両1の内部に配置し、異物識別用被写体2をフロントガラス3の最下部に近接する車両1の外部に配置した場合、撮像レンズの最も異物識別用被写体2側の面のいずれかの位置と異物識別用被写体2上の何れかの位置とを結ぶ直線が、フロントガラス3の一部3’の表面に対して成す角度は、例えば約0〜10度以内となる。したがって、本願では、約0〜10度以内の範囲を略平行と呼んでいる。
また、図3及び4に示す例では、異物識別用被写体2は車両1のボンネット4上に配置される。ただし、異物識別用被写体2を配置するのはボンネット4上に限らず、車体の一部、又は車体の一部に取り付けられた物品上であればよく、例えば、カウルカバー上でもよい。また、異物識別用被写体2は、図5に示すように、複数枚の板が厚さ方向に所定の間隔をおいて平行に並んで配置されたものである。所定の間隔とは、一般的な雨滴の大きさが0.2〜6mm程度であるため、例えば、1mm程度とすることができる。ただし、所定の間隔はこれに限られず、雨滴の検出精度、板の枚数等に応じて適宜設計することができる。
このような異物識別用被写体2が設置されている状態で、撮像装置11は、異物識別用被写体2の各板、および板と板との間の隙間を撮像できるような方向および位置に配置される。このように異物識別用被写体2および撮像装置11が配置されることによって、図6に示すように、撮像装置11によって撮像された画像には、板と板との間の隙間からなる線状の異物識別用被写体2(識別線という)が撮像され、フロントガラス3に雨滴が付着している場合には識別線を覆って雨滴が撮像される。本実施形態では識別線は5本であるとし、以降の説明ではそれぞれ識別線k(k=1〜5)とする。また、識別線は5本に限られず、2本以上の任意の数であればよい。
また、異物識別用被写体2には、識別線の他に、板とボンネット4との隙間からなる線状の異物識別用被写体2をオーバー線(異物分別要素)として有する。オーバー線とは、フロントガラス3の一部3’の表面に対応する位置(図6に示すx軸)を基準として、雨滴の直径より明らかに長い距離にある線分である。
また、図7に示すように、異物識別用被写体2を構成する複数枚の板は、その端部をエッジ状とする立体的形状を形成する。これにより、雨、塵埃等は異物識別用被写体2に付着すると、異物識別用被写体2の表面に沿って下方向に落下するため、フロントガラス3の一部3’の表面に付着している雨滴を認識するのが妨げられにくい。
また、撮像装置11が車両1の外部に設置される場合には、撮像装置11が備える光学系のうち、最も被写体側にあるものには、親水性コーティング剤を塗布してもよい。雨が降って、親水性コーティング剤が塗布された光学系に雨滴が付着することがあっても、付着した雨滴は光学系の表面で凝集しにくく水玉になりにくいため、識別線を撮像した画像がぼやけることなく、識別線と識別線ではない部分とを明確に識別することができる。
また、上記の説明においては、撮像装置11は、フロントガラス3の一部3’の表面に略平行に配置され、フロントガラス3上の異物を検出するとしたが、この限りではない。例えば、撮像装置11は、車両1の側面又は後方に設置されたガラスの表面に略平行に配置され、該ガラス上に付着した異物を検出してもよい。また、フロントガラス3、車両1の側面又は後方に設置されたガラスのうち任意のものをウィンドウという。
制御部12は、異物検出装置10の種々の演算処理を実行する一つまたは二つ以上のプロセッサであり、ソフトウェアプログラムに従い処理を実行する汎用のCPU(Central Processing Unit)および/または画像処理用に設計されたASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等を含んで構成することができる。
また、図1に示すように、制御部12は、物体付着判定部15と、異物量算出部16と、駆動制御部17との各機能ブロックを含んで構成される。また、制御部12は、車両1内のワイパー5を駆動制御するワイパー駆動部21およびウォッシャー液の射出を制御するウォッシャー液射出部22と、CAN(Controller Area Network)等の通信ネットワークまたは専用の通信線を介して接続されている。
物体付着判定部15は、異物識別用被写体2の少なくとも一部が撮像されている画像に基づいて、フロントガラス3に例えば鳥の糞、昆虫、枯葉等の雨滴以外の物体が付着しているか否かを判定する。図8に示す例において、物体付着判定部15は、(a)に示すような、オーバー線を越えていない異物については雨滴であると判定し、(b)および(c)に示すような、オーバー線を越える異物については雨滴以外の物体であると判定する。
具体的には、物体付着判定部15は、撮像装置11によって撮像された画像において、連続してオーバー線が撮像されていない部分があるか否かを判定する。そして、物体付着判定部15は、オーバー線が撮像されていない部分があり、さらに、所定時間後、例えば5秒後に撮像された画像において、同じ部分でオーバー線が撮像されていない場合、雨滴以外の物体がフロントガラス3に付着しているとする。所定時間後、例えば5秒後に撮像された画像において、同じ部分でオーバー線が撮像されている場合、雨滴以外の物体がフロントガラス3に付着した後に取り除かれたため、雨滴以外の物体がフロントガラス3に付着していないとする。
異物量算出部16は、撮像装置11によって撮像された画像に基づいて、異物量の判定を行う。具体的には、異物量算出部16は、異物の一例である雨滴の大きさおよび分布密度を判定する雨量判定を行う。
ここで、図6および9を参照して、異物量算出部16について詳細に説明する。
図9には、上述のようにボンネット4に設けられた異物識別用被写体2の例である5本の識別線を雨滴が覆っている状態が示されている。図9に示す例のように、識別線が黒のような輝度の低い色で撮像され、ボンネット4が白のように輝度の高い色で撮像される場合、破線内に示されるような雨滴に覆われた部分は白に近い色となる、すなわち輝度が高くなる。
そこで、異物量算出部16は、雨滴の分布密度を算出するために、図9の状態を模式的に表した図6で示すように、フロントガラス3から最も近くにある識別線(図6の識別線1)について、異物がない場合に識別線が撮像されるべき位置の輝度が所定の値以上であるか否かを画素ごとに判定する。そして、異物量算出部16は識別線を表す全画素数に対する、輝度が所定の値以上である画素数の割合を雨滴の分布密度とする。異物量算出部16は、識別線1〜5についての雨滴の分布密度の平均値を雨滴の分布密度としてもよい。
また、異物量算出部16は、雨滴の大きさを算出する。具体的には、異物量算出部16は、異物が付着していない場合に識別線1が撮像されるべき位置にある画素の輝度が所定の値以上であると判定された場合、識別線1に隣接する識別線2上のx軸方向に同一の位置にある画素の輝度が所定の値以上であるか否かを判定する。識別線2上の画素の輝度が所定の値未満である場合、異物量算出部16は雨滴の大きさをフロントガラス3の一部3’の表面に対応する位置(図6に示すx軸)と識別線1との距離に基づいて算出する。
さらに、異物量算出部16は、識別線2上の画素の輝度が所定の値以上である場合、識別線2に隣接する識別線3上でx軸方向に同一の位置にある画素の輝度が所定の値以上であるか否かを判定する。識別線3上の画素の輝度が所定の値未満である場合、異物量算出部16は雨滴の大きさを、フロントガラス3の一部3’の表面に対応する位置と識別線2との距離に基づいて算出する。
識別線3上の画素の輝度が所定の値以上である場合、異物量算出部16は同様にして判定を繰り返すことにより各雨滴の大きさを決定する。異物量算出部16は、このようにして、識別線1で画素の輝度が所定の値以上であるとされた全ての位置についての雨滴の大きさの統計値を、雨滴の大きさとして算出する。
異物量算出部16は、上述のように配置された識別線1〜5の全ての領域を用いて異物量を算出するが、この限りではない。例えば、物体付着判定部15によって、枯葉等の、雨滴以外の物体が付着し、駆動制御部17によってウォッシャー液の射出、ワイパー5の駆動がなされた後も物体が付着している場合、該物体が付着している領域を除いた領域に基づいて異物量判定を行ってもよい。
駆動制御部17は、異物量算出部16によって判定された雨滴の大きさおよび分布密度に基づいて、ワイパー5の駆動間隔を決定し、決定した駆動間隔でワイパー駆動部21を制御する。具体的には、駆動制御部17は、異物量算出部16によって判定された雨滴の大きさが大きいほど、短い間隔を駆動間隔として決定し、決定した駆動間隔でワイパー5を駆動するようワイパー駆動部21を制御する。同時に、駆動制御部17は、異物量算出部16によって判定された雨滴の分布密度が高いほど、短い間隔を駆動間隔として決定し、決定した駆動間隔でワイパー5を駆動するようワイパー駆動部21を制御する。
例えば、雨滴の大きさが直径1mm未満、1〜2mm、2〜3mm、3〜4mm、および4mm以上の場合をそれぞれ雨滴大きさランク1,2,3,4,および5とし、雨滴の分布密度が20%未満、20〜40%、40〜60%、60〜80%、および80%以上の場合をそれぞれ雨滴の分布密度ランク1,2,3,4,および5として、雨滴大きさランクおよび雨滴の分布密度ランクに関連付けて書き換え可能メモリである駆動間隔メモリ13に記憶されているワイパー駆動間隔でワイパー5を駆動させる。例えば、図10に示す例では、雨滴の大きさランクが3で、雨滴の分布密度ランクが2である場合、1.5秒の駆動間隔でワイパー5を駆動させる。駆動間隔メモリ13としては、書き換え可能なフラッシュメモリ、磁気抵抗メモリ(MRAM(Magnetoresistive Random Access Memory))、強誘電体メモリ(FeRAM(Ferroelectric Random Access Memory))などの不揮発性メモリ等を用いることができる。
また、駆動制御部17は、物体付着判定部15によって、雨滴以外の物体がフロントガラス3に付着していると判定されると、車両1のフロントガラス3を洗浄するため、ウォッシャー液射出部22を制御して、ウォッシャー液を射出させるとともに、ワイパー駆動部21を制御して、ワイパー5を駆動させる。
駆動間隔メモリ13は、書き換え可能メモリであり、図10に示すように、雨滴の分布密度ランク及び大きさランクに関連付けてワイパー駆動間隔を記憶する。
画像メモリ14は、撮像装置11によって撮像された画像を一時的に蓄積するメモリであり、例えば、DRAM(Dynamic Random Access Memory)やSDRAM(Synchronous Dynamic Random Access Memory)等の高速の揮発性メモリを用いることができる。画像メモリ14は、制御部12が上述のように異物量を算出する間、画像を保持するとともに、算出された異物の大きさおよび分布密度を記憶する。
次に、第1の実施形態において、異物検出装置10が異物を検出する異物検出方法について図11を参照して説明する。図11は制御部12の処理を示すフロー図である。
まず、撮像装置11がフロントガラス3の一部3’を撮像し、制御部12が、撮像装置11が、異物識別用被写体2を撮像した画像を受信する(ステップS1)。撮像装置11は、ワイパー5が停止位置にあるとき、すなわち、ワイパー5がフロントガラス3上にないときに撮像を行う。撮像装置11は、例えば、ワイパー5が駆動されている間においては、ワイパー5が停止位置に戻ってから所定の時間後に撮像する。撮像装置11によって異物および異物識別用被写体2が撮像された画像を受信すると、物体付着判定部15が、撮像された画像に基づいて、フロントガラス3に雨滴以外の物体が付着しているか否かを判定する(ステップS2)。
ステップS2における物体付着判定部15によって雨滴以外の物体が付着しているか否かを判定する処理について、図12を参照して詳細に説明する。
図12に示すように、物体付着判定部15は、画像においてオーバー線に連続して撮像されていない部分があるか否かを判定する(ステップS21)。オーバー線に連続して撮像されていない部分があると判定した場合、物体付着判定部15は、画像が撮像されてから所定の時間が経過しているか否かを判定し(ステップS22)、所定の時間が経過している場合に、新たな画像を取得してステップS21で撮像されていなかったオーバー線の部分が新たな画像において撮像されているか否かを判定する(ステップS23)。
ステップS23で、新たな画像においてオーバー線の部分が撮像されていないと判定された場合、物体付着判定部15は、フロントガラス3に雨滴以外の物体が付着していると判定する(ステップS24)。また、ステップS21でオーバー線が撮像されていない部分がないと判定された場合、またはステップS23において、ステップS21で撮像されていなかった部分が撮像されていると判定された場合、物体付着判定部15は雨滴以外の物体は付着していないと判定する(ステップS25)。
図11に戻って、ステップS2の判定の結果、雨滴以外の物体が付着していると判定された場合(ステップS3)、駆動制御部17はウォッシャー液射出部22を制御してウォッシャー液を射出させるとともに、ワイパー駆動部21を制御してワイパー5を数回駆動させフロントガラス3を洗浄する(ステップS4)。
また、ステップS3でフロントガラス3に雨滴以外の物体が付着していないと判定されると、または、ステップS4でウォッシャー液を射出させフロントガラス3を洗浄した後、異物量算出部16は、撮像装置11によって撮像された画像に基づいて雨滴の分布密度を算出する(ステップS5)。ここで、異物量算出部16は、ステップS2で雨滴以外の付着物が検出され、ステップS4でウォッシャー液を射出してもなお除去できない付着物残る場合は、雨滴以外の物体が付着している領域を除く領域の画素を用いて雨滴の分布密度を算出する。
ここで、異物量算出部16によって行われる雨滴の分布密度を算出する処理について図13を参照して詳細に説明する。
異物量算出部16は、対象となる領域内の識別線ごとに、全ての画素数に対する、輝度が所定の値以上である画素数の割合を算出する(ステップS51)。全ての識別線について割合が算出されると(ステップS52)、異物量算出部16は、所定の識別線、例えば識別線1についての割合を雨滴の分布密度とする(ステップS53)。また、ステップS53では、各識別線の割合についての統計値(平均値、中央値等)を算出して、算出された統計値を雨滴の分布密度としてもよい。
続いて、図11に戻って、異物量算出部16は、撮像装置11によって撮像された画像に基づいて雨滴の大きさを算出する(ステップS6)。ここでも、異物量算出部16は、雨滴以外の物体が付着している領域を除く領域の画素を用いて雨滴の大きさを判定する。
異物量算出部16によって行われる雨滴の大きさを算出する処理について図14を参照して詳細に説明する。
まず、異物量算出部16は、画像において、フロントガラス3から最も近くにある識別線1上にある雨滴の数nを算出する(ステップS61)。
具体的には、異物量算出部16は、異物が何も付着していない場合に識別線1が撮像されるべき位置の画素の輝度を測定する。そして、異物量算出部16は、測定した輝度が所定の値以上である画素が所定数以上、連続している場合に、その画素群は雨滴を表しているものとし、そのような画素群の数を雨滴の数nとする。
続いて、異物量算出部16は、n個の雨滴それぞれを雨滴1,2,・・・,i,・・・nとする。そして、異物量算出部16は、識別線1上の各雨滴iのx軸方向における位置と同じ位置にある識別線2〜5上の画素に基づいて雨滴の大きさを算出する。
具体的には、まず、異物量算出部16は、i=1として(ステップS62およびS63)、雨滴1の大きさを算出する(ステップS64)。
ここで、各雨滴iの大きさを算出する処理について図15を参照して詳細に説明する。
図15に示すように、異物量算出部16は、まず、k=2とし(ステップS641およびS642)として、雨滴iの識別線1上の位置とx軸方向において同じ位置にある識別線k、すなわち識別線2が撮像されるべき位置にある画素の輝度が所定の値以上であるか否かを判定する(ステップS643)。
識別線kが撮像されるべき位置の画素の輝度が所定の値以上である場合、ふたたびステップS642に戻りk=k+1として、同様の処理を繰り返す(ステップS642〜S643)。ステップS643において、識別線k上の画素の輝度が所定の値未満になった場合、識別線kには雨滴が付着していないとされるため、異物量算出部16は雨滴の直径を、このときのkの値に基づいて、具体的には画像上のフロントガラス3の一部3’の表面に対応する位置と、識別線(k−1)との距離に基づいて算出する(ステップS644)。
このようにして雨滴1の大きさが算出されると、図14に戻って、異物量算出部16はi=nであるか否かを判定し(ステップS65)、i≠nのときは、i=nになるまでステップS63〜S65を繰り返す。次に、ステップS65において、i=nであると判定された場合、全ての雨滴nについて大きさが算出されたため、雨滴1〜nの大きさの統計値を算出する(ステップS66)。
再び図11に戻って、ステップS5で雨滴の分布密度が算出され、ステップS6で雨滴の大きさが算出されると、駆動制御部17は、異物量算出部16によって判定された雨滴の大きさおよび分布密度に基づいてワイパー5を駆動させる(ステップS7)。ワイパー5が駆動されると、撮像装置11は、ワイパー5が停止位置に戻ってから所定の時間後にフロントガラス3の一部3’を撮像する。
以上説明したように、第1の実施形態によれば、撮像装置11は、撮像レンズの最も異物識別用被写体2側の面と異物識別用被写体2とを結ぶ直線が、フロントガラス3の一部3’の表面と略平行になるように配置され、画像から、フロントガラス3に付着した異物および異物識別用被写体2とに基づいて異物を検出する。そのため、撮像装置11からみて異物より遠くにある識別線が異物によって覆われている程度を用いることによって、高い精度で雨滴の大きさや分布密度を検出することができる。撮像装置11から見たフロントガラス3の表面の背景には、常に異物識別用被写体2があるので、車外の被写体に影響されず安定した検出ができる。
また、第1の実施形態によれば、異物識別用被写体2は、周期性を有する立体的形状である。このため、周期性のない立体的形状が異物によって覆われている度合いに基づいて雨滴の大きさおよび分布密度を算出するのに比べて、効率的に雨滴の大きさおよび分布密度を算出することができる。
また、第1の実施形態によれば、撮像装置11は、車両1の外側に設置されるため、フロントガラス3を介さずに異物及び異物識別用被写体2を撮像することができる。そのため、フロントガラス3に映り込んでいるものが異物であると誤検知されるのを防ぎ、高い精度で異物を検出することができる。
また、撮像レンズの最も異物識別用被写体2の表面に親水性コーティング剤を塗布した場合、雨が降って撮像レンズに雨滴が付着することがあっても、付着した雨滴は撮像レンズの表面で凝集しにくく水玉になりにくいため、識別線を撮像した画像がぼやけることなく、識別線と識別線ではない部分とを明確に識別することができる。
また、第1の実施形態によれば、異物検出装置10は、オーバーラインの連続する部分が覆われており、画像が撮像された所定の時間後に撮像された画像において、オーバーラインの同じ部分が覆われている場合、雨滴以外の物体が付着していと判定することができる。これにより、例えば、フロントガラス3に付着した物体を除去するために、運転者の操作を要することなくウォッシャー液を射出する等の動作をさせることができる。したがって、運転者は運転に集中し、安全性の高い運転を実現することが可能となる。
また、第1の実施形態においては、車両1のフロントガラス3には、親水性コーティング剤が塗布されないことが望ましい。雨が降ってフロントガラス3に付着した雨滴が凝集しないため、フロントガラス3全体にわたって雨滴が貼り付き、異物識別用被写体2からの光がフロントガラス3に付着した雨滴を透過するときに歪んでしまい、適切な画像を撮像することができないためである。
(第2の実施形態)
続いて、本発明の第2の実施形態について、図面を参照して説明する。
第2の実施形態に係る異物検出装置10は、第1の実施形態に係る異物検出装置10と同様に、撮像装置11と、制御部12と、駆動間隔メモリ13と、画像メモリ14等を含んで構成されるが、図16に示すように、異物検出装置10は、ミラーまたはプリズム等の光学部材6を備える点で異なっている。光学部材6は、車両1の外部であってフロントガラス3の最上部に、異物識別用被写体2によって反射した光が光学部材6によって反射または屈折されて、車両1の内部に設けられた撮像装置11に入射するように配置される。これによって、撮像装置11は異物識別用被写体2を撮像した画像を出力する。
第2の実施形態におけるその他の構成、作用は第1の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。
以上説明したように、第2の実施形態によれば、高い精度で雨滴の大きさや分布密度を検出することができ、第1の実施形態と同様の効果が得られる。
また、第2の実施形態によれば、撮像装置11は、車両1はミラーを介して異物識別用被写体2を撮像すると同時に、車両1の前方を撮像することができる。すなわち、距離測定または前方の障害物監視に用いられる撮像装置11を、フロントガラス3上の異物検出にも適用することができる。このため、距離測定と異物検出の両方を行うことができるシステムにおいて、撮像装置11の設置台数、およびそれに伴う設置コストを低減することができる。
(変形例)
本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施形態では、物体付着判定部15が、異物が雨滴であるか、雨滴以外の鳥の糞、昆虫、枯葉等の物体であるかを判定した後に、異物量算出部16が雨滴の大きさおよび分布密度を検出しているが、この限りではない。例えば、異物量算出部16が雨滴の大きさおよび分布密度を検出した後に、物体付着判定部15が、フロントガラス3に雨滴以外の鳥の糞、昆虫、枯葉等の物体であるかを判定してもよい。
また、上記実施形態においては、オーバー線に撮像されていない部分があって、所定の時間経過後も同一の部分が撮像されていない場合、ウォッシャー液を射出させるが、この限りではない。例えば、雨滴程度の大きさの、雨滴以外の物体を検出することを目的として、物体付着判定部15は、オーバー線に撮像されていない部分はないものの識別線に撮像されていない部分があって、ワイパー5の駆動後も識別線の同一の部分が撮像されていない場合、フロントガラス3に物体が付着していると判定してもよい。そして、この判定に基づいて、駆動制御部17はワイパー駆動部21およびウォッシャー液射出部22を制御することができる。オーバー線を用いて雨滴以外の物体が付着しているか否かを判定することによって、雨滴より明らかに大きい物体を効率的に検出することができる。
1 車両
2 異物識別用被写体
3 フロントガラス
4 ボンネット
5 ワイパー
6 光学部材
10 異物検出装置
11 撮像装置
12 制御部
13 駆動間隔メモリ
14 画像メモリ
15 物体付着判定部
16 異物量算出部
17 駆動制御部
21 ワイパー駆動部
22 ウォッシャー液射出部

Claims (9)

  1. 撮像光学系を含む撮像装置であって、車両に設けられた異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置と、
    前記撮像装置によって前記異物識別用被写体の少なくとも一部が撮像された画像に基づいて、前記ウィンドウに付着した異物を検出するプロセッサと、
    を備える異物検出装置。
  2. 前記撮像装置は、前記車両の外部に設置される請求項1に記載の異物検出装置。
  3. 前記撮像光学系の最も前記異物識別用被写体の表面には親水性コーティング剤が塗布されている請求項1または2に記載の異物検出装置。
  4. 前記異物識別用被写体は、前記異物が雨滴であるか否かを識別するための異物分別要素を含み、
    前記プロセッサは、前記画像において前記異物が前記異物分別要素の少なくとも一部を覆っており、前記画像が撮像された所定の時間後に撮像された画像において、前記異物が前記少なくとも一部を覆っている場合、前記異物は雨滴でないと判定する請求項1から3の何れか一項に記載の異物検出装置。
  5. 前記プロセッサは、前記異物が雨滴であると判定された場合に、前記異物の量に基づいて前記車両のワイパーの駆動間隔を決定する請求項4に記載の異物検出装置。
  6. 前記異物識別用被写体をさらに備える請求項1から5の何れか一項に記載の異物検出装置。
  7. 前記異物識別用被写体は、周期性のある立体的形状を形成する請求項6に記載の異物検出装置。
  8. 車両に設けられた異物識別用被写体と、撮像光学系を含む撮像装置であって、前記異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置と、前記撮像装置によって前記異物識別用被写体の少なくとも一部が撮像された画像に基づいて、前記ウィンドウに付着した異物を検出するプロセッサと、を含む異物検出装置
    を備える車両。
  9. 撮像光学系を含む撮像装置であって、車両に設けられた異物識別用被写体との間に前記車両のウィンドウの一部が位置するように配置され、該異物識別用被写体と前記車両のウィンドウの前記一部とを撮像範囲に含み、前記撮像光学系の最も前記異物識別用被写体側の面と前記異物識別用被写体とを結ぶ直線が、前記ウィンドウの前記一部の表面に沿うように配置された撮像装置を備える異物検出装置の異物検出方法であって、
    前記撮像装置が、前記異物識別用被写体と前記車両のウィンドウの一部とを撮像するステップと、
    プロセッサが、前記撮像装置によって撮像された画像から、前記異物識別用被写体の画像に基づいて、前記ウィンドウに付着した異物を検出するステップと、
    を含む異物検出方法。
JP2016066745A 2016-03-29 2016-03-29 異物検出装置、車両、および異物検出方法 Pending JP2017181208A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016066745A JP2017181208A (ja) 2016-03-29 2016-03-29 異物検出装置、車両、および異物検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016066745A JP2017181208A (ja) 2016-03-29 2016-03-29 異物検出装置、車両、および異物検出方法

Publications (1)

Publication Number Publication Date
JP2017181208A true JP2017181208A (ja) 2017-10-05

Family

ID=60004361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016066745A Pending JP2017181208A (ja) 2016-03-29 2016-03-29 異物検出装置、車両、および異物検出方法

Country Status (1)

Country Link
JP (1) JP2017181208A (ja)

Similar Documents

Publication Publication Date Title
CN109840911B (zh) 确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质
US10397451B2 (en) Vehicle vision system with lens pollution detection
JP6365477B2 (ja) 物体認識装置及び汚れ検出方法
JP7272226B2 (ja) 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
KR100504598B1 (ko) 수분센서와 방풍유리의 안개 검출기
US20110043624A1 (en) Method and device for processing recorded image information from a vehicle
JP5925314B2 (ja) 車両周囲監視装置
JP4668838B2 (ja) 雨滴検出装置およびワイパー制御装置
US9956941B2 (en) On-board device controlling accumulation removing units
JP2005515565A (ja) 画像センサシステムにおける視界妨害物の識別方法および識別装置
US11100616B2 (en) Optical surface degradation detection and remediation
JP3691488B2 (ja) 付着物検出装置およびそれを用いた制御装置
US20150332099A1 (en) Apparatus and Method for Detecting Precipitation for a Motor Vehicle
CN107914670B (zh) 用于检测障碍物的设备
JP3444192B2 (ja) 撮像環境推定装置
JP2010210607A (ja) 液滴認識装置と雨滴認識装置と自動ワイパー装置及び液滴認識方法
US20170057414A1 (en) Monitor device and computer program for display image switching
KR101525516B1 (ko) 카메라 영상 처리 시스템 및 이의 오염 처리 방법
CN114189671B (zh) 相机清洁系统的验证
JP7447752B2 (ja) 測距装置、及び、測距装置の窓の汚れを検出する方法
Gormer et al. Vision-based rain sensing with an in-vehicle camera
JP2017181208A (ja) 異物検出装置、車両、および異物検出方法
JP2016222181A (ja) 車両用撮像装置
CN110682874B (zh) 雨刷器老化的检测方法、检测装置和车辆
US20180165523A1 (en) Determination of low image quality of a vehicle camera caused by heavy rain