JP2010096604A - 視界状態検知装置および視界確保装置 - Google Patents

視界状態検知装置および視界確保装置 Download PDF

Info

Publication number
JP2010096604A
JP2010096604A JP2008267060A JP2008267060A JP2010096604A JP 2010096604 A JP2010096604 A JP 2010096604A JP 2008267060 A JP2008267060 A JP 2008267060A JP 2008267060 A JP2008267060 A JP 2008267060A JP 2010096604 A JP2010096604 A JP 2010096604A
Authority
JP
Japan
Prior art keywords
image
light
windshield
reflected light
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008267060A
Other languages
English (en)
Other versions
JP5359175B2 (ja
Inventor
Katsunori Michiyama
勝教 道山
Masaki Tanida
勝紀 谷田
Atsushi Yamamoto
敦司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008267060A priority Critical patent/JP5359175B2/ja
Publication of JP2010096604A publication Critical patent/JP2010096604A/ja
Application granted granted Critical
Publication of JP5359175B2 publication Critical patent/JP5359175B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】車両のフロントガラスを介した視界を制限する制限物を精度良く検知可能な視界状態検知装置および視界確保装置を提供する。
【解決手段】フロントガラスWを介した視界を制限する制限物がフロントガラスWの外面Woに付着する雨滴Rである場合、制御回路24、外面側反射光Loと内面側反射光Liとを受光して検知用画像Dを生成し、この検知用画像Dにおいて、外面側反射光Loが占める第1領域Poと内面側反射光Liが占める第2領域Piとに基づいて雨滴Rを検知する。また、フロントガラスWを介した視界を制限する制限物がフロントガラスWの内面Wiに発生する曇りCである場合、制御回路24は、曇りCが発生していない場合に予め生成された基準画像Dbにおける両領域Po,Piと、曇り判定用の画像である検知用画像Dにおける両Po,Piとに基づいて曇りCを検知する。
【選択図】図2

Description

本発明は、車両のフロントガラスを介した視界を制限する制限物を検知可能な視界状態検知装置および視界確保装置に関するものである。
従来より、車両のフロントガラスを介した視界を制限する制限物を検知可能な視界状態検知装置および視界確保装置に関する技術として下記特許文献1に開示される画像処理システムが知られている。この画像処理システムを用いてウィンドウガラス(フロントガラス)の外側に付着した雨滴を検出する場合には、第1の光源からの光が各雨滴によってそれぞれ反射されると、これら各反射光およびその背景を含めた所定領域を画像処理装置の撮像素子にて取り込んで画像を生成し、この画像において雨滴を検出するとともに雨滴の個数に基づいて雨量を求めている。
また、上記画像処理システムを用いてウィンドウガラスの内側に付着した曇りを検出する場合には、第2の光源からの光が曇りによって散乱して一部が反射光として撮像素子に入射すると、この反射光等を含めた所定領域を画像処理装置の撮像素子にて取り込んで画像を生成し、この画像における反射光の最大明るさと、曇りがないときに予め記憶される反射光の最大明るさとの差分に基づいてウィンドウガラスの内側に曇りが発生したか否かを判定している。
特開2005−195566号公報
しかしながら、上述のように第1の光源からの照射光がフロントガラスの雨滴により反射される反射光、いわゆる間接光に基づいて雨滴を検出することとなるので、撮像素子に入射する反射光の輝度が照射光に対して小さくなってしまい、例えば、円形形状が複数存在するような背景では、特殊な処理を実施しない限り、正確な雨滴検出が困難になる。
また、上述のように第2の光源からの照射光がフロントガラスの曇りにより散乱することを前提に、照射光の一部としての反射光に基づいて曇りを検出することとなるので、撮像素子に入射する反射光の輝度が照射光に対して小さくなってしまい、例えば、曇り等の天気で視界が白くなる場合や背景が白い場合では、特殊な処理を実施しない限り、正確な曇り検出が困難になる。
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、車両のフロントガラスを介した視界を制限する制限物を精度良く検知可能な視界状態検知装置および視界確保装置を提供することにある。
上記目的を達成するため、特許請求の範囲に記載の請求項1の視界状態検知装置では、車両のフロントガラス(W)を介した視界を制限する制限物(R,C)を検知可能な視界状態検知装置(20,20a)であって、光源(22)から照射される照射光(L)が前記フロントガラスにより反射される反射光(Lo,Li)を受光して検知用画像(D,D,D)を生成する画像生成手段(23,24)を備え、前記検知用画像において前記反射光が占める領域(Po,Pi)に基づいて前記制限物を検知することを技術的特徴とする。
また、特許請求の範囲に記載の請求項11の視界状態検知装置では、請求項1〜10のいずれか一項に記載の視界状態検知装置において、前記制限物は、前記フロントガラスの外面(Wo)に付着する雨滴(R)であって、前記画像生成手段は、前記照射光が前記フロントガラスの内面(Wi)により反射される内面側反射光(Li)と、前記照射光が前記フロントガラスの外面により反射される外面側反射光(Lo)と、を受光して雨滴検知用画像(D,D,D)を生成し、前記雨滴検知用画像において、前記内面側反射光が占める領域(Pi)と前記外面側反射光が占める領域(Po)とに基づいて前記雨滴を検知することを技術的特徴とする。
また、特許請求の範囲に記載の請求項17の視界状態検知装置では、請求項1〜10のいずれか一項に記載の視界状態検知装置において、前記制限物は、前記フロントガラスの内面(Wi)に発生する曇り(C)であって、前記曇りが発生していない場合に予め前記画像生成手段により前記反射光を受光した状態で基準画像(Db)を生成し、この基準画像において前記反射光が占める領域(Po,Pi)と、前記画像生成手段により前記反射光を受光した状態で生成される曇り判定用画像(D,D,D)において前記反射光が占める領域(Po,Pi)とに基づいて前記曇りを検知することを技術的特徴とする。
また、特許請求の範囲に記載の請求項21の視界確保装置では、請求項1〜20のいずれか一項に記載の視界状態検知装置(20)による前記制限物の検知に応じて、当該制限物を除去して前記フロントガラスを介した視界を確保することを技術的特徴とする。
また、特許請求の範囲に記載の請求項22の視界確保装置では、前記フロントガラスの外面を払拭する払拭手段(11,12,15)を備え、請求項11〜16のいずれか一項に記載の視界状態検知装置による前記雨滴の検知に応じて、前記払拭手段を作動させて当該雨滴を除去することにより前記フロントガラスを介した視界を確保することを技術的特徴とする。
また、特許請求の範囲に記載の請求項23の視界確保装置では、前記フロントガラスよりも内面側の空調を行う空調手段(13,14,15)を備え、請求項17〜20のいずれか一項に記載の視界状態検知装置による前記曇りの検知に応じて、前記空調手段を作動させて当該曇りを除去することにより前記フロントガラスを介した視界を確保することを技術的特徴とする。
請求項1の視界状態検知装置では、画像生成手段は、光源から照射される照射光がフロントガラスにより反射される反射光を受光して検知用画像を生成する。そしてこの検知用画像において反射光が占める領域に基づいて制限物を検知する。
フロントガラスに対して視界を制限するとともに例えば雨滴のように光を反射する制限物が付着等している場合、光源から平行光として照射される照射光の一部が制限物によりフロントガラスの外方に反射されると、照射光の残部(反射光)が画像生成手段に受光されて検知用画像が生成される。この検知用画像においては、反射光が占める領域は、照射光の残部(反射光)の断面形状や輝度等に応じて形成されるので、この領域に基づいて上述のような制限物を検知することができる。
また、例えば、制限物がフロントガラスに発生した曇りのように光を散乱するものである場合には、光源から平行光として照射される照射光が制限物により散乱された状態で反射されこの反射光が画像生成手段に受光されて検知用画像が生成される。この検知用画像においては、反射光が占める領域は、当該反射光の輪郭が不明瞭となるように形成されるので、この領域に基づいて上述のような制限物を検知することができる。
さらに、光源から照射される平行光(照射光)を利用するので、照射光の断面形状が明確となり、上述のような制限物であっても精度良く検知することができる。
したがって、車両のフロントガラスを介した視界を制限する制限物を精度良く検知することができる。
請求項2の視界状態検知装置では、光源とフロントガラスとの間には照射光の断面形状より大きく形成されて、入射する照射光を当該照射光の照射方向に拡散する拡散部材が配置されている。これにより、拡散部材を介した照射光の断面における明るさが均一になるので、検知用画像において反射光が占める領域の輝度がその領域において均一化され、この領域に基づく制限物の検知精度を向上させることができる。
請求項3の視界状態検知装置では、光源が複数設けられている。これにより、検知用画像において反射光が占める領域が複数箇所形成されるので、検知対象となる領域が増えて制限物の検知精度をより向上させることができる。
請求項4の視界状態検知装置では、光源に代えて、照射領域を拡大させる拡大光源と、この拡大光源とフロントガラスとの間に配置されて入射する照射光を当該照射光の照射方向に拡散する拡散板とが設けられている。そして、この拡散板の表面には、複数の開口部を有しこれら各開口部を除いて照射光を遮断可能な遮断部材が設けられている。
これにより、拡大光源からの照射光は、拡散板により照射方向に拡散された状態で遮断部材の各開口部をフロントガラス方向に通過するので、断面の明るさが均一な平行光を複数照射することができる。このため、拡散部材をそれぞれ備えた複数の光源を設ける場合と同様の効果が得られ、制限物の検知精度をより向上させることができる。
請求項5の視界状態検知装置では、光源は、所定の周期で点滅するとともに、照射光がフロントガラスに入射する位置を変更させるように移動する。これにより、検知用画像において反射光が占める領域が複数箇所設けられることとなり、複数の光源を設ける場合と同様の効果を得ることができる。
請求項6の視界状態検知装置では、画像生成手段は、検知用画像を、光源を照射させないときに反射光を受光せずに生成される画像と、光源を照射させるときに反射光を受光して生成される画像と、の差分画像に基づいて生成する。
反射光を受光せずに生成される画像には背景のみが撮像されており、反射光を受光して生成される画像には当該反射光および背景が撮像されている。そうすると、両画像の差分である差分画像には、反射光のみが撮像されることとなるので、背景の影響をなくして制限物を精度良く検知することができる。
請求項7の視界状態検知装置では、周囲の明るさを検出する明るさ検出手段を備え、光源は、その輝度が、明るさ検出手段により検出される周囲の明るさが明るくなるほど増加する。これにより、周囲の明るさが明るくなる場合でも、光源から照射される照射光の輝度が増加するので、検知用画像において反射光が占める領域とその他の領域との輝度差が良好に保たれて、反射光が占める領域の輪郭を明確にすることができる。
請求項8の視界状態検知装置では、光源は、画像生成手段において反射光を受光する受光タイミングに応じて点滅する。これにより、光源を常時点灯させる必要がないので、光源による発熱を抑制するとともに光源による消費電力を低減することができる。
請求項9の視界状態検知装置では、光源および画像生成手段をフロントガラスに近接させて同一ケース内に配置する。光源から照射される平行光(照射光)を利用するので、光源および画像生成手段をフロントガラスに近接させることができる。このため、光源および画像生成手段をフロントガラスに近接させて同一ケース内に配置することにより、当該視界状態検知装置をユニット化するとともに小型化することができる。
請求項10の視界状態検知装置では、光源および画像生成手段が同一基板上に配置される。そして、光源から照射される照射光をフロントガラスに向けて反射するとともに、このように反射される反射光をフロントガラスにて反射させて画像生成手段に受光させる反射鏡が設けられている。このような反射鏡を採用することにより、光源および画像生成手段を同一基板上に配置することで配線作業等が容易になることから、当該視界状態検知装置の小型化に加えて、製造コストを低減することができる。
請求項11の視界状態検知装置では、制限物は、フロントガラスの外面に付着する雨滴であって、画像生成手段は、照射光がフロントガラスの内面により反射される内面側反射光と、照射光がフロントガラスの外面により反射される外面側反射光と、を受光して雨滴検知用画像を生成する。そして、この雨滴検知用画像において、内面側反射光が占める領域と外面側反射光が占める領域とに基づいて雨滴を検知する。
光源から平行光として照射される照射光は、フロントガラスの内面にて反射されて内面側反射光として画像生成手段に受光されるとともに、フロントガラスを透過して当該フロントガラスの外面にて反射されて外面側反射光として画像生成手段に受光される。そして、フロントガラスの外面に雨滴が付着する場合、フロントガラスを透過する照射光の一部が雨滴によりフロントガラスの外方に反射されると、画像生成手段にて生成される画像において外面側反射光が占める領域は、雨滴により外方へ反射された部分が欠けた形状になる。
そこで、内面側反射光と外面側反射光とを双方受光して雨滴検知用画像を生成し、この雨滴検知用画像において内面側反射光が占める領域に対する外面側反射光が占める領域の変化の程度を検出することにより、フロントガラスの外面に付着する雨滴を検知することができる。
請求項12の視界状態検知装置では、雨滴検知用画像において、内面側反射光が占める領域の面積と外面側反射光が占める領域の面積との面積比に基づいて雨滴を検知する。内面側反射光および外面側反射光は平行光であり輪郭が明確であるため、両反射光がそれぞれ占める領域の面積が正確に演算されるので、雨滴を精度良く検知することができる。
また、請求項13の視界状態検知装置のように、雨滴検知用画像において、内面側反射光が占める領域の輝度と外面側反射光が占める領域の輝度との輝度比に基づいて雨滴を検知するようにしても、請求項12の視界状態検知装置と同様に、雨滴を精度良く検知することができる。
請求項14の視界状態検知装置では、画像生成手段は、雨滴検知用画像を、光源を照射させるときに内面側反射光のみを受光して生成される画像と、この画像を生成する際の光源の輝度よりも所定量増加した輝度にて光源を照射させるときに外面側反射光のみを受光して生成される画像と、を合成して生成する。
外面側反射光は、フロントガラスを透過するため減衰してしまう。そこで、この減衰度合に応じた所定量だけ、外面側反射光のみを受光する場合の光源の輝度を、内面側反射光のみを受光する場合の光源の輝度よりも増加させる。このため、外面側反射光におけるフロントガラスを透過したことによる減衰の影響がなくなるので、外面側反射光が占める領域と内面側反射光が占める領域とにおける単位面積当たりの輝度が等しくなる。これにより、雨滴の存在による両領域の差が明確になり、雨滴を精度良く検知することができる。
また、請求項15の視界状態検知装置のように、画像生成手段は、雨滴検知用画像を、内面側反射光のみを受光して生成される画像と、この画像を生成する際の受光時間よりも所定時間長くした受光時間にて外面側反射光のみを受光して生成される画像と、を合成して生成してもよい。このように、請求項14の視界状態検知装置と同様に、外面側反射光におけるフロントガラスを透過したことによる減衰の影響をなくすことにより、雨滴の存在による外面側反射光が占める領域と内面側反射光が占める領域との差を明確にすることで、雨滴を精度良く検知することができる。
請求項16の視界状態検知装置では、フロントガラスの外面のうち外面側反射光が反射される外面には親水性コーティングが施されている。このため、フロントガラスの外面に付着する雨滴の表面張力が減少し雨滴がフロントガラスの外面に沿い広がるので、照射光が雨滴によってフロントガラスの外方に反射される領域が大きくなる。このように、雨滴検知用画像の外面側反射光が占める領域において雨滴に相当する部分が大きく欠けることにより、内面側反射光が占める領域に対する外面側反射光が占める領域の変化の程度が大きくなることで、雨滴を精度良く検知することができる。
請求項17の視界状態検知装置では、制限物は、フロントガラスの内面に発生する曇りであって、曇りが発生していない場合に予め画像生成手段により反射光を受光した状態で基準画像を生成する。そして、この予め生成された基準画像において反射光が占める領域と、画像生成手段により反射光を受光した状態で生成される曇り判定用画像において反射光が占める領域とに基づいて曇りを検知する。
フロントガラスの内面に曇りが発生すると、光源から平行光として照射される照射光が曇りにより散乱された状態で反射されるため、このときの曇り判定用画像では、反射光が占める領域の輪郭が不明瞭となる。一方、光源から照射される平行光(照射光)を利用するので、曇りが発生していない基準画像では、反射光が占める領域の輪郭が明確となる。そこで、予め生成された基準画像において反射光が占める領域と、曇り判定用画像において反射光が占める領域とを比較することにより、曇りを検知することができる。
請求項18の視界状態検知装置では、基準画像において反射光が占める領域の輝度と曇り判定用画像において反射光が占める領域の輝度との輝度比に基づいて曇りを検知する。曇り判定用画像において散乱された状態で受光される反射光が占める領域の輝度は、基準画像において反射光が占める領域の輝度より小さくなるので、両領域の輝度比に基づいて曇りを精度良く検知することができる。
請求項19の視界状態検知装置では、基準画像において反射光が占める領域のうち所定の輝度以上の領域の面積と、曇り判定用画像において反射光が占める領域のうち上記所定の輝度以上の領域の面積と、の面積比に基づいて曇りを検知する。
光源からの照射光が曇りにより散乱されると、曇り判定用画像において反射光が占める領域は、中心から離間するほど輝度が低下する。そこで、曇り判定用画像において反射光が占める領域のうち所定の輝度、例えば、中心の輝度と周縁の輝度と間に相当する輝度以上の領域の面積を測定し、この面積と、基準画像において反射光が占める領域のうち所定の輝度以上の領域の面積とを比較することで、曇りを精度良く検知することができる。
請求項20の視界状態検知装置では、フロントガラスのうちの一部である加熱範囲のみを加熱するヒータが設けられている。また、この加熱範囲に照射光を照射するための光源と、ヒータにより加熱されない非加熱範囲に照射光を照射するための光源とがそれぞれ少なくとも1つ以上設けられている。そして、画像生成手段により、加熱範囲により反射される基準反射光と、非加熱範囲により反射される曇り検知用反射光とが受光されて曇り検知用画像が生成される。そして、この曇り検知用画像において、基準反射光が占める領域と曇り検知用反射光が占める領域とに基づいて曇りを検知する。
これにより、加熱範囲には曇りが発生することがないので、非加熱範囲に曇りが発生している場合には、曇り検知用画像において基準反射光が占める領域と曇り検知用反射光が占める領域との差が明確になり、予め生成される基準画像を用いることなく、曇りをより精度良く検知することができる。
請求項21の視界確保装置では、請求項1〜20のいずれか一項に記載の視界状態検知装置による制限物の検知に応じて、当該制限物を除去してフロントガラスを介した視界を確保する。このように視界状態検知装置により制限物が検知されると、この制限物の検知に応じて当該制限物を除去するための動作が実施されるので、特別な操作をすることなくフロントガラスを介した視界を確保することができる。
請求項22の視界確保装置では、フロントガラスの外面を払拭する払拭手段が設けられている。そして、請求項11〜16のいずれか一項に記載の視界状態検知装置による雨滴の検知に応じて、払拭手段を作動させて当該雨滴を除去することによりフロントガラスを介した視界を確保する。これにより、フロントガラスの外面の雨滴が検知された場合には、払拭手段が作動して雨滴が除去されるので、特別な操作をすることなくフロントガラスを介した視界を確実に確保することができる。
請求項23の視界確保装置では、フロントガラスよりも内面側の空調を行う空調手段が設けられている。そして、請求項17〜20のいずれか一項に記載の視界状態検知装置による曇りの検知に応じて、空調手段を作動させて当該曇りを除去することによりフロントガラスを介した視界を確保する。これにより、フロントガラスの内面の曇りが検知された場合には、空調手段が作動して曇りが除去されるので、特別な操作をすることなくフロントガラスを介した視界を確実に確保することができる。
[第1実施形態]
以下、本発明の第1実施形態に係る視界状態検知装置を備える視界確保装置について図を参照して説明する。図1は、本発明の第1実施形態に係る視界状態検知装置20を備える視界確保装置10の概略構成を示す説明図である。図2は、本第1実施形態に係る視界状態検知装置20の詳細断面図である。図3は、フロントガラスWの外面Woに雨滴Rが付着した場合に検知用画像Dにおける第1領域Poと第2領域Piとの関係を示す説明図である。図4は、フロントガラスWの内面Wiに曇りCが発生した場合に検知用画像Dにおける第1領域Poと第2領域Piとの関係を示す説明図である。
図1および図2に示すように、視界確保装置10は、主に、ワイパ11と、このワイパ11を駆動するためのワイパ用駆動回路12と、エアコン装置13と、このエアコン装置13を駆動するためのエアコン用駆動回路14と、ワイパ用駆動回路12およびエアコン用駆動回路14を駆動制御する制御装置15と、雨滴Rや曇りC等のフロントガラスWを介した視界を制限する制限物を検知する視界状態検知装置20とを備えている。
ワイパ11は、ワイパ用駆動回路12により駆動されて、フロントガラスWの外面Woを払拭して雨滴Rを除去する払拭手段として機能する。また、エアコン装置13は、エアコン用駆動回路14により駆動されて、フロントガラスWよりも内面側の空調を行いフロントガラスWの内面Wiの曇りCを除去する空調手段として機能する。
制御装置15は、後述するように視界状態検知装置20から入力されるワイパ駆動信号に応じて、ワイパ11を所定の周期で駆動するためにワイパ用駆動回路12を駆動制御するとともに、視界状態検知装置20から入力されるエアコン駆動信号に応じて、エアコン装置13を駆動するためにエアコン用駆動回路14を駆動制御する。
図2に示すように、視界状態検知装置20は、フロントガラスWの内面Wi近傍に配置されている。当該視界状態検知装置20は、主に、ケース21とこのケース21に収容される光源22と、画像センサ23と、光源22および画像センサ23等を制御する制御回路24とを備えている。
光源22は、例えば、LEDであって、フロントガラスWに向けて平行光である照射光Lを照射するようにフロントガラスW近傍のケース21の底壁21aに配置されている。この光源22の照射部には、照射光Lの断面形状より大きく形成されて、入射する照射光Lを当該照射光Lの照射方向に拡散するすりガラス等の拡散部材22aが設けられている。この拡散部材22aは、入射する照射光Lを照射方向に拡散することにより、拡散部材22aを介した照射光Lの断面における明るさを均一にする役割を果たす。
画像センサ23は、照射光LがフロントガラスWの内面Wiにて反射された内面側反射光Liと、フロントガラスWの外面Woにて反射された外面側反射光Loとが集光レンズ23bを介して撮像素子23aに集光されるように、基板25上に配置されている。この基板25上には制御回路24や後述する基準画像Db等が記憶されるメモリ(図示略)も同様に配置されており、当該基板25は、ケース21の側壁21bに取り付けられている。
このように構成される視界状態検知装置20では、フロントガラスWの外面Woに雨滴Rが付着しており、この雨滴Rにより外面側反射光Loが外方へ反射されると、図3に示すように、画像センサ23にて生成される画像(D)において外面側反射光Loが占める第1領域Poは、雨滴Rにより外方へ反射された部分が欠けた形状になる。一方、内面側反射光Liには雨滴Rが影響しないので、画像センサ23にて生成される画像(D)において内面側反射光Liが占める第2領域Piは、例えば光源断面が丸いLEDの場合、円形状になる。なお、フロントガラスWの外面Woに雨滴Rが付着しておらず、外面側反射光Loが雨滴Rにより外方へ反射されない場合には、第1領域Poは同様に円形状になる。
また、フロントガラスWの内面Wiに曇りCが発生し、この曇りCにより外面側反射光Loおよび内面側反射光Liが散乱された状態で反射すると、図4に示すように、画像センサ23にて生成される画像(D)において外面側反射光Loが占める第1領域Poおよび内面側反射光Liが占める第2領域Piの輪郭が不明瞭になる。
本第1実施形態に係る視界状態検知装置20では、雨滴Rや曇りC等の制限物を、画像センサ23にて生成される検知用画像Dにおいて外面側反射光Loが占める第1領域Poおよび内面側反射光Liが占める第2領域Piに基づいて検知するように構成されている。
以下、視界状態検知装置20の制御回路24における制限物検知処理について図5〜図8を用いて詳細に説明する。
図5および図6は、本第1実施形態に係る視界状態検知装置20の制御回路24における制限物検知処理を例示するフローチャートである。図7は、フロントガラスWに制限物が付着していない状態での第1画像D(図7(A))および第2画像D(図7(B))と両画像の差分画像である検知用画像D(図7(C))との関係を示す説明図である。図8は、フロントガラスWに雨滴Rが付着する状態での第1画像D(図8(A))および第2画像D(図8(B))と両画像の差分画像である検知用画像D(図8(C))との関係を示す説明図である。図9は、フロントガラスWに曇りCが発生する状態での第1画像D(図9(A))および第2画像D(図9(B))と両画像の差分画像である検知用画像D(図9(C))との関係を示す説明図である。
制御回路24に電力が供給されると、まず、図5のステップS101にてワイパ駆動信号が制御装置15に出力される。このワイパ駆動信号が制御装置15に入力されると、この制御装置15に制御されてワイパ用駆動回路12がワイパ11を1回または数回払拭させて、フロントガラスWの外面Woに雨滴Rが付着している場合にはこの雨滴Rが除去される。
そして、ステップS103にてエアコン駆動信号が制御装置15に出力される。このエアコン駆動信号が制御装置15に入力されると、この制御装置15に制御されてエアコン用駆動回路14がエアコン装置13を所定時間作動させて、フロントガラスWの内面Wiに曇りCが発生している場合にはこの曇りCが除去される。
次に、ステップS105にて消灯処理がなされて光源22が消灯状態になると、ステップS107において、第1画像生成処理がなされる。これにより、図7(A)に示すように、照射光Lが含まれないフロントガラスWを介した背景に応じた光が画像センサ23の撮像素子23aに受光されて、背景のみの第1画像Dが生成される。
次に、ステップS109にて点灯処理がなされて光源22が点灯状態になると、光源22から拡散部材22aを介して照射される照射光Lは、フロントガラスWの内面Wiにて反射される内面側反射光Liとして撮像素子23aに受光されるとともに、フロントガラスWの外面Woにて反射される外面側反射光Loとして撮像素子23aに受光される。
そして、ステップS111において、第2画像生成処理がなされる。これにより、図7(B)に示すように、外面側反射光Loおよび内面側反射光Liと背景とを含む第2画像Dが生成される。このとき、上述したように雨滴Rおよび曇りCを除去した直後でありフロントガラスWには視界を制限する雨滴Rの付着や曇りCの発生がないので、第2画像Dにおいて外面側反射光Loが占める第1領域Poが欠けることもなく、また、この第1領域Poおよび内面側反射光Liが占める第2領域Piの輪郭が不明瞭になることもない。特に、照射光Lは平行光であるため、第1領域Poおよび第2領域Piの輪郭がより明確になっている。
次に、ステップS113において、差分画像生成処理がなされる。この処理では、第1画像Dと第2画像Dと差分画像である検知用画像Dが生成される。第1画像Dには背景のみが撮像され、第2画像Dには背景と外面側反射光Loおよび内面側反射光Liとが撮像されているので、検知用画像Dには第1領域Poおよび第2領域Piのみが形成されることとなる(図7(C)参照)。なお、検知用画像Dは、特許請求の範囲に記載の「雨滴検知用画像」や「曇り判定用画像」に相当する。
次に、ステップS115において、基準画像Dbが設定済みか否かについて判定される。この段階では、基準画像Dbが設定されておらず(S115でNo)、ステップS117にて、基準画像設定処理がなされる。この処理では、基準画像DbがステップS113にて生成された検知用画像Dに等しくなるように設定されて、図略のメモリに記憶される。そして、再度ステップS105からの処理が繰り返される。
上述のように基準画像Dbが設定された後にステップS113にて検知用画像Dが生成されると、ステップS115にてYesと判定されて、図6のステップS119において、面積比測定処理がなされる。この処理では、検知用画像Dにおける第2領域Piの面積に対する第1領域Poの面積の面積比Sが測定される。上述したように雨滴Rを除去した直後であり後述するように第1領域Poの一部が欠けることもなく、両領域の面積は等しくなるので、面積比Sは1にほぼ等しくなる。
そして、ステップS121において、面積比Sが所定の閾値Sp以下であるか否かについて判定される。ここで、所定の閾値Spは、少量の雨滴RがフロントガラスWの外面Woに付着している状態に相当する値であって、1よりも小さい値に設定されている。この段階では、上述したように面積比Sは1にほぼ等しいので、ステップS121にてNoと判定されて、後述するステップS123の処理を行うことなくステップS125の処理が実行される。
ステップS125の輝度比測定処理では、基準画像Dbの両領域Po,Piの輝度に対する検知用画像Dの両領域Po,Piの輝度の輝度比Bが測定される。上述したように曇りCを除去した直後であり後述するように両領域Po,Piの輪郭が不明瞭にならないことから、基準画像Dbの両領域Po,Piの輝度と検知用画像Dの両領域Po,Piの輝度とは等しくなるので、輝度比Bは1にほぼ等しくなる。
次に、ステップS127において、輝度比Bが所定の閾値Bp以下であるか否かについて判定される。ここで、所定の閾値Bpは、少量の曇りCがフロントガラスWの内面Wiに発生している状態に相当する値であって、1よりも小さい値に設定されている。この段階では、上述したように輝度比Bは1にほぼ等しいので、ステップS127にてNoと判定されて、後述するステップS129の処理を行うことなく上述した図5のステップS105からの処理が繰り返される。
上述のような繰り返し処理中に、雨滴RがフロントガラスWの外面Woに付着してこの雨滴Rにより外面側反射光Loの一部が外方に反射されると、ステップS111にて生成される第2画像Dでは、外面側反射光Loが占める第1領域Poは、雨滴Rにより外方へ反射された部分が欠けた形状になる(図8(B)参照)。
そして、ステップS113にて第1画像Dと第2画像Dとの差分画像である検知用画像Dが生成される。この検知用画像Dでは、一部が欠けた第1領域Poおよび円形の第2領域Piのみが形成されることとなる(図8(C)参照)。
次に、ステップS115にてNoと判定されて、図6のステップS119にて面積比測定処理がなされる。この段階では第1領域Poは一部が欠けているので、面積比Sが所定の閾値Sp以下になることにより、雨滴Rが検知されて、ステップS121にてYesと判定される。これにより、第2領域Piに対する第1領域Poの変化の程度を検出することにより、フロントガラスWの外面Woに付着する雨滴Rを検知することができる。
そして、ステップS123において、ワイパ駆動信号出力処理がなされる。この処理では、ステップS121における雨滴Rの検知に応じてワイパ駆動出力信号が制御装置15に出力される。このワイパ駆動信号が制御装置15に入力されると、この制御装置15に制御されてワイパ用駆動回路12がワイパ11を払拭させることにより、フロントガラスWの外面Woの雨滴Rが除去される。これにより、特別な操作をすることなくフロントガラスWを介した視界を確保することができる。
なお、雨量が多い場合には第1領域Poの欠けた領域が大きくなる傾向があることから、面積比Sに基づいてワイパ11の払拭速度を増加させるワイパ駆動信号を出力するようにしてもよい。例えば、面積比Sが小さくなるほどワイパ11の払拭速度を増加させるワイパ駆動信号を出力してもよい。
また、上述のような繰り返し処理中に、曇りCがフロントガラスWの内面Wiに発生してこの曇りCにより外面側反射光Loおよび内面側反射光Liが散乱された状態で反射すると、ステップS111にて生成される第2画像Dでは第1領域Poおよび第2領域Piの輪郭が不明瞭になる(図9(B)参照)。
そして、ステップS113にて第1画像Dと第2画像Dとの差分画像である検知用画像Dが生成される。この検知用画像Dでは、輪郭が不明瞭な第1領域Poおよび第2領域Piのみ形成されることとなる(図9(C)参照)。
次に、ステップS115にてNoと判定されて、図6のステップS119にて面積比測定処理がなされる。この段階では第1領域Poと第2領域Piの輪郭が不明瞭なものの、面積比Sは1にほぼ等しい状態が維持されるので、ステップS121にてNoと判定される。
そして、ステップS125の輝度比測定処理では、検知用画像Dにおける第2領域Piの輝度に対する第1領域Poの輝度の輝度比Bが測定される。上述したように第1領域Poおよび第2領域Piの輪郭が不明瞭であるため、輪郭が不明瞭でない基準画像Dbでの両領域Po,Piと比較して、輝度が低くなる。
このため、輝度比Bが所定の閾値Bp以下になることにより、曇りCが検知されて、ステップS127にてYesと判定される。これにより、予め生成された基準画像Dbにおける両領域Po,Piの輝度と、検知用画像Dにおける両領域Po,Piの輝度とを比較することにより、フロントガラスWの内面Wiに発生する曇りCを検知することができる。
そして、ステップS129において、エアコン駆動信号出力処理がなされる。この処理では、ステップS127における曇りCの検知に応じてエアコン駆動信号が制御装置15に出力される。このエアコン駆動信号が制御装置15に入力されると、この制御装置15に制御されてエアコン用駆動回路14がエアコン装置13を駆動させることにより、フロントガラスWの内面Wiの曇りCが除去される。これにより、特別な操作をすることなくフロントガラスWを介した視界を確保することができる。
以上説明したように、本第1実施形態に係る視界状態検知装置20では、フロントガラスWを介した視界を制限する制限物がフロントガラスWの外面Woに付着する雨滴Rである場合、制御回路24は画像センサ23により、外面側反射光Loと内面側反射光Liとを受光して雨滴検知用の画像である検知用画像Dを生成する。そして、この検知用画像Dにおいて、外面側反射光Loが占める第1領域Poと内面側反射光Liが占める第2領域Piとに基づいて雨滴Rを検知する。
これにより、外面側反射光Loの一部が雨滴Rにより外方に反射されると第1領域Poは一部が欠けた形状になるので、両領域Po,Piの変化の程度を検出することにより、フロントガラスWの外面Woに付着する雨滴Rを検知することができる。
特に、検知用画像Dにおいて、第1領域Poの面積と第2領域Piの面積との面積比Sに基づいて雨滴Rを検知しており、両反射光Lo,Liは平行光であり輪郭が明確であるため、両領域Po,Piの面積が正確に演算されるので、雨滴Rを精度良く検知することができる。
また、本第1実施形態に係る視界状態検知装置20では、フロントガラスWを介した視界を制限する制限物がフロントガラスWの内面Wiに発生する曇りCである場合、制御回路24は、曇りCが発生していない場合に予め生成された基準画像Dbにおける両領域Po,Piと、曇り判定用の画像である検知用画像Dにおける両Po,Piとに基づいて曇りCを検知する。
これにより、曇りCが発生すると両領域Po,Piの輪郭が不明瞭となるので、予め生成された基準画像Dbにおける両領域Po,Piと、検知用画像Dにおける両領域Po,Piとを比較することにより、曇りCを検知することができる。
特に、基準画像Dbにおける両領域Po,Piと検知用画像Dにおける両領域Po,Piの輝度との輝度比Bに基づいて曇りCを検知しており、検知用画像Dにおいて散乱された状態で受光される両反射光Lo,Liが占める両領域Po,Piの輝度は、基準画像Dbにおける両領域Po,Piの輝度より小さくなるので、各領域Po,Piの輝度比Bに基づいて曇りCを精度良く検知することができる。
また、本第1実施形態に係る視界状態検知装置20では、雨滴Rおよび曇りCを一組の光源22および画像センサ23を利用して検知することができるので、雨滴検知専用装置および曇り検知専用装置をそれぞれ設ける場合と比較して、当該装置の製造コストを低減させるとともに小型化を図ることができる。
さらに、本第1実施形態に係る視界状態検知装置20では、光源22とフロントガラスWとの間には照射光Lの断面形状より大きく形成されて、入射する照射光Lを当該照射光Lの照射方向に拡散する拡散部材22aが配置されている。これにより、拡散部材22aを介した照射光Lの断面における明るさが均一になるので、検知用画像Dにおいて外面側反射光Loが占める第1領域Poおよび内面側反射光Liが占める第2領域Piの輝度がその領域において均一化され、両領域Po,Piに基づく雨滴Rおよび曇りC等の制限物の検知精度を向上させることができる。
さらに、本第1実施形態に係る視界状態検知装置20では、制御回路24は画像センサ23により、検知用画像Dを、光源22を照射させないときに両反射光Lo,Liを受光せずに生成される第1画像Dと、光源22を照射させるときに両反射光Lo,Liを受光して生成される第2画像Dと、の差分画像に基づいて生成する。両画像D,Dの差分である検知用画像Dには、両反射光Lo,Liのみが撮像されることとなるので、背景の影響をなくして雨滴Rおよび曇りC等の制限物を精度良く検知することができる。
さらに、本第1実施形態に係る視界状態検知装置20では、光源22および画像センサ23は、フロントガラスWに近接させて同一ケース21内に配置されている。光源22から照射される平行光(照射光L)を利用するためであり、これにより、当該視界状態検知装置20をユニット化するとともに小型化することができる。
また、本第1実施形態に係る視界確保装置10では、フロントガラスWの外面Woを払拭する払拭手段であるワイパ11およびワイパ用駆動回路12が設けられている。そして、視界状態検知装置20による雨滴Rの検知に応じて、制御装置15によりワイパ11を作動させて当該雨滴Rを除去することによりフロントガラスWを介した視界を確保する。これにより、フロントガラスWの外面Woの雨滴Rが検知された場合には、ワイパ11が作動して雨滴Rが除去されるので、特別な操作をすることなくフロントガラスWを介した視界を確実に確保することができる。
また、本第1実施形態に係る視界確保装置10では、フロントガラスWよりも内面側の空調を行う空調手段であるエアコン装置13およびエアコン用駆動回路14が設けられている。そして、視界状態検知装置20による曇りCの検知に応じて、エアコン装置13を作動させて当該曇りCを除去することによりフロントガラスWを介した視界を確保する。これにより、フロントガラスWの内面Wiの曇りCが検知された場合には、エアコン装置13が作動して曇りCが除去されるので、特別な操作をすることなくフロントガラスWを介した視界を確実に確保することができる。
[第2実施形態]
次に、本発明の第2実施形態に係る視界状態検知装置について図10を参照して説明する。図10は、本第2実施形態に係る視界状態検知装置20aの詳細断面図である。
本第2実施形態に係る視界状態検知装置20aでは、反射鏡26を新たに採用するとともに、光源22を基板25に配置する点が、上記第1実施形態に係る視界状態検知装置20と異なる。したがって、第1実施形態の視界状態検知装置20と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
図10に示すように、拡散部材22aが取り付けられた光源22は、その光軸が画像センサ23における光軸とほぼ平行になるように基板25上に配置されている。反射鏡26は、フロントガラスW近傍であってケース21の底壁21aに固定されて、光源22から照射される照射光LをフロントガラスWに向けて反射するとともに、このように反射される反射光をフロントガラスにて反射させて、両反射光Lo,Liが画像センサ23にて受光させるように構成されている。なお、図10では、説明の便宜上、制御回路24が図示されていないが、当該制御回路24は、本第2実施形態でも上記第1実施形態と同様に、基板25上に配置されている。また、フロントガラスWに対する反射鏡26の反射角度を調整することにより、光源22の光軸と画像センサ23の光軸とを平行にしなくてもよい。
このように本第2実施形態に係る視界状態検知装置20aでは、上記反射鏡26を採用することにより、光源22および画像センサ23を同一基板25上に配置することで配線作業等が容易になることから、視界状態検知装置20aの小型化に加えて、製造コストを低減することができる。
なお、本発明は上記実施形態に限定されるものではなく、以下のように具体化してもよく、その場合でも、上記実施形態と同等の作用・効果が得られる。
(1)視界状態検知装置20をフロントガラスWの外面Woの雨滴Rのみを検知する雨滴検知装置として使用するとともに、視界確保装置10を雨滴検知装置による雨滴Rの検知に応じてフロントガラスWの外面Woを払拭して雨滴Rを除去する払拭装置として使用してもよい。
また、視界状態検知装置20をフロントガラスWの内面Wiの曇りCのみを検知する曇り検知装置として使用するとともに、視界確保装置10を曇り検知装置による曇りCの検知に応じてフロントガラスWの内面Wiの曇りCを除去する空調装置として使用してもよい。この場合、検知用画像Dにおいて、外面側反射光Loが占める第1領域Poのみに基づいて曇りCを検知してもよいし、内面側反射光Liが占める第2領域Piのみに基づいて曇りCを検知してもよい。
(2)図11は、他の画像センサにて生成される検知用画像Dとこの検知用画像Dにおける第1領域Poおよび第2領域Piとの関係を示す説明図である。
検知用画像Dは、他の画像センサ、例えば、レーンキーピングシステム等にて使用されるフロントガラスWを介した視界に対応する画像を生成する画像センサにより、フロントガラスWにて反射される外面側反射光Loおよび内面側反射光Liを受光して生成されてもよい。そして、検知用画像Dの第1領域Poおよび第2領域Piに基づいて、フロントガラスWに付着等する雨滴Rまたは曇りCを検知する。
また、他の光源、例えば、イモビライザシステムにおいてダッシュボード上で点滅等する光源からの照射光を利用してフロントガラスWにて反射される外面側反射光Loおよび内面側反射光Liを画像センサ23に受光させてもよい。
これにより、制限物を検知するための専用の画像センサや光源を設ける必要がないので、当該視界状態検知装置20の製造コストを低減することができる。なお、上記他の画像センサは、特許請求の範囲に記載の「画像生成手段」に相当し、上記他の光源は、特許請求の範囲に記載の「光源」に相当する。
(3)図12は、複数の照射光Lが照射される場合での検知用画像Dにおける各第1領域Po〜Poと各第2領域Pi〜Piとの関係を示す説明図である。
光源22は、1つ設けられることに限らず、複数設けられてもよい。これにより、図12に示すように、検知用画像Dにおいて外面側反射光Loが占める第1領域(Po〜Po)と内面側反射光Liが占める第2領域(Pi〜Pi)とが複数箇所形成されるので、検知対象となる領域が増えて雨滴Rや曇りC等の制限物の検知精度をより向上させることができる。
(4)図13は、拡散板27を介して照射される複数の照射光L〜Lを示す説明図である。
図13に示すように、光源22に代えて、照射領域を拡大させる拡大光源22bと、この拡大光源22bとフロントガラスWとの間に配置されて入射する照射光Lを当該照射光Lの照射方向に拡散する拡散板27とを設けてもよい。この拡散板27の表面には、複数の円形状の開口部27bを有しこれら各開口部27bを除いて照射光L〜Lを遮断可能な遮断部材27aが設けられている。
これにより、拡大光源22bからの照射光L〜Lは、拡散板27により照射方向に拡散された状態で遮断部材27aの各開口部27bをフロントガラスW方向に通過するので、断面の明るさが均一な平行光を複数照射することができる。このため、拡散部材22aをそれぞれ備えた複数の光源22を設ける場合と同様の効果が得られ、雨滴Rや曇りC等の制限物の検知精度をより向上させることができる。
(5)光源22は、ケース21等に固定されることに限らず、所定の周期で点滅するとともに、照射光LがフロントガラスWに入射する位置を変更させて移動するように構成されてもよい。これにより、検知用画像Dにおける第1領域Poおよび第2領域Piが複数箇所設けられることとなり、複数の光源を設ける場合と同様の効果を得ることができる。
(6)周囲の明るさを検出する明るさセンサ等の明るさ検出手段を新たに備え、制御回路24は、光源22の輝度を、明るさ検出手段により検出される周囲の明るさが明るくなるほど増加するように制御してもよい。これにより、周囲の明るさが明るくなる場合でも、光源22から照射される照射光Lの輝度が増加するので、検知用画像Dにおける第1領域Poおよび第2領域Piとその他の領域との輝度差が良好に保たれて、両領域Po,Piの輪郭を明確にすることができる。
(7)図14は、画像センサ23による受光タイミングと光源22の点滅タイミングとの関係を示すタイムチャートである。
制御回路24は、光源22を常時点灯させることに限らず、図14に示すように、光源22の点滅タイミングを、画像センサ23による両反射光Lo,Liを受光する受光タイミングに応じて点滅させるように制御してもよい。具体的には、画像センサ23が受光状態である場合に光源22が点灯状態になるように制御する。これにより、光源22を常時点灯させる必要がないので、光源22による発熱を抑制するとともに光源22による消費電力を低減することができる。
(8)図6のステップS119において測定される面積比Sに基づいてステップS121にて雨滴Rを検知することに限らず、フロントガラスWを透過する照射光Lの一部が雨滴Rにより外方に反射されると外面側反射光Loの輝度が低下することから、第1領域Poの輝度と第2領域Piの輝度との輝度比に基づいて雨滴Rを検知してもよい。
(9)検知用画像Dは、背景のみの第1画像Dと内面側反射光Liおよび外面側反射光Loと背景とを含む第2画像Dとの差分画像により生成されることに限らず、背景の影響が少ない場合等、第2画像Dをそのまま検知用画像Dとして使用してもよい。
(10)図15は、第1合成用画像Dsおよび第2合成用画像Dsと両合成用画像を合成して生成される検知用画像Dとの関係を示す説明図である。
図15に示すように、検知用画像Dは、外面側反射光Loのみを受光して生成される第1合成用画像Dsと内面側反射光Liのみを受光して生成される第2合成用画像Dsとの合成画像により生成されてもよい。
特に、上記合成画像により検知用画像Dを生成する場合、第1合成用画像Dsを生成する際の光源22の輝度を第2合成用画像Dsを生成する際の光源22の輝度よりも所定量増加させてもよい。外面側反射光Loは、フロントガラスWを透過するため減衰してしまう。そこで、この減衰度合に応じた所定量だけ、外面側反射光Loのみを受光する場合の光源22の輝度を、内面側反射光Liのみを受光する場合の光源22の輝度よりも増加させる。このため、外面側反射光LoにおけるフロントガラスWを透過したことによる減衰の影響がなくなるので、第1領域Poと第2領域Piとにおける単位面積当たりの輝度が等しくなる。これにより、雨滴Rの存在による第1領域Poおよび第2領域Piの差が正確になり、雨滴Rを精度良く検知することができる。
また、上記第1合成用画像Dsにおいて外面側反射光Loを受光する受光時間を上記第2合成用画像Dsにおいて内面側反射光Liを受光する受光時間よりも所定時間だけ長くすることにより、外面側反射光LoにおけるフロントガラスWを透過したことによる減衰の影響をなくしてもよい。
(11)図16(A)は、親水性コーティングが施された場合の雨滴Rの状態と検知用画像Dとを示す説明図であり、図16(B)は、親水性コーティングが施されていない場合の雨滴Rの状態と検知用画像Dとを示す説明図である。
フロントガラスWの外面Woのうち外面側反射光Loが反射される外面Woには当該外面Woを親水性コーティングするためのコーティング材28を塗布してもよい。
このため、フロントガラスWの外面Woに付着する雨滴Rの表面張力が減少して雨滴RがフロントガラスWの外面Woに沿い広がるので、フロントガラスWの外面Woに親水性コーティングを施さない場合(図16(B)参照)と比較して、照射光Lが雨滴RによってフロントガラスWの外方に反射される領域が大きくなる(図16(A)参照)。このため、検知用画像Dの外面側反射光Loが占める第1領域Poにおいて雨滴Rに相当する部分が大きく欠けるので、第2領域Piに対する第1領域Poの変化の程度が大きくなり、雨滴Rを精度良く検知することができる。
(12)図6のステップS125において測定される輝度比Bに基づいてステップS127にて曇りCを検知することに限らず、基準画像Dbにおいて両領域Po,Piのうち所定の輝度以上の領域の面積と、検知用画像Dにおいて両領域Po,Piのうち上記所定の輝度以上の領域の面積と、の面積比に基づいて曇りCを検知してもよい。
光源22からの照射光Lが曇りCにより散乱されると、検知用画像Dにおける両領域Po,Piは、中心から離間するほど輝度が低下する。そこで、検知用画像Dにおける両領域Po,Piのうち所定の輝度、例えば、中心の輝度と周縁の輝度と間に相当する輝度以上の領域の面積を測定し、この面積と、基準画像Dbにおける両領域Po,Piのうち上記所定の輝度以上の領域の面積とを比較することで、曇りCを精度良く検知することができる。
(13)図17は、検知用画像Dにおいて加熱範囲Hにて反射される反射光が占める各領域Po,Piと非加熱範囲にて反射される反射光が占める各領域Po,Piとを示す説明図である。
フロントガラスWのうちの一部である加熱範囲Hのみを加熱するヒータを設けるとともに、加熱範囲Hに照射光Lを照射するための光源と、ヒータにより加熱されない非加熱範囲に照射光Lを照射するための光源とをそれぞれ少なくとも1つ以上設けてもよい。このとき、加熱範囲Hにより反射される外面側反射光Loおよび内面側反射光Liと、非加熱範囲により反射される外面側反射光Loおよび内面側反射光Liとが受光されて検知用画像Dが生成される。そして、この検知用画像Dにおいて、加熱範囲Hにより反射される両反射光Lo,Liが占める領域Po,Piと非加熱範囲により反射される両反射光Lo,Liが占める領域Po,Piとに基づいて曇りCを検知する。なお、加熱範囲Hにより反射される両反射光Lo,Liは、特許請求の範囲に記載の「基準反射光」に相当し、非加熱範囲により反射される両反射光Lo,Liは、特許請求の範囲に記載の「曇り検知用反射光」に相当する。
例えば、加熱範囲Hに照射光を照射する光源を2つ設けるとともに非加熱範囲に照射光を照射するための光源を2つ設けると、検知用画像Dには、図17に示すように、加熱範囲Hにて反射される外面側反射光Loおよび内面側反射光Liがそれぞれ占める第1領域Po,Poおよび第2領域Pi,Piと、非加熱範囲にて反射される外面側反射光Loおよび内面側反射光Liがそれぞれ占める第1領域Po,Poおよび第2領域Pi,Piとが形成される。
このとき、加熱範囲Hには曇りが発生することがないので、非加熱範囲に曇りが発生している場合には、図17に示すように、検知用画像Dにおいて第1領域Po,Poおよび第2領域Pi,Piと、第1領域Po,Poおよび第2領域Pi,Piとの差が明確になる。これにより、予め生成される基準画像Dbを用いることなく、曇りCをより精度良く検知することができる。
(14)光源22および画像センサ23は、同一ケース21内に配置されなくてもよい。また、例えば、光源22が略水平方向に照射した照射光LがフロントガラスWにて略鉛直方向に反射されて画像センサ23にて受光されるように、光源22および画像センサ23を配置するようにしてもよい。
(15)図18は、検知用画像Dにて両反射光Lo,Liが占める第1領域Poおよび第2領域Piの変形例を示す説明図である。
検知用画像Dにて外面側反射光Loおよび内面側反射光Liが占める第1領域Poおよび第2領域Piは、円形状に限らず、例えば、図18に示すように、略矩形状であってもよい。
本発明の第1実施形態に係る視界状態検知装置を備える視界確保装置の概略構成を示す説明図である。 第1実施形態に係る視界状態検知装置の詳細断面図である。 フロントガラスの外面に雨滴が付着した場合に検知用画像における第1領域と第2領域との関係を示す説明図である。 フロントガラスの内面に曇りが発生した場合に検知用画像における第1領域と第2領域との関係を示す説明図である。 本第1実施形態に係る視界状態検知装置の制御回路における制限物検知処理を例示するフローチャートの一部である。 本第1実施形態に係る視界状態検知装置の制御回路における制限物検知処理を例示するフローチャートの一部である。 フロントガラスに制限物が付着していない状態での第1画像および第2画像と両画像の差分画像である検知用画像との関係を示す説明図である。 フロントガラスに雨滴が付着する状態での第1画像および第2画像と両画像の差分画像である検知用画像との関係を示す説明図である。 フロントガラスに曇りが発生する状態での第1画像および第2画像と両画像の差分画像である検知用画像との関係を示す説明図である。 本第2実施形態に係る視界状態検知装置の詳細断面図である。 他の画像センサにて生成される検知用画像とこの検知用画像における各領域との関係を示す説明図である。 複数の照射光が照射される場合での検知用画像における各領域の関係を示す説明図である。 拡散板を介して照射される複数の照射光を示す説明図である。 画像センサによる受光タイミングと光源の点滅タイミングとの関係を示すタイムチャートである。 第1合成用画像および第2合成用画像と両合成用画像を合成して生成される検知用画像との関係を示す説明図である。 図16(A)は、親水性コーティングが施された場合の雨滴の状態と検知用画像とを示す説明図であり、図16(B)は、親水性コーティングが施されていない場合の雨滴の状態と検知用画像とを示す説明図である。 検知用画像において加熱範囲にて反射される反射光が占める各領域と非加熱範囲にて反射される反射光が占める各領域とを示す説明図である。 検知用画像にて両反射光が占める各領域の変形例を示す説明図である。
符号の説明
10…視界確保装置
11…ワイパ(払拭手段)
12…ワイパ用駆動回路(払拭手段)
13…エアコン装置(空調手段)
14…エアコン用駆動回路(空調手段)
15…制御装置(払拭手段,空調手段)
20,20a…視界確保装置
22…光源
22a…拡散部材
23…画像センサ(画像生成手段)
24…制御回路
25…基板
26…反射鏡
B…輝度比
Bp…所定の閾値
C…曇り(制限物)
D…検知用画像(雨滴検知用画像,曇り判定用画像)
…第1画像
…第2画像
Db…基準画像
L…照射光
Li…内面側反射光
Lo…外面側反射光
Pi…第2領域(領域)
Po…第1領域(領域)
S…面積比
Sp…所定の閾値
R…雨滴(制限物)
W…フロントガラス
Wi…内面
Wo…外面

Claims (23)

  1. 車両のフロントガラスを介した視界を制限する制限物を検知可能な視界状態検知装置であって、
    光源から照射される照射光が前記フロントガラスにより反射される反射光を受光して検知用画像を生成する画像生成手段を備え、
    前記検知用画像において前記反射光が占める領域に基づいて前記制限物を検知することを特徴とする視界状態検知装置。
  2. 前記光源と前記フロントガラスとの間には前記照射光の断面形状より大きく形成されて入射する前記照射光を当該照射光の照射方向に拡散する拡散部材が配置されることを特徴とする請求項1に記載の視界状態検知装置。
  3. 前記光源を複数備えることを特徴とする請求項1または2に記載の視界状態検知装置。
  4. 前記光源に代えて、照射領域を拡大させる拡大光源と、この拡大光源と前記フロントガラスとの間に配置されて入射する前記照射光を当該照射光の照射方向に拡散する拡散板とを備え、
    前記拡散板の表面には、複数の開口部を有しこれら各開口部を除いて前記照射光を遮断可能な遮断部材が設けられることを特徴とする請求項1に記載の視界状態検知装置。
  5. 前記光源は、所定の周期で点滅するとともに、前記照射光が前記フロントガラスに入射する位置を変更させるように移動することを特徴とする請求項1または2に記載の視界状態検知装置。
  6. 前記画像生成手段は、前記検知用画像を、前記光源を照射させないときに前記反射光を受光せずに生成される画像と、前記光源を照射させるときに前記反射光を受光して生成される画像と、の差分画像に基づいて生成することを特徴とする請求項1〜5のいずれか一項に記載の視界状態検知装置。
  7. 周囲の明るさを検出する明るさ検出手段を備え、
    前記光源は、その輝度が、前記明るさ検出手段により検出される前記周囲の明るさが明るくなるほど増加することを特徴とする請求項1〜6のいずれか一項に記載の視界状態検知装置。
  8. 前記光源は、前記画像生成手段において前記反射光を受光する受光タイミングに応じて点滅することを特徴とする請求項1〜7のいずれか一項に記載の視界状態検知装置。
  9. 前記光源および前記画像生成手段を前記フロントガラスに近接させて同一ケース内に配置することを特徴とする請求項1〜8のいずれか一項に記載の視界状態検知装置。
  10. 前記光源および前記画像生成手段を同一基板上に配置し、
    前記光源から照射される前記照射光を前記フロントガラスに向けて反射するとともに、このように反射される反射光を前記フロントガラスにて反射させて前記画像生成手段に受光させる反射鏡を設けることを特徴とする請求項1〜8のいずれか一項に記載の視界状態検知装置。
  11. 前記制限物は、前記フロントガラスの外面に付着する雨滴であって、
    前記画像生成手段は、前記照射光が前記フロントガラスの内面により反射される内面側反射光と、前記照射光が前記フロントガラスの外面により反射される外面側反射光と、を受光して雨滴検知用画像を生成し、
    前記雨滴検知用画像において、前記内面側反射光が占める領域と前記外面側反射光が占める領域とに基づいて前記雨滴を検知することを特徴とする請求項1〜10のいずれか一項に記載の視界状態検知装置。
  12. 前記雨滴検知用画像において、前記内面側反射光が占める領域の面積と前記外面側反射光が占める領域の面積との面積比に基づいて前記雨滴を検知する請求項11に記載の視界状態検知装置。
  13. 前記雨滴検知用画像において、前記内面側反射光が占める領域の輝度と前記外面側反射光が占める領域の輝度との輝度比に基づいて前記雨滴を検知する請求項11に記載の視界状態検知装置。
  14. 前記画像生成手段は、前記雨滴検知用画像を、前記光源を照射させるときに前記内面側反射光のみを受光して生成される画像と、この画像を生成する際の前記光源の輝度よりも所定量増加した輝度にて前記光源を照射させるときに前記外面側反射光のみを受光して生成される画像と、を合成して生成することを特徴とする請求項11〜13のいずれか一項に記載の視界状態検知装置。
  15. 前記画像生成手段は、前記雨滴検知用画像を、前記内面側反射光のみを受光して生成される画像と、この画像を生成する際の受光時間よりも所定時間長くした受光時間にて前記外面側反射光のみを受光して生成される画像と、を合成して生成することを特徴とする請求項11〜13のいずれか一項に記載の視界状態検知装置。
  16. 前記フロントガラスの外面のうち前記外面側反射光が反射される外面には親水性コーティングが施されていることを特徴とする請求項11〜15のいずれか一項に記載の視界状態検知装置。
  17. 前記制限物は、前記フロントガラスの内面に発生する曇りであって、
    前記曇りが発生していない場合に予め前記画像生成手段により前記反射光を受光した状態で基準画像を生成し、
    この基準画像において前記反射光が占める領域と、前記画像生成手段により前記反射光を受光した状態で生成される曇り判定用画像において前記反射光が占める領域とに基づいて前記曇りを検知することを特徴とする請求項1〜10のいずれか一項に記載の視界状態検知装置。
  18. 前記基準画像において前記反射光が占める領域の輝度と前記曇り判定用画像において前記反射光が占める領域の輝度との輝度比に基づいて前記曇りを検知することを特徴とする請求項17に記載の視界状態検知装置。
  19. 前記基準画像において前記反射光が占める領域のうち所定の輝度以上の領域の面積と、前記曇り判定用画像において前記反射光が占める領域のうち前記所定の輝度以上の領域の面積と、の面積比に基づいて前記曇りを検知することを特徴とする請求項17に記載の視界状態検知装置。
  20. 前記フロントガラスのうちの一部である加熱範囲のみを加熱するヒータを設けるとともに、この加熱範囲に照射光を照射するための光源と前記ヒータにより加熱されない非加熱範囲に照射光を照射するための光源とをそれぞれ少なくとも1つ以上設け、
    前記画像生成手段は、前記加熱範囲により反射される基準反射光と前記非加熱範囲により反射される曇り検知用反射光とを受光して曇り検知用画像を生成し、
    前記曇り検知用画像において前記基準反射光が占める領域と前記曇り検知用反射光が占める領域とに基づいて前記曇りを検知することを特徴とする請求項17に記載の視界状態検知装置。
  21. 請求項1〜20のいずれか一項に記載の視界状態検知装置による前記制限物の検知に応じて、当該制限物を除去して前記フロントガラスを介した視界を確保することを特徴とする視界確保装置。
  22. 前記フロントガラスの外面を払拭する払拭手段を備え、
    請求項11〜16のいずれか一項に記載の視界状態検知装置による前記雨滴の検知に応じて、前記払拭手段を作動させて当該雨滴を除去することにより前記フロントガラスを介した視界を確保することを特徴とする視界確保装置。
  23. 前記フロントガラスよりも内面側の空調を行う空調手段を備え、
    請求項17〜20のいずれか一項に記載の視界状態検知装置による前記曇りの検知に応じて、前記空調手段を作動させて当該曇りを除去することにより前記フロントガラスを介した視界を確保することを特徴とする視界確保装置。
JP2008267060A 2008-10-16 2008-10-16 視界状態検知装置および視界確保装置 Expired - Fee Related JP5359175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008267060A JP5359175B2 (ja) 2008-10-16 2008-10-16 視界状態検知装置および視界確保装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008267060A JP5359175B2 (ja) 2008-10-16 2008-10-16 視界状態検知装置および視界確保装置

Publications (2)

Publication Number Publication Date
JP2010096604A true JP2010096604A (ja) 2010-04-30
JP5359175B2 JP5359175B2 (ja) 2013-12-04

Family

ID=42258393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008267060A Expired - Fee Related JP5359175B2 (ja) 2008-10-16 2008-10-16 視界状態検知装置および視界確保装置

Country Status (1)

Country Link
JP (1) JP5359175B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035321A1 (ja) * 2011-09-05 2013-03-14 株式会社ニコン 付着物検出装置
KR20130053546A (ko) * 2011-11-15 2013-05-24 현대자동차일본기술연구소 레인센서 동작 제어 장치 및 방법
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
CN103221805A (zh) * 2010-11-30 2013-07-24 康蒂特米克微电子有限公司 借助于摄像机和照明装置检测窗玻璃上的雨滴
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
US9040915B2 (en) 2009-07-06 2015-05-26 Conti Temic Microelectronic Gmbh Optical module for simultaneously focusing on two fields of view
CN104768809A (zh) * 2013-01-11 2015-07-08 康蒂-特米克微电子有限公司 用于借助摄像装置探测窗玻璃上雨滴的照明装置
JP2015519554A (ja) * 2012-05-03 2015-07-09 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラ及び照明を用いたガラス面の雨滴検出
CN105793124A (zh) * 2013-12-06 2016-07-20 康蒂-特米克微电子有限公司 借助摄像机探测窗玻璃上雨滴的照明装置
US9508015B2 (en) 2011-12-05 2016-11-29 Continental Teves Ag & Co. Ohg Method for evaluating image data of a vehicle camera taking into account information about rain
JP2017501625A (ja) * 2013-12-06 2017-01-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラを用いた窓ガラス上にある雨滴を検出するための照明
US10137842B2 (en) 2011-06-03 2018-11-27 Conti Temic Microelectronic Gmbh Camera system for a vehicle
CN109916859A (zh) * 2017-12-11 2019-06-21 郑州宇通客车股份有限公司 一种用于起雾识别的玻璃及起雾检测装置
DE112014000494B4 (de) * 2013-01-21 2020-04-02 Denso Corporation Vorrichtung zur Bestimmung einer Haftsubstanz
JP2021037869A (ja) * 2019-09-04 2021-03-11 スズキ株式会社 曇検知装置
WO2024051614A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 一种辅助驾驶方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6425036A (en) * 1987-07-20 1989-01-27 Nippon Denso Co Optical liquid detecting device
JPH0628718U (ja) * 1992-09-18 1994-04-15 自動車電機工業株式会社 雨滴センサ
JPH0682552U (ja) * 1993-04-30 1994-11-25 自動車電機工業株式会社 雨滴センサ
JP2001099948A (ja) * 1999-09-29 2001-04-13 Denso Corp レインセンサ
JP2003315256A (ja) * 2002-04-23 2003-11-06 Mitsubishi Electric Corp 透光体表面の異物検出装置
JP2005195566A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
WO2007055001A1 (ja) * 2005-11-08 2007-05-18 Niles Co., Ltd. 車両用ワイパー制御装置および方法
JP2007309655A (ja) * 2006-05-16 2007-11-29 Nippon Soken Inc 雨滴検出装置およびワイパー制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6425036A (en) * 1987-07-20 1989-01-27 Nippon Denso Co Optical liquid detecting device
JPH0628718U (ja) * 1992-09-18 1994-04-15 自動車電機工業株式会社 雨滴センサ
JPH0682552U (ja) * 1993-04-30 1994-11-25 自動車電機工業株式会社 雨滴センサ
JP2001099948A (ja) * 1999-09-29 2001-04-13 Denso Corp レインセンサ
JP2003315256A (ja) * 2002-04-23 2003-11-06 Mitsubishi Electric Corp 透光体表面の異物検出装置
JP2005195566A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
WO2007055001A1 (ja) * 2005-11-08 2007-05-18 Niles Co., Ltd. 車両用ワイパー制御装置および方法
JP2007309655A (ja) * 2006-05-16 2007-11-29 Nippon Soken Inc 雨滴検出装置およびワイパー制御装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9040915B2 (en) 2009-07-06 2015-05-26 Conti Temic Microelectronic Gmbh Optical module for simultaneously focusing on two fields of view
KR101903981B1 (ko) 2010-11-30 2018-10-05 콘티 테믹 마이크로일렉트로닉 게엠베하 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지
CN103221805A (zh) * 2010-11-30 2013-07-24 康蒂特米克微电子有限公司 借助于摄像机和照明装置检测窗玻璃上的雨滴
US20130235381A1 (en) * 2010-11-30 2013-09-12 Conti Temic Microelectronic Gmbh Detection of Raindrops on a Pane by Means of a Camera and Lighting
JP2014502360A (ja) * 2010-11-30 2014-01-30 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング カメラ及び照明による窓ガラス上の雨滴の検出
US9335264B2 (en) 2010-11-30 2016-05-10 Conti Temic Microelectronic Gmbh Detection of raindrops on a pane by means of a camera and lighting
US10137842B2 (en) 2011-06-03 2018-11-27 Conti Temic Microelectronic Gmbh Camera system for a vehicle
JPWO2013035321A1 (ja) * 2011-09-05 2015-03-23 株式会社ニコン 付着物検出装置
WO2013035321A1 (ja) * 2011-09-05 2013-03-14 株式会社ニコン 付着物検出装置
KR101673630B1 (ko) 2011-11-15 2016-11-07 현대자동차일본기술연구소 레인센서 동작 제어 장치 및 방법
KR20130053546A (ko) * 2011-11-15 2013-05-24 현대자동차일본기술연구소 레인센서 동작 제어 장치 및 방법
US9508015B2 (en) 2011-12-05 2016-11-29 Continental Teves Ag & Co. Ohg Method for evaluating image data of a vehicle camera taking into account information about rain
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US9702818B2 (en) 2012-05-03 2017-07-11 Conti Temic Microelectronic Gmbh Detection of raindrops on a windowpane by means of camera and light
JP2015519554A (ja) * 2012-05-03 2015-07-09 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラ及び照明を用いたガラス面の雨滴検出
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
EP2692593A3 (en) * 2012-07-30 2017-12-13 Ricoh Company, Ltd. Foreign substance detection device, moving body control system including foreign substance detection device, and moving body including moving body control system
CN104768809A (zh) * 2013-01-11 2015-07-08 康蒂-特米克微电子有限公司 用于借助摄像装置探测窗玻璃上雨滴的照明装置
CN104768809B (zh) * 2013-01-11 2017-12-08 康蒂-特米克微电子有限公司 用于借助摄像装置探测窗玻璃上雨滴的照明装置
DE112014000494B4 (de) * 2013-01-21 2020-04-02 Denso Corporation Vorrichtung zur Bestimmung einer Haftsubstanz
US9671336B2 (en) 2013-12-06 2017-06-06 Conti Temic Microelectronic Gmbh Illumination for detecting raindrops on a pane by means of a camera
JP2017505002A (ja) * 2013-12-06 2017-02-09 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラを用いた窓ガラス上にある雨滴を検出するための照明
JP2017501625A (ja) * 2013-12-06 2017-01-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH カメラを用いた窓ガラス上にある雨滴を検出するための照明
CN105793124A (zh) * 2013-12-06 2016-07-20 康蒂-特米克微电子有限公司 借助摄像机探测窗玻璃上雨滴的照明装置
EP3077255B1 (de) * 2013-12-06 2019-02-13 Conti Temic microelectronic GmbH Beleuchtung zur detektion von regentropfen auf einer scheibe mittels einer kamera
US10351105B2 (en) 2013-12-06 2019-07-16 Conti Temic Microelectronic Gmbh Illumination for detecting raindrops on a pane by means of a camera
CN109916859A (zh) * 2017-12-11 2019-06-21 郑州宇通客车股份有限公司 一种用于起雾识别的玻璃及起雾检测装置
JP2021037869A (ja) * 2019-09-04 2021-03-11 スズキ株式会社 曇検知装置
JP7443700B2 (ja) 2019-09-04 2024-03-06 スズキ株式会社 曇検知装置
WO2024051614A1 (zh) * 2022-09-06 2024-03-14 华为技术有限公司 一种辅助驾驶方法及相关装置

Also Published As

Publication number Publication date
JP5359175B2 (ja) 2013-12-04

Similar Documents

Publication Publication Date Title
JP5359175B2 (ja) 視界状態検知装置および視界確保装置
JP4668838B2 (ja) 雨滴検出装置およびワイパー制御装置
JP5014306B2 (ja) 支援システムのための光学モジュール
KR101707248B1 (ko) 차량 주변을 캡처하기 위한 카메라 시스템 및 방법
JP4326999B2 (ja) 画像処理システム
US6681163B2 (en) Moisture sensor and windshield fog detector
JP3163889U (ja) 運転における補助のための、及び/又は自動車に設けられたシステムを自動的に作動させるための、自動車に搭載される光センサデバイス
US7019275B2 (en) Moisture sensor and windshield fog detector
JP4226775B2 (ja) 湿気センサ及びフロントガラス曇り検出装置
US9128813B2 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
US9120464B2 (en) Sensor system in a motor vehicle
JP4327024B2 (ja) 画像処理システム
US20120026318A1 (en) Camera system for detecting a state of a vehicle window pane
KR20050113608A (ko) 자동 차량 외부광 제어 장치
JP2015052495A (ja) 導光体、物体検出装置
JP2015052496A (ja) 導光体、物体検出装置
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP6246932B2 (ja) カメラを用いた窓ガラス上にある雨滴を検出するための照明
JP5974902B2 (ja) 雨滴検出装置
JP6086088B2 (ja) ワイパー制御装置
JPH09142259A (ja) 雨滴センサ及び雨滴感応払拭装置
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R151 Written notification of patent or utility model registration

Ref document number: 5359175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees