JP2016102779A - 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 - Google Patents

付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 Download PDF

Info

Publication number
JP2016102779A
JP2016102779A JP2015135483A JP2015135483A JP2016102779A JP 2016102779 A JP2016102779 A JP 2016102779A JP 2015135483 A JP2015135483 A JP 2015135483A JP 2015135483 A JP2015135483 A JP 2015135483A JP 2016102779 A JP2016102779 A JP 2016102779A
Authority
JP
Japan
Prior art keywords
light
light source
irradiation period
detection
adhering matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015135483A
Other languages
English (en)
Other versions
JP6566308B2 (ja
Inventor
洋義 関口
Hiroyoshi Sekiguchi
洋義 関口
真太郎 木田
Shintaro Kida
真太郎 木田
押切 幸治
Koji Oshikiri
幸治 押切
伊藤 泉
Izumi Ito
泉 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US14/924,815 priority Critical patent/US9726604B2/en
Priority to EP15193555.8A priority patent/EP3021109A1/en
Publication of JP2016102779A publication Critical patent/JP2016102779A/ja
Application granted granted Critical
Publication of JP6566308B2 publication Critical patent/JP6566308B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】付着物の検出結果を利用する後段の処理で支障を来す事態を抑制することを課題とする。【解決手段】光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物(雨滴)を検出する付着物検出処理(S26〜S27)を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中(センシングフレームA3)に前記受光手段により受光される受光量(消灯時画素値総和)に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間(雨滴検出用フレームR4)に対応する付着物検出処理を実行するか否かを決定する(S24)ことを特徴とする。【選択図】図26

Description

本発明は、付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法に関するものである。
従来、光源からの光源光を光透過性部材に照射し、その光透過性部材を経由して受光手段により受光される受光量に基づいて、その光透過性部材に付着する付着物を検出する付着物検出装置が知られている。
例えば、特許文献1には、光源が照射した光源光によって照明された自動車のフロントガラスからの反射光を画像センサの雨滴検出領域で受光して撮像し、フロントガラス上に付着している雨滴を検出する雨滴検出装置が開示されている。この雨滴検出装置は、雨滴の検出精度を低下させる光源光以外の外乱光の影響を抑制するため、光源の点灯時(照明期間中)に撮像した点灯時画像と、光源の消灯時(非照明期間中)に撮像した消灯時画像との差分情報に基づいて雨滴を検出する。消灯時画像は外乱光のみを映し出すものであるため、点灯時画像から消灯時画像を差し引いて得られる差分情報は、点灯時画像から外乱光成分を除外したものとなる。特許文献1には、このような差分情報に基づいて雨滴検出を行うことにより、外乱光の影響を抑制した雨滴検出処理が可能となる旨が記載されている。
ところが、このような差分情報に基づいて雨滴等の付着物の検出処理を行う場合でも、外乱光の影響を完全に取り除くことはできない。差分情報中における外乱光成分の残存量は、付着物検出の誤差の大きさに影響を与えることになる。しかも、この残存量は、撮像状況等によって全く異なり、大きなバラツキをもつ。そのため、付着物の検出結果にも大きなバラツキが生じ、その検出結果を利用する後段の処理で付着物の検出結果のバラツキにより様々な支障を来すおそれがある。
なお、この課題は、光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、その光透過性部材に付着する付着物を検出する付着物検出処理を実行する付着物検出装置であれば生じ得るものである。したがって、上述した差分情報を用いて付着物検出処理を行う場合に限らず、照射期間中に受光手段で受光される受光量のみを用いて付着物検出処理を実行する場合でも、上述した課題が生じ得る。
上述した課題を解決するために、本発明は、光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする。
本発明によれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できるという優れた効果が奏される。
実施形態1における移動体機器制御システムの概略構成を示す模式図である。 同移動体機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニットに設けられる撮像部の概略構成を示す説明図である。 フロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 雨滴検出用画像領域に対応する光学フィルタ部分に配置されるフィルタの一例を示す説明図である。 雨滴検出用画像領域に対応する光学フィルタ部分に配置されるフィルタの他の例を示す説明図である。 (a)は、同光学フィルタの断面図であり、(b)は同光学フィルタの画像センサ側の正面図である。 撮像画像データの画像例を示す説明図である。 実施形態1における撮像部の詳細を示す説明図である。 同撮像部を構成する光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 雨滴が付着している状態の実験結果を示す図である。 雨滴が付着していない状態の実験結果を示す図である。 実施形態1において、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。 実施形態1における撮像動作の一例を簡易的に示したタイミングチャートである。 (a)は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。(b)は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。 雨滴検出用フレームにおけるライン読出信号と光源の発光タイミングとの関係の一例を示すタイミングチャートである。 各ラインの露光期間内における光源の発光時期の一例を示す説明図である。 各ラインの露光期間内における光源の発光時期の他の例を示す説明図である。 実験例において、光源がONであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。 実験例において、光源がONであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。 図20に示す画像例において光源光が映し出されている画像部分を拡大した図である。 実施形態1における雨滴検出処理のフローチャートである。 変形例1における雨滴検出処理のフローチャートである。 変形例2における撮像動作及び光源の点灯制御の一例を簡易的に示したタイミングチャートである。 変形例2における雨滴検出処理のフローチャートである。 変形例2においてグローバルシャッタ方式を採用した場合の例を示す説明図である。 実施形態2における撮像ユニットの概略構成を示す模式図である。 実施形態2において、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。
〔実施形態1〕
以下、本発明に係る付着物検出装置を適用した移動体機器制御システムの一実施形態(以下、本実施形態を「実施形態1」という。)について説明する。
なお、本発明に係る付着物検出装置は、移動体機器制御システムに限らず、例えば、光透過性部材に付着する付着物を検出するその他のシステムにも適用できる。
図1は、本実施形態1における移動体機器制御システムの概略構成を示す模式図である。
移動体機器制御システムは、移動体である自動車などの自車両100に搭載された撮像装置で撮像した撮像画像を利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本実施形態1の移動体機器制御システムは、図1に示すように、撮像部を有する撮像ユニット101と、画像解析ユニット102と、車両走行制御ユニット108と、ワイパー制御ユニット106と、ヘッドランプ制御ユニット103とを主に備えている。ここで、車両走行制御ユニット108、ワイパー制御ユニット106、ヘッドランプ制御ユニット103は、自車両100に搭載されている各種車載機器を制御する制御部として機能する。
本実施形態1の移動体機器制御システムに設けられる撮像部は、撮像ユニット101に設けられており、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー付近に設置される。撮像ユニット101の撮像部で撮像された撮像画像データは、画像解析ユニット102に入力される。
画像解析ユニット102は、撮像部から送信されてくる撮像画像データを解析し、自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着する雨滴や付着物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、自車両100の車載機器であるワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や付着物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した付着物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両100のハンドルやブレーキを制御したりするなどの車線維持制御を行う。
図2は、撮像ユニット101の概略構成を示す模式図である。
図3は、撮像ユニット101に設けられる撮像部200の概略構成を示す説明図である。
撮像ユニット101は、撮像部200と、光源202と、これらを収容する撮像ケース201とから構成されている。撮像ユニット101は自車両100のフロントガラス105の内壁面側に設置される。撮像部200は、図3に示すように、撮像レンズ204と、光学フィルタ205と、画像センサ206とから構成されている。光源202は、フロントガラス105に向けて光を照射し、その光がフロントガラス105の外壁面で反射したときにその反射光が撮像部200へ入射するように配置されている。
本実施形態1において、光源202は、フロントガラス105の外壁面に付着した付着物(以下、付着物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。フロントガラス105の外壁面に雨滴203が付着している場合、光源202から照射された光は、フロントガラス105の外壁面と外気との界面で反射し、その反射光が撮像部200へ入射する。このような撮像部200の撮像画像データから、フロントガラス105に付着する雨滴203の検出を行う。
また、本実施形態1において、撮像ユニット101は、図2に示すとおり、撮像部200や光源202を、フロントガラス105とともに撮像ケース201で覆っている。このように撮像ケース201で覆うことにより、フロントガラス105の内壁面が曇るような状況であっても、撮像ユニット101で覆われたフロントガラス105が曇ってしまう事態を抑制できる。よって、フロントガラス105の曇りによって画像解析ユニット102が誤解析するような事態を抑制でき、画像解析ユニット102の解析結果に基づく各種制御動作を適切に行うことができる。
ただし、フロントガラス105の曇りを撮像部200の撮像画像データから検出して、例えば自車両100の空調設備を制御する場合には、撮像部200に対向するフロントガラス105の部分が他の部分と同じ状況となるように、撮像ケース201の一部に空気の流れる通路を形成してもよい。
ここで、本実施形態1では、撮像レンズ204の焦点位置は、無限遠又は無限遠とフロントガラス105との間に設定している。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部200の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス105との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高い。
図4は、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図5は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合、図4に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図4に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
これに対し、無限遠に焦点が合っている場合には、図5に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高い。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
撮像ユニット101の光源202には、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態1の光源202は、赤外光領域の波長を有する光を照射するものである。
ここで、フロントガラス105で反射した光源202からの赤外波長光を撮像部200で撮像する際、撮像部200の画像センサ206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。
そこで、本実施形態1においては、例えば、図6に示すように光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図7に示すように透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を画像センサ206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源202でなくても、光源202からの光を外乱光と区別することが可能となる。
ただし、本実施形態1においては、撮像画像データから、フロントガラス105上の雨滴203を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。
そこで、本実施形態1では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去するフィルタ(以下、「雨滴検出用フィルタ」という場合もある。)を、光学フィルタ205に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域を撮像した撮像画像データの領域である。
図8(a)は、光学フィルタ205の断面図である。
本実施形態1の光学フィルタ205は、図8(a)に示すように、基板221の撮像レンズ側205aの面には、赤外光および可視光相当を透過する分光フィルタ層224が形成されている。また、基板221の画像センサ側205bの面には、偏光フィルタ層222、SOG(Spin On Glass)層223、雨滴検出用フィルタである赤外光透過フィルタ212が順に形成されている。
このようにフィルタ層を光学フィルタ205の基板221の両面に形成することにより、光学フィルタ205の反りを抑制することが可能となる。基板221の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図8(a)のように基板221の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
ここで、基板221は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施形態1では、ガラス、特に、安価で、また耐久性もある石英(屈折率1.46)やテンパックスガラス(屈折率1.51)を基板221の材料として用いる。
また、基板221の光学フィルタ205a側の面に形成された分光フィルタ層224は、波長範囲400nm〜670nmのいわゆる可視光領域と、波長範囲940〜970nmの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層224は、波長700〜940nmの範囲の光を透過しない(透過率5%以下が望ましい)。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
また、光学フィルタ205b側の面に形成された偏光フィルタ層222は、S偏光成分をカットし、P偏光成分のみを透過するフィルタである。この偏光フィルタ層222により、外乱要因や不要反射光(映りこみ光)をカットすることができる。
本実施形態1では、偏光フィルタ層222は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光(例えば、可視光の波長400nmから800nm)に比べてかなり小さいピッチ(例えば、2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
本実施形態1では、偏光フィルタ層222の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。偏光フィルタ層の詳細は、例えば、特開2014−32174号公報等に記載されている。
図8(b)は、光学フィルタ205の画像センサ側の正面図である。
図9は、撮像画像データの画像例を示す説明図である。
光学フィルタ205は、図8(b)に示すように、車両検出用画像領域213である撮像画像中央部(撮像領域の高さ2/4に相当する部分)に対応する箇所に配置される領域211と、雨滴検出用画像領域214である撮像画像上部(撮像領域高さ1/4に相当する部分)及び撮像画像下部(撮像領域高さ1/4に相当する部分)に対応する箇所に配置される赤外光透過フィルタ212とに、領域分割されている。赤外光透過フィルタ212には、図6に示したカットフィルタや図7に示したバンドパスフィルタを用いる。
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上下方向中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在し、撮像画像上部には自車両前方の空の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部や上部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図9に示すように、撮像画像下部と上部を雨滴検出用画像領域214とし、残りの撮像画像中央部を車両検出用画像領域213とし、これに対応して赤外光透過フィルタ212を設けるのが好適である。
ただし、本実施形態1においては、撮像画像上部を雨滴検出用画像領域214とし、残りの撮像画像中央部及び下部を車両検出用画像領域213とする。これは、後述するように、雨滴検出用の撮像フレームのフレーム時間を短くするのに好適だからである。
撮像部200の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態1では、撮像画像下部に対応する箇所に図6に示したカットフィルタや図7に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
図10は、本実施形態1における撮像部200の詳細を示す説明図である。
この撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、受光素子が2次元配置された画素アレイを有する画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。被写体(識別対象物)を含む撮像領域からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、画像センサ206でその光強度に応じた電気信号に変換される。信号処理部208では、画像センサ206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
図11は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いた受光素子であり、画素ごとにフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(Printed Wiring Board)に接合されてセンサ基板207が形成されている。
画像センサ206の露光方式としては、全受光素子で同時に受光(同時露光)して各受光素子の信号を読み出すグローバルシャッタ方式や、所定の受光素子ラインごとに順次受光(ライン露光)して各受光素子の信号を読み出すローリングシャッタ方式を採用することができる。本実施形態1ではローリングシャッタ方式を採用する例について説明する。
光学フィルタ205と画像センサ206はUV接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でUV接着や熱圧着してやればよい。光学フィルタ205と画像センサ206を密着接合することにより、雨滴検出用画像領域214と車両検出用画像領域213の境界が明確になり、雨滴有無の判別精度が上げられる。
次に、本実施形態1による、ワイパー107やウォッシャーを制御するための付着物検出が可能である。ここで、付着物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどを含めることもできる。
光源202は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス105への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、フロントガラス105面の法線に対して撮像部200の光軸と略反対側の位置に設置された場合、および撮像部200の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス105の法線と光源の光軸がほぼ一致した場合である。
なお、光源202は、赤外光透過フィルタ212の領域にのみ照射するように配置することができる。これにより、車両検出用画像領域からのノイズ成分を回避することができる。また、光源202を複数設けてもよい。この場合は、偏光フィルタ層222の各領域の偏光子パタンは、複数の光源202のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス105へ向かって出射する光の光軸と、撮像レンズの光軸との2つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。
光源202の発光方法としては、連続発光(CW発光ともいう。)の他、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源202を設置した場合には、複数の光源202を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。
ここで、発明者らが撮影した実験結果を図12、図13に示す。
図12は雨滴が付着している状態の実験結果を示す図である。
図13は雨滴が付着していない状態の実験結果を示す図である。
なお、この実験結果を示す図は、画像領域の下部が雨滴検出用画像領域となっている例である。
図14は、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。
図14に示す撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、20、27、39となり、輝度の標準偏差値と雨量との間には相関があることがわかる。このため、本実施形態1では、画像解析ユニット102において、雨滴検出用画像領域の撮像画像から、輝度の標準偏差値に関する値を算出し、この標準偏差値に基づき、雨量の測定を行っている。なお、標準偏差に代えて分散値を用いてもよい。
次に、本実施形態1における撮像部200の撮像動作について説明する。
本実施形態1の撮像部200は、自車両100の前方領域からの光を受光して前方領域に存在する物体(他車両、白線、路面、人物、障害物等)を認識するための物体認識用画像を取得するための物体認識用フレームと、光源202からの光を照射してフロントガラス上の雨滴を検出するための雨滴検出用画像を取得するための雨滴検出用フレームとを個別に撮像する。具体的には、物体認識用フレームを複数枚撮像するたびに1枚の雨滴検出用フレームを撮像するという一連の撮像動作を繰り返し行う。
図15は、本実施形態1における撮像動作の一例を簡易的に示したタイミングチャートである。
図15には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間が同じ時間軸にそって並べて表示されている。露光期間については、縦軸方向が受光素子ラインの位置に対応している。画像センサ206の各受光素子の受光量は、ライン読出信号に合わせて受光素子ラインごとに読み出されて出力される。
図16(a)は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
図16(b)は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
本実施形態1は、ローリングシャッタ方式を採用しており、センシング用フレームでは、図16(a)に示すように、画像センサ206の受光素子ライン・・・,N,N+1,N+2,・・・ごとのライン読出信号(水平同期信号)の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。雨滴検出用フレームでも、図16(b)に示すように、画像センサ206の受光素子ライン・・・,M,M+1,M+2,・・・ごとのライン読出信号(水平同期信号)の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。
フレーム番号B0の撮像フレームは、車線維持制御(LDW:Lane Departure Warning)に用いられるセンシング用フレームである。この撮像フレームB0は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。したがって、例えば、昼間のように明るい環境下であれば短い露光時間が設定され、夜間のように暗い環境下であれば長い露光時間が設定される。
フレーム番号A1の撮像フレームは、ヘッドランプの配光制御(AHB:Auto High Beam)に用いられるセンシング用フレームである。この撮像フレームA1は、撮像動作時の露光時間が固定である固定露光フレームである。
フレーム番号B2の撮像フレームは、衝突回避制御(FCW:Front Collision Warning)に用いられるセンシング用フレームである。この撮像フレームB2は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。
フレーム番号A3の撮像フレームは、第2フレーム目の撮像フレームと同様、ヘッドランプの配光制御に用いられるセンシング用フレームで、撮像動作時の露光時間が固定である固定露光フレームである。
フレーム番号R4の撮像フレームは、ワイパーの駆動制御等に用いられる雨滴検出用フレームである。この撮像フレームR4は、撮像動作時の露光時間がごく短時間に固定された固定露光フレームである。雨滴検出用画像領域214の画像を取得するための1つの雨滴検出用フレームは、光源202からの比較的強い光を受光することから、画像センサ206の信号が飽和してしまうのを防ぐために、光源202からの照明光以外の外乱光の影響を小さくするために、なるべく露光時間を短くするのが好ましい。また、光源202からの光量はほぼ一定であることから、固定露光時間とすることができる。
本実施形態1においては、センシング用フレームB0〜A3の撮像を所定回数(例えば7回)繰り返した後に1回の雨滴検出用フレームR4の撮像を行うという撮像動作を繰り返し実行する。
次に、本実施形態1における光源202の発光制御について説明する。
雨滴検出用フレームR4で撮像する撮像画像は、雨滴検出用画像領域のみで十分であるため、雨滴検出用フレームR4で読み出すデータは、雨滴検出用画像領域に対応するライン分、すなわち、撮像画像の上部に対応するライン分だけでよい。そのため、光源202で光を照射すべき期間も、雨滴検出用画像領域に対応するラインの露光期間だけでよい。
光源202から光が照射されている期間は、その光が車両検出用画像領域に対応する画像センサ部分にも入射し、車両検出用画像領域の外乱光となり得る。よって、雨滴検出用画像領域に対応するラインの露光期間だけ光源202から光を照射するように光源202を発光制御すれば、雨滴検出用フレームR4のフレーム時間を短くしても、光源202からの光がその前後に位置するセンシング用フレームA3,B0の外乱光となることはない。
図17は、雨滴検出用フレームR4におけるライン読出信号と光源202の発光タイミングとの関係の一例を示すタイミングチャートである。
雨滴検出用フレームR4で雨滴検出用画像領域に対応するライン分の露光期間は、常に光源202を発光させるように制御してもよい。この場合、雨滴検出用画像領域に対応する全ラインについて、光源202が発光している状態のデータが取得できる。ただし、この場合、光源202からの光以外の外乱光が画像センサ206に入射する状況だと、その外乱光成分の誤差が含まれたデータとなる。
本実施形態1においては、1つの雨滴検出用フレームR4で雨滴検出用画像領域に対応するライン分の露光期間中に、光源202がONとOFFする期間が少なくとも1回ずつ存在するように、光源202を発光制御する。本実施形態1では、1ラインごとに光源202がON/OFFするように光源202を発光制御する。なお、例えば2ラインごとに光源202がON/OFFするように光源202を発光制御するようにしてもよい。各ラインの露光期間内における光源202の発光時期は、図18に示すように各ラインの露光期間の最初の時期であってもよいし、図19に示すように各ラインの露光期間の最後の時期であってもよい。
次に、本発明者らが行った実験例について説明する。
本実験例では、本実施形態1のように1ラインごとに光源202がON/OFFするように光源202を発光制御して雨滴検出が適切に実施できるかどうかを確認する。
図20は、光源202がONであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。
図21は、光源202がONであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。
図22は、図20に示す画像例において光源光が映し出されている画像部分を拡大した図である。
図22に示すように、光源202のON/OFFに応じて1ラインごとに高いコントラストが得られていることがわかる。
光源202をOFFにした状態にあっては、光源202からの光が受光されないため、外乱光成分のみが存在している。しかし、光源202をONにした状態におけるライン毎の画素値の総和から、光源202をOFFにした状態におけるライン毎の画素値の総和を差し引いたとしても、除去しきれない外乱光成分は残存してしまう。
差分値をとっても外乱光成分が残存してしまう理由は、光源202がONのときのラインと光源202がOFFのときのラインとでは画像センサ上の位置が異なるため、両ラインの画素値総和にそれぞれ含まれる外乱光成分が、異なる位置で受光された外乱光の成分となるからである。特に、図20に示すような強い外乱光が画像センサ上に局所的に入射した場合、画像センサ上における外乱光のスポット内の光量分布は、スポット中心付近ではおおよそ一様であるが、スポット周辺部では、その周辺に近づくほど光量が小さくなるという光量勾配をもつ。そのため、外乱光のスポット周辺部では、光源202がONのときの外乱光の光量と光源202がOFFのときの外乱光の光量との間の差が大きいものとなる。その結果、外乱光のスポット周辺部に対応するラインでは、差分値をとっても除去しきれない外乱光成分が多く残存する。
なお、グローバルシャッタ方式を用いた場合であっても、差分値をとっても外乱光成分が残存してしまう。なぜなら、グローバルシャッタ方式で撮像される点灯時画像及び消灯時画像は、互いに異なる撮像フレームで撮像されるので、両画像間には撮像タイミングには、少なくともフレーム時間分の時間差がある。外乱光は、一般に、僅かな時間でも刻々と変化するため、点灯時画像及び消灯時画像の撮像タイミングの時間差の期間中に外乱光が変化し得る。この場合、点灯時画像に含まれる外乱光成分と、消灯時画像に含まれる外乱光成分とは一致しないため、差分情報中には、その不一致分の外乱光成分が残存することになる。
このように、差分値をとっても外乱光成分が多く残存してしまう場合があると、外乱光成分が除去されていることを前提とした雨滴検出処理において検出誤差を生じさせる。なお、差分画像中における外乱光成分の残存量は、雨滴等の付着物の検出誤差の大きさに影響を与えるが、差分画像中における外乱光成分の残存量がおおよそ一定の範囲内で安定していれば、付着物検出の誤差の大きさもおおよそ一定の範囲内で安定する。このような場合には、その検出結果を利用する雨滴検出処理では、予め一定の誤差が生じていることを前提に処理することが可能なので、処理結果に支障を来すような事態は生じない。しかしながら、差分画像中における外乱光成分の残存量は、撮像状況等によって全く異なり、大きなバラツキをもつ。そのため、雨滴等の付着物の検出結果にも大きなバラツキが生じるので、その検出結果を利用する雨滴検出処理では、予め一定の誤差が生じているという前提で処理することができず、雨滴検出結果のバラツキによって様々な支障を来すおそれがある。そこで、本実施形態においては、次のような雨滴検出処理を行う。
図23は、本実施形態1における雨滴検出処理のフローチャートである。
画像解析ユニット102は、図17に示したように、雨滴検出用フレームR4におけるライン読出信号と光源202の発光タイミングとの同期をとりながら、雨滴検出用フレームR4の撮像処理を行う(S1)。これにより、例えば、図20に示したように、光源202の点灯時のラインと消灯時のラインとが上下方向に交互に並んだ雨滴検出用画像領域の画像を得ることができる。これにより、光源点灯時のラインからなる点灯時画像と、光源消灯時のラインからなる消灯時画像とを、1つの撮像フレームで撮像することができる。なお、ここでは、点灯時ラインと消灯時ラインとが1つずつ交互に並ぶように光源202を制御しているが、これに限らず、例えば、複数の点灯時ラインごとに1つの消灯時ラインが入るように光源202を制御してもよい。
次に、画像解析ユニット102は、光源消灯時のラインからなる消灯時画像の画素値の総和(消灯時画素値総和)を算出する(S2)。そして、算出した消灯時画素値総和が所定の外乱判定閾値を超えているかどうかを判定する(S3)。なお、ここでは、強い外乱光が入ってきているかどうかを、画素値の総和を用いて判断するが、強い外乱光が入ってきているかどうかを判断できる情報であれば、これに限られない。
このとき、外乱判定閾値を超えていなければ(S3のNo)、通常どおり、各光源点灯時のラインとこれに隣接する光源消灯時のラインとの画素値差分をとった点灯・消灯差分画像を作成する(S4)。このようにして作成された点灯・消灯差分画像のデータは、メモリに保存される。その後、画像解析ユニット102は、前回にメモリに保存した点灯・消灯差分画像のデータを読み出し、前回の点灯・消灯差分画像と今回の点灯・消灯差分画像との差分をとった時差分画像を作成する(S5)。
本実施形態において、この時差分画像において規定値以上の画素値をもつ画像領域は、当該2つの点灯・消灯差分画像間における前回の点灯・消灯差分画像の作成時と今回の点灯・消灯差分画像の作成時との間に雨滴が付着した箇所である。このような時差分画像の画素値から雨滴を検出する方法によれば、光源202による照明範囲内に照度ムラが存在していても、両画像間における同一箇所については光源による照度は同一なので、雨滴203の検出精度に対する照度ムラの影響が少ない。よって、高い検出精度で雨滴203を検出することが可能である。
本実施形態においては、上述したように、光源202からの光のうち、雨滴203が付着しているフロントガラス105上の付着領域に入射する光は撮像部200に入射し、雨滴203が付着していない非付着領域に入射した光は撮像部200に入射しない。したがって、雨滴203を映し出す雨滴画像は、雨滴検出用画像領域214上において高輝度な画像として映し出される。したがって、雨滴203を映し出す雨滴画像領域は、時差分画像において大きな画素値をもつことになる。
そこで、画像解析ユニット102は、時差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴203が映し出された雨滴画像領域の候補領域として特定する。具体的には、まず、時差分画像の画素値を所定の規定値と比較することにより2値化処理を行う。この2値化処理では、例えば、所定の規定値以上の画素値をもつ画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの画像領域として認識するラベリング処理を実施する。これによって、時差分画像の画素値が大きい近接した複数の画素の集合が、1つの画像領域として抽出される。
次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨滴量として算出する(S6)。
画像解析ユニット102は、算出した雨滴量のデータをワイパー制御ユニット106へ出力する(S7)。ワイパー制御ユニット106は、例えば、この雨滴量の算出結果が所定の条件(例えば、連続して作成された20個の時差分画像について、いずれも雨滴量のカウント値が10以上であるという条件)を満たしたときに、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う。
一方で、上述した消灯時画素値総和が外乱判定閾値を超えている場合(S3のYes)、画像解析ユニット102は、今回の雨滴検出処理を終了し、雨滴量を算出しない。これは次の理由による。
光源消灯時のラインからなる消灯時画像は、光源202からの光源光以外の外乱光のみを撮像した画像であるため、その消灯時画素値総和が外乱判定閾値を超えているときは、強い外乱光が撮像部に入射している状況である。このような状況下では、本実施形態のようにローリングシャッタ方式によりラインごとに光源202の点灯、消灯を切り替えて雨滴検出用画像領域の画像を撮像する場合、上述したように、強い外乱光のスポット周辺部に対応するラインで外乱光成分が消灯時画素値総和中に多く含まれてしまう。そのため、点灯・消灯差分画像の画素値が外乱光成分の分だけ本来よりも高く算出されてしまう。そうすると、時差分画像の画素値も本来より高く算出される結果、雨滴量の誤算出を引き起こし、雨が降っていないのにワイパーが駆動してしまうなどの不具合を引き起こすおそれがある。
本実施形態1では、消灯時画素値総和が外乱判定閾値を超えているような強い外乱光が入射する状況では、雨滴量を算出しないので、このような不具合を引き起こすことはない。
また、本実施形態1においては、強い外乱光が継続して入ってくるような状況だと、雨滴量の算出を行わない期間が継続するおそれがあるので、仮にこの期間に雨が降り始めると、雨が降っているのにワイパーが駆動しないというような不具合が生じることも考えられる。しかしながら、本実施形態1のようにフロントガラス105を介して自車両前方を撮像する場合において、消灯時画素値総和が外乱判定閾値を超えるような強い外乱光は、直射日光や直射日光が自車両のボンネット等で反射した反射光などの太陽光であることがほとんどである。太陽光による強い外乱光が入るのは、晴れの日であり、通常は雨が降っていない状況なので、仮に強い外乱光が継続して入ってきて雨滴量の算出を行わない期間が継続しても、その期間には雨が降っていない蓋然性が高く、雨滴検出ができなくても実害がない。
本実施形態1では、消灯時画素値総和が外乱判定閾値を超えていると判定されたら(S3のYes)、雨滴量を算出するための処理(S4〜S6)を行わないという制御を実施するが、そのように判定されたときの制御はこれに限られない。例えば、消灯時画素値総和が外乱判定閾値を超えていると判定されたとき(S3のYes)、雨滴量を算出するための処理(S4〜S6)は行うが、その雨滴量の算出結果をワイパー制御ユニットへ出力しないという制御を実施してもよい。この場合でも、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。
また、本実施形態1では、消灯時画素値総和が外乱判定閾値を超えていると判定されたときの雨滴量の算出結果は、ワイパー制御ユニットにおいて全く利用されないが、信頼度を落として利用するようにしてもよい。例えば、画像解析ユニット102は、消灯時画素値総和が多いほど雨滴量の算出結果に対する信頼度が低くなるように、各雨滴量算出結果に対して信頼度を設定する。そして、各雨滴量算出結果をワイパー制御ユニットへ出力する際、その信頼度とともに雨滴量算出結果を出力する。そして、ワイパー制御ユニットでは、その信頼度の高低に応じて、その雨滴量算出結果がワイパー制御に与える影響度を変えることで、消灯時画素値総和が外乱判定閾値を超えているときの雨滴量算出結果を全く利用しない場合よりも、適切なワイパー制御が可能となる場合がある。
また、本実施形態1では、雨滴量の算出に際し、前回の点灯・消灯差分画像と今回の点灯・消灯差分画像との差分である時差分画像を用いているが、必ずしも時差分画像を用いる必要はない。例えば、今回の点灯・消灯差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴203が映し出された雨滴画像領域の候補領域として特定する。そして、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定したうえで、特定した雨滴画像領域の数をカウントし、その結果を雨滴量として算出する。
なお、雨滴検出処理の方法は、公知のものを広く利用することができるので、本実施形態1のものには限定されない。例えば、より簡易な雨滴検出処理としては、今回の点灯・消灯差分画像の画像値の総和が所定の閾値以上であるか否かを判定するだけでもよい。この場合、点灯・消灯差分画像の画像値の総和が所定の閾値以上であると判定されたときには、雨滴量はワイパーを駆動させる規定量を超えていると判断して、ワイパー制御ユニットがワイパーを駆動するという制御が可能となる。
〔変形例1〕
次に、本実施形態1における雨滴検出処理の一変形例について説明する。
上述した実施形態1では、点灯時のラインと消灯時のラインとの画素値差分をとった点灯・消灯差分画像を利用して雨滴検出処理を行っているが、本変形例1では、消灯時のラインを用いずに点灯時のラインだけを用いた点灯時画像を利用して雨滴検出処理を行う。
図24は、本変形例1における雨滴検出処理のフローチャートである。
本変形例1においても、画像解析ユニット102は、雨滴検出用フレームR4におけるライン読出信号と光源202の発光タイミングとの同期をとりながら、雨滴検出用フレームR4の撮像処理を行い(S1)、消灯時画素値総和を算出する(S2)。そして、本変形例では、消灯時画素値総和が外乱判定閾値を超えていないと判定されたとき(S3のNo)に行う雨滴量を算出する処理のために、画像解析ユニット102は、各光源点灯時ラインについて、ライン毎の画素値総和(点灯時のライン別画素値総和)を算出する(S11)。
次に、画像解析ユニット102は、各点灯時のライン別画素値総和と所定の閾値とを比較し、閾値を超えているラインの数を特定し、特定したライン数を雨滴量として算出する(S12)。そして、画像解析ユニット102は、算出した雨滴量のデータをワイパー制御ユニット106へ出力する(S7)。ワイパー制御ユニット106は、例えば、この雨滴量の算出結果が所定の条件(例えば、連続して作成された20個の時差分画像について、いずれも雨滴量のカウント値が10以上であるという条件)を満たしたときに、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う。
本変形例1においても、消灯時画素値総和が外乱判定閾値を超えている場合(S3のYes)、画像解析ユニット102は、今回の雨滴検出処理を終了し、雨滴量を算出しないので、上述した実施形態1と同様、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。
なお、本変形例1では、雨滴検出処理の簡素化のために、点灯時のライン別画素値総和が閾値を超えているラインの数を雨滴量として算出しているが、上述した実施形態1のように雨滴画像領域の候補領域を特定し、形状識別処理により雨滴画像領域を特定して雨滴量を算出してもよいし、その他の方法で雨滴量を算出してもよい。
〔変形例2〕
次に、本実施形態1における光源202の制御及び雨滴検出処理の一変形例について説明する。
図25は、本変形例2における撮像動作及び光源202の点灯制御の一例を簡易的に示したタイミングチャートである。
図25には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間のほか、光源202の点灯、消灯を制御するLED制御信号が、同じ時間軸にそって並べて表示されている。なお、図25中のフレーム同期信号、ライン読出信号、フレーム番号、露光期間は、上述した実施形態1(図15)と同様である。
上述した実施形態1では、雨滴検出用フレームR4におけるライン読出信号と光源202の発光タイミングとの同期をとることで、1つの雨滴検出用フレームR4から、光源202の点灯時のラインと消灯時のラインとが上下方向に交互に並んだ雨滴検出用画像領域の画像を得ていた。本変形例2では、図25に示すように、雨滴検出用フレームR4の露光期間中は光源202を常に点灯させておき、全ラインを点灯時ラインとする。
なお、本変形例2では、雨滴検出用フレームR4の露光期間を除いた期間は光源202を常に消灯させている。これにより、光源202の点灯時間を少なくして省電力化を図るとともに、光源202の点灯による他車両の運転者の幻惑防止、光源202の点灯による車両検出用画像領域の外乱防止を図ることができる。ただし、雨滴検出用フレームR4の露光期間を除いた期間は、必ずしも光源202を消灯させなければならないわけではない。
図26は、本変形例2における雨滴検出処理のフローチャートである。
本変形例2において、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和は、光源が常時点灯している雨滴検出用フレームR4から得ることができないので、光源が消灯しているときの撮像画像データから得る必要がある。例えば、当該雨滴検出用フレームR4の前又は後に撮像される別の雨滴検出用フレームR4の撮像時に光源を消灯させて得られる雨滴検出用画像領域の画像データから得てもよい。また、当該雨滴検出用フレームR4の前又は後に撮像されるセンシングフレームB0〜A3の撮像時に光源を消灯させて得られる雨滴検出用画像領域の画像データから得てもよい。
また、例えば、消灯時画素値総和は、雨滴検出用画像領域とは異なる別の画像領域の画像データから得たものであってもよい。この場合、車両検出用画像領域あるいは車両検出用画像領域以外の画像領域から消灯時画素値総和を得ることも可能である。いずれにしても、雨滴検出用画像領域に強い外乱光成分が含まれていることが一定の精度で推定可能であればよい。ただし、消灯時画素値総和を得るための撮像画像データは、雨滴量の算出に用いる雨滴検出用フレームR4の撮像時期との時間ズレが少ないものことが望ましい。したがって、本変形例2においては、雨滴量の算出に用いる雨滴検出用フレームR4の直前のセンシングフレームA3で撮像される雨滴検出用画像領域の画像データから消灯時画素値総和を得ることとしている。
具体的には、画像解析ユニット102は、光源202を消灯した状態で、センシングフレームA3の撮像処理を実行し(S21)、これにより得られた撮像画像データから雨滴検出用画像領域の画像データを抽出する(S22)。そして、抽出した画像データの画素値の総和を消灯時画素値総和として算出する(S23)。
その後、本変形例2では、消灯時画素値総和が外乱判定閾値を超えていないと判定されたら(S24のNo)、画像解析ユニット102は、次の雨滴検出用フレームR4の最初のラインの露光開始タイミングに合わせて、光源202を点灯させる(S25)。そして、雨滴検出用フレームR4の撮像処理を実行して(S26)、得られた雨滴検出用画像領域の撮像画像データ(点灯時画像)を撮像部200から取得したら、画像解析ユニット102は、その点灯時画像から雨滴量を算出する(S27)。
この点灯時画像からの雨滴量算出は、上述した変形例1と同様、雨滴検出用フレームR4の各ライン別画素値総和を算出し、各ライン別画素値総和と所定の閾値とを比較して、閾値を超えているラインの数を特定し、特定したライン数を雨滴量として算出する。もちろん、上述した実施形態1のように雨滴画像領域の候補領域を特定し、形状識別処理により雨滴画像領域を特定して雨滴量を算出してもよいし、その他の方法で雨滴量を算出してもよい。
本変形例2においても、消灯時画素値総和が外乱判定閾値を超えている場合(S24のYes)、画像解析ユニット102は、今回の雨滴検出処理を終了し、雨滴量を算出しないので、上述した実施形態1と同様、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。
しかも、本変形例2においては、センシングフレームA3から得た消灯時画素値総和が外乱判定閾値を超えていると判定したら(S24のYes)、次の雨滴検出用フレームR4の撮像処理の際に光源202を点灯させない。したがって、光源202の点灯時間をより少なく抑えることができ、省電力化を図ることができる。
なお、本変形例2では、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和を、雨滴量の算出に用いる雨滴検出用フレームR4の直前のセンシングフレームA3から得る例であるが、これに限られない。例えば、雨滴量の算出に用いる雨滴検出用フレームR4の直後のセンシングフレームB0から消灯時画素値総和を得るようにしてもよい。この場合、雨滴検出用フレームR4の撮像処理で得られた雨滴検出用画像領域の撮像画像データ(点灯時画像)から雨滴量を算出する処理は常に実行する。そして、直後のセンシングフレームB0から得られる消灯時画素値総和が外乱判定閾値を超えていなければ、その雨滴量算出結果をワイパー制御ユニットへ出力し、外乱判定閾値を超えていれば雨滴量算出結果をワイパー制御ユニットへ出力しないという制御を行う。このような制御でも、同様に、雨滴量の誤算出に起因した不具合を引き起こすのを防止できる。
なお、本変形例2のように、雨滴検出用フレームR4の露光期間中は光源202を常に点灯させておき、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和を当該雨滴検出用フレームR4とは別の撮像フレームから取得する場合には、ローリングシャッタ方式ではなく、グローバルシャッタ方式でも、同様の結果を得ることができる。
具体的に説明すると、図27に示すように、グローバルシャッタ方式を採用する場合には、雨滴検出用フレームR4の露光期間中は光源202を点灯させ、全画素を同時露光することになる。一方、雨滴検出用フレームR4以外の撮像フレームB0〜A3の露光期間中は光源202を消灯させる。したがって、強い外乱光が入ってきているかどうかを判定するための消灯時画素値総和は、当該雨滴検出用フレームR4とは別の撮像フレーム、例えば本変形例2と同様にセンシングフレームA3から得ることができる。
〔実施形態2〕
次に、本発明に係る付着物検出装置を適用した移動体機器制御システムの他の実施形態(以下、本実施形態を「実施形態2」という。)について説明する。
なお、本実施形態2は、撮像ユニット101の構成が一部異なる点を除いて、実施形態1(各種変形例を含む。以下同様。)とほぼ同様であるため、以下、実施形態1とは異なる点を中心に説明する。
図28は、本実施形態2における撮像ユニット101の概略構成を示す模式図である。
本実施形態2の撮像ユニット101においては、光源202から出射した光は、図28の光路で示されるように、フロントガラス105の内壁面に設けられた反射偏向部材としてのプリズム230に入射することにより、フロントガラス105の外壁面上で全反射して撮像レンズ204に入射し、センサ基板207上の画像センサ206で受光される。プリズム230は、フロントガラス105の屈折率に近い材料で形成されているため、光源202から出射した光がフロントガラス105の外壁面上で全反射する条件を作り出すのが容易である。なお、詳細は、特開2014‐32174号公報等に開示されている。
一方、フロントガラス105の外壁面に雨滴が付着した箇所においては、光源202から出射した光がフロントガラス105の外壁面を透過するため、画像センサ206で受光されることはない。上述した実施形態1では、光源202から出射した光がフロントガラス105の外壁面を透過する一方、フロントガラス105の外壁面に雨滴が付着した箇所ではその雨滴内部で乱反射した光が画像センサ206で受光される。
したがって、本実施形態2においては、上述した実施形態1の雨滴検出用画像領域の画像を反転させたような画像が得られることになる。すなわち、上述した実施形態1では、図14に示したように、雨滴付着箇所の輝度が高い画像が得られるのに対し、本実施形態2では、図29に示すように、雨滴付着箇所の輝度が低い画像が得られる。したがって、上述した実施形態では、画素値の総和が大きいほど雨量が多いという関係になるが、本実施形態2においては、画素値の総和が小さいほど雨量が多いという関係になる。
以上、上述した実施形態1及び2の移動体機器制御システムで実行される各種処理は、ハードウェアで実現することができる他、ソフトウェアで実現することもできる。ソフトウェアで実現する場合、各種処理を実現するためにコンピュータを機能させるプログラムは、ROM等に予め組み込まれて提供される。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
(態様A)
光源202が光源光を照射する照射期間中にフロントガラス105等の光透過性部材を経由して画像センサ206等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理(S26〜S27)を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット102等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しないセンシングフレームA3の露光期間等の非照射期間中に前記受光手段により受光される受光量(消灯時画素値総和)に応じて、該非照射期間の後に前記光源が光源光を照射する予定の雨滴検出用フレームR4の露光期間等の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする。
上述したとおり、強い外乱光が受光手段に入射するときに付着物検出処理の結果に対する外乱光成分の影響度合いが大きいものとなる。ここで、非照射期間中に受光手段により受光される受光量はすべて外乱光に起因するものである。よって、非照射期間中に前記受光手段により受光される受光量から、どの程度の強い外乱光が受光手段に受光されているかを把握することが可能である。したがって、非照射期間中に受光手段により受光される受光量から、その非照射期間の後に光源が光源光を照射する予定の予定照射期間中にどの程度の強い外乱光が受光手段に受光されるかを推測できる。本態様によれば、このようにして推測される予定照射期間中の外乱光が、当該予定照射期間に対応する付着物検出処理の結果に対して許容範囲を超える影響を与えるほど強い外乱光である場合、その付着物検出処理を実行しないという制御が可能である。このような制御により、後段の処理や制御(ワイパー制御等)に利用される付着物検出処理の検出結果のうち、強い外乱光によって精度が低くなっている検出結果については、後段の処理や制御に利用されなくなる。すなわち、後段の処理や制御に利用される検出結果の精度バラツキは小さくなる。その結果、検出結果の精度バラツキが大きいことに起因して後段の処理で引き起こされる不具合を抑制することができる。
(態様B)
前記態様Aにおいて、前記光源から光源光を照射させるか否かの制御を行う画像解析ユニット102等の光源制御手段を有し、前記光源制御手段は、前記予定照射期間中は前記光源から光源光を照射させない制御を行うことを特徴とする。
これによれば、光源の点灯時間を少なくして省電力化を図ることができる。
(態様C)
光源202が光源光を照射する照射期間中にフロントガラス105等の光透過性部材を経由して画像センサ206等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット102等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量(消灯時画素値総和)に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする。
これによれば、後段の処理や制御(ワイパー制御等)に利用される付着物検出処理の検出結果のうち、強い外乱光によって精度が低くなっている検出結果については、後段の処理や制御に利用されなくなる。すなわち、後段の処理や制御に利用される検出結果の精度バラツキは小さくなる。その結果、検出結果の精度バラツキが大きいことに起因して後段の処理で引き起こされる不具合を抑制することができる。
(態様D)
前記態様A〜Cのいずれかの態様において、前記付着物検出処理手段は、前記非照射期間中に前記受光手段により受光される受光量(消灯時画素値総和)が外乱判定閾値等の所定の閾値を超えるとき、前記予定照射期間に対応する付着物検出処理を実行しない決定、又は、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力しない決定を行うことを特徴とする。
これによれば、所定の閾値を適宜設定することにより、付着物検出処理の結果に対して許容範囲を超える影響を与えるほど強い外乱光を適切に検出することができる。
(態様E)
光源202が光源光を照射する照射期間中にフロントガラス105等の光透過性部材を経由して画像センサ206等の受光手段により受光される受光量に基づいて、該光透過性部材に付着する雨滴等の付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する画像解析ユニット102等の付着物検出処理手段を備えた付着物検出装置において、前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする。
これによれば、付着物の検出結果が後段の処理や制御において、信頼度の高低に応じて検出結果の影響度合いを変化されるなどの対処が可能となる。これにより、強い外乱光によって精度が低くなっている検出結果を後段の処理や制御で全く利用しない場合と比較して、後段の処理や制御をより適切に実行することが可能となる。
(態様F)
前記態様A〜Eのいずれかの態様において、前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いず、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする。
これによれば、いわゆる点灯時と消灯時の差分をとる演算が不要であり、より簡易な付着物検出処理を実現できる。
(態様G)
前記態様A〜Eのいずれかの態様において、前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量と該照射期間中に前記受光手段により受光される受光量との差分情報に基づいて前記付着物検出処理を実行することを特徴とする。
これによれば、ある程度の外乱光成分が除外された差分情報に基づいて付着物検出処理を実行するので、外乱光の影響が少ない付着物の検出結果を得ることが可能である。
(態様H)
前記態様A〜Gのいずれかの態様において、前記光源は、赤外波長帯等の特定の波長帯をもつ光源光を照射するものであり、前記受光手段は、前記特定の波長帯を通過させるが該特定の波長帯から外れた波長帯を通過させない雨滴検出用フィルタ等の波長選択フィルタを介して受光するものであることを特徴とする。
これによれば、受光手段へ入射する外乱光を減らすことができるので、より外乱光の影響が少ない付着物の検出結果を得ることが可能である。また、このような波長選択フィルタを介して受光することで、上述したような強い外乱光が受光手段に入る頻度が少なくなる。その結果、予定照射期間に対応する付着物検出処理を実行しない決定や、付着物検出処理の検出結果を出力しない決定や、信頼度の低い検出結果の出力の頻度を抑えることができる。
(態様I)
付着物検出装置により検出した付着物の検出結果に基づいて、自車両100等の移動体に搭載されたワイパー107等の所定の機器を制御するワイパー制御ユニット106等の移動体機器制御手段を備えた移動体機器制御システムにおいて、前記付着物検出装置として、前記態様A〜Hのいずれかの態様に係る付着物検出装置を用いることを特徴とする。
これによれば、より適切な機器制御が可能となる。
(態様J)
前記態様A〜Hのいずれかの態様に係る付着物検出装置のコンピュータを機能させる付着物検出用プログラムであって、前記コンピュータを前記付着物検出処理手段として機能させることを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(態様K)
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(態様L)
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
(態様M)
光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする。
これによれば、付着物の検出結果を利用する後段の処理で支障を来す事態を抑制できる。
100 自車両
101 撮像ユニット
102 画像解析ユニット
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
200 撮像部
202 光源
203 雨滴
205 光学フィルタ
206 画像センサ
207 センサ基板
208 信号処理部
213 車両検出用画像領域
214 雨滴検出用画像領域
特開2014−32174号公報

Claims (13)

  1. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、
    前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする付着物検出装置。
  2. 請求項1に記載の付着物検出装置において、
    前記光源から光源光を照射させるか否かの制御を行う光源制御手段を有し、
    前記光源制御手段は、前記予定照射期間中は前記光源から光源光を照射させない制御を行うことを特徴とする付着物検出装置。
  3. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、
    前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする付着物検出装置。
  4. 請求項1乃至3のいずれか1項に記載の付着物検出装置において、
    前記付着物検出処理手段は、前記非照射期間中に前記受光手段により受光される受光量が所定の閾値を超えるとき、前記予定照射期間に対応する付着物検出処理を実行しない決定、又は、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力しない決定を行うことを特徴とする付着物検出装置。
  5. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出処理手段を備えた付着物検出装置において、
    前記付着物検出処理手段は、前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする付着物検出装置。
  6. 請求項1乃至5のいずれか1項に記載の付着物検出装置において、
    前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量を用いず、該照射期間中に前記受光手段により受光される受光量を用いて前記付着物検出処理を実行することを特徴とする付着物検出装置。
  7. 請求項1乃至5のいずれか1項に記載の付着物検出装置において、
    前記付着物検出処理手段は、照射期間の前又は後の非照射期間中に前記受光手段により受光される受光量と該照射期間中に前記受光手段により受光される受光量との差分情報に基づいて前記付着物検出処理を実行することを特徴とする付着物検出装置。
  8. 請求項1乃至7のいずれか1項に記載の付着物検出装置において、
    前記光源は、特定の波長帯をもつ光源光を照射するものであり、
    前記受光手段は、前記特定の波長帯を通過させるが該特定の波長帯から外れた波長帯を通過させない波長選択フィルタを介して受光するものであることを特徴とする付着物検出装置。
  9. 付着物検出装置により検出した付着物の検出結果に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段を備えた移動体機器制御システムにおいて、
    前記付着物検出装置として、請求項1乃至8のいずれか1項に記載の付着物検出装置を用いることを特徴とする移動体機器制御システム。
  10. 請求項1乃至8のいずれか1項に記載の付着物検出装置のコンピュータを機能させる付着物検出用プログラムであって、
    前記コンピュータを前記付着物検出処理手段として機能させることを特徴とする付着物検出用プログラム。
  11. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、
    前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の後に前記光源が光源光を照射する予定の予定照射期間に対応する付着物検出処理を実行するか否かを決定することを特徴とする付着物検出方法。
  12. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、
    前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量に応じて、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果を出力するか否かを決定することを特徴とする付着物検出方法。
  13. 光源が光源光を照射する照射期間中に光透過性部材を経由して受光手段により受光される受光量に基づいて、該光透過性部材に付着する付着物を検出する付着物検出処理を実行し、該付着物検出処理の検出結果を出力する付着物検出方法において、
    前記光源が光源光を照射しない非照射期間中に前記受光手段により受光される受光量が多いほど、該非照射期間の前又は後の照射期間に対応する付着物検出処理の検出結果の信頼度を低く設定し、設定した信頼度を該検出結果とともに出力することを特徴とする付着物検出方法。
JP2015135483A 2014-11-12 2015-07-06 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 Expired - Fee Related JP6566308B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/924,815 US9726604B2 (en) 2014-11-12 2015-10-28 Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
EP15193555.8A EP3021109A1 (en) 2014-11-12 2015-11-06 Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014229494 2014-11-12
JP2014229494 2014-11-12

Publications (2)

Publication Number Publication Date
JP2016102779A true JP2016102779A (ja) 2016-06-02
JP6566308B2 JP6566308B2 (ja) 2019-08-28

Family

ID=56089346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135483A Expired - Fee Related JP6566308B2 (ja) 2014-11-12 2015-07-06 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法

Country Status (1)

Country Link
JP (1) JP6566308B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195569A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
US20110267624A1 (en) * 2010-04-29 2011-11-03 Andreas Pack Sensor system in a motor vehicle
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2013117514A (ja) * 2011-11-02 2013-06-13 Ricoh Co Ltd 付着物検出装置および車載機器制御装置
JP2014032174A (ja) * 2012-07-13 2014-02-20 Ricoh Co Ltd 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195569A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
US20110267624A1 (en) * 2010-04-29 2011-11-03 Andreas Pack Sensor system in a motor vehicle
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2013117514A (ja) * 2011-11-02 2013-06-13 Ricoh Co Ltd 付着物検出装置および車載機器制御装置
JP2014032174A (ja) * 2012-07-13 2014-02-20 Ricoh Co Ltd 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Also Published As

Publication number Publication date
JP6566308B2 (ja) 2019-08-28

Similar Documents

Publication Publication Date Title
JP5561333B2 (ja) 画像処理装置、撮像方法、プログラムおよび車両
JP5999483B2 (ja) 付着物検出装置および車載機器制御装置
US9726604B2 (en) Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP6468482B2 (ja) 撮像装置、物体検出装置及び移動体機器制御システム
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US9706177B2 (en) Image processing system, vehicle including the same, image processing method, and computer program product
JP2013190416A (ja) 付着物検出装置及びこれを用いた車載機器制御装置
JP6098575B2 (ja) 撮像ユニット、画像処理装置および車両
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP5887840B2 (ja) 画像処理装置
JP6566308B2 (ja) 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法
JP2015028427A (ja) 付着物検出装置、移動体機器制御システム、移動体及び付着物検出用プログラム
JP2014232026A (ja) 付着物検出装置、移動体機器制御システム及び移動体
JP6536946B2 (ja) 撮像装置、撮像方法、プログラムおよび移動体機器制御システム
JP2017003531A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム
JP5891723B2 (ja) 撮像方法および撮像ユニット
JP2014235079A (ja) 付着物検出装置、移動体機器制御システム及び移動体
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム
JP2016218046A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190718

R151 Written notification of patent or utility model registration

Ref document number: 6566308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees