JP2016218046A - 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム - Google Patents

物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム Download PDF

Info

Publication number
JP2016218046A
JP2016218046A JP2016051069A JP2016051069A JP2016218046A JP 2016218046 A JP2016218046 A JP 2016218046A JP 2016051069 A JP2016051069 A JP 2016051069A JP 2016051069 A JP2016051069 A JP 2016051069A JP 2016218046 A JP2016218046 A JP 2016218046A
Authority
JP
Japan
Prior art keywords
light
amount
detection
illumination
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016051069A
Other languages
English (en)
Inventor
聡史 中村
Satoshi Nakamura
聡史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US15/149,393 priority Critical patent/US20160341848A1/en
Publication of JP2016218046A publication Critical patent/JP2016218046A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】受光手段に入射する外乱光だけでなく、外乱光以外の要因による検出対象物の増加や減少についての誤検出や検出漏れをも抑制することを課題とする。
【解決手段】光源が光源光を照射している時に受光手段により受光される照明時受光量y(x,ta)に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、前記照明時受光量の時間変化を示す照明時変化量ey(x,ta)と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量ed(x,tb)とを用いて、前記照明範囲内における検出対象物が増加した又は減少したことを検出するための所定の条件S4,S5,S8,S9を満たすか否かを判断する検出処理を実行する(S11)。
【選択図】図15

Description

本発明は、物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラムに関するものである。
従来、光源からの光源光で照明される照明範囲内の検出対象物を画像センサ等の受光手段を用いて撮像して雨滴等の検出対象物を検出するための検出処理を実行する物体検出装置が知られている。
例えば、特許文献1には、光源が照射した光源光によって照明された自動車のフロントガラス(光透過性部材)からの反射光を画像センサの雨滴検出領域で受光して撮像し、フロントガラス上に付着している雨滴を検出するための雨滴検出処理を実行する雨滴検出装置が開示されている。この雨滴検出装置は、雨滴の検出精度を低下させる光源光以外の外乱光の影響を抑制するため、光源の点灯時に撮像した点灯時画像と、光源の消灯時に撮像した消灯時画像との差分情報を用いて雨滴検出処理を行う。そして、この雨滴検出処理で雨滴が検出された場合、ワイパーを作動させるなどの制御を実施する。消灯時画像は外乱光のみを映し出すものであるため、点灯時画像から消灯時画像を差し引いて得られる差分情報は、点灯時画像から外乱光成分を除外したものとなる。特許文献1には、このような差分情報を用いて雨滴検出処理を行うことにより、外乱光の影響を抑制した雨滴検出処理が可能となる旨が記載されている。
また、このように差分情報を用いて雨滴検出処理を行う場合、わずかの時間経過で大きく外乱光が変化する状況だと、点灯時画像と消灯時画像との間で外乱光成分が異なってしまう。その結果、前記差分情報が、点灯時画像から外乱光成分を適切に除外したものにはならず、雨滴検出処理において、雨滴の誤検出あるいは雨滴の検出漏れが引き起こされ得る。そのため、特許文献1に開示の雨滴検出装置では、点灯時画像の前後で撮像される2つの消灯時画像間における差分値を算出し、この消灯時画像差分値が閾値を超えている場合には、わずかの時間経過で大きく外乱光が変化する状況であると判断し、前記差分情報を用いた雨滴検出処理を中止する。
ところが、点灯時画像と消灯時画像との差分情報だけを用いて雨滴検出処理を行う場合、外乱光以外にも輝度値を変化させる要因(温度変化や経時劣化等による光源光の光量変化あるいは光路上の光学部材の光学特性変化、フロントガラスの曇りや汚れなど)が存在すると、雨滴の誤検出あるいは雨滴の検出漏れを引き起こすおそれがある。例えば、前記特許文献1には、差分画像のトータルの輝度値が所定の閾値以上であるときに雨滴が付着していることを検出する雨滴検出処理の例が開示されている。この例において、外乱光以外に輝度値を変化させる要因が存在すると、雨滴の付着状態が全く同じであっても、トータルの輝度値が変化するため、雨滴の誤検出あるいは雨滴の検出漏れを引き起こすおそれがある。
上述した課題を解決するために、本発明は、光源が光源光を照射している時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、前記照明時受光量の時間変化を示す照明時変化量と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量とを用いて、前記照明範囲内における検出対象物が増加した又は減少したことを検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理手段を有することを特徴とする。
本発明によれば、受光手段に入射する外乱光だけでなく、外乱光以外の要因による検出対象物の誤検出や検出漏れをも抑制することが可能となるという優れた効果が奏される。
実施形態1における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像部と画像解析ユニットとの概略構成を示す説明図である。 同撮像ユニットの光学系を説明するための説明図である。 同撮像ユニットの概略構成を模式的に示した斜視図である。 (a)は、水平面に対するフロントガラスの傾斜角度が22°である車両に取り付けた状態の撮像ユニットを示す側面図である。(b)は、同図(a)の状態において雨滴が付着していない場合の撮像ユニットの光学系を示す説明図である。(c)は、同図(a)の状態において雨滴が付着している場合の撮像ユニットの光学系を示す説明図である。 同撮像ユニットの反射偏向プリズムを示す斜視図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の撮像画像データの画像例を示す説明図である。 同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。 実施形態1における雨滴検出処理の説明図である。 実施形態1における撮像フレームと雨滴検出との関係を示す説明図である。 実施形態1における雨滴検出処理の流れを示すフローチャートである。 変形例1における雨滴検出処理の流れを示すフローチャートである。 変形例1における閾値変更処理の流れを示すフローチャートである。 変形例2における雨滴検出処理の一例を示すフローチャートである。 変形例2における雨滴検出処理の他の例を示すフローチャートである。 実施形態2における雨滴検出に関わる各種光線についての説明図である。
〔実施形態1〕
以下、本発明に係る物体検出装置を、移動体である自動車等の車両に搭載される対象機器を制御する移動体機器制御システムとしての車載機器制御システムに用いられる付着物検出装置に適用した一実施形態(以下、本実施形態を「実施形態1」という。)について説明する。
なお、本発明に係る物体検出装置は、検出対象物の検出結果を利用して各種処理や制御を実行するシステムにおいて広く利用することができ、自動車以外の車両、船舶、航空機などの他の移動体に搭載される種々の移動体搭載機器の制御システム、あるいは、移動体に搭載される機器ではないFA(factory automation)等の処理装置の制御システムなどにも利用することができる。
図1は、本実施形態1における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両100に搭載された撮像部により、自車両周囲(特に進行方向前方領域)を撮像領域として撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本実施形態1の車載機器制御システムに設けられる撮像部は、撮像ユニット101に設けられており、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー付近に設置される。撮像ユニット101の撮像部で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、CPUやRAM等により構成され、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置(方角や距離)を算出したり、フロントガラス105に付着する雨滴や異物などの付着物(検出対象物)を検出したり、撮像領域内に存在する路面上の白線(区画線)等を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した他車両の位置データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、物体除去手段としてのワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物(検出対象物)を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した付着物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット108は、画像解析ユニット102が検出した他車両の位置データに基づいて、先行車両との距離が近接した場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
図2は、撮像ユニット101に設けられる撮像部200と付着物検出装置を構成する画像解析ユニット102との概略構成を示す説明図である。
撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、受光素子が2次元配置された受光手段としての画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。また、本実施形態1においては、センサ基板207上に光源装置としての光源部202が実装されている。この光源部202は、光透過性部材としてのフロントガラス105の内壁面(一方の面)側に配置され、外壁面(他方の面)に付着した付着物(以下、付着物が主に雨滴である場合を例に挙げて説明する。)を検出するためのものである。
本実施形態1では、撮像レンズ204の光軸が水平方向に一致するように撮像ユニット101を配置するが、これに限定されることはなく、水平方向(図2中のX方向)を基準とした特定方向に向けるような例であってもよい。撮像レンズ204は、例えば、複数のレンズで構成され、焦点がフロントガラス105の位置よりも遠方に設定されるものを用いる。撮像レンズ204の焦点位置は、例えば、無限遠又は無限遠とフロントガラス105との間に設定することができる。
画像センサ206は、センサ面を保護するカバーガラスを透過した光を受光する2次元配置された複数の受光素子で構成され、受光素子(撮像画素)ごとに入射光を光電変換する機能を有する。後述の図等では画像センサ206の各画素を簡略化して描いているが、実際には画像センサ206は2次元配置された数十万個程度の画素で構成されている。画像センサ206としては、例えば、全撮像画素を同時露光(グローバルシャッター)して各撮像画素の信号を読み出すCCD(Charge Coupled Device)や、ライン露光(ローリングシャッター)で露光された各撮像画素の信号を読み出すCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオードを用いることができる。
信号処理部208は、画像センサ206で光電変換され、センサ基板207から出力されるアナログ電気信号(画像センサ206の各受光素子への入射光量)をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部208は、画像解析ユニット102と電気的に接続されている。信号処理部208は、センサ基板207を経由して画像センサ206から電気信号(アナログ信号)が入力されると、入力された電気信号から、画像センサ206上における各撮像画素の明るさ(輝度)を示すデジタル信号(撮像画像データ)を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット102へ出力する。
また、画像解析ユニット102は、撮像ユニット101の撮像動作を制御する機能や、撮像ユニット101から送信される撮像画像データを解析する機能を有する。画像解析ユニット102は、露光量制御手段としての露光量制御部102Cによって、撮像ユニット101から送信された撮像画像データから、画像センサ206の撮像対象(自車両前方領域に存在する他車両等の物体)ごとの最適な露光量を算出し、画像センサ206の撮像対象ごとに最適な露光量(本実施形態1では露光時間)を設定する機能を有する。また、画像解析ユニット102は、信号処理部208からの画像信号の取得と連動しながら、光源制御手段としての光源制御部102Bによって、光源部202の発光タイミングなどを制御する機能を有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出する機能を有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。
また、画像解析ユニット102は、検出処理部102Aによって、フロントガラス105の状態(雨滴の付着、凍結、曇りなど)を検出する機能を有する。検出処理部102Aは、雨滴の付着を検出する場合、撮像ユニット101から送信された撮像画像データを用い、その撮像画像データの輝度値(画素値)に応じてフロントガラス105上の雨滴量を算出する。
図3は、本実施形態1における撮像ユニット101の光学系を説明するための説明図である。
本実施形態1の光源部202は、フロントガラス105上に付着した付着物(雨滴、凍結、曇り等)を検出するための光源光(照明光)を照射するものである。本実施形態1の光源部202は、その光源としてのLEDを複数備え、各LEDから照射される光源光をコリメータレンズ等の光学系を通じて外部へ出射する構成となっている。このように光源を複数具備することにより、光源が1つである場合と比較して、フロントガラス105上の付着物を検出するための検出領域が広がり、フロントガラス105の付着物の検出精度が向上する。
本実施形態1では、LEDを画像センサ206と同じセンサ基板207上に実装しているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、LEDの配置方法は、図3中のY方向に沿って1列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。本実施形態1では、光源部202を、画像センサ206と同じセンサ基板207上に実装しているが、画像センサ206とは別基板上に実装してもよい。
光源部202は、光源部202が照射する光の光軸方向と撮像レンズ204の光軸方向とが予め所定の角度を有するように、センサ基板207上に配置されている。また、光源部202は、光源部202が照射する光によって照明されるフロントガラス105上において、その照明範囲が撮像レンズ204の画角範囲内(視野角の範囲内)となるように、配置されている。光源部202の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ206の受光感度が及ぶ波長範囲(例えば800〜1000nm程度の赤外光波長範囲)を用いる。光源部202の発光タイミングなどの駆動制御は、信号処理部208からの画像信号の取得と連動しながら、画像解析ユニット102の光源制御部102Bによって行われる。
本実施形態1の撮像ユニット101には、図3に示すように、光源部202からの光を反射させてフロントガラス105へ導く反射面231を備えた反射偏向プリズム230が設けられている。反射偏向プリズム230は、光源部202からの光を適切にフロントガラス105の内部に導くために、その一面がフロントガラス105の内壁面に密着するように配置されている。具体的には、反射偏向プリズム230に入射する光源部202からの光の入射角が所定範囲内で変化しても、光源部202から照射されて反射偏向プリズム230の反射面231で正反射した光のうち、フロントガラス105の外壁面上における雨滴(検出対象物)が付着していない非付着箇所で正反射した正反射光が、画像センサ206に受光される関係が維持されるように、反射偏向プリズム230がフロントガラス105の内壁面に取り付けられる。
反射偏向プリズム230をフロントガラス105の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム230とフロントガラス105との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム230とフロントガラス105の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム230との間、及び、充填材とフロントガラス105との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。
反射偏向プリズム230は、図3に示すように、光源部202からの入射光を反射面231で一回だけ正反射して、これをフロントガラス105の内壁面に向けて折り返す。折り返した光は、フロントガラス105の外壁面に対して入射角θ(θ≧約42°)となるように構成されている。この適切な入射角θは、空気とフロントガラス105の外壁面との間の屈折率差に起因して、フロントガラス105の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態1では、フロントガラス105の外壁面に雨滴等の付着物が付着していない場合には、反射偏向プリズム230の反射面で折り返された光は、フロントガラス105の外壁面を透過することなく、すべて反射される。
一方、フロントガラス105の外壁面上に空気(屈折率1)とは異なる雨滴(屈折率1.38)などの付着物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス105の外壁面を透過する。したがって、フロントガラス105の外壁面に雨滴が付着していない非付着箇所については、その反射光が画像センサ206に受光されて高輝度な画像部分となる一方、雨滴が付着している付着箇所については、その反射光の光量が減り、画像センサ206に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。
図4は、本実施形態1の撮像ユニット101の概略構成を模式的に示した斜視図である。
本実施形態1の撮像ユニット101は、反射偏向プリズム230を固定支持し、フロントガラス105の内壁面に固定配置される第一支持部材としての第一モジュール101Aと、画像センサ206及びLED211が実装されたセンサ基板207、導光体215、撮像レンズ204を固定支持する第二支持部材としての第二モジュール101Bとから構成されている。
これらのモジュール101A,101Bは、回転連結機構240によって回動可能に連結されている。この回転連結機構240は、フロントガラス105の傾斜方向及び鉛直方向のいずれにも直交する方向(図3中紙面前後方向)に延びる回転軸241を有し、この回転軸241を中心にして、第一モジュール101Aと第二モジュール101Bとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス105に対して第一モジュール101Aが固定配置される場合でも、第二モジュール101Bの撮像部200の撮像方向を目標とする特定方向(本実施形態1では水平方向)に向けることができるようにするためである。
図5(a)は、水平面に対するフロントガラス105の傾斜角度θgが22°である車両に取り付けた状態の撮像ユニット101を示す側面図である。図5(b)は、図5(a)の状態において雨滴が付着していない場合の撮像ユニット101の光学系を示す説明図である。図5(c)は、図5(a)の状態において雨滴が付着している場合の撮像ユニット101の光学系を示す説明図である。
光源部202からの光L1は、反射偏向プリズム230の反射面231で正反射され、その反射光L2はフロントガラス105の内壁面を透過する。フロントガラス105の外壁面に雨滴が付着していない場合は、その反射光L2は外壁面では全反射し、この反射光L3はフロントガラス105の内壁面を透過して撮像レンズ204に向けて光は進む。一方、フロントガラス105の外壁面に雨滴203が付着している場合、反射偏向プリズム230の反射面231で正反射した反射光L2は、その外壁面を透過する。このような系において、フロントガラス105の角度θgが変わると、第二モジュール101Bの姿勢を維持したまま(撮像方向を水平方向に固定したまま)、フロントガラス105の内壁面に固定される第二モジュール101Bの姿勢が変化し、反射偏向プリズム230がフロントガラス105と一体になって図中Y軸回りに回転することになる。
ここで、本実施形態1における反射偏向プリズム230の反射面231とフロントガラス105の外壁面との配置関係は、回転連結機構240の回転調整範囲内において、常に、フロントガラス105の外壁面での全反射光L3が、フロントガラス状態変化検出用の画像センサ206の受光領域(以下「付着物検出用受光領域」という。)に受光される関係となっている。したがって、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3が画像センサ206の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。
特に、本実施形態1における配置関係は、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。そのため、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ206の付着物検出用受光領域内におけるフロントガラス105の外壁面での全反射光L3の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。
反射偏向プリズム230の反射面231とフロントガラス105の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム230の反射面231とフロントガラス105の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム230の反射面231とフロントガラス105の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム230の他の面(被入射面や出射面)の角度を調整することにより、フロントガラス105の傾斜角度θgが変わっても、撮像レンズへ向かう全反射光L3の光軸の角度θを略一定に保持することが可能である。
図6は、本実施形態1の反射偏向プリズム230を示す斜視図である。
反射偏向プリズム230は、光源部202からの光が入射する被入射面233と、被入射面233から入射した光L1を反射させる反射面231と、フロントガラス105の内壁面と密着する密着面232と、フロントガラス105の外壁面で反射した反射光L3を撮像部200に向けて出射する出射面234とを備えている。本実施形態1では、被入射面233と出射面234とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。
反射偏向プリズム230の材料は、少なくとも光源部202からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態1の光源部202からの光は赤外光であるため、反射偏向プリズム230の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム230にLEDからの光(赤外光)以外の光(車外からの可視光など)が入射するのを抑制できる。
また、反射偏向プリズム230は、回転連結機構240の回転調整範囲内において、その反射面231で光源部202からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構240の回転調整範囲内において反射面231で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム230の反射面231に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。
また、本実施形態1では、反射面231が平面であるが、反射面を凹面としたものでもよい。このような凹面状の反射面を用いることで、反射面に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス105上での照度低下を抑制することが可能となる。
ここで、フロントガラス105の外壁面で反射した光源部202からの赤外波長光を撮像部200で撮像する際、撮像部200の画像センサ206では、光源部202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源部202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源部202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部202を用いることは困難である場合が多い。
そこで、本実施形態1においては、例えば、図7に示すように光源部202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図8に示すように透過率のピークが光源部202の発光波長とほぼ一致したバンドパスフィルタを介して、光源部202からの光を画像センサ206で受光するように構成する。これにより、光源部202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源部202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部202でなくても、光源部202からの光を外乱光と区別することが可能となる。
ただし、本実施形態1においては、撮像画像データから、フロントガラス105上の雨滴203を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源部202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態1では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源部202が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
図9は、光学フィルタ205に設けられる前段フィルタ210の正面図である。
図10は、撮像画像データの画像例を示す説明図である。
本実施形態1の光学フィルタ205は、前段フィルタ210と後段フィルタ220とを光透過方向に重ね合わせた構造となっている。前段フィルタ210は、図9に示すように、車両検出用画像領域213である撮像画像上部2/3に対応する箇所に配置される赤外光カットフィルタ領域211と、雨滴検出用画像領域214である撮像画像下部1/3に対応する箇所に配置される赤外光透過フィルタ領域212とに、領域分割されている。赤外光透過フィルタ領域212には、図7に示したカットフィルタや図8に示したバンドパスフィルタを用いる。
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像中央部から上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図10に示すように、撮像画像下部を雨滴検出用画像領域214とし、残りの撮像画像上部を車両検出用画像領域213とし、これに対応して前段フィルタ210を領域分割するのが好適である。
なお、本実施形態1では、撮像画像中における車両検出用画像領域213の下部に雨滴検出用画像領域214を設けた例であるが、車両検出用画像領域213の上部に雨滴検出用画像領域214を設けたり、車両検出用画像領域213の上部と下部の両方に雨滴検出用画像領域214を設けたりしてもよい。
撮像部200の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態1では、撮像画像下部に対応する箇所に図7に示したカットフィルタや図8に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
なお、本実施形態1では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域214とする場合には、光学フィルタ205の前段フィルタ210の上部を図7に示したカットフィルタや図8に示したバンドパスフィルタで構成することになる。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態1では、後述するように、光学フィルタ205の後段フィルタ220に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしている。
ただし、本実施形態1の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態1では、光学フィルタ205の前段フィルタ210において、車両検出用画像領域213に対応する箇所を赤外光カットフィルタ領域211としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
図11は、車両検出用画像領域213に対応する部分の光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、上述したようにCCDやCMOSなどを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板207が形成されている。
画像センサ206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。車両検出用画像領域213に対応する部分における光学フィルタ205の後段フィルタ220は、図11に示すように、透明なフィルタ基板221上に偏光フィルタ層222と分光フィルタ層223を順次形成して積層構造としたものである。偏光フィルタ層222と分光フィルタ層223は、いずれも、画像センサ206上における1つのフォトダイオード206Aに対応するように領域分割されている。
光学フィルタ205と画像センサ206との間に空隙がある構成としてもよいが、光学フィルタ205を画像センサ206に密着させる構成とした方が、光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の各領域の境界と画像センサ206上のフォトダイオード206A間の境界とを一致させやすくなる。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
図12は、車両検出用画像領域213に対応する部分における光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の領域分割パターンを示す説明図である。
偏光フィルタ層222と分光フィルタ層223は、それぞれ、第1領域及び第2領域という2種類の領域が、画像センサ206上の1つのフォトダイオード206Aに対応して配置されたものである。これにより、画像センサ206上の各フォトダイオード206Aによって受光される受光量は、受光する光が透過した偏光フィルタ層222と分光フィルタ層223の領域の種類に応じて、偏光情報や分光情報等として取得することができる。その結果、本実施形態1によれば、車両検出用画像領域213において、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射した赤色光や自車両100の室内におけるダッシュボードなどからの赤色光(映りこみ光)等のように水平偏光成分Sの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両100の室内におけるダッシュボードなどからの白色光(映りこみ光)等のように水平偏光成分Sの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Sが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率(差分偏光度)を画素値とした差分偏光度画像などを使用することができる。
一方、雨滴検出用画像領域214については、光学フィルタ205の前段フィルタ210における赤外光透過フィルタ領域212により、可視光領域がカットされ、光源部202の発光波長である赤外光領域を含む波長帯の画像が撮像される。
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態1における雨滴検出処理について説明する。
本実施形態1では、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う目的で、検出対象物としての付着物である雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
本実施形態1では、上述したとおり、光源部202から照射されて反射偏向プリズム230からフロントガラス105の内壁面に入射した照明光(赤外光)は、フロントガラス105の外壁面上に雨滴が付着していない非付着箇所では、フロントガラス105の外壁面で正反射する。この正反射光は、画像センサ206に受光されて雨滴検出用画像領域214に映し出される。一方、フロントガラス105の外壁面上に雨滴が付着している付着箇所では、照明光がフロントガラス105の外壁面を透過し、その透過光が画像センサ206に受光されることはない。したがって、撮像画像データの雨滴検出用画像領域214は、フロントガラス105の外壁面に雨滴が付着していない非付着箇所は高輝度な画像部分(高い画素値)となる一方、雨滴が付着している付着箇所は低輝度な画像部分(低い画素値)となる。このような違いから、雨滴の有無だけでなく、雨滴の量も把握することが可能である。
図13は、本実施形態1における雨滴検出処理の説明図である。
本実施形態1の雨滴検出処理では、撮像ユニット101から取得した撮像画像データの雨滴検出用画像領域214の情報を用い、雨滴が増加したと判断したらワイパー107を駆動させる。詳しくは、雨滴検出用画像領域214を例えば図13に示すように画像横方向に8区分(x=1〜8)に分割し、各雨滴検出区分x内の合計輝度値y(x,ta)を算出する。なお、「ta」は、点灯時撮像フレームの撮像タイミングである。そして、各雨滴検出区分xの合計輝度値y(x,ta)に基づいて雨滴検出条件を判断し、雨滴検出条件を満たしたら、雨滴が付着していない状況から雨滴が付着した(雨滴が増加した)と判断してワイパー107を駆動させる。逆に、各雨滴検出区分xの合計輝度値y(x,ta)に基づいて雨滴の不検出条件を判断し、雨滴の不検出条件を満たしたら、ワイパー107の駆動を停止させる。なお、ワイパー107の駆動を開始させる条件や停止させる条件は、これに限らず適宜設定できる。例えば、閾値は固定値である必要はなく、撮像部200が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。また、開始条件と停止条件の閾値は同じ値でも異なる値でもよい。
図14は、本実施形態1における撮像フレームと雨滴検出との関係を示す説明図である。
一般には、撮像領域内に存在する路面上の白線(区画線)や他車両等の識別対象物を検出するための撮像フレーム(センシング用フレーム)と、雨滴を検出するための撮像フレーム(雨滴検出用フレーム)とが、異なる撮像フレームであることが多い。しかしながら、この場合、雨滴検出用フレームの前後のセンシング用フレームの間で時間が空くことになるため、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの間に、識別対象物を識別するための画像を取得できない時間が存在し、識別対象物の認識精度が低下するなどの不具合を引き起こす。そこで、本実施形態1においては、図14に示すように、識別対象物を検出するための画像(車両検出用画像領域)と雨滴203を検出するための雨滴検出用画像領域とを有する画像を、単一の撮像フレームframe2,4,6,8,10,12で得ることができる。この場合、雨滴を検出するための専用の撮像フレーム(雨滴検出用フレーム)が不要であるため、上述した不具合が生じることはない。
ここで、本実施形態1では、好適な車両検出用画像領域(例えばコントラストの高い画像領域)を得るために、撮像領域の状況(明るさ等)に応じて露光量を変更する自動露光制御(AEC)を実施している。具体的には、画像解析ユニット102の露光量制御部102Cにより、前撮像フレームにおける撮像画像中央部(車両検出用画像領域213内の画素)の輝度値に合わせて、次の撮像フレームの露光時間(露光量)を変更する自動露光制御(AEC)を行う。
このような自動露光制御が実施されると、フロントガラス上の雨滴付着状況が全く同じ状況であっても、その露光時間の変更によって雨滴検出用画像領域の輝度やコントラストが変わるおそれがある。この場合、輝度やコントラスト等が異なる雨滴検出用画像領域214が得られる結果、雨滴量の適切な検出ができなくなり、ワイパー107の誤動作などの問題が生じ得る。そこで、本実施形態1では、光源部202からの光照射期間外で自動露光制御により露光期間が変更されるように設定している。この場合、その露光期間が変更されても画像センサ206による光源光の受光時間は光照射期間で一定であるため、雨滴量の適切な検出が可能であり、ワイパー107の誤動作などの問題を抑制できる。
本実施形態1では、上述したとおり、フロントガラス上に雨滴が付着することにより光源部202からの光源光の画像センサ206による受光量が減少し、雨滴検出用画像領域の輝度値が低下することを利用して、フロントガラス上の雨滴を検出する。具体的には、各雨滴検出区分x内の合計輝度値y(x,ta)と直前の合計輝度値y(x,ta−1)との差分(以下「点灯時差分」という。)e(x,ta)を雨滴変動成分とし、この雨滴変動成分から雨滴が付着したことを把握することができる。
本実施形態1において、点灯時差分e(x,ta)=y(x,ta)−y(x,ta−1)は、連続する2つの点灯時撮像フレームframe2,4,6,8,10,12(ta=1,2,3,4,5,6)を撮像するのに要する時間内における合計輝度値の変化量(照明時変化量)を示すものである。この点灯時差分e(x,ta)を変動させる要因は、雨滴の付着あるいはワイパー107による雨滴の除去によって雨滴の付着量が変動したことによる要因(雨滴変動成分)のほか、画像センサ206に入射する外乱光の光量変化による要因(外乱光変動成分)と、この外乱光変動成分以外の要因(非外乱光変動成分)とが含まれ得る。これらの外乱光変動成分や非外乱光変動成分が点灯時差分e(x,ta)の中に含まれていると、この点灯時差分を雨滴変動成分であるとして取り扱うと、雨滴の誤検出を招き、ワイパー107の誤動作などの問題を引き起こすおそれがある。
ここで、非外乱光変動成分として考えられるのは、主に、レンズ、ミラー、プリズム等の光学部材の光学特性や光源の発光量などが温度変化によって変動して雨滴検出用画像領域の輝度値を変動させる温度変動成分や、これらの光学部材の光学特性や光源の発光量などが経時劣化によって変動して雨滴検出用画像領域の輝度値を変動させる経時劣化変動成分である。このような温度変動成分や経時劣化変動成分は、その変動が非常に緩やかなものであり、これらの変動成分によって点灯時差分e(x,ta)の中に有意な変化をもたらす期間は、当該点灯時差分e(x,ta)を観測する変化観測期間(本実施形態1では、連続する2つの点灯時撮像フレームを撮像するのに要する時間)に比べて長いものである。したがって、点灯時差分e(x,ta)を変動させる要因からは、非外乱光変動成分を除外して考えることができる。そうすると、点灯時差分e(x,ta)を変動させる要因(変動成分)は、雨滴変動成分を除くと、外乱光変動成分だけであると考えることができる。
そこで、本実施形態1では、各雨滴検出区分x内の合計輝度値の変化量(照明時変化量)を示す点灯時差分e(x,ta)のなかに、外乱光変動成分が含まれているか否かを判定し、外乱光変動成分が含まれていない場合の点灯時差分e(x,ta)を雨滴変動成分として取り扱う。これにより、外乱光変動成分や非外乱光変動成分の影響を受けずに、雨滴を適切に検出することができ、ワイパー107の誤動作などの問題を引き起こすことを回避できる。
ここで、外乱光変動成分については、例えば、次のようにして得ることができる。すなわち、本実施形態1では、図14に示したように、一撮像フレームごとに、光源部202の点灯と消灯とを交互に繰り返して撮像している。具体的には、奇数の撮像フレームframe1,3,5,7,9,11では、光源部202が消灯した状態で撮像された撮像画像データ(消灯時画像データ)を撮像し、偶数の撮像フレームframe2,4,6,8,10,12では、光源部202が点灯した状態で撮像された撮像画像データ(点灯時画像データ)を撮像する。
このとき、消灯時の撮像フレームframe1,3,5,7,9,11(tb=1,2,3,4,5,6)により得られる雨滴検出用画像領域の消灯時画像データは、光源部202からの光源光以外の外乱光のみが撮像された画像データである。なお、「tb」は、消灯時撮像フレームの撮像タイミングである。よって、直前の消灯時撮像フレームにおける各雨滴検出区分x内の輝度値総和d(x,tb)を、それぞれ、点灯時の撮像フレームから得られる雨滴検出用画像領域の各雨滴検出区分x内の合計輝度値y(x,ta)に含まれる外乱光成分として把握することが可能である。したがって、本実施形態1では、消灯時撮像フレームにおける各雨滴検出区分x内の輝度値総和d(x,tb)とその直前の輝度値総和d(x,tb−1)との差分(以下「消灯時差分」という。)e(x,tb)を外乱光変動成分とする。
図15は、本実施形態1における雨滴検出処理の流れを示すフローチャートである。
画像解析ユニット102の光源制御部102Bは、信号処理部208からの画像信号の取得と連動しながら、光源部202の発光タイミングを制御し、まず、消灯時撮像フレームframe1,3(tb=1,2)と点灯時撮像フレームframe2,4(ta=1,2)とを撮像する(S1)。次に、画像解析ユニット102の検出処理部102Aは、点灯時撮像フレームframe2,4における雨滴検出用画像領域の各雨滴検出区分x内の合計輝度値y(x,ta=1),y(x,ta=2)を算出する(S2)。そして、各雨滴検出区分xについての点灯時差分e(x,ta=2)=y(x,ta=2)−y(x,ta=1)を算出する(S3)。
点灯時差分e(x,ta=2)の算出にあたり、画像解析ユニット102の検出処理部102Aは、まず、点灯時撮像フレームframe2(ta=1)の撮像画像データを撮像ユニット101から取得する。検出処理部102Aでは、この取得した撮像画像データから点灯時撮像フレームframe2の合計輝度値y(x,ta=1)を算出したら、内部の記憶部に一時的に記憶したり、その出力を遅延させたりする。その後、画像解析ユニット102の検出処理部102Aは、次の点灯時撮像フレームframe4の撮像画像データを撮像ユニット101から取得して合計輝度値y(x,ta=2)を算出したら、一時記憶され又は遅延された前回の合計輝度値y(x,ta=1)を用いて、点灯時差分e(x,ta=2)を算出する。
次に、検出処理部102Aは、このようにして算出した各雨滴検出区分xの点灯時差分e(x,ta=2)がそれぞれ第一差分閾値Ey未満であるか否かを判断し、点灯時差分e(x,ta=2)が第一差分閾値Ey未満である雨滴検出区分xの数を求める(S4)。このときの第一差分閾値Eyは、雨滴の付着あるいはワイパー107による雨滴の除去によって雨滴の付着量が変動したときの点灯時差分e(x,ta=2)の変動量を検出できる適切な値に適宜設定される。なお、本実施形態1では、雨滴が付着すると合計輝度値が小さくなるので、雨滴が付着したときの点灯時差分e(x,ta)=y(x,ta)−y(x,ta−1)は負の値をとるので、第一差分閾値Eyは負の値で適宜設定される。
なお、ここでは、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)を、今回の点灯時撮像フレームの合計輝度値y(x,ta)から、その直前の点灯時撮像フレームの合計輝度値y(x,ta−1)を差し引いた点灯時差分e(x,ta)を用いているが、これに限られない。
例えば、直前の点灯時撮像フレームの合計輝度値y(x,ta−1)から今回の点灯時撮像フレームの合計輝度値y(x,ta)を差し引いたものでもよい。この場合、本実施形態1のように雨滴が付着すると合計輝度値が小さくなるケースでは、雨滴が付着したときの点灯時差分e(x,ta)=y(x,ta−1)−y(x,ta)は正の値をとるので、第一差分閾値Eyは正の値で適宜設定される。このとき、処理ステップS4では、各雨滴検出区分xの点灯時差分e(x,ta)がそれぞれ第一差分閾値Ey以上である雨滴検出区分xの数を求めることになる。
また、例えば、直前の点灯時撮像フレームの合計輝度値y(x,ta−1)と今回の点灯時撮像フレームの合計輝度値y(x,ta)との差分の絶対値であってもよい。この場合、本実施形態1のように雨滴が付着すると合計輝度値が小さくなるケースでは、雨滴が付着したときの点灯時差分e(x,ta)=|y(x,ta)−y(x,ta−1)|は、正の値をとるので、第一差分閾値Eyは正の値で適宜設定される。このとき、処理ステップS4では、各雨滴検出区分xの点灯時差分e(x,ta)がそれぞれ第一差分閾値Ey以上である雨滴検出区分xの数を求めることになる。
なお、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)を観測する変化観測期間も適宜設定できるので、連続する2つの撮像フレーム間における差分に限らず、2つ以上の離れた撮像フレーム間における差分を用いてもよい。
また、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)は、例えば、時間的に近接する複数の合計輝度値の平均値や中央値などを用いて、時間方向に平滑化した値を利用してもよい。このように時間方向に平滑化することで、短時間に生じるパルス状のノイズを緩和したり、信号の時間的な揺らぎに起因して偶発的に照明時変化量が極端に大きくなるリスクを低減したりすることができる。
画像解析ユニット102の検出処理部102Aは、点灯時差分e(x,ta=2)が第一差分閾値Ey未満である雨滴検出区分xの数を求めたら、求めた区分数が第一判定閾値F1を超えているか否かを判定する(S5)。この第一判定閾値F1も適宜設定することができる。求めた区分数が第一判定閾値F1以下である場合には(S5のNo)、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット102からワイパー制御ユニット106へ出力される(S10)。これにより、ワイパー制御ユニット106は、ワイパー107の駆動を停止させるなどの制御を実施する。
一方、求めた区分数が第一判定閾値F1を超えている場合(S5のYes)、雨滴の付着あるいはワイパー107による雨滴の除去によって雨滴の付着量が変動したことにより点灯時差分e(x,ta=2)が変動した可能性が高い。ただし、この点灯時差分e(x,ta=2)の変動が、その点灯時差分e(x,ta=2)を算出した変化観測期間(連続する2つの点灯時撮像フレームframe2,4を撮像するのに要する時間)内に外乱光の光量が変化したことによって生じた可能性もある。そこで、本実施形態1では、次に、第一差分閾値Ey未満であると判断された点灯時差分e(x,ta=2)のなかに、外乱光変動成分が含まれているか否かを判定するための処理を実施する。
具体的には、画像解析ユニット102の検出処理部102Aは、消灯時撮像フレームframe1,3における雨滴検出用画像領域の各雨滴検出区分x内の輝度値総和d(x,tb=1),d(x,tb=2)を算出する(S6)。そして、各雨滴検出区分xについての消灯時差分e(x,tb=2)=d(x,tb=2)−d(x,tb=1)を算出する(S7)。この消灯時差分e(x,tb=2)の算出方法は、点灯時差分e(x,ta=2)の算出方法と同様である。
次に、検出処理部102Aは、このようにして算出した各雨滴検出区分xの消灯時差分e(x,tb=2)がそれぞれ第二差分閾値Ed未満であるか否かを判断し、消灯時差分e(x,tb=2)が第二差分閾値Ed未満である雨滴検出区分xの数を求める(S8)。ここで、雨滴変動成分として誤認され得る外乱光変動成分は消灯時差分e(x,tb)=d(x,tb)−d(x,tb−1)が負の値をとる場合なので、第二差分閾値Edは負の値で適宜設定される。なお、第二差分閾値Ed未満であるか否かを判断については、上述した処理ステップS4において点灯時差分e(x,ta=2)が第一差分閾値Ey未満であると判断した雨滴検出区分xのみを対象に行うようにしても良い。
また、ここでは、各雨滴検出区分x内の輝度値総和d(x,tb)の変化量(非照明時変化量)を、今回の消灯時撮像フレームの輝度値総和d(x,tb)から、その直前の消灯時撮像フレームの輝度値総和d(x,tb−1)を差し引いた消灯時差分e(x,tb)を用いているが、これに限られない。
例えば、直前の消灯時撮像フレームの輝度値総和d(x,tb−1)から今回の消灯時撮像フレームの輝度値総和d(x,tb)を差し引いたものでもよい。この場合、本実施形態1のように雨滴が付着すると合計輝度値が小さくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量減少時には、消灯時差分e(x,tb)=d(x,tb−1)−d(x,tb)が正の値をとるので、第二差分閾値Edは正の値で適宜設定される。このとき、処理ステップS8では、各雨滴検出区分xの消灯時差分e(x,tb)がそれぞれ第二差分閾値Ed以上である雨滴検出区分xの数を求めることになる。
また、例えば、直前の消灯時撮像フレームの輝度値総和d(x,tb−1)と今回の消灯時撮像フレームの輝度値総和d(x,tb)との差分の絶対値であってもよい。この場合、本実施形態1のように雨滴が付着すると合計輝度値が小さくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量減少時には、消灯時差分e(x,tb)=|d(x,tb)−d(x,tb−1)|は、正の値をとるので、第二差分閾値Edは正の値で適宜設定される。このとき、処理ステップS8では、各雨滴検出区分xの消灯時差分e(x,tb)がそれぞれ第二差分閾値Ed以上である雨滴検出区分xの数を求めることになる。
なお、各雨滴検出区分x内の輝度値総和d(x,tb)の変化量(非照明時変化量)を算出する期間も適宜設定できるので、連続する2つの撮像フレーム間における差分に限らず、2つ以上の離れた撮像フレーム間における差分を用いてもよい。
なお、消灯時差分e(x,tb)を算出する期間は、上述した点灯時差分e(x,ta)を算出する変化観測期間と一致している必要はないが、この変化観測期間に近い期間に設定することが望ましい。例えば、点灯時差分e(x,ta=2)に対応する消灯時差分として、例えば、e(x,tb=3)−e(x,tb=2)や、e(x,tb=3)−e(x,tb=1)などを用いてもよい。
画像解析ユニット102の検出処理部102Aは、消灯時差分e(x,ta=2)が第二差分閾値Ed未満である雨滴検出区分xの数を求めたら、求めた区分数が第二判定閾値F2を超えているか否かを判定する(S9)。この第二判定閾値F2も適宜設定することができる。求めた区分数が第二判定閾値F2以下である場合(S9のNo)、上述した第一差分閾値Ey未満である点灯時差分e(x,ta=2)は、外乱光の光量変化に起因したものではなく、雨滴の付着あるいはワイパー107による雨滴の除去によって雨滴の付着量が変動したことに起因したものであると判断する。よって、雨滴が検出されたものとして、雨滴検出の処理結果が画像解析ユニット102からワイパー制御ユニット106へ出力される(S11)。これにより、ワイパー制御ユニット106は、ワイパー107の駆動を開始するなどの制御を実施する。
一方、求めた区分数が第二判定閾値F2を超えている場合(S9のYes)、上述した第一差分閾値Ey未満である点灯時差分e(x,ta=2)は、外乱光の光量変化に起因したものである可能性が高い。よって、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット102からワイパー制御ユニット106へ出力される(S10)。これにより、ワイパー制御ユニット106は、ワイパー107の駆動を停止させるなどの制御を実施する。
以上は、点灯時撮像フレームframe4(ta=2)の撮像完了後に実施される雨滴検出処理であるが、この雨滴検出処理が完了したら、次に、点灯時撮像フレームframe6(ta=3)の撮像完了後に同様の雨滴検出処理が繰り返し実施される。なお、このときの点灯時差分はe(x,ta=3)=y(x,ta=3)−y(x,ta=2)であり、消灯時差分はe(x,tb=3)=d(x,tb=3)−d(x,tb=2)である。このようにして、雨滴検出処理は、雨滴の付着を検出する機能が有効になっている間は、繰り返し実施される。
なお、本実施形態1における消灯時差分e(x,tb)は、外乱光変動成分のほか、意図しない画像センサ206の自動補正処理あるいは画像センサ206や光源部202の故障などによっても変動し得る。具体的には、画像センサ206には自動露光制御や自動レベル補正制御などの各種機能が搭載されている場合があり、これらの制御が誤動作することで各雨滴検出区分x内の合計輝度値y(x,ta)を変動させるおそれがある。また、画像センサ206の受光素子の故障に伴って、画像センサ206からの出力信号に局所的に大きな値または小さな値が生じる恐れがある。
消灯時差分e(x,tb)は、通常はほとんど変動することがないので、算出した消灯時差分e(x,tb)を、画像センサ206や光源部202の故障あるいは画像センサ206の自動補正処理の誤作動を検出する処理にも利用可能である。具体的は、消灯時差分e(x,tb)が所定の異常判断閾値を越えた場合に異常が発生したものと判断するような処理を実施する。特に、意図しない画像センサ206の自動補正処理あるいは画像センサ206や光源部202の故障は、点灯時撮像フレームの撮像画像データだけでは、雨滴の付着と区別が困難となる場合があるため、消灯時撮像フレームの撮像画像データを活用することが望ましい。
また、本実施形態1において、雨滴の検出条件として、点灯時差分e(x,ta)が第一差分閾値Ey未満である雨滴検出区分xの数が第一判定閾値F1を超えているという条件を含んでいるが、雨滴の検出条件には、この条件に代えて又はこの条件に加えて、他の条件を採用してもよい。例えば、全雨滴検出区分xの点灯時差分e(x,ta)の平均値や分散値を導出し、その導出値が所定の閾値を上回る又は下回るという条件を採用してもよい。この条件は、局所的に生じるノイズに対する耐性を高めることができる点で有効である。
また、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)として、各雨滴検出区分x内の今回の合計輝度値y(x,ta)と直前の合計輝度値y(x,ta−1)との差分である点灯時差分e(x,ta)とは別のパラメータを用いた条件を採用してもよい。
例えば、各雨滴検出区分x内における個々の画素について今回の画素値と直前の画素値間の画素別差分値を導出し、その画素別差分値が所定の閾値を上回る又は下回る画素の個数を、点灯時差分e(x,ta)に代わるパラメータとして用いてもよい。この場合、各雨滴検出区分x内において局所的に雨滴が付着した場合でも、雨滴を適切に検出することが可能となる点で有効である。
また、例えば、各雨滴検出区分x内における画素別差分値の平均値や分散値を導出し、その導出値が所定の閾値を上回る又は下回るという条件を採用してもよい。この条件は、各雨滴検出区分x内において局所的に生じるノイズに対する耐性を高めることができる点で有効である。ただし、画素別差分値は、局所的に正負が逆転した結果が得られる場合があり、単に画素別差分値の平均値等から雨滴検出条件を判断すると、雨滴変動成分が不当に小さく評価されるおそれがある。したがって、例えば、各雨滴検出区分x内における画素別差分値の絶対値の合計が所定の閾値を上回るという条件を採用してもよい。
なお、雨滴は、空間的なばらつきをもって付着することから、各雨滴検出区分x内における画素別差分値も同様に空間的なばらつきが生じる。よって、各雨滴検出区分x内における画素別差分値の分散値からも、雨滴検出条件を判断することができる。また、後述する実施形態2のように、雨滴によって光源光が屈折されたり反射されたりする場合、光源光が画像センサ206上に局所的に集光され、各雨滴検出区分x内における画素別差分値が局所的に上昇する場合がある。これを雨滴検出条件に反映させてもよい。
また、本実施形態1では、雨滴が検出されたか否かの判断を行う例であるが、点灯時差分e(x,ta)に基づいて単位時間当たりに付着する雨滴量を推定し、推定した雨滴量を雨滴検出の結果として出力してもよい。この場合、例えば、ワイパー制御ユニット106は、画像解析ユニット102から取得した雨滴量に応じてワイパー107の動作速度(Low, High, Intervalなどの動作モード)を選択する制御を実行することが可能となる。
〔変形例1〕
次に、本実施形態1の一変形例(以下、本変形例を「変形例1」という。)について説明する。
本変形例1は、雨滴検出処理の処理結果が雨滴検出の結果を継続して示している場合や雨滴不検出の結果を継続して示している場合に、その後の雨滴検出処理に用いる雨滴の検出条件を変更する。具体的には、例えば、継続して雨滴不検出の結果が示された場合には、雨が降っていない可能性が高いので、雨滴の検出感度が下げる方向に検出条件を変化させる。これにより、雨滴の誤検出を抑制することができる。逆に、継続して雨滴検出の結果が示された場合には、雨が降っている可能性が高いので、雨滴の検出感度が上がる方向に検出条件を変化させる。これにより、雨滴の検出漏れを抑制することができる。
図16は、本変形例1における雨滴検出処理の流れを示すフローチャートである。
図17は、本変形例1における閾値変更処理の流れを示すフローチャートである。
本変形例1における雨滴検出処理の内容は、上述した実施形態1と同様であるが、図16に示すように、雨滴検出処理の最後に閾値更新処理が実施される(S20)。この閾値更新処理では、まず、図17に示すように、所定の条件変更期間内で雨滴が検出された回数が第一規定値以上であるか否かを判断する(S21)。これにより、雨滴の付着量が増え続けているかどうかを把握したり、どの程度の頻度で雨滴の付着が検出されているかを把握したりすることができる。このような把握の結果、雨が降っているか否かを判別することができる。
なお、所定の条件変更期間内で雨滴が検出された回数に代えて又はこれに加えて、所定の条件変更期間内で雨滴が検出されなかった回数を用い、これが所定の規定値を下回るか否かで、雨が降っている状況を把握するようにしてもよい。また、所定の条件変更期間内で雨滴が検出された回数ではなく、雨滴が検出された回数と検出されなかった回数との比率など、他のパラメータを用いて雨が降っている状況を把握してもよい。
所定の条件変更期間内で雨滴が検出された回数が第一規定値以上であると判断された場合(S21のYes)、雨が降っている状況であると判断して、次回以降の雨滴検出処理における検出条件に関わる少なくとも1つの閾値を、雨滴の検出感度が高い閾値へ変更する処理を行う(S22)。具体的には、例えば、第一差分閾値Ey(負の値)を大きい閾値(より絶対値の小さい負の値)に変更したり、第一判定閾値F1を小さい閾値に変更したり、第二差分閾値Ed(負の値)を小さい閾値(より絶対値の大きい負の値)に変更したり、第二判定閾値F2を大きい閾値に変更したりする。なお、各種閾値が取りうる範囲 (最大値ならびに最小値) を予め設定し、前記範囲を越える場合には閾値を更新しないように閾値変更処理を実施することが好ましい。
なお、検出感度を高める方法は、雨滴の検出条件に応じて変わる。
例えば、上述したように、各雨滴検出区分x内における画素別差分値が所定の画素別差分値閾値を下回る画素の個数が所定の個数閾値を上回るという条件が、雨滴の検出条件に含まれている場合、その画素別差分値閾値を大きくしたり、その個数閾値を小さくしたりすれば、検出感度を高めることができる。
また、例えば、上述したように、各雨滴検出区分x内における画素別差分値の平均値や分散値が所定の平均値閾値又は所定の分散値閾値を上回る画素の個数が所定の個数閾値を上回るという条件が、雨滴の検出条件に含まれている場合、その平均値閾値や分散値閾値を小さくしたり、その個数閾値を小さくしたりすれば、検出感度を高めることができる。
一方、所定の条件変更期間内で雨滴が検出された回数が第一規定値未満であると判断された場合(S21のNo)、次に、所定の条件変更期間内で雨滴が検出されなかった回数が第二規定値以上であるか否かを判断する(S23)。これにより、どの程度の頻度で雨滴の付着が検出されていないかを把握することができ、雨が降っていない状況であるか否かを判別することができる。
所定の条件変更期間内で雨滴が検出されなかった回数が第二規定値以上であると判断された場合(S23のYes)、雨が降っていない状況であると判断して、次回以降の雨滴検出処理における検出条件に関わる少なくとも1つの閾値を、雨滴の検出感度が低い閾値へ変更する処理を行う(S24)。具体的には、例えば、第一差分閾値Ey(負の値)を小さい閾値(より絶対値の大きい負の値)に変更したり、第一判定閾値F1を大きい閾値に変更したり、第二差分閾値Ed(負の値)を大きい閾値(より絶対値の小さい負の値)に変更したり、第二判定閾値F2を小さい閾値に変更したりする。なお、各種閾値が取りうる範囲 (最大値ならびに最小値) を予め設定し、前記範囲を越える場合には閾値を更新しないように閾値変更処理を実施することが好ましい。また、検出感度を低くする方法が雨滴の検出条件に応じて変わる点は、上述したように検出感度を高くする場合と同様である。
他方、所定の条件変更期間内で雨滴が検出された回数が第一規定値未満であり(S21のNo)、かつ、所定の条件変更期間内で雨滴が検出されなかった回数も第二規定値未満である場合(S23のNo)には、そのまま、各種閾値を変更することなく、雨滴検出処理を終了する。
なお、本変形例1は、雨滴の検出条件に関わる各種閾値を変更することにより雨滴の検出感度を変更する例であるが、雨滴の検出感度の変更方法はこれに限られない。例えば、上述した雨滴の検出条件に関わる各種閾値を変更する方法に代えて又はこれに加えて、雨滴の検出条件を判断するために用いるパラメータを変えて雨滴の検出感度を変更する方法を採用してもよい。具体的には、雨滴検出処理の処理結果が雨滴検出の結果を継続して示している場合や雨滴不検出の結果を継続して示している場合に、その後の雨滴検出処理に用いる点灯時差分e(x,ta)や消灯時差分e(x,tb)の変化観測期間の長さを変更する。
例えば、所定の条件変更期間内で雨滴が検出された回数が第一規定値以上であると判断された場合(S21のYes)、雨が降っている状況であると判断して、次回以降の雨滴検出処理における点灯時差分e(x,ta)の変化観測期間の長さを長くする。すなわち、通常時の点灯時差分e(x,ta)=y(x,ta)−y(x,ta−1)である場合に、これをe(x,ta)=y(x,ta)−y(x,ta−2)やe(x,ta)=y(x,ta)−y(x,ta−3)とする。これにより、次回以降の雨滴検出処理において、点灯時差分e(x,ta)が第一差分閾値未満である区分数が増える結果、雨滴の付着が検出される頻度が増大する。
また、例えば、所定の条件変更期間内で雨滴が検出された回数が第一規定値以上であると判断された場合(S21のYes)、次回以降の雨滴検出処理における消灯時差分e(x,tb)の変化観測期間の長さを短くするようにしてもよい。すなわち、通常時の消灯時差分e(x,tb)=d(x,tb)−d(x,tb−2)である場合に、これをe(x,tb)=d(x,tb)−d(x,tb−1)とする。これにより、次回以降の雨滴検出処理において、消灯時差分e(x,tb)が第二差分閾値未満である区分数が減る結果、雨滴の付着が検出される頻度が増大する。
また、例えば、所定の条件変更期間内で雨滴が検出されなかった回数が第二規定値以上であると判断された場合(S23のYes)、次回以降の雨滴検出処理における点灯時差分e(x,ta)の変化観測期間の長さを短くしてもよい。すなわち、例えば、通常時の点灯時差分e(x,ta)=y(x,ta)−y(x,ta−2)である場合に、これをe(x,ta)=y(x,ta)−y(x,ta−1)とする。これにより、次回以降の雨滴検出処理において、点灯時差分e(x,ta)が第一差分閾値未満である区分数が減る結果、雨滴の付着が検出される頻度が減少する。
また、例えば、所定の条件変更期間内で雨滴が検出されなかった回数が第二規定値以上であると判断された場合(S23のYes)、次回以降の雨滴検出処理における消灯時差分e(x,tb)の変化観測期間の長さを長くするようにしてもよい。すなわち、例えば、通常時の消灯時差分e(x,tb)=d(x,tb)−d(x,tb−1)である場合に、これをe(x,tb)=d(x,tb)−d(x,tb−2)とする。これにより、次回以降の雨滴検出処理において、消灯時差分e(x,tb)が第二差分閾値未満である区分数が増える結果、雨滴の付着が検出される頻度が減少する。
なお、上述したように点灯時差分e(x,ta)の変化観測期間の長さを変更した場合には、これに対応して消灯時差分e(x,tb)の変化観測期間の長さも変更するのが好ましい。同様に、上述したように消灯時差分e(x,tb)の変化観測期間の長さを変更した場合には、これに対応して点灯時差分e(x,ta)の変化観測期間の長さも変更するのが好ましい。
ただし、雨滴検出処理に用いる点灯時差分e(x,ta)や消灯時差分e(x,tb)の変化観測期間の長さを変更すると、雨滴検出の応答速度も変化する。例えば、点灯時差分e(x,ta)や消灯時差分e(x,tb)の変化観測期間の長さが長いほど、雨滴の検出感度が高まるが、雨滴による実際の変動が生じてからこれが検出されるまでの時間が長くなり、雨滴検出の応答速度が低下するというデメリットが生じる。したがって、雨滴検出処理に用いる点灯時差分e(x,ta)や消灯時差分e(x,tb)の変化観測期間の長さを変更する場合には、このような雨滴の検出感度と雨滴検出の応答速度との関係を考慮して、当該変化観測期間の長さを決定するのが好ましい。
〔変形例2〕
次に、本実施形態1の他の変形例(以下、本変形例を「変形例2」という。)について説明する。
ワイパー107がフロントガラス上の光源光照明範囲内を通過する時期又はその前後の時期においては、ワイパー107の動きによってワイパー107自身に付着している水滴がフロントガラス上の光源光照明範囲に付着する場合がある。この場合、この水滴の付着が雨滴の付着として誤検出され、ワイパー107の誤動作などの問題を引き起こすおそれがある。例えば、降雨中にワイパー107が拭き取ってワイパー107自身に付着していた水滴が、雨が降り止んだ後に、フロントガラス上の光源光照明範囲に付着し、これが雨滴の付着として誤検出されると、雨が降っていないのにワイパー107が動作するという誤動作を引き起こす。
そこで、本変形例2では、ワイパー107の動作タイミングに応じて雨滴検出処理を実行するか否かを判断する。具体的には、ワイパー107がフロントガラス上の光源光照明範囲を通過するタイミングに近づいたら、雨滴検出処理の継続を一時中断し、当該タイミングが過ぎたら雨滴検出処理の継続を再開する。
図18は、本変形例2における雨滴検出処理の流れを示すフローチャートである。
本変形例2における雨滴検出処理の内容は、上述した実施形態1と同様であるが、図18に示すように、雨滴検出処理の最初に、まず、ワイパー107が動作中であるか否かを判断する(S31)。そして、ワイパー107が動作中でなければ(S31のNo)、上述した実施形態1と同様の手順で雨滴検出処理を実行する(S1〜S11)。
一方、ワイパー107が動作中である場合(S31のYes)、次に、ワイパー107の現在の動作位置が所定の規制範囲内であるか否かを判断する(S32)。この規制範囲は、ワイパー107自身に付着していた水滴がフロントガラス上の光源光照明範囲に付着し得る範囲に適宜設定される。具体的には、例えば、ワイパー107の移動経路上における光源光照明範囲を含んだ所定範囲に設定し、ワイパー107が光源光照明範囲に進入する直前の時期からワイパー107が光源光照明範囲を通過した直後の時期までの期間に、雨滴検出処理の継続が一時中断されるようにする。
ワイパー107の現在の動作位置は、例えば、画像解析ユニット102の検出処理部102Aがワイパー制御ユニット106からワイパー107の現在の動作位置を特定するためのワイパー位置特定情報を取得することで把握される。また、このワイパー位置特定情報としては、ワイパー107の現在の動作位置を示す位置情報そのものであってもよいが、ワイパー制御ユニット106が直前に出力したワイパー駆動信号であってもよい。画像解析ユニット102の検出処理部102Aは、このワイパー駆動信号の出力タイミングからの経過時間と予め把握されているワイパー移動速度とから、ワイパー107の現在の動作位置を特定することができる。
画像解析ユニット102の検出処理部102Aは、ワイパー107の現在の動作位置が所定の規制範囲内ではないと判断したら(S32のNo)、上述した実施形態1と同様の手順で雨滴検出処理を実行する(S1〜S11)。一方、ワイパー107の現在の動作位置が所定の規制範囲内であると判断したら(S32のYes)、雨滴検出処理を終了する。これにより、ワイパー107の現在の動作位置が所定の規制範囲内ではなくなるまでは、雨滴検出処理が実行されない。
なお、本変形例2においては、ワイパー107の現在の動作位置が所定の規制範囲内であるか否かを判断する処理ステップS32を雨滴検出処理の最初に行っているが、ワイパー107の現在の動作位置が所定の規制範囲内であるときにワイパー制御ユニット106が次のワイパー駆動信号を出力することを阻止できるタイミングであれば、当該処理ステップS32はどのようなタイミングで行っても良い。したがって、例えば、図19に示すように、点灯時差分e(x,ta)が第一差分閾値Ey未満である雨滴検出区分xの数が第一判定閾値F1を超えていて(S5のYes)、かつ、消灯時差分e(x,tb)が第二差分閾値Ed未満である雨滴検出区分xの数が第二判定閾値F2以下である(S9のNo)と判断されたタイミングで、ワイパー107の現在の動作位置が所定の規制範囲内であるか否かを判断する処理ステップS32を行っても良い。
〔変形例3〕
次に、本実施形態1の更に他の変形例(以下、本変形例を「変形例3」という。)について説明する。
上述した実施形態1や変形例1、2では、照明時変化量の一例として点灯時差分e(x,ta)を用いたが、照明時受光量の時間変化を示すものであれば、照明時変化量は点灯時差分e(x,ta)に限定されるものではない。照明時変化量は、点灯時撮像フレームframe2,4,6,8,10,12(ta=1,2,3,4,5,6)における各雨滴検出区分x内の合計輝度値y(x,ta)とその直前の合計輝度値y(x,ta−1)との変化の程度を定量化した任意の尺度を用いることができる。本変形例3においては、照明時変化量の他の例として、各雨滴検出区分x内の合計輝度値y(x,ta)とその直前の合計輝度値y(x,ta−1)との比である点灯時比r(x,ta)=y(x,ta)/y(x,ta−1)から1を減じた点灯時変化率p(x,ta)=r(x,ta)−1を用いる。
なお、点灯時変化率p(x,ta)は、p(x,ta)={y(x,ta)−y(x,ta−1)}/y(x,ta−1)と変形できるため、上述した実施形態1や変形例1、2で用いた点灯時差分e(x,ta)を、直前の合計輝度値y(x,ta−1)で除したものに相当する。
また、上述した実施形態1や変形例1、2では、非照明時変化量の一例として消灯時差分e(x,tb)を用いたが、非照明時受光量の時間変化を示すものであれば、非照明時変化量は消灯時差分e(x,tb)に限定されるものではない。非照明時変化量も、照明時変化量と同様に、消灯時撮像フレームframe1,3,5,7,9,11(tb=1,2,3,4,5,6)における各雨滴検出区分x内の輝度値総和d(x,tb)とその直前の輝度値総和d(x,tb−1)との変化の程度を定量化する任意の尺度を用いることができる。本変形例3においては、非照明時変化量の他の例として、各雨滴検出区分x内の輝度値総和d(x,tb)とその直前の輝度値総和d(x,tb−1)との比である消灯時比r(x,tb)=d(x,tb)/d(x,tb−1)から1を減じた消灯時変化率p(x,tb)=r(x,tb)−1を用いる。
なお、消灯時変化率p(x,tb)は、p(x,tb)={d(x,tb)−d(x,tb−1)}/d(x,tb−1)と変形できるため、上述した実施形態1や変形例1、2で用いた消灯時差分e(x,tb)を、直前の輝度値総和d(x,tb−1)で除したものに相当する。
本変形例3において、点灯時変化率p(x,ta)は、上述した実施形態1や変形例1、2の点灯時差分e(x,ta)と同様、雨滴の付着などに伴い各雨滴検出区分内の合計輝度値が減少すれば負の値をとり、外乱光の入射などに伴い合計輝度値が増加すれば正の値をとる。したがって、上述した実施形態1や変形例1、2における方法と同様の方法により、雨滴の付着量変動を検出することができる。
また、本変形例3において、消灯時変化率p(x,tb)は、上述した実施形態1や変形例1、2の消灯時差分e(x,tb)と同様、自動補正処理などに伴い各雨滴検出区分内の輝度値総和が減少すれば負の値をとり、外乱光の入射などに伴い輝度値総和が増加すれば正の値をとる。したがって、上述した実施形態1や変形例1、2における方法と同様の方法により、外乱光の入射や自動補正処理の誤作動を検出することができる。
上述した実施形態1や変形例1、2のように照明時変化量として点灯時差分e(x,ta)を用いる場合、点灯時撮像フレームframe2,4,6,8,10,12(ta=1,2,3,4,5,6)の輝度値の大きさは考慮されない。ここで、例えば、光源部202の明るさが低下したり、受光素子の感度が落ちたりすると、フロントガラス上の雨滴付着状況が全く同じ状況なのに、雨滴の付着に伴う合計輝度値の変動量が小さくなるという事態が生じ得る。このような事態が生じると、それまでは検出条件を満たしていた状況が、雨滴検出条件を満たさなくなるという不具合が生じ得る。逆に、フロントガラス上の雨滴付着状況が全く同じ状況なのに、雨滴の付着に伴う合計輝度値の変動量が大きくなるという事態が生じると、それまでは検出条件を満たしていなかった状況が、雨滴検出条件を満たすようになるという不具合が生じ得る。
本変形例3によれば、照明時変化量として点灯時変化率p(x,ta)を用いるため、上述した実施形態1や変形例1、2の点灯時差分e(x,ta)が、点灯時撮像フレームの輝度値の大きさを用いて正規化される。その結果、上述した不具合が生じにくくなる。なお、本変形例3では、直前の合計輝度値y(x,ta−1)を用いて正規化しているが、例えば、今回の合計輝度値y(x,ta)を用いたり、複数の点灯時撮像フレームにおける合計輝度値の平均値を用いたりして正規化してもよい。
また、上述した実施形態1や変形例1、2のように非照明時変化量として消灯時差分e(x,tb)を用いる場合、消灯時撮像フレームframe1,3,5,7,9,11(tb=1,2,3,4,5,6)の輝度値の大きさは考慮されない。ここで、例えば受光素子の感度が変動すると、外乱光の入射等が全く同じ状況なのに、輝度値総和の変動量が小さくなったり大きくなったりする事態が生じ得る。このような事態が生じると、消灯時差分e(x,tb)が外乱光変動成分を適切に表した値とはならないという不具合が生じ得る。
本変形例3によれば、非照明時変化量として消灯時変化率p(x,tb)を用いるため、上述した実施形態1や変形例1、2の消灯時差分e(x,tb)が、消灯時撮像フレームの輝度値の大きさを用いて正規化される。その結果、受光素子の感度が変動するなどしても、消灯時変化率p(x,tb)は外乱光変動成分を適切に表したものとなり、上述した不具合を回避できる。なお、本変形例3では、直前の輝度値総和d(x,tb−1)を用いて正規化しているが、例えば、今回の輝度値総和d(x,tb)を用いたり、複数の消灯時撮像フレームにおける輝度値総和の平均値を用いたりして、正規化してもよい。
照明時変化量としては、上述した実施形態1や変形例1、2の点灯時差分e(x,ta)や、本変形例3の点灯時変化率p(x,ta)などを含め、複数の点灯時撮像フレーム内の輝度値を入力とする任意の関数の出力値を用いてもよい。同様に、非照明時変化量としては、上述した実施形態1や変形例1、2の消灯時差分e(x,tb)や、本変形例3の消灯時変化率p(x,tb)などを含め、複数の消灯時撮像フレーム内の輝度値を入力とする任意の関数の出力値を用いてもよい。
このとき、照明時変化量及び非照明時変化量をそれぞれ導出する関数は、同一のものであってもよいし、異なるものであっても良い。同一の関数を用いる場合には、例えば、照明時変化量として点灯時比r(x,ta)を用い、非照明時変化量として消灯時比r(x,tb)を用いることもできる。また、異なる関数を用いる場合には、例えば、照明時変化量として点灯時差分e(x,ta)を用い、非照明時変化量として消灯時変化率p(x,tb)を用いたり、あるいは、照明時変化量として点灯時変化率p(x,ta)を用い、非照明時変化量として消灯時差分e(x,tb)を用いたりすることができる。
〔実施形態2〕
次に、本発明に係る物体検出装置を、上述した実施形態1と同様、車載機器制御システムに用いられる付着物検出装置に適用した他の実施形態(以下、本実施形態を「実施形態2」という。)について説明する。
上述した実施形態1においては、反射偏向プリズム230を用い、雨滴の付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の非付着箇所では照明光がフロントガラス外壁面で反射して画像センサ206に受光される構成であった。これに対し、本実施形態2は、雨滴の非付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の付着箇所ではフロントガラス外壁面を透過した照明光が雨滴で反射して画像センサ206に受光される構成である。具体的には、図20に示すような構成である。
なお、図20の例では、光源部202から出射した照明光が直接フロントガラス105の内壁面に入射する構成となっているが、ミラー等の光路変更部材を介する構成としてもよい。この場合、上述した実施形態1と同様に、センサ基板207上に光源装置としての光源部202を実装することが可能となる。
図20中の光線Aは、光源部202から出射してフロントガラス105を通過する光線である。フロントガラス105の外壁面に雨滴203が付着していない場合、光源部202からフロントガラス105に向けて照射された光は、光線Aのように、フロントガラス105を透過してそのまま自車両100の外部に漏れ出る。
図20中の光線Bは、光源部202からの出射光がフロントガラス105の内壁面で正反射して撮像部200へ入射する光線である。光源部202からフロントガラス105へ向かう光の一部はフロントガラス105の内壁面で正反射する。この正反射光(光線B)の偏光成分は、一般に、その入射面に対して直交する方向(図20の紙面に対して垂直な方向)に振動するS偏光成分(水平偏光成分S)が支配的であることが知られている。光源部202から照射されてフロントガラス105の内壁面で正反射した正反射光(光線B)は、フロントガラス105の外壁面に付着する雨滴203の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施形態2では、この光線B(水平偏光成分S)をカットする偏光フィルタ層を光学フィルタ205に設け、この光線Bによって雨滴検出精度が低下することを抑制している。
図20中の光線Cは、光源部202からの出射光がフロントガラス105の内壁面を透過し、その後、フロントガラス105の外壁面に付着する雨滴で反射して撮像部200へ入射する光線である。光源部202からフロントガラス105へ向かう光の一部はフロントガラス105の内壁面を透過するが、その透過光は水平偏光成分Sよりも鉛直偏光成分Pの方が多い。そして、フロントガラス105の外壁面上に雨滴203が付着している場合、フロントガラス105の内壁面を透過した光は、前記光線Aのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像部200側に向けて再度フロントガラス105内を透過し、撮像部200に入射する。このとき、撮像部200の光学フィルタ205における前段フィルタ210の赤外光透過フィルタ領域212は、光源部202の発光波長(赤外光)を透過させるように構成されているので、光線Cは赤外光透過フィルタ領域212を通過する。また、上述した光線B(水平偏光成分S)をカットする偏光フィルタ層は、鉛直偏光成分Pを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Cは当該偏光フィルタ層も透過する。よって、光線Cは、画像センサ206に到達し、その受光量によって雨滴の検出が行われる。
図20中の光線Dは、フロントガラス105の外部からフロントガラス105を透過して撮像部200に向かって入射してくる光線である。この光線Dも雨滴検出時の外乱光となり得るが、本実施形態2では、その光線Dの大部分が、光学フィルタ205における前段フィルタ210の赤外光透過フィルタ領域212によってカットされる。よって、この光線Dによって雨滴検出精度が低下することも抑制できる。
図20中の光線Eは、フロントガラス105の外部からフロントガラス105を透過して撮像部200に向かって入射してくる光線である。この光線Eは、光学フィルタ205における前段フィルタ210の赤外光カットフィルタ領域211によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。
本実施形態2においては、雨滴によって屈折されたり反射されたりした光源光が画像センサ206に入射するため、撮像画像データの雨滴検出用画像領域214は、フロントガラス105の外壁面に雨滴が付着していない非付着箇所は低輝度な画像部分(低い画素値)となる一方、雨滴が付着している付着箇所は高輝度な画像部分(高い画素値)となる点で、上述した実施形態1とは異なるが、このような違いを考慮して各種閾値等を設定することで、上述した実施形態1と同様の処理を実現できる。もちろん、上述した各種変形例も本実施形態2において適用できる。
具体的には、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴が付着したときの点灯時差分e(x,ta)=y(x,ta)−y(x,ta−1)は正の値をとるので、第一差分閾値Eyは正の値で適宜設定される。このとき、処理ステップS4では、各雨滴検出区分xの点灯時差分e(x,ta)がそれぞれ第一差分閾値Ey以上である雨滴検出区分xの数を求めることになる。
また、例えば、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)として、例えば、直前の点灯時撮像フレームの合計輝度値y(x,ta−1)から今回の点灯時撮像フレームの合計輝度値y(x,ta)を差し引いたものを用いる場合、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴が付着したときの点灯時差分e(x,ta)=y(x,ta−1)−y(x,ta)は負の値をとるので、第一差分閾値Eyは負の値で適宜設定される。このとき、処理ステップS4では、各雨滴検出区分xの点灯時差分e(x,ta)がそれぞれ第一差分閾値Ey未満である雨滴検出区分xの数を求めることになる。
また、例えば、各雨滴検出区分x内の合計輝度値y(x,ta)の変化量(照明時変化量)として、直前の点灯時撮像フレームの合計輝度値y(x,ta−1)と今回の点灯時撮像フレームの合計輝度値y(x,ta)との差分の絶対値を用いる場合、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースでも、雨滴が付着したときの点灯時差分e(x,ta)=|y(x,ta)−y(x,ta−1)|は、正の値をとるので、第一差分閾値Eyは正の値で適宜設定される。このとき、処理ステップS4では、各雨滴検出区分xの点灯時差分e(x,ta)がそれぞれ第一差分閾値Ey以上である雨滴検出区分xの数を求めることになる。
一方、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴変動成分として誤認され得る外乱光変動成分は、外乱光の光量が増加する場合である。この場合、各雨滴検出区分x内の輝度値総和d(x,tb)の変化量(非照明時変化量)として、消灯時差分e(x,tb)=d(x,tb)−d(x,tb−1)を用いるとき、この消灯時差分e(x,tb)は正の値をとるので、第二差分閾値Edは正の値で適宜設定される。このとき、処理ステップS8では、各雨滴検出区分xの消灯時差分e(x,tb)がそれぞれ第二差分閾値Ed以上である雨滴検出区分xの数を求めることになる。
また、例えば、各雨滴検出区分x内の輝度値総和d(x,tb)の変化量(非照明時変化量)として、直前の消灯時撮像フレームの輝度値総和d(x,tb−1)から今回の消灯時撮像フレームの輝度値総和d(x,tb)を差し引いたものを用いる場合、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量増加時には、消灯時差分e(x,tb)=d(x,tb−1)−d(x,tb)は負の値をとるので、第二差分閾値Edは負の値で適宜設定される。このとき、処理ステップS8では、各雨滴検出区分xの消灯時差分e(x,tb)がそれぞれ第二差分閾値Ed未満である雨滴検出区分xの数を求めることになる。
また、例えば、各雨滴検出区分x内の輝度値総和d(x,tb)の変化量(非照明時変化量)として、直前の消灯時撮像フレームの輝度値総和d(x,tb−1)と今回の消灯時撮像フレームの輝度値総和d(x,tb)との差分の絶対値を用いる場合、本実施形態2のように雨滴が付着すると合計輝度値が大きくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量増加時でも、消灯時差分e(x,tb)=|d(x,tb)−d(x,tb−1)|は、正の値をとるので、第二差分閾値Edは正の値で適宜設定される。このとき、処理ステップS8では、各雨滴検出区分xの消灯時差分e(x,tb)がそれぞれ第二差分閾値Ed以上である雨滴検出区分xの数を求めることになる。
上述した実施形態1や2(各種変形例を含む)では、受光手段が画像センサであり、二次元データ(撮像画像データ)から得られる点灯時差分e(x,ta)や消灯時差分e(x,tb)を雨滴検出条件を判断する照明時変化量や非照明時変化量として用いているが、これに限られない。例えば、複数の受光素子(光電変換素子)を一列に配置したセンサを用い、一次元データから照明時変化量や非照明時変化量を算出して雨滴検出条件の判断に用いてもよい。また、1つの受光素子(光電変換素子)から得られる出力値(受光量)から照明時変化量や非照明時変化量を算出して雨滴検出条件の判断に用いてもよい。
また、1つの受光素子から得られる出力値(受光量)ごとに照明時変化量や非照明時変化量を算出してもよいし、複数の受光素子から得られる出力値(受光量)を合成した値を用いて照明時変化量や非照明時変化量を算出してもよい。具体例としては、受光手段により得た二次元データをある範囲で積算した値を用いて照明時変化量や非照明時変化量を算出したり、受光手段により得た二次元データを縦方向又は横方向に積算した値を用いて照明時変化量や非照明時変化量を算出したり、受光手段により得た一次元データをすべて積算した値を用いて照明時変化量や非照明時変化量を算出したりしてもよい。このように、複数の受光素子から得られる出力値(受光量)を合成した値を用いて照明時変化量や非照明時変化量を算出する場合、個々の受光素子に生じるノイズの影響を緩和したり、データ数の削減により計算量や記憶容量を削減したりすることができる。
また、上述した実施形態1や2(各種変形例を含む)では、雨滴検出用画像領域を車両検出用画像領域と一緒に撮像する例であるが、雨滴検出用画像領域のみを撮像する例(雨滴検出専用の装置)であってもよい。
また、上述した実施形態1や2(各種変形例を含む)では、車両のフロントガラス(ウィンドシールド)上に付着した雨滴を検出対象物として検出する例について説明したが、本発明に係る物体検出装置はこれに限定されることはなく、広く利用可能である。例えば、監視カメラのレンズやカバーあるいは建築物の窓などの光透過性部材に付着する雨滴を検出対象物として検出するものであってもよい。なお、光透過性部材の材質はガラスだけでなく、プラスチックなど透明または半透明の様々なものが利用可能である。
また、検出対象物は、雨滴に限られず、フロントガラスなどの光透過性部材上に付着する付着物にも限られない。
また、検出処理の処理結果は、ワイパー107の動作を制御する場合に限らず、風による吹き払いや熱による乾燥などによって雨滴を除去する除去手段の制御、あるいは、除去手段ではない何らかの装置の制御に利用してもよい。
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
(態様A)
光源部202等の光源が光源光を照射している時に画像センサ206等の受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、前記照明時受光量の時間変化を示す点灯時差分e(x,ta)や点灯時変化率p(x,ta)等の照明時変化量と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す消灯時差分e(x,tb)や消灯時変化率p(x,tb)等の非照明時変化量とを用いて、前記照明範囲内における検出対象物が増加した又は減少したことを検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理部102A等の検出処理手段を有することを特徴とする。
本態様では、光源光の照明範囲内における検出対象物の増加又は減少を検出するための所定の条件を満たすか否かを判断する検出処理において、照明時変化量と非照明時変化量という2つのパラメータを用いる。照明時変化量は、光源が光源光を照射している間に受光手段により受光される照明時受光量の時間変化を示すものである。よって、検出対象物が照明範囲内に出現したり無くなったりして照明時受光量が変化すると、照明時変化量が変動するので、照明時変化量から照明範囲内における検出対象物の増加又は減少を検出することが可能である。照明範囲内における検出対象物の増加又は減少は、照明範囲内に新たな検出対象物が出現したり又は照明範囲内の既存の検出対象物が無くなったりすることを意味することから、従来の物体検出装置の検出処理結果を利用した各種制御(ワイパーの駆動制御など)と同等の制御を実施することが可能である。
照明時変化量を変動させる主な要因は、照明範囲内における検出対象物の増加又は減少による要因のほか、受光手段に入射する外乱光の光量の時間変化による要因と、このような外乱光の光量の時間変化以外の要因とが挙げられる。これらのうち、外乱光の光量の時間変化以外の要因のほとんどは、上述したように、温度変化、経時劣化等に起因するものであり、その変化は非常に緩やかなものである。したがって、照明時変化量を求めるために照明時受光量の時間変化を観測する変化観測期間を、外乱光の光量の時間変化以外の要因による照明時変化量が有意な変動を示す期間よりも短く設定すれば、照明時変化量を変動させる主な要因は、検出対象物の増加又は減少による要因を除くと、受光手段に入射する外乱光の光量の時間変化のみであると考えることができる。
この受光手段に入射する外乱光の光量の時間変化によって照明時変化量が変動したか否かは、光源が光源光を照射していない間に受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量から把握することが可能である。詳しく説明すると、非照明時変化量を変動させる主な要因は、受光手段に入射する外乱光の光量の時間変化による要因と、このような外乱光の光量の時間変化以外の要因の2つである。この非照明時変化量を求めるために非照明時受光量の時間変化を観測する変化観測期間を照明時変化量の場合と同様に短く設定すれば、非照明時変化量を変動させる主な要因は、同様に、受光手段に入射する外乱光の光量の時間変化による要因のみとなる。その結果、外乱光の光量の時間変化以外の要因に影響を受けることなく、非照明時変化量から外乱光の光量の時間変化を適切に把握することができる。よって、非照明時変化量を用いることで、照明時変化量が変動したときに、外乱光の光量の時間変化による要因が含まれているか否かを把握することが可能となる。
このように、非照明時変化量を用いて外乱光の光量の時間変化による要因が含まれるか否かを把握できることから、外乱光の光量の時間変化による要因に対して適切な対応をとることで、照明時変化量に基づいて検出対象物の増加又は減少を検出する適切な検出処理を実現することができる。
具体的には、例えば、非照明時変化量から、照明時変化量の変動中に外乱光の光量の時間変化による要因が含まれていることが把握された場合、その照明時変化量からは検出対象物の増加又は減少を検出しないようにする等により、検出対象物の増加又は減少についての誤検出あるいは検出漏れが抑制される。一方、この非照明時変化量から、照明時変化量の変動中に外乱光の光量の時間変化による要因が含まれていないことが把握された場合、その照明時変化量を変動させる要因は、検出対象物の増加又は減少による要因のみとなるので、その照明時変化量から、検出対象物の増加又は減少を適切に検出することができる。
(態様B)
前記態様Aにおいて、前記所定の条件は、前記非照明時変化量を用いずに前記照明時変化量を用いて前記照明範囲内における検出対象物が増加した又は減少したか否かを判断するための処理ステップS4,S5等の第1条件と、前記非照明時変化量を用いて該第1条件の判断結果を前記検出処理の処理結果とするか否かを判断するための処理ステップS8,S9等の第2条件とを含むことを特徴とする。
第1条件の判断に際し、仮に、照明時変化量に代えて、照明時受光量中から外乱光成分を除外するために照明時受光量から非照明時受光量を差し引いた差分情報の時間変化量を採用したとすると、検出対象物の増加又は減少について適切に検出することができないおそれがある。これは次の理由による。すなわち、非照明時受光量は照明時受光量中の外乱光成分を正確に示すものとは限らないことから、その差分情報は、わずかに外乱光成分が残存したり、逆に検出対象物を示す本来の受光量成分の一部を差し引いてしまったりして、検出対象物を示す本来の受光量からズレたものとなり得る。そして、このように検出対象物を示す本来の受光量からズレた差分情報の時間変化量をとると、そのズレが増幅され、このような差分情報の時間変化量に基づいて検出対象物の増加又は減少を検出しようとすると、かえって、検出対象物の増加又は減少についての誤検出や検出漏れを招きやすくなるからである。
本態様によれば、第1の条件に従って検出対象物の増加又は減少を判断する際に用いるパラメータが、非照明時変化量を用いずに照明時変化量を用いるものであり、上述した差分情報の時間変化量は用いない。よって、第2の条件に従って、第1条件の判断結果を前記検出処理の処理結果とすることになった場合(例えば、非照明時変化量から、照明時変化量の変動中に外乱光の光量の時間変化による要因が含まれていないことが把握された場合)でも、検出処理の処理結果において、このような差分情報の時間変化量を用いることによる検出対象物の増加又は減少についての誤検出や検出漏れは発生しない。
一方で、第1の条件の判断に用いるパラメータとして照明時変化量を用いれば、次のとおり、検出対象の増加又は減少についての適切な検出が可能である。すなわち、照明時変化量を求めるために用いる照明時受光量には、外乱光の受光量成分が含まれることがあり、どの程度の外乱光の受光量成分が含まれているかどうかを正確に把握することは難しい。しかしながら、照明時変化量として、例えば異なる時期の2つの照明時受光量の差分値を採用する等により、外乱光の光量の時間変化が実質的に無い状況(照明時変化量の変動中に外乱光の光量の時間変化による要因が含まれていない状況)であれば、その照明時変化量から検出対象物の増加又は減少を検出するにあたって、当該外乱光の受光量成分が検出精度に影響を与えることはない。よって、照明時受光量中にどの程度の外乱光の受光量成分が含まれているかに関係なく、照明時変化量に基づいて検出対象物の増加又は減少を適切に検出することができる。
(態様C)
前記態様Bにおいて、前記第1の条件は、前記照明時変化量が規定量以上であるという条件を含み、前記第2の条件は、前記非照明時変化量が所定量未満であるという条件を含むことを特徴とする。
非照明時変化量が所定量未満である状況下では、外乱光の光量の時間変化が小さい又は無いと判断できるので、この状況下における照明時変化量には、外乱光の光量の時間変化による影響がなく、検出対象物の有無の変化による影響のみである。したがって、非照明時変化量が所定量未満であり、かつ、照明時変化量が規定量以上であれば、検出対象物が増加又は減少していると判断できる。
なお、本態様を実現するにあたり、上述した点灯時差分e(x,ta)や消灯時差分e(x,tb)のように、照明時変化量や非照明時変化量として、検出対象物の増減や外乱光の光量の増減に応じて、正あるいは負のいずれかの値を取るようなパラメータを採用する場合がある。このような場合、照明時変化量が規定量以上であるか又は非照明時変化量が所定量未満であるかの判断に用いる閾値の符号や、当該閾値に対する当該パラメータの大小関係については、検出対象物が増加したときに照明時変化量が減る方式(実施形態1)と増える方式(実施形態2)の違いや、当該パラメータの設定の違い(現在から過去の照明時受光量を差し引いた差分値なのか、過去から現在の照明時受光量を差し引いた差分値なのかの違い等)に応じて、適宜設定することになる。いずれにしても、本態様における条件は、照明時変化量が多いか少ないか、あるいは、非照明時変化量が多いか少ないかを判断できればよい。
(態様D)
前記態様Aにおいて、前記検出処理手段は、前記所定の条件を満たすか否かを判断する際に、前記非照明時変化量が所定量以上であるときの前記照明時変化量を用いないことを特徴とする。
非照明時変化量が所定量以上である状況では、外乱光の光量の時間変化が大きいので、この状況下における照明時変化量は、外乱光の光量の時間変化による影響を受けていると考えることができる。本態様によれば、このように外乱光の光量変化による影響を受けている照明時変化量を、所定の検出条件を満たすか否かの判断には用いないので、外乱光の光量の時間変化によって検出対象物の増加又は減少を誤検出したり検出漏れしたりすることを回避することができる。
(態様E)
前記態様A〜Dのいずれかの態様において、前記検出処理手段は、所定の条件変更期間内における複数回の検出処理の結果に基づいて、該所定の条件変更期間の後に実行する検出処理における前記所定の条件を変更することを特徴とする。
例えば、所定の条件変更期間内における複数回の検出処理で検出対象物の増加又は減少が検出されないという処理結果が示された場合には、検出対象物の増加又は減少が検出されない状況が続いている可能性が高い。このような状況が続いている場合、検出対象物の増加又は減少についての検出漏れよりも、検出対象物の増加又は減少を誤って検出してしまう方が、不具合となりやすい。本態様によれば、所定の条件変更期間内における複数回の検出処理で検出対象物の増加又は減少が検出されないという処理結果が示された場合に、例えば、検出対象物の増加又は減少の検出感度が下げる方向に所定の条件を変化させることが可能である。これによれば、検出対象物の増加又は減少が検出されない状況が続いている場合に、検出対象物の増加又は減少が誤って検出される事態を抑制でき、不具合の発生を有効に抑制できる。
逆に、例えば、所定の条件変更期間内における複数回の検出処理で検出対象物の増加又は減少が検出されないという処理結果が示された場合には、検出対象物の増加又は減少が検出される状況が続いている可能性が高い。このような状況が続いている場合には、検出対象物の増加又は減少が誤って検出されることよりも、検出対象物の増加又は減少について検出漏れが発生することの方が、不具合となりやすい。本態様によれば、所定の条件変更期間内における複数回の検出処理で検出対象物の増加又は減少が検出されないという処理結果が示された場合に、例えば、検出対象物の増加又は減少の検出感度が上がる方向に所定の条件を変化させることが可能である。これによれば、検出対象物の増加又は減少が検出される状況が続いている場合に、検出対象物の増加又は減少についての検出漏れが発生する事態を抑制でき、不具合の発生を有効に抑制できる。
(態様F)
前記態様A〜Eのいずれかの態様において、前記検出処理手段は、所定の条件変更期間内における複数回の検出処理の結果に基づいて、該所定の条件変更期間の後に実行する検出処理について、前記照明時変化量を算出するための照明時受光量の時間変化を観測する変化観測期間の長さを変更することを特徴とする。
照明時変化量を算出するための照明時受光量の時間変化を観測する変化観測期間の長さを変更することで、検出対象物の検出感度を上げたり下げたりすることが可能である。よって、上述した態様Eの場合と同様、検出対象物の増加又は減少が検出されない状況が続いている場合に検出対象物の増加又は減少が誤って検出される事態を抑制したり、検出対象物の増加又は減少が検出される状況が続いている場合に検出対象物の増加又は減少の検出漏れが発生する事態を抑制したりすることができる。
(態様G)
前記態様A〜Fのいずれかの態様において、前記検出対象物は、前記光源の光源光が照射されるフロントガラス105等の光透過性部材上に付着する雨滴等の付着物であることを特徴とする。
これによれば、光透過性部材上に付着する付着物を適切に検出することができる。
(態様H)
前記態様A〜Gのいずれかの態様において、前記検出処理手段は、前記照明範囲内における検出対象物を間欠的に除去するワイパー107等の物体除去手段の動作タイミングに応じて、前記検出処理を実行するか否かを判断することを特徴とする。
これによれば、上述した変形例2で説明したように、物体除去手段の動作により物体除去手段に付着している検出対象物ではない物体(非検出対象物)が光源光照明範囲に入り、この非検出対象物により検出対象物の増加を誤検出したり検出漏れしたりしてしまう事態を回避することが可能となる。
(態様I)
前記態様A〜Hのいずれかの態様において、異なる時刻に前記受光手段が受光した2つの照明時受光量の差分値である点灯時差分e(x,ta)等を、前記照明時変化量として用いることを特徴とする。
これによれば、照明時変化量を簡易に取得することができる。
(態様J)
前記態様A〜Hのいずれかの態様において、異なる時刻に前記受光手段が受光した2つの照明時受光量の差分値を正規化した値である点灯時変化率p(x,ta)等を、前記照明時変化量として用いることを特徴とする。
これによれば、例えば光源の明るさや受光手段の感度が変動しても、検出対象物の増加又は減少を適切に検出しやすい。
(態様K)
前記態様A〜Jのいずれかの態様において、異なる時刻に前記受光手段が受光した2つの非照明時受光量の差分値である消灯時差分e(x,tb)等を、前記非照明時変化量として用いることを特徴とする。
これによれば、非照明時変化量を簡易に取得することができる。
(態様L)
前記態様A〜Jのいずれかの態様において、異なる時刻に前記受光手段が受光した2つの非照明時受光量の差分値を正規化した値である消灯時変化率p(x,tb)等を、前記非照明時変化量として用いることを特徴とする。
これによれば、例えば受光手段の感度が変動しても、外乱光の光量の時間変化による要因を適切に検出しやすい。
(態様M)
前記態様A〜Lのいずれかの態様に係る物体検出装置と、前記物体検出装置における前記検出処理の結果に基づいて、前記検出対象物を除去するワイパー107等の物体除去手段の動作を制御するワイパー制御ユニット106等の制御手段とを有することを特徴とする物体除去動作制御システム。
これによれば、物体除去手段の動作を適切に制御することが可能となる。
(態様N)
光源が光源光を照射している時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出方法において、前記照明時受光量の時間変化を示す照明時変化量と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量とを用いて、所定の条件を満たすか否かを判断することを特徴とする。
非照明時変化量を用いることで、照明時変化量が変動したときに外乱光の光量の時間変化による要因が含まれているか否かを把握することが可能となる。よって、外乱光の光量の時間変化による要因に対して適切な対応をとることで、照明時変化量に基づいて検出対象物の増加又は減少を適切に検出することが可能となる。
(態様O)
前記態様A〜Lのいずれかの態様に係る物体検出装置のコンピュータを機能させる物体検出用プログラムであって、前記コンピュータを前記検出処理手段として機能させることを特徴とする。
非照明時変化量を用いることで、照明時変化量が変動したときに外乱光の光量の時間変化による要因が含まれているか否かを把握することが可能となる。よって、外乱光の光量の時間変化による要因に対して適切な対応をとることで、照明時変化量に基づいて検出対象物の増加又は減少を適切に検出することが可能となる。
なお、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
100 自車両
101 撮像ユニット
102 画像解析ユニット
102A 検出処理部
102B 光源制御部
102C 露光量制御部
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
200 撮像部
202 光源部
203 雨滴
204 撮像レンズ
205 光学フィルタ
206 画像センサ
210 前段フィルタ
211 赤外光カットフィルタ領域
212 赤外光透過フィルタ領域
213 車両検出用画像領域
214 雨滴検出用画像領域
230 反射偏向プリズム
特開2013−117514号公報

Claims (15)

  1. 光源が光源光を照射している時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、
    前記照明時受光量の時間変化を示す照明時変化量と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量とを用いて、前記照明範囲内における検出対象物が増加した又は減少したことを検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理手段を有することを特徴とする物体検出装置。
  2. 請求項1に記載の物体検出装置において、
    前記所定の条件は、前記非照明時変化量を用いずに前記照明時変化量を用いて前記照明範囲内における検出対象物が増加した又は減少したか否かを判断するための第1条件と、前記非照明時変化量を用いて該第1条件の判断結果を前記検出処理の処理結果とするか否かを判断するための第2条件とを含むことを特徴とする物体検出装置。
  3. 請求項2に記載の物体検出装置において、
    前記第1の条件は、前記照明時変化量が規定量以上であるという条件を含み、
    前記第2の条件は、前記非照明時変化量が所定量未満であるという条件を含むことを特徴とする物体検出装置。
  4. 請求項1に記載の物体検出装置において、
    前記検出処理手段は、前記所定の条件を満たすか否かを判断する際に、前記非照明時変化量が所定量以上であるときの前記照明時変化量を用いないことを特徴とする物体検出装置。
  5. 請求項1乃至4のいずれか1項に記載の物体検出装置において、
    前記検出処理手段は、所定の条件変更期間内における複数回の検出処理の結果に基づいて、該所定の条件変更期間の後に実行する検出処理における前記所定の条件を変更することを特徴とする物体検出装置。
  6. 請求項1乃至5のいずれか1項に記載の物体検出装置において、
    前記検出処理手段は、所定の条件変更期間内における複数回の検出処理の結果に基づいて、該所定の条件変更期間の後に実行する検出処理について、前記照明時変化量を算出するための照明時受光量の時間変化を観測する変化観測期間の長さを変更することを特徴とする物体検出装置。
  7. 請求項1乃至6のいずれか1項に記載の物体検出装置において、
    前記検出対象物は、前記光源の光源光が照射される光透過性部材上に付着する付着物であることを特徴とする物体検出装置。
  8. 請求項1乃至7のいずれか1項に記載の物体検出装置において、
    前記検出処理手段は、前記照明範囲内における検出対象物を間欠的に除去する物体除去手段の動作タイミングに応じて、前記検出処理を実行するか否かを判断することを特徴とする物体検出装置。
  9. 請求項1乃至8のいずれか1項に記載の物体検出装置において、
    異なる時刻に前記受光手段が受光した2つの照明時受光量の差分値を、前記照明時変化量として用いることを特徴とする物体検出装置。
  10. 請求項1乃至8のいずれか1項に記載の物体検出装置において、
    異なる時刻に前記受光手段が受光した2つの照明時受光量の差分値を正規化した値を、前記照明時変化量として用いることを特徴とする物体検出装置。
  11. 請求項1乃至10のいずれか1項に記載の物体検出装置において、
    異なる時刻に前記受光手段が受光した2つの非照明時受光量の差分値を、前記非照明時変化量として用いることを特徴とする物体検出装置。
  12. 請求項1乃至10のいずれか1項に記載の物体検出装置において、
    異なる時刻に前記受光手段が受光した2つの非照明時受光量の差分値を正規化した値を、前記非照明時変化量として用いることを特徴とする物体検出装置。
  13. 請求項1乃至12のいずれか1項に記載の物体検出装置と、
    前記物体検出装置における前記検出処理の結果に基づいて、前記検出対象物を除去する物体除去手段の動作を制御する制御手段とを有することを特徴とする物体除去動作制御システム。
  14. 光源が光源光を照射している時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出方法において、
    前記照明時受光量の時間変化を示す照明時変化量と、前記光源が光源光を照射していない間に前記受光手段により受光される非照明時受光量の時間変化を示す非照明時変化量とを用いて、前記照明範囲内における検出対象物が増加した又は減少したことを検出するための所定の条件を満たすか否かを判断することを特徴とする物体検出方法。
  15. 請求項1乃至12のいずれか1項に記載の物体検出装置のコンピュータを機能させる物体検出用プログラムであって、
    前記コンピュータを前記検出処理手段として機能させることを特徴とする物体検出用プログラム。
JP2016051069A 2015-05-22 2016-03-15 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム Pending JP2016218046A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/149,393 US20160341848A1 (en) 2015-05-22 2016-05-09 Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015104621 2015-05-22
JP2015104621 2015-05-22

Publications (1)

Publication Number Publication Date
JP2016218046A true JP2016218046A (ja) 2016-12-22

Family

ID=57578825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016051069A Pending JP2016218046A (ja) 2015-05-22 2016-03-15 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム

Country Status (1)

Country Link
JP (1) JP2016218046A (ja)

Similar Documents

Publication Publication Date Title
JP6468482B2 (ja) 撮像装置、物体検出装置及び移動体機器制御システム
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
US9726604B2 (en) Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP4326999B2 (ja) 画像処理システム
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US9519841B2 (en) Attached matter detector and vehicle equipment control apparatus
JP4327024B2 (ja) 画像処理システム
JP2014032174A (ja) 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
JP2014044196A (ja) 付着物検出装置、移動装置用機器制御システム及び移動装置
US20160341848A1 (en) Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program
JP2003315256A (ja) 透光体表面の異物検出装置
JP2013029451A (ja) 付着物検出装置及び付着物検出方法
JP2013190416A (ja) 付着物検出装置及びこれを用いた車載機器制御装置
JP2013117520A (ja) 画像処理装置、撮像方法、プログラムおよび車両
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP2014052364A (ja) 付着物検出装置、移動装置用機器制御システム及び移動装置
JP2015031564A (ja) 付着物検出装置及び移動装置用機器制御システム
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP2017003531A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム
JP2016200528A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP6008238B2 (ja) 撮像装置、撮像装置の設置方法及び移動装置
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
JP2016218046A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム
JP5891723B2 (ja) 撮像方法および撮像ユニット