JP2014032174A - 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置 - Google Patents

撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置 Download PDF

Info

Publication number
JP2014032174A
JP2014032174A JP2013101851A JP2013101851A JP2014032174A JP 2014032174 A JP2014032174 A JP 2014032174A JP 2013101851 A JP2013101851 A JP 2013101851A JP 2013101851 A JP2013101851 A JP 2013101851A JP 2014032174 A JP2014032174 A JP 2014032174A
Authority
JP
Japan
Prior art keywords
light
imaging
windshield
image
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013101851A
Other languages
English (en)
Inventor
Hideaki Hirai
秀明 平井
Izumi Ito
泉 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013101851A priority Critical patent/JP2014032174A/ja
Priority to IN2707KON2014 priority patent/IN2014KN02707A/en
Priority to PCT/JP2013/069078 priority patent/WO2014010713A1/en
Priority to US14/402,630 priority patent/US20150142263A1/en
Priority to CN201380036417.7A priority patent/CN104428655A/zh
Priority to BR112015000792A priority patent/BR112015000792A2/pt
Priority to EP13817305.9A priority patent/EP2872874A4/en
Publication of JP2014032174A publication Critical patent/JP2014032174A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N21/552Attenuated total reflection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0874Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means characterized by the position of the sensor on the windshield
    • B60S1/0881Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means characterized by the position of the sensor on the windshield characterized by the attachment means on the windshield
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435Sensing drops on the contact surface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0216Vehicle borne

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Details Of Measuring Devices (AREA)

Abstract

【課題】フロントガラス等の板状部材の面に付着している雨滴等の付着物の画像を撮像する撮像装置の小型化を課題とする。
【解決手段】光源部210が照射した光L1によって照明されたフロントガラス105の外壁面上に付着している雨滴203を撮像する撮像装置であって、該光源部から照射された光が入射される被入射面223と、該被入射面から入射した光を反射させる反射面221と、フロントガラスの内壁面に接して配置され該反射面で反射した光を透過させる密着面222と、該密着面を透過してフロントガラス外壁面で反射した光が画像センサ206に向けて出射する出射面224とを有する反射偏向プリズム220を備える。
【選択図】図9

Description

本発明は、光透過性の板状部材の面に付着している付着物を撮像する撮像装置、付着物の撮像画像から当該付着物を検出する付着物検出装置、付着物検出装置の検出結果に基づいて移動装置の制御対象機器を制御する移動装置用機器制御システム、及び、このシステムを採用した移動装置に関するものである。
特許文献1には、車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラス(板状部材)の表面に付着している雨滴等の液滴及び曇りや塵などの付着物を検出する画像処理システムが開示されている。この画像処理システムでは、自動車の室内に設置された光源から自車のフロントガラス(板状窓部材)に光を照射し、フロントガラスに照射した光の反射光を撮像手段で受光して画像を撮像する。そして、撮像した画像を解析してフロントガラスに雨滴等の付着物が付着しているか否を判別する。具体的には、光源を点灯したときの撮像画像の画像信号に対し、ラプラシアンフィルタ等を用いてエッジ検出処理を行い、雨滴の画像領域と雨滴でない画像領域の境界を強調したエッジ画像を作成する。そして、このエッジ画像に対して一般化ハフ変換を行って円形である画像領域を検出し、検出した円形の画像領域の個数を数え、その個数を雨量に変換して雨量を求める。
本出願人は、特願2011−240848号(以下「先願」という。)において、フロントガラスを介して自車両前方領域を撮像領域とした画像を撮像するとともに、フロントガラスの外壁面に付着している雨滴の画像を撮像できる撮像装置を提案した。以下、この先願に係る撮像装置について、図面を用いて説明する。
図35(a)は、フロントガラスの傾斜角度が20°である場合において、光源からの光が雨滴Rdで反射して撮像部200に入射する光路を示す説明図である。図35(b)は、撮像画像データの画像例を示す説明図である。
先願の撮像装置は、撮像部200と光源部210とから構成され、自車両のフロントガラス105の内壁面側に設置される。撮像部200は、予め決められた撮像領域(車両前方領域)を撮像できるように、撮像部200の撮像方向(撮像レンズの光軸方向)Pが特定の方向(水平方向を基準とした方向)を向くように角度調整されて、例えば自車両の室内天井部に固定される。これにより、図35(b)に示すように、車両前方領域が車両検出用画像領域231内に適切に映し出される。
一方、光源部210は、図35(a)に示すように、照射する光がフロントガラス105の外壁面に付着している雨滴Rdで反射してその反射光(以下「雨滴反射光」という。)が付着物検出用画像領域232内に映し出されるように角度調整されて、例えば自車両のフロントガラス105の内壁面に固定される。これにより、図35(b)に示すように、フロントガラス105の外壁面に付着した雨滴Rdの画像が付着物検出用画像領域232内に適切に映し出される。
このような撮像装置においては、その設置スペースをなるべく狭くするために小型化の要求がある。しかしながら、先願の撮像装置では、光源部210から照射された光の雨滴反射光が撮像部200に映し出されるようにフロントガラス105の内壁面に固定する必要があるため、光源部210を撮像部200から離れた位置に配置しなければならない。そのため、撮像部200及び光源部210を含む撮像装置全体は大型化せざるを得ないという問題があった。
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、フロントガラスの外壁面など板状部材の面に付着している雨滴等の付着物の画像を撮像する撮像装置の小型化が容易な撮像装置、移動装置用機器制御システム及び移動装置を提供することである。
上記目的を達成するために、本発明は、光透過性を有する板状部材の一方の面側から該板状部材を照明する光を照射する光照射手段と、上記光照射手段が照射した光によって照明された板状部材の他方の面上に付着している付着物を撮像する撮像手段とを有する撮像装置であって、上記光照射手段から照射された光が入射される被入射面と、該被入射面から入射した光を反射させる反射面と、上記板状部材の上記一方の面に接して配置され該反射面で反射した光を透過させる透過面と、該透過面を透過して上記板状部材の上記他方の面で反射した光が上記撮像手段に向けて出射する出射面とを有する光学部材を備えることを特徴とする。
本発明によれば、上記のような光学部材を備えることにより、光照射手段を撮像手段の近くに配置することが可能となり、撮像装置の小型化が容易になるという優れた効果が得られる。
実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットを備えた付着物検出装置の概略構成を示す模式図である。 同撮像ユニットの光学系を説明するための説明図である。 同撮像ユニットの光源部の概略構成を示す説明図である。 同撮像ユニットの光源部の他の構成例を示す説明図である。 同撮像ユニットの光源部の更に他の構成例を示す説明図である。 光源部と撮像レンズとの間に遮光部材を設けた例を示す説明図である。 同撮像ユニットの概略構成を模式的に示した斜視図である。 (a)は、水平面に対するフロントガラスの傾斜角度が22°である車両に取り付けた状態の撮像ユニットを示す側面図である。(b)は、同図(a)の状態において雨滴が付着していない場合の撮像ユニットの光学系を示す説明図である。(c)は、同図(a)の状態において雨滴が付着している場合の撮像ユニットの光学系を示す説明図である。 (a)は、水平面に対するフロントガラスの傾斜角度が34°である車両に取り付けた状態の撮像ユニットを示す側面図である。(b)は、同図(a)の状態における撮像ユニットの光学系を示す説明図である。 同撮像ユニットの光源部を構成するテーパーロッドレンズ及び導光体を示す斜視図である。 同撮像ユニットの反射偏向プリズムを示す斜視図である。 同撮像ユニットの反射偏向プリズムの他の構成例を示す斜視図である。 変形例に係る反射偏向プリズムを示す斜視図である。 同反射偏向プリズムを用いた撮像ユニットの光学系を示す説明図である。 付着物検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 付着物検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 車両検出用画像領域に対応したフィルタ領域と付着物検出用画像領域に対応したフィルタ領域とに区分される同撮像装置の光学フィルタの正面図である。 撮像画像データの画像例を示す説明図である。 同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの車両検出用フィルタ部及び付着物検出用フィルタ部と、画像センサ上の車両検出用画像領域及び付着物検出用画像領域に対応する箇所との対応関係を示す説明図である。 同光学フィルタに設けられる第1の分光フィルタ層の透過率特性を示すグラフである。 同光学フィルタに設けられる偏光フィルタ層を構成するワイヤーグリッド偏光子を拡大した説明図である。 同光学フィルタに設けられる第2の分光フィルタ層の透過率特性を示すグラフである。 (a)は、図14に示した変形例における反射偏向プリズムを用いて雨滴が付着している状態(曇りは付着していない状態)を撮像した撮像画像の一例を示す説明図である。(b)は、同反射偏向プリズムを用いて雨滴が付着しておりかつ曇りも付着している状態を撮像した撮像画像の一例を示す説明図である。 (a)は、雨滴を検出するための2フレームのうち、光源部を消灯させた状態の撮像画像の一例を示す説明図である。(b)は、雨滴を検出するための2フレームのうち、光源部を点灯させた状態の撮像画像の一例を示す説明図である。 実施形態におけるフロントガラス状態検出処理の流れを示すフローチャートである。 車両検出用画像領域の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。 フロントガラスが曇っている状態の撮像画像を示す説明図である。 フロントガラスが凍結している状態の撮像画像を示す説明図である。 付着物検出用画像領域の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。 フロントガラスの状態判定処理の流れを示すフローチャートである。 同状態判定処理の判定基準を示す表である。 同状態判定処理の結果に応じた指示処理の内容を示す表である。 (a)は、先願の撮像ユニットを傾斜角度が20°であるフロントガラスに設置した場合において、光源からの光が雨滴で反射して撮像部に入射する光路を示す説明図である。(b)は、同撮像ユニットで撮像した撮像画像データの画像例を示す説明図である。 フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が20°であるフロントガラスに対して設置した場合における、光源からの光がフロントガラスの外壁面で反射する光路を示す説明図である。 フロントガラスの傾斜角度が20°であるときに最適化されている撮像ユニットを、傾斜角度が35°であるフロントガラスに対して設置した場合における、光源からの光がフロントガラスの外壁面で反射する光路を示す説明図である。 フロントガラスの外壁面で正反射した正反射光が撮像部に入射しない場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。 フロントガラスの外壁面で正反射した正反射光が撮像部に入射した場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
以下、本発明に係る撮像装置を、移動装置である自動車等の車両に搭載される制御対象機器を制御する移動装置用機器制御システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて光透過性板状部材に付着している付着物を検出する付着物検出装置を利用するその他のシステムにも適用できる。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自車両100に搭載された撮像装置で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、デフロスタ制御、その他の車載機器(制御対象機器)の制御を行う。
本実施形態の車載機器制御システムに設けられる撮像装置としての撮像ユニット101は、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー付近に設置される。撮像ユニット101で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着している雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。
また、本実施形態の自車両100には、外気温を検知するための外気温センサ111が設けられている。画像解析ユニット102は、必要に応じて外気温センサ111の検知結果を利用して、上述した各種検出を行う。本実施形態では、後述するように、フロントガラス105が凍結しているか否かを検出する際などに、外気温センサ111の検知結果が利用される。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現する。その実現のために、具体的には、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した付着物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した路端や白線の検出結果に基づいて、白線や路端によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
また、車両走行制御ユニット108は、画像解析ユニット102が検出した道路標識の検出結果に基づいて、道路標識の情報と車両走行状態とを比較する。そして、例えば、自車両100の走行速度(車両走行状態)が制限速度(道路標識の情報)に近いと判断したら自車両100の運転者へ警告を報知したり、自車両100の走行速度が制限速度を超えていると判断したら自車両のブレーキを制御するなどの走行支援制御を行ったりする。
また、画像解析ユニット102の算出結果は、デフロスタ制御ユニット109にも送られる。デフロスタ制御ユニット109は、フロントガラス105の凍結や曇りの状態の検出結果に基づいて、デフロスタ110を制御する制御信号を生成する。デフロスタ制御ユニット109が生成した制御信号は、デフロスタ110に送られ、この制御信号に基づいてデフロスタ110はフロントガラス105を送風したり加熱したりするなどして、フロントガラス105の凍結や曇りの状態を改善させる動作を実行する。デフロスタ制御の詳しい内容は後述する。
図2は、撮像ユニット101に設けられる撮像部200を含む付着物検出装置300の概略構成を示す説明図である。
撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、2次元配置された画素アレイを有する撮像手段としての画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。また、本実施形態においては、センサ基板207上に光源部210が実装されている。この光源部210は、フロントガラス105の外壁面(他方の面)に付着した付着物(以下、付着物が主に雨滴である場合を例に挙げて説明する。)を検出するためのものである。
本実施の形態では、撮像レンズ204の光軸が水平方向に一致するように撮像ユニット101を配置するが、これに限定されることはなく、水平方向(図2中のX方向)を基準とした特定方向に向けるような例であってもよい。撮像レンズ204は、例えば、複数のレンズで構成され、焦点がフロントガラス105の位置よりも遠方に設定されるものを用いる。撮像レンズ204の焦点位置は、例えば、無限遠又は無限遠とフロントガラス105との間に設定することができる。
光学フィルタ205は、撮像レンズ204の後段に配置され、本実施形態では、画像センサ206に入射する光の波長帯域を制限する機能を有する。なお、本実施形態において、光学フィルタ205は、光源部210からの光の反射光に応じたフロントガラス105の状態を検出する際に、車外からの外乱光の影響を抑制するための部品である。そのため、フロントガラス105の状態の検出精度が十分に得られる場合には、光学フィルタ205を省略してもよい。
画像センサ206は、光学フィルタ205を透過した光を受光する2次元配置された複数の受光素子で構成され、受光素子(撮像画素)ごとに入射光を光電変換する機能を有する。なお、後述の図等では画像センサ206の各画素を簡略化して描いているが、実際には画像センサ206は2次元配置された数十万個程度の画素で構成されている。画像センサ206としては、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いることができる。
信号処理部208は、画像センサ206で光電変換され、センサ基板207から出力されるアナログ電気信号(画像センサ206の各受光素子への入射光量)をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部208は、画像解析ユニット102と電気的に接続されている。信号処理部208は、センサ基板207を経由して画像センサ206から電気信号(アナログ信号)が入力されると、入力された電気信号から、画像センサ206上における各撮像画素の明るさ(輝度)を示すデジタル信号(撮像画像データ)を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット102へ出力する。
また、画像解析ユニット102は、撮像ユニット101の撮像動作を制御する機能や、撮像ユニット101から送信される撮像画像データを解析する機能を有する。画像解析ユニット102は、撮像ユニット101から送信された撮像画像データから、画像センサ206の撮像対象(自車両前方領域に存在する他車両等の物体や、フロントガラス105上に付着している雨滴、凍結、曇り等)ごとの最適な露光量を算出し、画像センサ206の撮像対象ごとに最適な露光量(本実施形態では露光時間)を設定する機能を有する。また、画像解析ユニット102は、露光量調整と連動しながら、光源部210の発光タイミングを調整する機能も有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出したり、フロントガラス105の状態(雨滴の付着、凍結、曇りなど)を検出したりする機能を有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。
図3は、本実施形態における撮像ユニット101の光学系を説明するための説明図である。
本実施形態の光源部210は、フロントガラス105上に付着した付着物(雨滴、凍結、曇り等)を検出するための照明光を照射するものである。本実施形態の光源部210は、その発光体としてのLEDを複数備えた構成となっている。このように発光体を複数具備することにより、発光体が1つである場合と比較して、フロントガラス105上の付着物を検出するための検出領域が広がり、フロントガラス105の状態変化の検出精度が向上する。
本実施形態では、LEDを画像センサ206と同じセンサ基板207上に実装されているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、LEDの配置方法は、図3中のY方向に沿って1列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。
光源部210は、光源部210が照射する光の光軸方向と撮像レンズ204の光軸方向とが予め所定の角度を有するように、センサ基板207上に配置されている。また、光源部210は、光源部210が照射する光によって照明されるフロントガラス105上において、その照明範囲が撮像レンズ204の画角範囲内(視野角の範囲内)となるように、配置されている。光源部210としては、発光ダイオード(LED)や半導体レーザ(LD)などを1又は2以上配置した構成を用いることができる。光源部210の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ206の受光感度が及ぶ波長範囲(例えば800〜1000nm程度の赤外光波長範囲)を用いる。光源部210の発光タイミングなどの駆動制御は、信号処理部208からの画像信号の取得と連動しながら、画像解析ユニット102を通じて行われる。
光源部210からの光は、フロントガラス105の外壁面上に付着した雨滴、夜露が凍結した凍結部分、湿気によるフロントガラス105の内壁面上の曇りなど、フロントガラス105の状態変化に伴って、そのフロントガラス105での反射光の状態が変化する。この反射光の状態の変化は、光学フィルタ205を介して画像センサ206で撮像した撮像画像を解析することで把握することができる。
光源部210のLED211の光軸と撮像部200の画像センサ206のセンサ面法線方向がいずれも基板面に対して法線方向を向くような構成することで、製造工程の簡素化等のメリットを享受できる。ところが、本実施形態では、光源部210の光照射方向と撮像部200の撮像方向(撮像レンズの光軸方向)とが互いに異なる方向を向くように構成されるので、そのままでは光源部210のLED211と撮像部200の画像センサ206とを同じ基板207上に設けることは難しい。
そこで、光源部210のLED211と撮像部200の画像センサ206とを同じ基板207上に設ける場合には、例えば、光源部210に、LED211が照射する光の光路を変更する光路変更部材を配置してもよい。この光路変更部材としては、例えば、図4に示すような偏向プリズム213を用いたり、図5に示すように偏心配置したコリメートレンズ212を用いたりすることができる。なお、コリメートレンズ212を用いる場合、これをLED211と同数分だけ配置する必要があるが、この場合にはY方向に直線状に配列したレンズアレイなどを用いればよい。
また、光路変更部材としては、図6に示すような導光体を用いることもできる。図6に示す例では、センサ基板207上に実装された複数のLED211の出射側にテーパー状導光体215が設けられている。これにより、LED211からの光は、導光体215の内部を通過する間に導光体215の内面で反射することで、LED211の光軸方向に対して平行に近い角度の光となって、導光体215から出射する。よって、導光体215を設けることで、光の放射角度分布を狭めることができる。この導光体215の出射側部分は、光源部210からの光を所望の方向へ向けて出射するように構成されている。図6の例によれば、照度分布が狭い範囲で均一化された光を所望の方向に向けて照射することができるので、フロントガラス105の状態検出について高い精度が得られるとともに、明るさムラ補正などの処理を行う場合にはその処理負荷を軽減することが可能となる。
なお、本実施形態では、光源部210を、画像センサ206と同じセンサ基板207上に実装しているが、画像センサ206とは別基板上に実装してもよい。
本実施形態の撮像ユニット101には、図3に示すように、光源部210からの光を反射させてフロントガラス105へ導く反射面221を備えた光学部材としての反射偏向プリズム220が設けられている。反射偏向プリズム220は、光源部210からの光を適切にフロントガラス105の内部に導くために、その一面がフロントガラス105の内壁面に密着するように配置されている。具体的には、反射偏向プリズム220に入射する光源部210からの光の入射角が所定範囲内で変化しても、光源部210から照射されて反射偏向プリズム220の反射面221で正反射した光のうち、フロントガラス105の外壁面上における雨滴(付着物)が付着していない非付着領域で正反射した正反射光が、画像センサ206に受光される関係が維持されるように、反射偏向プリズム220がフロントガラス105の内壁面に取り付けられる。
反射偏向プリズム220をフロントガラス105の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム220とフロントガラス105との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム220とフロントガラス105の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム220との間、及び、充填材とフロントガラス105との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。
反射偏向プリズム220は、図3に示すように、光源部210からの入射光を反射面221で一回だけ正反射して、これをフロントガラス105の内壁面に向けて折り返す。折り返した光は、フロントガラス105の外壁面に対して入射角φ(約42°≦φ≦約62°)となるように構成されている。この適切な入射角φは、空気とフロントガラス105の外壁面との間の屈折率差に起因して、フロントガラス105の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態では、フロントガラス105の外壁面に雨滴等の付着物が付着していない場合には、反射偏向プリズム220の反射面で折り返された光は、フロントガラス105の外壁面を透過することなく、すべて反射される。なお、この入射角φの範囲の下限値は、雨滴等の付着物が付着していないフロントガラス105の外壁面上の非付着箇所で全反射するという条件から決定される。一方、入射角φの上限値は、雨滴等の付着物が付着しているフロントガラス105の外壁面上の付着箇所で全反射条件が崩れるという条件から決定される。
一方、フロントガラス105の外壁面上に空気(屈折率1)とは異なる雨滴(屈折率1.38)などの付着物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス105の外壁面を透過する。したがって、フロントガラス105の外壁面に雨滴が付着していない非付着箇所については、その反射光が画像センサ206に受光されて高輝度な画像部分となる一方、雨滴が付着している付着箇所については、その反射光の光量が減り、画像センサ206に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。
なお、光源部210から照射される光の拡散成分が画像センサ206へ回り込んで入射して画像信号が劣化するのを抑制するために、図7のように、光源部210と撮像レンズ204との間に遮光部材230を設けてもよい。
図8は、本実施形態の撮像ユニット101の概略構成を模式的に示した斜視図である。
本実施形態の撮像ユニット101は、光路変更部材として、図6に示した導光体を用いる構成を採用するものである。本実施形態の撮像ユニット101は、反射偏向プリズム220を固定支持し、フロントガラス105の内壁面に固定配置される第一支持部材としての第一モジュール101Aと、画像センサ206及びLED211が実装されたセンサ基板207、導光体215、撮像レンズ204を固定支持する第二支持部材としての第二モジュール101Bとから構成されている。
これらのモジュール101A,101Bは、回転連結機構240によって回動可能に連結されている。 この回転連結機構240は、フロントガラス105の傾斜方向及び鉛直方向のいずれにも直交する方向(図3中紙面前後方向)に延びる回転軸241を有し、この回転軸241を中心にして、第一モジュール101Aと第二モジュール101Bとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス105に対して第一モジュール101Aが固定配置される場合でも、第二モジュール101Bの撮像部200の撮像方向を特定方向(本実施形態では水平方向)に向けることができるようにするためである。
このような構成を有する撮像ユニット101を自車両100に設置する際の作業手順は、以下のとおりである。
まず、第一モジュール101Aの反射偏向プリズム220の一面がフロントガラス105の内壁面に密着するように、第一モジュール101Aをフロントガラス105に固定する。この固定には、例えば、フロントガラス105に対して第一モジュール101Aを接着したり、フロントガラス105に予め固定されたフック等の機構部品に第一モジュール101Aを係合させたりする固定方法を採用できる。
次に、固定した第一モジュール101Aに対して回転連結機構240の回転軸241を中心に第二モジュール101Bを回転させる。そして、第二モジュール101Bの撮像部200の撮像方向が水平方向に一致するように第二モジュール101Bの角度調整を行い、第二モジュール101Bを自車両100に固定する。本実施形態では、第二モジュール101Bの外壁に固定配置された固定ピン242の可動範囲を第一モジュール101Aに形成されたガイド孔243によって規制することで、回転連結機構240の回転調整範囲、すなわち、第一モジュール101Aに対する第二モジュール101Bの角度調整範囲を制限している。なお、回転連結機構240の回転調整範囲は、想定されるフロントガラス105の傾斜角度範囲に応じて適宜設定される。本実施形態では、フロントガラス105の傾斜角度範囲を約20°以上35°以下の範囲内に想定しているが、この範囲は本撮像ユニット101が搭載される車両の種類に応じて適宜変更される。
図9(a)は、水平面に対するフロントガラス105の傾斜角度θgが22°である車両に取り付けた状態の撮像ユニット101を示す側面図である。図9(b)は、図9(a)の状態において雨滴が付着していない場合の撮像ユニット101の光学系を示す説明図である。図9(c)は、図9(a)の状態において雨滴が付着している場合の撮像ユニット101の光学系を示す説明図である。
図10(a)は、水平面に対するフロントガラス105の傾斜角度θgが34°である車両に取り付けた状態の撮像ユニット101を示す側面図である。図10(b)は、図10(a)の状態における撮像ユニット101の光学系を示す説明図である。
光源部210からの光L1は、反射偏向プリズム220の被入射面223に入射して所定の屈折角をもって屈折される。その後、反射偏向プリズム220の反射面221で正反射され、その反射光L2はフロントガラス105の内壁面を透過する。フロントガラス105の外壁面に雨滴が付着していない場合は、その反射光L2は外壁面では全反射し、この反射光L3はフロントガラス105の内壁面を透過して出射面224で屈折され、撮像レンズ204に向けて進む。一方、フロントガラス105の外壁面に雨滴203が付着している場合、反射偏向プリズム220の反射面221で正反射した反射光L2は、その外壁面を透過する。このような系において、フロントガラス105の角度θgが変わると、第二モジュール101Bの姿勢を維持したまま(撮像方向を水平方向に固定したまま)、フロントガラス105の内壁面に固定される第二モジュール101Bの姿勢が変化し、反射偏向プリズム220がフロントガラス105と一体になって図中Y軸回りに回転することになる。
ここで、本実施形態における反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係は、回転連結機構240の回転調整範囲内において、常に、フロントガラス105の外壁面での全反射光L3が、フロントガラス状態変化検出用の画像センサ206の受光領域(以下「付着物検出用受光領域」という。)に受光される関係となっている。したがって、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3が画像センサ206の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。
特に、本実施形態における配置関係は、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。コーナーキューブの原理とは、一般に、2つの反射面を直角に組み合わせることにより、光がδの入射角で一方の反射面に入射すると、これが他方の反射面でも反射されることで、同じ角度δで出射するという原理である。詳しく説明すると、一方の反射面に入射した光は、当該一方の反射面での反射によって2δだけ曲げられる。それが他方の反射面に入射する角度は90°−δである。当該他方の反射面で反射した光が出射する角度も90°−δなので、当該一方の反射面での反射によって180°−2δだけ曲げられることになる。これらを合計すると、2δ+180°−2δ=180°となり、当該他方の反射面で反射して出射される光は、当該一方の反射面に入射した方向へ戻ることになる。本実施形態においては、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となるため、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ206の付着物検出用受光領域内におけるフロントガラス105の外壁面での全反射光L3の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。
なお、反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム220の他の面(被入射面や出射面)の角度を調整することにより、フロントガラス105の傾斜角度θgが変わっても、撮像レンズへ向かう全反射光L3の光軸の角度θを略一定に保持することが可能である。
例えば、反射偏向プリズム220の反射面221とフロントガラス105の外壁面とのなす角を90°よりも大きくする場合、これに合わせて反射偏向プリズム220の出射面224と密着面222とのなす角も大きくすることにより、上記略一定にすることが可能となる。このとき、反射偏向プリズム220の反射面221とフロントガラス105の外壁面とのなす角を90°よりも大きくした角度分に対し、反射偏向プリズム220の出射面224と密着面222とのなす角をその2倍程度の角度だけ増分させるのが好ましい。また、この場合、反射偏向プリズム220の出射面224と被入射面223とが平行でなくなるが、必要な撮像レンズ204への射出角に合わせて適宜導光体の射出角を設計することにより、利用することができる。
また、上述したようにコーナーキューブの原理が成立する関係であれば、フロントガラス105の外壁面での全反射光L3の光軸方向と水平面とのなす角度θを実質的に一定とすることができるが、反射偏向プリズム220から射出する全反射光L3の射出位置が一定となるとは限らない。この射出位置が変わることで、全反射光L3の光軸が画像センサ206の付着物検出用受光領域を通過する箇所が変動し、安定した雨滴検出を阻害するおそれがある。
そのため、本実施形態においては、回転連結機構240の回転調整範囲内において、フロントガラス105の外壁面で正反射した正反射光L3を受光する画像センサ206の受光位置が予め決められた規定受光範囲内に維持されるように、回転連結機構240の回転中心の位置が工夫されている。具体的には、回転連結機構240の回転調整範囲内において、反射偏向プリズム220から射出する全反射光L3の射出位置が撮像部200の画角範囲内(視野角の範囲内)のほぼ定位置に維持されるように、回転連結機構240の回転軸241の位置が設定されている。回転連結機構240の回転軸241の具体的な位置としては、例えば、反射偏向プリズム220の反射面221を光L1の光軸が通る位置と、その正反射光L2の光軸がフロントガラス105の外壁面を通る位置との間に、回転軸241が位置するように配置するとよい。
このように、本実施形態によれば、フロントガラス105の傾斜角度に関わらず、フロントガラス105へ第一モジュール101Aを固定する作業工程と、撮像方向が水平方向に一致するように第二モジュール101Bを角度調整して固定する第二モジュール101Bの水平出しの作業工程という2つの作業工程により、撮像ユニット101の設置作業が完了する。
図11は、本実施形態の導光体215を示す斜視図である。
この導光体215には、光源部210側に導光体215が取り付けられている。本実施形態の導光体215の入射側部分は、内面が反射面となるように配置された管状のミラーからなるテーパーロッドレンズを用いてもよい。導光体215は、入射端面側から出射端面側に向けて先広がりのテーパー形状となっている。導光体215としては、屈折率が1以上の材料、例えばガラス等からなるものが好ましい。成形により作製できるため、低コストに導光体215を作ることが可能である。
図12は、本実施形態の反射偏向プリズム220を示す斜視図である。
反射偏向プリズム220は、光源部210からの光が入射する被入射面223と、被入射面223から入射した光L1を反射させる反射面221と、フロントガラス105の内壁面と密着して反射光L2を透過させる透過面としての密着面222と、フロントガラス105の外壁面で反射した反射光L3を撮像部200に向けて出射する出射面224とを備えている。本実施形態では、被入射面223と出射面224とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。
反射偏向プリズム220の材料は、少なくとも光源部210からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態の光源部210からの光は赤外光であるため、反射偏向プリズム220の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム220にLEDからの光(赤外光)以外の光(車外からの可視光など)が入射するのを抑制できる。
また、反射偏向プリズム220は、回転連結機構240の回転調整範囲内において、その反射面221で光源部210からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構240の回転調整範囲内において反射面221で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム220の反射面221に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。
また、本実施形態では、反射面221が平面であるが、図13に示すように、反射面を凹面としたものでもよい。このような凹面状の反射面225を用いることで、反射面225に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス105上での照度低下を抑制することが可能となる。
〔変形例〕
ここで、反射偏向プリズム220の一変形例について説明する。
図14は、変形例における反射偏向プリズム220を示す斜視図である。
図15は、変形例における反射偏向プリズム220を用いた撮像ユニット101の光学系を示す説明図である。
本変形例に係る反射偏向プリズム220は、導光体215から射出される光を、フロントガラス105の外壁面に付着している雨滴検出のみに使用するのではなく、例えば、フロントガラス105の内壁面に付着した曇り等の検出など、他の用途にも利用可能しようとするものである。
本変形例に係る反射偏向プリズム220は、導光体215から射出される光のうち、Y軸方向中央部分の光については、上述した実施形態と同様、被入射面223に入射し、反射面221で正反射してフロントガラス105の外壁面の雨滴非付着部分において全反射して画像センサ206に受光される。一方、Y軸方向両端部分の光については、被入射面223には入射せず、反射偏向プリズム220の反射ミラー面226で全反射する。この反射光L4は、フロントガラス105の内壁面に向かう。フロントガラス105の内壁面に曇り等が付着していない場合、反射光L4は、フロントガラス105の内壁面で反射するが、その正反射光L5は、回転連結機構240の回転調整範囲内において、常に、画像センサ206で受光されないように、構成されている。
フロントガラス105の内壁面に曇りが付着している場合、その曇り部分において反射光L4が拡散反射し、その拡散反射光が画像センサ206に受光される。したがって、画像センサ206上の反射ミラー面226に対応する部分において一定以上の光量を受光した場合、曇りによる拡散反射光を受光したとして、フロントガラス105の内壁面の曇りを検出できる。
なお、本変形例において、雨滴を検出するための反射面221等を有するプリズム部と、曇りを検出するための反射ミラー面226を有するミラー部とを一体部品で構成したが、別部品としてもよい。また、本変形例は、図14に示したように、プリズム部の両側にミラー部を配置した例であるが、これに限定されることはなく、プリズム部の一側のみにミラー部を配置したり、プリズム部の上部又は下部にミラー部を配置したりしてもよい。
次に、本実施形態における光学フィルタ205について説明する。
フロントガラス105の外壁面上の雨滴を検出する際、光源部210からの赤外光を撮像部200で撮像するが、撮像部200の画像センサ206には、光源部210からの赤外光のほか、例えば太陽光などの赤外光を含む大光量の外乱光も入射し得る。よって、光源部210からの赤外光をこのような大光量の外乱光と区別するためには、光源部210の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部210を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、図16に示すように光源部210の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図17に示すように透過率のピークが光源部210の発光波長とほぼ一致したバンドパスフィルタを介して、光源部210からの光を画像センサ206で受光するように構成する。これにより、光源部210の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源部210からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部210でなくても、光源部210からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴を検出するだけでなく、先行車両や対向車両の検出や白線などの検出も行う。そのため、撮像画像全体について光源部210が照射する赤外光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴等の付着物を検出するための付着物検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、付着物検出用画像領域に対応する部分についてのみ光源部210が照射する赤外光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
図18は、車両検出用画像領域に対応したフィルタ領域と付着物検出用画像領域に対応したフィルタ領域とに区分される光学フィルタ205の正面図である。
図19は、撮像画像データの画像例を示す説明図である。
図19に示すように、車両検出用画像領域231は撮像画像上部2/3に対応し、付着物検出用画像領域232は撮像画像下部1/3に対応する。対向車両のヘッドランプ及び先行車両のテールランプ、白線、道路標識など、撮像領域(車両前方領域)の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面や自車両100のボンネットの画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両、白線、道路標識等の検出と雨滴203などの付着物の検出とを両立して行う場合には、図19に示すように、撮像画像下部を付着物検出用画像領域232とし、残りの撮像画像上部を車両検出用画像領域231とし、これに対応して光学フィルタ205を領域分割するのが好適である。
また、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図16に示したカットフィルタや図17に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
光学フィルタ205は、車両検出用画像領域231に対応する車両検出用フィルタ部205Aと、付着物検出用画像領域232に対応する付着物検出用フィルタ部205Bとで、その層構成が異なっている。具体的には、車両検出用フィルタ部205Aは分光フィルタ層251を備えていないが、付着物検出用フィルタ部205Bは分光フィルタ層251を備えている。なお、本実施形態では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる。よって、撮像画像下部を付着物検出用画像領域232とする場合には、光学フィルタ205の上部を付着物検出用フィルタ部205Bで構成することになる。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのが困難となる場合がある。そのような場合には、テールランプの識別に分光情報を利用し、赤色光の受光量に基づいてテールランプを識別すれば、テールランプの識別精度を向上させることができる。よって、光学フィルタ205に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしてもよい。
本実施形態の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態の光学フィルタ205には、後述するように、可視光領域から光源波長域までの間をカットする分光フィルタ層255を用いている。
図20は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
図21は、本実施形態に係る光学フィルタ205の車両検出用フィルタ部205A及び付着物検出用フィルタ部205Bと、画像センサ206上の車両検出用画像領域231及び付着物検出用画像領域232に対応する箇所との対応関係を示す説明図である。
画像センサ206の受光面には、光学フィルタ205が近接配置される。光学フィルタ205は、図20に示すように、透明なフィルタ基板252の一方の面(画像センサ206の受光面と対向する面)に分光フィルタ層255を形成し、他方の面に偏光フィルタ層253と分光フィルタ層255を順次形成した層構成となっている。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
ここで、本実施形態における光学フィルタ205について更に説明する。
光学フィルタ205のフィルタ基板252は、使用帯域(本実施形態では、可視光領域と赤外光領域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等で形成することができる。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)を用いると好適である。
光学フィルタ205の分光フィルタ層255は、図22に示すような透過率特性を有する。すなわち、分光フィルタ層255は、波長範囲400nm以上670nm以下の可視光領域の入射光及び波長範囲940nm以上970nm以下の赤外光領域の入射光を透過させ、波長範囲670nmよりも長く940nm未満の入射光をカットする透過率特性を有する。400nm以上670nm以下の波長範囲及び940nm以上970nm以下の波長範囲における透過率は、30%以上であることが好ましく、90%以上であることがより好ましい。670nmよりも長く940nm未満の波長範囲における透過率は、20%以下であることが好ましく、5%以下であることがより好ましい。
可視光領域の入射光は、車両検出用画像領域231において車両や白線の検出などに用いられ、赤外光領域の入射光は、付着物検出用画像領域232においてフロントガラスの雨滴等の付着物を検出する場合などに用いられる。670nmより長く940nm未満の波長範囲の入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データが全体的に赤くなってしまい、テールランプや赤色標識の赤色を示す部分等を抽出することが困難となる場合があるからである。本実施形態では、670nmより長く940nm未満の波長範囲の入射光を分光フィルタ層255でカットするので、テールランプの識別精度を向上させ、また、日本における一時停止標識などの赤色を含む道路標識の検出精度を向上させることができる。なお、波長範囲940〜970nmは、又、波長範囲400nm〜670nmは、本発明に係る波長範囲の代表的な一例である。
分光フィルタ層255は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長(例えば赤外光以外の波長)に対して100%近い反射率を実現することも可能である。
光学フィルタ205の偏光フィルタ層253は、不要な反射光によるノイズ軽減のために設けられている。光源部210から照射される光は、フロントガラス105の内壁面や外壁面で反射し、その反射光が撮像部200に入射する。このような反射光は、光源部210のフロントガラス105へ向かって出射する光の光軸と撮像レンズ204の光軸との2つの光軸で形成される面(本実施形態では鉛直面)に対して垂直な偏光成分(水平偏光成分)が強い。よって、偏光フィルタ層253は、この水平偏光成分を透過させ、鉛直面に対して平行な偏光成分(鉛直偏光成分)をカットする偏光フィルタで構成される。
偏光フィルタ層253は、図23に示すようなワイヤーグリッド偏光子で形成することができる。ワイヤーグリッド偏光子は、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるもので、そのピッチが入射光の波長(例えば可視光波長)に比べてかなり小さいピッチ(例えば2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤーグリッド偏光子においては、金属ワイヤーの断面積が増加すると、消光比が増加し、また、周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率や偏光度の波長分散性が少なく、高消光比特性を示す。また、ワイヤーグリッドの構造は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行ってメタルエッチングなどの手法により、ワイヤーグリッドのサブ波長凹凸構造を形成することができる。よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能である。またワイヤーグリッド偏光子は、アルミニウムなどの金属で作製されるため、耐熱性に優れ、車載用途には好適な偏光子である。
フィルタ基板252と偏光フィルタ層253との間及びワイヤーグリッドの凸部間の隙間は、フィルタ基板252よりも屈折率の低い又は同等の無機材料が充填されて充填層254が形成されている。充填層254の形成材料としては、偏光フィルタ層253の偏光特性を劣化させないために、その屈折率が空気の屈折率に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al23)などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まるものである。このうち、とくにフィルタ基板252に主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)であれば、フィルタ基板252よりも屈折率が小さくなり好適である。
充填層254の形成方法としては、無機系塗布膜(SOG:Spin On Glass)生成方法を用いればよい。すなわち、シラノール(Si(OH)4)をアルコールに溶かした溶剤をフィルタ基板252上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
偏光フィルタ層253がサブ波長サイズのワイヤーグリッド構造であるため、充填層254の上に形成される分光フィルタ層255に比べて、偏光フィルタ層253は強度的には弱い。本実施形態では、このような強度的に弱い偏光フィルタ層253を充填層254で覆って保護しているので、光学フィルタ205の実装時に偏光フィルタ層253のワイヤーグリッド構造を損傷しにくくなる。また、充填層254を設けることで、偏光フィルタ層253のワイヤーグリッド構造への異物進入も抑制できる。
偏光フィルタ層253のワイヤーグリッド構造の凸部の高さは、一般には、使用波長の半分以下に設定される。一方、分光フィルタ層255は、使用波長と同等から数倍の高さとなり、かつ、厚みが増すほど遮断波長での透過率特性を急峻にできる。そして、充填層254は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施形態では、偏光フィルタ層253を充填層254で覆った後に分光フィルタ層255を形成しているため、充填層254を安定的に形成できる。また、充填層254の上に形成する分光フィルタ層255も、その特性を最適に形成することが可能である。
本実施形態では、分光フィルタ層255、充填層254、偏光フィルタ層253がフィルタ基板252に対して撮像レンズ204側に配置される。一般に、これらの層の作製過程での欠陥を抑制することが重要であるが、その欠陥サイズの許容上限値は、画像センサ206から離れるほど大きくなる。なお、フィルタ基板252は、その厚みが0.5mm以上1mm以下の範囲で使用される。本実施形態によれば、これらの層を画像センサ206側に設ける場合に比べて、製造プロセスの簡易化、低コスト化を図ることができる。
また、本実施形態では、フィルタ基板252に対して画像センサ206側には、分光フィルタ層251が形成されている。この分光フィルタ層251は、付着物検出用フィルタ部205Bに設けられており、車両検出用フィルタ部205Aには設けられていない。上述したように、フロントガラス105上の液滴や凍結部分などで反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源部210は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。そこで、本実施形態では、光源部210の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源部210の発光波長とほぼ一致させたバンドパスフィルタからなる分光フィルタ層251を、付着物検出用フィルタ部205Bに設けている。本実施形態の分光フィルタ層251は、図24に示すように、透過率のピークを光源部210の発光波長とほぼ一致させたバンドパスフィルタを採用する。これにより、光源部210の発光波長以外の外乱光を除去し、検出される光源部210の光量を相対的に大きくできる。
本実施形態の光学フィルタ205は、2つの分光フィルタ層251,255を備えており、これらの分光フィルタ層251,255をフィルタ基板252の各面にそれぞれ形成している。これにより、光学フィルタ205の反りを抑制することが可能となる。フィルタ基板252の片面にだけ多層膜を形成すると、応力がかかって反りが生じる。しかしながら、本実施形態のようにフィルタ基板252の両面に多層膜を形成する場合には、応力の効果が相殺されるため、反りを抑制することができる。
分光フィルタ層251は、多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して100%近い反射率を得ることもできる。なお、多層膜蒸着時にマスクを設けて車両検出用フィルタ部205Aの部分を遮蔽しながら蒸着することにより、車両検出用フィルタ部205Aに分光フィルタ層251が形成されないように、付着物検出用フィルタ部205Bに分光フィルタ層251が形成できる。
本実施形態において、分光フィルタ層251,255は、多層膜構造を採用しているので、任意の分光輝度特性を得ることができる。一般にカラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。本実施形態では、多層膜構造を用いることで、分光フィルタ層251,255の透過波長帯域を光源部210の波長帯域に略一致させることを可能としている。
本実施形態においては、外乱光を抑制するために分光フィルタ層251を設けた構成であるが、これに限定されるものでなく、分光フィルタ層251を設けない構成であっても、雨滴検出は可能である。ただし、外乱光の影響を除いた本実施形態の構成の方が、雨滴検出にノイズ変動が生じないため望ましい。
図25(a)は、図14に示した変形例における反射偏向プリズム220を用いて雨滴が付着している状態(曇りは付着していない状態)を撮像した撮像画像の一例を示す説明図である。
図25(b)は、変形例における反射偏向プリズム220を用いて雨滴が付着しておりかつ曇りも付着している状態を撮像した撮像画像の一例を示す説明図である。
変形例における反射偏向プリズム220を用いる場合、付着物検出用画像領域232の左右方向中央部は、光源部210からの光L1のうち雨滴203が付着していないフロントガラス105の外壁面で正反射した光L3が受光されるので、その部分は高輝度なものとなる。また、付着物検出用画像領域232の左右方向中央部において、光源部210からの光L1のうち雨滴203が付着しているフロントガラス105の外壁面からの正反射光の受光量は減少するので、その部分は低輝度なものとなる。
一方、付着物検出用画像領域232の左右方向両端部分は、光源部210からの正反射光L5を受光することがないので、図25(a)に示すように、常に低輝度な状態である。しかしながら、フロントガラス105の内壁面に曇りが生じると、これは微小な水滴が付着している状態と見なすことができ、その曇り箇所203’で拡散反射が発生する。この拡散反射光が受光される結果、図25(b)に示すように、曇りが発生していない箇所よりも、僅かながら輝度が高まる。
なお、フロントガラス105の内壁面に曇りが付着していると、車両検出用画像領域231に映し出されるボンネット100aの輪郭箇所(エッジ)がぼやけて映し出される。これを利用して曇りの有無を検出することも可能である。
ここで、光学フィルタ205を設ける場合でも、光学フィルタ205のバンドパス領域を透過する外乱光(光源部210の発行波長と同じ外部からの光)も存在するため、外乱光の影響を完全に除去することはできない。例えば、昼間は、太陽光の赤外波長成分が外乱光として影響するし、夜間は、対向車のヘッドライトに含まれる赤外波長成分が外乱光として影響する。このような外乱光があると、雨滴203を検出する際に誤検知を引き起こしてしまうおそれがある。例えば、雨滴203を検出するアルゴリズムとして、付着物検出用画像領域232において一定以上の輝度値変化が生じた箇所に雨滴が付着したと判断するアルゴリズムを採用する場合、外乱光の影響で輝度値がオフセットされて、雨滴の誤検出が発生し得る。
このような誤検出を防ぐ方法としては、例えば、光源部210の点灯を画像センサ206の露光タイミングと同期させる制御を行う方法が挙げられる。具体的には、光源部210の点灯時における撮像画像と光源部210の消灯時における撮像画像とを撮像し、付着物検出用画像領域232について、これらの差分画像を生成して、その差分画像に基づいて雨滴検出を行う。したがって、この方法では、雨滴を検出するために最低でも2フレーム分の撮像画像を使用することになる。
雨滴を検出するための2フレームのうちの一方のフレームは、図26(a)に示すように、光源部210を消灯させた状態で撮像されるものであり、他方のフレームは、図26(b)に示すように、光源部210を点灯させた状態で撮像されるものである。光源部210を消灯させた状態で撮像された付着物検出用画像領域232は、外乱光のみを映し出したものである。一方、光源部210を点灯させた状態で撮像された付着物検出用画像領域232は、外乱光と光源部210からの光を映し出したものである。したがって、これらのフレーム間の輝度差分を計算することで得られる輝度値(差分画像の画素値)は、外乱光が除外されたものとなる。よって、この差分画像に基づいて雨滴検出を行うことで、外乱光による誤検出を抑制できる。なお、雨滴を検出するために光源部を点灯させるタイミング以外では、光源部210を消灯させておくと、消費電力の抑制につながるので好適である。
外乱光のうち、太陽光などは多少時間が経過しても大きな変化がないが、自車両100の走行中の対向車のヘッドライトなどは、わずかの時間経過で大きな変化が生じる場合がある。この場合、差分画像を得るための2つのフレームの時間的な間隔が開いていると、その間に外乱光の大きさが変わってしまい、差分画像を生成した際に、うまく外乱光をキャンセルできない可能性がある。このようなことを防ぐために、差分画像を得るための2つのフレームは連続するフレームであることが好ましい。
また、車両検出用画像領域231の画像情報を元に車両制御や配光制御等を行う場合には、撮像画像中央部の輝度値に合わせた自動露光制御(AEC)を行うのが通常であるが、雨滴を検出するための2フレームについては、雨滴検知に最適な露光制御を行うのが好ましい。なぜなら、雨滴を検出するための2フレームの撮像時にも自動露光制御を行うと、光源部210の点灯時のフレームと光源部210の消灯時のフレームとで、その露光時間が変わってしまう場合があるためである。2つのフレーム間で露光時間が変わると、それぞれのフレームに含まれる外乱光の輝度値分が変わってしまい、差分画像によって外乱光を適切にキャンセルできないおそれがあるからである。よって、雨滴を検出するための2フレームについては、例えば、露光時間が同じなるように露光制御を行うのがよい。
また、2フレームの露光時間を同じにせず、その露光時間の違いを画像処理によって補正した差分画像を生成する方法でもよい。具体的には、光源部210を点灯させたフレームの露光時間をTaとし、消灯させたフレームの露光時間をTbとしたとき、下記の式(1)〜(3)に示すように、点灯させたフレームの輝度値Yaと消灯させたフレームの輝度値Tbをそれぞれの露光時間で割った値の差分値Yrを計算する。このような補正した差分画像を使用することにより、2フレーム間で露光時間の違いがあっても、その影響を受けずに外乱光の影響を適切に取り除くことができる。
Ya = Ya/Ta ・・・(1)
Yb = Yb/Tb ・・・(2)
Yr = Ya − Yb ・・・(3)
また、2フレームの露光時間を同じにせず、その露光時間の違いに応じて光源部210の光照射強度を制御する方法でもよい。この方法では、露光時間が長いフレームについて光源部210の光照射強度を落とすようにすることで、露光時間の違いによる影響を受けずに、露光時間に違いがある2フレーム間の差分画像により外乱光の影響を適切に取り除くことができる。しかも、上述の画像処理による補正では処理負荷が大きいというデメリットがあるが、この方法によれば、画像処理による補正が不要となり、このようなデメリットはない。
また、一般に、光源部210の発光体として用いられているLED211は、温度変化によってその発光出力が変化するものであり、温度が上昇すると光源部210の発光出力が低下する。また、LED211は経年劣化によっても光量が低下していく。このように光源部210の出力変化があると、雨滴が付着していないのに輝度値変化があると認識されてしまい、雨滴の誤検出が生じ得る。このようなLED211の発光出力変化による影響を抑制するため、本実施形態では、LED211の発光出力変化が生じたか否かを適宜判断し、LED211の発光出力変化が生じたと判断したら、光源部210の発光出力を増加させる制御を行う。
LED211の発光出力変化が生じたか否かの判断は、例えば、次のようにして行うことができる。本実施形態では、フロントガラス105の外壁面からの全反射光L3を付着物検出用画像領域232において2次元画像として撮像しているので、LED211の発光出力変化が生じた場合、付着物検出用画像領域232の輝度が全体的に低下することになる。一方、フロントガラス105の外壁面に雨に濡れた状態になった場合も、付着物検出用画像領域232の輝度が全体的に低下することになるので、これと区別する必要がある。そのため、付着物検出用画像領域232の輝度が全体的に低下した場合、ワイパー107を動作させ、それでも付着物検出用画像領域232の輝度が全体的に低下している場合には、LED211の発光出力変化が生じたと判断する。
次に、本実施形態におけるフロントガラス状態検出処理について説明する。
図27は、画像解析ユニット102が実行するフロントガラス状態検出処理の流れを示すフローチャートである。
分光フィルタ層251を備える付着物検出用フィルタ部205Bは、分光フィルタ層251を備えていない車両検出用フィルタ部205Aと比較して受光量が少ない。そのため、付着物検出用フィルタ部205Bを透過する光量と車両検出用フィルタ部205Aを透過する光量との間には大きな差がある。そのため、車両検出用フィルタ部205Aに対応する車両検出用画像領域231に適した撮像条件(露光量等)と、付着物検出用フィルタ部205Bに対応する付着物検出用画像領域232に適した撮像条件との間には、大きな差がある。そこで、本実施形態では、車両検出用画像領域231の撮像用(車両等の検出用)と、付着物検出用画像領域232の撮像用(付着物検出用)とで、異なる露光量を用いる。
露光量の調整は、例えば、車両等の検出用については、車両検出用画像領域231に対応する画像センサ206の出力に基づいて自動露光調整を行い(S1)、付着物検出用については所定の固定露光量に調整する(S5)。露光量を変える場合、例えば露光時間を変えればよい。露光時間の変更は、例えば、画像センサ206が受光量を電気信号に変換する時間を画像解析ユニット102で制御することにより行うことができる。
車両検出用画像領域231は、車両周辺を撮像するが、車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮像シーンに応じて受光量が大きく変化する。よって、撮像シーンに応じて露光時間を適宜調整する必要がある。そのため、車両検出用画像領域231には、公知の自動露光制御で露光量の調整を行うのが好ましい。一方、付着物検出用画像領域232は、一定強度の光を照射する光源部210からの光を、透過率が既知である光学フィルタ205を通じて受光することで撮像されるものであり、受光量の変化が少ない。よって、付着物検出用画像領域232には、露光量の自動調整は行わず、固定露光時間で撮像することが可能である。固定露光時間を用いることで、露光量の制御時間の短縮化、露光量制御の簡素化が図れる。
本実施形態では、まず、車両検出用画像領域231についての露光調整を行った後(S1)、画像解析ユニット102にて車両検出用画像領域231の画像データが取得される(S2)。本実施形態において、車両検出用画像領域231の画像データは、後述するように、車両、白線、道路標識の検出などに用いられるだけでなく、ワイパー制御用やデフロスタ制御用なども用いられる。そのため、車両検出用画像領域231の画像データを取得した画像解析ユニット102は、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い(S3)、これを所定の記憶領域に記録する(S4)。
図28は、車両検出用画像領域231の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、車両検出用画像領域231における輝度分散の値を用いる(S31)。また、本実施形態では、このパラメータとして、自車両100のボンネットと背景とのエッジ部分が検出できるように撮像領域を設定しておき、そのボンネットのエッジ抽出結果も用いる(S32)。
図29に示すようにフロントガラス105が曇ったり、図30に示すようにフロントガラス105が凍結したりすると、車両検出用画像領域231の画像は、輝度分散値が小さくなる。よって、車両検出用画像領域231における輝度分散値は、フロントガラス105が曇っているか又は凍結しているかの有無を検出するために有用である。また、フロントガラス105が曇ったり凍結したりすると、ボンネットのエッジ部分の抽出が困難となる。よって、ボンネットのエッジ部分を抽出できるか否かの情報も、フロントガラス105が曇っているか又は凍結しているかの有無を検出するために有用である。
続いて、今度は、付着物検出用画像領域232について、光源部210のパワーと光学フィルタ205の分光フィルタ層251の分光特性を踏まえた露光調整(露光時間の調整)が行われる(S5)。その後、画像解析ユニット102にて付着物検出用画像領域232の画像データが取得される(S6)。そして、画像解析ユニット102は、付着物検出用画像領域232の画像データから、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い(S7)、これを所定の記憶領域に記録する(S8)。
図31は、付着物検出用画像領域232の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における輝度平均値を算出する(S71)。本実施形態では、フロントガラス105に、雨滴、曇り部分、凍結部分などが付着していると、付着物検出用画像領域232の輝度平均値が低下する。したがって、付着物検出用画像領域232の輝度平均値により、このような付着物が付着しているか否かを検出することができる。
また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における輝度分散値を算出する(S72)。小雨(雨滴のサイズが小さい面)の場合、付着物検出用画像領域232に写し出される雨滴の総面積が小さいため、フロントガラス105に付着物が付着していない状態と比較して輝度分散値はあまり変化しない。しかしながら、サイズの比較的大きな雨滴のフロントガラス105への付着数が増加すると、輝度分散値は小さくなる。これは、雨滴のボケ像が重なるためである。同様に、フロントガラス105が曇った場合や凍結した場合も、輝度分散値は小さくなる。したがって、付着物検出用画像領域232の輝度分散値により、フロントガラスに付着している付着物が小雨程度のものかどうかを検出することができる。

また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における付着物領域の占有率を算出する(S73)。ここでいう付着物領域とは、付着物検出用画像領域232において輝度平均値が規定値を超えている画素の数(画像の面積)の、付着物検出用画像領域232の全画素数(総面積)に対する比率である。曇り部分や凍結部分などは、この付着物領域の占有率が一般に大きいので、付着物検出用画像領域232の付着物領域の占有率により、フロントガラスに付着している付着物が小雨程度のものではなく、曇りや凍結なのかどうかを検出することができる。
また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、上述した輝度平均値、輝度分散値、付着物領域の占有率についての時間変化を検出する(S74〜S76)。この時間変化は、今回撮像した付着物検出用画像領域232の画像データに基づくものと、前回撮像した付着物検出用画像領域232の画像データに基づくものとの変化量を意味する。凍結や曇りなどは短時間で急激に増えるものではないが、フロントガラス105に付着するスプラッシュ(他車両等が跳ね上げた水しぶき等)は、短時間で急激に増えるものである。よって、付着物検出用画像領域232の輝度平均値、輝度分散値、付着物領域の占有率についての時間変化により、フロントガラスに付着している付着物がスプラッシュによるものかどうかを検出することができる。
以上のようにしてワイパー制御用やデフロスタ制御用に検出されるパラメータを記録したら、次に、フロントガラス105の状態判定処理を行う(S9)。
図32は、フロントガラス105の状態判定処理の流れを示すフローチャートである。
図33は、この状態判定処理の判定基準を示す表である。
フロントガラス105の状態判定処理では、まず、上記ステップS1において行われた車両検出用画像領域231についての自動露光調整により決定された露光時間が閾値A(例えば40ms)よりも短いか否かを判断する(S91)。この露光時間が閾値A以上のような非常に長い時間に設定される場合、これは撮像領域の光量が少ない夜間であると判定できる。よって、露光時間が閾値Aよりも短いか否かによって、撮像領域が昼間であるか夜間であるかを識別できる。
撮像領域が夜間である場合、車両検出用画像領域231の画像データから得られるパラメータ(輝度分散値、ボンネットのエッジ抽出結果)によるフロントガラス状態の判定精度は低いものとなる。よって、本実施形態では、夜間と判定された場合には、車両検出用画像領域231から得られるパラメータ(輝度分散値、ボンネットのエッジ抽出結果)を使用せず、付着物検出用画像領域232から得られるパラメータだけを使用して、フロントガラス105の状態判定を行う。
上記ステップS91において撮像領域が昼間である判定された場合、次に、車両検出用画像領域231の輝度分散値が閾値Bよりも大きいか否かを判断する(S92)。この判断結果は所定の記憶領域に記憶される。この閾値Bは、実験等により露光時間に応じたテーブルを用意しておき、それぞれの露光時間に応じて用いる閾値Bを決定するのが望ましい。
また、上記ステップS91において撮像領域が昼間である判定された場合、車両検出用画像領域231のボンネットのエッジ部分の抽出ができたか否かを判断する(S93)。この判断結果は所定の記憶領域に記憶される。ボンネットのエッジ部分の抽出は、例えば、ボンネットと背景とを含む画像領域について、画像の上下方向の隣接画素の輝度変化から、その水平エッジ成分の微分画像を形成し、予め記憶された水平エッジ成分の微分画像とのパターン比較し、各パターン比較の結果に基づいて検出した各部分それぞれのパターンマッチング誤差が所定の閾値以下の場合は、ボンネットのエッジ部分が検出できたと判定する。このエッジ部分の抽出ができる場合には、フロントガラス105に曇りや凍結やスプラッシュが起きていないと判定することができる。
次に、付着物検出用画像領域232から得られる各種パラメータについて判断する。
まず、付着物検出用画像領域232の輝度平均値が閾値Cよりも大きいか否かを判断する(S94)。この判断結果は所定の記憶領域に記憶される。上述したとおり、フロントガラス105に雨滴等が付着すると輝度平均値が下がる。例えば、付着物検出用画像領域232の輝度が1024階調であれば、ノイズ成分を除いた900(閾値C)よりも小さい輝度平均値が検出されたか否かを判断する。
また、付着物検出用画像領域232の輝度分散値が閾値Dよりも小さいか否かを判断する(S95)。この判断結果は所定の記憶領域に記憶される。例えば、付着物検出用画像領域232の輝度が1024階調であれば、輝度分散値が50(閾値D)よりも小さいとき、フロントガラス105が曇っている或いは凍結しているなどの判定を行うことができる。
また、付着物検出用画像領域232の輝度平均値の時間変化量が閾値Eよりも小さいか否かを判断する(S96)。この判断結果は所定の記憶領域に記憶される。例えば、前回撮像された付着物検出用画像領域232の輝度平均値が900以上であったものが、今回撮像された付着物検出用画像領域232では700未満であった場合など、輝度平均値の時間変化量が閾値E以上であるときにはスプラッシュが生じたものと判定することができる。
また、付着物検出用画像領域232の付着物領域の占有率が閾値Fよりも小さいか否かを判断する(S97)。この判断結果は所定の記憶領域に記憶される。例えば、光源部210から均一に照明がなされている場合、輝度平均値が900未満である領域が1/5(閾値F)を下回る場合には小雨であると判定し、1/5以上である場合にはそれ以外の付着物が付着していると判定することができる。
また、本実施形態においては、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、外気温センサ111の検知結果が用いられ、外気温センサ111が検知した外温度が閾値Gよりも大きいか否かを判断する(S98)。この判断結果は所定の記憶領域に記憶される。例えば、外気温が0度(閾値G)以下の場合、降雪もしくは凍結しているものと判定することができる。
以上のような各パラメータについての判断結果が得られたら、各パラメータの判断結果と図33に示す表との整合性から、フロントガラス105の状態判別を行う(S99)。この状態判別では、各パラメータの判断結果について重み付けを行うとよい。例えば、付着物検出用画像領域232に基づくパラメータおよび外気温についての重み付け係数を10とし、車両検出用画像領域231に基づくパラメータについての重み付け係数を5としておく。そして、各パラメータの判定結果として、異常なしとの差があるものを1とし、異常なしとの差がないときを0とする。その後、各パラメータの判定結果に重み付け係数をかけた総和について閾値判定を行う。これにより、各パラメータの判定結果が図33に示す表と完全一致する状態が存在しない場合でも、フロントガラス105の状態判定が可能となる。
また、付着物検出用画像領域232のパラメータについては異常なしと差がある場合、ワイパーを1回だけ動作させてから、再度、各パラメータについて状態判定を確認してもよい。
以上のようにしてフロントガラス105の状態判定結果が出たら、画像解析ユニット102は、次に、その状態判定結果に応じた処理、制御(ワイパー制御やデフロスタ制御など)を行うための指令を出す(S10)。この指令処理は、図34に示す表に応じて行われる。ワイパー制御は、ワイパー速度を3段階(遅、並、速)で制御するものであり、デフロスタ制御は、フロントガラス105の内壁に対して最大風量の温風を吹き付ける動作を行うか否かを制御するものである。
以上の説明では、雨滴203が付着していないフロントガラス105の外壁面部分に入射して正反射した反射光L3を画像センサ206で受光し、雨滴の付着部分に入射した光L2については画像センサ206で受光しないネガティブ方式を例に挙げて説明した。しかしながら、雨滴203で反射した雨滴反射光を画像センサ206で受光し、雨滴が付着していないフロントガラス外壁面部分で正反射した反射光を画像センサ206で受光しないポジティブ方式であってもよい。
また、以上の説明では、光源部210から照射された光を反射させる反射面221を有する光学部材として、反射偏向プリズム220を用いる場合であったが、このような反射面221を有するミラー部材であってもよい。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
光透過性を有するフロントガラス105等の板状部材の一方の面(内壁面)側から該板状部材を照明する光を照射する光源部210等の光照射手段と、上記光照射手段が照射した光によって照明された板状部材の他方の面(外壁面)上に付着している雨滴203等の付着物を撮像する画像センサ206等の撮像手段とを有する撮像ユニット101等の撮像装置であって、上記光照射手段から照射された光が入射される被入射面223と、該被入射面から入射した光を反射させる反射面221,225,226と、上記板状部材の上記一方の面に接して配置され該反射面で反射した光を透過させる密着面222等の透過面と、該透過面を透過して上記板状部材の上記他方の面で反射した光が上記撮像手段に向けて出射する出射面224とを有する反射偏向プリズム220等の光学部材を備えることを特徴とする。
これによれば、上記光学部材により、光照射手段から照射されて付着物が付着する板状部材の上記他方の面で反射した光を、光照射手段の近傍に戻すような光路を形成することができる。この場合、光照射手段から照射されて付着物が付着する板状部材の上記他方の面で反射した光を受光して付着物を撮像する撮像手段を、当該光照射手段の近傍に配置することができる。よって、これらの撮像手段及び光照射手段を含む撮像装置全体を、撮像手段から離れた位置に光照射手段が配置される撮像装置と比較して、小型化することが容易になる。
(態様B)
上記態様Aにおいて、上記光学部材は、上記透過面を透過した光が上記板状部材の上記他方の面で1回のみ全反射して上記出射面から上記撮像手段に向けて出射するように構成されていることを特徴とする。
これによれば、板状部材の上記他方の面での複数回全反射してから上記出射面から出射する構成と比較して、光学部材を小型化でき、撮像装置全体として小型化を図ることが容易になる。また、光損失を抑えることも可能である。
(態様C)
上記態様A又はBにおいて、上記光学部材は、上記光照射手段からの光が上記被入射面及び上記出射面の少なくとも一方で所定の屈折角をもって屈折するように構成されていることを特徴とする。
これによれば、光学部材の小型化が容易になり、撮像装置全体としても小型化を図ることが容易になる。
(態様D)
上記態様Cにおいて、上記板状部材における上記一方の面側に上記光学部材を固定支持する第一モジュール101A等の第一支持部材と、上記光照射手段及び上記撮像手段を固定支持する第二モジュール101B等の第二支持部材と、上記所定の屈折角が得られるように上記第一支持部材と上記第二支持部材との相対位置を決める回転連結機構240等の相対位置決め機構とを有することを特徴とする。
これによれば、上記所定の屈折角を所望の角度に調整する作業が容易になる。
(態様E)
上記態様Dにおいて、上記相対位置決め機構は、上記光学部材の上記反射面で反射した光の上記板状部材の上記一方の面に対する入射面に直交する回転軸241回りで、上記第一支持部材と上記第二支持部材とを相対回転可能に連結する回転連結機構240であることを特徴とする。
本態様においては、光学部材が固定支持された第一支持部材を板状部材の一方の面に固定配置し、かつ、光照射手段及び撮像手段が固定支持された第二支持部材を所望の箇所や姿勢で固定配置するという設置作業を行って、当該撮像装置の設置を完了する。このとき、本態様では、第一支持部材と第二支持部材とが回転連結機構により相対回転可能に連結されている。そのため、上記の設置作業を行う際、これらの支持部材間の相対位置関係は制限される。したがって、これらの支持部材が別個独立に構成されていて支持部材間の相対位置関係が制限のないフリーな状態である場合と比較して、両支持部材間の相対位置関係の調整が容易である。
(態様F)
上記態様Eにおいて、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射されて上記光学部材の反射面で正反射した光L2のうち、上記板状部材の上記他方の面における付着物の非付着領域で正反射した正反射光L3が上記撮像手段に受光される関係が維持されるように、上記光学部材を上記第一支持部材により上記板状部材の上記一方の面に位置決めする密着面222等の第一支持部材位置決め手段を有することを特徴とする。
上述した図35に示した先願の撮像装置において、フロントガラス105の傾斜角度θgが予め決まっている場合、撮像部200と光源部210をユニット化し、撮像部200に対する光源部210の相対位置や光源部210の光照射方向を固定しておくことで、撮像装置の設置作業は、その撮像部200の撮像方向Pが特定の方向を向くように撮像装置を取り付けるだけの簡単な作業で済む。しかしながら、フロントガラスの傾斜角度θgは車両の種類によって違いがあるため、上記のように撮像部200と光源部210をユニット化すると、限られた車両にしか対応することができないという不具合が発生する。この不具合について、以下詳しく説明する。
図36は、フロントガラスの傾斜角度が20°であるときに最適化されている撮像装置を、傾斜角度が20°であるフロントガラス105に対して設置した場合における、光源からの光がフロントガラス105の外壁面で反射する光路を示す説明図である。
図37は、フロントガラスの傾斜角度が20°であるときに最適化されている撮像装置を、傾斜角度が35°であるフロントガラス105に対して設置した場合における、光源からの光がフロントガラス105の外壁面で反射する光路を示す説明図である。
光源部210から照射される光の一部はフロントガラス105の内壁面や外壁面で反射する。図36は、フロントガラス105の外壁面で反射する例である。このようにフロントガラス105の外壁面で反射した正反射光が付着物検出用画像領域232に映し出されると、このような光強度の強い正反射光が外乱光となることで、雨滴Rdの検出精度が悪化する。そのため、光源部210は、図35(a)に示したように雨滴Rdで反射した雨滴反射光が付着物検出用画像領域232内に映し出され、かつ、フロントガラス105の外壁面で反射した正反射光は付着物検出用画像領域232に映し出されないように、角度調整することが必要となる。
ここで、フロントガラス105の傾斜角度が20°である車両に対応するように角度調整された撮像部200及び光源部210が固定支持された撮像装置を考える。この撮像装置は、傾斜角度が20°であるフロントガラス105であれば、撮像部200の撮像方向が特定の方向を向くように角度調整して設置するという簡単な設置作業により、図36に示すように、フロントガラス105の外壁面で反射した正反射光が撮像部200へ入射しないように配置される。よって、撮像部200の車両検出用画像領域231で車両前方の画像を撮像しつつ、付着物検出用画像領域232で雨滴の画像を、当該正反射光によるノイズを含むことなく、撮像することができる。しかしながら、この撮像装置をフロントガラス105の傾斜角度が20°よりも大きい車両に設置した場合、光源部210から照射される光がフロントガラス105の内壁面に入射する入射角は、フロントガラス105の傾斜角度が20°である場合の入射角よりも大きくなる。その結果、フロントガラス105の外壁面で反射する正反射光の向きは図36に示す場合よりも上側へずれ、当該正反射光が撮像部200に入射してしまう。
次に、光源部210をフロントガラス105の内壁面に固定するものであって、光源部210を固定した状態で撮像部200の撮像方向Pを調整可能な撮像装置を考える。この撮像装置は、撮像部200の撮像方向が特定の方向を向くように角度調整して設置する作業と、光源部210をフロントガラス105の内壁面に固定する作業という簡単な設置作業により、図36に示すように、傾斜角度が20°であるフロントガラス105において、その外壁面で反射した正反射光が撮像部200へ入射しないように配置される。この撮像装置においては、フロントガラス105の傾斜角度θgが20°よりも大きい車両に設置した場合でも、光源部210から照射される光がフロントガラス105の内壁面に入射する入射角θは、フロントガラス105の傾斜角度θgが20°である場合の入射角θと同じとなる。
しかしながら、この撮像装置は、光源部210の光照射方向(水平方向を基準とした方向)がフロントガラス105の傾斜角度θgに応じて変化することになる。そのため、フロントガラス105の傾斜角度θgが異なれば、入射角θが同じでも、フロントガラス105の外壁面での正反射光の方向(水平方向を基準とした方向)がずれることになる。よって、例えば、この撮像装置をフロントガラス105の傾斜角度が35°である車両に設置した場合、図37に示すように、フロントガラス105の傾斜角度の差(15°)の分だけ、フロントガラス105の外壁面で反射する正反射光の向きは図36に示す場合よりも上側へずれる。その結果、当該正反射光が撮像部200に入射してしまう。
図38は、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射しない場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
図39は、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射した場合の雨滴反射光とフロントガラスでの反射光との受光量を比較したグラフである。
フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射しない場合、図38に示すように、フロントガラス105の内壁面や外壁面で反射した拡散反射光の一部が受光されるだけであり、その受光量は雨滴反射光の受光量に対して十分に少ないものとなっている。よって、この場合、雨滴を検出する際に高いS/N比を確保することができる。一方、フロントガラス105の外壁面で正反射した正反射光が撮像部200に入射する場合、図39に示すように、フロントガラス105の外壁面で反射した正反射光という強い光強度をもった外乱光が受光される。この受光量は雨滴反射光の受光量に対して多いものとなっているので、雨滴を検出する際に高いS/N比を確保することができない。
フロントガラス105の傾斜角度θgが20°から多少外れた角度であっても、フロントガラス105で反射した正反射光が撮像部200へ入射しない範囲であれば、高いS/N比を確保できるので、雨滴の検出精度が悪化することはない。しかしながら、光源部210から照射される光は実際には広がりをもって照射される場合が多いため、フロントガラス105で反射した正反射光の全体が撮像部200へ入射しないフロントガラス105の傾斜角度範囲は非常に狭い。そのため、上述したような設置作業が簡易な撮像装置を、広いフロントガラスの傾斜角度範囲に対応させることはできないという問題があった。一方、撮像部200の撮像方向Pを特定の方向へ向くように角度調整するだけでなく、光源部210の位置や光照射方向も調整するようにすれば、広いフロントガラスの傾斜角度範囲に対応させることも可能であるが、この場合、光源部210の位置や光照射方向を調整する作業が必要となり、撮像装置の設置作業の簡略化を実現できないといった問題が生じる。
以上の説明では、雨滴で反射した雨滴反射光を撮像手段で受光し、雨滴が付着していないフロントガラス外壁面部分で正反射した反射光を撮像手段で受光しないことで、撮像画像中に雨滴を映し出す方式(ここでは「ポジティブ方式」という。)を例に挙げた。しかしながら、上述した問題は、雨滴が付着していないフロントガラス外壁面の非付着部分で正反射した反射光を撮像手段で受光し、雨滴の付着部分で正反射した反射光は撮像手段で受光しないことで、撮像画像中に雨滴を映し出す方式(ここでは「ネガティブ方式」という。)でも、同様に生じ得る。なぜなら、ポジティブ方式で雨滴の非付着部分での正反射光を撮像手段で受光しないことが求められるのと同様、ネガティブ方式では、雨滴の非付着部分での正反射光を撮像手段で受光しないことが求められるからである。
また、以上の説明では、雨滴を撮像する撮像手段によって車両前方領域も同時に撮像する場合を例に挙げたが、雨滴を撮像する撮像手段で車両前方領域を撮像しない場合であっても、同様の問題を生じ得る。これは次の理由による。すなわち、前者の場合において、上述した問題は、フロントガラスに取り付けられる光源と、水平方向を基準に特定方向を向くように撮像方向が調整される撮像手段との関係が、フロントガラスの傾斜角度に応じて変化することに起因した問題である。一方で、雨滴を撮像する撮像手段はフロントガラスの内壁面に取り付けることが困難であることから、通常は自車両の室内天井部やルームミラー等に取り付けられる。フロントガラスの傾斜角度の違いは、通常、車種の違いによるものであり、車種が違えば、撮像手段を取り付ける箇所や取り付け姿勢等も共通にできない場合が多い。そのため、後者の場合でも、フロントガラスに取り付けられる光源と、車種の違いによって取り付け箇所や姿勢等が異なる撮像手段との関係は、車種の違いによるフロントガラスの傾斜角度に応じて変化する。
本態様においては、板状部材の傾斜角度が異なる場合でも、板状部材の一方の面に取り付けられる第一支持部材の姿勢は板状部材の傾斜角度に応じて変わるが、第二支持部材の姿勢は板状部材の傾斜角度に依存しない別の条件によって決められる。そのため、第二支持部材に固定支持される光照射手段の光照射方向は、板状部材の傾斜角度に依存しない方向を向くことになる。一方、光学部材を固定支持する第一支持部材の姿勢は板状部材の傾斜角度に依存するので、光照射手段の光照射方向に対する光学部材の反射面の向きは、板状部材の傾斜角度に応じて変わることになる。よって、板状部材の傾斜角度が異なる場合、光照射手段から照射される光の光学部材反射面への入射角が異なるものとなる。
ただし、本態様においては、両支持部材の相対角度が規定角度範囲内にある限り、ネガティブ方式であれば、光学部材反射面での正反射光のうち、板状部材の他方の面における付着物の非付着領域で正反射した反射光が撮像手段に受光される関係が維持される。したがって、板状部材の傾斜角度が異なる場合でも、両支持部材の相対角度が規定角度範囲内となる範囲で、第二支持部材を第一支持部材に対して相対回転させて配置することで、光照射手段からの光の光学部材反射面への入射角が異なっても、非付着領域での正反射光を撮像手段で安定して受光できる。
なお、ポジティブ方式を採用する場合には、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射されて上記光学部材の反射面で正反射した光L2のうち、上記板状部材の上記他方の面上に付着している付着物で正反射する正反射光を撮像手段に受光される関係が維持されるようにする。これによれば、ポジティブ方式において、板状部材の傾斜角度が異なる場合でも、非付着領域での正反射光L3を撮像手段で安定して受光し、安定した付着物の検出を実現できる。
(態様G)
上記態様Fにおいて、上記第一支持部材位置決め手段は、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射される光L1の光軸方向と、上記他方の面の上記非付着領域で正反射して上記撮像手段に受光される光L3の光軸方向又は該他方の面上に付着している付着物で正反射して該撮像手段に受光される光の光軸方向との相対角度が所定の角度範囲内に維持されるように、構成されていることを特徴とする。
これによれば、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上述した関係が維持されるように構成することが容易になる。
(態様H)
上記態様F又はGにおいて、上記回転連結機構は、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記板状部材の上記他方の面における付着物の非付着領域で正反射した正反射光を受光する上記撮像手段の受光面上の受光位置が予め決められた規定受光範囲内に維持され、又は、該他方の面上に付着している付着物で正反射する正反射光を受光する上記撮像手段の受光面上の受光位置が予め決められた規定受光範囲内に維持されるように、構成されていることを特徴とする。
これによれば、板状部材の傾斜角度が異なる場合でも、より安定した付着物の検出を実現できる。
(態様I)
上記態様D〜Hのいずれかの態様において、上記第二支持部材は、上記光照射手段の構成部品と上記撮像手段の構成部品とをセンサ基板207等の単一の基板上に実装した構成を有することを特徴とする。
これによれば、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。
(態様J)
上記態様A〜Iのいずれかの態様において、上記撮像手段の受光面は、上記付着物を撮像する付着物検出用受光領域等の検出用受光面と、予め決められた撮像領域から上記板状部材の上記他方の面へ入射して該板状部材を透過した透過光を受光して該撮像領域の画像を撮像する車両検出用受光領域等の画像用受光面とに区分されていることを特徴とする。
これによれば、撮像領域を撮像する撮像手段を利用して付着物の検出を行うことができる。
(態様K)
上記態様A〜Jのいずれかの態様において、上記撮像手段は、上記光照射手段から照射される光の波長範囲(赤外波長範囲等)を選択的に透過させる分光フィルタ層251等の分光フィルタを備えていることを特徴とする。
これによれば、外乱光を減らして、付着物の検出精度を向上させることができる。
(態様L)
上記態様A〜Kのいずれかの態様において、上記光学部材として、反射偏向プリズム220等のプリズムを用いたことを特徴とする。
これによれば、上記光学部材を安価に実現することが可能である。
(態様M)
上記態様A〜Lのいずれかの態様において、上記光学部材の上記反射面は凹面であることを特徴とする。
これによれば、反射面に入射してくる拡散光束を平行化することができ、板状部材上での照度低下を抑制することが可能となる。
(態様N)
光透過性を有するフロントガラス105等の板状部材の一方の面(内壁面)側から該板状部材の他方の面(外壁面)上に付着している雨滴等の付着物を撮像する撮像装置と、上記撮像装置が撮像した撮像画像に基づいて上記板状部材の上記他方の面上に付着している付着物を検出する画像解析ユニット102等の付着物検出手段を備えた付着物検出装置300であって、上記撮像装置として、上記態様A〜Mのいずれかの態様に係る撮像装置を用いたことを特徴とする。
これによれば、小型の撮像装置を用いて板状部材の上記他方の面に付着する付着物を検出することが可能となる。
(態様O)
自動車等の車両などの移動装置のフロントガラス105等の板状窓部材の内壁面側に設置された画像センサ206等の撮像手段によって該板状窓部材の外壁面上に付着している雨滴203等の付着物を撮像する撮像ユニット101等の撮像装置を備えた当該移動装置に搭載されているワイパー107やデフロスタ110等の制御対象機器を制御する車載機器制御システム等の移動装置用機器制御システムであって、上記撮像装置が撮像した撮像画像に基づいて上記板状窓部材の外壁面上に付着している付着物を検出する付着物検出装置として用いられる上記態様Nに係る付着物検出装置と、上記付着物検出装置の検出結果に基づいて上記制御対象機器を制御する画像解析ユニット102、ワイパー制御ユニット106、デフロスタ制御ユニット109等の機器制御手段とを有することを特徴とする。
これによれば、移動装置の板状窓部材外壁面上に付着している付着物を小型の撮像装置を用いて検出し、制御対象機器を制御できる。
(態様P)
フロントガラス105等の板状窓部材を有する自動車等の車両などの移動装置において、当該移動装置に搭載されている制御対象機器を制御する移動装置用機器制御システムとして、上記態様Oに係る移動装置用機器制御システムを用いたことを特徴とする。
これによれば、移動装置の板状窓部材外壁面上に付着している付着物を小型の撮像装置を用いて検出し、制御対象機器を制御できる移動装置を実現できる。
100 自車両
100a ボンネット
101 撮像ユニット
101A 第一モジュール
101B 第二モジュール
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
108 車両走行制御ユニット
109 デフロスタ制御ユニット
110 デフロスタ
111 外気温センサ
200 撮像部
203 雨滴
203’ 曇り
204 撮像レンズ
205 光学フィルタ
205A 車両検出用フィルタ部
205B 付着物検出用フィルタ部
206 画像センサ
207 センサ基板
208 信号処理部
210 光源部
211 LED
212 コリメートレンズ
213 偏向プリズム
215 導光体
220 反射偏向プリズム
221 反射面
222 密着面
223 被入射面
224 出射面
225 反射面
226 反射ミラー面
230 遮光部材
231 車両検出用画像領域
232 付着物検出用画像領域
240 回転連結機構
241 回転軸
242 固定ピン
243 ガイド孔
251,255 分光フィルタ層
252 フィルタ基板
253 偏光フィルタ層
254 充填層
特許第4326999号公報

Claims (16)

  1. 光透過性を有する板状部材の一方の面側から該板状部材を照明する光を照射する光照射手段と、
    上記光照射手段が照射した光によって照明された板状部材の他方の面上に付着している付着物を撮像する撮像手段とを有する撮像装置であって、
    上記光照射手段から照射された光が入射される被入射面と、該被入射面から入射した光を反射させる反射面と、上記板状部材の上記一方の面に接して配置され該反射面で反射した光を透過させる透過面と、該透過面を透過して上記板状部材の上記他方の面で反射した光が上記撮像手段に向けて出射する出射面とを有する光学部材を備えることを特徴とする撮像装置。
  2. 請求項1の撮像装置において、
    上記光学部材は、上記透過面を透過した光が上記板状部材の上記他方の面で1回のみ全反射して上記出射面から上記撮像手段に向けて出射するように構成されていることを特徴とする撮像装置。
  3. 請求項1又は2の撮像装置において、
    上記光学部材は、上記光照射手段からの光が上記被入射面及び上記出射面の少なくとも一方で所定の屈折角をもって屈折するように構成されていることを特徴とする撮像装置。
  4. 請求項3の撮像装置において、
    上記板状部材における上記一方の面側に上記光学部材を固定支持する第一支持部材と、
    上記光照射手段及び上記撮像手段を固定支持する第二支持部材と、
    上記所定の屈折角が得られるように上記第一支持部材と上記第二支持部材との相対位置を決める相対位置決め機構とを有することを特徴とする撮像装置。
  5. 請求項4の撮像装置において、
    上記相対位置決め機構は、上記光学部材の上記反射面で反射した光の上記板状部材の上記一方の面に対する入射面に直交する回転軸回りで、上記第一支持部材と上記第二支持部材とを相対回転可能に連結する回転連結機構であることを特徴とする撮像装置。
  6. 請求項5の撮像装置において、
    上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射されて上記光学部材の反射面で正反射した光のうち、上記板状部材の上記他方の面における付着物の非付着領域で正反射した正反射光が上記撮像手段に受光される関係、又は、該他方の面上に付着している付着物で正反射する正反射光が上記撮像手段に受光される関係が維持されるように、上記光学部材を上記第一支持部材により上記板状部材の上記一方の面に位置決めする第一支持部材位置決め手段を有することを特徴とする撮像装置。
  7. 請求項6の撮像装置において、
    上記第一支持部材位置決め手段は、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射される光の光軸方向と、上記他方の面の上記非付着領域で正反射して上記撮像手段に受光される光の光軸方向又は該他方の面上に付着している付着物で正反射して該撮像手段に受光される光の光軸方向との相対角度が所定の角度範囲内に維持されるように、構成されていることを特徴とする撮像装置。
  8. 請求項6又は7の撮像装置において、
    上記回転連結機構は、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記板状部材の上記他方の面における付着物の非付着領域で正反射した正反射光を受光する上記撮像手段の受光面上の受光位置が予め決められた規定受光範囲内に維持され、又は、該他方の面上に付着している付着物で正反射する正反射光を受光する上記撮像手段の受光面上の受光位置が予め決められた規定受光範囲内に維持されるように、構成されていることを特徴とする撮像装置。
  9. 請求項4乃至8のいずれか1項に記載の撮像装置において、
    上記第二支持部材は、上記光照射手段の構成部品と上記撮像手段の構成部品とを単一の基板上に実装した構成を有することを特徴とする撮像装置。
  10. 請求項1乃至9のいずれか1項に記載の撮像装置において、
    上記撮像手段の受光面は、上記付着物を撮像する検出用受光面と、予め決められた撮像領域から上記板状部材の上記他方の面へ入射して該板状部材を透過した透過光を受光して該撮像領域の画像を撮像する画像用受光面とに区分されていることを特徴とする撮像装置。
  11. 請求項1乃至10のいずれか1項に記載の撮像装置において、
    上記撮像手段は、上記光照射手段から照射される光の波長範囲を選択的に透過させる分光フィルタを備えていることを特徴とする撮像装置。
  12. 請求項1乃至11のいずれか1項に記載の撮像装置において、
    上記光学部材として、プリズムを用いたことを特徴とする撮像装置。
  13. 請求項1乃至12のいずれか1項に記載の撮像装置において、
    上記光学部材の上記反射面は凹面であることを特徴とする撮像装置。
  14. 光透過性を有する板状部材の一方の面側から該板状部材の他方の面上に付着している付着物を撮像する撮像装置と、
    上記撮像装置が撮像した撮像画像に基づいて上記板状部材の上記他方の面上に付着している付着物を検出する付着物検出手段を備えた付着物検出装置であって、
    上記撮像装置として、請求項1乃至13のいずれか1項に記載の撮像装置を用いたことを特徴とする付着物検出装置。
  15. 移動装置の板状窓部材の内壁面側に設置された撮像手段によって該板状窓部材の外壁面上に付着している付着物を撮像する撮像装置を備えた当該移動装置に搭載されている制御対象機器を制御する移動装置用機器制御システムであって、
    上記撮像装置が撮像した撮像画像に基づいて上記板状窓部材の外壁面上に付着している付着物を検出する付着物検出装置として用いられる請求項14の付着物検出装置と、
    上記付着物検出装置の検出結果に基づいて上記制御対象機器を制御する機器制御手段とを有することを特徴とする移動装置用機器制御システム。
  16. 板状窓部材を有する移動装置において、
    当該移動装置に搭載されている制御対象機器を制御する移動装置用機器制御システムとして、請求項15の移動装置用機器制御システムを用いたことを特徴とする移動装置。
JP2013101851A 2012-07-13 2013-05-14 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置 Pending JP2014032174A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013101851A JP2014032174A (ja) 2012-07-13 2013-05-14 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
IN2707KON2014 IN2014KN02707A (ja) 2012-07-13 2013-07-08
PCT/JP2013/069078 WO2014010713A1 (en) 2012-07-13 2013-07-08 Imaging unit, attached matter detector, control system for vehicle, and vehicle
US14/402,630 US20150142263A1 (en) 2012-07-13 2013-07-08 Imaging unit, attached matter detector, control system for vehicle, and vehicle
CN201380036417.7A CN104428655A (zh) 2012-07-13 2013-07-08 成像单元、附着物质检测器、用于车辆的控制系统以及车辆
BR112015000792A BR112015000792A2 (pt) 2012-07-13 2013-07-08 unidade de imagem, detector de matéria fixada, sistema de controle para veículo e veículo
EP13817305.9A EP2872874A4 (en) 2012-07-13 2013-07-08 PICTURE UNIT, FIXED MATERIAL DETECTOR, CONTROL SYSTEM FOR A VEHICLE AND VEHICLE

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012157174 2012-07-13
JP2012157174 2012-07-13
JP2013101851A JP2014032174A (ja) 2012-07-13 2013-05-14 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014096493A Division JP5672583B2 (ja) 2012-07-13 2014-05-08 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Publications (1)

Publication Number Publication Date
JP2014032174A true JP2014032174A (ja) 2014-02-20

Family

ID=49916153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013101851A Pending JP2014032174A (ja) 2012-07-13 2013-05-14 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Country Status (7)

Country Link
US (1) US20150142263A1 (ja)
EP (1) EP2872874A4 (ja)
JP (1) JP2014032174A (ja)
CN (1) CN104428655A (ja)
BR (1) BR112015000792A2 (ja)
IN (1) IN2014KN02707A (ja)
WO (1) WO2014010713A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3021109A1 (en) 2014-11-12 2016-05-18 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
JP2016102779A (ja) * 2014-11-12 2016-06-02 株式会社リコー 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法
JP2016111661A (ja) * 2014-11-26 2016-06-20 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
US9944293B2 (en) 2013-12-19 2018-04-17 Ricoh Company, Ltd. Object detection apparatus, moving body device control system and program thereof
WO2022097450A1 (ja) * 2020-11-06 2022-05-12 株式会社デンソー 雨滴検出装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389016B2 (en) * 2014-05-12 2019-08-20 Magna Electronics Inc. Vehicle communication system with heated antenna
DE102014214710B4 (de) 2014-07-25 2022-02-17 Conti Temic Microelectronic Gmbh Regendetektionsvorrichtung
US9426377B2 (en) 2014-10-03 2016-08-23 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
WO2016084359A1 (en) * 2014-11-26 2016-06-02 Ricoh Company, Ltd. Imaging device, object detector and mobile device control system
KR101766018B1 (ko) * 2015-07-03 2017-08-07 현대자동차주식회사 반사형 센서가 포함된 일체형 레인센서
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
CA3012705A1 (en) * 2016-02-17 2017-08-24 Tesseract Health, Inc. Sensor and device for lifetime imaging and detection applications
EP3488602B1 (en) 2016-08-31 2023-09-27 Zhejiang Dahua Technology Co., Ltd Devices and methods for detecting and removing vapor
CN106377209B (zh) * 2016-11-11 2022-07-22 北京地平线机器人技术研发有限公司 可移动清洁设备及其控制方法
CN108916805B (zh) * 2017-03-22 2021-03-30 堤维西交通工业股份有限公司 车灯透镜
US11040731B2 (en) * 2017-04-29 2021-06-22 Universal Studios LLC Passenger restraint with integrated lighting
CN107220613B (zh) * 2017-05-24 2018-06-29 北京通建泰利特智能系统工程技术有限公司 基于图像处理的多功能控制方法
CN111699108B (zh) * 2017-12-14 2023-07-25 亮锐控股有限公司 用于具有自动光束模式选择的车辆前灯的照明器
CN110816478A (zh) * 2018-08-10 2020-02-21 宝沃汽车(中国)有限公司 用于车辆的除霜装置及车辆
CN108983531A (zh) * 2018-08-28 2018-12-11 中盾金卫激光科技(昆山)有限公司 一种全天候红外窄光谱成像透玻透膜摄像机
JP7200572B2 (ja) * 2018-09-27 2023-01-10 株式会社アイシン 付着物検出装置
DE102019132239A1 (de) * 2019-11-28 2021-06-02 Valeo Schalter Und Sensoren Gmbh Verfahren zur Nebelerfassung für ein Fahrzeug durch einen Nebeldetektor mit einer speziell geformten Linse
TWI740346B (zh) * 2020-01-10 2021-09-21 茂達電子股份有限公司 異物偵測系統及方法
DE102020210549A1 (de) * 2020-08-20 2022-02-24 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfsystem und Prüfverfahren für Scheibenwischer
CN113758878B (zh) * 2021-09-29 2022-05-17 长春理工大学 基于等效光学厚度的沉降水雾干扰抑制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09509491A (ja) * 1994-02-26 1997-09-22 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング レインセンサ
JP2006266737A (ja) * 2005-03-22 2006-10-05 Stanley Electric Co Ltd 光学式水滴センサ
JP2009053178A (ja) * 2007-08-01 2009-03-12 Denso Corp 雨滴検出装置
JP2010223685A (ja) * 2009-03-23 2010-10-07 Omron Corp 車両用撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815449A (ja) * 1994-04-26 1996-01-19 Omron Corp 雨滴検知センサおよびその雨滴検知センサを用いた雨滴計測装置およびその雨滴計測装置を用いたワイパ駆動装置
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
DE102004024018A1 (de) 2004-05-13 2005-06-30 Daimlerchrysler Ag Vorrichtung zur Detektion von auf einer Fahrzeugscheibe befindlichen Flüssigkeitstropfen
JP4466537B2 (ja) * 2005-11-01 2010-05-26 株式会社デンソー 車両用ワイパ制御装置
ATE471254T1 (de) * 2007-11-21 2010-07-15 Delphi Tech Inc Optisches modul
DE102008054638A1 (de) 2008-12-15 2010-06-17 Robert Bosch Gmbh Lichtleiter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09509491A (ja) * 1994-02-26 1997-09-22 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング レインセンサ
JP2006266737A (ja) * 2005-03-22 2006-10-05 Stanley Electric Co Ltd 光学式水滴センサ
JP2009053178A (ja) * 2007-08-01 2009-03-12 Denso Corp 雨滴検出装置
JP2010223685A (ja) * 2009-03-23 2010-10-07 Omron Corp 車両用撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9944293B2 (en) 2013-12-19 2018-04-17 Ricoh Company, Ltd. Object detection apparatus, moving body device control system and program thereof
EP3021109A1 (en) 2014-11-12 2016-05-18 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
JP2016102779A (ja) * 2014-11-12 2016-06-02 株式会社リコー 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法
US9726604B2 (en) 2014-11-12 2017-08-08 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP2016111661A (ja) * 2014-11-26 2016-06-20 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
US10628696B2 (en) 2014-11-26 2020-04-21 Ricoh Company, Ltd. Imaging device, object detector and mobile device control system
WO2022097450A1 (ja) * 2020-11-06 2022-05-12 株式会社デンソー 雨滴検出装置
JP7415877B2 (ja) 2020-11-06 2024-01-17 株式会社デンソー 雨滴検出装置

Also Published As

Publication number Publication date
CN104428655A (zh) 2015-03-18
EP2872874A4 (en) 2015-07-22
IN2014KN02707A (ja) 2015-05-08
US20150142263A1 (en) 2015-05-21
WO2014010713A1 (en) 2014-01-16
EP2872874A1 (en) 2015-05-20
BR112015000792A2 (pt) 2017-06-27

Similar Documents

Publication Publication Date Title
JP2014032174A (ja) 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
JP2014044196A (ja) 付着物検出装置、移動装置用機器制御システム及び移動装置
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US9470791B2 (en) Light guide member having a curvatured detection face, object detection apparatus, and vehicle
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP2013190416A (ja) 付着物検出装置及びこれを用いた車載機器制御装置
JP2014052364A (ja) 付着物検出装置、移動装置用機器制御システム及び移動装置
US9494685B2 (en) Light guide member, object detection apparatus, and vehicle
JP2013029451A (ja) 付着物検出装置及び付着物検出方法
JP2013031054A (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5936098B2 (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
US20150054954A1 (en) Imaging unit and method for installing the same
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5862207B2 (ja) 画像処理システム
JP2015031564A (ja) 付着物検出装置及び移動装置用機器制御システム
JP6008238B2 (ja) 撮像装置、撮像装置の設置方法及び移動装置
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP2016200528A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP5672583B2 (ja) 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
JP2017003531A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム
JP2016218046A (ja) 物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラム
JP5845820B2 (ja) 撮像ユニット及びそれを備えた車両
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171006