JP2017083352A - 車載センサ、車両用灯具、車両及び路面状態センサ - Google Patents

車載センサ、車両用灯具、車両及び路面状態センサ Download PDF

Info

Publication number
JP2017083352A
JP2017083352A JP2015213232A JP2015213232A JP2017083352A JP 2017083352 A JP2017083352 A JP 2017083352A JP 2015213232 A JP2015213232 A JP 2015213232A JP 2015213232 A JP2015213232 A JP 2015213232A JP 2017083352 A JP2017083352 A JP 2017083352A
Authority
JP
Japan
Prior art keywords
infrared light
light
vehicle
image
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015213232A
Other languages
English (en)
Other versions
JP6361631B2 (ja
Inventor
翼 田中
Tsubasa Tanaka
翼 田中
晴彦 近藤
Haruhiko Kondo
晴彦 近藤
菜未 伊藤
Nami Ito
菜未 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMK Corp
Original Assignee
SMK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMK Corp filed Critical SMK Corp
Priority to JP2015213232A priority Critical patent/JP6361631B2/ja
Priority to US15/187,796 priority patent/US10121081B2/en
Priority to CN201610957884.9A priority patent/CN106627586B/zh
Publication of JP2017083352A publication Critical patent/JP2017083352A/ja
Application granted granted Critical
Publication of JP6361631B2 publication Critical patent/JP6361631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/312—Adverse weather
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】水または水の状態を適切に検出することができるセンサを提供すること。【解決手段】車両に搭載される車載センサであって、水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、車両外の空間に出射する光出射部と、第１波長域の赤外光と第２波長域の赤外光とを、別個に検出する光検出部と、光検出部によって検出された第１波長域の赤外光の光量と第２波長域の赤外光の光量との差異に基づいて、車両外の空間内の水を検出する水検出部とを備える。【選択図】図２

Description

本発明は、車載センサ、車両用灯具、車両及び路面状態センサに関する。
外来光の強度が最も弱い波長域に対応する波長域の赤外光を出射して撮像し、撮像される映像に基づいて、路面の形状を算出する路面形状認識装置が知られている（例えば、特許文献１参照。）。また、カラー画像を形成する別個のカラー画素マトリクス毎にヒストグラム等化処理ステップを別々に実行することにより、物理的な物体表現を効率的に検出する画像処理装置が知られている（例えば、特許文献２参照。）。
特許文献１ 国際公開２０１２／０８６０７０号
特許文献２ 特表２００８−５０２０６２号公報
車両外の空間における水を適切に検出することができないという課題があった。また、路面上の水の状態を適切に検出することができないという課題があった。
第１の態様においては、車両に搭載される車載センサであって、水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、車両外の空間に出射する光出射部と、第１波長域の赤外光と第２波長域の赤外光とを、別個に検出する光検出部と、光検出部によって検出された第１波長域の赤外光の光量と第２波長域の赤外光の光量との差異に基づいて、車両外の空間内の水を検出する水検出部とを備える。
光検出部は、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を撮像する撮像装置であり、水検出部は、第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の差異に基づいて、水を検出してよい。
水検出部は、第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、撮像装置により撮像される車両外の空間内の領域毎の水量を検出してよい。
水検出部は、第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、撮像装置により撮像される車両外の空間内の領域毎の水滴量を検出し、車載センサは、水検出部によって検出された領域毎の水滴量に基づいて、車両外の空間を撮像して得られた画像に対して領域毎にヘイズ除去処理を施す画像処理部をさらに備えてよい。
光出射部は、第１波長域の赤外光と第２波長域の赤外光とを時分割で出射し、撮像装置は、光出射部からの第１波長域の赤外光の出射及び第２波長域の赤外光の出射に同期して時分割で撮像することにより、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を時分割で撮像してよい。
撮像装置は、撮像装置に入射した光を第１波長域の赤外光と第２波長域の赤外光とに分離する光分離部と、光分離部によって分離された第１波長域の赤外光により撮像する第１撮像部と、光分離部によって分離された第２波長域の赤外光により撮像する第２撮像部とを有してよい。
水検出部は、光量の差異と、液相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異と、固相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異とに基づいて、車両外の空間の水の状態が液相及び固相のいずれであるかを検出してよい。
光出射部は、第１円偏光成分を持つ第１波長域の赤外光と、第１円偏光成分を持つ第２波長域の赤外光とを、車両外に出射し、車載センサは、車両外の空間からの光のうち、第１円偏光成分の回転方向の逆回りの第２円偏光成分を透過する円偏光フィルタをさらに備え、光検出部は、円偏光フィルタを透過した第１波長域の赤外光及び第２波長域の赤外光を検出してよい。
第２の形態においては、車両用灯具は、上記の車載センサと、車両外を照明する可視光の照明光を出射する照明光源とを備える。
第３の形態においては、車両は、上記の車載センサを備える。
第３の形態においては、路面上の水の状態を検出する路面状態センサであって、水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、路面に出射する光出射部と、第１波長域の赤外光と第２波長域の赤外光とを、別個に検出する光検出部と、光検出部によって検出された第１波長域の赤外光の光量と第２波長域の赤外光の光量との差異と、液相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異と、固相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異とに基づいて、路面上の水の状態が液相及び固相のいずれであるかを検出する水検出部とを備える。
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態における車両１０の機能構成を概略的に示す。 第１前照灯ユニット１３０の機能構成を模式的に示す。 水分子による吸収スペクトルを説明するための模式図である。 車載センサ１３２の動作シーケンスを模式的に示す。 車載センサ１３２において霧の存在を検出する場合の動作シーケンスを模式的に示す。 凍結した水の吸収スペクトルと液体の水の吸収スペクトルとの差異を説明するための模式図である。 車載センサ１３２において路面の凍結を検出する場合の動作シーケンスを模式的に示す。 撮像装置２７０の変形例としての撮像装置８７０のブロック構成を模式的に示す。 撮像装置８７０を用いる場合の動作シーケンスを模式的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、一実施形態における車両１０の機能構成を概略的に示す。本実施形態において、車両１０は自動車である。車両１０は、車載システム１００を備える。車載システム１００は、第１前照灯ユニット１３０と、第２前照灯ユニット１４０と、制御装置１１０と、ユーザＩＦ部１８０とを有する。
第１前照灯ユニット１３０及び第２前照灯ユニット１４０は、車両用灯具の一例である。第１前照灯ユニット１３０及び第２前照灯ユニット１４０は、車両１０の前部に設けられる。第１前照灯ユニット１３０は、車両１０の車幅方向左側に設けられる。第２前照灯ユニット１４０は、車両１０の車幅方向右側に設けられる。第１前照灯ユニット１３０は、照明光源１３４と、車載センサ１３２と、透明カバー１３６とを有する。第２前照灯ユニット１４０は、照明光源１４４と、透明カバー１４６とを有する。照明光源１３４及び照明光源１４４は対応する部材であり、略同一の機能を有する。透明カバー１３６及び透明カバー１４６は対応する部材であり、略同一の機能を有する。第１前照灯ユニット１３０は、車載センサ１３２を備える点で、第２前照灯ユニット１４０と相違する。本実施形態では、主として第１前照灯ユニット１３０の機能を説明する。
照明光源１３４は、車両１０外の空間を照明する照明光を出射する。照明光源１３４は、主として可視光の照明光を出射する。照明光源１３４は、ハロゲンバルブ、キセノンバルブ、発光ダイオード（ＬＥＤ）等を含んで構築される。
車載センサ１３２は、光により車両１０外の空間である外部空間の情報を取得する。例えば、車載センサ１３２は、検出光として赤外光を外部空間に出射し、外部空間からの赤外光の戻り光を検出することによって、車両１０の外部空間の水に関する情報を取得する。具体的には、車載センサ１３２は、波長が異なる波長域の赤外光を出射して、戻り光による画像を波長域毎に撮像する。車載センサ１３２が出射する赤外光は、波長域が異なり、水による吸収係数が波長域によって異なる。そのため、車載センサ１３２が撮像した波長域毎の画像には、外部空間中の水の量に応じた差異が生じる。車載センサ１３２は、撮像した波長域毎の画像の差分に基づいて、水を検出する。例えば、車載センサ１３２は、撮像した画像の差分画像に基づいて、路面等に水が存在するか否か、路面等に存在する水水の量、路面が凍結しているか否か、霧が生じているか否か、生じている霧の量等を検出する。なお、水は、車載センサ１３２による検出対象の物質の一例である。
制御装置１１０は、車載センサ１３２及び照明光源１３４を制御する。また、制御装置１１０は、車載センサ１３２によって検出された情報を、ユーザＩＦ部１８０に出力する。ユーザＩＦ部１８０は、車両１０の乗員であるユーザ１９０と車載システム１００とのユーザインタフェースを提供する。例えば、ユーザＩＦ部１８０は、表示部を有し、車載センサ１３２で撮像された画像を表示部に表示する。例えば、車載センサ１３２で路面に氷が検出された場合、ユーザＩＦ部１８０は、車載センサ１３２で検出された氷の存在位置を表示する。なお、制御装置１１０は、例えば、車両１０が備えるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）内に構築されてよい。制御装置１１０は、ＥＣＵ外に独立して構築されてもよい。
図２は、第１前照灯ユニット１３０の機能構成を模式的に示す。照明光源１３４は、車両１０外の空間である外部空間を照明する可視光の照明光を出射する。照明光源１３４が出射した照明光は、透明カバー１３６を通じて車両１０の外部空間に出射される。
車載センサ１３２は、光出射部２５０と、検出光カメラ２９０と、可視光カメラ２９２と、水検出部２００と、画像処理部２１０とを備える。車載センサ１３２の各部は、全体として制御装置１１０によって制御される。車載センサ１３２は、１つの撮像システムとして提供されてよい。
光出射部２５０は、発光制御部２２０と、光源２３０と、第１円偏光フィルタ２４０とを有する。光源２３０は、検出光を発する。本実施形態において、検出光は赤外線である。より具体的には、検出光は近赤外光であってよい。検出光が属する波長域は、８００ｎｍ以上１０００ｎｍ以下であってよい。光源２３０は、第１発光素子２３１及び第２発光素子２３２を含む。第１発光素子２３１及び第２発光素子２３２は、ＬＥＤ等であってよい。
第１発光素子２３１は、第１波長域の赤外光を発する。第２発光素子２３２は、第１波長域とは異なる第２波長域の赤外光を発する。水分子による第１波長域の光の吸収係数は、水分子による第２波長域の光の吸収係数とは、互いに異なる。このように、光出射部２５０は、水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、車両１０外の空間に出射することができる。一例として、第１波長域は、８００ｎｍ以上８５０ｎｍ以下であり、第２波長域は、９４０ｎｍ以上９５０ｎｍ以下であってよい。第１波長域は、１４００ｎｍ以上１５００ｎｍ以下であってよい。第２波長域は、１１００ｎｍ以上１２００ｎｍ以下であってよい。第１発光素子２３１が発した光及び第２発光素子２３２が発した光は、それぞれ第１円偏光フィルタ２４０及び透明カバー１３６を通じて、車両１０の外部空間に出射される。
第１円偏光フィルタ２４０は、光源２３０からの赤外光を第１円偏光に変換する。第１円偏光は、例えば左回りに回転する左円偏光である。第１円偏光フィルタ２４０は、偏光子２４１と、λ／４板２４２とを含む。偏光子２４１は、入射した赤外光を直線偏光に変換して、λ／４板２４２に入射する。λ／４板２４２は、入射した赤外光が左円偏光に変換されるよう、λ／４板２４２の光学軸が偏光子２４１の偏光軸に対して４５°の角度をなすように配置される。λ／４板２４２を出射した赤外の波長域に属する左円偏光は、透明カバー１３６を通過して、車両１０の外部空間へ出射する。なお、λ／４板２４２は、第１発光素子２３１が発する第１波長域の赤外光及び第２発光素子２３２が発する第２波長域の赤外光が実質的に左円偏光に変換されるよう、第１波長域の赤外光及び第２波長域の赤外光に対する適切なリタデーションを持つ。λ／４板２４２のリタデーションは、第１波長域の赤外光及び第２波長域の赤外光が実質的に左円偏光に変換されるよう、透明カバー１３６による第１波長域の赤外光及び第２波長域の赤外光のリタデーションを考慮して定められてよい。
このように、光出射部２５０は、第１円偏光フィルタ２４０によって変換された第１円偏光を外部空間へ出射する。これにより、光出射部２５０は、第１円偏光成分を持つ第１波長域の赤外光と、第１円偏光成分を持つ第２波長域の赤外光とを、車両１０の外部空間に出射する。光出射部２５０から出射された赤外光は、車両１０の外部空間の物体に反射して、一部が戻り光となって車両１０へと戻る。検出光カメラ２９０は、車両１０の外部空間からの戻り光を検出する。
検出光カメラ２９０は、撮像制御部２６０と、撮像装置２７０と、第２円偏光フィルタ２８０とを有する。車両１０の外部空間からの戻り光は、透明カバー１３６を通過して、検出光カメラ２９０に入射する。検出光カメラ２９０に入射した光は、第２円偏光フィルタ２８０に入射する。第２円偏光フィルタ２８０は、車両１０の外部空間からの光のうち、第１円偏光の回転方向の逆回りの第２円偏光を透過する。第２円偏光は、例えば右回りに回転する右円偏光である。
具体的には、第２円偏光フィルタ２８０は、偏光子２８１と、λ／４板２８２とを含む。λ／４板２８２は、第１波長域の赤外光及び第２波長域の赤外光に対して、λ／４板２４２と実質的に等しいリタデーションを持つ。λ／４板２８２は、λ／４板２８２の遅相軸が、光出射部２５０のλ／４板２４２の遅相軸と実質的に一致するように配置される。第２円偏光フィルタ２８０に入射した光は、λ／４板２８２を通過して、偏光子２８１に入射する。偏光子２８１は、偏光子２８１の偏光軸が光出射部２５０の偏光子２４１の偏光軸に対して９０°の角度をなすように設けられる。これにより、第２円偏光フィルタ２８０は、車両１０の外部空間からの光のうち、第１波長域または第２波長域に属する第２円偏光を透過する。第２円偏光フィルタ２８０から出射した光は、撮像装置２７０に入射する。
撮像装置２７０は、車両１０の外部空間からの光のうち第２円偏光フィルタを透過した光により撮像する。撮像装置２７０は、レンズ２７１と、撮像素子２７２とを有する。レンズ２７１は、結像レンズであり、入射した光を撮像素子２７２上に結像する。撮像素子２７２は、例えばＣＭＯＳイメージセンサ等である。なお、撮像素子２７２には、カラーフィルタが設けられていない。また、撮像装置２７０は、赤外光をカットする赤外フィルタを有しない。なお、撮像装置２７０は、第１波長域及び第２波長域以外の赤外光をカットする赤外フィルタを有していてもよい。撮像素子２７２は、入射した赤外光の光量に基づく画像信号を生成する。撮像装置２７０は、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を別個に撮像する。なお、検出光として８００ｎｍから１０００ｎｍの波長域の赤外光を用いる場合、可視光用カメラを利用して撮像装置２７０を構築できる場合がある。例えば、モノクロ撮影用の可視光用カメラから赤外フィルタを除くことで、８００ｎｍから１０００ｎｍの波長域の赤外光に対して必要な感度を持つ撮像装置２７０を構築できる場合がある。
なお、本実施形態において、撮像素子２７２には、第１波長域の光と第２波長域の光を分離するフィルタが設けられていない。撮像装置２７０が第１波長域の赤外光画像と第２波長域の赤外光画像とを別個に撮像するべく、光出射部２５０は、第１波長域の赤外光と第２波長域の赤外光とを時分割で出射する。具体的には、発光制御部２２０は、第１発光素子２３１及び第２発光素子２３２を時間的に交互に駆動して、第１発光素子２３１及び第２発光素子２３２を時間的に交互に発光させる。そして、撮像装置２７０は、光出射部２５０からの第１波長域の赤外光の出射タイミング及び第２波長域の赤外光の出射タイミングに同期して時分割で撮像することにより、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を時分割で撮像する。これにより、撮像装置２７０は、第１波長域の赤外光の画像と第２波長域の赤外光の画像とを、別個に撮像することができる。撮像装置２７０の撮像素子２７２が生成した画像信号は、水検出部２００及び画像処理部２１０に出力される。
水検出部２００は、撮像装置２７０により撮像された第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の差異に基づいて、水を検出する。例えば、水検出部２００は、撮像装置２７０により撮像された撮像した第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の差分画像に基づいて、水が存在する領域を検出してよい。例えば、水検出部２００は、差分画像の領域毎の輝度値の大きさに基づいて、水が存在する領域を検出してよい。また、水検出部２００は、差分画像の輝度値の大きさに基づいて、水の量を検出してよい。また、水検出部２００は、差分画像の輝度値の大きさに基づいて、霧が発生しているか否かを検出してよい。また、水検出部２００は、差分画像の輝度値の大きさに基づいて、霧の濃度を検出してよい。霧の濃度は、霧を構成する微細な水滴の量を指標として算出されてよい。水検出部２００は、差分画像の領域毎の輝度値の大きさに基づいて、領域毎の霧の濃度を検出してよい。霧の濃度とは、霧を構成する微細な水滴の量であってよい。このように、水検出部２００は、第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、撮像装置２７０により撮像される車両１０の外部空間内の領域毎の水量を検出してよい。また、水検出部２００は、第１波長域の赤外光の画像と第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、撮像装置２７０により撮像される車両１０外の空間内の領域毎の水滴量を検出してよい。なお、水検出部２００によって検出される水量や霧の濃度等の値は、水量や濃度の絶対的な値でなく、水量や濃度の相対値を示す指標値であってよい。水検出部２００による水の検出結果は、画像処理部２１０に出力される。
可視光カメラ２９２は、可視光により画像を撮像して、可視光画像の画像信号を生成する。可視光カメラ２９２は、可視光カメラ２９２の撮像光軸が検出光カメラ２９０の撮像光軸と実質的に一致するように設けられる。また、可視光カメラ２９２は、可視光カメラ２９２の撮像範囲が検出光カメラ２９０の撮像範囲と実質的に一致するように設けられる。可視光カメラ２９２には、赤外フィルタが設けられていてよい。可視光カメラ２９２は、第１波長域及び第２波長域を含む広範な赤外波長域の光をカットする赤外フィルタが設けられている点を除いて、撮像装置２７０と略同一の構成を有してよい。可視光カメラ２９２が生成した可視光画像の画像信号は、画像処理部２１０に出力される。
画像処理部２１０は、可視光カメラ２９２及び撮像装置２７０からの画像信号に基づいて、画像処理を施す。画像処理部２１０は、水検出部２００による水の検出結果に応じて、画像処理を施してよい。例えば、画像処理部２１０は、可視光画像に対して、水検出部２００によって水が検出された領域に対応する領域を強調する画像処理を施してよい。また、画像処理部２１０は、水検出部２００によって検出された領域毎の水滴量に基づいて、車両外の空間を撮像して得られた画像に対して領域毎にヘイズ除去処理を施す。例えば、画像処理部２１０は、水検出部２００によって検出された領域毎の水滴量に基づいて、可視光カメラ２９２により得られた可視光画像に対して、領域毎にヘイズ除去処理を施してよい。なお、画像処理部２１０は、撮像装置２７０により得られた赤外光画像に対して、領域毎にヘイズ除去処理を施してもよい。
なお、検出光カメラ２９０から出射される検出光の光軸、検出光カメラ２９０の撮像光軸の撮像光軸は、照明光源１３４からの照明光の光軸と概ね一致している。そのため、車両１０の対向車が、車両１０の光出射部２５０と同様に検出光を出射している場合、当該対向車からの検出光が検出光カメラ２９０に直に入射する場合がある。しかし、検出光カメラ２９０に第２円偏光フィルタ２８０が設けられているので、対向車からの検出光が光出射部２５０からの検出光と同様に左回円偏光であれば、対向車からの検出光は第２円偏光フィルタ２８０によって実質的にカットされる。そのため、対向車の検出光による影響を抑制できる。
図３は、水分子による吸収スペクトルを説明するための模式図である。図３の水分子の吸収スペクトルにおいて、λａにおける吸収係数は、λｂにおける吸収係数より大きい。すなわち、水は、λｂの光よりλａの光をより強く吸収する。ここで、λａの光及びλｂの光について水の背後の物体の吸収係数の差異が水の吸収係数の差異より小さいと仮定すれば、λａの赤外光によって得られた赤外光画像は、水が存在する領域に対応する画像領域において、λｂの赤外光により得られた赤外光画像より暗くなる。そこで、水検出部２００は、λｂの赤外光画像からλｂの赤外光画像を差し引いて得られた差分画像において、輝度値を表す画素値が予め定められた値より大きい領域に、水が存在すると判断する。また、水検出部２００は、画素値がより大きい領域に、水がより多く存在すると判断する。このように水の検出に吸収率が異なる複数の波長域を使用することで、より適切に水を検出することができる。
図４は、車載センサ１３２の動作シーケンスを模式的に示す。図４は、車載センサ１３２において水の存在を検出する場合の動作シーケンスの一例である。ここでは、第１発光素子２３１はλａを含む波長域の赤外光を発し、第２発光素子２３２は、λｂを含む波長域の赤外光を発する。発光制御部２２０は、第２発光素子２３２及び第１発光素子２３１を交互に駆動することで、光出射部２５０からは、λｂの赤外光及びλａの赤外光が交互に出射される。
撮像装置２７０は、光出射部２５０からλｂの赤外光が出射されている時間内で撮像動作をすることで、λｂの赤外光による画像を撮像する。図４において、赤外光画像４０１は、λｂの赤外光により撮像された画像を示す。また、撮像装置２７０は、光出射部２５０からλａの赤外光が出射されている時間内で撮像動作をすることで、λａの赤外光による画像を撮像する。図４において、赤外光画像４０２は、λａの赤外光により撮像された画像を示す。この動作を繰り返すことで、検出光カメラ２９０は、λｂの赤外光画像及びλａの赤外光画像を時分割で撮像することができる。なお、発光制御部２２０は、撮像制御部２６０が撮像素子２７２を駆動する駆動信号を撮像制御部２６０から取得して、駆動信号に同期したタイミングで、第１発光素子２３１及び第２発光素子２３２の駆動を切り換えることで、λｂの赤外光画像及びλａの赤外光画像を時分割で別個に撮像することができる。
赤外光画像４０１内の領域４１１及び赤外光画像４０２内の領域４１２は、路面上に存在する水たまりの領域に対応する。赤外光画像４０２は、波長λａの赤外光による画像であるので、水たまりの領域における輝度値は、赤外光画像４０１の輝度値より小さい。
水検出部２００は、赤外光画像４０１から、赤外光画像４０１の次の撮像動作で得られた赤外光画像４０２を差し引くことで、差分画像４３１を生成する。また、水検出部２００は、赤外光画像４０２の次の撮像動作で得られた赤外光画像４０３から赤外光画像４０２を差し引くことで、差分画像４３２を生成する。水検出部２００は、時間的に連続して撮像された赤外光画像について同様の処理を繰り返し適用することで、差分画像を順次に生成する。
水検出部２００は、差分画像４３１において、水の存在を検出するための予め定められた基準値より画素値が大きい領域を、水が存在する領域であると判断する。画像処理部２１０は、可視光カメラ２９２の撮像動作により得られた画像４８１に、水の存在を示すマーク４９１を重畳した表示用画像を生成する。同様に、次の時間ステップにおいて、水検出部２００は、差分画像４３２において画素値が予め定められた値より大きい領域を判断し、画像処理部２１０は、可視光カメラ２９２の撮像動作により得られた画像４８２に、水の存在を示すマーク４９２を重畳した表示用画像を生成する。これらの表示用画像は制御装置１１０に出力され、ユーザＩＦ部１８０を通じてユーザ１９０に提示される。これにより、水が存在する領域をユーザ１９０に通知することができる。
図５は、車載センサ１３２において霧の存在を検出する場合の動作シーケンスを模式的に示す。ここでは、検出光カメラ２９０の撮像範囲全体において霧が存在しているとする。なお、第１発光素子２３１、第２発光素子２３２及び撮像装置２７０の動作シーケンスは、図４で説明した動作シーケンスと同様であるので、説明を省略する。
赤外光画像５０１は、λｂの赤外光により撮像された画像を示す。また、赤外光画像５０２は、λａの赤外光により撮像された画像である。赤外光画像５０２は、赤外光画像５０１の次の撮像動作で得られた画像である。検出光カメラ２９０の撮像範囲全体に霧が発生しているため、赤外光画像５０２は、全体的に赤外光画像５０１より輝度値が小さい画像となる。赤外光画像５０１内の領域５１１及び赤外光画像５０２内の領域５１２は、濃い霧が発生している領域に対応する。そのため、領域５１１の輝度値と領域５１２の輝度値との差は、他の領域における輝度値の差より大きくなる。
水検出部２００は、赤外光画像５０１から、赤外光画像５０２を差し引くことで、差分画像５３１を生成する。また、水検出部２００は、赤外光画像４０２の次の撮像動作で得られた赤外光画像５０３から赤外光画像５０２を差し引くことで、差分画像５３２を生成する。水検出部２００は、時間的に連続して撮像された赤外光画像について同様の処理を繰り返し適用することで、差分画像を順次に生成する。
水検出部２００は、差分画像５３１において、霧の存在を検出するための予め定められた基準値より画素値が大きい領域を抽出して、抽出した領域を霧が存在する領域と判断する。なお、水検出部２００は、差分画像５３１における画素値が基準値より大きい領域の面積が予め定められた大きさより大きい場合に、霧が発生していると判断してよい。例えば、差分画像５３１において、水検出部２００は、差分画像５３１の全体面積に対する、基準値より大きい画素値を持つ領域の面積の比が予め定められた値より大きい場合に、霧が発生していると判断してよい。また、水検出部２００は、赤外光画像５０１及び赤外光画像５０２の少なくとも一方から抽出したぼけ量が予め定められた値より大きい場合に、霧が発生していると判断してもよい。
画像処理部２１０は、水検出部２００において霧が発生していると判断された場合に、差分画像５３１の画素値の大きさに応じた強度のヘイズ除去フィルタ５５１を生成する。図５のヘイズ除去フィルタ５５１において、ヘイズ除去処理の強度が、斜線の密度で模式的に表現されている。画像処理部２１０は、可視光カメラ２９２の撮像動作により得られた画像５７１に、ヘイズ除去フィルタ５５１を適用して、表示用画像５９１を生成する。これにより、霧の濃さに応じてヘイズが抑制された表示用画像５９１を得ることができる。同様に、次の時間ステップにおいて、画像処理部２１０は、差分画像５３２からヘイズ除去フィルタ５５２を生成し、可視光画像５７２にヘイズ除去フィルタ５５２を適用して、表示用画像５９２を生成する。これらの表示用画像は制御装置１１０に出力され、ユーザＩＦ部１８０を通じてユーザ１９０に提示される。車載センサ１３２によれば、霧の濃さを適切に検出して、濃い霧が発生した領域に対応する領域に、他の領域より強いヘイズ除去処理を適用することができる。そのため、一様にクリアな表示用画像をユーザ１９０に提供することができる。
図６は、凍結した水の吸収スペクトルと液体の水の吸収スペクトルとの差異を説明するための模式図である。吸収スペクトル６００は、液体の水の吸収スペクトルを示し、吸収スペクトル６１０は、凍結した水の吸収スペクトルを示す。一般的に、水が凍結することで、吸収スペクトルは、液体の水の吸収スペクトル６００より長波長側にシフトしたものとなる。
吸収スペクトル６００に示されるように、液体の水については、λａにおける吸収係数がλｂにおける吸収係数より大きい。一方、吸収スペクトル６１０に示されるように、凍結した水については、λａにおける吸収係数がλｂにおける吸収係数より小さい。従って、λａの光及びλｂの光について凍結した水の背後の物体の吸収係数の差異が、凍結した水による吸収係数の差異より小さいと仮定すれば、λａの赤外光によって得られた赤外光画像は、凍結した水が存在する領域に対応する画像領域において、λｂの赤外光により得られた赤外光画像より明るくなる。したがって、水検出部２００は、λｂの赤外光画像からλｂの赤外光画像を差し引いて得られた差分画像において、画素値が負であり、かつ、画素値が予め定められた値より小さい領域に、凍結した水、すなわち氷が存在すると判断する。また、水検出部２００は、氷が存在すると判断した領域のうち、画素値がより小さい領域に、氷がより多く存在すると判断する。
図７は、車載センサ１３２において路面の凍結を検出する場合の動作シーケンスを模式的に示す。なお、第１発光素子２３１、第２発光素子２３２及び撮像装置２７０の動作シーケンスは、図４で説明した動作シーケンスと同様であるので、説明を省略する。
赤外光画像７０１は、λｂの赤外光により撮像された画像を示す。また、赤外光画像７０２は、λａの赤外光により撮像された画像である。赤外光画像７０２は、赤外光画像７０１の次の撮像動作で得られた画像である。ここでは、路面の一部の領域が凍結しており、それ以外の領域は湿潤した状態にあるとする。赤外光画像７０１内の領域７１１及び赤外光画像７０２内の領域７１２は、湿潤状態の路面部分に対応する。赤外光画像７０１内の領域７２１及び赤外光画像７０２内の領域７２２は、凍結状態の路面部分に対応する。上述したように、水が液体である場合は、λａにおける吸収係数はλｂにおける吸収係数より大きいので、湿潤状態に対応する領域７１２の輝度値は、対応する領域７１１の輝度値より小さくなる。一方、水が凍結している場合、λａにおける吸収係数はλｂにおける吸収係数より小さくなるので、凍結状態に対応する領域７２２の輝度値は、対応する領域７２１の輝度値より大きくなる。
水検出部２００は、赤外光画像７０１から、赤外光画像７０２を差し引くことで、差分画像７３１を生成する。また、水検出部２００は、赤外光画像７０２の次の撮像動作で得られた赤外光画像７０３から赤外光画像７０２を差し引くことで、差分画像７３２を生成する。水検出部２００は、連続して撮像された赤外光画像について同様の処理を繰り返し適用することで、差分画像を順次に生成する。
水検出部２００は、差分画像７３１において、水の存在を検出するための予め定められた基準値より画素値が大きい領域を、水が存在する領域と判断する。また、差分画像７３１において、画素値が負であり、氷の存在を検出するための予め定められた基準値より画素値が小さい領域を、氷が存在する領域と判断する。例えば、水検出部２００は、差分画像７３１における領域７４１を、氷が存在する領域と判断する。このように、水検出部２００は、光量の差異と、液相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異と、固相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異とに基づいて、水の状態が液相及び固相のいずれであるかを検出することができる。例えば、水検出部２００は、路面に対応する領域において検出された第１波長域の赤外光の光量と第２波長域の赤外光の光量との差異と、液相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異と、固相の水による第１波長域の赤外光の吸収率と第２波長域の赤外光の吸収率との差異とに基づいて、路面上の水の状態が液相及び固相のいずれであるかを検出することができる。
画像処理部２１０は、可視光カメラ２９２の撮像動作により得られた画像７８１に、氷の存在を示すマーク７９１を重畳した表示用画像を生成する。同様に、次の時間ステップにおいて、水検出部２００は、差分画像７３２において氷が存在する領域７４２を検出して、画像処理部２１０は、可視光カメラ２９２の撮像動作により得られた画像７８２に、水の存在を示すマーク７９２を重畳した表示用画像を生成する。これらの表示用画像は制御装置１１０に出力され、ユーザＩＦ部１８０を通じてユーザ１９０に提示される。これにより、凍結した領域をユーザ１９０に通知することができる。
なお、以上に説明した車載システム１００において、車載センサ１３２が可視光カメラ２９２を有しない構成を採用してよい。この構成においては、撮像装置２７０によって可視光画像を撮像してよい。例えば、図４の動作シーケンスにおいて、赤外光画像４０２の撮像タイミングと赤外光画像４０３の撮像タイミングの間に、光出射部２５０から赤外光を出射しない期間を設けて、当該期間内に撮像装置２７０を駆動して撮像することによって、可視光画像を撮像してもよい。
以上に説明したように、車載システム１００によれば、車両１０に搭載された車載センサ１３２が、水による吸収係数が異なる２つの波長域の検出光を用いることで、車両１０の外部空間の水に関する情報を適切に検出することができる。そして、検出された水の情報に基づいて、車両１０の乗員であるユーザ１９０に適切な情報を提供することができる。例えば、水たまりの存在をユーザ１９０に通知することができる。また、霧の影響を低減した画像をユーザ１９０に提供することができる。また、凍結した水の存在をユーザ１９０に通知することができる。
図８は、撮像装置２７０の変形例としての撮像装置８７０のブロック構成を模式的に示す。撮像装置８７０は、レンズ８７１と、光分離部８７３と、撮像素子８７２ａと、撮像素子８７２ｂとを有する。
レンズ８７１は、結像レンズである。レンズ８７１を通過した光は、光分離部８７３に入射する。光分離部８７３は、撮像装置２７０に入射した光を、第１波長域の赤外光と第２波長域の赤外光とに分離する。光分離部８７３は、例えばダイクロイックミラーである。具体的には、光分離部８７３は、第１波長域の赤外光を透過して、第２波長域の赤外光を反射する。
撮像素子８７２ａは、光分離部８７３が透過した第１波長域の赤外光の光路上に設けられる。撮像素子８７２ａは、光分離部８７３によって分離された第１波長域の赤外光により撮像する。撮像素子８７２ｂは、光分離部８７３が反射した第２波長域の赤外光の光路上に設けられる。撮像素子８７２ｂは、光分離部８７３によって分離された第２波長域の赤外光により撮像する。なお、撮像素子８７２ａには、第１波長域の赤外光を選択的に透過する赤外フィルタを設けてもよい。また、撮像素子８７２ｂには、第２波長域の赤外光を選択的に透過する赤外フィルタを設けてもよい。撮像装置８７０によれば、入射光から第１波長域の赤外光と第２波長域の赤外光とを分離して、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を同じタイミングで別個に撮像することができる。
図９は、撮像装置８７０を用いる場合の車載センサ１３２の動作シーケンスを模式的に示す。図９は、図４に対応する動作シーケンスである。発光制御部２２０は、第１発光素子２３１及び第２発光素子２３２を共に駆動して、第１波長域の赤外光及び第２波長域の赤外光を光出射部２５０から継続的に出射させる。撮像装置８７０は、各撮像タイミングにおいて、λａの赤外光による赤外光画像及びλｂの赤外光による赤外光画像を撮像する。例えば、赤外光画像９０１を撮像する撮像素子８７２の露光期間は、赤外光画像９１１を撮像する撮像素子８７２の露光期間と同じである。また、赤外光画像９０２及び赤外光画像９１２は、赤外光画像９０１及び赤外光画像９１１の次の撮像タイミングの画像であり、赤外光画像９０２を撮像する撮像素子８７２の露光期間が、赤外光画像９１２を撮像する撮像素子８７２の露光期間と同じである。
水検出部２００は、赤外光画像９０１から赤外光画像９０２を差し引くことによって、図４の差分画像４３１に対応する差分画像を生成する。画像処理部２１０における差分画像に基づく処理については、図４等に関連して説明した処理と同様の処理を適用できるので、ここでは説明を省略する。撮像装置８７０によれば、波長域が異なる赤外光の画像を同じタイミングで撮像できるので、水を検出するのに必要な赤外光画像を取得するための時間を短くすることができる。
なお、撮像装置８７０の光分離部８７３として、ダイクロイックミラーではなく、ビームスプリッタと赤外フィルタとの組み合わせを適用してもよい。例えば、光分離部８７３の一部としてハーフミラーを用い、ハーフミラーの透過光の出射面と撮像素子８７２ａとの間に、第１波長域の赤外光を選択的に透過する赤外フィルタを設け、ハーフミラーの反射光の出射面と撮像素子８７２ｂとの間に、第２波長域の赤外光を選択的に透過する赤外フィルタを設けてもよい。
他にも、波長分離方式の他の例として、透過波長域が互いに異なる複数種類の赤外フィルタ部が２次元的に配置された赤外光フィルタを用いてもよい。例えば、第１波長域の赤外光を選択的に透過する赤外フィルタ素子と、第２波長域の赤外光を選択的に透過する赤外フィルタ素子とが２次元にマトリクス状に並べて形成された赤外フィルタを、各赤外フィルタ素子にそれぞれ対応する光電変換素子を持つ撮像素子の前面に設けた構成を適用してよい。この場合、第１波長域の赤外光を選択的に透過する赤外フィルタ素子と、当該赤外フィルタ素子に対応する光電変換素子との複数の対によって、第１波長域の赤外光により撮像する撮像部が形成される。同様に、第２波長域の赤外光を選択的に透過する赤外フィルタ素子と、当該赤外フィルタ素子を透過した赤外光を受光する光電変換素子の複数の対によって、第２波長域の赤外光により撮像する撮像部が形成される。これにより、単一の撮像素子を用いて、第１波長域の赤外光の画像及び第２波長域の赤外光の画像を別個に撮像することができる。
以上に説明した撮像装置２７０又は撮像装置８７０及び変形例によれば、赤外光画像を同一の撮像光軸で撮像することができる。赤外光画像を撮像する撮像装置の他の例として、第１波長域の赤外光により撮像する撮像装置と、第２波長域の赤外光により撮像する撮像装置とを別個に設けてもよい。
また、上述の実施形態では、車載センサ１３２として、撮像装置を有する構成を例示した。しかし、撮像装置は光を検出する光検出部の一例であり、画像を撮像しない構成の車載センサを採用できる。例えば、水を検出するための光検出部として１つの受光素子を適用して、当該受光素子によって、第１波長域の赤外光及び第２波長域の赤外光を時分割で検出し、検出された第１波長域の赤外光の光量と第２波長域の赤外光の光量との差異に基づいて、水を検出する構成を採用できる。更なる他の形態として、検出光の波長域毎に受光素子を設けた構成を採用できる。例えば、第１波長域の赤外光を受光する受光素子と、第２波長域の赤外光を受光する受光素子とを設けた形態を採用できる。これらの形態においても、検出光として円偏光を用いた構成を採用できる。
上述の実施形態では、水を検出することを目的として、検出光として赤外光を用いる形態を例示した。しかし、検出対象は水に限られず、本実施形態で説明した構成と同様の構成を、水以外の様々な検出対象に適用できる。また、検出光の波長域は、検出対象に応じて適宜に選択できる。検出光の波長域として、赤外波長域以外に、可視波長域や紫外波長域等の様々な波長域を選択できる。すなわち、検出対象の物質による光吸収率が互いに異なる少なくとも２種類の波長域の光を、検出光として用いてよい。この場合にも、上述の実施形態と同様に、照射する検出光として第１円偏光を適用できる。この場合、検出光カメラ２９０において、第２円偏光フィルタ２８０を透過した光の画像を波長域毎に撮像し、撮像された波長域毎の画像の差異に基づいて、検出対象の物質を検出してよい。
また、上述の実施形態では、外来光による外乱を抑制することを目的として、特定方向に回転する赤外波長域の円偏光を用いる構成を例示した。しかし、検出光として円偏光を用いなくてよい。例えば、検出光として実質的に非偏光の光を採用してよい。なお、検出光として円偏光を用いる構成は、特定の検出対象を検出する車載センサ１３２に適用できるだけでなく、車両１０の外部空間の画像を撮像するカラーカメラ又はモノクロカメラにも適用できる。
なお、上述した車載システム１００の少なくとも一部の機能は、ＭＰＵ等のプロセッサによって実現されてよい。例えば、車載センサ１３２は、ＣＰＵ、メモリ及び記憶装置を備え、車載センサ１３２の各機能は、記憶装置に格納されたプログラムをメモリにロードしてＣＰＵが実行することにより、発光制御部２２０、撮像制御部２６０、水検出部２００及び画像処理部２１０の機能が実現されてよい。当該プログラムは、ＣＤ−ＲＯＭ等の機械読出可能媒体を通じて車載システム１００に提供されてよいし、ネットワークを通じて車載システム１００に提供されてよい。また、水検出部２００及び画像処理部２１０の機能は、車載センサ１３２内ではなく、車載センサ１３２の外部装置に実装されてよい。例えば、水検出部２００及び画像処理部２１０は、制御装置１１０に実装されてよい。
また、上述の実施形態では、車両１０の一例として自動車を例示した。しかし、車両とは、自動車に限られず、列車等、様々な乗物を含む概念である。また、車載システム１００に関連して説明した構成の少なくとも一部を、車両以外の様々な物体、例えば街灯、電柱、信号機等や、建物、橋梁等の構造物にも適用できる。例えば、上述した車載システム１００に係る車載センサ１３２の各形態と同様の構成を、道路や線路等の路面に出射した検出光の戻り光を検出することにより路面上の水の状態を検出する路面状態センサとして適用して、例えば道路や線路等の通路の近傍又は通路上に存在する街灯や信号機等の物体に設けてよい。なお、道路とは、街路を含む概念である。例えば、路面とは、車両が通行する路面に限られず、車両が通行しない道路又は街路や歩道等の路面を含む概念である。つまり、車載センサ１３２の各形態と同様の構成のセンサを、車両用センサとして適用できるだけでなく、非車両用の路面状態センサとして適用できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０ 車両、１００ 車載システム、１１０ 制御装置、１３０ 第１前照灯ユニット、１３２ 車載センサ、１３４ 照明光源、１３６ 透明カバー、１４０ 第２前照灯ユニット、１４４ 照明光源、１４６ 透明カバー、１８０ ユーザＩＦ部、１９０ ユーザ
２００ 水検出部、２１０ 画像処理部、２２０ 発光制御部、２３０ 光源、２３１ 第１発光素子、２３２ 第２発光素子、２４０ 第１円偏光フィルタ、２４１ 偏光子、２４２ λ／４板、２５０ 光出射部、２６０ 撮像制御部、２７０ 撮像装置、２７１ レンズ、２７２ 撮像素子、２８０ 第２円偏光フィルタ、２８１ 偏光子、２８２ λ／４板、２９０ 検出光カメラ、２９２ 可視光カメラ
４０１、４０２、４０３ 赤外光画像、４１１、４１２ 領域、４３１、４３２ 差分画像、４８１、４８２ 画像、４９１、４９２ マーク
５０１、５０２、５０３ 赤外光画像、５１１、５１２ 領域、５３１、５３２ 差分画像、５５１、５５２ ヘイズ除去フィルタ、５７１ 画像、５７２ 可視光画像、５９１、５９２ 表示用画像
６００、６１０ 吸収スペクトル
７０１、７０２、７０３ 赤外光画像、７１１、７１２、７２１、７２２ 領域、７３１、７３２ 差分画像、７４１、７４２ 領域、７８１、７８２ 画像、７９１、７９２ マーク
８７０ 撮像装置、８７１ レンズ、８７２ 撮像素子、８７３ 光分離部
９０１、９０２、９１１、９１２ 赤外光画像

Claims (11)

  1. 車両に搭載される車載センサであって、
    水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、前記車両外の空間に出射する光出射部と、
    前記第１波長域の赤外光と前記第２波長域の赤外光とを、別個に検出する光検出部と、
    前記光検出部によって検出された前記第１波長域の赤外光の光量と前記第２波長域の赤外光の光量との差異に基づいて、前記車両外の空間内の水を検出する水検出部と
    を備える車載センサ。
  2. 前記光検出部は、前記第１波長域の赤外光の画像及び前記第２波長域の赤外光の画像を撮像する撮像装置であり、
    前記水検出部は、前記第１波長域の赤外光の画像と前記第２波長域の赤外光の画像との間の差異に基づいて、水を検出する
    請求項１に記載の車載センサ。
  3. 前記水検出部は、前記第１波長域の赤外光の画像と前記第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、前記撮像装置により撮像される前記車両外の空間内の領域毎の水量を検出する
    請求項２に記載の車載センサ。
  4. 前記水検出部は、前記第１波長域の赤外光の画像と前記第２波長域の赤外光の画像との間の領域毎の輝度値の差に基づいて、前記撮像装置により撮像される前記車両外の空間内の領域毎の水滴量を検出し、
    前記車載センサは、
    前記水検出部によって検出された前記領域毎の水滴量に基づいて、前記車両外の空間を撮像して得られた画像に対して領域毎にヘイズ除去処理を施す画像処理部
    をさらに備える請求項２または３に記載の車載センサ。
  5. 前記光出射部は、前記第１波長域の赤外光と前記第２波長域の赤外光とを時分割で出射し、
    前記撮像装置は、前記光出射部からの前記第１波長域の赤外光の出射及び前記第２波長域の赤外光の出射に同期して時分割で撮像することにより、前記第１波長域の赤外光の画像及び前記第２波長域の赤外光の画像を時分割で撮像する
    請求項２から４のいずれか一項に記載の車載センサ。
  6. 前記撮像装置は、
    前記撮像装置に入射した光を前記第１波長域の赤外光と前記第２波長域の赤外光とに分離する光分離部と、
    前記光分離部によって分離された前記第１波長域の赤外光により撮像する第１撮像部と、
    前記光分離部によって分離された前記第２波長域の赤外光により撮像する第２撮像部と
    を有する請求項２から４のいずれか一項に記載の車載センサ。
  7. 前記水検出部は、前記光量の差異と、液相の水による前記第１波長域の赤外光の吸収率と前記第２波長域の赤外光の吸収率との差異と、固相の水による前記第１波長域の赤外光の吸収率と前記第２波長域の赤外光の吸収率との差異とに基づいて、車両外の空間の水の状態が液相及び固相のいずれであるかを検出する
    請求項１から６のいずれか一項に記載の車載センサ。
  8. 前記光出射部は、第１円偏光成分を持つ前記第１波長域の赤外光と、前記第１円偏光成分を持つ前記第２波長域の赤外光とを、前記車両外に出射し、
    前記車載センサは、
    前記車両外の空間からの光のうち、前記第１円偏光成分の回転方向の逆回りの第２円偏光成分を透過する円偏光フィルタ
    をさらに備え、
    前記光検出部は、前記円偏光フィルタを透過した前記第１波長域の赤外光及び前記第２波長域の赤外光を検出する
    請求項１から７のいずれか一項に記載の車載センサ。
  9. 請求項１から８のいずれか一項に記載の車載センサと、
    前記車両外を照明する可視光の照明光を出射する照明光源と
    を備える車両用灯具。
  10. 請求項１から８のいずれか一項に記載の車載センサを備える車両。
  11. 路面上の水の状態を検出する路面状態センサであって、
    水分子による光吸収率が互いに異なる第１波長域の赤外光及び第２波長域の赤外光を、前記路面に出射する光出射部と、
    前記第１波長域の赤外光と前記第２波長域の赤外光とを、別個に検出する光検出部と、
    前記光検出部によって検出された前記第１波長域の赤外光の光量と前記第２波長域の赤外光の光量との差異と、液相の水による前記第１波長域の赤外光の吸収率と前記第２波長域の赤外光の吸収率との差異と、固相の水による前記第１波長域の赤外光の吸収率と前記第２波長域の赤外光の吸収率との差異とに基づいて、前記路面上の水の状態が液相及び固相のいずれであるかを検出する水検出部と
    を備える路面状態センサ。
JP2015213232A 2015-10-29 2015-10-29 車載センサ、車両用灯具及び車両 Expired - Fee Related JP6361631B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015213232A JP6361631B2 (ja) 2015-10-29 2015-10-29 車載センサ、車両用灯具及び車両
US15/187,796 US10121081B2 (en) 2015-10-29 2016-06-21 Vehicle-mounted sensor, vehicle lamp, vehicle, and road surface state sensor
CN201610957884.9A CN106627586B (zh) 2015-10-29 2016-10-27 车载传感器、车辆用灯具、车辆以及路面状态传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015213232A JP6361631B2 (ja) 2015-10-29 2015-10-29 車載センサ、車両用灯具及び車両

Publications (2)

Publication Number Publication Date
JP2017083352A true JP2017083352A (ja) 2017-05-18
JP6361631B2 JP6361631B2 (ja) 2018-07-25

Family

ID=58635721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015213232A Expired - Fee Related JP6361631B2 (ja) 2015-10-29 2015-10-29 車載センサ、車両用灯具及び車両

Country Status (3)

Country Link
US (1) US10121081B2 (ja)
JP (1) JP6361631B2 (ja)
CN (1) CN106627586B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058682A1 (ja) * 2017-09-20 2019-03-28 ヤマハ発動機株式会社 路面検出装置及び車両
JP2019078720A (ja) * 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP2019078755A (ja) * 2017-10-24 2019-05-23 アクシス アーベー 一場面における霧検出のための方法及び撮像装置
JP2020094896A (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 路面状態判定装置、および、路面状態判定システム
JP2022529829A (ja) * 2019-04-25 2022-06-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 道路表面の水の固体状態を確定するための方法および装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10669035B2 (en) * 2018-03-02 2020-06-02 The Boeing Company Detecting the presence of ice on a surface using ultraviolet light
US20200189463A1 (en) * 2018-12-13 2020-06-18 Waymo Llc Detecting puddles and standing water
WO2020205536A1 (en) * 2019-03-29 2020-10-08 Electronic Theatre Controls, Inc. Systems devices, and methods for displaying operational parameters of a light fixture including narrow band emitters
DE102019111512B4 (de) * 2019-05-03 2022-09-01 Mekra Lang Gmbh & Co. Kg Sichtsystem und Spiegelersatzsystem für ein Fahrzeug
DE102019208881A1 (de) * 2019-06-19 2020-12-24 Robert Bosch Gmbh Vorrichtung und Verfahren zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
DE102020203293B4 (de) * 2020-03-13 2022-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
US20230314567A1 (en) * 2020-04-15 2023-10-05 Trieye Ltd. System for identifying black ice and water on roads
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
EP4148683A1 (de) * 2021-09-10 2023-03-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine vorrichtung und ein verfahren zum erkennen eines zustands einer fahrbahnoberfläche
CN114202573B (zh) * 2022-02-18 2022-04-29 南京路健通工程技术有限公司 一种旅游区道路用提示方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247940A (ja) * 1995-03-14 1996-09-27 Honda Motor Co Ltd 路面状態検知装置
JPH1095245A (ja) * 1996-09-25 1998-04-14 Nagoya Denki Kogyo Kk 自動車の安全装置
JP2000221451A (ja) * 1999-01-29 2000-08-11 Seiko Epson Corp 防眩装置
JP2009248665A (ja) * 2008-04-03 2009-10-29 Alps Electric Co Ltd 路面凍結警報装置
US20110149076A1 (en) * 2009-12-21 2011-06-23 Davide Capello Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
JP2011175529A (ja) * 2010-02-25 2011-09-08 Nikon Corp 画像処理装置、撮像装置、及びプログラム
US20130141594A1 (en) * 2009-04-09 2013-06-06 Richard Hartley Enhancing image data
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
US20140314332A1 (en) * 2012-07-23 2014-10-23 Lockheed Martin Corporation Realtime long range imaging scatter reduction
JP2014232938A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2015008435A1 (ja) * 2013-07-17 2015-01-22 パナソニックＩｐマネジメント株式会社 分光装置
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002227162A (ja) * 2001-01-31 2002-08-14 Niigata Eng Co Ltd 凍結防止剤の湿式散布装置
EP2273449A3 (en) 2004-06-11 2012-07-25 Lyyn Ab Method and Apparatus for Image Processing using Histogram Equalization
DE102011015509A1 (de) * 2010-06-30 2012-01-05 Wabco Gmbh Verfahren und Vorrichtung zur Steuerung zumindest eines Fahrerassistenzsystems eines Fahrzeuges und damit ausgestattetes Fahrzeug
US20130258108A1 (en) 2010-12-24 2013-10-03 Hitachi, Ltd. Road Surface Shape Recognition System and Autonomous Mobile Apparatus Using Same
CN102901489B (zh) * 2011-07-25 2016-09-07 烟台惠通网络技术有限公司 路面积水积冰检测方法及装置
JP5633503B2 (ja) * 2011-11-29 2014-12-03 株式会社リコー 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
JP5896027B2 (ja) * 2012-07-27 2016-03-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9304081B2 (en) * 2013-10-24 2016-04-05 The Regents Of The University Of Michigan Ice and water detection system
US9297755B2 (en) * 2013-10-24 2016-03-29 The Regents Of The University Of Michigan Ice and supercooled water detection system
US9870511B2 (en) * 2015-10-14 2018-01-16 Here Global B.V. Method and apparatus for providing image classification based on opacity

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247940A (ja) * 1995-03-14 1996-09-27 Honda Motor Co Ltd 路面状態検知装置
JPH1095245A (ja) * 1996-09-25 1998-04-14 Nagoya Denki Kogyo Kk 自動車の安全装置
JP2000221451A (ja) * 1999-01-29 2000-08-11 Seiko Epson Corp 防眩装置
JP2009248665A (ja) * 2008-04-03 2009-10-29 Alps Electric Co Ltd 路面凍結警報装置
US20130141594A1 (en) * 2009-04-09 2013-06-06 Richard Hartley Enhancing image data
US20110149076A1 (en) * 2009-12-21 2011-06-23 Davide Capello Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
JP2011175529A (ja) * 2010-02-25 2011-09-08 Nikon Corp 画像処理装置、撮像装置、及びプログラム
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
US20140314332A1 (en) * 2012-07-23 2014-10-23 Lockheed Martin Corporation Realtime long range imaging scatter reduction
JP2014232938A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2015008435A1 (ja) * 2013-07-17 2015-01-22 パナソニックＩｐマネジメント株式会社 分光装置
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058682A1 (ja) * 2017-09-20 2019-03-28 ヤマハ発動機株式会社 路面検出装置及び車両
JP2019078755A (ja) * 2017-10-24 2019-05-23 アクシス アーベー 一場面における霧検出のための方法及び撮像装置
JP2019078720A (ja) * 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP7056905B2 (ja) 2017-10-27 2022-04-19 国立研究開発法人宇宙航空研究開発機構 モニタリングシステム、情報処理方法、及びプログラム
US11635373B2 (en) 2017-10-27 2023-04-25 Japan Aerospace Exploration Agency Information processing apparatus, information processing method, program, and monitoring system
JP2020094896A (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 路面状態判定装置、および、路面状態判定システム
JP7134855B2 (ja) 2018-12-12 2022-09-12 日立Astemo株式会社 路面状態判定装置、および、路面状態判定システム
JP2022529829A (ja) * 2019-04-25 2022-06-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 道路表面の水の固体状態を確定するための方法および装置
JP7301159B2 (ja) 2019-04-25 2023-06-30 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 道路表面の水の固体状態を確定するための方法および装置

Also Published As

Publication number Publication date
CN106627586B (zh) 2020-11-10
CN106627586A (zh) 2017-05-10
JP6361631B2 (ja) 2018-07-25
US20170124402A1 (en) 2017-05-04
US10121081B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6361631B2 (ja) 車載センサ、車両用灯具及び車両
JP6399496B2 (ja) 偏光画像処理装置
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP5846872B2 (ja) 画像処理装置
US20120062746A1 (en) Image Processing Apparatus
WO2012140752A1 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP5899957B2 (ja) 画像処理システム及びそれを備えた車両
US9426377B2 (en) Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
JP2017085414A (ja) 撮像システム、車両用灯具及び車両
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5179428B2 (ja) 車両の周辺監視装置
JP5839253B2 (ja) 物体検出装置及びこれを備えた車載機器制御装置
US11002419B2 (en) Linearly polarized light emission by a vehicle headlight for use in a camera-based driver assistance system
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
US11167687B2 (en) Object detection system
RU2746614C1 (ru) Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム
JP2023083837A (ja) 乗員モニタリングシステム用撮影装置及び乗員モニタリングシステム
JP2014235079A (ja) 付着物検出装置、移動体機器制御システム及び移動体
JP2016076916A (ja) 撮像装置、撮像方法、プログラムおよび移動体機器制御システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6361631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees