JP2004301708A - Apparatus and method for detecting road surface state for vehicle, and control program for the apparatus for detecting road surface state for vehicle - Google Patents

Apparatus and method for detecting road surface state for vehicle, and control program for the apparatus for detecting road surface state for vehicle Download PDF

Info

Publication number
JP2004301708A
JP2004301708A JP2003095729A JP2003095729A JP2004301708A JP 2004301708 A JP2004301708 A JP 2004301708A JP 2003095729 A JP2003095729 A JP 2003095729A JP 2003095729 A JP2003095729 A JP 2003095729A JP 2004301708 A JP2004301708 A JP 2004301708A
Authority
JP
Japan
Prior art keywords
road surface
image
intensity
state
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003095729A
Other languages
Japanese (ja)
Other versions
JP4157790B2 (en
Inventor
Muneo Yamada
宗男 山田
Ritsuo Asai
律雄 浅井
Yasushi Aihara
靖師 相原
Koji Ueda
浩次 上田
Isao Horiba
勇夫 堀場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Electric Works Co Ltd
Original Assignee
Nagoya Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Electric Works Co Ltd filed Critical Nagoya Electric Works Co Ltd
Priority to JP2003095729A priority Critical patent/JP4157790B2/en
Publication of JP2004301708A publication Critical patent/JP2004301708A/en
Application granted granted Critical
Publication of JP4157790B2 publication Critical patent/JP4157790B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem wherein a road surface state cannot be accurately detected for a road surface in front of a vehicle, with the surface state of a road surface changing successively after mounting on the vehicle. <P>SOLUTION: The apparatus performs detection, based on image brightness in a horizontally polarized image (or a vertically polarized image) imaged by an imaging section 20, when detecting the state (dry state or wet state) of a road surface R in front of the vehicle 100, at nighttime, where a headlight 30 is on, and performs discrimination by polarization light intensity, based on the polarization characteristics that the vertical and horizontal polarization images have, when the image brightness is discriminated as being equal or higher than the threshold for the brightness (when the image brightness is smaller than the threshold for the brightness, it is discriminated as being in wet state). Additionally, when the polarization specific intensity is discriminated as being equal to or higher than the intensity, the road surface state can be precisely detected by discriminating the road surface state to be in a wet state (when the polarization specific intensity is smaller than a threshold to the intensity, it is discriminated as being in a dry state). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関し、特に、夜間における車両の前方路面の路面状態を検出する車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、カメラにて路面画像を撮像し、同路面画像に基づいてこのカメラのレンズに入る路面の反射光の強さを計測し、同路面の光沢を測る。このとき、乾燥状態の路面は、表面が拡散面となり光沢が弱くなり、また、路面画像の領域内で光沢の強さはほぼ同一になる。一方、湿潤状態の路面は、表面が半鏡面状態となり光沢が強くなり、路面画像の領域内で光沢にムラが発生する。この特性の相異を判別するために、路面画像の映像信号をＲＧＢ値に変換し、このＲＧＢ値のＲＧＢ空間における広がりに基づいて路面状態を検出する。すなわち、ＲＧＢ空間におけるＲＧＢ値の分布の広がりが小さい場合は、路面画像の領域内における光沢の強さがほぼ同一であると判別し、路面が乾燥状態であると検出する。一方、ＲＧＢ空間におけるＲＧＢ値の分布の広がりが大きい場合は、路面画像の領域内における光沢にムラがあると判別し、路面が湿潤状態であると検出する（例えば、非特許文献１を参照。）。
【０００３】
【非特許文献１】
第１回ＩＴＳシンポジュウム２００２
２００２年１２月１５日（一橋記念講堂）発表論文
「画像式路面凍結検知装置における路面状態判別精度の考察」
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置は、予め規定した乾燥時におけるＲＧＢ空間におけるＲＧＢ値の分布と、湿潤時におけるＲＧＢ空間におけるＲＧＢ値の分布とに基づいて路面状態を検出する。すなわち、この従来の路面状態検出装置の撮像する路面は定点であり、この定点の路面について予め規定したＲＧＢ値の分布に基づいて路面状態を検出する。
従って、路面状態に依存しない環境の変化によってＲＧＢ値が変動した場合、この変動によって路面状態を誤検出してしまう。例えば、この路面状態検出装置を車両に搭載して夜間走行を行う場合、路面はヘッドライトの照射光による反射光によって支配的に照らし出される場合もあるし、ヘッドライトの照射光に街路灯などの外光が加わり、これらによる反射光によって照らし出される場合もある。すなわち、路面の光沢を示すＲＧＢ値が路面状態以外の要因で変化する。これにより路面状態を正確に検出することができないという課題がある。
【０００５】
本発明は、上記課題にかんがみてなされたもので、夜間において車両の前方路面の路面状態を精度良く検出することが可能な車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、前方路面を撮像可能に車両に設置され、ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、前方路面を撮像可能に車両に設置した画像撮像手段によってヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する。ここで、画像情報取得手段は、垂直偏光画像および水平偏光画像が撮像されると、この垂直偏光画像もしくは水平偏光画像の画像輝度を取得するとともに、当該垂直偏光画像と水平偏光画像の偏光比強度を取得する。このとき、路面状態検出手段は、画像情報取得手段の取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合は前方路面を湿潤状態と検出する。一方、画像輝度が同輝度に対する閾値以上であると判別した場合、路面状態検出手段では、さらに取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別する。そして、この偏光比強度が同強度に対する閾値以上であると判別した場合は前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合は前方路面を乾燥状態と検出する。
【０００８】
つまり、ヘッドライトにて路面を照らし出したとき路面が乾燥状態であれば、ヘッドライトの照射光の反射光は、表面が凹凸面（粗面）の路面で乱反射する。一方、路面が湿潤状態であれば、ヘッドライトの照射光の反射光のうちほとんどは表面が鏡面の路面にて車両前方側に向かって反射する。従って、画像撮像手段が撮像したこの反射光に基づく路面画像の画像輝度は、路面が乾燥状態であるほど高くなる。このため、この画像輝度が輝度に対する閾値（路面状態が湿潤状態であると判別可能な輝度値を規定した閾値）より小さい場合は、路面が湿潤状態であると検出することができる。
【０００９】
しかし、夜間走行においてはヘッドライトの照射が支配的な場合もあるし、ヘッドライトの照射に街路灯などの施設照明が加わる場合もある。
このとき、かかる街路灯の外光によって画像輝度が増加してしまい、本来的には路面が湿潤状態であるにも関わらず、当該画像輝度が上記の輝度に対する閾値以上となり湿潤状態ではないと検出されることがあり得る。ここで、街路灯の外光が湿潤状態の路面（鏡面）で反射したとき、反射光に偏光特性が備わる。すなわち、路面が乾燥状態の場合は、画像撮像手段が入射する光の垂直偏光成分の強度と水平偏光成分の強度とはほぼ同等になる。一方、路面が湿潤状態の場合は垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。従って、垂直偏光成分と水平偏光成分に基づいて取得できる偏光比強度（垂直偏光成分の強度／水平偏光成分の強度）は、路面が湿潤状態であるほど大きくなる。
【００１０】
この偏光特性を利用し、画像輝度が輝度に対する閾値以上であると判別された場合に、取得した偏光比強度が強度に対する閾値（路面状態が湿潤状態であると判別可能な偏光比強度値を規定した閾値）以上であるか否かを判別し、偏光比強度が強度に対する閾値以上であると判別した場合には路面状態が湿潤状態であると検出し、強度に対する閾値より小さいと判別した場合には路面状態が乾燥状態であると検出する。これによって、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能になる。
【００１１】
なお、ヘッドライトはビームの位置によって路面を照らし出す度合いが異なってくるため、路面状態の判断基準となる画像輝度もこのヘッドライトの点灯強度によって変化してくる。このとき、ヘッドライトの点灯強度に応じて画像輝度の比較対象である閾値を変化させると、より精度良く路面状態を検出することが可能となり好適である。
【００１２】
そこで、請求項２にかかる発明は、上記請求項１に記載の車両用路面状態検出装置において、上記ヘッドライトの点灯強度を取得する点灯強度取得手段を有し、上記路面状態検出手段は、点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき同取得した点灯強度に応じて上記輝度に対する閾値を変化させる構成としてある。
上記のように構成した請求項２にかかる発明においては、点灯強度取得手段にてヘッドライトの点灯強度を取得する。かかる場合、路面状態検出手段は点灯強度の上昇に略対応させて上記輝度に対する閾値を増加させる対応関係に基づき、上述した路面状態を検出するための輝度に対する閾値を点灯強度取得手段が取得した点灯強度に応じて変化させる。
【００１３】
ここで、上述してきたヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出装置は、ヘッドライトにて照射される前方路面の路面状態を検出する手順を提示した方法としても成立することは言うまでもない。
そこで、請求項３にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出方法であって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備する構成とする。
必ずしも実体のある車両用路面状態検出装置に限らず、車両用路面状態検出方法としても有効であることに相違はない。
【００１４】
また、ヘッドライトにて照射される前方路面の路面状態を検出する方法および装置は、上述した車両用路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。
【００１５】
その一例として請求項４にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備する構成としてある。
すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１６】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１７】
【発明の効果】
以上説明したように本発明は、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、ヘッドライトの点灯強度に対応して適切な路面状態の検出を行うことが可能になる。
さらに、請求項３にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出方法を提供することができる。
さらに、請求項４にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置の制御プログラムを提供することができる。
【００１８】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）車両用路面状態検出装置の構成：
（２）前方路面の画像特性：
（３）路面状態検出処理の処理内容：
（４）変形例：
（５）まとめ：
【００１９】
（１）車両用路面状態検出装置の構成：
図１は、本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。同図において、車両用路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、ＲＯＭ１４と、ＲＡＭ１５と、ユーザインターフェース部１６と、Ｉ／Ｏ１７とを制御可能になっており、ＣＰＵ１１はＲＯＭ１４に格納されている所定機能を実現可能にする制御プログラムをＲＡＭ１５をワークエリアとして使用しつつ実行可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されている。この撮像部２０は車両の前方路面を撮像可能に設置されている。
【００２０】
撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では上述したように撮像部２０にて車両前方の路面を撮像する。また、本実施形態においては後述するとおり、撮像部２０にて車両の前方路面の垂直偏光画像と水平偏光画像を撮像し、この垂直偏光画像および水平偏光画像の偏光特性を利用して路面状態を検出する。このとき、垂直偏光画像の輝度情報に基づいた垂直偏光成分の強度と、水平偏光画像の輝度情報に基づいた水平偏光成分の強度とから取得される偏光比強度（垂直偏光成分の強度／水平偏光成分の強度）に基づいて路面状態を検出する。ユーザインターフェース部１６は車載テレビ等とのインターフェースであり検出した結果を同車載テレビに表示することによって運転者に通知可能になっている。また、Ｉ／Ｏ１７はヘッドライト３０に接続されており、ヘッドライト３０の点灯／消灯を示す信号や、ヘッドライト３０の点灯強度（ロービーム、ハイビームなど）を示す信号を入出力するインターフェースである。
【００２１】
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述したとおり車両の前方路面を撮像する。このとき、路面から入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８とを有する構成となっている。
【００２２】
ここで、撮像部２０に入力される視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像を形成する。そして、このように形成された垂直偏光画像はフィールドメモリ２７に格納される。また、水平偏光画像はフィールドメモリ２８に格納される。このフィールドメモリ２７，２８に格納された垂直偏光画像および水平偏光画像はＡＤ変換器１２を介してフレームメモリ１６に転送し、一旦格納させる。
【００２３】
本実施形態における撮像部２０では、上述のとおり、入射する視野像をハーフミラーボックス２１によって２つに分岐させることによって、垂直偏光画像および水平偏光画像を撮像することが可能な構成を採用した。むろん、垂直偏光画像および水平偏光画像を撮像する構成は、これに限定されるものではなく、例えば、垂直偏光フィルタを装着したＣＣＤと、水平偏光フィルタを装着したＣＣＤとによって個別に視野像を入射することにより、垂直偏光画像および水平偏光画像を撮像する構成を採用しても良い。また、これらに限定されるものでもなく、垂直偏光画像および水平偏光画像を撮像することが可能な構成であれば適宜選択可能である。
【００２４】
かかる構成において、本実施形態では点灯されたヘッドライト３０によって照射された車両の前方路面を撮像部２０にて撮像し、撮像した垂直偏光画像および水平偏光画像に基づいて同前方路面の路面状態（乾燥状態もしくは湿潤状態）を検出する手法について説明する。このとき、垂直偏光画像および水平偏光画像は、撮像部２０に入射する光に基づいて撮像されることになる。ここで、夜間走行時において撮像部２０に入射される光は、ヘッドライト３０の照射光に基づいた反射光に依存する場合（ヘッドライト３０の照射が支配的な場合）と、ヘッドライト３０の照射光に基づいた反射光に加えて街路灯などの施設照明に存在する場合との２つのパターンが勘案できる。そこで、先ず最初にヘッドライト３０の照射光に基づいた反射光に依存する場合について説明する。
【００２５】
（２）前方路面の画像特性：
図３は、路面が乾燥状態の場合におけるヘッドライト３０の照射光の反射状態を模式的に示した模式図である。
同図において、車両１００には前方の路面Ｒを照射可能にヘッドライト３０が設置されているとともに、この照射された路面Ｒを撮像可能な位置に撮像部２０が設置されている。ヘッドライト３０が点灯されると、同ヘッドライト３０の照射光Ｌ１は、路面Ｒに対して所定の入射角度にて照射される。路面Ｒが乾燥状態の場合、その表面は凹凸面（粗面）になっている。これにより、ヘッドライト３０の照射光Ｌ１の反射光Ｌ２は、路面Ｒにて乱反射される。従って、反射光Ｌ２の成分は、車両１００の前方側に向かうものもあるし、車両側に戻ってくるものもある。このとき、撮像部２０は乱反射により車両側に戻ってきた反射光Ｌ２を入射し、この反射光Ｌ２に基づいた垂直偏光画像および水平偏光画像を撮像する。一方、路面Ｒが湿潤状態の場合は、当該路面Ｒの凹凸面（粗面）に水が溜まり、表面が鏡面となる。次に、このときの照射光Ｌ１の反射について説明する。
【００２６】
図４は、路面が湿潤状態の場合におけるヘッドライト３０の照射光の反射状態を模式的に示した模式図である。
同図において、ヘッドライト３０から照射される照射光Ｌ１の路面Ｒに対する入射角度は、車両１００の前方側に対し路面Ｒの照射範囲を大きくとるために小さく設定されている。このとき、湿潤状態に起因して路面Ｒの表面が鏡面を形成している場合においては入射角度が小さい照射光Ｌ１の反射光Ｌ２のほとんどが車両１００の前方側に向かってしまうことになる。従って、撮像部２０が入射する反射光Ｌ２は微弱ものとなる。かかる場合、撮像部２０はこの微弱な反射光Ｌ２に基づいた垂直偏光画像および水平偏光画像を撮像することになる。
【００２７】
このように路面Ｒの路面状態（乾燥状態もしくは湿潤状態）に応じて撮像部２０に入射される反射光Ｌ２の強度は異なる。従って、乾燥状態において撮像された垂直偏光画像もしくは水平偏光画像の画像輝度と、湿潤状態において撮像された垂直偏光画像および水平偏光画像の画像輝度とは大きく異なってくる。すなわち、路面Ｒが乾燥状態の場合は画像輝度が高くなり、路面Ｒが湿潤状態の場合は画像輝度が低くなる。本実施形態では予め所定の輝度に対する閾値を規定しておき、画像輝度がこの輝度に対する閾値以上の場合に照射光Ｌ１が路面Ｒで乱反射していると判断し、路面状態を乾燥状態であると検出する。一方、画像輝度がこの輝度に対する閾値より小さい場合に照射光Ｌ１の反射光Ｌ２のほとんどが車両１００の前方側に反射してしまっていると判断し、路面状態を湿潤状態であると検出する。この検出機能は後述する路面状態検出処理にて実現される。
【００２８】
このように夜間走行時においてヘッドライト３０の照射が支配的な状況においては、ヘッドライト３０の照射光Ｌ１の路面Ｒにおける反射光Ｌ２に基づいて撮像される垂直偏光画像もしくは水平偏光画像の画像輝度により路面状態（乾燥状態もしくは湿潤状態）を検出することが可能になる。一方、ヘッドライト３０の照射に加えて街路灯などの施設照明が加わった場合、この加わった街路灯などの施設照明により撮像部２０に入射される光は強くなる。すなわち、垂直偏光画像もしくは水平偏光画像の画像輝度は上昇する。従って、路面状態が湿潤状態であっても、この街路灯などの施設照明のため、画像輝度が上昇してしまい、上述した輝度に対する閾値以上になり、路面状態が乾燥状態であると誤検出してしまう。ここで、路面Ｒが湿潤状態の場合、街路灯などの施設照明の反射光は、偏光特性を示すことが知られている。従って、撮像部２０が撮像した垂直偏光画像および水平偏光画像の偏光特性に基づいて路面状態が乾燥状態であるか湿潤状態であるかを検出することが可能になる。次に、ヘッドライト３０の照射に加えて街路灯などの施設照明が存在する場合について説明する。
【００２９】
図５は、路面が乾燥状態の場合におけるヘッドライト３０の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯４０が路面Ｒを照射している状態を示している。上述したように路面Ｒが乾燥状態のとき表面は凹凸面（粗面）になっているので、街路灯４０が照射する外光Ｌ３の反射光Ｌ４は当該路面Ｒにて乱反射される。従って、反射光Ｌ４の成分は、車両１００の前方側に向かうものもあるし、車両側に向かうものもある。このとき、撮像部２０は乱反射により車両側に戻ってきた上述した照射光Ｌ１の反射光Ｌ２および外光Ｌ３の反射光Ｌ４を入射し、この反射光Ｌ２，Ｌ４に基づいた垂直偏光画像および水平偏光画像を撮像する。
【００３０】
図６は、路面が乾燥状態の場合における街路灯４０の外光Ｌ３の偏光特性を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。
【００３１】
図７は、路面が湿潤状態の場合におけるヘッドライト３０の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯４０が路面Ｒを照射している状態を示している。上述したように路面Ｒが湿潤状態のとき表面は鏡面になっている。このとき、街路灯４０が照射する外光Ｌ３の反射光Ｌ４は、当該路面Ｒにて反射する際に偏光特性を示すことになる。次に、この偏光特性について説明する。図８は、路面が湿潤状態の場合における街路灯４０の外光Ｌ３の偏光特性を模式的に示した模式図である。同図において、撮像部２０に入射される光はこの鏡面にて反射したものとなり、反射光は偏光特性を示す。
【００３２】
このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。従って、この垂直偏光成分と水平偏光成分の強度にて規定される偏光比強度（垂直偏光成分／水平偏光偏光成分）は乾燥状態に比べて大きくなる。以上より、この偏光比強度に基づいて路面状態を検出することが可能になる。かかる検出機能も次に説明する路面状態検出処理にて実現される。
【００３３】
（３）路面状態検出処理の処理内容：
図９は、ＣＰＵ１１にて実行される路面状態検出処理の処理内容を示したフローチャートである。
同図において、先ず最初に撮像部２０に視野像の垂直偏光画像および水平偏光画像を撮像させる（ステップＳ１０５）。次に、水平偏光画像（もしくは垂直偏光画像）の画像輝度を取得する（ステップＳ１１０）。この画像輝度は水平偏光画像（もしくは垂直偏光画像）を構成する各画素の輝度値に基づいて算出する。ここで、この取得した画像輝度が上記した所定の輝度に対する閾値以上であるか否かを判別し（ステップＳ１１５）、同判別にて画像輝度が輝度に対する閾値以上と判別すると、垂直偏光成分および水平偏光成分の強度を算出するとともに（ステップＳ１２０）、偏光比強度を算出する（ステップＳ１２５）。そして、この算出した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し（ステップＳ１３０）、同判別にて偏光比強度が強度に対する閾値より小さいと判別すると、路面Ｒの路面状態を乾燥状態とする（ステップＳ１３５）。
【００３４】
一方、ステップＳ１１５にて画像輝度が輝度に対する閾値より小さいと判別した場合およびステップＳ１３０にて偏光比強度が強度に対する閾値以上と判別した場合は、路面Ｒの路面状態を湿潤状態と検出する（ステップＳ１４０）。以上のように路面状態を検出すると、ユーザインターフェース部１６の制御を介して当該検出された各路面状態を車載テレビに表示し、運転者において視認可能に通知する（ステップＳ１４５）。むろん、この通知は車載テレビに表示する態様に限定されず、スピーカから音のみで通知しても良いし、フロントパネルに配置されたランプなどの発光手段にて通知しても良い。このとき路面状態、例えば湿潤度合いに従って音量もしくは発光色を変化させればより好ましい。
【００３５】
図１０は、上述した路面状態検出処理の検証結果を示した図である。
同図においては、横軸に時系列のサンプルポイントを規定し、縦軸に偏光比強度および路面輝度を規定してあり、夜間フィールドにおいて収集したデータに基づいて抽出した路面Ｒについての画像輝度および偏光比強度の時間推移を示している。ここで、折れ線グラフＧ１はサンプルポイントにおける路面輝度の変化を示しており、折れ線グラフＧ２はサンプルポイントにおける偏光比強度の変化を示している。一方、帯グラフＧ３は上段（真値）と下段（検出結果）とから構成されている。この上段（真値）は目視により検出した実際の路面状況を示している。また、下段（検出結果）は本実施形態にかかる路面状態検出処理によって検出した路面状態の検出結果を示しており、湿潤状態と検出したサンプルポイントを黒で示し、乾燥状態と検出したサンプルポイントを白で示している。一方、反転（湿潤状態の場合は白反転、乾燥状態の場合は黒反転）しているサンプルポイントは誤検出を示している。
【００３６】
また、図１１は目視により判定した実際の路面状態と、本実施形態にかかる路面状態検出処理の検出結果を比較し、その一致度合いによって算出した検出精度を示している。同図において、目視により判定した実際の路面状態が乾燥状態であるサンプルポイントは６７個であり、これに対して本実施形態にかかる路面状態検出処理ではこの６７個のサンプルポイントのうち６３個を乾燥状態であると検出している（正解数）。すなわち、正解率は９４．０％である。一方、目視により判定した実際の路面状態が湿潤状態であるサンプルポイントは９１個であり、これに対して本実施形態にかかる路面状態検出処理ではこの９１個のサンプルポイントのうち８５個を湿潤状態であると検出している（正解数）。すなわち、正解率は９３．４％である。このように、目視による実際の路面状態と、本実施形態にかかる路面状態検出処理の処理結果による路面状態とでは、多少のオーバーラップが存在するものの良好な結果が得られており、本実施形態による夜間における路面状態検出手法は、その有効性が検証された。
【００３７】
ここで、上述した実施形態においては、路面状態検出処理にて先ず最初に画像輝度に基づいた判別を行い、その後に偏光比強度による判別を行う手法を採用し、より高精度な路面状態の検出を実現可能にした。図１０から分かるとおり、輝度に対する閾値に対する折れ線グラフＧ１の変動を考察すると、画像輝度による判別のみであっても、路面状態の概略的な傾向を把握することが可能である。従って、上述した路面状態検出処理におけるステップＳ１１５にて画像輝度が輝度に対する閾値以上の場合に路面状態を乾燥状態と判別し、画像輝度が輝度に対する閾値より小さい場合に路面状態を湿潤状態と判別するようにしても精度は上述した手法よりは低下するものの、路面状態検出処理の処理構成を簡素化でき、処理の高速化を図ることが可能になるという点で有用となり得る。
【００３８】
（４）変形例：
上述した実施形態では輝度に対する閾値を固定した。一方、ヘッドライト３０の照射は段階的に設定が変更され得る。例えば、ロービームの設定の場合もあるし、ハイビームの設定の場合もある。このように設定が異なれば、ヘッドライト３０が照射する照射光Ｌ１による反射光Ｌ２の強度が異なってくる。従って、輝度閾値が固定であると、この反射強度の相異に対応できない場合が発生し得る。そこで、この変形例ではヘッドライト３０の設定に応じて輝度に対する閾値の設定を変える手法を採用する。図１２は、かかる機能を実現する際にＣＰＵ１１にて実行される輝度閾値設定処理の処理内容を示したフローチャートである。
【００３９】
同図において、先ず最初にＩ／Ｏ１７を介してヘッドライト３０の点灯強度（ロービーム設定もしくはハイビーム設定）を取得する（ステップＳ２０５）。次に、この取得した点灯強度がロービーム設定であるか否かを判別する（ステップＳ２１０）。点灯強度がロービーム設定であると判別した場合は、ＲＯＭ１４に格納されている通常の輝度に対する閾値データを読み出す（ステップＳ２１５）。一方、点灯強度がハイビーム設定であると判別した場合は、ＲＯＭ１４に格納されているハイビーム用の輝度に対する閾値データを読み出す（ステップＳ２２０）。そして、読み出した輝度に対する閾値データを上述した路面状態検出処理に使用する閾値として設定する（ステップＳ２２５）。このようにヘッドライト３０の点灯強度の変化に応じて画像輝度を判別するための輝度閾値を可変することによって、ヘッドライトの経年変化を含む点灯強度の変化に追従可能なより高精度の路面状態の検出を実現することを可能にする。
【００４０】
（５）まとめ：
このように、ヘッドライト３０が点灯される夜間における車両１００の前方の路面Ｒの路面状態（乾燥状態もしくは湿潤状態）を検出する際に、第１段階として撮像部２０にて撮像した水平偏光画像（もしくは垂直偏光画像）における画像輝度に基づいた検出を行い、この画像輝度が輝度に対する閾値以上と判別されたとき（画像輝度が輝度に対する閾値より小さい場合は湿潤状態と判別する。）、第２段階として同垂直偏光画像および水平偏光画像が有する偏光特性に基づく偏光比強度による判別を行い、この偏光比強度が強度に対する閾値以上であると判別したときに路面状態を湿潤状態と判別することによって（偏光比強度が偏光比閾値より小さい場合は乾燥状態と判別する。）、当該路面状態の高精度の検出を実現することを可能にする。
【図面の簡単な説明】
【図１】本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】路面が乾燥状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図４】路面が湿潤状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図５】路面が乾燥状態の場合におけるヘッドライト図の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図６】路面が乾燥状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図７】路面が湿潤状態の場合におけるヘッドライトの照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図８】路面が湿潤状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図９】路面状態検出処理の処理内容を示したフローチャートである。
【図１０】路面状態検出処理の検証結果を示した図である。
【図１１】路面状態検出処理の検証結果の精度について検証した結果を示した図である。
【図１２】輝度閾値設定処理の処理内容を示したフローチャートである。
【符号の説明】
１０…車両用路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…ＲＯＭ
１５…ＲＡＭ
１６…ユーザインターフェース部
２０…撮像部
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
２７…フィールドメモリ
２８…フィールドメモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle road surface state detection device, a vehicle road surface state detection method, and a control program for a vehicle road surface state detection device, and in particular, a vehicle road surface state detection device that detects a road surface state of a front road surface of a vehicle at night. The present invention relates to a vehicle road surface state detection method and a control program for a vehicle road surface state detection device.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, this type of road surface state detecting device captures a road surface image with a camera, measures the intensity of reflected light of a road surface entering a lens of the camera based on the road surface image, and measures the gloss of the road surface. At this time, the surface of the road surface in a dry state becomes a diffusion surface and the gloss becomes weak, and the intensity of the gloss becomes almost the same within the area of the road surface image. On the other hand, the road surface in the wet state has a semi-mirror surface and has a high gloss, and unevenness occurs in the gloss within the area of the road image. In order to determine the difference between the characteristics, the video signal of the road surface image is converted into RGB values, and the road surface state is detected based on the spread of the RGB values in the RGB space. That is, when the spread of the distribution of the RGB values in the RGB space is small, it is determined that the gloss intensity in the area of the road surface image is substantially the same, and it is detected that the road surface is in a dry state. On the other hand, when the distribution of the RGB values in the RGB space is large, it is determined that the gloss in the area of the road surface image is uneven, and the road surface is detected as being wet (for example, see Non-Patent Document 1). ).
[0003]
[Non-patent document 1]
1st ITS Symposium 2002
Paper published on December 15, 2002 (Hitotsubashi Memorial Auditorium)
"Consideration of road surface condition determination accuracy in image type road surface freeze detection device"
[0004]
[Problems to be solved by the invention]
The above-described conventional road surface state detecting device detects a road surface state based on a predetermined distribution of RGB values in an RGB space when dry and a distribution of RGB values in an RGB space when wet. That is, the road surface imaged by the conventional road surface state detection device is a fixed point, and the road surface state is detected based on the RGB value distribution defined in advance for the fixed point road surface.
Therefore, when the RGB values fluctuate due to a change in the environment that does not depend on the road surface state, the road surface state is erroneously detected due to the fluctuation. For example, when this road surface condition detection device is mounted on a vehicle and traveling at night, the road surface may be illuminated dominantly by the reflected light of the irradiation light of the headlight, or the illumination light of the headlight may be a street light or the like. May be illuminated by the reflected light. That is, the RGB values indicating the gloss of the road surface change due to factors other than the road surface condition. As a result, there is a problem that the road surface state cannot be accurately detected.
[0005]
The present invention has been made in view of the above problems, and has a vehicle road surface state detection device, a vehicle road surface state detection method, and a vehicle road surface state capable of accurately detecting a road surface state of a road surface ahead of a vehicle at night. An object of the present invention is to provide a control program for a detection device.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is provided in a vehicle so as to be able to image a front road surface, and an image imaging unit that captures a vertical polarization image and a horizontal polarization image of the front road surface illuminated by a headlight. Image information acquisition means for acquiring the image luminance of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and the horizontal polarization image, and the acquired image luminance is smaller than a threshold for a predetermined luminance It is determined whether or not the polarization ratio intensity is equal to or smaller than the threshold value for the same luminance. It is determined whether or not the threshold value is equal to or greater than the threshold value, and if it is determined that the threshold value is equal to or greater than the threshold value for the same strength, the front road surface is detected as a wet state, and There the road surface ahead as configured for and a road surface condition detecting means for detecting a dry state when it is determined that less than a threshold value.
[0007]
In the invention according to claim 1 configured as described above, the vertical polarization image and the horizontal polarization image of the front road surface illuminated by the headlights are captured by the image capturing means installed in the vehicle so that the front road surface can be captured. Here, when the vertically polarized image and the horizontally polarized image are captured, the image information acquiring means acquires the image luminance of the vertically polarized image or the horizontally polarized image, and the polarization ratio intensity between the vertically polarized image and the horizontally polarized image. To get. At this time, the road surface state detecting means determines whether or not the image luminance acquired by the image information acquiring means is smaller than a threshold value for a predetermined luminance. To detect. On the other hand, when it is determined that the image luminance is equal to or more than the threshold value for the same luminance, the road surface state detecting unit determines whether the acquired polarization ratio intensity is equal to or more than the threshold value for the predetermined intensity. If it is determined that the polarization ratio intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state, and if it is smaller than the threshold value for the same intensity, the front road surface is detected as a dry state.
[0008]
That is, if the road surface is in a dry state when the road surface is illuminated by the headlight, the reflected light of the irradiation light of the headlight is irregularly reflected on the road surface having an uneven surface (rough surface). On the other hand, when the road surface is in a wet state, most of the reflected light of the irradiation light from the headlight is reflected toward the front side of the vehicle on the mirror-finished road surface. Therefore, the image brightness of the road surface image based on the reflected light captured by the image capturing unit increases as the road surface is in a dry state. For this reason, when the image luminance is smaller than the threshold value for luminance (threshold value defining a luminance value that can determine that the road surface state is wet), it can be detected that the road surface is wet.
[0009]
However, headlight irradiation may be dominant during night driving, and facility lighting such as street lights may be added to headlight irradiation.
At this time, the image brightness increases due to the external light of the street light, and the image brightness is equal to or higher than the threshold value for the brightness, and it is detected that the image is not in the wet state, although the road surface is originally in a wet state. Could be done. Here, when the external light of the street light is reflected on a wet road surface (mirror surface), the reflected light has polarization characteristics. That is, when the road surface is in a dry state, the intensity of the vertical polarization component and the intensity of the horizontal polarization component of the light incident on the image pickup means are substantially equal. On the other hand, when the road surface is in a wet state, the intensity of the vertical polarization component is relatively larger than the intensity of the horizontal polarization component. Therefore, the polarization ratio intensity (the intensity of the vertical polarization component / the intensity of the horizontal polarization component) that can be obtained based on the vertical polarization component and the horizontal polarization component increases as the road surface becomes wet.
[0010]
Using this polarization characteristic, when the image luminance is determined to be equal to or greater than the threshold value for the luminance, the acquired polarization ratio intensity is set to the threshold value for the intensity (a polarization ratio intensity value that can be determined as a wet road surface state is defined). It is determined whether or not the polarization ratio intensity is equal to or greater than the threshold value for the intensity. If the polarization state intensity is determined to be equal to or greater than the threshold value for the intensity, the road surface state is detected to be in the wet state. Detects that the road surface is dry. This makes it possible to accurately detect whether the road surface is in a wet state or a dry state even when the acquired image luminance includes luminance due to external light of facility lighting such as a street light. Become.
[0011]
In addition, since the degree to which the headlight illuminates the road surface varies depending on the position of the beam, the image brightness, which is a criterion for determining the road surface state, also changes depending on the lighting intensity of the headlight. At this time, it is preferable to change the threshold value to be compared with the image brightness according to the lighting intensity of the headlight, since it is possible to more accurately detect the road surface state.
[0012]
Therefore, a second aspect of the present invention is the vehicle road surface condition detecting device according to the first aspect, further comprising a lighting intensity acquiring unit configured to acquire a lighting intensity of the headlight, wherein the road surface state detecting unit includes a lighting device. The threshold value for the luminance is changed in accordance with the obtained lighting intensity on the basis of the correspondence relationship in which the threshold value for the luminance is increased substantially in response to the increase in the intensity.
In the invention according to claim 2 configured as described above, the lighting intensity of the headlight is acquired by the lighting intensity acquiring means. In such a case, the road surface condition detecting means increases the threshold value for the luminance substantially in response to the increase in the lighting intensity, and the lighting intensity acquiring means acquires the threshold value for the luminance for detecting the road surface condition based on the correspondence described above. Vary according to strength.
[0013]
Here, the vehicle road surface state detecting device that detects the road surface state of the front road surface irradiated by the headlight described above is a method that presents a procedure of detecting the road surface state of the front road surface irradiated by the headlight. Needless to say, this also holds.
Therefore, an invention according to claim 3 is a vehicle road surface state detection method for detecting a road surface state of a front road surface irradiated by a headlight, wherein the image pickup means is mounted on a vehicle so as to be able to image the front road surface. An image capturing step of capturing a vertical polarization image and a horizontal polarization image of the front road surface illuminated by the headlights, and image brightness and the vertical polarization image and the horizontal polarization image of the captured vertical polarization image or horizontal polarization image. An image information acquiring step of acquiring the polarization ratio intensity of the image, and determining whether or not the acquired image luminance is smaller than a threshold value for a predetermined luminance. And if it is determined that the obtained polarization ratio intensity is equal to or greater than the threshold value for the same luminance, it is determined whether the acquired polarization ratio intensity is equal to or greater than the threshold value for the predetermined intensity. Separately, a road surface state detecting step of detecting the front road surface as a wet state when it is determined that the threshold value is equal to or higher than the threshold value for the same strength, and detecting the front road surface as a dry state when determining that the front road surface is smaller than the threshold value for the same strength. And a configuration including:
There is no difference in that the present invention is not necessarily limited to a substantial vehicle road surface state detecting device and is also effective as a vehicle road surface state detecting method.
[0014]
Further, the method and apparatus for detecting the road surface condition of the front road surface irradiated by the headlight may be realized by the above-described vehicle road surface condition detection device alone, or may be used in a state incorporated in a certain device. In some cases, the concept of the invention includes various aspects. For example, the concept of the invention may be software or hardware, and may be appropriately changed. In the case where software for controlling the road surface state detection device is provided as an embodiment of the idea of the present invention, the invention can be realized as a recording medium of the hardware or software.
[0015]
As one example, the invention according to claim 4 is a control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state of a front road surface illuminated by headlights. An image capturing function for causing an image capturing unit installed in a vehicle to capture an image of a road surface to capture a vertical polarization image and a horizontal polarization image of the front road surface illuminated by the headlight, and the captured vertical polarization image or horizontal polarization image An image information acquisition function for acquiring the image luminance of the image and the polarization ratio intensities of the vertical polarization image and the horizontal polarization image; and determining whether the acquired image luminance is smaller than a threshold value for a predetermined luminance value. When it is determined that the brightness is smaller than the threshold value, the front road surface is detected as being in a wet state, and when it is determined that the brightness is equal to or higher than the threshold value for the same luminance, the above-described road surface is detected. Determine whether the polarization ratio intensity is greater than or equal to a threshold for a predetermined intensity, if it is determined to be greater than or equal to the threshold for the same intensity, the front road surface is detected as a wet state, and smaller than the threshold for the same intensity A road surface condition detecting function for detecting the front road surface as a dry state when it is determined is provided.
That is, the present invention may be formed by a program that enables the invention to be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0016]
The same applies to the duplication stage of the primary duplicate product and the secondary duplicate product without any question. In addition, the present invention is still used even when the supply method is performed using a communication line, and the same applies to a case where the information is written on a semiconductor chip. Furthermore, even when a part is implemented by software and a part is implemented by hardware, the concept of the present invention is not completely different, and a part is recorded on a recording medium and appropriately It may be in a form that is read.
[0017]
【The invention's effect】
As described above, the present invention accurately determines whether a road surface state is a wet state or a dry state even when the luminance of external light of facility lighting such as a street light enters the acquired image luminance. It is possible to provide a vehicle road surface state detection device capable of detecting the vehicle road surface state.
Further, according to the invention of claim 2, it is possible to detect an appropriate road surface state in accordance with the lighting intensity of the headlight.
Further, according to the third aspect of the present invention, even when the acquired image luminance includes luminance due to external light of facility lighting such as a street lamp, whether the road surface state is wet or dry. Can be provided with a vehicle road surface state detecting method capable of accurately detecting the road surface condition.
Furthermore, according to the invention according to claim 4, even when the brightness of the acquired image brightness includes external light of facility lighting such as a street lamp, the road surface state is a wet state or a dry state. Can be provided for a vehicle road surface state detection device capable of detecting the road condition with high accuracy.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of the vehicle road surface state detection device:
(2) Image characteristics of the road surface ahead:
(3) Content of road surface state detection processing:
(4) Modification:
(5) Summary:
[0019]
(1) Configuration of the vehicle road surface state detection device:
FIG. 1 is a block diagram showing a configuration of a vehicle road surface state detecting device according to the present invention. In FIG. 1, a vehicle road surface state detecting device 10 has a CPU 11 therein, which is connected via a bus line to a frame memory 13, a ROM 14, a RAM 15, a user interface unit 16, an I / O O17 can be controlled, and the CPU 11 can execute a control program for realizing a predetermined function stored in the ROM 14 while using the RAM 15 as a work area. Here, the imaging unit 20 is connected to the frame memory 13 via the AD converter 12 having a function of converting analog data to digital data. The imaging unit 20 is installed so as to be able to image a road surface ahead of the vehicle.
[0020]
The analog data image captured by the image capturing unit 20 is converted into digital data by the AD converter 12 and captured by the frame memory 13. In the present embodiment, as described above, the imaging unit 20 captures an image of the road surface ahead of the vehicle. In the present embodiment, as described later, the imaging unit 20 captures a vertical polarization image and a horizontal polarization image of the road surface in front of the vehicle, and uses the polarization characteristics of the vertical polarization image and the horizontal polarization image to determine the road surface state. To detect. At this time, the polarization ratio intensity (the intensity of the vertical polarization component / the horizontal polarization) obtained from the intensity of the vertical polarization component based on the luminance information of the vertical polarization image and the intensity of the horizontal polarization component based on the luminance information of the horizontal polarization image. The road surface state is detected based on the intensity of the component. The user interface unit 16 is an interface with a vehicle-mounted television or the like, and is capable of notifying a driver by displaying a detection result on the vehicle-mounted television. The I / O 17 is connected to the headlight 30 and is an interface for inputting and outputting a signal indicating whether the headlight 30 is turned on or off, and a signal indicating the lighting intensity (low beam, high beam, etc.) of the headlight 30.
[0021]
FIG. 2 is a block diagram illustrating a configuration of the above-described imaging unit 20.
In the figure, the imaging unit 20 captures an image of the road ahead of the vehicle as described above. At this time, a vertical polarization image and a horizontal polarization image of the visual field image incident from the road surface are captured. As described above, in order to capture the vertical polarization image and the horizontal polarization image, the imaging unit 20 includes a half mirror box 21 having a 1: 1 transmissivity, a mirror 22, a vertical polarization filter 23, and a horizontal polarization filter. The configuration includes a filter 24, a CCD 25 that captures a field image via a vertical polarization filter 23, a CCD 26 that captures a field image via a horizontal polarization filter 24, a field memory 27, and a field memory 28. .
[0022]
Here, the visual field image input to the imaging unit 20 passes through a half mirror box 21, is reflected by a mirror 22, is imaged on a CCD 25 via a vertical polarization filter 23, and forms a vertically polarized image. The light passes through the box 21 and forms an image on the CCD 26 via the horizontal polarization filter 24 to form a horizontal polarization image. Then, the vertically polarized image thus formed is stored in the field memory 27. The horizontally polarized image is stored in the field memory 28. The vertically polarized image and the horizontally polarized image stored in the field memories 27 and 28 are transferred to the frame memory 16 via the AD converter 12 and temporarily stored.
[0023]
As described above, the imaging unit 20 according to the present embodiment employs a configuration in which a vertically polarized image and a horizontally polarized image can be captured by splitting an incident visual field image into two by the half mirror box 21. Needless to say, the configuration for capturing the vertical polarization image and the horizontal polarization image is not limited to this, and for example, a visual field image is separately input by a CCD equipped with a vertical polarization filter and a CCD equipped with a horizontal polarization filter. By doing so, a configuration for capturing a vertically polarized image and a horizontally polarized image may be adopted. Further, the present invention is not limited to these, and any configuration can be appropriately selected as long as it can capture a vertically polarized image and a horizontally polarized image.
[0024]
In such a configuration, in the present embodiment, the image of the front road surface of the vehicle illuminated by the lit headlights 30 is captured by the imaging unit 20, and the road surface state of the front road surface (based on the captured vertical polarization image and horizontal polarization image) ( A method for detecting a dry state or a wet state will be described. At this time, the vertical polarization image and the horizontal polarization image are captured based on the light incident on the imaging unit 20. Here, the light incident on the imaging unit 20 during night driving depends on the reflected light based on the irradiation light of the headlight 30 (when the irradiation of the headlight 30 is dominant), and In addition to the reflected light based on the illuminating light, two patterns, that is, the case where the light is present in facility lighting such as a street light, can be considered. Therefore, first, a case in which the head light 30 depends on reflected light based on irradiation light will be described.
[0025]
(2) Image characteristics of the road surface ahead:
FIG. 3 is a schematic diagram schematically illustrating a reflection state of the irradiation light of the headlight 30 when the road surface is in a dry state.
In FIG. 1, a vehicle 100 is provided with a headlight 30 so as to be able to illuminate a road surface R in front, and an imaging unit 20 is installed at a position where the illuminated road surface R can be imaged. When the headlight 30 is turned on, the irradiation light L1 of the headlight 30 is applied to the road surface R at a predetermined incident angle. When the road surface R is in a dry state, its surface is an uneven surface (rough surface). Thereby, the reflected light L2 of the irradiation light L1 of the headlight 30 is irregularly reflected on the road surface R. Therefore, the component of the reflected light L2 may be directed toward the front side of the vehicle 100 or may return toward the vehicle. At this time, the imaging unit 20 receives the reflected light L2 that has returned to the vehicle due to diffuse reflection, and captures a vertically polarized image and a horizontally polarized image based on the reflected light L2. On the other hand, when the road surface R is in a wet state, water accumulates on the uneven surface (rough surface) of the road surface R, and the surface becomes a mirror surface. Next, the reflection of the irradiation light L1 at this time will be described.
[0026]
FIG. 4 is a schematic diagram schematically illustrating a reflection state of the irradiation light of the headlight 30 when the road surface is in a wet state.
In the figure, the incident angle of the irradiation light L1 emitted from the headlight 30 with respect to the road surface R is set small in order to increase the irradiation range of the road surface R with respect to the front side of the vehicle 100. At this time, when the surface of the road surface R forms a mirror surface due to the wet state, most of the reflected light L2 of the irradiation light L1 having a small incident angle is directed toward the front side of the vehicle 100. Therefore, the reflected light L2 incident on the imaging unit 20 is weak. In such a case, the imaging unit 20 captures a vertically polarized image and a horizontally polarized image based on the weak reflected light L2.
[0027]
As described above, the intensity of the reflected light L2 incident on the imaging unit 20 differs depending on the road surface state (the dry state or the wet state) of the road surface R. Therefore, the image brightness of the vertical polarization image or the horizontal polarization image captured in the dry state is significantly different from the image luminance of the vertical polarization image or the horizontal polarization image captured in the wet state. That is, when the road surface R is in a dry state, the image luminance is high, and when the road surface R is in a wet state, the image luminance is low. In the present embodiment, a threshold value for a predetermined luminance is defined in advance, and when the image luminance is equal to or more than the threshold value for the luminance, it is determined that the irradiation light L1 is irregularly reflected on the road surface R, and the road surface state is in a dry state. To detect. On the other hand, when the image luminance is smaller than the threshold value for this luminance, it is determined that most of the reflected light L2 of the irradiation light L1 has been reflected to the front side of the vehicle 100, and the road surface state is detected as a wet state. This detection function is realized by a road surface state detection process described later.
[0028]
As described above, in the situation where the irradiation of the headlight 30 is dominant during night driving, the image brightness of the vertically polarized image or the horizontally polarized image captured based on the reflected light L2 of the irradiation light L1 of the headlight 30 on the road surface R is shown. This makes it possible to detect the road surface state (dry state or wet state). On the other hand, when facility lighting such as a street light is added in addition to the irradiation of the headlight 30, the light incident on the imaging unit 20 is increased by the added facility lighting such as the street light. That is, the image brightness of the vertically polarized image or the horizontally polarized image increases. Therefore, even if the road surface condition is a wet condition, the image brightness increases due to facility lighting such as the street light, and the image brightness becomes equal to or higher than the above-described threshold for the brightness, and the road surface condition is erroneously detected as a dry condition. Would. Here, when the road surface R is in a wet state, it is known that reflected light of facility lighting such as a street lamp exhibits polarization characteristics. Therefore, it is possible to detect whether the road surface state is the dry state or the wet state based on the polarization characteristics of the vertical polarization image and the horizontal polarization image captured by the imaging unit 20. Next, a case where facility lighting such as a street light is present in addition to the irradiation of the headlight 30 will be described.
[0029]
FIG. 5 is a schematic diagram schematically showing a state of reflection of the irradiation light of the headlight 30 and the outside light of the street light when the road surface is in a dry state.
FIG. 3 shows a state in which a street light 40 irradiates a road surface R as facility lighting. As described above, when the road surface R is in a dry state, the surface is uneven (rough surface), so that the reflected light L4 of the external light L3 emitted by the street light 40 is irregularly reflected on the road surface R. Therefore, the component of the reflected light L4 may be directed toward the front side of the vehicle 100 or may be directed toward the vehicle side. At this time, the imaging unit 20 receives the reflected light L2 of the above-described irradiation light L1 and the reflected light L4 of the external light L3 that have returned to the vehicle side due to diffuse reflection, and outputs a vertically polarized image and a horizontal polarized image based on the reflected lights L2 and L4. Take a polarization image.
[0030]
FIG. 6 is a schematic diagram schematically illustrating the polarization characteristics of the external light L3 of the street light 40 when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the imaging unit 20 is reflected on the uneven surface (rough surface) of the road surface R. As described above, irregular reflection is dominant in the reflection on the rough surface, the reflected light does not show the polarization characteristic, and the reflectances of the vertical polarization component and the horizontal polarization component are almost equal. That is, the intensity of the vertical polarization component S11 which is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20, and the reflected light of the horizontal polarization component S2 extracted by the horizontal polarization filter 24. Comparing the intensity of the horizontal polarization component S21, the intensity is almost the same.
[0031]
FIG. 7 is a schematic diagram schematically showing a reflection state of the irradiation light of the headlight 30 and the outside light of the street light when the road surface is in a wet state.
FIG. 3 shows a state in which a street light 40 irradiates a road surface R as facility lighting. As described above, when the road surface R is wet, the surface is a mirror surface. At this time, the reflected light L4 of the external light L3 emitted by the street light 40 shows a polarization characteristic when reflected on the road surface R. Next, the polarization characteristics will be described. FIG. 8 is a schematic diagram schematically showing the polarization characteristics of the external light L3 of the street light 40 when the road surface is in a wet state. In the figure, light incident on the imaging unit 20 is reflected by this mirror surface, and the reflected light shows polarization characteristics.
[0032]
At this time, the reflectance of the horizontal polarization component is smaller than the reflectance of the vertical polarization component. That is, the intensity of the vertical polarization component S12 which is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20, and the reflected light of the horizontal polarization component S2 extracted by the horizontal polarization filter 24. Comparing the intensity of the horizontal polarization component S22, the intensity of the vertical polarization component S12 is relatively higher. Therefore, the polarization ratio intensity (vertical polarization component / horizontal polarization polarization component) defined by the intensity of the vertical polarization component and the horizontal polarization component is larger than that in the dry state. As described above, the road surface state can be detected based on the polarization ratio intensity. Such a detection function is also realized by a road surface state detection process described below.
[0033]
(3) Content of road surface state detection processing:
FIG. 9 is a flowchart showing the processing content of the road surface state detection processing executed by the CPU 11.
In the figure, first, the image capturing unit 20 is caused to capture a vertical polarization image and a horizontal polarization image of a visual field image (step S105). Next, the image brightness of the horizontal polarization image (or the vertical polarization image) is obtained (step S110). This image luminance is calculated based on the luminance value of each pixel constituting the horizontal polarization image (or the vertical polarization image). Here, it is determined whether or not the acquired image luminance is equal to or greater than the above-described threshold for the predetermined luminance (step S115). The intensity of the polarization component is calculated (step S120), and the polarization ratio intensity is calculated (step S125). Then, it is determined whether or not the calculated polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity (step S130). If it is determined that the polarization ratio intensity is smaller than the threshold value for the intensity, the road surface condition of the road surface R is determined. In a dry state (step S135).
[0034]
On the other hand, if it is determined in step S115 that the image luminance is smaller than the threshold for luminance, and if it is determined in step S130 that the polarization ratio intensity is equal to or greater than the threshold for intensity, the road surface state of the road surface R is detected as a wet state (step S130). S140). When the road surface state is detected as described above, the detected road surface state is displayed on the on-vehicle television via the control of the user interface unit 16 to notify the driver that the road surface state is visible (step S145). Of course, this notification is not limited to the mode of display on the in-vehicle television, but may be notified only by sound from a speaker, or may be notified by a light emitting unit such as a lamp disposed on the front panel. At this time, it is more preferable to change the volume or emission color according to the road surface condition, for example, the degree of wetness.
[0035]
FIG. 10 is a diagram showing a verification result of the road surface state detection processing described above.
In the figure, the horizontal axis defines time-series sample points, the vertical axis defines polarization ratio intensity and road surface luminance, and extracts image luminance and road luminance for the road surface R extracted based on data collected in the night field. 3 shows a time transition of the polarization ratio intensity. Here, a line graph G1 shows a change in road surface luminance at a sample point, and a line graph G2 shows a change in polarization ratio intensity at a sample point. On the other hand, the band graph G3 includes an upper part (true value) and a lower part (detection result). The upper part (true value) indicates the actual road surface condition visually detected. The lower part (detection result) shows the detection result of the road surface state detected by the road surface state detection processing according to the present embodiment. The sample points detected as wet are shown in black, and the sample points detected as dry are shown as Shown in white. On the other hand, sample points that are inverted (white inversion in a wet state and black inversion in a dry state) indicate erroneous detection.
[0036]
FIG. 11 shows the detection accuracy calculated by comparing the actual road surface state visually determined with the detection result of the road surface state detection processing according to the present embodiment and calculating the degree of coincidence. In the figure, there are 67 sample points where the actual road surface state determined by visual observation is in a dry state, whereas in the road surface state detection processing according to the present embodiment, 63 of the 67 sample points are used. Detected as dry (number of correct answers). That is, the correct answer rate is 94.0%. On the other hand, there are 91 sample points where the actual road surface state determined by visual observation is in the wet state, whereas in the road surface state detection processing according to the present embodiment, 85 of the 91 sample points are in the wet state. (The number of correct answers). That is, the correct answer rate is 93.4%. As described above, although the actual road surface state by visual observation and the road surface state by the processing result of the road surface state detection processing according to the present embodiment have good results, although there is some overlap, the present embodiment The method of detecting the road surface condition at night was validated.
[0037]
Here, in the above-described embodiment, a method of first performing determination based on image luminance and then performing determination based on the polarization ratio intensity in the road surface state detection processing is employed, and more accurate detection of the road surface state is performed. Was made feasible. As can be seen from FIG. 10, when considering the variation of the line graph G1 with respect to the threshold with respect to the luminance, it is possible to grasp the general tendency of the road surface state only by the determination based on the image luminance. Therefore, in step S115 of the above-described road surface state detection processing, the road surface state is determined to be a dry state when the image luminance is equal to or higher than the threshold value for luminance, and the road surface state is determined to be a wet state when the image luminance is smaller than the threshold value for luminance. Even if this is done, although the accuracy is lower than the above-described method, it can be useful in that the processing configuration of the road surface state detection processing can be simplified and the processing can be speeded up.
[0038]
(4) Modification:
In the embodiment described above, the threshold value for the luminance is fixed. On the other hand, the setting of the irradiation of the headlight 30 can be changed stepwise. For example, the setting may be a low beam setting or a high beam setting. If the setting is different in this way, the intensity of the reflected light L2 due to the irradiation light L1 irradiated by the headlight 30 will be different. Therefore, if the luminance threshold is fixed, there may be cases where it is impossible to cope with the difference in the reflection intensity. Therefore, in this modification, a method of changing the setting of the threshold value for the luminance according to the setting of the headlight 30 is adopted. FIG. 12 is a flowchart showing the content of the brightness threshold value setting process executed by the CPU 11 when implementing such a function.
[0039]
In the figure, first, the lighting intensity (low beam setting or high beam setting) of the headlight 30 is acquired via the I / O 17 (step S205). Next, it is determined whether or not the obtained lighting intensity is the low beam setting (step S210). If it is determined that the lighting intensity is the low beam setting, the threshold data for the normal luminance stored in the ROM 14 is read (step S215). On the other hand, when it is determined that the lighting intensity is the high beam setting, the threshold data for the high beam luminance stored in the ROM 14 is read (step S220). Then, the threshold value data for the read luminance is set as a threshold value used in the above-described road surface state detection processing (step S225). By changing the brightness threshold for determining the image brightness in accordance with the change in the lighting intensity of the headlight 30 in this manner, a more accurate road surface condition capable of following the change in the lighting intensity including the aging of the headlight 30 To realize the detection.
[0040]
(5) Summary:
As described above, when detecting the road surface state (dry state or wet state) of the road surface R ahead of the vehicle 100 at night when the headlights 30 are turned on, the horizontal polarization image captured by the imaging unit 20 as the first stage The detection is performed based on the image luminance in the (or vertically polarized image), and when the image luminance is determined to be equal to or higher than the threshold value for the luminance (when the image luminance is smaller than the threshold value for the luminance, it is determined to be in the wet state). By performing a determination based on the polarization ratio based on the polarization characteristics of the same vertical polarization image and horizontal polarization image as a step, by determining that the road surface state is wet when it is determined that the polarization ratio intensity is equal to or greater than the threshold for the intensity. (If the polarization ratio intensity is smaller than the polarization ratio threshold value, it is determined that the vehicle is in a dry state.) It is possible to realize highly accurate detection of the road surface state. That.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a vehicle road surface state detecting device according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of an imaging unit.
FIG. 3 is a schematic diagram schematically showing a reflection state of irradiation light of a headlight when a road surface is in a dry state.
FIG. 4 is a schematic diagram schematically illustrating a reflection state of irradiation light of a headlight when a road surface is in a wet state.
FIG. 5 is a schematic diagram schematically illustrating a reflection state of irradiation light and external light of a street lamp in a headlight diagram when a road surface is in a dry state.
FIG. 6 is a schematic diagram schematically showing polarization characteristics of external light of a street light when a road surface is in a dry state.
FIG. 7 is a schematic diagram schematically showing a reflection state of irradiation light of a headlight and external light of a street lamp when a road surface is in a wet state.
FIG. 8 is a schematic diagram schematically showing polarization characteristics of external light of a street light when a road surface is in a wet state.
FIG. 9 is a flowchart showing a processing content of a road surface state detection processing.
FIG. 10 is a diagram showing a verification result of a road surface state detection process.
FIG. 11 is a diagram illustrating a result of verifying the accuracy of the verification result of the road surface state detection processing.
FIG. 12 is a flowchart showing processing contents of a luminance threshold value setting processing.
[Explanation of symbols]
10. Vehicle road surface condition detection device
11 CPU
12 AD converter
13. Frame memory
14 ... ROM
15 RAM
16 ... User interface
20: imaging unit
21 Half mirror box
22 ... Mirror
23 ... Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
27 ... Field memory
28: Field memory

Claims (4)

前方路面を撮像可能に車両に設置され、ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、
上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備することを特徴とする車両用路面状態検出装置。Image capturing means installed in the vehicle to be able to image the front road surface, and for capturing a vertical polarization image and a horizontal polarization image of the front road surface illuminated by headlights,
Image information acquisition means for acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and the horizontal polarization image,
It is determined whether or not the obtained image luminance is smaller than a threshold value for a predetermined luminance. Then, it is determined whether the obtained polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity, and when it is determined that the polarization ratio intensity is equal to or greater than the threshold value for the same intensity, the front road surface is detected as a wet state, and the intensity is determined. A road surface state detection device for detecting the front road surface as a dry state when it is determined that the road surface is smaller than a threshold value for the vehicle. 上記ヘッドライトの点灯強度を取得する点灯強度取得手段を有し、上記路面状態検出手段は、点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき同取得した点灯強度に応じて上記輝度に対する閾値を変化させることを特徴とする上記請求項１に記載の車両用路面状態検出装置。A lighting intensity acquisition unit configured to acquire the lighting intensity of the headlight, wherein the road surface state detection unit increases the threshold value for the luminance substantially in response to the increase in the lighting intensity, and obtains the lighting intensity acquired in the same manner. The vehicle road surface state detecting device according to claim 1, wherein a threshold value for the luminance is changed in accordance with the following. ヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出方法であって、
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、
上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備することを特徴とする車両用路面状態検出方法。A vehicle road surface state detection method for detecting a road surface state of a front road surface irradiated by a headlight,
An image capturing step of capturing a vertical polarization image and a horizontal polarization image of the front road surface illuminated by the headlights on an image capturing unit installed in the vehicle so that the front road surface can be captured;
Image information acquisition step of acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and the horizontal polarization image,
It is determined whether or not the obtained image luminance is smaller than a threshold value for a predetermined luminance. Then, it is determined whether the obtained polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity, and when it is determined that the polarization ratio intensity is equal to or greater than the threshold value for the same intensity, the front road surface is detected as a wet state, and the intensity is determined. A road surface state detecting step of detecting the front road surface as a dry state when it is determined that the road surface is smaller than a threshold value for the vehicle. ヘッドライトにて照射される前方路面の路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、
上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備することを特徴とする車両用路面状態検出装置の制御プログラム。A control program of a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state of a front road surface irradiated by headlights,
An image capturing function of capturing a vertical polarization image and a horizontal polarization image of the front road surface illuminated by the headlights on image capturing means installed in the vehicle so that the front road surface can be captured;
Image information acquisition function of acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the same vertical polarization image and horizontal polarization image,
It is determined whether or not the obtained image luminance is smaller than a threshold value for a predetermined luminance. Then, it is determined whether the obtained polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity, and when it is determined that the polarization ratio intensity is equal to or greater than the threshold value for the same intensity, the front road surface is detected as a wet state, and the intensity is determined. And a road surface state detecting function for detecting the front road surface as a dry state when it is determined that the road surface is smaller than a threshold value.
JP2003095729A 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program Expired - Fee Related JP4157790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003095729A JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003095729A JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Publications (2)

Publication Number Publication Date
JP2004301708A true JP2004301708A (en) 2004-10-28
JP4157790B2 JP4157790B2 (en) 2008-10-01

Family

ID=33407985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003095729A Expired - Fee Related JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Country Status (1)

Country Link
JP (1) JP4157790B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008003852A1 (en) * 2006-07-07 2008-01-10 Centre National De La Recherche Scientifique (C.N.R.S) Device for evaluating the state of wetting of a surface, evaluation method and associated indication device
JP2008122217A (en) * 2006-11-13 2008-05-29 Denso It Laboratory Inc Road surface state detector
JP2008191144A (en) * 2007-01-11 2008-08-21 Japan Aerospace Exploration Agency Optical spectropolarimeter
KR101171368B1 (en) 2010-05-18 2012-08-09 영남대학교 산학협력단 Method and system for controlling of adaptive front lighting
WO2013013563A1 (en) * 2011-07-25 2013-01-31 中兴通讯股份有限公司 Road surface ponding and icing detection method and device
CN102944522A (en) * 2012-10-17 2013-02-27 太原理工大学 Detection method for gas outburst based on polarization spectrum analysis
KR101378911B1 (en) 2009-12-25 2014-03-31 가부시키가이샤 리코 Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
CN104280221A (en) * 2013-07-12 2015-01-14 汽车交通工程有限公司 A method for evaluating a headlamp
WO2015088562A1 (en) * 2013-12-13 2015-06-18 Intel Corporation Adaptive zone of safety
CN105518490A (en) * 2014-12-04 2016-04-20 深圳市大疆创新科技有限公司 Object detection method and device, remote control moving equipment, and aircraft
CN111491416A (en) * 2019-01-25 2020-08-04 光宝电子(广州)有限公司 Lighting apparatus and control method thereof
CN112406877A (en) * 2019-08-20 2021-02-26 比亚迪股份有限公司 Vehicle control method and device
CN113826152A (en) * 2019-05-16 2021-12-21 株式会社小糸制作所 Traffic system and traffic infrastructure

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
CN108701356A (en) * 2017-06-29 2018-10-23 深圳市大疆创新科技有限公司 A kind of detection method, detection device and aircraft

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2903492A1 (en) * 2006-07-07 2008-01-11 Centre Nat Rech Scient DEVICE FOR EVALUATING THE SURFACE MOORING STATE, EVALUATION METHOD AND INDICATING DEVICE THEREFOR
WO2008003852A1 (en) * 2006-07-07 2008-01-10 Centre National De La Recherche Scientifique (C.N.R.S) Device for evaluating the state of wetting of a surface, evaluation method and associated indication device
US8269968B2 (en) 2006-07-07 2012-09-18 Centre National De La Recherche Scientifique (C.N.R.S.) Device for evaluating the state of wetting of a surface, evaluation method and associated indication device
JP2008122217A (en) * 2006-11-13 2008-05-29 Denso It Laboratory Inc Road surface state detector
JP2008191144A (en) * 2007-01-11 2008-08-21 Japan Aerospace Exploration Agency Optical spectropolarimeter
KR101378911B1 (en) 2009-12-25 2014-03-31 가부시키가이샤 리코 Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
KR101171368B1 (en) 2010-05-18 2012-08-09 영남대학교 산학협력단 Method and system for controlling of adaptive front lighting
WO2013013563A1 (en) * 2011-07-25 2013-01-31 中兴通讯股份有限公司 Road surface ponding and icing detection method and device
CN102944522A (en) * 2012-10-17 2013-02-27 太原理工大学 Detection method for gas outburst based on polarization spectrum analysis
CN104280221A (en) * 2013-07-12 2015-01-14 汽车交通工程有限公司 A method for evaluating a headlamp
WO2015088562A1 (en) * 2013-12-13 2015-06-18 Intel Corporation Adaptive zone of safety
US9656602B2 (en) 2013-12-13 2017-05-23 Intel Corporation Adaptive zone of safety
CN105518490A (en) * 2014-12-04 2016-04-20 深圳市大疆创新科技有限公司 Object detection method and device, remote control moving equipment, and aircraft
WO2016086380A1 (en) * 2014-12-04 2016-06-09 深圳市大疆创新科技有限公司 Object detection method and device, remote control mobile device and flight vehicle
CN111491416A (en) * 2019-01-25 2020-08-04 光宝电子(广州)有限公司 Lighting apparatus and control method thereof
CN111491416B (en) * 2019-01-25 2022-04-19 光宝电子(广州)有限公司 Lighting apparatus and control method thereof
CN113826152A (en) * 2019-05-16 2021-12-21 株式会社小糸制作所 Traffic system and traffic infrastructure
CN112406877A (en) * 2019-08-20 2021-02-26 比亚迪股份有限公司 Vehicle control method and device
CN112406877B (en) * 2019-08-20 2022-09-09 比亚迪股份有限公司 Vehicle control method and device

Also Published As

Publication number Publication date
JP4157790B2 (en) 2008-10-01

Similar Documents

Publication Publication Date Title
JP4157790B2 (en) Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program
JP5846872B2 (en) Image processing device
US8854455B2 (en) Method and device for processing recorded image information from a vehicle
JP4108631B2 (en) Control system that automatically dims vehicle headlights
KR102269956B1 (en) Method for evaluation of headlights
JPWO2008053521A1 (en) Light source control device, light source control method, and light source control program
CN106778534B (en) Method for identifying ambient light during vehicle running
JP4556133B2 (en) vehicle
CN104008518B (en) Body detection device
KR101459782B1 (en) A system for enhancing a night time image for a vehicle camera
JP6267493B2 (en) Arrow signal light detector
JP2007124676A (en) On-vehicle image processor
CN112798613A (en) LCD foreign matter defect color imaging detection method, electronic equipment and storage medium
JP5190204B2 (en) Road area snow detection device and road area snow detection method
US11882367B2 (en) Image processing method for producing a high dynamic range image of a scene
JPH05189694A (en) Vehicle detector
JP2004299443A (en) ROAD SURFACE state DETECTION DEVICE FOR VEHICLE, ROAD SURFACE state DETECTION METHOD FOR VEHICLE, AND CONTROL PROGRAM OF ROAD SURFACE state DETECTION DEVICE FOR VEHICLE
JP3057996B2 (en) Eye position detection device for vehicle driver
JP4011505B2 (en) Road surface state detection device, road surface state detection method, and road surface state detection program
JP2007257242A (en) White line recognition device
JPH11219493A (en) Method for processing traffic information
CN111751085A (en) Car light replacement reminding method and device
JP4967132B2 (en) Defect inspection method for object surface
JP2004084498A (en) Engine evaluation device and method
JP2000285379A (en) Image type vehicle sensor

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060302

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140718

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees