JP2004299443A - ROAD SURFACE state DETECTION DEVICE FOR VEHICLE, ROAD SURFACE state DETECTION METHOD FOR VEHICLE, AND CONTROL PROGRAM OF ROAD SURFACE state DETECTION DEVICE FOR VEHICLE - Google Patents
ROAD SURFACE state DETECTION DEVICE FOR VEHICLE, ROAD SURFACE state DETECTION METHOD FOR VEHICLE, AND CONTROL PROGRAM OF ROAD SURFACE state DETECTION DEVICE FOR VEHICLE Download PDFInfo
- Publication number
- JP2004299443A JP2004299443A JP2003091927A JP2003091927A JP2004299443A JP 2004299443 A JP2004299443 A JP 2004299443A JP 2003091927 A JP2003091927 A JP 2003091927A JP 2003091927 A JP2003091927 A JP 2003091927A JP 2004299443 A JP2004299443 A JP 2004299443A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- intensity
- vehicle
- surface state
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関し、特に、車両前方路面の路面状態を検出する車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、撮像した路面の垂直偏光画像および水平偏光画像の垂直偏光成分および水平偏光成分の各偏光成分の比である偏光比強度を算出するとともに、同算出した偏光比強度に基づいて路面が湿潤状態であるか乾燥状態であるかを検出するものが知られている（例えば、非特許文献１を参照。）。
【０００３】
【非特許文献１】
第１４回 外観検査の自動化ワークショップ ＶＩＥＷ２００２（２００２．１２．５−６ 横浜）にて発表された「車載型路面状態検出センサの開発」
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置を車両に搭載した場合、算出する偏光比強度に走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズが含まれてしまうという問題があった。このとき、かかる従来の路面状態検出装置に慣用技術である移動平均手法等を用いてノイズを低減させることも可能であるが、この路面状態検出装置は定点観測を前提としているため、走行中に変動する走行速度に応じて要求される検出性能に動的に対応することはできない。
【０００５】
本発明は、上記課題にかんがみてなされたもので、ノイズを取り除いて路面状態の検出精度を向上させるとともに、車両の走行速度に応じて路面状態の検出性能を得ることが可能な車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、前方路面を撮像可能に車両に設置され、同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出手段と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算手段と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御手段と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、車両の前方路面を撮像可能に画像撮像手段を設置し、この画像撮像手段にて前方路面の垂直偏光画像と水平偏光画像を撮像する。次に、偏光比強度算出手段は垂直偏光画像と水平偏光画像の偏光比強度を算出する。ここで、移動平均強度演算手段は偏光比強度が算出される毎に、偏光比強度の時系列データに関して、所定期間の平均を演算する。本発明ではこの演算結果を移動平均強度と呼ぶ。次に、移動平均強度演算手段が移動平均強度を演算するにあたり、演算制御手段は、車両の走行速度を取得し、この走行速度に基づいて所定期間を変化させる。ここで、演算制御手段は、車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づいて上述した所定期間の変化を行う。そして、路面状態判別手段は、演算された移動平均強度が所定の閾値以上である場合、路面状態が略湿潤状態であると判別する。
【０００８】
このように、偏光比強度を算出する際に、いわゆる移動平均を導入することによって偏光比強度に発生し得る高周波成分のノイズを取り除くことが可能になり、偏光比強度の算出精度を向上させるとともに、路面状態の検出精度を向上させることが可能になる。また、この移動平均を演算する際に移動平均の重みとなる所定期間を走行速度の関数（走行速度の上昇に略対応させて所定期間を低減させる関数）として扱うことによって、高速走行時のように早急な判断が必要となる場合は、レスポンス性を重視した路面状態の検出を行うことが可能になるとともに、低速走行時は検出安定性を重視した路面状態の検出を行うことが可能になる。
【０００９】
また、請求項２にかかる発明は、上記請求項１に記載の車両用路面状態検出装置において、上記演算制御手段は、上記走行速度と上記所定期間との対応関係を予め規定した対応パターンを記憶する対応パターン記憶手段を有し、上記取得した走行速度に基づいて同対応パターンを検索し、上記移動平均強度を演算する際の所定期間を決定する構成としてある。
上記のように構成した請求項２にかかる発明において、演算制御手段は対応パターン記憶手段に予め走行速度と所定期間との対応関係を規定した対応パターンを記憶しておく。そして、取得した走行速度に基づいて、この対応パターン記憶手段に記憶されている対応パターンを検索し、取得した走行速度に対応した所定期間を取得し、同取得した所定期間により、移動平均強度を演算する際の所定期間を決定する。
【００１０】
さらに、請求項３にかかる発明は、上記請求項１または請求項２のいずれかに記載の車両用路面状態検出装置において、上記対応パターン記憶手段は、上記判別される路面状態に応じて上記走行速度と上記所定期間との対応関係を予め規定した複数の対応パターンを記憶し、上記演算制御手段は、上記路面状態判別手段にて判別された路面状態に対応する対応パターンに基づいて上記所定期間を決定する構成としてある。
上記のように構成した請求項３にかかる発明においては、対応パターン記憶手段に判別される路面状態に応じた複数の対応パターンを記憶させておく。そして、演算制御手段は、路面状態判別手段にて判別された路面状態に対応する対応パターンを対応パターン記憶手段から取得し、同取得した対応パターンに従って移動平均を演算する際の所定期間を決定する。
【００１１】
さらに、請求項４にかかる発明は、上記請求項１〜請求項３のいずれかに記載の車両用路面状態検出装置において、上記偏光比強度算出手段は、上記算出した偏光比強度を算出する毎に前回算出した偏光比強度と今回算出した偏光比強度とを比較するとともに、各偏光比強度の変化度合いが所定の閾値以上であるか否かを判別し、同判別にて変化度合いが所定の閾値以上であると判別された場合に、今回算出した偏光比強度を前回算出した偏光比強度に置換する構成としてある。
上記のように構成した請求項４にかかる発明においては、偏光比強度算出手段は、算出した偏光比強度を算出する毎に前回算出した偏光比強度と今回算出した偏光比強度とを比較する。そして、各偏光比強度の変化度合いが所定の閾値以上であるか否かを判別し、判別にて変化度合いが所定の閾値以上であると判別した場合に、今回算出した偏光比強度を前回算出した偏光比強度に置換する。
【００１２】
さらに、請求項５にかかる発明は、上記請求項４に記載の車両用路面状態検出装置において、上記偏光比強度算出手段は、上記偏光比強度算出手段は、上記走行速度の上昇に略対応して上記閾値の設定を減少させて設定する構成としてある。
上記のように構成した請求項５にかかる発明において、偏光比強度算出手段は変化度合いが閾値以上であるか否かを判別する際に、走行速度を取得し、この走行速度に基づいてこの閾値を変化させる。ここでは、走行速度の上昇に略対応して閾値の設定を減少させて設定する。
【００１３】
ここで、上述してきた車両に配置され前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する車両用路面状態検出装置は、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する手順を提示した方法としても成立することは言うまでもない。
そこで、請求項６にかかる発明においては、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する車両用路面状態検出方法であって、上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出工程と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算工程と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御工程と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別工程とを具備する構成とする。
必ずしも実体のある車両用路面状態検出装置に限らず、車両用路面状態検出方法としても有効であることに相違はない。
【００１４】
また、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する方法および装置は、上述した車両用路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。
【００１５】
その一例として請求項７にかかる発明においては、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出機能と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算機能と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御機能と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別機能とを具備する構成としてある。
【００１６】
すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１７】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１８】
【発明の効果】
以上説明したように本発明は、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能（検出安定性あるいはレスポンス性）に動的に対応することが可能な車両用路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、予め対応パターンを規定しておくことにより、走行速度に対応する所定期間を高速に決定することが可能になる。
さらに、請求項３にかかる発明によれば、路面状態に応じて適宜対応パターンを可変させることによって路面状態に適した性能を実現可能にする。
さらに、請求項４にかかる発明によれば、インパルス的なノイズを取り除くことが可能になる。
【００１９】
さらに、請求項５にかかる発明によれば、走行速度の状況に応じて発生環境が変わりうるインパルス的なノイズをこの走行速度の状況に応じて適切に取り除くことが可能になる。
さらに、請求項６にかかる発明によれば、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能（検出安定性あるいはレスポンス性）に動的に対応することが可能な車両用路面状態検出方法を提供することができる。
さらに、請求項７にかかる発明によれば、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能（検出安定性あるいはレスポンス性）に動的に対応することが可能な車両用路面状態検出装置の制御プログラムを提供することができる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）車両用路面状態検出装置の構成：
（２）路面状態検出処理の処理内容：
（３）変形例１：
（４）変形例２：
（５）まとめ：
【００２１】
（１）車両用路面状態検出装置の構成：
図１は、本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。同図において、車両用路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、ＲＯＭ１４と、ＲＡＭ１５と、ユーザインターフェース部１６とを制御可能になっており、ＣＰＵ１１はＲＯＭ１４に格納されている所定機能を実現可能にする制御プログラムをＲＡＭ１５をワークエリアとして使用しつつ実行可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されている。
【００２２】
従って、撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では撮像部２０にて路面を撮像する。本実施形態においては後述するとおり、撮像部２０にて車両の前方路面の垂直偏光画像と水平偏光画像を撮像し、この垂直偏光画像および水平偏光画像の偏光特性を利用して路面状態を検出する。このとき、垂直偏光画像の輝度情報に基づいた垂直偏光成分の強度と、水平偏光画像の輝度情報に基づいた水平偏光成分の強度とに基づいて路面状態を検出する。また、ユーザインターフェース部１６は車載テレビ等とのインターフェースであり検出した結果を同車載テレビに表示することによって運転者に通知可能になっている。
【００２３】
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述したとおり車両の前方路面を撮像する。このとき、路面から入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８とを有する構成となっている。
【００２４】
かかる構成において、視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像を形成する。そして、このように形成された垂直偏光画像はフィールドメモリ２７に格納される。また、水平偏光画像はフィールドメモリ２８に格納される。このフィールドメモリ２７，２８に格納された垂直偏光画像および水平偏光画像はＡＤ変換器１２を介してフレームメモリ１６に転送し、一旦格納させる。
本実施形態における撮像部２０では、上述のとおり、入射する視野像をハーフミラーボックス２１によって２つに分岐させることによって、垂直偏光画像および水平偏光画像を撮像することが可能な構成を採用した。むろん、垂直偏光画像および水平偏光画像を撮像する構成は、これに限定されるものではなく、例えば、垂直偏光フィルタを装着したＣＣＤと、水平偏光フィルタを装着したＣＣＤとにて個別に視野像を入射することにより、垂直偏光画像および水平偏光画像を撮像する構成を採用しても良い。また、これらに限定されるものでもなく、垂直偏光画像および水平偏光画像を撮像することが可能な構成であれば適宜選択可能である。
【００２５】
図３は、車両に車両用路面状態検出装置１０を搭載した場合における撮像部２０の撮像視野について模式的に示した模式図である。
同図において、撮像部２０は車両の前方の視野像を撮像可能に配置されている。このとき、撮像部２０の撮像視野と運転者の視野とを略同等にするため、当該撮像部２０をフロントガラスの上部位置に設置する。そして、運転者の視野範囲である全景を撮像部２０にて視野像として取得するため、同撮像部２０の設置俯角を本実施形態においては約３３°に設定する。このように約３３°の設置俯角を設定することによって、前方における路面Ｒの検出範囲は７１°〜８８°となり、撮像部２０の設置位置から車両前方に向けて約５０ｍの路面Ｒを視野像として取得することが可能になる。そして、この視野像における路面Ｒについて上述した垂直偏光画像および水平偏光画像を撮像する。ここで、この垂直偏光画像および水平偏光画像は路面の状態（乾燥状態もしくは略湿潤状態）に応じて偏光成分の特性が変化する。次に、この偏光成分の特性について説明する。
【００２６】
図４は、路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。
【００２７】
図５は、路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
同図において、路面Ｒが略湿潤状態の場合は、路面Ｒの凹凸面（粗面）に水が溜まることによって鏡面となるため、撮像部２０に入射される光はこの鏡面にて反射したものとなる。このように鏡面においては、反射光が偏光特性を示すことになる。このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。
【００２８】
この略湿潤状態において垂直偏光成分の強度と水平偏光成分の強度とにより示される偏光特性は、垂直偏光成分の路面Ｒにおける反射率をＲｓおよび水平偏光成分の路面Ｒにおける反射率をＲｐとし、入射光強度を強度Ｉとして場合、この強度Ｉに対する反射光の強度は次式（１）にて表現される。ここで、Ｉｓは垂直偏光成分の強度を示し、Ｉｐは水平偏光成分の強度を示している。
Ｉｓ＝Ｒｓ＊Ｉ
Ｉｐ＝Ｒｐ＊Ｉ ・・・式（１）
すなわち、反射光の強度は入射光の入射角度に依存することになる。ここで、入射光の入射角度と垂直偏光成分の強度，水平偏光成分の強度および相互の強度の比である偏光比強度との関係を図６の関係図に示す。同図おいて、鏡面における反射光の水平偏光成分は、入射角がブリュースタ角５３．１°に等しいときに強度が０となり、垂直偏光成分の反射光の強度は入射角度の増大に伴って漸増する特性を示す。一方、路面が乾燥状態の場合、上述のとおり表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。従って、垂直偏光フィルタ２３および水平偏光フィルタ２４を介して撮像された垂直偏光画像および水平偏光画像の輝度情報から偏光特性に基づいて路面状態を判別できることになる。
【００２９】
図７は、上述してきた構成にて撮像した垂直偏光画像および水平偏光画像から算出した垂直偏光成分の強度および水平偏光成分の強度の比である偏光比強度の時間推移を示した図である。
同図においては、横軸に時刻変化を規定し、縦軸に偏光比強度の変化を規定している。本実施形態においては、偏光比強度に基づいて路面が湿潤（強）状態であるか、湿潤（弱）状態であるか、乾燥状態であるかを検出する。本実施形態においては、偏光比強度が略１２０以上の場合に路面状態を湿潤（強）状態と検出し、偏光比強度が略４０以上であり１２０より小さい場合に路面状態を湿潤（弱）状態と検出し、偏光比強度が４０より小さい場合に路面状態を乾燥状態と検出している。
【００３０】
ここで、この偏光比強度の時刻変化では▲１▼および▲２▼に指し示したようなインパルス的なノイズが含まれたり、高周波成分のノイズが信号全体に重畳している。このインパルス的なノイズは、突然の逆光あるいは影によって外界の輝度が大きく変化した場合に、撮像部２０がこの変化に追従できないため発生する。かかる場合、垂直偏光画像および水平偏光画像は真っ白あるいは真っ黒になる。この画像がインパルス的なノイズとして表出することになる。一方、高周波成分のノイズは、撮像部２０の車載搭載条件が原因となっている。すなわち、図６に示したとおり撮像部２０の設置俯角が上述したブリュースタ角である場合には最大効率の偏光特性を示す垂直偏光画像および水平偏光画像を撮像できるが、運転者からの全景を視野像にすることを考慮した設置俯角（図６において網掛けで表示した領域）では同偏光特性の効率は低くなってしまう。
【００３１】
そこで、本実施形態においては、このインパルス的なノイズおよび高周波成分のノイズを取り除くことにより、精度の高い偏光比強度を取得し、精度の高い路面状態の検出を行うことを実現する。ここで、かかる機能を実現するに際して本実施形態では、車両の走行速度や走行状態に応じたインパルス的なノイズおよび高周波成分のノイズの除去を行うことを特徴としている。すなわち、単にインパルス的なノイズおよび高周波成分のノイズを取り除くのではなく、適宜変化し得る車両の状況に応じてノイズの除去態様を変更にすることによって、車両の状況に応じた適切な路面状態の検出を可能にする。かかる機能を実現するために、本実施形態にかかる車両用路面状態検出装置１０では、次に説明する路面状態検出処理を実行する。
【００３２】
（２）路面状態判別処理の処理内容：
図８は、ＣＰＵ１１の制御によって実行される路面状態判別処理の処理内容を示したフローチャートである。
同図において、先ず最初に撮像部２０にて路面Ｒの垂直偏光画像および水平偏光画像を撮像させるとともに、この撮像した垂直偏光画像および水平偏光画像をフレームメモリ１３に転送させて一旦格納させる（ステップＳ１０５）。次に、このフレームメモリ１３に格納された垂直偏光画像および水平偏光画像を読み出しつつ各画像の輝度情報を抽出するとともに、同抽出した輝度情報に基づいて当該垂直偏光画像の垂直偏光成分および水平偏光画像の水平偏光成分の強度を算出し（ステップＳ１１０）、この算出した各強度の比である偏光比強度を算出する（ステップＳ１１５）。そして、この今回算出した偏光比強度と、前回の偏光比強度と差分の絶対値を演算し、この差分の絶対値が閾値Ｔ１より大きいか否かを判別する（ステップＳ１２０）。
【００３３】
差分の絶対値が閾値Ｔ１より大きいと判別した場合は、前回の偏光比強度を今回の偏光比強度に置き換える。これにより前回の偏光比強度からインパルス的に閾値Ｔ１より大きい変化度合いで変化するノイズ的な偏光比強度を取り除くことができる（ステップＳ１２５）。むろん、計測開始においては前回の偏光比強度は初期値（例えば０）であるため、かかる処理を実行しないことは言うまでもない。また、この処理で今回の偏光比強度とされたデータはＲＡＭ１５に格納する。そして、次の処理でこのＲＡＭ１５に格納した次回の偏光比強度として利用することになる。ここで、このインパルス的なノイズの除去を実現する手法を次式（２）に示す。ＩＦは条件分岐を示しており、ｅｌｓｅではＩＦでの条件を満たさなかった場合の処置を示している。
【００３４】
ここで、かかるインパルス的なノイズを取り除く処理のみを行った場合の偏光比強度の時間推移を図９に示しておく。同図と先に示した図７とを比較すると、図７にて▲１▼および▲２▼で指し示したインパルス的なノイズが除去できていることが分かる。これにより、上述した原因で撮像されてしまう画像を排除することが可能になり、算出される偏光比強度の精度を向上させることが可能になる。このようにインパルス的なノイズを取り除いた後に、高周波成分のノイズを低減させるため、本実施形態では算出した偏光比強度の移動平均を演算する。ここで、移動平均とは今回算出した偏光比強度と所定回数分の前回算出された偏光比強度との平均であり、次式（３）にて演算される。
ｆ（ｔ＋１）＝１／Ｎ＊ΣＡ（ｔ−ｊ＋１） ・・・式（３）
ただし、Ｎは上述した所定回数であり本実施形態では移動平均パラメータと呼ぶ。ｆ（ｔ）は高周波成分のノイズを低減させた偏光比強度であり本実施形態では移動平均強度と呼ぶ。ｊ（ｔ）は実測にて算出された偏光比強度を示している。また、Σの演算はｊ＝１からＮまで行う。
【００３５】
この移動平均を演算するに際して、先ず最初に所定の手法に基づいて車両の走行速度を取得する（ステップＳ１３０）。この走行速度の取得方法は既存の技術を利用すれば良く特に言及しない。そして、ＲＯＭ１４から所定の対応テーブルを読み出す。この対応テーブルのテーブル構成を図１０に示す。同図において、対応テーブルＡ１は走行速度Ｖと移動平均パラメータＮとの対応関係を規定している。ここで本実施形態においては、走行速度Ｖの上昇に略対応させて移動平均パラメータＮを低減させている。ここで、移動平均パラメータＮは、本発明にかかる移動平均強度演算手段にて演算に使用する所定期間に対応している。かかる対応テーブルＡ１に基づいて取得した走行速度Ｖに対応する移動平均パラメータＮを決定し（ステップＳ１３５）、上述した式（３）により移動平均強度を演算する（ステップＳ１４０）。
【００３６】
ここで、インパルス的なノイズを取り除く処理を行った後に、かかる移動平均による高周波成分のノイズの低減を行った際の偏光比強度の時間推移を図１１に示しておく。同図と先に示した図９とを比較すると、全体的に偏光比強度の変移がなだらかに変化していることが分かる。すなわち、高周波成分が取り除かれていることが分かる。これにより、偏光比強度の精度を向上させることが可能になる。そして、次にこの演算した移動平均強度に基づいて路面状態を検出する処理に移行する。先ず最初に演算した移動平均強度が閾値Ｔ２以上であるか否かを判別し（ステップＳ１４５）、閾値Ｔ２以上であると判別した場合は、路面状態が湿潤（強）状態であると検出する（ステップＳ１５０）。
【００３７】
また、移動平均強度が閾値Ｔ３以上であるとともに、閾値Ｔ２より小さいと判別した場合は（ステップＳ１５５）、路面状態が湿潤（弱）状態であると検出する（ステップＳ１６０）。一方、移動平均強度が閾値Ｔ３より小さいと判別した場合は、路面状態が乾燥状態であると検出する（ステップＳ１６５）。以上のように路面状態を検出すると、ユーザインターフェース部１６の制御を介して当該検出された各路面状態を車載テレビに表示し、運転者において視認可能に通知する（ステップＳ１７０）。むろん、この通知は車載テレビに表示する態様に限定されず、スピーカから音のみで通知しても良いし、フロントパネルに配置されたランプなどの発光手段にて通知しても良い。このとき路面状態、例えば湿潤度合いに従って音量もしくは発光色を変化させればより好ましい。
【００３８】
ここで、移動平均強度を演算す際の移動平均パラメータＮは、高周波成分についての平滑化の度合いを直接左右するものであり、この移動平均パラメータＮの値を大きくすれば路面状態の検出安定性は高くなるが、レスポンス性（応答性）は損なわれる。両者はトレードオフの関係にあるため、単純に移動平均パラメータＮを固定値としてしまうと、路面状態を検出する性能を損なうことになる。そこで、本実施形態においては、上述したように移動平均パラメータＮを走行速度Ｖの関数（走行速度Ｖの上昇に略対応させて移動平均パラメータＮを低減させる関数）として扱い、路面状態の検出安定性およびレスポンス性を制御する。すなわち、高速走行時は早急な判断を必要とするため、レスポンス性を重視して移動平均パラメータＮを小さく設定し、低速走行時は検出安定性を重視するために移動平均パラメータＮを大きく設定する。
【００３９】
上述した実施形態においては、インパルス的なノイズの低減と、高周波成分のノイズの低減とを組み合わせて路面状態検出処理を実行する態様を採用したが、むろん、インパルス的なノイズの低減に関する処理を単独に実行し、処理結果の偏光比強度に基づいて路面状態を検出する態様を採用しても良いし、高周波成分のノイズの低減に関する処理を単独に実行し、処理結果の偏光比強度に基づいて路面状態を検出する態様を採用しても良く、その態様は適宜選択可能である。
【００４０】
（３）変形例１：
ここで、上述した実施形態においてはＲＯＭ１４に予め格納された対応テーブルＡ１に基づいて移動平均パラメータＮを決定する態様を採用した。一方、検出安定性やレスポンス性を鑑みた場合、路面状態に応じて重視される性能が異なってくると考えられる。例えば、雨天時においては走行速度Ｖに拘わらず路面状態の検出にレスポンス性が主に要求されると考えられる。一方、晴天時においては、検出安定性が主に要求されると考えられる。そこで、ＲＯＭ１４に走行速度Ｖと移動平均パラメータＮと対応関係について異なる関数にて表現される複数の対応テーブルを予め格納しておき、検出された路面状態に応じて適宜移動平均の演算に利用する対応テーブルを切り替えるようにしても良い。
【００４１】
複数の対応テーブルのテーブル構成の一例を図１２に示す。同図において、本実施形態では、雨天用対応テーブルＡ２と、通常対応テーブルＡ３とをＲＯＭ１４に予め格納しておく態様を採用する。雨天用対応テーブルＡ２は走行速度Ｖの上昇に略対応させて移動平均パラメータＮを低減させているが、その低減度合いを小さくするとともに、全体的に移動平均パラメータＮを小さく設定してある。これにより走行速度Ｖの変化全般に亘ってレスポンス性を重視した路面状態の検出を実現可能にする。一方、通常対応テーブルＡ３は上述した対応テーブルＡ１と同等であり、走行速度Ｖに応じて検出安定性およびレスポンス性を取得可能になっている。
【００４２】
図１３は、かかる機能を実現する際にＣＰＵ１１にて実行される対応テーブル設定処理の処理内容を示したフローチャートである。
同図において、先ず最初に路面状態検出処理にて検出された路面状態を取得するとともに（ステップＳ２０５）、取得した路面状態が湿潤状態を示すものであるか否かを判別する（ステップＳ２１０）。取得した路面状態が湿潤状態であると判別した場合は、湿潤状態変数Ｘをインクリメントする（ステップＳ２１５）。次に、この湿潤状態変数Ｘが所定の閾値Ｔ４以上であるか否かを判別し（ステップＳ２２０）、閾値Ｔ４より小さい場合はステップＳ２０５に戻る。一方、閾値Ｔ４以上であると判別した場合は、路面状態が継続的に湿潤状態を示していると判断し、雨天であると判断する。そして、ＲＯＭ１４に格納された雨天用対応テーブルＡ２を移動平均パラメータＮの決定用の対応テーブルとして設定する（ステップＳ２２５）。
【００４３】
これによって、路面状態検出処理におけるステップＳ１３５では雨天用対応テーブルＡ２に基づいた移動平均パラメータＮを決定することが可能になる。一方、ステップＳ２１０にて乾燥状態であると判別した場合は、乾燥状態変数Ｙをインクリメントする（ステップＳ２３０）。次に、この乾燥状態変数Ｙが所定の閾値Ｔ５以上であるか否かを判別し（ステップＳ２３５）、閾値Ｔ５より小さい場合はステップＳ２０５に戻る。一方、閾値Ｔ５以上であると判別した場合は、路面状態が継続的に乾燥状態を示していると判断し、晴天であると判断する。そして、ＲＯＭ１４に格納された通常対応テーブルＡ３を移動平均パラメータＮの決定用の対応テーブルとして設定する（ステップＳ２４０）。これによって、路面状態検出処理におけるステップＳ１３５では通常対応テーブルＡ３に基づいた移動平均パラメータＮを決定することが可能になる。
【００４４】
（４）変形例２：
上述したようにインパルス的なノイズは、突然の逆光あるいは影によって外界の輝度が大きく変化した場合に、撮像部２０がこの変化に追従できないため発生する。従って、車両の走行速度が高速の場合は突然外界の輝度が大きく変化する可能性が高くなるので、かかるノイズが発生し易い環境となる。従って、高速走行時は閾値Ｔ１の値を小さく設定し、よりインパルス的なノイズを除去可能な状態とし、低速走行時は閾値Ｔ１を大きく設定するようにしても良い。ここで、図１４は、かかる機能を実現する際にＣＰＵ１１にて実行される閾値設定処理の処理内容を示したフローチャートである。
同図において、先ず最初に所定の手法にて車両の走行速度を取得する（ステップＳ３０５）。 次に、この走行速度が所定の高速走行もしくは低速走行を判別するための所定の閾値Ｔ６以上であるか否かを判別し（ステップＳ３１０）、走行速度が閾値Ｔ６以上であると判別した場合は、閾値Ｔ１に通常の値より小さい値の閾値Ｔ１’を代入し、同閾値Ｔ１（＝Ｔ１’）に基づいてインパルス的なノイズを取り除く（ステップＳ３１５）。一方、走行速度が閾値Ｔ６より小さいと判別した場合は、通常の閾値Ｔ１に基づいてインパルス的なノイズを取り除く（ステップＳ３２０）。
【００４５】
（５）まとめ：
このように、偏光比強度を算出した際にインパルス的なノイズと高周波成分のノイズとを取り除くことにより、偏光比強度の算出精度を向上させるとともに、路面状態の検出精度を向上させることが可能になる。また、高周波成分のノイズを取り除くにあたり移動平均を演算する際に、移動平均の重みとなる移動平均パラメータＮを走行速度Ｖの関数（走行速度Ｖの上昇に略対応させて移動平均パラメータＮを低減させる関数）として扱うことによって、高速走行時のように早急な判断が必要となる場合は、レスポンス性を重視した路面状態の検出を行うことが可能になるとともに、低速走行時は検出安定性を重視した路面状態の検出を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】車両に車両用路面状態検出装置を搭載した場合における撮像部の撮像視野について模式的に示した模式図である。
【図４】路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
【図５】路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
【図６】入射光の入射角度と垂直偏光成分の強度，水平偏光成分の強度および相互の強度の比である偏光比強度との関係を示した関係図である。
【図７】各ノイズが含まれている状態の偏光比強度の時間推移を示した図である。
【図８】路面状態判別処理の処理内容を示したフローチャートである。
【図９】インパルス的なノイズを取り除いた状態の偏光比強度の時間推移を示した図である。
【図１０】ＲＯＭに格納された対応テーブルのテーブル構成を示した図である。
【図１１】各ノイズを取り除いた状態の偏光比強度の時間推移を示した図である。
【図１２】ＲＯＭに格納された複数の対応テーブルのテーブル構成を示した図である。
【図１３】対応テーブル設定処理の処理内容を示したフローチャートである。
【図１４】閾値設定処理の処理内容を示したフローチャートである。
【符号の説明】
１０…車両用路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…ＲＯＭ
１５…ＲＡＭ
１６…ユーザインターフェース部
２０…撮像部
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
２７…フィールドメモリ
２８…フィールドメモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle road surface state detection device, a vehicle road surface state detection method, and a control program of the vehicle road surface state detection device, and more particularly to a vehicle road surface state detection device that detects a road surface state of a road surface in front of a vehicle, a vehicle road surface. The present invention relates to a state detection method and a control program for a vehicle road surface state detection device.
[0002]
[Prior art]
Conventionally, this kind of road surface state detecting apparatus calculates a polarization ratio intensity, which is a ratio of each polarization component of a vertical polarization component and a horizontal polarization component of a captured vertical polarization image and a horizontal polarization image, and calculates the calculated polarization. There is known an apparatus that detects whether a road surface is in a wet state or a dry state based on specific strength (for example, see Non-Patent Document 1).
[0003]
[Non-patent document 1]
"Development of on-vehicle road surface condition detection sensor" announced at the 14th Visual Inspection Automation Workshop VIEW2002 (2002.2.5-6 Yokohama)
[0004]
[Problems to be solved by the invention]
When the above-described conventional road surface state detection device is mounted on a vehicle, there is a problem that the calculated polarization ratio intensity includes noise generated due to an external light state that changes during traveling or an installation depression angle of an in-vehicle camera. there were. At this time, it is possible to reduce noise using a moving average method or the like which is a conventional technique for such a conventional road surface state detecting device, but since this road surface state detecting device is premised on fixed point observation, during traveling, It is not possible to dynamically respond to the required detection performance according to the changing traveling speed.
[0005]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is possible to improve detection accuracy of a road surface state by removing noise and to obtain a road surface state detection performance according to a traveling speed of a vehicle. It is an object of the present invention to provide a detection device, a vehicle road surface state detection method, and a control program for a vehicle road surface state detection device.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to
[0007]
In the invention according to
[0008]
As described above, when calculating the polarization ratio intensity, it is possible to remove high frequency component noise that may be generated in the polarization ratio intensity by introducing a so-called moving average, thereby improving the calculation accuracy of the polarization ratio intensity. Thus, it is possible to improve the detection accuracy of the road surface condition. In addition, when the moving average is calculated, a predetermined period that is a weight of the moving average is treated as a function of the traveling speed (a function of reducing the predetermined period substantially corresponding to an increase in the traveling speed), so that a high-speed traveling is realized. When it is necessary to make an urgent determination, it is possible to detect the road surface state with emphasis on responsiveness, and it is possible to detect the road surface state with emphasis on detection stability during low-speed driving .
[0009]
According to a second aspect of the present invention, in the vehicle road surface state detecting device according to the first aspect, the arithmetic control means stores a correspondence pattern in which a correspondence between the traveling speed and the predetermined period is defined in advance. Corresponding pattern storage means for searching for the corresponding pattern based on the acquired traveling speed, and determining a predetermined period for calculating the moving average intensity.
In the invention according to claim 2 configured as described above, the arithmetic and control unit stores in advance the correspondence pattern that defines the correspondence between the traveling speed and the predetermined period in the correspondence pattern storage unit. Then, based on the acquired traveling speed, the corresponding pattern stored in the corresponding pattern storage means is searched, a predetermined period corresponding to the acquired traveling speed is acquired, and the moving average intensity is obtained by the acquired predetermined period. A predetermined period for calculation is determined.
[0010]
Further, according to a third aspect of the present invention, in the vehicle road surface state detecting device according to any one of the first and second aspects, the corresponding pattern storage means stores the traveling state in accordance with the determined road surface state. A plurality of correspondence patterns preliminarily defining a correspondence relationship between a speed and the predetermined period are stored, and the arithmetic control unit is configured to perform the predetermined period based on the corresponding pattern corresponding to the road surface state determined by the road surface state determination unit. Is determined.
In the invention according to claim 3 configured as described above, a plurality of corresponding patterns corresponding to the determined road surface conditions are stored in the corresponding pattern storage means. Then, the arithmetic control unit obtains a corresponding pattern corresponding to the road surface state determined by the road surface state determining unit from the corresponding pattern storage unit, and determines a predetermined period for calculating a moving average according to the obtained corresponding pattern. .
[0011]
Further, according to a fourth aspect of the present invention, in the vehicle road surface condition detecting device according to any one of the first to third aspects, the polarization ratio intensity calculation means calculates the polarization ratio intensity each time the calculated polarization ratio intensity is calculated. In addition to comparing the previously calculated polarization ratio intensity with the currently calculated polarization ratio intensity, it is determined whether or not the degree of change of each polarization ratio intensity is equal to or greater than a predetermined threshold. When it is determined that the polarization ratio intensity is equal to or larger than the threshold value, the polarization ratio intensity calculated this time is replaced with the polarization ratio intensity calculated last time.
In the invention according to
[0012]
Further, according to a fifth aspect of the present invention, in the vehicle road surface condition detecting device according to the fourth aspect, the polarization ratio intensity calculating means substantially corresponds to the increase in the traveling speed. In this case, the setting of the threshold is reduced and set.
In the invention according to claim 5 configured as described above, the polarization ratio intensity calculating means obtains the traveling speed when determining whether or not the degree of change is equal to or greater than the threshold value, and determines the threshold value based on the traveling speed. To change. Here, the setting of the threshold value is reduced and set substantially corresponding to the increase in the traveling speed.
[0013]
Here, the vehicular road surface state detection device that is disposed on the vehicle and detects the road surface state based on the polarization ratio intensity of the vertical polarization image and the horizontal polarization image of the front road surface includes the vertical polarization image and the horizontal polarization of the road surface in front of the vehicle. It goes without saying that the present invention is also applicable to a method in which a procedure for detecting a road surface state based on the polarization ratio intensity of an image is presented.
Therefore, an invention according to claim 6 is a vehicle road surface state detection method for detecting a road surface state based on a polarization ratio intensity of a vertical polarization image and a horizontal polarization image of a vehicle front road surface, wherein the front road surface can be imaged. An image capturing step of capturing the vertical polarization image and the horizontal polarization image by an imaging unit installed in a vehicle; a polarization ratio intensity calculation step of calculating a polarization ratio intensity of the vertical polarization image and the horizontal polarization image; A moving average intensity calculating step of calculating a moving average intensity corresponding to an average of a predetermined period in the time-series data of the same polarization ratio intensity every time the intensity is calculated; and The predetermined period is changed in accordance with the acquired traveling speed based on a correspondence relationship in which the speed is acquired and the prescribed period is shortened so as to substantially correspond to an increase in the traveling speed of the vehicle. That the arithmetic control step, a structure in which the computed moving average intensity and a road surface state determination step of determining that the road surface condition is substantially wet state if more than a predetermined threshold value.
There is no difference in that the present invention is not necessarily limited to a substantial vehicle road surface state detecting device and is also effective as a vehicle road surface state detecting method.
[0014]
Further, a method and an apparatus for detecting a road surface state based on the polarization ratio intensities of a vertical polarization image and a horizontal polarization image of a road surface in front of a vehicle may be realized by the above-described vehicle road surface state detection device alone, or a certain device. The concept of the invention includes various aspects, such as being used in a state of being incorporated in a computer, and can be changed as appropriate such as software or hardware. In the case where software for controlling the road surface state detection device is provided as an embodiment of the idea of the present invention, the invention can be realized as a recording medium of the hardware or software.
[0015]
As one example, in the invention according to claim 7, a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state based on the polarization ratio intensity of a vertical polarization image and a horizontal polarization image of a road surface ahead of a vehicle. An image capturing function for causing an image capturing means installed in a vehicle to capture the vertical road image and the horizontal polarized image so as to be able to image the front road surface, and a polarization ratio intensity between the vertical polarized image and the horizontal polarized image. And a moving average intensity calculating function for calculating a moving average intensity corresponding to the average of a predetermined period in the time series data of the same polarization ratio intensity every time the polarization ratio intensity is calculated, When calculating the moving average intensity, the running speed of the vehicle is acquired and the predetermined period is shortened by substantially corresponding to the increase in the running speed of the vehicle. An arithmetic control function for changing the predetermined period according to the acquired traveling speed based on the relationship, and determining that the road surface state is substantially wet when the calculated moving average intensity is equal to or greater than a predetermined threshold value. It is configured to have a road surface state determination function.
[0016]
That is, the present invention may be formed by a program that enables the invention to be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0017]
The same applies to the duplication stage of the primary duplicate product and the secondary duplicate product without any question. In addition, the present invention is still used even when the supply method is performed using a communication line, and the same applies to a case where the information is written on a semiconductor chip. Furthermore, even when a part is implemented by software and a part is implemented by hardware, the concept of the present invention is not completely different, and a part is recorded on a recording medium and appropriately It may be in a form that is read.
[0018]
【The invention's effect】
As described above, the present invention improves the accuracy of the calculation of the polarization ratio intensity to improve the detection accuracy of the road surface state, and furthermore, the detection performance (the detection stability) of the road surface state required according to the traveling speed fluctuating during traveling. A vehicle road surface state detection device capable of dynamically responding to the road surface state detection device.
According to the second aspect of the present invention, by defining the corresponding pattern in advance, it becomes possible to quickly determine the predetermined period corresponding to the traveling speed.
Further, according to the third aspect of the present invention, it is possible to realize a performance suitable for the road surface condition by appropriately changing the corresponding pattern according to the road surface condition.
Further, according to the invention of
[0019]
Furthermore, according to the invention according to claim 5, it is possible to appropriately remove impulse-like noise whose generation environment can be changed according to the state of the traveling speed according to the state of the traveling speed.
Further, according to the invention of claim 6, the accuracy of calculating the polarization ratio intensity is improved to improve the detection accuracy of the road surface condition, and the detection performance of the road surface condition required according to the traveling speed fluctuating during traveling. It is possible to provide a vehicle road surface state detection method capable of dynamically responding to (detection stability or response).
Further, according to the invention of claim 7, the accuracy of calculating the polarization ratio intensity is improved to improve the detection accuracy of the road surface condition, and the detection performance of the road surface condition required according to the traveling speed fluctuating during traveling. It is possible to provide a control program for a vehicle road surface state detection device capable of dynamically responding to (detection stability or responsiveness).
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of the vehicle road surface state detection device:
(2) Processing contents of road surface state detection processing:
(3)
(4) Modified example 2:
(5) Summary:
[0021]
(1) Configuration of the vehicle road surface state detection device:
FIG. 1 is a block diagram showing a configuration of a vehicle road surface state detecting device according to the present invention. In FIG. 1, a vehicle road surface
[0022]
Therefore, the image of the analog data captured by the
[0023]
FIG. 2 is a block diagram illustrating a configuration of the above-described
In the figure, the
[0024]
In such a configuration, the visual field image passes through the half mirror box 21, is reflected by the
As described above, the
[0025]
FIG. 3 is a schematic diagram schematically illustrating an imaging field of view of the
In FIG. 1, an
[0026]
FIG. 4 is a schematic diagram schematically showing the characteristics of the vertical polarization component and the horizontal polarization component when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the
[0027]
FIG. 5 is a schematic diagram schematically illustrating the characteristics of the vertical polarization component and the horizontal polarization component when the road surface is in a substantially wet state.
In the figure, when the road surface R is in a substantially wet state, water is accumulated on the uneven surface (rough surface) of the road surface R and becomes a mirror surface, so that light incident on the
[0028]
In this substantially wet state, the polarization characteristics indicated by the intensity of the vertical polarization component and the intensity of the horizontal polarization component are as follows: the reflectance of the vertical polarization component on the road surface R is Rs, and the reflectance of the horizontal polarization component on the road surface R is Rp. Assuming that the light intensity is the intensity I, the intensity of the reflected light with respect to the intensity I is expressed by the following equation (1). Here, Is indicates the intensity of the vertical polarization component, and Ip indicates the intensity of the horizontal polarization component.
Is = Rs * I
Ip = Rp * I Equation (1)
That is, the intensity of the reflected light depends on the incident angle of the incident light. FIG. 6 shows the relationship between the incident angle of the incident light and the polarization ratio intensity, which is the ratio of the intensity of the vertical polarization component, the intensity of the horizontal polarization component, and the mutual intensity. In the figure, the intensity of the horizontal polarization component of the reflected light on the mirror surface becomes 0 when the incident angle is equal to the Brewster angle of 53.1 °, and the intensity of the reflected light of the vertical polarization component increases with the increase of the incident angle. Shows a gradually increasing characteristic. On the other hand, when the road surface is in a dry state, since the surface is rough as described above, diffuse reflection becomes dominant, the reflected light does not show polarization characteristics, and the reflectances of the vertical polarization component and the horizontal polarization component become substantially equal. Therefore, the road surface condition can be determined based on the polarization characteristics from the luminance information of the vertical polarization image and the horizontal polarization image captured via the vertical polarization filter 23 and the horizontal polarization filter 24.
[0029]
FIG. 7 is a diagram showing a temporal transition of the polarization ratio intensity, which is the ratio of the intensity of the vertical polarization component and the intensity of the horizontal polarization component calculated from the vertical polarization image and the horizontal polarization image captured by the above-described configuration.
In the figure, the horizontal axis defines a time change, and the vertical axis defines a change in polarization ratio intensity. In the present embodiment, whether the road surface is in a wet (strong) state, a wet (weak) state, or a dry state is detected based on the polarization ratio intensity. In this embodiment, when the polarization ratio intensity is approximately 120 or more, the road surface state is detected as a wet (strong) state, and when the polarization ratio intensity is approximately 40 or more and smaller than 120, the road surface state is detected as a wet (weak) state. When the polarization ratio intensity is smaller than 40, the road surface state is detected as a dry state.
[0030]
Here, the time change of the polarization ratio intensity includes impulse noise as indicated in (1) and (2), or high frequency component noise is superimposed on the entire signal. This impulse-like noise occurs when the brightness of the outside world changes significantly due to sudden backlight or shadow, because the
[0031]
Therefore, in the present embodiment, by removing the impulse noise and the noise of the high frequency component, it is possible to obtain a highly accurate polarization ratio intensity and to detect the road surface state with high accuracy. Here, in realizing such a function, the present embodiment is characterized in that impulse-like noise and high-frequency component noise are removed according to the traveling speed and traveling state of the vehicle. That is, instead of simply removing impulse noise and high frequency component noise, by changing the noise removal mode according to the vehicle situation that can be changed as appropriate, an appropriate road surface condition according to the vehicle situation can be obtained. Enable detection. In order to realize such a function, the vehicle road surface
[0032]
(2) Processing content of road surface state determination processing:
FIG. 8 is a flowchart showing the processing content of the road surface state determination processing executed under the control of the
In the figure, first, a vertical polarization image and a horizontal polarization image of the road surface R are captured by the
[0033]
When it is determined that the absolute value of the difference is larger than the threshold value T1, the previous polarization ratio intensity is replaced with the current polarization ratio intensity. As a result, it is possible to remove the noise-like polarization ratio intensity that changes from the previous polarization ratio intensity with a degree of change larger than the threshold value T1 in an impulse manner (step S125). Of course, at the start of the measurement, since the previous polarization ratio intensity is the initial value (for example, 0), it goes without saying that such processing is not executed. Also, the data determined as the current polarization ratio intensity in this process is stored in the
[0034]
Here, FIG. 9 shows a time transition of the polarization ratio intensity when only the process of removing such impulse noise is performed. Comparing FIG. 7 with FIG. 7 shown above, it can be seen that the impulse-like noise indicated by (1) and (2) in FIG. 7 has been removed. Accordingly, it is possible to eliminate an image that is captured due to the above-described cause, and it is possible to improve the accuracy of the calculated polarization ratio intensity. In order to reduce high frequency component noise after removing impulse noise in this way, in the present embodiment, a moving average of the calculated polarization ratio intensities is calculated. Here, the moving average is an average of the currently calculated polarization ratio intensity and the previously calculated polarization ratio intensity for a predetermined number of times, and is calculated by the following equation (3).
f (t + 1) = 1 / N * ΣA (t−j + 1) Equation (3)
Here, N is the above-mentioned predetermined number, and is called a moving average parameter in this embodiment. f (t) is a polarization ratio intensity obtained by reducing high frequency component noise, and is referred to as a moving average intensity in this embodiment. j (t) indicates the polarization ratio intensity calculated by actual measurement. The calculation of Σ is performed from j = 1 to N.
[0035]
In calculating the moving average, first, the traveling speed of the vehicle is acquired based on a predetermined method (step S130). The method of acquiring the traveling speed may use an existing technology, and is not particularly described. Then, a predetermined correspondence table is read from the
[0036]
Here, FIG. 11 shows a time transition of the polarization ratio intensity when the noise of the high frequency component is reduced by the moving average after the process of removing the impulse noise. Comparing FIG. 9 with FIG. 9 shown above, it can be seen that the change in the polarization ratio intensity is gently changing as a whole. That is, it is understood that the high frequency component has been removed. This makes it possible to improve the accuracy of the polarization ratio intensity. Then, the process proceeds to a process of detecting a road surface state based on the calculated moving average intensity. First, it is determined whether or not the calculated moving average intensity is equal to or greater than the threshold value T2 (step S145). If it is determined that the calculated moving average intensity is equal to or greater than the threshold value T2, it is detected that the road surface condition is a wet (strong) condition ( Step S150).
[0037]
When it is determined that the moving average intensity is equal to or larger than the threshold value T3 and smaller than the threshold value T2 (step S155), it is detected that the road surface state is a wet (weak) state (step S160). On the other hand, when it is determined that the moving average intensity is smaller than the threshold value T3, it is detected that the road surface is in a dry state (step S165). When the road surface state is detected as described above, the detected road surface state is displayed on the on-vehicle television via the control of the
[0038]
Here, the moving average parameter N used for calculating the moving average intensity directly affects the degree of smoothing of the high frequency component. If the value of the moving average parameter N is increased, the detection stability of the road surface condition is improved. Is high, but the responsiveness (responsiveness) is impaired. Since the two have a trade-off relationship, simply setting the moving average parameter N to a fixed value impairs the performance of detecting the road surface state. Therefore, in the present embodiment, as described above, the moving average parameter N is treated as a function of the traveling speed V (a function of reducing the moving average parameter N substantially corresponding to an increase in the traveling speed V), and the detection of the road surface state is stabilized. Control responsiveness and responsiveness. That is, since a quick decision is required when driving at high speed, the moving average parameter N is set small with emphasis on responsiveness, and the moving average parameter N is set large with importance on detection stability during low speed driving. .
[0039]
In the above-described embodiment, the mode in which the road surface state detection process is executed by combining the reduction of the impulse noise and the reduction of the high frequency component noise is adopted. May be performed, the road surface state may be detected based on the polarization ratio intensity of the processing result, or the process related to the reduction of the noise of the high frequency component may be independently executed, and based on the polarization ratio intensity of the processing result. A mode for detecting a road surface state may be adopted, and the mode can be appropriately selected.
[0040]
(3)
Here, in the above-described embodiment, a mode is adopted in which the moving average parameter N is determined based on the correspondence table A1 stored in the
[0041]
FIG. 12 shows an example of a table configuration of a plurality of correspondence tables. In the present embodiment, an embodiment is adopted in which a rainy weather correspondence table A2 and a normal weather correspondence table A3 are stored in the
[0042]
FIG. 13 is a flowchart showing the contents of the correspondence table setting process executed by the
In the figure, first, the road surface state detected in the road surface state detection processing is acquired (step S205), and it is determined whether the acquired road surface state indicates a wet state (step S210). When it is determined that the acquired road surface state is the wet state, the wet state variable X is incremented (step S215). Next, it is determined whether or not the wet state variable X is equal to or greater than a predetermined threshold T4 (step S220). If the variable X is smaller than the threshold T4, the process returns to step S205. On the other hand, when it is determined that the threshold value is equal to or larger than the threshold value T4, it is determined that the road surface state is continuously showing a wet state, and it is determined that it is rainy. Then, the rainy weather correspondence table A2 stored in the
[0043]
This makes it possible to determine the moving average parameter N based on the rainy weather correspondence table A2 in step S135 in the road surface state detection processing. On the other hand, if it is determined in step S210 that it is in the dry state, the dry state variable Y is incremented (step S230). Next, it is determined whether or not the dry state variable Y is equal to or greater than a predetermined threshold T5 (step S235). If the variable Y is smaller than the threshold T5, the process returns to step S205. On the other hand, when it is determined that the threshold value is equal to or larger than the threshold value T5, it is determined that the road surface state is continuously showing a dry state, and it is determined that the weather is fine. Then, the normal correspondence table A3 stored in the
[0044]
(4) Modified example 2:
As described above, the impulse-like noise is generated when the luminance of the outside world changes significantly due to sudden backlight or shadow, because the
In the figure, first, the traveling speed of the vehicle is obtained by a predetermined method (step S305). Next, it is determined whether or not the traveling speed is equal to or greater than a predetermined threshold T6 for determining whether the vehicle is traveling at a predetermined high speed or a low speed (step S310). , A threshold value T1 ′ smaller than a normal value is substituted for the threshold value T1, and impulsive noise is removed based on the threshold value T1 (= T1 ′) (step S315). On the other hand, if it is determined that the traveling speed is smaller than the threshold value T6, impulse-like noise is removed based on the normal threshold value T1 (step S320).
[0045]
(5) Summary:
In this way, by removing the impulse noise and the high frequency component noise when calculating the polarization ratio intensity, it is possible to improve the calculation accuracy of the polarization ratio intensity and improve the detection accuracy of the road surface state. Become. Further, when calculating the moving average for removing the noise of the high frequency component, the moving average parameter N, which is the weight of the moving average, is a function of the traveling speed V (the moving average parameter N is reduced substantially corresponding to the increase in the traveling speed V). Function), it is possible to detect road surface conditions with an emphasis on responsiveness when urgent determination is required, such as when driving at high speeds, and to improve detection stability when driving at low speeds. It is possible to detect the road surface state that is emphasized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a vehicle road surface state detecting device according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of an imaging unit.
FIG. 3 is a schematic diagram schematically illustrating an imaging field of view of an imaging unit when the vehicle road surface state detection device is mounted on a vehicle.
FIG. 4 is a schematic diagram schematically showing characteristics of a vertical polarization component and a horizontal polarization component when a road surface is in a dry state.
FIG. 5 is a schematic diagram schematically showing characteristics of a vertical polarization component and a horizontal polarization component when a road surface is in a substantially wet state.
FIG. 6 is a relationship diagram showing the relationship between the incident angle of incident light and the intensity of a vertical polarization component, the intensity of a horizontal polarization component, and the polarization ratio intensity, which is the ratio of the mutual intensity.
FIG. 7 is a diagram showing a time transition of the polarization ratio intensity in a state where each noise is included.
FIG. 8 is a flowchart showing a processing content of a road surface state determination processing.
FIG. 9 is a diagram showing a time transition of the polarization ratio intensity in a state in which impulsive noise is removed.
FIG. 10 is a diagram showing a table configuration of a correspondence table stored in a ROM.
FIG. 11 is a diagram showing a time transition of the polarization ratio intensity in a state where each noise is removed.
FIG. 12 is a diagram showing a table configuration of a plurality of correspondence tables stored in a ROM.
FIG. 13 is a flowchart showing processing contents of a correspondence table setting processing.
FIG. 14 is a flowchart showing a process of a threshold setting process.
[Explanation of symbols]
10. Vehicle road surface condition detection device
11 CPU
12 AD converter
13. Frame memory
14 ... ROM
15 RAM
16 ... User interface
20: imaging unit
21 Half mirror box
22 ... Mirror
23 ... Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
27 ... Field memory
28: Field memory
Claims (7)
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出手段と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算手段と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御手段と、
上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別手段とを具備することを特徴とする車両用路面状態検出装置。Image capturing means installed in the vehicle to be able to image the front road surface, and for capturing a vertical polarization image and a horizontal polarization image of the front road surface,
Polarization ratio intensity calculation means for calculating the polarization ratio intensity of the vertical polarization image and the horizontal polarization image,
Moving average intensity calculating means for calculating a moving average intensity corresponding to the average of a predetermined period in the time series data of the same polarization ratio intensity every time the polarization ratio intensity is calculated,
When calculating the moving average intensity, the traveling speed of the vehicle is acquired, and the traveling speed of the vehicle is substantially corresponded to an increase in the traveling speed. Arithmetic control means for changing the predetermined period;
A road condition detecting device for a vehicle, comprising: road condition determining means for determining that the road condition is substantially wet when the calculated moving average intensity is equal to or greater than a predetermined threshold.
上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出工程と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算工程と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御工程と、
上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別工程とを具備することを特徴とする車両用路面状態検出方法。A vehicle road surface state detection method for detecting a road surface state based on a polarization ratio intensity of a vertical polarization image and a horizontal polarization image of a vehicle front road surface,
An image capturing step of capturing the vertical polarization image and the horizontal polarization image by an imaging unit installed in a vehicle so that the front road surface can be imaged;
A polarization ratio intensity calculation step of calculating the polarization ratio intensity of the vertical polarization image and the horizontal polarization image,
A moving average intensity calculation step of calculating a moving average intensity corresponding to an average of a predetermined period in the time series data of the same polarization ratio intensity every time the polarization ratio intensity is calculated,
When calculating the moving average intensity, the traveling speed of the vehicle is acquired, and the traveling speed of the vehicle is substantially corresponded to an increase in the traveling speed. An arithmetic control step of changing the predetermined period;
A road surface state determining step of determining that the road surface state is substantially wet when the calculated moving average intensity is equal to or greater than a predetermined threshold value.
上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出機能と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算機能と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御機能と、
上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別機能とを具備することを特徴とする車両用路面状態検出装置の制御プログラム。A control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state based on a polarization ratio intensity of a vertical polarization image and a horizontal polarization image of a vehicle front road surface,
An image capturing function of capturing the vertical polarization image and the horizontal polarization image by an imaging unit installed in a vehicle so that the front road surface can be imaged;
A polarization ratio intensity calculation function for calculating the polarization ratio intensity of the vertical polarization image and the horizontal polarization image,
A moving average intensity calculation function for calculating a moving average intensity corresponding to an average of a predetermined period in the time series data of the same polarization ratio intensity each time the polarization ratio intensity is calculated,
When calculating the moving average intensity, the traveling speed of the vehicle is acquired, and the traveling speed of the vehicle is substantially corresponded to an increase in the traveling speed. An arithmetic control function for changing the predetermined period;
A road surface state determining function for determining that the road surface state is substantially wet when the calculated moving average intensity is equal to or greater than a predetermined threshold value. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091927A JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091927A JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004299443A true JP2004299443A (en) | 2004-10-28 |
| JP4183542B2 JP4183542B2 (en) | 2008-11-19 |
Family
ID=33405178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003091927A Expired - Fee Related JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4183542B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007064888A (en) * | 2005-09-01 | 2007-03-15 | Tokai Rika Co Ltd | Road surface condition detector |
| EP2439716A2 (en) | 2010-09-16 | 2012-04-11 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
| JP2012084121A (en) * | 2010-09-16 | 2012-04-26 | Ricoh Co Ltd | Object identification device and movable body control device and information providing device equipped with the same |
| EP2517175A4 (en) * | 2009-12-25 | 2018-01-10 | Ricoh Company, Ltd. | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
| WO2018150683A1 (en) | 2017-02-15 | 2018-08-23 | ソニー株式会社 | Information processing device, information processing method, program, and imaging apparatus |
| CN112997189A (en) * | 2018-10-31 | 2021-06-18 | 罗伯特·博世有限公司 | Method for supporting camera-based surroundings detection of a travelling tool by means of road moisture information of a first ultrasonic sensor |
| WO2022097377A1 (en) * | 2020-11-04 | 2022-05-12 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2003
- 2003-03-28 JP JP2003091927A patent/JP4183542B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007064888A (en) * | 2005-09-01 | 2007-03-15 | Tokai Rika Co Ltd | Road surface condition detector |
| EP2517175A4 (en) * | 2009-12-25 | 2018-01-10 | Ricoh Company, Ltd. | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
| EP2439716A2 (en) | 2010-09-16 | 2012-04-11 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
| JP2012084121A (en) * | 2010-09-16 | 2012-04-26 | Ricoh Co Ltd | Object identification device and movable body control device and information providing device equipped with the same |
| EP2439716A3 (en) * | 2010-09-16 | 2012-10-31 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
| US9025027B2 (en) | 2010-09-16 | 2015-05-05 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus |
| WO2018150683A1 (en) | 2017-02-15 | 2018-08-23 | ソニー株式会社 | Information processing device, information processing method, program, and imaging apparatus |
| US11062170B2 (en) | 2017-02-15 | 2021-07-13 | Sony Corporation | Information processing apparatus, information processing method, and imaging apparatus |
| CN112997189A (en) * | 2018-10-31 | 2021-06-18 | 罗伯特·博世有限公司 | Method for supporting camera-based surroundings detection of a travelling tool by means of road moisture information of a first ultrasonic sensor |
| WO2022097377A1 (en) * | 2020-11-04 | 2022-05-12 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| JP7424272B2 (en) | 2020-11-04 | 2024-01-30 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4183542B2 (en) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6772113B2 (en) | Adhesion detection device and vehicle system equipped with it | |
| US8854455B2 (en) | Method and device for processing recorded image information from a vehicle | |
| US9813593B2 (en) | Outside recognition apparatus and lens dirtiness detection method | |
| JP3503230B2 (en) | Nighttime vehicle recognition device | |
| JP5759950B2 (en) | In-vehicle camera device | |
| JP2004112144A (en) | Front car tracking system and method for tracking front car | |
| KR20210006276A (en) | Image processing method for flicker mitigation | |
| JP2000030197A (en) | Device for detecting warm body | |
| JP4157790B2 (en) | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program | |
| CN111860120A (en) | Automatic shielding detection method and device for vehicle-mounted camera | |
| CN110659547A (en) | Object recognition method, device, vehicle and computer-readable storage medium | |
| JP2004299443A (en) | ROAD SURFACE state DETECTION DEVICE FOR VEHICLE, ROAD SURFACE state DETECTION METHOD FOR VEHICLE, AND CONTROL PROGRAM OF ROAD SURFACE state DETECTION DEVICE FOR VEHICLE | |
| JP2008004989A (en) | Vehicle perimeter display apparatus | |
| JP2970168B2 (en) | Vehicle detection device | |
| JP4697063B2 (en) | Approaching vehicle detection device | |
| JP2015215645A (en) | Analyzer, analysis method and program | |
| JP5056679B2 (en) | Night view system | |
| JP2003189294A (en) | Image monitoring device | |
| JP2876493B2 (en) | Vehicle dynamics measurement method | |
| JP2006107000A (en) | Method and device for deciding image abnormality | |
| CN116453065B (en) | Road surface foreign matter throwing identification method and device, computer equipment and storage medium | |
| JP2015058747A (en) | Vehicle lamp body control device | |
| CN110733408A (en) | vision-based intelligent high beam algorithm | |
| JP2000025575A (en) | Automatic defroster device | |
| JP3338102B2 (en) | Operator automatic selection filtering device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060120 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140912 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |