JP2004279279A

JP2004279279A - Detecting apparatus, detecting method and detecting program for road surface condition

Info

Publication number: JP2004279279A
Application number: JP2003072719A
Authority: JP
Inventors: Muneo Yamada; 宗男山田
Original assignee: Nagoya Electric Works Co Ltd
Current assignee: Nagoya Electric Works Co Ltd
Priority date: 2003-03-17
Filing date: 2003-03-17
Publication date: 2004-10-07
Anticipated expiration: 2023-03-17
Also published as: JP4011505B2

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that detecting for a road surface condition is unable to process in real time due to the requirement that a vertical polarizing filter and a horizontal polarizing filter are set alternately to the front surface of a TV camera. <P>SOLUTION: A process discriminating the road surface condition (a dryness state or a wetness state) is carried out by targeting one frame of composite image P31 produced by alternately arranging each raster of a vertical polarized image P11 and a horizontal polarized image P21 that are simultaneously image-formed at an even raster and an odd raster. As a result of this, the road surface condition can be detected in real time and therewith reducing a processing load can be done and the speedup of the processing is realized. The composite image P31 is converted into a frequency space, and the road surface condition can be detected with high accuracy due to discrimination of the change degrees of the strength of a vertical polarized component and the strength of a horizontal polarized component in the same frequency space. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関し、特に、路面の湿潤状態および乾燥状態を検出する路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、撮像手段としてのテレビカメラの前面に水平偏光フィルタと、垂直偏光フィルタとをフィルタ変換部にて交互にセット可能にしている。かかる構成において、路面の画像を撮像するにあたり、フィルタ変換部の制御に基づいて先ず垂直偏光フィルタをテレビカメラの前面にセットし、路面の垂直偏光画像を撮像する。そして、この垂直偏光画像に対してフーリエ変換を施し、周波数空間上の垂直偏光パワースペクトル画像を取得する。次に、フィルタ変換部の制御に基づいて水平偏光フィルタをテレビカメラの前面にセットし、路面の水平偏光画像を撮像する。そして、この水平偏光画像に対してフーリエ変換を施し、周波数空間上の水平偏光パワースペクトル画像を取得する。次に、取得した垂直偏光パワースペクトル画像および水平偏光パワースペクトル画像の二つの画像に対し低周波成分を除去後に逆フーリエ変換を施して二つの実空間画像を求め、その輝度分布データに基づいて、路面が乾燥しているか、湿潤しているか、もしくは凍結しているかを検出している（例えば、特許文献１を参照。）。
【０００３】
【特許文献１】
特許第２７０７４２６号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置においては、垂直偏光フィルタおよび水平偏光フィルタをテレビカメラの前面に対して交互にセットする必要があるため、路面状態の検出の処理をリアルタイムに行うことができなかった。また、垂直偏光画像および水平偏光画像の二つの画像に対して画像処理を行わなければならないため、処理負荷が大きくなり、この点においても路面状態の検出をリアルタイムに行うことができなかった。
【０００５】
本発明は、上記課題にかんがみてなされたもので、簡素な処理にて路面状態の検出をリアルタイムに行うことが可能な路面状態検出装置、路面状態検出方法および路面状態検出プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置であって、上記合成画像を作成する画像作成手段と、上記作成された合成画像を取得する画像取得手段と、上記画像取得手段にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置を提供する。このとき、先ず画像作成手段にて垂直偏光画像および水平偏光画像に基づいて合成画像を作成する。そして、画像取得手段にてこの作成された合成画像を取得し、路面判別手段にて取得された合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面の状態を判別する。ここで、路面の状態に応じて垂直偏光成分の強度と水平偏光成分の強度とは異なる偏光特性を有する。すなわち、路面が乾燥状態の場合には、粗面にて光が乱反射するため垂直偏光画像に含まれる垂直偏光成分の強度と、水平偏光画像に含まれる水平偏光成分の強度は略同等になって撮像される。
【０００８】
一方、路面が略湿潤状態の場合には、鏡面反射となるために偏光特性によって垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。すなわち、隣接するラスタにおいて垂直偏光成分と水平偏光成分の強度変化が相対的に小さいときはラスタ位置の路面が乾燥状態であり、強度変化が大きいときはラスタ位置の路面が略湿潤状態であると判別することが可能になる。そこで、本発明はかかる偏光特性を利用して、合成画像の隣り合うラスタ、すなわち垂直偏光成分を有するラスタと、水平偏光成分を有するラスタとの強度変化に基づいて路面状態を検出可能としている。このように、本発明は合成画像の隣接ラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、路面状態の検出に際して１フレームに形成された合成画像を利用するため、処理負荷を低減し、処理の高速化を図ることを可能にしている。
【０００９】
隣接するラスタについての垂直偏光成分および水平偏光成分の強度変化は周波数空間にて把握することが可能である。すなわち、強度変化が大きいときは周波数が高くなり、強度変化が小さいときは周波数が低くなる。従って、周波数成分に基づいて合成画像の路面状態を検出することが可能になる。そこで、請求項２にかかる発明は、上記請求項１に記載の路面状態検出装置において、上記路面判別手段は、上記取得された合成画像を周波数空間に変換する周波数空間変換手段を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な上記強度変化により上記路面の状態を判別する構成としてある。
上記のように構成した請求項２にかかる発明においては、路面判別手段に周波数変換手段を備えさせ、この周波数変換手段にて、画像取得手段で取得された合成画像を周波数空間に変換する。この周波数空間における周波数成分の分布に基づいて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することができるため、路面判別手段では、この変換された周波数空間における周波数成分の分布に基づいて路面の状態を判別する。
【００１０】
周波数空間にて検出できる具体的な路面状態の一例として、請求項３にかかる発明は、上記請求項２に記載の路面状態検出装置において、上記路面判別手段は、上記変換した周波数空間の周波数成分の分布にて所定のしきい値以上の高周波成分が含まれるか否かを判別し、同高周波成分が含まれる場合に上記路面の状態が略湿潤状態であると判別する構成としてある。
上記のように構成した請求項３にかかる発明において、路面判別手段では周波数変換手段にて変換された周波数空間の周波数成分の分布に所定のしきい値以上の高周波成分が含まれるか否かを判別する。そして、同路面判別手段は、この判別の結果、周波数空間に高周波成分が含まれると判別された場合に、路面の状態が略湿潤状態であると判別する。
【００１１】
周波数空間に高周波成分が含まれているか否かを判別する手法の一例として、請求項４にかかる発明は、上記請求項３に記載の路面状態検出装置において、上記路面判別手段は、上記所定のしきい値以上の高周波成分が含まれるか否かを判別するに際して、上記変換した周波数空間からナイキスト周波数成分を抽出し、同抽出したナイキスト周波数成分に基づいて上記高周波成分が含まれるか否かを判別する構成としてある。
上記のように構成した請求項４にかかる発明においては、路面判別手段にて周波数空間に所定のしきい値以上の高周波成分が含まれるか否かを判別するに際し、変換した周波数空間からナイキスト周波数成分を抽出する。そして、この抽出したナイキスト周波数成分に基づいて周波数空間に高周波成分が含まれるか否かを判別する。
【００１２】
路面が略湿潤状態の場合に、かかる状態をユーザ（例えば、運転者）に通知することができると、運転者は注意を喚起することができて好適である。そこで、請求項５にかかる発明は、上記請求項３または請求項４のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記判別された路面の状態を取得するとともに、同取得した路面状態が略湿潤状態である場合にその旨を外部に通知する路面状態通知手段を有する構成としてある。
上記のように構成した請求項５にかかる発明においては、路面判別手段に路面状態通知手段を備えさせる。この路面状態通知手段では路面判別手段にて判別された路面の状態を取得し、この取得した路面状態が略湿潤状態である場合に、その旨を外部に通知する。この通知は運転者が認知することが可能なものであれば良く、その態様は種々勘案できる。例えば、発光手段にて通知して視覚的に認知可能にしても良いし、音にて通知して聴覚的に認知可能にしても良い。むろん、文字情報や図柄情報にて通知しても良い。
【００１３】
路面の略湿潤状態の度合いは強度変化の度合いに基づいて判別することができる。すなわち、略湿潤状態と判別された場合において、強度変化が相対的に大きい場合は湿潤度合いが大きく、強度変化が相対的に小さい場合は湿潤度合いが小さいと勘案できる。そこで、上述した通知の際に、湿潤度合いを通知できると、運転者は適切に路面の状態を把握することができて好適である。そこで、請求項６にかかる発明は、上記請求項５に記載の路面状態検出装置において、上記路面状態通知手段は、上記高周波成分の強度に基づいて上記路面の略湿潤状態の湿潤度合いを判別し、同判別した湿潤度合いに基づいて上記通知の態様を変化させる構成としてある。
上記のように構成した請求項６にかかる発明においては、路面状態通知手段にて高周波成分の強度に基づいて路面の略湿潤状態の湿潤度合いを判別する。そして、この判別した湿潤度合いに基づいて通知の態様を変化させる。例えば、発光手段による通知の場合、湿潤度合いが大きいときには赤色にて通知し、湿潤状態が小さいときには黄色で通知したりする。また、音による通知の場合、湿潤度合いが大きいときには相対的に大きな音量で通知し、湿潤度合いが小さいときには相対的に小さい音量で通知する。これにより運転者は発光状態もしくは音量状態にて湿潤度合いを把握することが可能になる。
【００１４】
上述した手法を利用することにより、路面の状態を検出することが可能となる。ここで、ナイキスト周波数成分を逆フーリエ変換して実空間画像に戻すと、実空間画像において何れの部位が略湿潤状態であるかを視認することが可能になる。そこで、請求項７にかかる発明は、上記請求項４〜請求項６のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得するとともに、同取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する実空間画像表示手段を有する構成としてある。
上記のように構成した請求項７にかかる発明においては、路面判別手段に実空間画像表示手段を備えさせる。そして、この実空間画像表示手段では、路面判別手段が抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得する。そして、取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する。これにより運転者はこの表示に基づいて路面の水分量および水分分布を視認することが可能となる。
【００１５】
ここで、上述してきた合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する路面状態検出装置は、路面状態検出の手順を提示した方法としても成立することは言うまでもない。そこで、請求項８にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出方法であって、上記合成画像を作成する画像作成工程と、上記画像作成工程にて作成された合成画像を取得する画像取得工程と、上記画像取得工程にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別工程とを具備する構成とする。必ずしも実体のある路面状態検出装置に限らず、路面状態検出方法としても有効であることに相違はない。
【００１６】
また、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する装置および方法は、上述した路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。その一例として請求項９にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する機能をコンピュータにて実現可能にする路面状態検出プログラムであって、上記合成画像を作成する画像作成機能と、上記画像作成機能にて作成された合成画像を取得する画像取得機能と、上記画像取得機能にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別機能とを具備する構成としてある。すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１７】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１８】
【発明の効果】
以上説明したように本発明は、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため各フレーム画像を個々に処理する場合に比べて１／４の時間で処理を実行することが可能となり、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、周波数空間にて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することが可能になる。
さらに、請求項３にかかる発明によれば、周波数空間にて路面の略湿潤状態を判別することが可能になる。
さらに、請求項４にかかる発明によれば、ナイキスト周波数成分に基づいて路面が略湿潤状態であることを判別することが可能になる。
さらに、請求項５にかかる発明によれば、路面が略湿潤状態であることを運転者に認識させることが可能となる。
【００１９】
さらに、請求項６にかかる発明によれば、略湿潤状態の度合いを運転者に認識させることが可能になる。
さらに、請求項７にかかる発明によれば、実空間画像にて路面の状態を視認することが可能になる。
さらに、請求項８にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出方法を提供することができる。
さらに、請求項９にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出プログラムを提供することができる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）路面状態検出装置の構成：
（２）撮像部の構成：
（３）画像の構成：
（４）垂直および水平偏光成分について：
（５）路面状態検出処理の処理内容：
（６）路面状態通知処理の処理内容：
（７）変形例：
（８）まとめ：
【００２１】
（１）路面状態検出装置の構成：
図１は、本発明にかかる路面状態検出装置の構成を示したブロック構成図である。
同図において、路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、フーリエ変換器１４と、ナイキスト周波数抽出部１５と、表示制御部１６と、メモリ１７とを制御可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されており、同撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では撮像部２０にて路面を撮像する。そして、ＡＤ変換器１２にてデジタルデータに変換された路面の画像は、本発明の画像取得手段に相当するフレームメモリ１３に一旦格納されるようになっている。また、表示制御部１６には表示板３０が接続されている。
【００２２】
本実施形態における表示板３０は屋外用表示装置であり、道路脇に立てられた支柱に取り付けられ運転者に道路情報を提供する装置である。当該表示板３０の表示面には画素として複数のＬＥＤが配置されており、表示制御部１９の制御に基づいてこれらのＬＥＤの何れかが点灯され、表示面上に文字や図柄を表示する。この表示によって交通情報、路面情報等が表示されるようになっている。本実施形態においては後述するとおり、撮像部２０にて路面の垂直偏光画像と水平偏光画像を撮像するとともに、同垂直偏光画像および水平偏光画像を合成して合成画像を作成し、同合成画像をフレームメモリ１３に格納する。そして、フーリエ変換器１４およびナイキスト周波数抽出部１５では、このフレームメモリ１３に格納された合成画像から路面状態を検出するために所定の画像処理を実行する構成となっている。
【００２３】
（２）撮像部の構成：
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述した支柱などに取り付けられ表示板３０の後方の路面を俯瞰撮影する。このとき、路面から撮像部２０に入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８と、合成画像作成部２９とを有する構成となっている。
【００２４】
かかる構成において、視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像Ｐ１を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像Ｐ２を形成する。そして、このように形成された垂直偏光画像Ｐ１はフィールドメモリ２７に格納される。また、水平偏光画像Ｐ２はフィールドメモリ２８に格納される。ここで、合成画像作成部２９は、このフィールドメモリ２７，２８に格納された垂直偏光画像Ｐ１および水平偏光画像Ｐ２を読み出すとともに、同垂直偏光画像Ｐ１および水平偏光画像Ｐ２を形成する各ラスタを合成画像を形成するのに必要な走査線の位置から１ラスタ毎に合成して１フレームを形成した合成画像を映像信号として出力し、路面状態検出装置１０のＡＤ変換器１２でデジタル信号に変換した後、フレームメモリ１３に格納させる。
【００２５】
（３）画像の構成：
ここで、図３に垂直偏光画像Ｐ１の画像の説明図および図４に水平偏光画像Ｐ２の画像の説明図を示す。図においては、説明を容易とするため垂直偏光画像Ｐ１および水平偏光画像Ｐ２は、６０Ｈｚの周期にて奇数と偶数の各フィールド画像としてフィールドメモリ２７および２８に取り込まれることを表現しており、各図においては奇数フィールド画像が記憶された状態を示している。かかる構成の垂直偏光画像Ｐ１および水平偏光画像Ｐ２に基づいて作成する合成画像の説明図を図５に示す。同図においては、垂直偏光画像Ｐ１の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の奇数ラスタに配置するとともに、水平偏光画像Ｐ２の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の偶数ラスタに配置することによって奇数フィールドどうしの偏光画像による１フレームの合成画像Ｐ３が形成されることを説明している。
【００２６】
上述したように各フィールド画像からなる垂直偏光画像Ｐ１および水平偏光画像Ｐ２は６０Ｈｚというスピードで高速に形成される。従って、この６０Ｈｚにて形成される垂直偏光画像Ｐ１および水平偏光画像Ｐ２から合成される合成画像Ｐ３も６０Ｈｚというスピードで形成することが可能になる。そして、本実施形態においては、１フレームに形成された合成画像Ｐ３における隣接する垂直偏光画像Ｐ１のラスタと、水平偏光画像Ｐ２のラスタとにおける偏光成分の強度変化に基づいて、同合成画像Ｐ３から路面状態（乾燥状態もしくは略湿潤状態）を検出する。このように本実施形態では６０Ｈｚの高速で形成される合成画像Ｐ３に基づいて路面状態の検出を行うことを可能にしているため、リアルタイムに路面状態を検出することが可能となる。次に、偏光成分の強度変化に基づいて路面状態を検出する手法について簡単に説明する。
【００２７】
（４）垂直水平偏光成分について：
図６は、路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１１と、水平偏光成分Ｓ２１との強度の変化が相対的に緩やかな場合はその路面は乾燥状態であることが分かる。
【００２８】
図７は、路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが略湿潤状態の場合は、路面Ｒの凹凸面（粗面）に水が溜まることによって鏡面となるため、撮像部２０に入射される光はこの鏡面にて反射したものとなる。このように鏡面においては、反射光が偏光特性を示すことになる。このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１２と、水平偏光成分Ｓ２２との強度の変化が相対的に強い場合はその路面は略湿潤状態であることが分かる。本実施形態においては以上の特性に基づいて路面状態を検出する。このとき路面状態検出装置１０では後述する路面状態検出処理を実行する。なお、本実施形態では隣接するラスタ間の偏光成分の強度変化を検出するためにフーリエ変換器１４にてフーリエ変換の処理、および、ナイキスト周波数抽出部１５にてナイキスト周波数抽出の処理を実行する。
【００２９】
（５）路面状態検出処理の処理内容：
図８は、路面状態検出装置１０にて実行される路面状態検出処理の処理内容を示したフローチャートである。また、図９は、本実施形態において路面状態を検出する際に撮像部にて撮像された垂直偏光画像、水平偏光画像および同垂直偏光画像および水平偏光画像から作成された合成画像の画像構成を示した画像構成図である。このとき、垂直偏光画像Ｐ１が垂直偏光画像Ｐ１１に対応し、水平偏光画像Ｐ２が水平偏光画像Ｐ２１に対応し、合成画像Ｐ３が合成画像Ｐ３１に対応する。図においては、先ず最初に、撮像部２０の合成画像作成部２９で作成されたＡＤ変換器１２でデジタル信号に変換されたフレーム画像をフレームメモリ１３に取得する（ステップＳ１１０）。そして取得したフレーム画像に対してフーリエ変換を施すことによって周波数空間に変換し、２次元空間周波数画像を作成する（ステップＳ１１５）。このフーリエ変換は次式（１）に基づいて実行される。
Ｉ（ω）＝Ｆ｛ｉ（ｔ）｝・・・式（１）
ただし、ｉ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１を示している。また、関数Ｆは２次元フーリエ変換関数を示している。Ｉ（ω）はｉ（ｔ）の２次元空間周波数画像を示している。本実施形態においては周波数空間への変換にフーリエ変換を利用したが、むろん、コンボリューション等の演算手法を利用しても良い。
【００３０】
ここで、この２次元空間周波数画像を図１０に示す。同図において、２次元空間周波数画像Ｐ１０は、中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の合成画像Ｐ３１の場合、画像の略中央部分に低周波成分領域が現れ、そして、画像の上下端略中央部分に高周波成分領域が現れる態様となっている。次に、ナイキスト周波数抽出部１５が起動される。このナイキスト周波数抽出部１５は、フーリエ変換器１４にて作成された２次元空間周波数画像Ｐ１０から偏光情報の変化を表す高周波成分を抽出して、ナイキスト周波数抽出画像を作成する（ステップＳ１２０）。このナイキスト周波数成分の抽出は次式（２）に基づいて実行される。
Ｈ（ω）＝Ｉ（ω）・Ｇ（ω）・・・式（２）
ただし、Ｇ（ω）は高周波成分を抽出する所定の周波数フィルタ関数を示し、Ｈ（ω）はフィルタ処理の結果、すなわち、ナイキスト周波数抽出画像を示している。
【００３１】
ここで、このナイキスト周波数抽出画像を図１１に示す。同図において、ナイキスト周波数抽出画像Ｐ２０は、上述した２次元空間周波数画像Ｐ１０と同様に中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の場合、画像の上下端略中央部分に高周波成分領域、すなわちナイキスト周波数が現れていることが分かる。そして、抽出したナイキスト周波数成分の強度を判別するとともに（ステップＳ１２５）、同強度が所定のしきい値以上であるか否かを判別する（ステップＳ１３０）。同強度が所定のしきい値以上であると判別された場合は、路面が略湿潤状態であると検知する（ステップＳ１３５）。略湿潤状態であることが検知された場合、表示制御部１６が起動され、路面状態通知手段の一形態であるところの表示板３０に略湿潤状態である旨を伝える所定の表示を行い、運転者に対して通知する。当該表示板３０による通知の一例を図１２に示す。同図において、表示板３０には「注意！！路面が濡れています」という文字情報を二段書きにて表示している。従って、運転者はこの表示を視認して、走行中の路面が略湿潤状態であると判断することが可能となり、適宜路面状態に応じた適切な運転を行うことが可能となる。一方、ステップＳ１３０にて強度が所定のしきい値より小さいと判別された場合は路面が乾燥状態であると判別することになる（ステップＳ１４０）。
【００３２】
上述した実施形態によって運転者は、表示板３０の表示に基づいて走行中の路面が略湿潤状態であるか乾燥状態であるかを判断することができる。一方、略湿潤状態であっても、略湿潤度合いが大きい（水分量が多い）場合があったり、略湿潤度合いが小さい（水分量が少ない）場合があったりする。ここで、この略湿潤度合いが判別できるとともに、同湿潤度合いに応じた態様によって運転者に通知を行うことができると、より好ましい。ここで、この略湿潤度合いは、垂直偏向成分および水平偏光成分の強度変化の度合いに略比例するものであり、この強度変化の度合いは抽出したナイキスト周波数の強度に対応する。従って、ナイキスト周波数の強度が相対的に大きい場合は略湿潤度合いが大きく、小さい場合は略湿潤度合いが小さくなる。次に、この略湿潤度合いに基づいて通知の態様を変化させる際に実行される路面状態通知処理について説明する。
【００３３】
（６）路面状態通知処理の処理内容：
図１３は、路面状態検出装置１０にて実行される路面状態通知処理の処理内容を示したフローチャートである。
同図において、先ず最初に路面が略湿潤状態であるか否かを判別する。この判別は上述したステップＳ１３０における判断結果に基づいて行う（ステップＳ２００）。次に、抽出されたナイキスト周波数成分の強度を判別する（ステップＳ２０５）。この判別にてナイキスト周波数成分の強度が、略湿潤度合いが大きいと判別される値以上であるか否かを判断する（ステップＳ２１０）。そして、この強度が略湿潤度合いが大きいと判別される値以上であると判断された場合は、図１２に示した文字情報の表示を赤色表示することにより運転者により一層の注意を喚起させる（ステップＳ２１５）。
【００３４】
一方、ステップＳ２１０における判別にて、強度が略湿潤度合いが大きいと判別される値より小さいと判断された場合は、図１２に示した文字情報の表示を黄色表示することにより運転者に警告する（ステップＳ２２０）。このように、略湿潤度合いによって表示板３０に表示される文字情報の表示色を変えると、運転者に路面状態を適切に通知することができて好適である。また、この実施形態においては、図１２に示した文字情報と、この文字情報の表示色とにより路面状態を通知する態様を採用したが、むろん、路面の略湿潤状態をランプ等の発光手段（注意灯）にて通知し、その際に略湿潤度合いに応じて同ランプ等の表示色を変化させるようにしても良いし、ブザー等の音声にて路面の略湿潤状態を通知し、その際に略湿潤度合いに応じて同ブザー等の音量を変化させるようにしても良く、適宜採用可能である。
【００３５】
（７）変形例：
上述した実施形態においては、表示板３０に路面が略湿潤状態であることを文字情報として表示する態様を採用した。これは、路面状態を表示板３０にて運転者に示し、運転者が走行中の路面が略湿潤状態であるか否かを認知することができれば良いとの観点に基づいている。一方、本実施形態における路面状態検出装置１０は自動車に搭載することも可能である。ここで、自動車に路面状態検出装置１０を搭載した場合、自動車の走行速度に応じてリアルタイムに路面状態を検出することができると好ましい。この点、本実施形態における路面状態検出装置１０は、上述したように高速で合成画像Ｐ３１を作成して処理を行うことが可能となることから、走行中の自動車においても、リアルタイムに走行路面の路面状態を検出することができることになり大変有効な効果を奏する。また、自動車に当該路面状態検出装置１０を搭載した場合、運転者の運転視野に応じて路面状態を視認することを可能にすると好ましい。すなわち、垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１や合成画像Ｐ３１に示した視野にて路面の略湿潤状態を把握できると、運転者は走行前方においてどれくらいの水分量で略湿潤状態が分布しているかを把握できることになり好ましい。
【００３６】
これによって路面状態に応じた運転操作を行うことが可能となる。そこで、このように上述した垂直偏光画像画像Ｐ１１、水平偏光画像Ｐ２１および合成画像Ｐ３１に示される視野にて路面状態を視覚的に把握可能にする構成を提供する。かかる場合、ナイキスト周波数成分を抽出したナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換すれば良い。これによりナイキスト周波数成分に位置情報が加わり、実空間画像Ｐ３０において略湿潤状態およびその度合いを判別することが可能になる。かかる機能を実現する際には次に示した路面状態表示処理を路面状態検出装置１０にて実行する。
【００３７】
図１４は、この路面状態表示処理の処理内容を示したフローチャートである。また、図１５は、表示態様の一例を示した図である。
同図において、先ず最初にフーリエ変換器１４が起動され、同フーリエ変換器１４は上述した路面状態検出処理のステップＳ１２０にて作成されたナイキスト周波数成分を取得する。すなわちこのナイキスト周波数成分を示すナイキスト周波数抽出画像Ｐ２０を取得するとともに（ステップＳ３００）、同ナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換して（ステップＳ３０５）、実空間画像データを生成し、メモリ１７に格納する（ステップＳ３１０）。これにより偏光特性のみを抽出することが可能となり上実空間画像にてこの偏光特性のみを表示することが可能になる。この逆フーリエ変換は次式（３）に基づいて実行される。ｈ（ｔ）＝Ｊ｛Ｈ（ω）｝・・・式（３）
ただし、関数Ｊは２次元フーリエ変換関数である関数Ｆの逆変換を示している。ｈ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１において偏光特性のみを抽出した実空間画像を示している。
【００３８】
そして、表示制御部１９はこの実空間画像データをメモリ１７から読み出して所定の表示手段に実空間画像を表示させる（ステップＳ３１５）。ここで、図１５に実空間画像の画像構成を示す。同図において、実空間画像Ｐ３０は略湿潤状態の部分を塗りつぶして示し、乾燥状態の部分を白地にて示している。この塗りつぶし部分はナイキスト周波数成分の強度が所定のしきい値以上の部分であり、逆フーリエ変換することによって輝度が高くなる部分である。この部分は略湿潤度合いに応じて輝度が高低するため、輝度の高低に応じて略湿潤度合いの大小を判別可能になっている。これにより、運転者は前方視野と同等の実空間画像Ｐ３０にて路面状態を把握することが可能となり、路面状態をより運転操作に反映させることが可能となる。ここで、図１５に示した表示は、例えば、車載テレビに表示させても良いし、ヘッドアップモニタに上述の実施形態の文字情報と一緒に表示させても良い。ヘッドアップモニタに表示させれば、前方を視野にする運転視野を変更することなく、路面状態をリアルタイムに把握できるため好適である。
【００３９】
（８）まとめ：
このように、同時に撮像される垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１の各ラスタを交互に奇数および偶数ラスタに配置して作成した１フレームの合成画像Ｐ３１を対象にして路面状態（乾燥状態もしくは略湿潤状態）を判別する処理を実行するため、リアルタイムに路面状態を検出できるとともに、処理負荷を低減させることが可能となり、処理の高速化を図ることが可能になる。また、合成画像Ｐ３１を周波数空間に変換し、同周波数空間にて垂直偏光成分の強度と水平偏光成分の強度の変化度合いを判別するため高精度で路面状態を検出することが可能になる。
【図面の簡単な説明】
【図１】路面状態検出装置１０の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】垂直偏光画像の説明図である。
【図４】水平偏光画像の説明図である。
【図５】合成画像の説明図である。
【図６】路面状態が乾燥状態の場合の偏光特性を示した模式図である。
【図７】路面状態が略湿潤状態の場合の偏光特性を示した模式図である。
【図８】路面状態検出処理の処理内容を示したフローチャートである。
【図９】路面の垂直水平偏光画像および合成画像の画像構成図である。
【図１０】２次元空間周波数画像の画像構成図である。
【図１１】ナイキスト周波数抽出周波数画像の画像構成図である。
【図１２】表示板に表示された文字情報の一例を示した表示画面図である。
【図１３】路面状態通知処理の処理内容を示したフローチャートである。
【図１４】路面状態表示処理の処理内容を示したフローチャートである。
【図１５】実空間画像の画像構成図である。
【符号の説明】
１０…路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…フーリエ変換器
１５…ナイキスト周波数抽出部
１６…表示制御部
１７…メモリ
２０…撮像部
３０…表示板
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
Ｐ１…垂直偏光画像
Ｐ２…水平偏光画像
Ｐ３…合成画像
Ｐ１０…２次元空間周波数画像
Ｐ２０…ナイキスト周波数抽出画像
Ｐ３０…実空間画像[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a road surface state detection device, a road surface state detection method, and a road surface state detection program, and particularly to a road surface state detection device, a road surface state detection method, and a road surface state detection program for detecting a wet state and a dry state of a road surface.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, this type of road surface condition detecting device enables a horizontal polarization filter and a vertical polarization filter to be alternately set by a filter conversion unit on the front surface of a television camera as an imaging unit. In such a configuration, when capturing an image of a road surface, a vertical polarization filter is first set on the front of the television camera based on the control of the filter conversion unit, and a vertical polarization image of the road surface is captured. Then, a Fourier transform is performed on the vertically polarized image to obtain a vertically polarized power spectrum image in a frequency space. Next, a horizontal polarization filter is set in front of the television camera based on the control of the filter conversion unit, and a horizontal polarization image of a road surface is captured. Then, a Fourier transform is performed on the horizontal polarization image to obtain a horizontal polarization power spectrum image in the frequency space. Next, the two images of the acquired vertical polarization power spectrum image and horizontal polarization power spectrum image are subjected to inverse Fourier transform after removing low frequency components to obtain two real space images, and based on the luminance distribution data, It detects whether the road surface is dry, wet, or frozen (for example, see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent No. 2707426
[0004]
[Problems to be solved by the invention]
In the above-described conventional road surface state detection device, it is necessary to alternately set the vertical polarization filter and the horizontal polarization filter with respect to the front of the television camera, and therefore, the road surface state detection processing cannot be performed in real time. . Further, since image processing must be performed on two images, that is, a vertical polarization image and a horizontal polarization image, the processing load increases, and in this respect, the road surface state cannot be detected in real time.
[0005]
The present invention has been made in view of the above problems, and has as its object to provide a road surface state detection device, a road surface state detection method, and a road surface state detection program capable of detecting a road surface state in real time with simple processing. I do.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is based on a synthesized image created by forming a frame by synthesizing a vertical polarization image and a horizontal polarization image of a road surface at every other raster. A road surface state detecting device that detects a state of a road surface, wherein the image forming unit generates the composite image, an image obtaining unit that obtains the generated composite image, and the composite image that is obtained by the image obtaining unit. Road surface determining means for determining the state of the road surface based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the raster adjacent to the image.
[0007]
In the invention according to claim 1 configured as described above, at least the vertical polarization image and the horizontal polarization image of the road surface are synthesized at every other raster to form a frame, and Provided is a road surface state detection device that detects a road surface state. At this time, first, a combined image is created by the image creating means based on the vertically polarized image and the horizontally polarized image. The synthesized image thus obtained is obtained by the image obtaining means, and the state of the road surface is determined based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the synthesized image obtained by the road surface determination means. I do. Here, the intensity of the vertical polarization component and the intensity of the horizontal polarization component have different polarization characteristics according to the state of the road surface. That is, when the road surface is in a dry state, the intensity of the vertical polarization component included in the vertical polarization image and the intensity of the horizontal polarization component included in the horizontal polarization image are substantially equal because light is irregularly reflected on the rough surface. The image is taken.
[0008]
On the other hand, when the road surface is in a substantially wet state, the intensity of the vertical polarization component is relatively larger than the intensity of the horizontal polarization component due to the polarization characteristics because of specular reflection. That is, when the change in the intensity of the vertical polarization component and the horizontal polarization component is relatively small in the adjacent raster, the road surface at the raster position is dry, and when the change in intensity is large, the road surface at the raster position is substantially wet. It becomes possible to determine. Therefore, the present invention makes it possible to detect a road surface state based on a change in intensity between adjacent rasters of a composite image, that is, a raster having a vertical polarization component and a raster having a horizontal polarization component, using such polarization characteristics. As described above, since the present invention detects the road surface state based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the composite image, the road surface state can be determined with high accuracy. Since the composite image formed in one frame is used, the processing load can be reduced, and the processing speed can be increased.
[0009]
Changes in the intensity of the vertical polarization component and the horizontal polarization component for adjacent rasters can be grasped in the frequency space. That is, when the change in intensity is large, the frequency increases, and when the change in intensity is small, the frequency decreases. Therefore, it is possible to detect the road surface state of the composite image based on the frequency components. Therefore, according to a second aspect of the present invention, in the road surface state detecting device according to the first aspect, the road surface determining unit includes a frequency space converting unit that converts the acquired synthesized image into a frequency space. The road surface condition is determined based on the intensity change that can be identified based on the frequency component distribution in the converted frequency space.
In the invention according to claim 2 configured as described above, the road surface determining means is provided with a frequency converting means, and the frequency converting means converts the composite image acquired by the image acquiring means into a frequency space. Since the intensity change of the vertical polarization component and the horizontal polarization component of the adjacent raster can be grasped on the basis of the distribution of the frequency components in this frequency space, the road surface determination means uses the distribution of the frequency components in the converted frequency space. The condition of the road surface is determined based on the condition.
[0010]
As an example of a specific road surface state that can be detected in a frequency space, the invention according to claim 3 is the road surface state detection device according to claim 2, wherein the road surface determination unit includes a frequency component of the converted frequency space. Is determined whether or not a high frequency component equal to or greater than a predetermined threshold is included in the distribution, and if the high frequency component is included, the road surface state is determined to be substantially wet.
In the invention according to claim 3 configured as described above, the road surface determining unit determines whether or not the distribution of the frequency components in the frequency space converted by the frequency converting unit includes a high-frequency component equal to or greater than a predetermined threshold. Determine. Then, when the road surface determination means determines that the high frequency component is included in the frequency space as a result of the determination, the road surface determination unit determines that the state of the road surface is substantially wet.
[0011]
As an example of a method for determining whether or not a high frequency component is included in a frequency space, the invention according to claim 4 is the road surface state detection device according to claim 3, wherein the road surface determination unit includes When determining whether a high-frequency component equal to or greater than the threshold is included, extract a Nyquist frequency component from the converted frequency space, and determine whether the high-frequency component is included based on the extracted Nyquist frequency component. This is a configuration for determining.
In the invention according to claim 4 configured as described above, the Nyquist frequency is converted from the converted frequency space when the road surface determining means determines whether the frequency space contains a high frequency component equal to or more than a predetermined threshold value. Extract the components. Then, based on the extracted Nyquist frequency component, it is determined whether or not a high frequency component is included in the frequency space.
[0012]
When the road surface is in a substantially wet state, it is preferable that the user (for example, a driver) can be notified of such a state because the driver can be alerted. Therefore, according to a fifth aspect of the present invention, in the road surface state detecting device according to any one of the third and fourth aspects, the road surface determining means acquires the determined road surface state and acquires the acquired road surface state. When the road surface condition is substantially wet, a road surface condition notifying means for notifying the outside to the outside is provided.
In the invention according to claim 5 configured as described above, the road surface determination unit is provided with the road surface state notification unit. The road surface condition notifying means obtains the state of the road surface determined by the road surface determining means, and when the obtained road surface state is substantially wet, notifies the outside to that effect. This notification only needs to be recognizable by the driver, and various aspects can be considered. For example, notification may be made by a light emitting means so as to be visually recognizable, or sound may be notified so as to be recognizable aurally. Of course, you may notify by character information or design information.
[0013]
The degree of the substantially wet state of the road surface can be determined based on the degree of the intensity change. That is, when it is determined that the state is substantially wet, it can be considered that the degree of wetness is large when the change in intensity is relatively large, and the degree of wetness is small when the change in intensity is relatively small. Therefore, it is preferable to be able to notify the degree of wetness at the time of the above-described notification, because the driver can appropriately grasp the state of the road surface. Therefore, according to a sixth aspect of the present invention, in the road surface state detecting device according to the fifth aspect, the road surface state notifying means determines the degree of wetness of the road surface in a substantially wet state based on the intensity of the high frequency component. It is configured to change the mode of the notification based on the determined degree of wetness.
In the invention according to claim 6 configured as described above, the road surface state notifying unit determines the degree of wetness of the road surface in a substantially wet state based on the intensity of the high frequency component. Then, the mode of notification is changed based on the determined degree of wetness. For example, in the case of the notification by the light emitting unit, the notification is made in red when the degree of wetness is large, and is notified in yellow when the degree of wetness is small. In the case of notification by sound, the notification is performed at a relatively high volume when the degree of wetness is high, and is notified at a relatively low volume when the degree of wetness is low. Thereby, the driver can grasp the degree of wetness in the light emitting state or the sound volume state.
[0014]
By using the above-described method, it is possible to detect the state of the road surface. Here, when the Nyquist frequency component is subjected to inverse Fourier transform and returned to the real space image, it is possible to visually recognize which part is substantially wet in the real space image. Therefore, according to a seventh aspect of the present invention, in the road surface state detecting device according to any one of the fourth to sixth aspects, the road surface determining means performs an inverse Fourier transform on the extracted Nyquist frequency component in real space. It is configured to have real space image display means for acquiring image data and displaying an image based on the acquired real image data so as to be visually recognized by a predetermined display means.
In the invention according to claim 7 configured as described above, the road surface determination means is provided with a real space image display means. The real space image display means obtains real space image data by performing an inverse Fourier transform on the Nyquist frequency component extracted by the road surface determination means. Then, an image based on the acquired actual image data is displayed on a predetermined display means so as to be visible. Thereby, the driver can visually recognize the water content and the water distribution on the road surface based on the display.
[0015]
Here, the above-described road surface state detecting device that detects the road surface state based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the composite image is also established as a method that presents a procedure of road surface state detection. Needless to say. Therefore, in the invention according to claim 8, the state of the road surface is determined based on a combined image created by combining at least one vertical polarization image and a horizontal polarization image of the road surface every other raster to form a frame. A road surface state detection method for detecting, wherein an image creation step of creating the composite image, an image acquisition step of acquiring the composite image created in the image creation step, and the image acquisition step of the image acquisition step A road surface determining step of determining the state of the road surface based on a change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the synthesized image. There is no difference in that the present invention is not necessarily limited to a substantial road surface state detecting device and is also effective as a road surface state detecting method.
[0016]
Further, an apparatus and a method for detecting a road surface state based on a change in the intensity of a vertical polarization component and a horizontal polarization component of adjacent rasters in a composite image may be realized by the above-described road surface state detection device alone, or a device. The concept of the invention includes various aspects, such as being used in a state of being incorporated in a computer, and can be changed as appropriate such as software or hardware. In the case where software for controlling the road surface state detection device is provided as an embodiment of the idea of the present invention, the invention can be realized as a recording medium of the hardware or software. For example, in the invention according to claim 9, the road surface condition is determined based on a combined image created by combining at least one vertical polarization image and a horizontal polarization image of the road surface every other raster to form a frame. A road surface state detection program that enables a computer to implement the function of detecting the image, an image creation function for creating the composite image, an image acquisition function for acquiring the composite image created by the image creation function, And a road surface determination function for determining the state of the road surface based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the composite image acquired by the image acquisition function. That is, the present invention may be formed by a program that enables the invention to be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0017]
The same applies to the duplication stage of the primary duplicate product and the secondary duplicate product without any question. In addition, the present invention is still used even when the supply method is performed using a communication line, and the same applies to a case where the information is written on a semiconductor chip. Furthermore, even when a part is implemented by software and a part is implemented by hardware, the concept of the present invention is not completely different, and a part is recorded on a recording medium and appropriately It may be in a form that is read.
[0018]
【The invention's effect】
As described above, the present invention detects the road surface state based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the synthesized image, so that the road surface state can be accurately determined and the vertical polarization Since the combined image of one frame synthesized from the field images of the component and the horizontal polarization component is used, the processing can be executed in a quarter of the time required when each frame image is individually processed. It is possible to provide a road surface state detecting device capable of reducing the processing time and the processing time.
Further, according to the second aspect of the invention, it is possible to grasp the change in the intensity of the vertical polarization component and the horizontal polarization component of the rasters adjacent in the frequency space.
Further, according to the third aspect of the invention, it is possible to determine the substantially wet state of the road surface in the frequency space.
Furthermore, according to the invention according to claim 4, it is possible to determine that the road surface is substantially wet based on the Nyquist frequency component.
Furthermore, according to the invention according to claim 5, it is possible to make the driver recognize that the road surface is substantially wet.
[0019]
Furthermore, according to the invention according to claim 6, it is possible to make the driver recognize the degree of the substantially wet state.
Further, according to the invention according to claim 7, it is possible to visually recognize the road surface condition in the real space image.
Further, according to the invention according to claim 8, since the road surface state is detected based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the synthesized image, the road surface state can be determined with high accuracy. Since a one-frame synthesized image synthesized from the field images of the vertical polarization component and the horizontal polarization component is used, it is possible to provide a road surface state detection method capable of reducing the processing load and the processing time. .
Furthermore, according to the ninth aspect of the present invention, since the road surface state is detected based on the change in the intensity of the vertical polarization component and the horizontal polarization component of the adjacent raster of the composite image, the road surface state can be accurately determined. Since a one-frame synthesized image synthesized from the field images of the vertical polarization component and the horizontal polarization component is used, it is possible to provide a road surface state detection program capable of reducing the processing load and the processing time. .
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of road surface condition detection device:
(2) Configuration of imaging section:
(3) Image configuration:
(4) For vertical and horizontal polarization components:
(5) Processing content of road surface state detection processing:
(6) Content of road surface state notification processing:
(7) Modification:
(8) Summary:
[0021]
(1) Configuration of road surface condition detection device:
FIG. 1 is a block diagram showing a configuration of a road surface state detecting device according to the present invention.
In FIG. 1, a road surface state detecting device 10 has a CPU 11 therein, the CPU 11 being connected via a bus line, a frame memory 13, a Fourier transformer 14, a Nyquist frequency extracting unit 15, a display controlling unit, and the like. 16 and the memory 17 can be controlled. Here, the imaging unit 20 is connected to the frame memory 13 via the AD converter 12 having a function of converting analog data into digital data. The analog data image captured by the imaging unit 20 is: The data is converted into digital data by the AD converter 12 and fetched by the frame memory 13. In the present embodiment, the road surface is imaged by the imaging unit 20. Then, the road surface image converted into digital data by the AD converter 12 is temporarily stored in a frame memory 13 corresponding to the image acquisition means of the present invention. Further, a display plate 30 is connected to the display control unit 16.
[0022]
The display plate 30 in the present embodiment is an outdoor display device, and is a device that is attached to a support standing on the side of a road and provides road information to a driver. A plurality of LEDs are arranged as pixels on the display surface of the display panel 30, and any one of these LEDs is turned on based on the control of the display control unit 19 to display characters and designs on the display surface. By this display, traffic information, road surface information, and the like are displayed. In the present embodiment, as described later, the imaging unit 20 captures a vertical polarization image and a horizontal polarization image of the road surface, and combines the vertical polarization image and the horizontal polarization image to create a composite image. It is stored in the frame memory 13. Then, the Fourier transformer 14 and the Nyquist frequency extracting unit 15 are configured to execute predetermined image processing in order to detect a road surface state from the composite image stored in the frame memory 13.
[0023]
(2) Configuration of imaging section:
FIG. 2 is a block diagram illustrating a configuration of the above-described imaging unit 20.
In the figure, an imaging unit 20 is attached to the above-described support or the like, and photographs the road surface behind the display panel 30 from above. At this time, a vertical polarization image and a horizontal polarization image of the visual field image incident on the imaging unit 20 from the road surface are captured. As described above, in order to capture the vertical polarization image and the horizontal polarization image, the imaging unit 20 includes a half mirror box 21 having a 1: 1 transmissivity, a mirror 22, a vertical polarization filter 23, and a horizontal polarization filter. A filter 24, a CCD 25 that captures a field image via a vertical polarization filter 23, a CCD 26 that captures a field image via a horizontal polarization filter 24, a field memory 27, a field memory 28, and a composite image creation unit 29. Is provided.
[0024]
In such a configuration, the visual field image passes through the half mirror box 21 and is reflected by the mirror 22, and is imaged on the CCD 25 via the vertical polarization filter 23 to form a vertically polarized image P <b> 1 and passes through the half mirror box 21. An image is formed on the CCD 26 via the horizontal polarization filter 24 to form a horizontal polarization image P2. Then, the vertically polarized image P1 thus formed is stored in the field memory 27. The horizontal polarization image P2 is stored in the field memory 28. Here, the composite image creating unit 29 reads the vertical polarization image P1 and the horizontal polarization image P2 stored in the field memories 27 and 28, and combines the rasters forming the vertical polarization image P1 and the horizontal polarization image P2. A synthesized image in which one frame was formed by synthesizing each raster from the position of the scanning line necessary to form the image was output as a video signal, and was converted into a digital signal by the AD converter 12 of the road surface state detection device 10. After that, it is stored in the frame memory 13.
[0025]
(3) Image configuration:
Here, FIG. 3 shows an explanatory diagram of the image of the vertical polarization image P1, and FIG. 4 shows an explanatory diagram of the image of the horizontal polarization image P2. In the figure, for ease of explanation, the vertical polarization image P1 and the horizontal polarization image P2 are expressed as odd and even field images in the field memories 27 and 28 at a cycle of 60 Hz. The figure shows a state where the odd field image is stored. FIG. 5 is an explanatory diagram of a composite image created based on the vertically polarized image P1 and the horizontally polarized image P2 having such a configuration. In the figure, the odd rasters having the image data of the vertically polarized image P1 are arranged in numerical order in the odd rasters of the composite image P3, and the odd rasters having the image data of the horizontal polarized image P2 are arranged in numerical order in the composite image P3. It is described that by arranging the images on the even-numbered raster lines, a combined image P3 of one frame is formed by the polarization images of the odd-numbered fields.
[0026]
As described above, the vertical polarization image P1 and the horizontal polarization image P2 composed of each field image are formed at a high speed of 60 Hz. Therefore, a composite image P3 composed of the vertical polarization image P1 and the horizontal polarization image P2 formed at 60 Hz can be formed at a speed of 60 Hz. In the present embodiment, based on the change in the intensity of the polarization component between the raster of the adjacent vertically polarized image P1 and the raster of the horizontally polarized image P2 in the composite image P3 formed in one frame, The road surface state (dry state or almost wet state) is detected. As described above, in the present embodiment, it is possible to detect the road surface state based on the composite image P3 formed at a high speed of 60 Hz, so that the road surface state can be detected in real time. Next, a method of detecting the road surface state based on the intensity change of the polarization component will be briefly described.
[0027]
(4) About vertical and horizontal polarization components:
FIG. 6 is a schematic diagram schematically illustrating aspects of the vertical polarization component and the horizontal polarization component when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the imaging unit 20 is reflected on the uneven surface (rough surface) of the road surface R. As described above, irregular reflection is dominant in the reflection on the rough surface, the reflected light does not show the polarization characteristic, and the reflectances of the vertical polarization component and the horizontal polarization component are almost equal. That is, the intensity of the vertical polarization component S11 which is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20, and the reflected light of the horizontal polarization component S2 extracted by the horizontal polarization filter 24. Comparing the intensity of the horizontal polarization component S21, the intensity is almost the same. Therefore, in the composite image P3, when the change in the intensity of the vertical polarization component S11 and the horizontal polarization component S21 of the adjacent raster is relatively gentle, it can be understood that the road surface is in a dry state.
[0028]
FIG. 7 is a schematic diagram schematically showing the mode of the vertical polarization component and the horizontal polarization component when the road surface is in a substantially wet state.
In the figure, when the road surface R is in a substantially wet state, water is accumulated on the uneven surface (rough surface) of the road surface R and becomes a mirror surface, so that light incident on the imaging unit 20 is reflected by this mirror surface. It becomes. Thus, on the mirror surface, the reflected light shows polarization characteristics. At this time, the reflectance of the horizontal polarization component is smaller than the reflectance of the vertical polarization component. That is, the intensity of the vertical polarization component S12 which is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20, and the reflected light of the horizontal polarization component S2 extracted by the horizontal polarization filter 24. Comparing the intensity of the horizontal polarization component S22, the intensity of the vertical polarization component S12 is relatively higher. Therefore, in the combined image P3, when the change in the intensity of the vertical polarization component S12 and the horizontal polarization component S22 of the adjacent raster is relatively strong, it can be understood that the road surface is substantially wet. In the present embodiment, the road surface state is detected based on the above characteristics. At this time, the road surface state detection device 10 executes a road surface state detection process described later. In the present embodiment, the Fourier transformer 14 performs a Fourier transform process, and the Nyquist frequency extraction unit 15 performs a Nyquist frequency extraction process in order to detect a change in the intensity of the polarization component between adjacent rasters.
[0029]
(5) Processing content of road surface state detection processing:
FIG. 8 is a flowchart showing the processing content of the road surface state detection processing executed by the road surface state detection device 10. FIG. 9 shows an image configuration of a vertical polarization image, a horizontal polarization image, and a composite image created from the vertical polarization image and the horizontal polarization image captured by the imaging unit when detecting a road surface state in the present embodiment. FIG. 3 is a diagram showing the image configuration shown. At this time, the vertical polarization image P1 corresponds to the vertical polarization image P11, the horizontal polarization image P2 corresponds to the horizontal polarization image P21, and the composite image P3 corresponds to the composite image P31. In the figure, first, a frame image converted into a digital signal by the AD converter 12 created by the composite image creating unit 29 of the imaging unit 20 is acquired in the frame memory 13 (step S110). Then, the obtained frame image is transformed into a frequency space by performing a Fourier transform, and a two-dimensional spatial frequency image is created (step S115). This Fourier transform is executed based on the following equation (1).
I (ω) = F {i (t)} (1)
Here, i (t) indicates the composite image P31 sampled at the time i. The function F indicates a two-dimensional Fourier transform function. I (ω) indicates a two-dimensional spatial frequency image of i (t). In the present embodiment, the Fourier transform is used for the conversion into the frequency space, but of course, an arithmetic method such as convolution may be used.
[0030]
Here, this two-dimensional spatial frequency image is shown in FIG. In the figure, the two-dimensional spatial frequency image P10 has a zero frequency component in the central part, and shows that the frequency component increases outward from the central part. In the case of the composite image P31 of the present embodiment, a low-frequency component region appears at approximately the center of the image, and a high-frequency component region appears at approximately the center of the upper and lower ends of the image. Next, the Nyquist frequency extraction unit 15 is activated. The Nyquist frequency extraction unit 15 extracts a high-frequency component representing a change in polarization information from the two-dimensional spatial frequency image P10 created by the Fourier transformer 14, and creates a Nyquist frequency extraction image (step S120). The extraction of the Nyquist frequency component is executed based on the following equation (2).
H (ω) = I (ω) · G (ω) Equation (2)
Here, G (ω) indicates a predetermined frequency filter function for extracting a high-frequency component, and H (ω) indicates a result of the filtering process, that is, a Nyquist frequency extracted image.
[0031]
Here, this Nyquist frequency extraction image is shown in FIG. In the figure, the Nyquist frequency extracted image P20 has a zero frequency component at the central part, as in the two-dimensional spatial frequency image P10 described above, and shows that the frequency component increases outward from the central part. In the case of the present embodiment, it can be seen that the high-frequency component region, that is, the Nyquist frequency appears in the approximate center of the upper and lower ends of the image. Then, the strength of the extracted Nyquist frequency component is determined (step S125), and it is determined whether the strength is equal to or greater than a predetermined threshold (step S130). When it is determined that the strength is equal to or greater than the predetermined threshold, it is detected that the road surface is substantially wet (step S135). When it is detected that the vehicle is in a substantially wet state, the display control unit 16 is activated, and a predetermined display for indicating that the vehicle is in a substantially wet state is displayed on a display plate 30 which is one form of a road surface condition notifying unit, and the operation is performed. Notify others. FIG. 12 shows an example of the notification by the display board 30. In the figure, the display panel 30 displays the text information "Caution! The road surface is wet" in two columns. Therefore, the driver can visually recognize the display and determine that the road surface during traveling is in a substantially wet state, and can appropriately drive according to the road surface state. On the other hand, when it is determined in step S130 that the strength is smaller than the predetermined threshold value, it is determined that the road surface is in a dry state (step S140).
[0032]
According to the above-described embodiment, the driver can determine based on the display on the display panel 30 whether the traveling road surface is in a substantially wet state or a dry state. On the other hand, even in the substantially wet state, the degree of substantially wet may be large (the amount of moisture is large), or the degree of substantially wet may be small (the amount of water is small). Here, it is more preferable that the degree of wetness can be determined and the driver can be notified in a mode according to the degree of wetness. Here, the degree of substantially wetness is substantially proportional to the degree of change in the intensity of the vertical polarization component and the horizontal polarization component, and the degree of the change in intensity corresponds to the intensity of the extracted Nyquist frequency. Therefore, when the intensity of the Nyquist frequency is relatively large, the degree of wetness is large, and when the intensity is small, the degree of wetness is small. Next, a description will be given of a road surface state notification process executed when the mode of notification is changed based on the degree of substantially wetness.
[0033]
(6) Content of road surface state notification processing:
FIG. 13 is a flowchart showing the processing content of the road surface state notification processing executed by the road surface state detection device 10.
In the figure, first, it is determined whether or not the road surface is substantially wet. This determination is made based on the determination result in step S130 described above (step S200). Next, the intensity of the extracted Nyquist frequency component is determined (step S205). In this determination, it is determined whether or not the intensity of the Nyquist frequency component is equal to or greater than a value at which the degree of wetness is determined to be large (step S210). Then, when it is determined that the strength is equal to or greater than the value that is determined to be substantially wet, the display of the character information shown in FIG. 12 is displayed in red to draw more attention to the driver ( Step S215).
[0034]
On the other hand, when it is determined in step S210 that the strength is smaller than the value determined to be substantially wet, the driver is warned by displaying the character information shown in FIG. 12 in yellow. (Step S220). As described above, it is preferable to change the display color of the character information displayed on the display panel 30 depending on the degree of wetness, because it is possible to appropriately notify the driver of the road surface condition. Further, in this embodiment, the mode of notifying the road surface state by the character information shown in FIG. 12 and the display color of the character information is adopted. Warning light), the display color of the lamp may be changed in accordance with the degree of wetness at that time, or the almost wet state of the road surface may be notified by sound of a buzzer or the like. Alternatively, the volume of the buzzer or the like may be changed according to the degree of wetness.
[0035]
(7) Modification:
In the above-described embodiment, a mode in which the display panel 30 displays that the road surface is substantially wet as character information is adopted. This is based on the viewpoint that the road surface state is indicated to the driver on the display panel 30 and the driver only needs to be able to recognize whether or not the running road surface is substantially wet. On the other hand, the road surface state detecting device 10 according to the present embodiment can be mounted on an automobile. Here, when the road surface condition detection device 10 is mounted on the vehicle, it is preferable that the road surface condition can be detected in real time according to the traveling speed of the vehicle. In this regard, since the road surface state detection device 10 according to the present embodiment can create and process the composite image P31 at high speed as described above, even in a running vehicle, the road surface state detection device 10 can detect the traveling road surface in real time. Since the road condition can be detected, a very effective effect can be obtained. Further, when the road surface condition detection device 10 is mounted on an automobile, it is preferable that the road surface condition can be visually recognized according to the driver's driving visual field. That is, if the driver can grasp the substantially wet state of the road surface from the visual field shown in the vertical polarization image P11, the horizontal polarization image P21, and the composite image P31, the driver can determine how much water content the distribution of the substantially wet state is in front of the vehicle. Can be understood, which is preferable.
[0036]
This makes it possible to perform a driving operation according to the road surface condition. In view of this, a configuration is provided in which the road surface state can be visually grasped in the visual fields shown in the vertical polarization image P11, the horizontal polarization image P21, and the composite image P31. In such a case, the Nyquist frequency extracted image P20 from which the Nyquist frequency component is extracted may be subjected to inverse Fourier transform. Thereby, the position information is added to the Nyquist frequency component, and it becomes possible to determine the substantially wet state and the degree thereof in the real space image P30. To realize such a function, the following road surface state display processing is executed by the road surface state detection device 10.
[0037]
FIG. 14 is a flowchart showing the processing contents of the road surface state display processing. FIG. 15 is a diagram showing an example of a display mode.
In the figure, first, the Fourier transformer 14 is activated, and the Fourier transformer 14 acquires the Nyquist frequency component created in step S120 of the road surface state detection processing described above. That is, a Nyquist frequency extracted image P20 indicating the Nyquist frequency component is obtained (step S300), and the Nyquist frequency extracted image P20 is subjected to inverse Fourier transform (step S305) to generate real space image data and store it in the memory 17 (Step S310). As a result, only the polarization characteristics can be extracted, and only the polarization characteristics can be displayed in the upper real space image. This inverse Fourier transform is executed based on the following equation (3). h (t) = J {H (ω)} (3)
Here, the function J indicates an inverse transform of the function F which is a two-dimensional Fourier transform function. h (t) indicates a real space image in which only the polarization characteristics are extracted from the composite image P31 sampled at the time i.
[0038]
Then, the display control unit 19 reads the real space image data from the memory 17 and displays the real space image on a predetermined display means (step S315). Here, FIG. 15 shows an image configuration of a real space image. In the same figure, the real space image P30 is shown by filling out a substantially wet portion and a dry portion by a white background. The filled portion is a portion where the intensity of the Nyquist frequency component is equal to or higher than a predetermined threshold value, and is a portion where the luminance is increased by performing the inverse Fourier transform. Since the brightness of this portion is changed in accordance with the degree of substantially wetness, it is possible to determine the magnitude of the degree of wetness substantially in accordance with the level of brightness. Thereby, the driver can grasp the road surface condition in the real space image P30 equivalent to the front view, and the road surface condition can be more reflected in the driving operation. Here, the display shown in FIG. 15 may be displayed on, for example, an in-vehicle television, or may be displayed on a head-up monitor together with the character information of the above-described embodiment. Displaying the information on the head-up monitor is preferable because the road surface state can be grasped in real time without changing the driving field of view that looks ahead.
[0039]
(8) Summary:
As described above, the road surface condition (dry state or substantially dry state) is set for one frame of the composite image P31 created by alternately arranging the rasters of the vertical polarization image P11 and the horizontal polarization image P21 alternately on odd and even rasters. Since the processing for determining the wet state is performed, the road surface state can be detected in real time, the processing load can be reduced, and the processing can be speeded up. Further, since the composite image P31 is converted into a frequency space, and the degree of change in the intensity of the vertical polarization component and the intensity of the horizontal polarization component is determined in the frequency space, the road surface state can be detected with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a road surface state detecting device 10. FIG.
FIG. 2 is a block diagram illustrating a configuration of an imaging unit.
FIG. 3 is an explanatory diagram of a vertically polarized image.
FIG. 4 is an explanatory diagram of a horizontal polarization image.
FIG. 5 is an explanatory diagram of a composite image.
FIG. 6 is a schematic diagram showing polarization characteristics when a road surface state is a dry state.
FIG. 7 is a schematic diagram showing polarization characteristics when the road surface state is substantially wet.
FIG. 8 is a flowchart showing a processing content of a road surface state detection processing.
FIG. 9 is an image configuration diagram of a vertical and horizontal polarization image of a road surface and a composite image.
FIG. 10 is an image configuration diagram of a two-dimensional spatial frequency image.
FIG. 11 is an image configuration diagram of a Nyquist frequency extraction frequency image.
FIG. 12 is a display screen diagram showing an example of character information displayed on the display panel.
FIG. 13 is a flowchart showing the processing contents of a road surface state notification processing.
FIG. 14 is a flowchart showing a processing content of a road surface state display processing.
FIG. 15 is an image configuration diagram of a real space image.
[Explanation of symbols]
10. Road surface condition detection device
11 CPU
12 AD converter
13. Frame memory
14: Fourier transformer
15 Nyquist frequency extraction unit
16 Display control unit
17… Memory
20: imaging unit
30 ... Display board
21 Half mirror box
22 ... Mirror
23 ... Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
P1: Vertical polarization image
P2: Horizontal polarized image
P3: Composite image
P10: 2D spatial frequency image
P20: Nyquist frequency extraction image
P30: Real space image

Claims

A road surface state detection device that detects a state of the road surface based on a composite image created by forming a frame by synthesizing a vertical polarization image and a horizontal polarization image of at least every other raster every road,
Image creating means for creating the composite image,
Image acquisition means for acquiring the composite image created by the image creation means,
A road surface determining unit configured to determine a state of the road surface based on a change in intensity of a vertical polarization component and a horizontal polarization component of an adjacent raster of the synthesized image acquired by the image acquisition unit. State detection device.

The road surface determination unit has a frequency space conversion unit that converts the obtained synthesized image into a frequency space, and the road surface is determined by the intensity change that can be identified based on the frequency component distribution in the converted frequency space. The road surface state detecting device according to claim 1, wherein the state is determined.

The road surface determining means determines whether or not a high frequency component equal to or greater than a predetermined threshold is included in the distribution of the frequency components in the converted frequency space, and when the high frequency component is included, the state of the road surface is determined. The road surface condition detection device according to claim 2, wherein the road surface condition detection device determines that the vehicle is in a substantially wet state.

The road surface determining means extracts a Nyquist frequency component from the converted frequency space when determining whether or not a high-frequency component equal to or greater than the predetermined threshold is included, and performs the above-described processing based on the extracted Nyquist frequency component. The road surface state detecting device according to claim 3, wherein it is determined whether or not a high frequency component is included.

The road surface determining means obtains the determined road surface state, and has a road surface state notifying means for notifying the outside to the outside when the obtained road surface state is substantially wet. The road surface condition detection device according to claim 3.

The road surface state notifying means determines a degree of wetness of the road surface in a substantially wet state based on the intensity of the high frequency component, and changes the mode of the notification based on the determined degree of wetness. Item 6. The road surface condition detecting device according to item 5.

The road surface determining means obtains real space image data by performing an inverse Fourier transform on the extracted Nyquist frequency component, and displays an image based on the obtained real image data in a predetermined display means so as to be visible. The road surface state detecting device according to any one of claims 4 to 6, further comprising a spatial image display unit.

A road surface state detection method for detecting a state of the road surface based on a composite image created by forming a frame by synthesizing a vertical polarization image and a horizontal polarization image of at least one raster every other raster,
An image creation step of creating the composite image,
An image acquisition step of acquiring the composite image created in the image creation step,
A road surface determining step of determining a state of the road surface based on a change in intensity of a vertical polarization component and a horizontal polarization component of an adjacent raster of the composite image acquired in the image acquisition step. State detection method.

At least a function of detecting a state of a road surface based on a combined image created by forming a frame by synthesizing a vertical polarization image and a horizontal polarization image of a road surface at every other raster to be realized by a computer. A road condition detection program,
An image creation function for creating the composite image,
An image acquisition function for acquiring a composite image created by the image creation function,
A road surface determination function of determining the state of the road surface based on a change in intensity of a vertical polarization component and a horizontal polarization component of an adjacent raster of the composite image acquired by the image acquisition function. State detection program.