JP2004274431A - 路面状況判定方法および装置 - Google Patents
路面状況判定方法および装置 Download PDFInfo
- Publication number
- JP2004274431A JP2004274431A JP2003063062A JP2003063062A JP2004274431A JP 2004274431 A JP2004274431 A JP 2004274431A JP 2003063062 A JP2003063062 A JP 2003063062A JP 2003063062 A JP2003063062 A JP 2003063062A JP 2004274431 A JP2004274431 A JP 2004274431A
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- road surface
- image feature
- surface condition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】正解率を向上させるとともに、設置条件、季節変化に対して自動的にチューニング作業を行い、導入コストの大幅な削減を実現すること。
【解決手段】各路面状態の分布を、複数の正規分布の重み付き和（混合正規分布）によって表現し、画像特徴量分布データとして画像特徴量分布データ記憶部５に格納する。ＴＶカメラ１にて撮影した路面画像を画像特徴量算出部３で処理して、注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。判定部４で、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。また、定期的に路面状態の分布を再計算する処理を繰り返し、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、設置条件や季節変化に応じて自動的にチューニングする。
【選択図】 図１
【解決手段】各路面状態の分布を、複数の正規分布の重み付き和（混合正規分布）によって表現し、画像特徴量分布データとして画像特徴量分布データ記憶部５に格納する。ＴＶカメラ１にて撮影した路面画像を画像特徴量算出部３で処理して、注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。判定部４で、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。また、定期的に路面状態の分布を再計算する処理を繰り返し、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、設置条件や季節変化に応じて自動的にチューニングする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は道路上に設置した監視カメラの映像を入力し、その入力画像を処理することにより、道路路面の乾燥、湿潤、水膜等の路面状態を判定する路面状況判定方法および装置に関する。
【０００２】
【従来の技術】
従来から、道路上の路面状況を判定する判定装置とし、以下のものが提案されている。
（１）路面に赤外線を照射し、この路面からの正反射及び乱反射成分を検出し、受光した受光レベルにより路面の状況を判定する装置。
（２）カメラに特殊な偏向フィルタを取り付け、このカメラにより垂直偏向画像及び水平偏向画像を撮影し、それぞれの偏向成分の比率に基づいて、路面状況を判定する装置。
ところが、これらの路面状況判定装置の場合には、以下のような問題がある。すなわち、前記（１）の装置では路面に局所的に赤外線を照射するものであるため、この装置では局所的な情報しか得ることができず、路面の広い範囲の状況を正確に把握することができないという問題があった。
また、前記（１）、（２）のいずれの装置においても、特殊な別の装置を道路上の設備として新たに追加して設置する必要があるため、既存の設備をそのまま利用することができずコストが嵩む恐れがあるという問題があった。
【０００３】
上記従来技術の問題点を解決するため、道路監視用に設置されているＴＶカメラによるモニタ映像を入力し、この映像により取得した画像をビットマップ画像として取り込み、この画像から得られる色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量にもとづいて、多変量解析における判別分析法により路面状態を判定するものが提案されている（特許文献１参照）。
この方式では、先の従来技術と異なり、既存に設置されている道路監視用の可視カメラを利用することにより、また、道路上に新たな設備を追加することなく、広い範囲において路面の状況を正確且つ詳細に判定することができる路面状況判定装置を実現できる。
【０００４】
【特許文献１】
特開２００２−１４０７８９号公報
【０００５】
【発明が解決しようとする課題】
ところがこのような可視カメラから得られる画像特徴量を利用する従来の装置には、同一の路面状況に対応する画像特徴データの分布が単一の正規分布であることを前提にするために、正解率が劣化する場合があった。
また、同一の路面状況に対応する画像特徴データの分布が、設置条件、季節によって変化するために、個々の設置場所において最低でも１年間は、目視で判定した路面状況と対応する画像特徴データのサンプルデータを収集し、それをもとに、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不可欠であり、装置の導入コストが大きいという課題があった。
本発明は上記従来技術の問題点を解決するためになされたものであって、本発明の目的は、人手によるサンプルデータ収集を自動化することができ、また、設置条件、季節変化に対して自動的にチューニング作業を行うことができ、導入コストの大幅な削減を実現することができる路面状況判定方法および装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明においては、以下のようにして前記課題を解決する。
（１）各路面状態の分布を、図２（ｂ）に示すように複数の正規分布の重み付き和（混合正規分布）によって表現し、画像特徴量分布データとして、図１の画像特徴量分布データ記憶部５に格納する。
そして、画像特徴量算出部３で、ＴＶカメラで取得した路面画像から色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量を算出し、判定部４で、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。
本発明においては、上記のように各路面状態の分布を複数の正規分布の重み付き和によって、より正確に表現し、現在の画像特徴量がどの路面状態の分布に帰属する確率が高いかにより路面状態を判定しているので、従来に比べ、誤認識の発生率を大幅に低減することができる。
（２）上記において、１日程度の人手によるサンプルデータから作成した初期分布を利用して、判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、蓄積されたデータを用いて、定期的に路面状態の分布を再計算する処理を各路面状態について十分な数のデータが蓄積するまで繰り返し、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、設置条件に応じて自動的にチューニングする。
これにより、従来のように路面状況と対応する画像特徴データのサンプルデータを収集し、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
（３）上記（２）において、過去の様々な設置条件にて収集したサンプルデータ複数の正規分布の重み付き加算で表現し、設置条件に依存しない共通的な画像特徴分布が一定以上の重みをもつ画像特徴分布を得る。
この共通的な画像特徴分布を上記（２）における初期期分布とすることで、過去の様々な設置条件にて収集したサンプルデータをもとに初期分布を自動的に得ることができ、設置条件に対するチューニングを完全に自動化することができる。
（４）季節による画像特徴データの分布の変化が緩やかである点に着目し、ある季節に人手により収集したサンプルデータから作成した初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、この蓄積されたデータを用いて、定期的に路面状態の分布を再計算する処理を繰り返すことにより、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、季節変化に応じて自動的にチューニングする。
季節によって天候、日照条件が変化するために、各路面状態に対する画像特徴データの分布も、季節により変動するが、上記のように画像特徴量分布データを、季節変化に応じて自動的にチューニングすることにより、従来のように、最低１年間にわたって定期的に人手によるサンプルデータを収集して、季節に応じた各路面状態に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
（５）上記（３）（４）を組み合わせ、設置条件、季節変化に対するチューニング作業を自動化する。
【０００７】
【発明の実施の形態】
図１は本発明の第１の実施例の路面状況判定装置の機能ブロック図である。
図１において、ＴＶカメラ１にて撮影した路面画像を画像入力部２でデジタル化する。ついで、画像特徴量算出部３にてデジタル画像を処理して、注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。
一方、画像特徴量分布データ記憶部５には、画像特徴量の分布データが格納されており、判定部４では、上記画像特徴量分布データ記憶部５に格納された画像特徴量の分布データと、画像特徴量算出部３で算出された画像特徴量とから、路面状況を判定する。
上記画像特徴量分布データ記憶部５に格納された画像特徴量の分布データは、予め所定の設置条件でＴＶカメラにより収集したサンプルデータにＥＭアルゴリズムを適用し、複数の正規分布の重み付き和（混合正規分布という）として各路面状況を表したものであり、上記判定部４は、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。
なお、本発明の路面状況判定装置は、ＣＰＵ、メモリ、外部記憶装置、入出力装置等を備えた処理装置で実現することができ、この場合、上記外部記憶装置には、プログラム、データ等が格納され、上記画像特徴量算出部３、判定部４等で行われる機能は、上記プログラムを実行することにより行われる。
【０００８】
図２は、前記特許文献１に記載される路面状況判定装置における画像特徴量分布データと、本実施例の画像特徴量の分布データを示す図である。
上記特許文献１に記載されるものでは、路面状態に対応する画像特徴の分布を単一の正規分布で表現し、それをもとに現在の画像特徴データがどの路面状態の分布に帰属する確率が高いかをもって路面状態を判定していた。
例えば図２（ａ）に示すように、算出した画像特徴量データを、横軸を画像特徴量Ｕ、縦軸を画像特徴量Ｖとした空間上にプロットし、路面状況Ａ，Ｂの各特徴量の分布が正規分布であるとして平均値と分散値の分布特性で各路面状況を表し、ＴＶカメラで捉えた路面画像データから算出した画像特徴量が、どの路面状況の分布に帰属するかを判別して、路面状況を判別していた。なお、図２では、２次元平面上で特徴量分布を示しているが、特徴量分布は実際にはｎ次元空間上にプロットされる。
上記特許文献１に記載されるものでは、上記のように路面状況を判定しているため、実際の画像特徴の分布が正規分布と大きく異なっている場合には、２以上の分布が接近してしまい、誤認識が発生する可能性が大きい。
【０００９】
これに対し、本発明においては、画像特徴量分布に対してＥＭアルゴリズムを適用し、図２（ｂ）に示すように、各路面状態の分布を複数の正規分布の重み付き和によって、より正確に表現することにより、誤認識の発生率を大幅に低減した。なお、ＥＭアルゴリズムについては、例えば、”渡辺美智子、山口和範編著、「ＥＭアルゴリズムと不完全データ」、多賀出版社発行”，”電子情報通信学会論文誌、「明度分布パターン推定に基づくシーン状態変化の動的認識」 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５．Ｊ８５−Ｄ−ＩＩ Ｎｏ．２，「明度分布パターン推定に基づくシーン状態変化の動的認識」，ＰＰ２７２−２６１，２００２ 年２ 月”等を参照されたい。
ＥＭアルゴリズムによれば、特徴量分布を正規分布の重み付き和（混合正規分布）によって表現することができ、図２（ａ）に示す特徴量分布は、ＥＭアルゴリズムを適用することにより、図２（ｂ）に示すように以下の（１）式に示す混合正規分布で表される。
【００１０】
【００１１】
例えば、図２（ｂ）において、実線で囲まれた領域は、路面状況Ａ（例えば路面乾燥）の特徴量分布を示し、点線で囲まれた領域は路面状況Ｂ（例えば路面湿潤）の特徴量分布を表し、各特徴量分布は、それぞれ上記（２）（３）式の混合正規分布Ｐ１，Ｐ２で定義される。
なお、図２（ｂ）の例では、（２）（３）式のｎ１，ｎ２はそれぞれｎ１＝２，ｎ２＝２であり、例えば路面状況Ａの混合正規分布Ｐ１は、（２）式に示すように、特徴量分布１（Φ１１）と特徴量分布２（Φ１２） をウエイトｗ１１ ，ｗ１２ を付けて加算したもので表される。
判定部４では、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかの帰属確率を求めて、路面状況を判定する。
上記画像特徴量データの各路面状態への帰属確率は、ベイズ識別法により算出することができる。ベイス識別法については、例えば、大津展之、粟田多喜夫、関田巌著、「パターン認識」、朝倉書店、等を参照されたい。
本実施例においては、上記のような混合正規分布を用いたので、正解率を向上させることができる。
【００１２】
上記第１の実施例では、予め収集したサンプルデータにＥＭアルゴリズムを適用し、混合正規分布を得ていたが、以下の説明する本発明の第２の実施例では、これまで少なくとも１週間以上の人手によるサンプルデータに依存していた設置条件に対するチューニング作業を、１日程度の人手によるサンプルデータから作成した初期分布をもとに、自動的に生成する。
図３は本発明の第２の実施例の路面状況判定装置の機能ブロック図である。
本実施例では、前記図１に示したものに、画像特徴量分布調整手段６と、記憶部７を設けたものである。
画像特徴量分布調整手段６は、記憶部７に格納された初期サンプルデータをもとに、路面状況の初期分布データを生成し、この初期分布データを利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを上記記憶部７に蓄積する。また、蓄積されたデータを用いて、定期的に設置条件に応じた路面状態の分布を再計算することにより、画像特徴量分布データ記憶部６に格納された画像特徴量分布データを自動的にチューニングする。
その他の動作は前記図１に示したものと同様であり、画像特徴量算出部３は、ＴＶカメラで取得した注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。
画像特徴量分布データ記憶部５には、最初、初期サンプルデータから生成した初期分布データが格納され、上記画像特徴量分布調整手段６により、上記初期分布データが自動的にチューニングされる。
判定部４は、上記画像特徴量分布調整手段６でチューニングされた画像特徴量分布データに基づき、画像特徴量算出部３で算出された画像特徴量が路面状況のどれに帰属するかを判定して路面状況を判定する。
【００１３】
図４（ａ）は本実施例におけるチューニング処理を示すフローチャートである。
まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータを もとに生成し、調整モードをセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、調整モードであれば、ステップＳ４からステップＳ５に行き、帰属確率が閾値を越えているかを調べ、閾値を越えていなければステップＳ２に戻る。
また、閾値を越えていれば、帰属確率が最大となる路面状況のサンプルデータを追加し（ステップＳ６）、追加数が閾値より大きいかを判定する（ステップＳ７）。追加数が閾値を越えていれば、データの追加数が閾値を越えた路面状況の特徴量分布を前記ＥＭアルゴリズムにより再計算する（ステップＳ８）。
次いで、追加総数が閾値を越えているかを調べ（ステップＳ９）、追加総数が閾値を越えていれば、ステップＳ１０で調整モードを終了（リセット）し、ステップＳ２に戻る。
ステップＳ２では、前記したように画像を入力し、画像特徴量を計算し、ステップＳ３において各路面状況の帰属確率を計算する。
そして、調整モードがリセットされているので、ステップＳ１１に行き、帰属確率が最大となる路面状況を判定結果として出力する。
上記処理を行うことにより、図４（ｂ）に示すように、初期サンプルデータにデータが追加されるとともに、再計算により路面状況の特徴量分布が調整され、実際の設置条件に応じた特徴量分布になるように自動的にチューニングされる。
本実施例においては、上記のように、画像特徴量分布調整手段６により、初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、定期的に路面状態の分布を再計算しているので、設置条件に対するチューニング作業を、１日程度の人手によるサンプルデータから作成した初期分布をもとに自動的に生成することができ、従来例のように、目視で判定した路面状況と対応する画像特徴データのサンプルデータを収集し、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
なお、上記効果は、混合正規分布を用いて路面状況を判定することにより得られるものであり、前記図２（ａ）で説明した従来技術に基づいて実施した場合には、誤認識が多いために正しいチューニングは困難である。
【００１４】
上記第２の実施例では初期サンプルデータから初期分布データを得ているが、本発明の第３の実施例は、第２の実施例で必要とされる初期分布を得る作業を、過去の様々な設置条件にて収集したサンプルデータを基に自動的に得るようにしたものである。
図５は本実施例を説明する図である。
本実施例では、まず過去の様々な設置条件にて収集したサンプルデータを複数の正規分布の重み付き加算で表現する。
例えば、過去の様々な設置条件にて収集したサンプルデータに、ＥＭアルゴリズムを適用することにより、図５に示すようにＡ，Ｂ，Ｃの分布が得られたとする。
図５に示す分布を正規分布の重み付き加算で表現すると、例えば以下の（４）式であらわされる。なお、（４）式で上記分布Ａ，Ｂ，ＣはそれぞれΦ１，Φ２，Φ３に対応している。
Ｐ＝ｗ１・Φ１＋ｗ２・Φ２＋ｗ３・Φ３…（４）
ここで、ｗ３＞＞ｗ２，ｗ３とすると、上記正規分布Φ１，Φ２，Φ３の中で、最もウエイトが大きい分布Ｃは共通の正規分布と考えることができ、分布Ａは条件Ａに特化した分布、分布Ｂは条件Ｂに特化した分布と考えることができる。
そこで、上記正規分布の重み付き加算の各項の中で、最もウェイトの大きい分布を共通の分布として取り出す。
これにより、過去の様々な設置条件にて収集したサンプルデータから、設置条件に依存しない共通的な画像特徴分布を、一定以上の重みをもつ画像特徴分布として得ることができる。例えば、上記（４）式に示す画像分布においては、初期分布として、以下の（５）式を得ることができる。なお、以下の（５）式においてｗ３＝１である。
Ｐ＝ｗ３・Φ３…（５）
以上のようにすれば、過去の様々な設置条件にて収集したサンプルデータを基に、共通的な初期分布データを自動的に得ることができる。したがって、この初期分布データを用いて、第２の実施例で説明した処理を行えば、設置条件に対するチューニングを完全に自動化することができる。
【００１５】
ところで、季節によって天候、日照条件が変化するために、各路面状態に対する画像特徴データの分布も、季節により変動する。そのため、従来では、最低１年間にわたって定期的に人手によるサンプルデータを収集して、季節に応じた各路面状態に対する画像特徴データの分布を得る必要があった。
本発明の第４の実施例では、季節による画像特徴データの分布の変化が緩やかである点に着目し、ある季節に人手により収集したサンプルデータから作成した初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積する。また、蓄積されたデータを用いて、定期的に季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、季節変化に対するチューニングを自動実行する。
本実施例の構成は、前記図３に示したものと同様であり、画像特徴量分布データ記憶部５には、最初、初期分布データが格納され、画像特徴量分布調整手段６は、定期的に、季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、上記画像特徴量分布データ記憶部５に格納される分布データのチューニングを自動実行する。
図６（ａ）は本実施例におけるチューニング処理を示すフローチャートである。
まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータを もとに生成し、経過時間をリセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、帰属確率が最大となる路面状況を判定結果として出力し（ステップＳ４）、帰属確率が閾値を越えているかを調べる（ステップＳ５）。
帰属確率が閾値を越えていなければステップＳ２に戻る。また、閾値を越えていれば、帰属確率が最大となる路面状況をサンプルデータに追加し（ステップＳ６）、経過時間が閾値を越えているかを判定する（ステップＳ７）。経過時間が閾値を越えていれば、全路面状況の特徴量分布を前記ＥＭアルゴリズムにより再計算し、経過時間をリセットし（ステップＳ８）、ステップＳ２に戻り、上記処理を繰り返す。
上記処理を行うことにより、前記第２の実施例と同様、図６（ｂ）に示すように、初期サンプルデータにデータが追加されるとともに、再計算により路面状況の特徴量分布が調整され、季節変化に応じて特徴量分布が自動的にチューニングされる。
【００１６】
図７は本発明の第５の実施例の処理を示すフローチャートであり、本実施例は、前記第３の実施例、第４の実施例を組み合わせることにより、設置条件、季節変化に対するチューニング作業を自動化するようにしたものである。
本実施例の構成は、前記図３に示したものと同様であり、画像特徴量分布データ記憶部５には、最初、初期分布データが格納され、画像特徴量分布調整手段６は、定期的に、設置条件、季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、上記画像特徴量分布データ記憶部５に格納される分布データのチューニングを自動実行する。
図７において、まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータをもとに生成し、経過時間をリセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、帰属確率が閾値を越えているかを調べる（ステップＳ４）。
帰属確率が閾値を越えていなければステップＳ２に戻る。また、閾値を越えていれば、帰属確率が最大となる路面状況をサンプルデータに追加する（ステップＳ５）。
ついで、設置条件調整モードであるかを調べ、設置条件調整モードであれば、ステップＳ６からステップＳ７に行き、サンプルデータの追加数が閾値を越えているかを調べ、越えていなければステップＳ２に戻る。また、追加数が閾値を越えていれば、データの追加数が閾値を越えた路面状況の特徴量分布を再計算し（ステップＳ８）、追加総数が閾値を越えているかを調べる（ステップＳ９）。
追加総数が閾値を越えていなければステップＳ２に戻り、越えていればステップＳ９からステップＳ１０に行き、設置条件調整を終了させステップ２に戻る。
そして、ステップＳ２からステップＳ５の処理を行い、ステップＳ６からステップ１１に行き、帰属確率が最大となる路面状態を判定結果として出力し、ステップＳ１２で経過時間が閾値を越えたかを調べる（ステップＳ１２）。
経過時間が閾値を越えていなければ、ステップＳ２に戻り上記処理を繰り返し、閾値を越えていれば、全路面状態の特徴量分布を再計算し、経過時間をリセットしてステップＳ２に戻る。
上記処理を行うことにより、初期サンプルデータにデータが追加されるとともに、追加されたデータを用いた再計算により路面状況の特徴量分布が調整され、設置条件、季節変化に応じて特徴量分布が自動的にチューニングされる。
【００１７】
（付記１） 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義し、
上記画像特徴量の混合正規分布に基づき、道路上に設置した監視カメラの画像から路面状況を判定する
ことを特徴とする路面状況判定方法。
（付記２） 同一路面状況で判定された画像特徴量データを利用して、予め定めた所定の初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を自動的に調整する
ことを特徴とする付記１の路面状況判定方法。
（付記３） 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義した画像特徴量の分布を格納する画像特徴量分布格納手段と、
道路上に設置した監視カメラの画像から、注目領域の輝度分布・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する手段と、
上記画像特徴量分布格納手段に格納された画像特徴量の分布と、上記算出された画像特徴量に基づき、路面状況を判定する判定手段を備えた
ことを特徴とする路面状況判定装置。
（付記４） 同一路面状況において取得した画像特徴量データを利用して、予め生成された初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記５） 異なる設置条件のもとで収集された同一路面状況に対応する画像特徴量データから求めた設置条件への依存度の少ない特徴量分布を初期分布とすることを特徴とする付記４の路面状況判定装置。
（付記６） 運用中に、ある期間の同一路面状況において収集した画像特徴量データから求めた画像特徴量分布を初期分布とし、該初期分布の画像特徴量分布を再定義することにより、季節に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記７） 異なる設置条件のもとで収集された同一路面状況に対応する画像特徴量データから求めた設置条件への依存度の少ない特徴量分布を初期分布として、同一路面状況において判定された画像特徴量データを利用して、上記初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を得る第１の画像特徴量分布調整手段と、
上記画像特徴量分布調整手段により再定義された画像特徴量分布を、運用中に、ある期間の同一路面状況において収集した季節に依存する画像特徴分布により再定義することにより、季節に依存する画像特徴量分布の変化を得る第２の画像特徴量分布調整手段とを備え、
上記判定手段は、上記第２の画像特徴量分布調整手段により調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記８） 路面状況判定処理を行うプログラムであって、
上記プログラムは、路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義する処理と、
上記画像特徴量の混合正規分布に基づき、道路上に設置した監視カメラの画像から路面状況を判定する処理をコンピュータに実行させる
ことを特徴とする路面状況判定プログラム。
【００１８】
【発明の効果】
以上説明したように、本発明においては、各路面状態の分布を複数の正規分布の重み付き和によって正確に表現し、現在の画像特徴量がどの路面状態の分布に帰属する確率が高いかにより路面状態を判定しているので、従来に比べ、誤認識の発生率を大幅に低減することができる。
また、画像特徴量分布データを、設置条件に応じて自動的にチューニングすることにより、従来、可視カメラによる路面状況判定装置の導入に不可欠であった人手によるサンプルデータ収集を自動化することができ、導入コストの大幅な削減を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の路面状況判定装置の機能ブロック図である。
【図２】路面状況に対応した特徴量分布を示す図である。
【図３】本発明の第２の実施例の路面状況判定装置の機能ブロック図である。
【図４】本発明の第２の実施例の処理を示すフローチャートである。
【図５】本発明の第３の実施例を説明する図である。
【図６】本発明の第４の実施例の処理を示すフローチャートである。
【図７】本発明の第５の実施例の処理を示すフローチャートである。
【符号の説明】
１ ＴＶカメラ
２ 画像入力部
３ 画像特徴量算出部
４ 判定部
５ 画像特徴量分布データ記憶部
６ 画像特徴量分布調整手段
７ 記憶部
【発明の属する技術分野】
本発明は道路上に設置した監視カメラの映像を入力し、その入力画像を処理することにより、道路路面の乾燥、湿潤、水膜等の路面状態を判定する路面状況判定方法および装置に関する。
【０００２】
【従来の技術】
従来から、道路上の路面状況を判定する判定装置とし、以下のものが提案されている。
（１）路面に赤外線を照射し、この路面からの正反射及び乱反射成分を検出し、受光した受光レベルにより路面の状況を判定する装置。
（２）カメラに特殊な偏向フィルタを取り付け、このカメラにより垂直偏向画像及び水平偏向画像を撮影し、それぞれの偏向成分の比率に基づいて、路面状況を判定する装置。
ところが、これらの路面状況判定装置の場合には、以下のような問題がある。すなわち、前記（１）の装置では路面に局所的に赤外線を照射するものであるため、この装置では局所的な情報しか得ることができず、路面の広い範囲の状況を正確に把握することができないという問題があった。
また、前記（１）、（２）のいずれの装置においても、特殊な別の装置を道路上の設備として新たに追加して設置する必要があるため、既存の設備をそのまま利用することができずコストが嵩む恐れがあるという問題があった。
【０００３】
上記従来技術の問題点を解決するため、道路監視用に設置されているＴＶカメラによるモニタ映像を入力し、この映像により取得した画像をビットマップ画像として取り込み、この画像から得られる色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量にもとづいて、多変量解析における判別分析法により路面状態を判定するものが提案されている（特許文献１参照）。
この方式では、先の従来技術と異なり、既存に設置されている道路監視用の可視カメラを利用することにより、また、道路上に新たな設備を追加することなく、広い範囲において路面の状況を正確且つ詳細に判定することができる路面状況判定装置を実現できる。
【０００４】
【特許文献１】
特開２００２−１４０７８９号公報
【０００５】
【発明が解決しようとする課題】
ところがこのような可視カメラから得られる画像特徴量を利用する従来の装置には、同一の路面状況に対応する画像特徴データの分布が単一の正規分布であることを前提にするために、正解率が劣化する場合があった。
また、同一の路面状況に対応する画像特徴データの分布が、設置条件、季節によって変化するために、個々の設置場所において最低でも１年間は、目視で判定した路面状況と対応する画像特徴データのサンプルデータを収集し、それをもとに、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不可欠であり、装置の導入コストが大きいという課題があった。
本発明は上記従来技術の問題点を解決するためになされたものであって、本発明の目的は、人手によるサンプルデータ収集を自動化することができ、また、設置条件、季節変化に対して自動的にチューニング作業を行うことができ、導入コストの大幅な削減を実現することができる路面状況判定方法および装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明においては、以下のようにして前記課題を解決する。
（１）各路面状態の分布を、図２（ｂ）に示すように複数の正規分布の重み付き和（混合正規分布）によって表現し、画像特徴量分布データとして、図１の画像特徴量分布データ記憶部５に格納する。
そして、画像特徴量算出部３で、ＴＶカメラで取得した路面画像から色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量を算出し、判定部４で、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。
本発明においては、上記のように各路面状態の分布を複数の正規分布の重み付き和によって、より正確に表現し、現在の画像特徴量がどの路面状態の分布に帰属する確率が高いかにより路面状態を判定しているので、従来に比べ、誤認識の発生率を大幅に低減することができる。
（２）上記において、１日程度の人手によるサンプルデータから作成した初期分布を利用して、判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、蓄積されたデータを用いて、定期的に路面状態の分布を再計算する処理を各路面状態について十分な数のデータが蓄積するまで繰り返し、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、設置条件に応じて自動的にチューニングする。
これにより、従来のように路面状況と対応する画像特徴データのサンプルデータを収集し、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
（３）上記（２）において、過去の様々な設置条件にて収集したサンプルデータ複数の正規分布の重み付き加算で表現し、設置条件に依存しない共通的な画像特徴分布が一定以上の重みをもつ画像特徴分布を得る。
この共通的な画像特徴分布を上記（２）における初期期分布とすることで、過去の様々な設置条件にて収集したサンプルデータをもとに初期分布を自動的に得ることができ、設置条件に対するチューニングを完全に自動化することができる。
（４）季節による画像特徴データの分布の変化が緩やかである点に着目し、ある季節に人手により収集したサンプルデータから作成した初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、この蓄積されたデータを用いて、定期的に路面状態の分布を再計算する処理を繰り返すことにより、画像特徴量分布データ記憶部５格納された画像特徴量分布データを、季節変化に応じて自動的にチューニングする。
季節によって天候、日照条件が変化するために、各路面状態に対する画像特徴データの分布も、季節により変動するが、上記のように画像特徴量分布データを、季節変化に応じて自動的にチューニングすることにより、従来のように、最低１年間にわたって定期的に人手によるサンプルデータを収集して、季節に応じた各路面状態に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
（５）上記（３）（４）を組み合わせ、設置条件、季節変化に対するチューニング作業を自動化する。
【０００７】
【発明の実施の形態】
図１は本発明の第１の実施例の路面状況判定装置の機能ブロック図である。
図１において、ＴＶカメラ１にて撮影した路面画像を画像入力部２でデジタル化する。ついで、画像特徴量算出部３にてデジタル画像を処理して、注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。
一方、画像特徴量分布データ記憶部５には、画像特徴量の分布データが格納されており、判定部４では、上記画像特徴量分布データ記憶部５に格納された画像特徴量の分布データと、画像特徴量算出部３で算出された画像特徴量とから、路面状況を判定する。
上記画像特徴量分布データ記憶部５に格納された画像特徴量の分布データは、予め所定の設置条件でＴＶカメラにより収集したサンプルデータにＥＭアルゴリズムを適用し、複数の正規分布の重み付き和（混合正規分布という）として各路面状況を表したものであり、上記判定部４は、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかで、路面状況を判定する。
なお、本発明の路面状況判定装置は、ＣＰＵ、メモリ、外部記憶装置、入出力装置等を備えた処理装置で実現することができ、この場合、上記外部記憶装置には、プログラム、データ等が格納され、上記画像特徴量算出部３、判定部４等で行われる機能は、上記プログラムを実行することにより行われる。
【０００８】
図２は、前記特許文献１に記載される路面状況判定装置における画像特徴量分布データと、本実施例の画像特徴量の分布データを示す図である。
上記特許文献１に記載されるものでは、路面状態に対応する画像特徴の分布を単一の正規分布で表現し、それをもとに現在の画像特徴データがどの路面状態の分布に帰属する確率が高いかをもって路面状態を判定していた。
例えば図２（ａ）に示すように、算出した画像特徴量データを、横軸を画像特徴量Ｕ、縦軸を画像特徴量Ｖとした空間上にプロットし、路面状況Ａ，Ｂの各特徴量の分布が正規分布であるとして平均値と分散値の分布特性で各路面状況を表し、ＴＶカメラで捉えた路面画像データから算出した画像特徴量が、どの路面状況の分布に帰属するかを判別して、路面状況を判別していた。なお、図２では、２次元平面上で特徴量分布を示しているが、特徴量分布は実際にはｎ次元空間上にプロットされる。
上記特許文献１に記載されるものでは、上記のように路面状況を判定しているため、実際の画像特徴の分布が正規分布と大きく異なっている場合には、２以上の分布が接近してしまい、誤認識が発生する可能性が大きい。
【０００９】
これに対し、本発明においては、画像特徴量分布に対してＥＭアルゴリズムを適用し、図２（ｂ）に示すように、各路面状態の分布を複数の正規分布の重み付き和によって、より正確に表現することにより、誤認識の発生率を大幅に低減した。なお、ＥＭアルゴリズムについては、例えば、”渡辺美智子、山口和範編著、「ＥＭアルゴリズムと不完全データ」、多賀出版社発行”，”電子情報通信学会論文誌、「明度分布パターン推定に基づくシーン状態変化の動的認識」 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５．Ｊ８５−Ｄ−ＩＩ Ｎｏ．２，「明度分布パターン推定に基づくシーン状態変化の動的認識」，ＰＰ２７２−２６１，２００２ 年２ 月”等を参照されたい。
ＥＭアルゴリズムによれば、特徴量分布を正規分布の重み付き和（混合正規分布）によって表現することができ、図２（ａ）に示す特徴量分布は、ＥＭアルゴリズムを適用することにより、図２（ｂ）に示すように以下の（１）式に示す混合正規分布で表される。
【００１０】
例えば、図２（ｂ）において、実線で囲まれた領域は、路面状況Ａ（例えば路面乾燥）の特徴量分布を示し、点線で囲まれた領域は路面状況Ｂ（例えば路面湿潤）の特徴量分布を表し、各特徴量分布は、それぞれ上記（２）（３）式の混合正規分布Ｐ１，Ｐ２で定義される。
なお、図２（ｂ）の例では、（２）（３）式のｎ１，ｎ２はそれぞれｎ１＝２，ｎ２＝２であり、例えば路面状況Ａの混合正規分布Ｐ１は、（２）式に示すように、特徴量分布１（Φ１１）と特徴量分布２（Φ１２） をウエイトｗ１１ ，ｗ１２ を付けて加算したもので表される。
判定部４では、画像特徴量算出部３で算出された画像特徴量が、上記混合正規分布で定義された路面状況のどれに帰属するかの帰属確率を求めて、路面状況を判定する。
上記画像特徴量データの各路面状態への帰属確率は、ベイズ識別法により算出することができる。ベイス識別法については、例えば、大津展之、粟田多喜夫、関田巌著、「パターン認識」、朝倉書店、等を参照されたい。
本実施例においては、上記のような混合正規分布を用いたので、正解率を向上させることができる。
【００１２】
上記第１の実施例では、予め収集したサンプルデータにＥＭアルゴリズムを適用し、混合正規分布を得ていたが、以下の説明する本発明の第２の実施例では、これまで少なくとも１週間以上の人手によるサンプルデータに依存していた設置条件に対するチューニング作業を、１日程度の人手によるサンプルデータから作成した初期分布をもとに、自動的に生成する。
図３は本発明の第２の実施例の路面状況判定装置の機能ブロック図である。
本実施例では、前記図１に示したものに、画像特徴量分布調整手段６と、記憶部７を設けたものである。
画像特徴量分布調整手段６は、記憶部７に格納された初期サンプルデータをもとに、路面状況の初期分布データを生成し、この初期分布データを利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを上記記憶部７に蓄積する。また、蓄積されたデータを用いて、定期的に設置条件に応じた路面状態の分布を再計算することにより、画像特徴量分布データ記憶部６に格納された画像特徴量分布データを自動的にチューニングする。
その他の動作は前記図１に示したものと同様であり、画像特徴量算出部３は、ＴＶカメラで取得した注目領域の輝度平均・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する。
画像特徴量分布データ記憶部５には、最初、初期サンプルデータから生成した初期分布データが格納され、上記画像特徴量分布調整手段６により、上記初期分布データが自動的にチューニングされる。
判定部４は、上記画像特徴量分布調整手段６でチューニングされた画像特徴量分布データに基づき、画像特徴量算出部３で算出された画像特徴量が路面状況のどれに帰属するかを判定して路面状況を判定する。
【００１３】
図４（ａ）は本実施例におけるチューニング処理を示すフローチャートである。
まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータを もとに生成し、調整モードをセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、調整モードであれば、ステップＳ４からステップＳ５に行き、帰属確率が閾値を越えているかを調べ、閾値を越えていなければステップＳ２に戻る。
また、閾値を越えていれば、帰属確率が最大となる路面状況のサンプルデータを追加し（ステップＳ６）、追加数が閾値より大きいかを判定する（ステップＳ７）。追加数が閾値を越えていれば、データの追加数が閾値を越えた路面状況の特徴量分布を前記ＥＭアルゴリズムにより再計算する（ステップＳ８）。
次いで、追加総数が閾値を越えているかを調べ（ステップＳ９）、追加総数が閾値を越えていれば、ステップＳ１０で調整モードを終了（リセット）し、ステップＳ２に戻る。
ステップＳ２では、前記したように画像を入力し、画像特徴量を計算し、ステップＳ３において各路面状況の帰属確率を計算する。
そして、調整モードがリセットされているので、ステップＳ１１に行き、帰属確率が最大となる路面状況を判定結果として出力する。
上記処理を行うことにより、図４（ｂ）に示すように、初期サンプルデータにデータが追加されるとともに、再計算により路面状況の特徴量分布が調整され、実際の設置条件に応じた特徴量分布になるように自動的にチューニングされる。
本実施例においては、上記のように、画像特徴量分布調整手段６により、初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積し、定期的に路面状態の分布を再計算しているので、設置条件に対するチューニング作業を、１日程度の人手によるサンプルデータから作成した初期分布をもとに自動的に生成することができ、従来例のように、目視で判定した路面状況と対応する画像特徴データのサンプルデータを収集し、各路面状況に対応する適切な画像特徴量の分布を決定する作業が不要となり、導入コストの低減化を図るとともに、路面状況判定の正解率を向上させることができる。
なお、上記効果は、混合正規分布を用いて路面状況を判定することにより得られるものであり、前記図２（ａ）で説明した従来技術に基づいて実施した場合には、誤認識が多いために正しいチューニングは困難である。
【００１４】
上記第２の実施例では初期サンプルデータから初期分布データを得ているが、本発明の第３の実施例は、第２の実施例で必要とされる初期分布を得る作業を、過去の様々な設置条件にて収集したサンプルデータを基に自動的に得るようにしたものである。
図５は本実施例を説明する図である。
本実施例では、まず過去の様々な設置条件にて収集したサンプルデータを複数の正規分布の重み付き加算で表現する。
例えば、過去の様々な設置条件にて収集したサンプルデータに、ＥＭアルゴリズムを適用することにより、図５に示すようにＡ，Ｂ，Ｃの分布が得られたとする。
図５に示す分布を正規分布の重み付き加算で表現すると、例えば以下の（４）式であらわされる。なお、（４）式で上記分布Ａ，Ｂ，ＣはそれぞれΦ１，Φ２，Φ３に対応している。
Ｐ＝ｗ１・Φ１＋ｗ２・Φ２＋ｗ３・Φ３…（４）
ここで、ｗ３＞＞ｗ２，ｗ３とすると、上記正規分布Φ１，Φ２，Φ３の中で、最もウエイトが大きい分布Ｃは共通の正規分布と考えることができ、分布Ａは条件Ａに特化した分布、分布Ｂは条件Ｂに特化した分布と考えることができる。
そこで、上記正規分布の重み付き加算の各項の中で、最もウェイトの大きい分布を共通の分布として取り出す。
これにより、過去の様々な設置条件にて収集したサンプルデータから、設置条件に依存しない共通的な画像特徴分布を、一定以上の重みをもつ画像特徴分布として得ることができる。例えば、上記（４）式に示す画像分布においては、初期分布として、以下の（５）式を得ることができる。なお、以下の（５）式においてｗ３＝１である。
Ｐ＝ｗ３・Φ３…（５）
以上のようにすれば、過去の様々な設置条件にて収集したサンプルデータを基に、共通的な初期分布データを自動的に得ることができる。したがって、この初期分布データを用いて、第２の実施例で説明した処理を行えば、設置条件に対するチューニングを完全に自動化することができる。
【００１５】
ところで、季節によって天候、日照条件が変化するために、各路面状態に対する画像特徴データの分布も、季節により変動する。そのため、従来では、最低１年間にわたって定期的に人手によるサンプルデータを収集して、季節に応じた各路面状態に対する画像特徴データの分布を得る必要があった。
本発明の第４の実施例では、季節による画像特徴データの分布の変化が緩やかである点に着目し、ある季節に人手により収集したサンプルデータから作成した初期分布を利用して判定処理を行いながら、帰属確率が一定以上で信頼性が高いデータを蓄積する。また、蓄積されたデータを用いて、定期的に季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、季節変化に対するチューニングを自動実行する。
本実施例の構成は、前記図３に示したものと同様であり、画像特徴量分布データ記憶部５には、最初、初期分布データが格納され、画像特徴量分布調整手段６は、定期的に、季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、上記画像特徴量分布データ記憶部５に格納される分布データのチューニングを自動実行する。
図６（ａ）は本実施例におけるチューニング処理を示すフローチャートである。
まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータを もとに生成し、経過時間をリセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、帰属確率が最大となる路面状況を判定結果として出力し（ステップＳ４）、帰属確率が閾値を越えているかを調べる（ステップＳ５）。
帰属確率が閾値を越えていなければステップＳ２に戻る。また、閾値を越えていれば、帰属確率が最大となる路面状況をサンプルデータに追加し（ステップＳ６）、経過時間が閾値を越えているかを判定する（ステップＳ７）。経過時間が閾値を越えていれば、全路面状況の特徴量分布を前記ＥＭアルゴリズムにより再計算し、経過時間をリセットし（ステップＳ８）、ステップＳ２に戻り、上記処理を繰り返す。
上記処理を行うことにより、前記第２の実施例と同様、図６（ｂ）に示すように、初期サンプルデータにデータが追加されるとともに、再計算により路面状況の特徴量分布が調整され、季節変化に応じて特徴量分布が自動的にチューニングされる。
【００１６】
図７は本発明の第５の実施例の処理を示すフローチャートであり、本実施例は、前記第３の実施例、第４の実施例を組み合わせることにより、設置条件、季節変化に対するチューニング作業を自動化するようにしたものである。
本実施例の構成は、前記図３に示したものと同様であり、画像特徴量分布データ記憶部５には、最初、初期分布データが格納され、画像特徴量分布調整手段６は、定期的に、設置条件、季節に応じた路面状態の分布を再計算する処理を繰り返すことにより、上記画像特徴量分布データ記憶部５に格納される分布データのチューニングを自動実行する。
図７において、まず、各路面状態の初期分布を記憶部７に格納された初期サンプルデータをもとに生成し、経過時間をリセットする（ステップＳ１）。
次いで、画像を入力し、前記したように画像特徴量算出部３で画像特徴量を計算し（ステップＳ２）、判定部４で各路面状況の帰属確率を計算する（ステップＳ３）。
そして、帰属確率が閾値を越えているかを調べる（ステップＳ４）。
帰属確率が閾値を越えていなければステップＳ２に戻る。また、閾値を越えていれば、帰属確率が最大となる路面状況をサンプルデータに追加する（ステップＳ５）。
ついで、設置条件調整モードであるかを調べ、設置条件調整モードであれば、ステップＳ６からステップＳ７に行き、サンプルデータの追加数が閾値を越えているかを調べ、越えていなければステップＳ２に戻る。また、追加数が閾値を越えていれば、データの追加数が閾値を越えた路面状況の特徴量分布を再計算し（ステップＳ８）、追加総数が閾値を越えているかを調べる（ステップＳ９）。
追加総数が閾値を越えていなければステップＳ２に戻り、越えていればステップＳ９からステップＳ１０に行き、設置条件調整を終了させステップ２に戻る。
そして、ステップＳ２からステップＳ５の処理を行い、ステップＳ６からステップ１１に行き、帰属確率が最大となる路面状態を判定結果として出力し、ステップＳ１２で経過時間が閾値を越えたかを調べる（ステップＳ１２）。
経過時間が閾値を越えていなければ、ステップＳ２に戻り上記処理を繰り返し、閾値を越えていれば、全路面状態の特徴量分布を再計算し、経過時間をリセットしてステップＳ２に戻る。
上記処理を行うことにより、初期サンプルデータにデータが追加されるとともに、追加されたデータを用いた再計算により路面状況の特徴量分布が調整され、設置条件、季節変化に応じて特徴量分布が自動的にチューニングされる。
【００１７】
（付記１） 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義し、
上記画像特徴量の混合正規分布に基づき、道路上に設置した監視カメラの画像から路面状況を判定する
ことを特徴とする路面状況判定方法。
（付記２） 同一路面状況で判定された画像特徴量データを利用して、予め定めた所定の初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を自動的に調整する
ことを特徴とする付記１の路面状況判定方法。
（付記３） 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義した画像特徴量の分布を格納する画像特徴量分布格納手段と、
道路上に設置した監視カメラの画像から、注目領域の輝度分布・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する手段と、
上記画像特徴量分布格納手段に格納された画像特徴量の分布と、上記算出された画像特徴量に基づき、路面状況を判定する判定手段を備えた
ことを特徴とする路面状況判定装置。
（付記４） 同一路面状況において取得した画像特徴量データを利用して、予め生成された初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記５） 異なる設置条件のもとで収集された同一路面状況に対応する画像特徴量データから求めた設置条件への依存度の少ない特徴量分布を初期分布とすることを特徴とする付記４の路面状況判定装置。
（付記６） 運用中に、ある期間の同一路面状況において収集した画像特徴量データから求めた画像特徴量分布を初期分布とし、該初期分布の画像特徴量分布を再定義することにより、季節に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記７） 異なる設置条件のもとで収集された同一路面状況に対応する画像特徴量データから求めた設置条件への依存度の少ない特徴量分布を初期分布として、同一路面状況において判定された画像特徴量データを利用して、上記初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を得る第１の画像特徴量分布調整手段と、
上記画像特徴量分布調整手段により再定義された画像特徴量分布を、運用中に、ある期間の同一路面状況において収集した季節に依存する画像特徴分布により再定義することにより、季節に依存する画像特徴量分布の変化を得る第２の画像特徴量分布調整手段とを備え、
上記判定手段は、上記第２の画像特徴量分布調整手段により調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする付記３の路面状況判定装置。
（付記８） 路面状況判定処理を行うプログラムであって、
上記プログラムは、路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義する処理と、
上記画像特徴量の混合正規分布に基づき、道路上に設置した監視カメラの画像から路面状況を判定する処理をコンピュータに実行させる
ことを特徴とする路面状況判定プログラム。
【００１８】
【発明の効果】
以上説明したように、本発明においては、各路面状態の分布を複数の正規分布の重み付き和によって正確に表現し、現在の画像特徴量がどの路面状態の分布に帰属する確率が高いかにより路面状態を判定しているので、従来に比べ、誤認識の発生率を大幅に低減することができる。
また、画像特徴量分布データを、設置条件に応じて自動的にチューニングすることにより、従来、可視カメラによる路面状況判定装置の導入に不可欠であった人手によるサンプルデータ収集を自動化することができ、導入コストの大幅な削減を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の路面状況判定装置の機能ブロック図である。
【図２】路面状況に対応した特徴量分布を示す図である。
【図３】本発明の第２の実施例の路面状況判定装置の機能ブロック図である。
【図４】本発明の第２の実施例の処理を示すフローチャートである。
【図５】本発明の第３の実施例を説明する図である。
【図６】本発明の第４の実施例の処理を示すフローチャートである。
【図７】本発明の第５の実施例の処理を示すフローチャートである。
【符号の説明】
１ ＴＶカメラ
２ 画像入力部
３ 画像特徴量算出部
４ 判定部
５ 画像特徴量分布データ記憶部
６ 画像特徴量分布調整手段
７ 記憶部
Claims (5)
- 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義し、
上記画像特徴量の混合正規分布に基づき、道路上に設置した監視カメラの画像から路面状況を判定する
ことを特徴とする路面状況判定方法。 - 同一路面状況で判定された画像特徴量データを利用して、予め定めた所定の初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を自動的に調整する
ことを特徴とする請求項１の路面状況判定方法。 - 路面の画像から得られる、色相平均・分散、彩度平均・分散、明度平均・分散等の画像特徴量の混合正規分布を用いて路面状況を定義した画像特徴量の分布を格納する画像特徴量分布格納手段と、
道路上に設置した監視カメラの画像から、注目領域の輝度分布・分散、彩度平均・分散、明度平均・分散の画像特徴量を算出する手段と、
上記画像特徴量分布格納手段に格納された画像特徴量の分布と、上記算出された画像特徴量に基づき、路面状況を判定する判定手段を備えた
ことを特徴とする路面状況判定装置。 - 同一路面状況において取得した画像特徴量データを利用して、予め生成された初期分布の画像特徴量分布を再定義することにより、設置条件に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする請求項３の路面状況判定装置。 - 運用中に、ある期間の同一路面状況において収集した画像特徴量データから求めた画像特徴量分布を初期分布とし、該初期分布の画像特徴量分布を再定義することにより、季節に依存する画像特徴量分布の変化を得る画像特徴量分布調整手段を有し、
上記判定手段は、上記調整された画像特徴量分布を利用して、路面状況を判定する
ことを特徴とする請求項３の路面状況判定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003063062A JP4225807B2 (ja) | 2003-03-10 | 2003-03-10 | 路面状況判定方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003063062A JP4225807B2 (ja) | 2003-03-10 | 2003-03-10 | 路面状況判定方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004274431A true JP2004274431A (ja) | 2004-09-30 |
| JP4225807B2 JP4225807B2 (ja) | 2009-02-18 |
Family
ID=33124747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003063062A Expired - Fee Related JP4225807B2 (ja) | 2003-03-10 | 2003-03-10 | 路面状況判定方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4225807B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2011076214A (ja) * | 2009-09-29 | 2011-04-14 | Alps Electric Co Ltd | 障害物検出装置 |
| JP2013529334A (ja) * | 2010-04-30 | 2013-07-18 | ヴィユーコンプ インク | 確率密度関数推定器 |
| WO2014047250A1 (en) * | 2012-09-20 | 2014-03-27 | Google Inc. | Detecting road weather conditions |
| US9031882B2 (en) | 2007-08-10 | 2015-05-12 | Olympus Corporation | Category determination device and method comprising a feature space containing a closed region used to determine the category of a target based on the position of the target within the feature space with reference to the closed region |
| US9110196B2 (en) | 2012-09-20 | 2015-08-18 | Google, Inc. | Detecting road weather conditions |
| US9499172B2 (en) | 2012-09-20 | 2016-11-22 | Google Inc. | Detecting road weather conditions |
| JP2020149604A (ja) * | 2019-03-15 | 2020-09-17 | トヨタ自動車株式会社 | 路面状態検出装置 |
| US10872247B2 (en) | 2017-11-28 | 2020-12-22 | Kabushiki Kaisha Toshiba | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method |
| US11157750B2 (en) | 2018-03-06 | 2021-10-26 | Toshiba Infrastructure Systems & Solutions Corporation | Captured image check system and captured image check method |
-
2003
- 2003-03-10 JP JP2003063062A patent/JP4225807B2/ja not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| US9031882B2 (en) | 2007-08-10 | 2015-05-12 | Olympus Corporation | Category determination device and method comprising a feature space containing a closed region used to determine the category of a target based on the position of the target within the feature space with reference to the closed region |
| JP2011076214A (ja) * | 2009-09-29 | 2011-04-14 | Alps Electric Co Ltd | 障害物検出装置 |
| US9076197B2 (en) | 2010-04-30 | 2015-07-07 | Vucomp, Inc. | Probability density function estimation |
| JP2013529334A (ja) * | 2010-04-30 | 2013-07-18 | ヴィユーコンプ インク | 確率密度関数推定器 |
| US9256941B2 (en) | 2010-04-30 | 2016-02-09 | Vucomp, Inc. | Microcalcification detection and classification in radiographic images |
| WO2014047250A1 (en) * | 2012-09-20 | 2014-03-27 | Google Inc. | Detecting road weather conditions |
| CN104768822A (zh) * | 2012-09-20 | 2015-07-08 | 谷歌公司 | 检测公路天气状况 |
| US9110196B2 (en) | 2012-09-20 | 2015-08-18 | Google, Inc. | Detecting road weather conditions |
| US9499172B2 (en) | 2012-09-20 | 2016-11-22 | Google Inc. | Detecting road weather conditions |
| US10872247B2 (en) | 2017-11-28 | 2020-12-22 | Kabushiki Kaisha Toshiba | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method |
| US11157750B2 (en) | 2018-03-06 | 2021-10-26 | Toshiba Infrastructure Systems & Solutions Corporation | Captured image check system and captured image check method |
| JP2020149604A (ja) * | 2019-03-15 | 2020-09-17 | トヨタ自動車株式会社 | 路面状態検出装置 |
| JP7103282B2 (ja) | 2019-03-15 | 2022-07-20 | トヨタ自動車株式会社 | 路面状態検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4225807B2 (ja) | 2009-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7916173B2 (en) | Method for detecting and selecting good quality image frames from video | |
| Macfarlane | Classification method of mixed pixels does not affect canopy metrics from digital images of forest overstorey | |
| US20030123726A1 (en) | Scene change detection apparatus | |
| US7840069B2 (en) | Methods and systems for alternative, complexity-based process selection | |
| US8768093B2 (en) | Method and apparatus for reducing noise | |
| DE112009000480T5 (de) | Dynamische Objektklassifikation | |
| US8520953B2 (en) | Apparatus and method for extracting edges of image | |
| JP2004274431A (ja) | 路面状況判定方法および装置 | |
| US9813632B2 (en) | Method of adjusting digital camera image processing parameters | |
| US20130128080A1 (en) | Image analysis device and method thereof | |
| CN111310739A (zh) | 一种暴雨天气检测方法、系统及终端 | |
| Liang et al. | A no-reference perceptual blur metric using histogram of gradient profile sharpness | |
| EP3665512B1 (en) | Real-time computation of an atmospheric precipitation rate from a digital image of an environment where an atmospheric precipitation is taking place | |
| CN108257117B (zh) | 图像曝光度的评测方法及装置 | |
| US20040252890A1 (en) | Device and method for detecting blurring of an image | |
| Nuutinen et al. | A framework for measuring sharpness in natural images captured by digital cameras based on reference image and local areas | |
| Uss et al. | NoiseNet: Signal-dependent noise variance estimation with convolutional neural network | |
| CN112597995A (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN113905194B (zh) | 一种曝光比处理方法、终端设备及计算机存储介质 | |
| CN116152751A (zh) | 一种图像处理的方法、装置、系统及存储介质 | |
| CN116189038A (zh) | 一种画面异常判定方法、装置、设备及存储介质 | |
| JP2021172011A (ja) | コンクリート管理システム、コンクリート管理方法及びコンクリート管理プログラム | |
| CN113705672A (zh) | 图像目标检测的阈值选取方法、系统、装置及存储介质 | |
| van Zyl Marais et al. | Onboard image quality assessment for a small low earth orbit satellite | |
| Zhang et al. | Estimation of atmospheric light based on gaussian distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4225807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |