JP2018128265A - サーバ装置、判別プログラム及び判別システム - Google Patents

Abstract

【課題】 路面状態の判別精度を向上させる。【解決手段】 サーバ装置であって、路面を撮影することで得られる輝度画像と偏光画像とを取得する取得手段と、前記輝度画像と前記偏光画像とを連結した画像を低次元に圧縮することで、該画像の画像構造を示す情報を抽出する抽出手段と、前記輝度画像の画素値の統計値と、前記偏光画像の画素値の統計値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別する判別手段とを有することを特徴とする。【選択図】図１３

Description

本発明は、サーバ装置、判別プログラム及び判別システムに関する。

車両が走行する道路を管理する管理業務において、路面状態を把握することは重要である。特に、冬季においては、凍結や積雪等の路面状態を把握し、凍結防止剤の散布位置を決定したり、散布量を調整するなどの対応が求められる。

一方で、従来より、偏光カメラを用いて路面を撮影し、偏光画像を用いて路面状態を判別する判別システムが知られている。当該判別システムによれば、輝度画像のみを用いて判別した場合と比較して、特定の路面状態について、判別精度を向上させることができる。

しかしながら、上記判別システムを用いた場合であっても、乾燥、湿潤、凍結、積雪等のように様々に変化する路面状態を精度よく判別することは容易ではなく、更なる判別精度の向上が求められている。

本発明は、上記課題に鑑みてなされたものであり、路面状態の判別精度を向上させることを目的とする。

本発明の各実施形態に係るサーバ装置は、以下のような構成を有する。即ち、
路面を撮影することで得られる輝度画像と偏光画像とを取得する取得手段と、
前記輝度画像と前記偏光画像とを連結した画像を低次元に圧縮することで、該画像の画像構造を示す情報を抽出する抽出手段と、
前記輝度画像の画素値の統計値と、前記偏光画像の画素値の統計値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別する判別手段とを有することを特徴とする。

本発明の各実施形態によれば、路面状態の判別精度を向上させることができる。

判別システムのシステム構成の一例を示す図である。 計測装置の一構成例を示す図である。 偏光カメラのハードウェア構成の一例を示す図である。 計測情報の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 学習画像情報の一例を示す図である。 計測情報リストの一例を示す図である。 第１生成部の機能構成の一例を示す図である。 圧縮器生成部の処理を説明するための図である。 他の圧縮器生成部の処理を説明するための図である。 第２生成部の機能構成の一例を示す図である。 判別器生成部の処理を説明するための図である。 路面状態判別部の機能構成の一例を示す図である。 画像構造情報抽出部における画像構造情報の抽出処理を説明するための図である。 判別部における判別処理を説明するための図である。 路面状態判別処理の流れを示すフローチャートである。 路面状態情報の一例を示す図である。 判別結果に対する評価結果の一例を示す図である。 路面状態判別部の機能構成の他の一例を示す図である。

以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．判別システムのシステム構成＞
はじめに、第１の実施形態に係る判別システムのシステム構成について説明する。図１は、判別システムのシステム構成の一例を示す図である。

図１に示すように、判別システム１００は、計測装置１１０と、サーバ装置１２０と、端末１３０とを有する。計測装置１１０とサーバ装置１２０とはネットワーク１４０を介して接続される。また、サーバ装置１２０と端末１３０とはネットワーク１４０を介して接続される。

計測装置１１０は、車両１１１に搭載され、車両１１１の走行中に、計測情報を取得する。計測情報とは、路面の状態を判別するのに用いられる情報である。計測装置１１０は、取得した計測情報をネットワーク１４０を介してサーバ装置１２０に送信する。

サーバ装置１２０には、第１生成プログラム、第２生成プログラム、路面状態判別プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１２０は、第１生成部１２１、第２生成部１２２、路面状態判別部１２３として機能する。

第１生成部１２１は、路面状態が既知の輝度画像及び偏光画像を含む学習画像情報を学習画像情報格納部１２４より読み出し、輝度画像と偏光画像とを連結することで得られる画像を用いた機械学習により「圧縮器」を生成する。本実施形態において、圧縮器とは、画像を圧縮することで「画像構造情報」を抽出するニューラルネットワークである（したがって、"圧縮器を生成する"、とは、機械学習によりニューラルネットワークのパラメータを決定し、設定することに他ならない）。また、画像構造情報とは、画像の見た目の情報を保持したまま低次元に圧縮することで得られる情報である。第１生成部１２１は、生成した圧縮器を、「画像構造情報抽出部」として第２生成部１２２及び路面状態判別部１２３に組み込む。

第２生成部１２２は、学習画像情報を学習画像情報格納部１２４より読み出し、輝度画像、偏光画像、露光時間を用いた機械学習により「判別器」を生成する。本実施形態において、判別器とは、計測情報に基づいて路面状態を判別するためのニューラルネットワークである（したがって、"判別器を生成する"、とは、機械学習によりニューラルネットワークのパラメータを決定し、設定することに他ならない）。第２生成部１２２は、生成した判別器を、「判別部」として路面状態判別部１２３に組み込む。

路面状態判別部１２３は、第１生成部１２１により画像構造抽出部として組み込まれた圧縮器と、第２生成部１２２により判別部として組み込まれた判別器とを含む。路面状態判別部１２３は、計測装置１１０より送信され、計測情報格納部１２５に格納された計測情報を読み出し、当該計測情報に基づき各位置での路面状態を判別し、判別結果を路面状態情報として端末１３０に送信する。

端末１３０は、サーバ装置１２０より送信された路面状態情報を取得し、各位置での路面状態に基づいて、例えば、凍結防止剤の散布量を算出する。また、端末１３０は、取得した路面状態情報に基づいて、地図情報に対してマーキングを施し、当該道路を走行する車両の運転者に、各位置での路面状態がわかる地図情報を提供する。

＜２．計測装置の構成＞
次に、計測装置１１０の構成について説明する。図２は、計測装置の一構成例を示す図である。図２に示すように、計測装置１１０は、ＧＰＳ（Global Positioning System）２０１、通信装置２０２、制御装置２０３、照明装置２０４、偏光カメラ２０５を有する。

ＧＰＳ２０１は、車両１１１の現在位置を示す位置情報を逐次制御装置２０３に通知する。制御装置２０３は、照明装置２０４のオンオフ制御、偏光カメラ２０５の撮影制御を行うとともに、偏光カメラ２０５にて撮影されたＰ成分画像及びＳ成分画像に基づき、偏光画像及び輝度画像を生成する。また、制御装置２０３は、Ｐ成分画像及びＳ成分画像が撮影された際の露光時間を偏光カメラ２０５から取得し、生成した偏光画像及び輝度画像、並びに、通知された位置情報とともに、通信装置２０２に通知する。

通信装置２０２は、制御装置２０３より通知された、偏光画像、輝度画像、位置情報、露光時間を、計測情報として、サーバ装置１２０に送信する。

なお、上記説明では、制御装置２０３において偏光画像及び輝度画像を生成するものとしたが、偏光画像及び輝度画像は、サーバ装置１２０において生成するように構成してもよい。この場合、制御装置２０３では、Ｐ成分画像及びＳ成分画像を、露光時間、位置情報とともに通信装置２０２に通知し、通信装置２０２では、Ｐ成分画像、Ｓ成分画像、位置情報、露光時間を、計測情報として、サーバ装置１２０に送信する。

＜３．偏光カメラのハードウェア構成＞
次に、偏光カメラ２０５のハードウェア構成について説明する。本実施形態において、偏光カメラ２０５は、領域分割偏光フィルタを有しているものとする。

図３は、偏光カメラのハードウェア構成の一例を示す図である。このうち、図３（ａ）は、偏光カメラ２０５の光学フィルタ３０４と撮像素子３０５との位置関係を正面から見た様子を示している。また、図３（ｂ）は、光学フィルタ３０４と撮像素子３０５との位置関係を側面から見た様子を示している。

図３（ａ）、（ｂ）に示すように、光学フィルタ３０４は、フィルタ基板３０１、充填層３０２、偏光フィルタ層３０３を含む。フィルタ基板３０１は、撮像レンズを介して光学フィルタ３０４に入射する入射光を透過する透明な基板である。フィルタ基板３０１の撮像素子３０５側の面には、偏光フィルタ層３０３が形成されており、偏光フィルタ層３０３を覆うように、充填層３０２が形成されている。

光学フィルタ３０４に入射した光のうち、偏光フィルタ層３０３を透過した光は、撮像素子３０５の画素領域に入射する。偏光フィルタ層３０３には、撮像素子３０５の画素サイズに対応した偏光子が領域分割して形成されている。

偏光フィルタ層３０３には、偏光子として、Ｓ偏光成分透過領域とＰ偏光成分透過領域とが含まれる。なお、図３（ａ）の例は、Ｓ偏光成分透過領域とＰ偏光成分透過領域とを左右方向に交互に配置した場合を示しているが、Ｓ偏光成分透過領域とＰ偏光成分透過領域とは、短冊状に配置してもよい。

＜４．計測情報の説明＞
次に、計測装置１１０により送信される計測情報について説明する。図４は、計測情報の一例を示す図である。図４に示すように、計測装置１１０の偏光カメラ２０５は、時刻ｔ_１、ｔ_２、ｔ_３、ｔ_４、・・・の各時刻において、Ｓ成分画像４０１＿１、・・・、４０１＿４・・・、Ｐ成分画像４０２＿１、・・・、４０４＿２・・・を生成する。

計測装置１１０の制御装置２０３は、例えば、偏光カメラ２０５より送信されるＳ成分画像４０１＿１、Ｐ成分画像４０２＿１に基づいて、偏光画像４０３＿１を生成する。具体的には、制御装置２０３は、下式に基づいて偏光画像を生成する。

また、計測装置１１０の制御装置２０３は、例えば、偏光カメラ２０５より送信されるＳ成分画像４０１＿１、Ｐ成分画像４０２＿１に基づいて、輝度画像４０４＿１を生成する。具体的には、制御装置２０３は、下式に基づいて輝度画像を生成する。

制御装置２０３は、生成した偏光画像４０３＿１と、輝度画像４０４＿１と、位置情報４０５＿１と、露光時間４０６＿１とを対応付けて計測情報として通信装置２０２に通知する。同様に、時刻ｔ_２、ｔ_３、ｔ_４、・・・においても、それぞれ、偏光画像４０３＿２〜４０３＿４、輝度画像４０４＿２〜４０４＿４、位置情報４０５＿２〜４０５＿４、露光時間４０６＿２〜４０６＿４を対応付けて計測情報として通信装置２０２に通知する。

これにより、通信装置２０２では、各時刻における偏光画像と輝度画像と位置情報と露光時間とが対応付けられた計測情報を、サーバ装置１２０に送信することができる。

＜５．サーバ装置のハードウェア構成＞
次に、サーバ装置１２０のハードウェア構成について説明する。図５は、サーバ装置のハードウェア構成の一例を示す図である。図５に示すように、サーバ装置１２０は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３を有する。ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３は、いわゆるコンピュータを形成する。

また、サーバ装置１２０は、補助記憶装置５０４、表示装置５０５、操作装置５０６、Ｉ／Ｆ（Interface）装置５０７、ドライブ装置５０８を有する。なお、サーバ装置１２０の各部は、バス５０９を介して相互に接続されている。

ＣＰＵ５０１は、補助記憶装置５０４にインストールされている各種プログラム（例えば、第１生成プログラム、第２生成プログラム、路面状態判別プログラム等）を実行するデバイスである。

ＲＯＭ５０２は、不揮発性メモリである。ＲＯＭ５０２は、補助記憶装置５０４にインストールされている各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ５０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ５０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ５０３は、補助記憶装置５０４にインストールされている各種プログラムがＣＰＵ５０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置５０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。学習画像情報格納部１２４、計測情報格納部１２５は、補助記憶装置５０４において実現される。

表示装置５０５は、サーバ装置１２０の内部情報を表示する表示デバイスである。操作装置５０６は、サーバ装置１２０の管理者がサーバ装置１２０に対して各種指示を入力する際に用いる入力デバイスである。

Ｉ／Ｆ装置５０７は、ネットワーク１４０に接続し、計測装置１１０、端末１３０と通信を行うための通信デバイスである。

ドライブ装置５０８は記録媒体５１０をセットするためのデバイスである。ここでいう記録媒体５１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置５０４に格納される各種プログラムは、例えば、配布された記録媒体５１０がドライブ装置５０８にセットされ、該記録媒体５１０に記録された各種プログラムがドライブ装置５０８により読み出されることでインストールされるものとする。

＜６．学習画像情報の説明＞
次に、学習画像情報格納部１２４に格納される学習画像情報について説明する。図６は、学習画像情報の一例を示す図である。

図６に示すように、学習画像情報６００には情報の項目として、"路面状態"、"ファイル名１"、"ファイル名２"、"ファイル名３"が含まれる。

"路面状態"には、判別すべき路面状態の種類が格納される。図６の例は、路面状態として、「乾燥」、「湿潤」、「凍結」、「積雪」の４種類が判別されることを示している。

"ファイル名１"には、目視により路面状態が判断された路面を撮影することで得られた各輝度画像のファイルが格納される。図６の例は、目視により「乾燥」と判断された路面を撮影することで得られた輝度画像が５００枚、目視により「湿潤」と判断された路面を撮影することで得られた輝度画像が５００枚格納されていることを示している。また、図６の例は、目視により「凍結」と判断された路面を撮影することで得られた輝度画像が５００枚、目視により「積雪」と判断された路面を撮影することで得られた輝度画像が５００枚格納されていることを示している。

"ファイル名２"には、目視により路面状態が判断された路面を撮影することで得られた各偏光画像のファイルが格納される。図６の例は、目視により「乾燥」と判断された路面を撮影することで得られた偏光画像が５００枚、目視により「湿潤」と判断された路面を撮影することで得られた偏光画像が５００枚格納されていることを示している。また、図６の例は、目視により「凍結」と判断された路面を撮影することで得られた偏光画像が５００枚、目視により「積雪」と判断された路面を撮影することで得られた偏光画像が５００枚格納されていることを示している。

"ファイル名３"には、対応する輝度画像、偏光画像を生成した際の露光時間に関する情報が格納される。

＜７．計測情報リストの説明＞
次に、計測情報格納部１２５に格納される計測情報リストについて説明する。図７は、計測情報リストの一例を示す図である。

図７に示すように、計測情報リスト７００には情報の項目として、"ファイル名"、"備考"が含まれる。

"ファイル名"には、計測装置１１０より送信された計測情報のファイルが格納される。"備考"には、対応する計測情報に含まれる位置情報により特定される道路を表す情報が格納される。

図７の例は、ファイル名＝「計測情報１」の計測情報は、「国道ＸＸ号線のＹ_１キロポスト〜Ｙ_２キロポスト」までの区間の道路の路面を計測することで得た計測情報であることを示している。また、ファイル名＝「計測情報２」の計測情報は、「国道ＸＸ号線のＹ_３キロポスト〜Ｙ_４キロポスト」までの区間の道路の路面を計測することで得た計測情報であることを示している。

＜８．サーバ装置の各部の説明＞
次に、サーバ装置１２０の各部（第１生成部１２１、第２生成部１２２、路面状態判別部１２３）の詳細について説明する。

＜８．１ 第１生成部１２１の説明＞
はじめに、第１生成部１２１の詳細について説明する。図８は、第１生成部の機能構成の一例を示す図である。図８に示すように、第１生成部１２１は、学習画像情報入力部８０１、画像連結部８０２、圧縮器生成部８０３、比較部８０４を有する。

学習画像情報入力部８０１は、学習画像情報格納部１２４より、輝度画像及び偏光画像を順次読み出し、画像連結部８０２に通知する。

画像連結部８０２は、輝度画像と偏光画像とを重ね合わせるように連結させ、１枚の画像を生成する。

圧縮器生成部８０３は生成手段の一例であり、第２生成部１２２及び路面状態判別部１２３に画像構造情報抽出部として組み込むための圧縮器を生成する。

圧縮器生成部８０３は、Ａｕｔｏｅｎｃｏｄｅｒ（オートエンコーダ）により構成されており、画像連結部８０２において生成された画像を順次入力データとして入力し、出力データが入力データと等しくなるようにパラメータを決定する。これにより、圧縮器生成部８０３は、学習画像情報６００を用いた機械学習により決定されたパラメータを有するニューラルネットワークである、圧縮器を生成することができる。

比較部８０４は、画像連結部８０２において生成された入力データと、該入力データが順次入力されることで圧縮器生成部８０３より順次出力される出力データとを比較し、両者が等しくなるように、パラメータを変更していく。比較部８０４は、変更したパラメータを圧縮器生成部８０３に入力する。

図９は、圧縮器生成部の具体例を示す図である。図９に示すように、Ａｕｔｏｅｎｃｏｄｅｒは、入力層と出力層とが同じ数のユニット（入力データの画素数に等しい数のユニット）により構成され、中間層は、入力層よりも少ない数のユニットにより構成される。

圧縮器生成部８０３において、入力層に入力される入力データ（ｘ）から中間層にて出力される中間データ（ｈ）への伝播（エンコード）は、下式により表すことができる。

また、圧縮器生成部８０３において、中間層にて出力される中間データ（ｈ）から出力層にて出力される出力データ（ｙ）への伝播（デコード）は、下式により表すことができる。

Ａｕｔｏｅｎｃｏｄｅｒは、入力データ（ｘ）と出力データ（ｙ）とが同じになるように、パラメータＷ、Ｗ'、ｂ、ｂ'を変更する。具体的には、比較部８０４は下式に基づいて、パラメータＷ、Ｗ'、ｂ、ｂ'を変更する。

なお、Ｗ、Ｗ'は、次層への結合係数、ｂ及びｂ'はニューロンが持つ値である。また、関数ｆ及びｆ'にはシグモイド関数、双曲線正接関数等が用いられるものとする。

このように、学習画像情報６００を用いた機械学習により、パラメータＷ、Ｗ'、ｂ、ｂ'が決定されたＡｕｔｏｅｎｃｏｄｅｒによれば、入力データを低次元に圧縮することで得られる画像構造情報を、中間層において抽出することができる。

圧縮器生成部８０３では、パラメータが決定されたＡｕｔｏｅｎｃｏｄｅｒの入力層と中間層とを含む圧縮器を、画像構造情報抽出部として、第２生成部１２２及び路面状態判別部１２３に組み込む。

図１０は、圧縮器生成部の他の具体例を示す図である。図１０（ａ）は、Ａｕｔｏｅｎｃｏｄｅｒの一例である、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ（畳み込みオートエンコーダ）を示したものである。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒは、畳み込み層（画像の局所的な特徴を担う層）とプーリング層（局所ごとに特徴をまとめあげる層）とを有するオートエンコーダである。Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒは、ＣｏｎｖｏｌｕｔｉｏｎとＤｅｃｏｎｖｏｌｕｔｉｏｎとを繰り返すことで出力データを算出し、比較部８０４は、入力データと出力データとが等しくなるようにパラメータを順次変更していく。これにより、圧縮器生成部８０３は、学習画像情報６００を用いた機械学習によりに決定されたパラメータを有する圧縮器を生成することができる。

図１０（ｂ）は、学習画像情報６００を用いた機械学習により決定されたパラメータが設定されたＣｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒの各畳み込み層における処理結果の一例を示している。

入力データ１００１を畳み込み層１において処理することで処理結果１００２が出力される。また、出力された処理結果１００２を畳み込み層２、３においてそれぞれ処理することで処理結果１００３、１００４が出力される。

ここで、入力データ１００１は画像中央の輝度が高く、その周辺が暗い画像であるが、畳み込み層３から出力される処理結果１００４は、低次元に圧縮された画像となる。

一方、畳み込み層３から出力される処理結果１００４を逆畳み込み層２、１においてそれぞれ処理することで、処理結果１００５、１００６が出力され、出力データ１００７が得られる。逆畳み込み層２、１により復元された出力データ１００７は、入力データ１００１とは輝度画素値が若干異なるものの、入力データ１００１とほぼ等しい画像となる。このように機械学習によりパラメータが決定された圧縮器では、入力データ１００１とほぼ等しい画像を出力データ１００７として出力することができる。

圧縮器生成部８０３では、パラメータが決定されたＣｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒの各畳み込み層１〜３を含む圧縮器を、画像構造情報抽出部として、第２生成部１２２及び路面状態判別部１２３に組み込む。

以上のとおり、圧縮器生成部８０３は、学習画像情報６００を用いた機械学習により、ＡｕｔｏｅｎｃｏｄｅｒまたはＣｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒのパラメータを決定することで、圧縮器を生成する。このため、従来のように学習画像情報に基づいて人手で圧縮器を生成する場合と比較して、圧縮器生成の手間を省くことができる。

なお、ここでは、圧縮器生成部８０３が、ＡｕｔｏｅｎｃｏｄｅｒまたはＣｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒを用いて圧縮器を生成する方法について説明したが、圧縮器の生成方法はこれに限定されない。

＜８．２ 第２生成部１２２の説明＞
次に、第２生成部１２２について説明する。図１１は、第２生成部の機能構成の一例を示す図である。図１１に示すように、第２生成部１２２は、学習画像情報入力部１１０１、画像連結部１１０２、画像構造情報抽出部１１０３、平均偏光画素値算出部１１０４、輝度画像補正部１１０５、平均輝度画素値算出部１１０６を有する。また、第２生成部１２２は、データ連結部１１０７、判別器生成部１１０８、比較部１１０９を有する。

学習画像情報入力部１１０１は、学習画像情報格納部１２４より、輝度画像、偏光画像、露光時間を順次読み出す。また、学習画像情報入力部１１０１は、読み出した輝度画像、偏光画像を画像連結部１１０２に通知する。また、読み出した偏光画像を平均偏光画素値算出部１１０４に通知する。更に、読み出した輝度画像、露光時間を輝度画像補正部１１０５に通知する。

画像連結部１１０２は、輝度画像と偏光画像とを重ね合わせるように連結させ、１枚の画像を生成し、入力データとして画像構造情報抽出部１１０３に入力する。

画像構造情報抽出部１１０３は、第１生成部１２１の圧縮器生成部８０３により生成された圧縮器の一部が組み込まれたものである。画像構造情報抽出部１１０３は、画像連結部１１０２により入力された入力データに基づいて中間層より画像構造情報を抽出し、データ連結部１１０７に入力する。

平均偏光画素値算出部１１０４は、偏光画像の平均画素値を算出し、平均偏光画素値として、データ連結部１１０７に入力する。

輝度画像補正部１１０５は、輝度画像を露光時間で除算することで、輝度画像を補正する。また、輝度画像補正部１１０５は、補正輝度画像を平均輝度画素値算出部１１０６に入力する。

平均輝度画素値算出部１１０６は、補正輝度画像の平均画素値を算出し、平均輝度画素値として、データ連結部１１０７に入力する。

データ連結部１１０７は、画像構造情報と、平均偏光画素値と、平均輝度画素値とを連結させて連結データを生成する。例えば、画像構造情報がＤ次元、平均偏光画素値がＤ'次元、平均輝度画素値がＤ"次元であってとすると、データ連結部１１０７は、Ｄ＋Ｄ'＋Ｄ"次元となるように、連結データを生成する。

判別器生成部１１０８は、ニューラルネットワーク構成を有しており、データ連結部１１０７において生成された連結データを順次入力し、判別結果が、学習画像情報６００の"路面状態"と等しくなるようにパラメータを決定する。これにより、判別器生成部１１０８では、学習画像情報６００に応じて決定されたパラメータを有するニューラルネットワークである、判別器を生成することができる。判別器生成部１１０８において生成した判別器は、判別部として、路面状態判別部１２３に組み込まれる。

比較部１１０９は、判別器生成部１１０８における判別結果と、学習画像情報６００の"路面状態"とを比較し、両者が等しくなるように、パラメータを順次変更していく。比較部１１０９は、変更したパラメータを判別器生成部１１０８に入力する。

図１２は、判別器生成部の具体例を示す図である。図１２に示すように、判別器生成部１１０８のニューラルネットワーク構成は、入力層と中間層と出力層とを含み、入力層には、学習画像情報６００に基づいて生成された連結データ（ｘ）が入力される。また、出力層からは路面状態についての判別結果（ｙ）である、「乾燥」、「湿潤」、「凍結」、「積雪」のいずれかが出力される。

比較部１１０９では、判別器生成部１１０８により出力された判別結果が、学習画像情報６００の"路面状態"と等しくなるように、パラメータＶ、ｃを変更する。具体的には、比較部１１０９は、下式に基づいて、パラメータＶ、ｃを変更する。

なお、Ｖは、次層への結合係数、ｃはニューロンが持つ値である。また、関数ｆにはシグモイド関数等が用いられる。

このように、判別器生成部１１０８では、学習画像情報６００を用いた機械学習により、パラメータＶ、ｃを決定することで、路面状態を判別するのに適した判別器を生成し、路面状態判別部１２３に判別部として組み込む。このため、従来のように学習画像情報に基づいて人手で判別器を生成する場合と比較して、判別器生成の手間を省くことができる。

＜８．３ 路面状態判別部１２３の説明＞
次に、路面状態判別部１２３について説明する。図１３は、路面状態判別部の機能構成の一例を示す図である。図１３に示すように、路面状態判別部１２３は、計測情報取得部１３０１、画像連結部１３０２、画像構造情報抽出部１３０３、平均偏光画素値算出部１３０４、輝度画像補正部１３０５、平均輝度画素値算出部１３０６を有する。また、路面状態判別部１２３は、データ連結部１３０７、判別部１３０８、出力部１３０９を有する。

計測情報取得部１３０１は取得手段の一例であり、計測情報格納部１２５より、計測情報（輝度画像、偏光画像、露光時間、位置情報）を順次読み出す。また、計測情報取得部１３０１は、読み出した輝度画像、偏光画像を画像連結部１３０２に通知し、読み出した偏光画像を平均偏光画素値算出部１３０４に通知する。また、読み出した輝度画像、露光時間を輝度画像補正部１３０５に通知する。更に、計測情報取得部１３０１は、読み出した位置情報を出力部１３０９に通知する。

画像連結部１３０２は、輝度画像と偏光画像とを重ね合わせるように連結させ、１枚の画像を生成し、入力データとして画像構造情報抽出部１３０３に入力する。輝度画像と偏光画像とを重ね合わせるように連結されるとは、例えば、輝度画像の画素値（輝度画素値）と、偏光画像の画素値（偏光画素値）を重ね合わせて１枚の画像を生成することである。なお、重ね合わせ方法は単純に各画素に輝度画素値、偏光画素値を持つように連結してもよいし、画素値を足し合せてもよいし、それぞれの画素値に重み付けを行ってもよい。

画像構造情報抽出部１３０３には、第１生成部１２１の圧縮器生成部８０３において生成され、路面状態判別部１２３に組み込まれた圧縮器である。路面状態判別部１２３において、画像構造情報抽出部１３０３は抽出手段として機能し、画像連結部１３０２により入力された入力データに基づいて中間層より画像構造情報を抽出し、データ連結部１３０７に入力する。

図１４は、画像構造情報抽出部の一例を示す図である。このうち、図１４（ａ）は、Ａｕｔｏｅｎｃｏｄｅｒのニューラルネットワーク構成により形成された画像構造情報抽出部を示している。一方、図１４（ｂ）は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒのニューラルネットワーク構成により形成された画像構造情報抽出部を示している。いずれの画像構造情報抽出部１３０３も、入力データを入力層に入力することで、中間層より画像構造情報を抽出することができる。

図１３の説明に戻る。平均偏光画素値算出部１３０４は、偏光画像の平均画素値を算出し、平均偏光画素値として、データ連結部１３０７に入力する。

輝度画像補正部１３０５は、輝度画像を露光時間で除算することで、輝度画像を補正する。また、輝度画像補正部１３０５は、補正輝度画像を平均輝度画素値算出部１３０６に入力する。

平均輝度画素値算出部１３０６は、補正輝度画像の平均画素値を算出し、平均輝度画素値として、データ連結部１３０７に入力する。

データ連結部１３０７は、画像構造情報と、平均偏光画素値と、平均輝度画素値とを連結させる。例えば、画像構造情報がＤ次元、平均偏光画素値がＤ'次元、平均輝度画素値がＤ"次元であったとすると、データ連結部１３０７は、Ｄ＋Ｄ'＋Ｄ"次元となるように、連結データを生成する。

判別部１３０８には、第２生成部１２２の判別器生成部１１０８において生成され、路面状態判別部１２３に組み込まれた判別器である。路面状態判別部１２３において、判別部１３０８は判別手段として機能し、データ連結部１３０７において生成された連結データを入力することで、判別結果を出力部１３０９に出力する。

出力部１３０９は出力手段の一例であり、判別部１３０８より出力された判別結果と、計測情報取得部１３０１より出力された位置情報とを対応付けて、路面状態情報として出力する。

図１５は、判別部の一例を示す図である。図１５に示すように、判別部１３０８のニューラルネットワーク構成は、入力層と中間層と出力層とを含み、入力層には、計測情報に基づいて生成された連結データが入力される。出力層からは路面状態についての判別結果である、「乾燥」、「湿潤」、「凍結」、「積雪」のいずれかが出力される。

このように、本実施形態では、路面状態の判別において、判別部１３０８に連結データを入力する。このため、偏光画像及び輝度画像の各画素値を入力する場合と比較して、判別部１３０８における処理を高速化することができる。

また、連結データには、平均偏光画素値と平均輝度画素値とが含まれる。これらの特徴量は、各路面状態（「乾燥」、「湿潤」、「凍結」、「積雪」）を撮影することで得られる偏光画像及び輝度画像において、各路面状態の全体的な傾向を端的に表す特徴量である。

更に、連結データには、画像構造情報が含まれる。当該特徴量は、偏光画像及び輝度画像において、各路面状態に含まれる局所的な特徴を抽出したものである。

つまり、本実施形態では、判別部１３０８が路面状態の判別に有効な特徴量を用いて判別を行うため、判別精度を向上させることができる。

＜９．路面状態判別処理の流れ＞
次に、サーバ装置１２０による路面状態判別処理の流れについて説明する。図１６は、路面状態判別処理の流れを示すフローチャートである。サーバ装置１２０の管理者により路面状態判別処理の開始指示が入力されると、図１６に示す路面状態判別処理が開始される。

ステップＳ１６０１において、計測情報取得部１３０１は、計測情報格納部１２５より、計測情報を取得する。

ステップＳ１６０２において、計測情報取得部１３０１は取得した計測情報より、輝度画像、偏光画像、露光時間、位置情報を抽出する。

ステップＳ１６０３において、画像連結部１３０２は、抽出された輝度画像及び偏光画像を連結し、入力データを生成する。

ステップＳ１６０４において、画像構造情報抽出部１３０３は、生成された入力データに基づいて、中間層より画像構造情報を抽出する。

ステップＳ１６０５において、平均偏光画素値算出部１３０４は、ステップＳ１６０２において抽出された偏光画像の平均偏光画素値を算出する。

ステップＳ１６０６において、輝度画像補正部１３０５は、ステップＳ１６０２において抽出された輝度画像及び露光時間に基づいて、補正輝度画像を生成する。

ステップＳ１６０７において、平均輝度画素値算出部１３０６は、補正輝度画像の平均輝度画素値を算出する。

ステップＳ１６０８において、データ連結部１３０７は、画像構造情報と、平均偏光画素値と、平均輝度画素値とを連結し、連結データを生成する。

ステップＳ１６０９において、判別部１３０８は、生成された連結データに基づいて、判別対象について路面状態を判別する。

ステップＳ１６１０において、出力部１３０９は、判別結果と位置情報とを対応付けて、路面状態情報として出力する。

ステップＳ１６１１において、路面状態判別処理を終了するか否かを判定する。ステップＳ１６１１において、終了しないと判定した場合には、ステップＳ１６０１に戻り、計測情報より次の輝度画像、偏光画像、露光時間、位置情報を抽出する。一方、ステップＳ１６１１において、終了すると判定した場合には、路面状態判別処理を終了する。

図１７は、路面状態情報の一例を示す図である。図１７に示すように、路面状態情報１７００には、情報の項目として、"位置情報"、"判別結果"が含まれる。

"位置情報"には、計測情報に含まれる各位置情報が格納される。"判別結果"には、各位置情報により特定される位置における計測情報に基づいて、路面状態判別部１２３により判別された路面状態の判別結果が格納される。

＜１０．判別結果の評価＞
次に、サーバ装置１２０による路面状態判別処理の判別結果についての評価を、他の判別方法による判別結果と比較しながら説明する。図１８は、判別結果に対する評価結果の一例を示す図である。

判別結果に対する評価結果１８００において、横軸は、路面状態を示す"乾燥"、"湿潤"、"凍結"、"積雪"及び"平均"を表している。また、縦軸は、"判別方法"を示している。図１８の例は、判別方法として以下の３通りを比較した場合を示している。
・輝度画像の平均輝度画素値と偏光画像の平均偏光画素値とに基づいて路面状態を判別する第１の判別方法（比較例）
・画像構造情報に基づいて路面状態を判別する第２の判別方法（比較例）
・輝度画像の平均輝度画素値と偏光画像の平均偏光画素値と画像構造情報とに基づいて路面状態を判別する第３の判別方法（本実施形態による判別方法）
評価結果１８００において、第１の判別方法の場合、路面状態＝「乾燥」と判別すべき計測情報のうち、５１．２％の計測情報について、路面状態＝「乾燥」と判別できたことを示している（すなわち、正答率が５１．２％であったことを示している）。同様に、第１の判別方法の場合、路面状態＝「湿潤」、「凍結」、「積雪」については、それぞれ、正答率が、８９．０％、７０．０％、９９．６％であったことを示している。更に、平均の正答率が７７．５％であったことを示している。

一方、第２の判別方法の場合、路面状態＝「乾燥」、「湿潤」、「凍結」、「積雪」について、それぞれ、正答率が、８４．２％、６２．２％、７７．２％、７１．４％であったことを示している。また、平均の正答率が７３．７％であったことを示している。

また、第３の判別方法の場合、路面状態＝「乾燥」、「湿潤」、「凍結」、「積雪」について、それぞれ、正答率が、９０．２％、９７．０％、８６．６％、９９．０％であったことを示している。また、平均の正答率が９３．２％であったことを示している。

このように、「湿潤」と「積雪」について正答率の高い第１の判別方法と、「乾燥」と「凍結」について正答率の高い第２の判別方法と組み合わせることで、第３の判別方法によれば、「乾燥」、「湿潤」、「凍結」、「積雪」について高い正答率を実現できる。

つまり、輝度画像の平均輝度画素値と偏光画像の平均偏光画素値と画像構造情報とに基づいて路面状態を判別することで、いずれの路面状態についても、第１及び第２の判別方法よりも高い正答率で判別することが可能となる。

＜１１．まとめ＞
以上の説明から明らかなように、本実施形態におけるサーバ装置は、
・輝度画像と偏光画像とを取得するとともに、輝度画像と偏光画像とを連結した画像を低次元に圧縮することで、当該画像の画像構造情報を抽出する構成とした。
・取得した輝度画像の平均輝度画素値及び偏光画像の平均偏光画素値と、抽出した画像構造情報とを用いて、路面状態を判別する構成とした。

これにより、従来の判別方法と比較して、路面状態の判別精度を向上させることが可能となった。

［第２の実施形態］
上記第１の実施形態では、連結データとして、画像構造情報、平均偏光画素値、平均輝度画素値を含むものとして説明した。しかしながら、連結データに含まれるデータはこれに限定されない。

例えば、計測装置１１０に路面温度を測定するセンサを配し、路面温度を測定することで、路面温度情報を連結データに加えてもよい。

図１９は、路面状態判別部の機能構成の他の一例を示す図である。図１３との相違点は、計測情報取得部１９０１、データ連結部１９０２、判別部１９０３である。

計測情報取得部１９０１は、計測情報格納部１２５より、計測情報として、輝度画像、偏光画像、露光時間、位置情報、路面温度情報を順次読み出す。また、計測情報取得部１９０１は、読み出した輝度画像、偏光画像を画像連結部１３０２に、読み出した偏光画像を平均偏光画素値算出部１３０４に、読み出した輝度画像、露光時間を輝度画像補正部１３０５にそれぞれ通知する。更に、計測情報取得部１９０１は、読み出した路面温度情報をデータ連結部１９０２に、読み出した位置情報を出力部１３０９にそれぞれ通知する。

データ連結部１９０２は、画像構造情報と、平均偏光画素値と、平均輝度画素値と、路面温度情報とを連結させる。例えば、画像構造情報がＤ次元、平均偏光画素値がＤ'次元、平均輝度画素値がＤ"次元、路面温度情報がＤ'''次元であったとすると、データ連結部１９０２は、Ｄ＋Ｄ'＋Ｄ"＋Ｄ'''次元となるように、連結データを生成する。

判別部１９０３には、第２生成部１２２の判別器生成部１１０８により生成された判別器が組み込まれる。なお、本実施形態の場合、路面温度情報を含む学習画像情報を用いて生成された連結データを、判別器生成部１１０８に入力することで判別器が生成されているものとする。

判別部１９０３は、データ連結部１９０２において生成された連結データに基づいて、路面状態を判別する。

このように、連結データとして、画像構造情報、平均偏光画素値、平均輝度画素値に加え、路面温度情報を含めることで、本実施形態によれば、路面状態の判別精度をより向上させることが可能となる。

［その他の実施形態］
上記第１及び第２の実施形態では、計測装置１１０に搭載する偏光カメラ２０５が、領域分割偏光フィルタを有する偏光カメラであるとして説明した。しかしながら、計測装置１１０に搭載する偏光カメラ２０５は、領域分割偏光フィルタを有する偏光カメラに限定されず、例えば、撮像素子の前面に偏光子を配し、偏光子を回転させながら、偏光角が異なる複数枚の画像を取得する偏光カメラであってもよい。

また、上記第１及び第２の実施形態では、サーバ装置１２０において路面状態を判別し、判別状態情報を端末１３０に送信する構成としたが、判別システムのシステム構成はこれに限定されない。

例えば、路面状態判別部１２３を端末１３０に配する構成としてもよい。この場合、端末１３０では、サーバ装置１２０の第１生成部１２１で生成された圧縮器と、第２生成部１２２で生成された判別器とを、サーバ装置１２０よりダウンロードし、路面状態判別部１２３に画像構造情報抽出部及び判別部として組み込む。

これにより、端末１３０では、計測装置１１０より送信された計測情報に基づいて、路面状態を判別することが可能となる。

同様に、路面状態判別部１２３を計測装置１１０の制御装置２０３に配する構成としてもよい。この場合も、制御装置２０３では、サーバ装置１２０の第１生成部１２１で生成された圧縮器と、第２生成部１２２で生成された判別器とを、サーバ装置１２０よりダウンロードし、路面状態判別部１２３に画像構造情報抽出部及び判別部として組み込む。

これにより、計測装置１１０では、計測情報を取得しながら、リアルタイムに路面状態を判別し、凍結防止剤の散布量を調整したうえで、散布することが可能となる。

また、この場合、路面状態の判別結果は、凍結防止剤の散布量の調整等に利用するだけにとどまらず、例えば、車両の走行制御に反映させるようにしてもよい。

また、上記第１及び第２の実施形態では、平均偏光画素値算出部１３０４において、偏光画像の平均偏光画素値を算出したが、各路面状態の全体的な傾向を端的に表す特徴量であれば、平均偏光画素値に限定されない。偏光画像の各画素の画素値の統計値であれば、他の特徴量であってもよい。同様に、上記第１及び第２の実施形態では、平均輝度画素値算出部１３０６において、輝度画像の平均輝度画素値を算出したが、各路面状態の全体的な傾向を端的に表す特徴量であれば、平均輝度画素値に限定されない。輝度画像の各画素の画素値の統計値であれば、他の特徴量であってもよい。

また、上記第２の実施形態では、連結データに路面温度情報を追加する場合について説明したが、連結データに追加する情報は、路面温度情報に限定されない。例えば、走行速度の情報や、走行中の各位置での天気情報等を追加してもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：判別システム
１１０ ：計測装置
１１１ ：車両
１２０ ：サーバ装置
１２１ ：第１生成部
１２２ ：第２生成部
１２３ ：路面状態判別部
１３０ ：端末
２０１ ：ＧＰＳ装置
２０２ ：通信装置
２０３ ：制御装置
２０４ ：照明装置
２０５ ：偏光カメラ
６００ ：学習画像情報
７００ ：計測情報リスト
８０１ ：学習画像情報入力部
８０２ ：画像連結部
８０３ ：圧縮器生成部
８０４ ：比較部
１１０１ ：学習画像情報入力部
１１０２ ：画像連結部
１１０３ ：画像構造情報抽出部
１１０４ ：平均偏光画素値算出部
１１０５ ：輝度画像補正部
１１０６ ：平均輝度画素値算出部
１１０７ ：データ連結部
１１０８ ：判別器生成部
１１０９ ：比較部
１３０１ ：計測情報取得部
１３０２ ：画像連結部
１３０３ ：画像構造情報抽出部
１３０４ ：平均偏光画素値算出部
１３０５ ：輝度画像補正部
１３０６ ：平均輝度画素値算出部
１３０７ ：データ連結部
１３０８ ：判別部
１３０９ ：出力部
１７００ ：路面状態情報
１９０１ ：計測情報取得部
１９０２ ：データ連結部
１９０３ ：判別部

特開平８−３２７５３０号公報 特開２０１３−１４８５０４号公報

Claims (10)

1. 路面を撮影することで得られる輝度画像と偏光画像とを取得する取得手段と、
   前記輝度画像と前記偏光画像とを連結した画像を低次元に圧縮することで、該画像の画像構造を示す情報を抽出する抽出手段と、
   前記輝度画像の画素値の統計値と、前記偏光画像の画素値の統計値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別する判別手段と
   を有することを特徴とするサーバ装置。
2. 前記抽出手段は、オートエンコーダを用いて前記画像を低次元に圧縮することを特徴とする請求項１に記載のサーバ装置。
3. 前記抽出手段は、畳み込みオートエンコーダを用いて前記画像を低次元に圧縮することを特徴とする請求項１に記載のサーバ装置。
4. 前記路面を撮影した位置を示す位置情報と、前記判別手段が判別した判別結果とを対応付けて出力する出力手段を更に有することを特徴とする請求項１に記載のサーバ装置。
5. 前記判別手段は、前記輝度画像の平均画素値と、前記偏光画像の平均画素値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別することを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
6. 路面を撮影することで得られる輝度画像と偏光画像とを取得する取得工程と、
   前記輝度画像と前記偏光画像とを連結した画像を低次元に圧縮することで、該画像の画像構造を示す情報を抽出する抽出工程と、
   前記輝度画像の画素値の統計値と、前記偏光画像の画素値の統計値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別する判別工程と
   をコンピュータに実行させるための判別プログラム。
7. 路面を撮影する偏光カメラと、
   前記偏光カメラによる撮影に基づき、輝度画像と偏光画像とを生成する制御装置と、を有する判別システムであって、
   前記制御装置は、
   前記輝度画像と前記偏光画像とを連結した画像を低次元に圧縮することで、該画像の画像構造を示す情報を抽出する抽出手段と、
   前記輝度画像の画素値の統計値と、前記偏光画像の画素値の統計値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別する判別手段と
   を有することを特徴とする判別システム。
8. 前記判別システムは、前記制御装置と接続されるサーバ装置を更に有し、
   前記サーバ装置は、
   輝度画像と偏光画像とを連結した画像を、入力データとしてオートエンコーダに入力した場合の出力データが、該入力データと等しくなるように該オートエンコーダのパラメータを決定することで、前記抽出手段を生成する生成手段を有することを特徴とする請求項７に記載の判別システム。
9. 前記判別システムは、前記制御装置と接続されるサーバ装置を更に有し、
   前記サーバ装置は、
   輝度画像と偏光画像とを連結した画像を、入力データとして畳み込みオートエンコーダに入力した場合の出力データが、該入力データと等しくなるように該畳み込みオートエンコーダのパラメータを決定することで、前記抽出手段を生成する生成手段を有することを特徴とする請求項７に記載の判別システム。
10. 前記判別手段は、前記輝度画像の平均画素値と、前記偏光画像の平均画素値と、前記画像構造を示す情報とを用いて、前記路面の状態を判別することを特徴とする請求項８または９に記載の判別システム。

Images