JP2021071919A - 道路監視装置 - Google Patents

Abstract

【課題】悪天候下での検知精度も確保した道路監視装置を得ることを目的とする。【解決手段】監視対象の道路及び通行する車両を撮影する撮影装置と、撮影装置が撮影した画像上の車両の位置を基に道路の異常の有無を判定する道路状態判定装置と、前記道路状態判定装置に接続された学習装置と、を備えた道路監視装置であって、道路状態判定装置は、学習装置で学習済の学習器を有し、学習器は、撮影装置が撮影した画像が入力されるとともに、前記画像上の車両の位置情報を演算して出力し、学習器で出力された車両の位置情報を画像上の基準線と比較して前記道路の異常の有無を判定する。【選択図】図１

Description

本願は、道路監視装置に関するものである。

道路においては、自然災害による法面崩壊、土砂崩れ、路面陥没、雪崩、強風による飛来物などの他、車両からの落下物等、様々な要因で円滑な通行が阻害されるケースが発生する。

道路に前記のような異常が発生した場合、一刻も早く道路管理者によって対策が実施される必要があるが、当該道路の管理者によってこの異常が把握されるまでに時間を要しているという問題がある。

例えば、特許文献１では、道路に異常が発生した場合の検知を行うため、カメラあるいはレーダを用いて、登録済みの学習データをもとに物体の有無を判断している。

特開２０１９−０３６２４０号公報

特許文献１の方法では、あらかじめ登録した学習データをもとに物体検知しているため、事前に想定していなかった異常が道路上で発生した場合には検知することができないという問題点があった。また、カメラとレーダを併用しているが、降雪環境下などではミリ波レーダによる測距が正常に行われない場合があり、誤検知を起こしやすいという問題があった。

本願は、上記のような課題を解決するための技術を開示するものであり、事前想定の学習データに無いような異常を検知できるとともに、悪天候下での検知精度も確保した道路監視装置を得ることを目的とする。

本願に開示される道路監視装置は、監視対象の道路及び前記道路を通行する車両を撮影する撮影装置と、前記撮影装置が撮影した前記画像上の車両の位置を基に前記道路の異常の有無を判定する道路状態判定装置と、前記道路状態判定装置に接続された学習装置と、を備えた道路監視装置であって、前記道路状態判定装置は、前記学習装置で学習済の学習器を有し、前記学習器は、前記撮影装置が撮影した画像が入力されるとともに、前記画像上の車両の位置情報を演算して出力し、前記学習器で出力された前記車両の位置情報を前記画像上の基準線と比較して前記道路の異常の有無を判定する、ように構成されたものである。

本願に開示される道路監視装置によれば、気候条件等に影響を受けることなく、また事前の学習パターンに依存することなく道路上の異常発生を検知することができる。

実施の形態１に係る道路監視装置の構成及び適用される場面の一例を示す図である。 実施の形態に係る道路状態判定装置のハードウェア構成図である。 実施の形態に係る学習装置のハードウェア構成図である。 実施の形態に係る道路状態判定装置の機能ブロック図である。 実施の形態に係る車両位置情報の一例を示す図である。 実施の形態に係る学習装置の機能ブロック図である。 実施の形態１に係る道路状態判定処理の手順を示す図である。 実施の形態１に係る学習装置における処理手順を示す図である。

以下、本願で開示される道路監視装置の実施の形態について図を参照して説明する。ただし、以下で説明する実施の形態は、あらゆる点において本発明の実施の形態の例示に過ぎない。つまり、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施の形態において登場するデータを自然言語により説明しているが、より具体的にはコンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

実施の形態１．
以下に、実施の形態１に係る道路監視装置について図を用いて説明する。
図１は、実施の形態１に係る道路監視装置の構成及びこの道路監視装置が適用される場面の一例を示す図である。図１において、道路監視装置１０は、道路９１を通行する車両９２を撮影するカメラ１と、このカメラ１で撮影された画像をネットワーク２を経由して取得し道路状態を判定する道路状態判定装置３と、道路状態判定装置３に接続された学習装置６とを備える。道路状態判定装置３での道路状態の判定結果は、ネットワーク２を経由して状態伝達部４に送信される。道路状態判定装置３での道路状態の判定結果が異常と判定された場合、ネットワーク２に接続された情報展開部５により、その状態が通知される。

道路９１上に支障物が無い状態では、車両９２は車線中央付近を通行することから、カメラ１により一定間隔で撮影された画像においては、車両の座標位置は車線中央の近傍に位置する。ここで一定間隔の撮影とは例えば毎秒ごとの撮影を示す。一方、図１に示すように道路９１上に倒木のような支障物９３がある状態では、車両９２は支障物９３を迂回して走行する。そのため、車両の座標位置は車線中央から外れた座標位置となる。このように撮影画像上の車両の座標位置を確認し、一定の期間、車両の座標位置が車線の中央から所定距離外れた状態が継続したとき、道路状態判定装置３は、道路９１に支障物９３があり、すなわち道路９１に異常が発生したものと判定する。そして、ネットワーク２を経由して、状態伝達部４及び情報展開部５を用いて道路管理者及び道路利用者へ道路９１に異常が発生していることを通知する。

状態伝達部４は道路状態判定装置３から道路に異常が発生しているという情報を取得すると、道路の異常情報を当該道路の管理者へ伝達するとともに、警報あるいは異常発生を示すランプ点灯等により注意喚起を促す。道路管理者は、道路に発生した事象を短時間で把握するとともに、速やかに、撤去作業等の次のステップへと進むことが可能となる。なお、道路の異常情報は、状態伝達部４から道路管理者に対して道路管理者が所有する端末あてに電子メールまたはメッセージ等による方法を用いて通知してもよい。

情報展開部５は道路状態判定装置３から道路に異常が発生しているという情報を取得し、例えば当該道路の路側に設置された表示機器にその内容を表示することで、通行する車両の運転者等の道路利用者に注意喚起を促すことが可能となる。情報展開部５から道路利用者への情報展開は、ラジオ放送あるいはＤＳＲＣ（Dedicated Short Range Communications：狭域通信）等を用いることもできる。

道路状態判定装置３に接続されている学習装置６は、道路状態判定装置３で利用する学習器を構築するためのもので、入力された撮影画像に応じて車両の位置情報を出力するように学習器の機械学習を行う、例えばコンピュータに相当するものである。学習装置６は、撮影画像と車両位置情報との組を学習データとして取得する。これらのうち、撮影画像は入力データとして利用され、車両位置情報は教師データとして利用される。すなわち、学習装置６は、撮影画像を入力すると車両位置情報に対応する出力値を出力するようにし、出力値と教師データを比較することで学習器を学習させる。これにより、道路状態判定装置３で利用する学習済みの学習器を形成することができる。なお、学習器の詳細については後述する。

図２は、本実施の形態１に係る道路状態判定装置３のハードウェア構成の一例を示す図である。図において、道路状態判定装置３は制御部１１、記憶部１２、及び外部Ｉ／Ｆ（インタフェース）１３が電気的に接続されたコンピュータから構成されている。

制御部１１は、プロセッサであるＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリであるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。制御部１１は、例えば、ＥＣＵ（Electronic Control Unit：電子制御装置）により構成される。記憶部１２は、例えばＲＡＭ、ＲＯＭ等のメモリで構成され、プログラム１２１、学習結果データ１２２等を記憶する。

プログラム１２１は、道路状態判定装置３に道路状態が車両通行するのに問題が無い状態かどうかを推定する情報処理を実行させるための命令を含むプログラムである。学習結果データ１２２は学習済みの学習器の設定を行うためのデータである。外部Ｉ／Ｆ１３は例えばＬＡＮ（Local Area Network）を介して、カメラ１に接続される。

カメラ１は、道路９１を通行する車両９２を俯瞰的に撮影可能に配置される。例えば、カメラ１は具体的には、道路脇の両側に設置し、あるいは道路上方より撮影できるように設置し、車両９２の挙動を撮影範囲としてカバーし、車両９２が車線中央を走行しているか否かを判定できるように設置される。なお、カメラ１には撮影装置として一般のデジタルカメラ、ビデオカメラ等を用いることができる。

なお、外部Ｉ／Ｆ１３にはカメラ１が接続された例を示したが、カメラ１以外の外部装置を接続することもできる。例えば、外部Ｉ／Ｆ１３にはインターネットを介してデータ通信を行うための通信モジュールが接続されてもよい。外部Ｉ／Ｆ１３に接続する外部装置は、適宜選択することができる。

また、図２においては、道路状態判定装置３は、１つの外部Ｉ／Ｆ１３を備えている例を示したが、外部Ｉ／Ｆ１３は、接続する外部装置毎に設けられてもよい。外部Ｉ／Ｆ１３の数は、適宜選択可能である。

なお、道路状態判定装置３の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサはマイクロプロセッサ、ＦＰＧＡ（field programmable gate array）等で構成されてもよい。記憶部１２はハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、道路状態判定装置３には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータを用いてもよい。

以上説明した道路状態判定装置３では、制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、ＲＡＭに展開されたプログラム１２１をＣＰＵにおいて解釈及び実行し、制御部１１は各構成要素を制御する。制御部１１が制御する各構成要素の機能については後述する。

次に、本実施の形態１に係る学習装置６の構成について説明する。図３は、本実施の形態１に係る学習装置６のハードウェア構成の一例を示す図である。図において、学習装置６は、制御部２１、記憶部２２、通信Ｉ／Ｆ２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータから構成されている。

制御部２１は、上述の道路状態判定装置３の制御部１１と同様に、プロセッサであるＣＰＵ、及びメモリであるＲＡＭ，ＲＯＭ等を含み、記憶部２２が具備する学習プログラム２２１及び学習データ２２２に基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の機械学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を格納する。

学習プログラム２２１は、後述する機械学習の処理（図８）を学習装置６で実行させ、当該機械学習の結果として学習結果データ１２２を生成させるための命令を含むプログラムである。学習データ２２２は、車両の位置情報を推定する能力を獲得するように学習器の機械学習を行うためのデータである。

なお、「機械学習」とはデータ（学習データ）に潜むパターンをコンピュータにより見つけ出すことであり、「学習器」は機械学習によって得られ、所定のパターンを識別する能力を獲得可能な学習モデル（学習結果データ）により構築される。

通信Ｉ／Ｆ２３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置６は、当該通信Ｉ／Ｆ２３を介して、作成した学習結果データ１２２を外部の装置に配信してもよい。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置６を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体７１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体７１の種類に応じて適宜選択されてよい。上記学習プログラム２２１及び学習データ２２２は、記憶部２２内のメモリに記憶されていてもよいし、この記憶媒体７１に記憶されていてもよい。

記憶媒体７１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置６は、この記憶媒体７１から、上述の学習プログラム２２１及び学習データ２２２を取得してもよい。

記憶媒体７１として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示したが、記憶媒体７１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、学習装置６の具体的なハードウェア構成は、実施形態に応じて、適宜構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ等で構成されてよい。学習装置６は、複数台の情報処理装置で構成されてもよい。また、学習装置６は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等であってもよい。

次に、本実施の形態１に係る道路状態判定装置３の機能について説明する。図４は、本実施の形態１に係る道路状態判定装置３の機能及び動作を説明するための機能ブロック図である。本実施の形態１に係る道路状態判定装置３はソフトウェアモジュールとして、図４に示す各機能部を有し、制御部１１によって記憶部１２に記憶されたプログラム１２１をＲＡＭに展開し、ＲＡＭに展開されたプログラム１２１をＣＰＵにおいて解釈及び実行させることで、各機能部が制御される。

図４において、画像取得部３１１は、道路９１を走行する車両９２を撮影したカメラ１から撮影画像１２３を取得する。解像度変換部３１２は、画像取得部３１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部３１２は、低解像度撮影画像１２３１を生成する。

解像度変換部３１２で生成された低解像度撮影画像１２３１は、学習器５０に入力される。学習器５０は道路上の車両の位置情報を推定するために機械学習が行われた学習済みの学習器で、ニューラルネットワークを有する。この学習器５０は車両位置情報１２４を演算し、道路状態推定部３１３に出力する。なお、低解像度化の処理は省略されてもよく、この場合、撮影画像１２３が学習器５０に入力される。

ここで、道路状態推定部３１３の取得する車両位置情報１２４について説明する。図５は、車両位置情報一例を示す図である。図５に示されるとおり、車両位置情報は、車両が撮影画像上においてどの位置にいるかを座標で示すものである。

道路状態推定部３１３は車両位置情報１２４に基づいて、道路状態に異常が発生しているか否かを判定する。カメラ１は道路９１に向けて固定されているので、図５に示されるように、車線の中央位置は単一の画角において線的に固定されている。この車線中央位置を車線中央ラインとして図５に点線で示す。撮影画像では車両の位置のみ変化が発生するので、車両の位置は車両中心位置を座標点として扱うことが可能である。この座標点と車線中央のラインの間の間隔を撮影画像毎に計測するあるいは演算して取得することは可能である。車線中央ラインに対し、走行する車両位置が予め定められた距離以上離れた状態を一定期間検知したとき、当該道路に異常が発生していると判断する。図１で示したように、倒木等の支障物９３がありそれを車両９２が迂回して走行していることが推察されるからである。ここで予め定められた距離とは、例えば車線幅の１／２以上であり、一定期間とは数１０秒である。一定期間を判断するために、車両位置情報には車両位置（ｘ，ｙ）だけでなく撮像時刻（ｔ）の情報を有することが望ましい。

伝達部３１４は、道路状態推定部３１３からの道路状態の情報を取得し、状態伝達部４及び情報展開部５にネットワークを介して情報を送信する。

次に、学習器５０について説明する。図４に示されるとおり、本実施の形態１に係る道路状態判定装置３は、車両の位置情報を推定するための機械学習を行った学習済みの学習器５０として、ニューラルネットワークを利用する。本実施の形態１に係るニューラルネットワークは、複数種類のニューラルネットワークを組み合わせることで構成されている。具体的には、ニューラルネットワークは、畳み込みニューラルネットワーク５１で構成されている。畳み込みニューラルネットワーク５１には低解像度撮影画像１２３１が入力され、車両位置情報１２４を出力する。以下、畳み込みニューラルネットワーク５１の各部分について説明する。

畳み込みニューラルネットワーク５１は、畳み込み層５１１及びプーリング層５１２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施の形態１に係る畳み込みニューラルネットワーク５１では、複数の畳み込み層５１１及びプーリング層５１２が学習器５０の入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５１２の出力が全結合層５１３に入力され、全結合層５１３の出力が出力層５１４に入力される。

畳み込み層５１１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

プーリング層５１２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

全結合層５１３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５１３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層５１３は、２層以上で構成されてもよい。また、全結合層５１３に含まれるニューロンの個数は、実施形態に応じて適宜設定すればよい。

出力層５１４は、畳み込みニューラルネットワーク５１の最も出力側に配置される層である。出力層５１４に含まれるニューロンの個数は、実施形態に応じて適宜設定すればよい。出力層５１４から車両位置情報１２４が出力される。なお、畳み込みニューラルネットワーク５１の構成は、このような例に限定されなくてもよく、実施形態に応じて適宜設定すればよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。道路状態判定装置３の制御部１１は、畳み込みニューラルネットワーク５１に低解像度撮影画像１２３１を入力し、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、車両位置情報１２４に対応する出力値を畳み込みニューラルネットワーク５１の出力層５１４から取得する。

なお、このような学習器５０におけるニューラルネットワークの構成、例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。制御部１１は、学習装置６から取得する学習結果データ１２２を基に、車両の位置情報を推定する処理に用いる学習済み学習器５０の設定すなわち、学習済みニューラルネットワークの設定を行う。

次に、本実施の形態１に係る学習装置６の機能について説明する。図６は、本実施の形態１に係る学習装置６の機能及び動作を説明するための機能ブロック図である。また、学習装置６はソフトウェアモジュールとして図６に示す各機能部を有しており、制御部２１によって記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開し、ＲＡＭに展開された学習プログラム２２１をＣＰＵにおいて解釈及び実行させることで、各機能部が制御される。

図６において、学習データ取得部２１１は、道路に設置され車両を撮影可能に配置されたカメラ１から取得される撮影画像、及び車両の位置情報を示す車両位置情報の組を学習データとして取得する。撮影画像は入力データとして利用され、車両位置情報は教師データ（正解データ）として利用される。本実施の形態１においては、学習データ取得部２１１は、低解像度撮影画像２２３及び車両位置情報２２４を取得し、学習データ２２２として格納する。ここで、低解像度撮影画像２２３はカメラ１により撮影された画像を道路状態判定装置３における低解像度化処理と同様に低解像度化処理されることで取得できる。また、車両位置情報２２４は撮影画像上の車両位置から算出してもよいし、ＧＰＳ(Global Positioning System)等他の外部情報から入手してもよい。

学習処理部２１２は、機械学習の対象となる学習器６０を具備しており、学習器６０はニューラルネットワークを利用する。このニューラルネットワークは、畳み込みニューラルネットワーク６１を備え、道路状態判定装置３の学習器５０で説明したものと同様に構成される。すなわち、畳み込みニューラルネットワーク６１は、畳み込みニューラルネットワーク５１と同様である。畳み込みニューラルネットワーク６１は、畳み込み層６１１及びプーリング層６１２を交互に接続した構造を有する順伝播型ニューラルネットワークである。また、最も出力側に配置されたプーリング層６１２の出力が全結合層６１３に入力され、全結合層６１３の出力が出力層６１４に入力される。動作は、畳み込みニューラルネットワーク５１と同様であるので省略する。

学習処理部２１２は、ニューラルネットワークの学習処理により、畳み込みニューラルネットワーク６１に低解像度撮影画像２２３を入力すると、車両位置情報である出力値をニューラルネットワーク６１から出力する。学習プログラム２２１の実行により出力値と教師データである車両位置情報２２４とを用いて機械学習が進んでいき、学習された畳み込みニューラルネットワーク６１が構築されることになる。そして、学習処理部２１２は、構築された畳み込みニューラルネットワーク６１を含む学習器６０の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。学習結果データ１２２は、適宜道路状態判定装置３の学習器５０に反映される。

なお、本実施の形態１では、道路状態判定装置３及び学習装置６の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、道路状態判定装置３及び学習装置６それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

次に、道路状態の判定手順について図を用いて説明する。図７は、道路状態判定装置３の処理手順の一例を示すフローチャートである。道路状態判定装置３の制御部１１は、以下の処理手順に従って、道路状態を判定する。

ステップＳ１０１において、制御部１１はプログラム１２１を開始実行させる。プログラム１２１を開始すると、制御部１１は次のステップＳ１０２に処理を進める。

ステップＳ１０２において、道路状態判定装置３の画像取得部３１１は、道路９１を走行する車両９２を撮影するように配置されたカメラ１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。

ステップＳ１０３において、解像度変換部３１２はステップＳ１０１で取得した撮影画像１２３の解像度を低下させ、低解像度撮影画像１２３１を生成する。低解像度化の処理方法は、特に限定するものではなく、実施形態に応じて適宜選択されてよい。例えば、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を生成することができる。低解像度撮影画像１２３１を生成すると、制御部１１は、次のステップＳ１０４に処理を進める。なお、本ステップＳ１０３は省略されてもよい。

ステップＳ１０４において、生成された低解像度撮影画像１２３１がニューラルネットワークを有する学習器５０に入力され、ニューラルネットワークの演算処理が実行される。演算処理の出力により、ステップＳ１０５において、車両位置情報１２４に対応する出力値を取得することができる。

具体的には、ステップＳ１０３で生成された低解像度撮影画像１２３１が、畳み込みニューラルネットワーク５１の最も入力側に配置された畳み込み層５１１に入力され、入力側から順に、各層に含まれる各ニューロンの発火判定が行われる。この結果、車両位置情報１２４に対応する出力値を出力層５１４から出力される。

ステップＳ１０６において、道路状態推定部３１３はステップＳ１０５で取得した車両位置情報１２４に基づいて、道路状態に異常が発生しているか否かを判定する。車両位置情報１２４と車線中央ラインを比較することにより、車両位置が車線中央から離れた状態が一定期間継続している場合、道路上に何らかの異常が発生したものと判定する。

ステップＳ１０６において、監視対象の道路において異常が発生したと判定された場合、ステップＳ１０７において、状態伝達部４、情報展開部５により道路管理者、道路利用者に対して通知または情報提供を行う。通知の内容または情報提供の内容及び方法は、実施形態に応じて適宜設定されてよい。

以上により、道路状態判定装置３は、道路９１上における車両９２の位置情報を取得し、車両の挙動を監視し、車両の挙動により道路に異常が発生したか否かを判定することができる。すなわち、車両が車線中央から所定距離離れて通行し、一定期間その挙動が継続した時に、道路に異常が発生したと判定することができる。なお、制御部１１は、上記一連の処理を繰り返し実行して、道路状態が異常か否かを継続的に監視してもよい。

以上で説明した道路に異常が発生しているか否かを判定する処理手順は、本実施の形態１に係る道路状態判定方法の一例であり、適宜、ステップの省略、置換、及び追加が可能である。

次に、学習装置６における機械学習に関する処理手順について図を用いて説明する。図８は、学習器の機械学習に関する処理手順の一例を示すフローチャートである。学習装置６の制御部２１は、以下の処理手順に従って、機械学習を実行する。

ステップＳ２０１において、学習装置６の学習データ取得部２１１は、低解像度撮影画像２２３及び車両位置情報２２４の組を学習データ２２２として取得する。

学習データ２２２は、学習器６０のニューラルネットワークに対して、車両の位置情報を推定可能にするための機械学習に利用するデータである。このような学習データ２２２は、例えば、車両を俯瞰的に撮影するように配置されたカメラ１を用意し、道路上の様々な形態の車両を撮影し、得られる撮影画像に車両条件を紐付けることで作成することができる。このとき、低解像度撮影画像２２３は、道路状態判定装置３における判定処置のステップＳ１０３と同じ処理を当該取得した撮影画像に適用することで得ることができる。また、車両位置情報２２４は、撮影画像に表れる車両の位置情報の入力を適宜受け付けることで得ることができる。

この学習データ２２２の作成は、オペレータ等が学習装置６の入力装置２４を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ２２２は、運用されているカメラ１から随時収集されてもよい。また、学習データ２２２の作成は、学習装置６以外の他の情報処理装置により行われてもよい。学習装置６が学習データ２２２を作成する場合には、制御部２１により、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置６以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置６は、ネットワークあるいは記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。なお、本ステップＳ２０１で取得する学習データ２２２の件数は、学習器６０のニューラルネットワークが機械学習を行うことができるように、実施形態に応じて適宜決定されればよい。

次のステップＳ２０２において、学習処理部２１２は、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３を学習器６０に入力し、車両位置情報２２４に対応する出力値を出力するようにニューラルネットワークの機械学習を実施する。

ここで、学習処理を行う対象となる学習器６０は、ニューラルネットワークの構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワークを用意してもよい。

ニューラルネットワークの機械学習においては、ステップＳ２０１で取得した学習データ２２２に含まれる低解像度撮影画像２２３を入力データとして用い、車両位置情報２２４を教師データ（正解データ）として用いられる。また、このニューラルネットワークの学習処理には、確率的勾配降下法等を用いることができる。

例えば、畳み込みニューラルネットワーク６１の最も入力側に配置された畳み込み層６１１に低解像度撮影画像２２３が入力されると、制御部２１は、入力側から順に、各層に含まれる各ニューロンの発火判定が行われる。この結果、畳み込みニューラルネットワーク６１の出力層６１４から出力値が出力される。次に、畳み込みニューラルネットワーク６１の出力層６１４から取得された出力値と車両位置情報２２４に対応する値との誤差を算出する。続いて、通時的誤差逆伝搬（Back propagation through time）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。この算出された各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値が更新される。

学習処理部２１２では、各件の学習データ２２２について、学習器６０から出力される出力値が車両位置情報２２４に対応する値と一致するまで、すなわち上述の誤差がなくなるまで、この一連の処理が繰り返される。この動作により、低解像度撮影画像２２３を入力すると車両位置情報２２４に対応する出力値を出力するニューラルネットワークを有する学習器６０を構築することができる。

次のステップＳ２０３において、学習処理部２１２では、構築したニューラルネットワークの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１によるニューラルネットワークの学習処理を終了する。

また、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成された学習結果データ１２２を道路状態判定装置３に転送してもよい。また、制御部２１は、上記ステップＳ２０１からＳ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に道路状態判定装置３に転送することで、道路状態判定装置３の保持する学習結果データ１２２を定期的に更新してもよい。また、例えば、制御部２１は、作成した学習結果データ１２２をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、道路状態判定装置３は、このデータサーバから学習結果データ１２２を取得してもよい。

なお、図８で示した学習装置６の機械学習に関する手順は一例であり、実施形態に応じて、適宜変更することが可能であり、例えばステップの省略、置換、及び追加が可能である。

以上のように、本実施の形態１に係る道路監視装置１０によれば、道路９１を通行する車両９２を撮影するカメラ１で撮影された画像を取得し道路状態を判定する道路状態判定装置３と、道路状態判定装置３に接続された学習装置６とを備え、取得した画像を低画像化処理し、学習装置６において学習済みのニューラルネットワークを有する学習器５０に入力して、車両９２の位置情報を推定し、車両が車線中央を走行しているか否かを観察することで、すなわち車両９２が一定期間、道路９１の車線中央から所定距離離れた場合に、監視対象の道路に異常があると判定することが可能となる。そのため、事前想定の学習データに無いような異常を検知できるとともに、悪天候下での道路状態の異常も検知できるようになり検知精度を確保することが可能となる。

車両９２が一定期間、道路９１の車線中央から所定距離離れた場合に着目して、監視対象の道路に異常があると判定する例を示したが、車線の中央を結ぶ線を基準にする必要はなく、車両の位置情報と前記画像上の任意の基準線と比較して前記道路の異常の有無を判定するようにしてもよい。例えば片側複数車線であれば、隣接する車線との間を基準にしてもよし、中央分離帯を基準線としてもよい。

また、学習装置６での機械学習において入力画像はカメラ１から取得することができ、道路状態判定装置３ではこの画像に基づき機械学習された学習器５０を用いることができるとともに、道路状態判定装置３に接続された学習装置６の学習結果データ１２２を用いて道路状態判定装置３の学習器５０を適宜更新することができるため、道路状態の異常の検知精度を確保することが可能となる。

さらに、道路状態判定装置３において、道路に異常があると判定した場合、状態伝達部４及び情報展開部５を用いて道路管理者及び道路利用者へ道路９１に異常が発生していることを通知することが可能となる。これにより、道路管理者は速やかに異常状態を把握するとともに速やかに対応の処置を実施することができ、また異常状態の箇所から道路利用者が退避することができる。

また、本実施の形態１では、車両９２の挙動を推定するために車両９２を撮影可能に配置したカメラ１の撮影画像を用いている。この車両の挙動は、撮影画像内で大きく表れ得る。そのため、車両の挙動を推定するのに利用する撮影画像は、高解像度のものでなくてもよい。そこで、本実施の形態１では、学習器５０、６０を構成するニューラルネットワークへの入力として、カメラ１により得られる撮影画像を低解像度化した低解像度撮影画像１２３１、２２３を用いることができる。これにより、ニューラルネットワークの演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像１２３１、２２３の解像度は、車両の挙動が判別可能な程度であればよい。

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

１：カメラ、 ２：ネットワーク、 ３：道路状態判定装置、 ４：状態伝達部、
５：情報展開部、 ６：学習装置、 １０：道路監視装置、 １１：制御部、
１２：記憶部、 １３：外部Ｉ／Ｆ、 ３１１：画像取得部、
３１２：解像度変換部、 ３１３：道路状態推定部、 ３１４：伝達部、
１２１：プログラム、 １２２：学習結果データ、 １２３：撮影画像、
１２３１：低解像度撮影画像、 １２４：車両位置情報、 ２１：制御部、
２２：記憶部、 ２３：通信Ｉ／Ｆ、 ２４：入力装置、 ２５：出力装置、
２６：ドライブ、 ２１１：学習データ取得部、 ２１２：学習処理部、
２２１：学習プログラム、 ２２２：学習データ、 ２２３：低解像度撮影画像、
２２４：車両位置情報、 ５０：学習器、 ５１：畳み込みニューラルネットワーク、
５１１：畳み込み層、 ５１２：プーリング層、 ５１３：全結合層、
５１４：出力層、 ６０：学習器、 ６１：畳み込みニューラルネットワーク、
６１１：畳み込み層、 ６１２：プーリング層、 ６１３：全結合層、
６１４：出力層、 ７１：記憶媒体、 ９１：道路、 ９２：車両、 ９３：支障物。

Claims (6)

1. 監視対象の道路及び前記道路を通行する車両を撮影する撮影装置と、
   前記撮影装置が撮影した前記画像上の車両の位置を基に前記道路の異常の有無を判定する道路状態判定装置と、
   前記道路状態判定装置に接続された学習装置と、を備えた道路監視装置であって、
   前記道路状態判定装置は、前記学習装置で学習済の学習器を有し、
   前記学習器は、前記撮影装置が撮影した画像が入力されるとともに、前記画像上の車両の位置情報を演算して出力し、
   前記学習器で出力された前記車両の位置情報を前記画像上の基準線と比較して前記道路の異常の有無を判定する道路監視装置。
2. 前記画像上の基準線は前記道路の車線の中央を結ぶ線であり、
   道路状態判定装置は、前記車両が前記車線の中央を結ぶ線から予め定められた距離以上離れ、一定期間継続した時に、前記道路に異常が有と判定する、請求項１に記載の道路監視装置。
3. 前記学習装置には、前記撮影装置が撮影した複数の画像が入力データとして、対応する前記画像上の車両の位置が教師データとして入力され、
   前記入力データを基に演算して出力された前記画像上の車両の位置情報出力値と前記教師データの前記画像上の車両の位置とを比較して誤差を算出し、前記誤差がなくなるように機械学習を繰り返し実行することで学習結果データを蓄積し、
   前記蓄積された学習結果データを前記道路状態判定装置の前記学習器に適用する、請求項１または２に記載の道路監視装置。
4. 前記道路状態判定装置または前記学習装置において、前記撮影装置によって撮影された前記画像を低解像度画像に処理し、前記低解像度画像上の車両の位置情報を演算して出力する請求項１から３のいずれか１項に記載の道路監視装置。
5. 前記道路状態判定装置によって前記道路に異常が有と判定された時、前記判定結果を道路管理者へ伝達する状態伝達部を更に備えた請求項１から４のいずれか１項に記載の道路監視装置。
6. 前記道路状態判定装置によって前記道路に異常が有と判定された時、前記判定結果を展開する情報展開部を更に備えた請求項１から５のいずれか１項に記載の道路監視装置。

Images