JP2020144572A - 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム - Google Patents

Abstract

【課題】前方もしくは後方の道路を撮影した一連の画像を、真上から見た画像に変換することなく、道路の不具合を適切に検出する。【解決手段】道路不具合検出装置100であって、前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する検出部113と、検出した前記画素領域の面積の合計を用いて、区間毎の道路の不具合率を算出する集計部116と、を有し、前記不具合には、ひび割れおよび穴の少なくとも１つを含む。【選択図】図１

Description

本発明は、前方もしくは後方の道路を撮影した一連の画像を処理して道路の不具合を検出する技術に関する。

従来、道路舗装のひび割れや穴（ポットホール）の点検には、路面性状測定車と呼ばれる専用車両を用いてセンシングし、メッシュ法と呼ばれる計数方法に基づいて人手にて計数することで、ひび割れ率と呼ばれる指標を算出していた。

路面性状測定車でセンシングした舗装状況のデータは通常、道路の一つの車線を真上から見た細長い写真のような画像の形に加工される。これを50cm×50cmのメッシュに区切り、それぞれのメッシュに対して、例えばひびがある場合には1.0、ない場合には0.0として、この数値を道幅（例えば3.5mなど、道路による）×進行方向（20mもしくは100m）の全体で平均値を求めることで、0〜1までの値を得る。これを百分率で表したものが、ひび割れ率である。なお以上の説明は簡略化したものであり、実際にはより詳細なルールが定められている。

昨今、国土交通省からは「舗装点検要領」などの文書が出されており、より安価で簡易な方法を用いて、従来の点検ではコスト的に対象となり得なかった広汎な道路についても点検を行うことが社会的要請となっている。その代わり、ひび割れ率は０％〜１００％といった精緻な数値でなくてよく、レベル１〜３の３段階程度の精度でもよいとされている。

これに呼応し、前記高価な専用車両と人手による計数とによる方法を、より安価かつ自動で行えるようにする装置が提案されている。

例えば特許文献１では、前方等を撮影したカメラの画像を、真上から見た画像に変換し、ひびを判定し、判定結果をメッシュに区切り、各メッシュにひびがあるかないかを判定して、ひび割れ率を得る装置が開示されている。

また特許文献２では、前方等を撮影したカメラの画像を、真上から見た画像には変換せず、大きさの異なるメッシュに区切り、それぞれのメッシュについてニューラルネットワークを適用することで各メッシュにひびがあるかないかを判定する装置が開示されている。

国際公開第2017/014288号 特開2018-17101号公報

上記の特許文献１の装置では、ひびの検出を行う際、撮影した画像を真上から見た画像に変換してから、ひびの検出処理を行う必要があるという問題があった。このため、余分な処理時間や、記憶領域が必要となってしまっていた。

また、ひびの検出結果は真上から見た画像に対して行われるため、結果を描画して表示する際、道路そのものしか表示することができず、利用者は周りの風景などからどの地点の道路であるかを視認することが困難になってしまっていた。

また、上記の特許文献２の装置では、画像をメッシュに区切って、それぞれのメッシュについてニューラルネットワークを適用することでひびの検出を行っていたために、誤検出が多いという問題があった。路面性状測定車を用いた従来手法では、人間が人手で各メッシュにひびがあるかないかを判定する際、人間は当該メッシュのみに着目するのではなく、写真全体のようすを視認することによって、メッシュ間に跨って伸びるひびを正確に視認できていた。しかし、特許文献２の装置では、先に画像をメッシュに区切り、そのメッシュ単体でひびかどうかの判定をする処理を繰り返すため、ひびがどのように伸びているかという全体の知見を判断に活かすことができず、このためシミや汚れなどをひびと誤認識しやすくなってしまっていた。

本発明は以上の課題を鑑みたものであり、本発明の目的は、前方もしくは後方の道路を撮影した一連の画像を、真上から見た画像に変換することなく、道路の不具合を適切に検出する技術を提供することにある。

本発明の一態様は、道路不具合検出装置であって、前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する検出部と、検出した前記画素領域の面積の合計を用いて、区間ごとの道路の不具合率を算出する集計部と、を有し、前記不具合には、ひび割れおよび穴の少なくとも１つを含む。

本発明の一態様は、道路不具合検出装置であって、前方もしくは後方の道路を撮影した遠近法に基づく画像から、道路の不具合を含む画素領域を検出する検出部と、前記画素領域を示す枠を、前記画像に描画する描画部と、を有し、前記描画部は、重なりがある前記画素領域の重なり部分の枠を除いて描画し、前記不具合には、ひび割れおよび穴の少なくとも１つを含む。

本発明の一態様は、道路不具合検出装置が行う道路不具合検出方法であって、前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する検出ステップと、検出した前記画素領域の面積の合計を用いて、区間毎の道路の不具合率を算出する集計ステップと、を行い、前記不具合には、ひび割れおよび穴の少なくとも１つを含む。

本発明の一態様は、道路不具合検出装置が行う道路不具合検出方法であって、前方もしくは後方の道路を撮影した遠近法に基づく画像から、道路の不具合を含む画素領域を検出する検出ステップと、前記画素領域を示す枠を、前記画像に描画する描画ステップと、を行い、前記描画ステップは、重なりがある前記画素領域の重なり部分の枠を除いて描画し、前記不具合には、ひび割れおよび穴の少なくとも１つを含む。

本発明の一態様は、上記道路不具合検出装置として、コンピュータを機能させる道路不具合検出プログラムである。

本発明によれば、前方もしくは後方の道路を撮影した一連の画像を、真上から見た画像に変換することなく、道路の不具合を適切に検出する技術を提供することができる。

道路不具合検出装置の構成を示す構成図である。 道路不具合検出装置 の動作を示すフローチャートである。 処理対象となる画像を示す図である。 マスク加工を行った画像を示す図である。 検出処理の結果の画像を示す図である。 画素領域の融合のようすを示す図である。 枠描画処理の結果の画像を示す図である。 地図画面の表示内容を示す図である。

本発明の実施の形態の一つを以下に示す。

＜道路不具合検出装置の構成＞
図１は、本実施の形態における道路不具合検出装置の構成を示す。

道路不具合検出装置 100 には、入力として記憶媒体 101 に記憶されたデータを与える。前記データとして、車にビデオカメラを取り付けて、道路の前方を撮影した動画と、前記車にGPSロガー装置を取り付けて、時刻ごとの緯度経度の情報を記録したGPSログと、を道路不具合検出装置 100 への入力として与える。なお、本発明の範囲は、走行する車から道路の前方を撮影した動画に限るものではなく、走行する車から道路の後方を撮影した動画であってもよい。また、入力は毎秒30フレームあるいは毎秒60フレームなどのレートで撮影した動画に限るものではなく、例えば1秒あたり30枚の静止画の集まりを入力として用いても良い。

道路不具合検出装置 100 は、静止画取得部 111、画像前処理部 112、検出部113、 結果選別部 114、検出枠融合部 115、集計部 116、枠描画部 117、および、表示部 118を備える。

静止画取得部111は、道路の不具合を検出するために用いる画像（静止画）を取得する。本実施の形態においては、ビデオカメラを車に搭載して走行しながら撮影した動画のファイルをSDメモリカードなどの記憶媒体101に格納して、当該記憶媒体101を道路不具合検出装置 100に装着して読み込ませる。静止画取得部111は、記憶媒体101から読み込んだ動画（一連の画像）から一定距離間隔ごとに画像を取得する。記憶媒体101に保存されている動画の各フレームに着目した場合、それぞれのフレームを静止画とみなすことができる。なお、一定距離間隔は、以下で説明する本実施の形態では3ｍ間隔とするが、距離間隔は可変であってもよい。

画像前処理部112は、静止画取得部111が取得した画像の一部の領域の画素を、マスクする。

検出部113は、前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する。道路の不具合には、道路舗装における、ひび割れおよび穴の少なくとも１つを含む。本実施形態の検出部 113 は、物体検出ニューラルネットワーク 121 に、パラメータ 122 を与えて構成される。物体検出ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像の中から、予め学習させた物体の１つ以上の存在を検出して、その存在を取り囲む矩形の位置座標を得ることができる手法である。このような手法として、R-CNN、Faster R-CNN、Single Shot MultiBox Detectorなどが公表されており、実装もオープンソース等で利用可能である。

物体検出ニューラルネットワーク121を用いれば、大小さまざまな大きさの候補領域について、予め学習させた物体に似た画像かどうかを自動的かつ高速に判断させることができる。このため、本実施の形態では、事前に固定サイズに分割した部分画像に対して個々にニューラルネットワークを適用して判断させるよりも、判断精度を高めることが可能である。

本実施の形態では、道路不具合検出装置 100 の製造段階において、物体検出ニューラルネットワーク 121 の学習機能に対して道路の不具合（ひび、および、穴）に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データをパラメータ 122 として道路不具合検出装置 100に組み込み、利用する。

なお、学習の際には、道路不具合検出装置 100 に入力として与える動画から切り出した静止画と同様な見た目の静止画を準備し、前記静止画内のひび、あるいは、穴の部分にマーキングを行って、当該情報を学習入力（教師データ）として与える。これにより、まったく別の見た目であるようなひび等の写真を学習入力として与えるのに比べて、より高い精度で判定可能な学習済み物体検出ニューラルネットワークを実現できる。

また、学習の際には、ひびと穴とを同じ分類クラスとして学習させてもよいし、ひびと穴とを別の分類クラスとして学習させてもよい。更にひびに関しては、ひびの様態ごとに異なる別の分類クラスとして学習させてもよい。

更に、ひびや穴以外の、道路の不具合ではない物体を示す画像については、正常な物体を表す別の分類クラスとして学習させてもよい。例えば、マンホールやシミや水濡れや影や施工ジョイントやパッチングやシール補修跡に対しては、これらは必ずしも道路の不具合とは言えないから、それぞれを表す別の分類クラスとして学習させてもよい。

結果選別部 114は、検出部113が検出した画素領域の中から、走行車線領域に存在する画素領域を選択する。また、結果選別部 114は、走行車線領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択してもよい。検出枠融合部 115は、重なりがある画素領域を融合する。

集計部 116は、検出部113が検出した画素領域の面積の合計を用いて、区間毎の道路の不具合率（ひび割れ率）を算出する。また、集計部116は、例えば検出枠融合部 115が融合した後の画素領域の面積を用いるなど、重なりがある画素領域については、重なり部分を除いた画素領域の面積を用いて不具合率を算出してもよい。また、集計部 116は、結果選別部 114が選択した画素領域の面積の合計を用いて、不具合率を算出してもよい。区間は、不具合率の算出単位であって、以下で説明する本実施の形態では20ｍを１区間とする。

枠描画部 117は、画素領域を示す枠を画像に描画し、重なりがある画素領域の重なり部分の枠を除いて描画する。表示部 118は、区間に対応する地図上の道路に、不具合率に応じた図形（例えば線）を設定し、表示する。表示部118は、画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン）を設定した地図を表示し、前記図形が指定されると枠描画部 117により枠が描画された画像を表示する。

＜道路不具合検出装置の動作＞
道路不具合検出装置 100 は、記憶媒体 101 に記憶された動画とGPSログのデータとを入力として、以下に述べる動作を行う。

図２は、道路不具合検出装置 100の動作を示すフローチャートである。

道路不具合検出装置 100 の静止画取得部 111 は、前記GPSログに基づいて前記動画を一定間隔ごとの静止画に切り出す（ステップS11）。例えば1枚目の静止画は前記動画における0m進んだ地点のフレーム、2枚目の静止画は前記動画における約3m進んだ地点のフレーム、3枚目の静止画は前記動画における約6m進んだ地点のフレーム、等となるように静止画群を取得する。静止画取得部 111 は、取得したそれぞれの静止画に対して、前記GPSログに基づいて、その地点の緯度経度の情報も併せて対応づけて取得する。

上記述べたような静止画取得部111の動作は、例えば特許文献２にも同様の処理が開示されており、実施可能である。なお、切り出し間隔は 3m 以外の距離であってもよい。

図３は、静止画取得部111によって得られた、以降の処理対象となる画像の一例を示す。

画像201は、道路の前方を撮影した動画から切り出された静止画である。前方を撮影しているので、遠くのものほど小さく見える、いわゆる遠近法に基づく画像になっている。遠方は、地平線206 までの地面が画角内に見えている。距離としては画角の下端207 から10m以上の遠方まで、地面が見えている。

車道の左端 202 と中央線 203 に挟まれた領域 204 が、舗装のひび割れおよび穴といった不具合を検出する対象となる走行車線である。中央線 203 の右側の領域 205 は、対向車線である。走行車線204の左側には、路肩 220、建物221、信号 222 などの物体が映りこんでいる。

走行車線204および対向車線205を含む道路の舗装には、符号211から符号216までのひび割れが映りこんでいる。このうち、符号211、符号212、符号213、符号214、符号216は、距離としては画角の下端207 から3m以内に存在するひび割れである。このうち符号214 のひび割れは、走行車線204と対向車線205に跨って存在している。また、符号213は、面的にひび割れが進行している亀甲状ひび割れである。

符号 208 は、画角の下端207 から3m進んだ地点を図示する。符号215は、距離としては画角の下端207 から3m以上遠く、かつ、6m以内に存在するひび割れである。画像201 は、遠近法に基づく画像であるため、遠くにあるひび割れほど、画像上は小さい領域に見えている。

次に、道路不具合検出装置 100 の画像前処理部 112 は、前記切り出されて得られた画像に対して、明らかに処理対象としなくてもよい一部の領域をマスクする（ステップS12）。

図４は、マスク加工を行った画像を示す。

本実施の形態では、画像前処理部 112 は、地平線 206 より上の部分を黒塗りに加工する処理を行い、画像301を生成する。動画撮影するカメラの取り付け角度が一定であれば、道路を撮影する画角は固定だから、静止画上の所定の与えられたY座標より上の画素を黒で置き換えればよい。

このようなマスク処理を実施することによって、画像301 においては、画像201 で映りこんでいた建物 221、信号 222 などの物体をマスクすることができる。これによって、無駄な検出処理を省略でき、また、物体検出ニューラルネットワーク121による検出精度を向上できるなどの利点が期待できる。少なくとも地面より上側には道路舗装が無いことは自明だから、このような処理によるデメリットはない。

本実施の形態では上空に相当する部分をマスクしたが、本発明の範囲はこれに限るものではなく、マスクしなくてもよいし、黒以外の色で塗りつぶしてもよいし、画角の下端から3m以上遠くに相当するY座標208より上の画素をマスクしてもよいし、車道の左端 202 より左側の領域をマスクしてもよいし、中央線 203 より右側の対向車線の領域をマスクしてもよい。

次に、道路不具合検出装置 100 の検出部 113 は、前記マスク処理で得られた画像に対して、物体検出ニューラルネットワーク121に基づく検出処理を行い、あらかじめ学習させた物体を検出し、１つ以上の物体が検出された場合には、それぞれの物体を囲む矩形の画素領域の位置座標を得る（ステップS13）。本実施の形態では、あらかじめ学習させた物体は、道路の舗装の不具合を示すひび割れ、穴などである。

図５は、検出処理の結果を示す。

符号 211のひび割れに対しては矩形411が、符号 212のひび割れに対しては矩形 412が、符号 213のひび割れに対しては矩形 413が、符号 214のひび割れに対しては矩形 414が、符号 215のひび割れに対しては矩形 415が、符号 216のひび割れに対しては矩形 416が、それぞれ検出され、各矩形の画素領域の位置座標が得られる。なお、矩形411の画素領域と矩形412の画素領域、および、矩形414の画素領域と矩形416の画素領域は、それぞれ重なりあっている。

次に、道路不具合検出装置 100 の結果選別部 114 は、前記得られた矩形の画素領域のうち、走行車線の領域でかつ画角の下端から3m以内に存在する不具合（ひび割れ）を含む矩形の画素領域のみを選別する（ステップS14）。すなわち、結果選別部 114 は、走行車線の領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択する。

図５に示す例では、矩形415の画素領域は画角の下端から3mより遠い位置にあり、また、矩形416の画素領域は中央線 203 より右側の対向車線の領域にあるから、いずれも除外される。結果選別部 114 は、矩形411 、矩形412、矩形413 および矩形414の画素領域のみを選別する。

なお、本実施の形態では、矩形414 のように、中央線203に一部でも重なっている矩形の画素領域は除外せず、選別対象に含めるものとする。

本実施の形態では、結果選別部 114 が選別処理を行うこととした。本発明の範囲はこれに限るものではなく、画像前処理部 112 によって十分にマスク処理を行えているものとして、結果選別部 114 による処理は割愛してもよい。

次に、道路不具合検出装置 100 の検出枠融合部 115 は、前記選別された矩形の画素領域に対し、互いに重なりのある矩形を検出し、それらの矩形を重ね合わせた図形へと融合する処理を行う（ステップS15）。

図６は、矩形の画素領域の融合のようすを示す。

図示する例では、矩形411の画素領域と矩形412の画素領域 は重なりあっているから、検出枠融合部 115 が当該重なりを検出し、図形 511 へと融合する。例えば、検出枠融合部 115は、１つの画像内で、重なりがある複数の矩形411、412の画素領域を、当該画素領域の枠線を結合（接合）して、１つの図形511の画素領域に融合（統合）する。この結果、融合処理を行わなかった元の矩形も含めて、図形511 、 矩形413 および矩形414 の 3つの図形の画素領域が得られる。

以上示したように、道路不具合検出装置 100 の静止画取得部 111 によって得られた静止画群のそれぞれの静止画に対して、ステップS12からステップS15の処理を行うことにより、各静止画に対応する道路の不具合箇所を示す図形（矩形、融合した図形）の画素領域の集合が処理結果として得られる。

次に、道路不具合検出装置 100 の集計部 116 は、前記得られた処理結果に対して、以下に示す手順（式１）によって図形（画素領域）の面積を集計して、区間ごとのひび割れ率（不具合率）を算出する（ステップS16）。

なお、式１の結果は、ひび割れ率を百分率として表すのであれば、得られた数値を１００倍する。

本実施の形態では１区間を20mとしたときの、各区間ごとのひび割れ率（不具合率）を求めるので、例えば、まず最初の画像から数えて７枚分の集計を行う。路線長に換算すると21mに相当する。これを踏まえ、集計部 116 は、前記７枚の画像のそれぞれに対して、以下の処理を行う。

ひび割れ率は、道路（走行車線の領域）全体の面積に占めるひび割れ等の不具合を含む画素領域の面積の比率として定義される。そのため、各画像に対して、式１の分母は、以下に示す台形の面積である。すなわち、図５の画像301の場合、下底は画角の下端207、上底は符号 208 で示される画角の下端207 から3m進んだ地点、左辺は走行車線の左端 202、右辺は中央線 203の4辺で規定される台形である。なお、この台形の面積は、カメラの画角が固定されていれば、定数である。

式１の分子としては、不具合箇所を示す図形（画素領域）の集合に関して、それぞれの図形の面積の和を用いる。ここで、集計部116は、重なりがある画素領域については、重なり部分を除いた画素領域の面積を用いる。本実施形態では、検出枠融合部 115により、重なりがある複数の矩形411、412の画素領域を融合した図形511の画素領域を用いることとする。ただし、本発明はこれに限定されず、集計部116は、融合前の複数の矩形411、412の画素領域を用いて面積の和を算出し、その後、算出した面積の和から重なり部分を減算してもよい。

集計部 116 は、前記分子を前記分母で割ることで、当該画像１枚に対するひび割れ率を求める。すなわち、集計部 116 は、不具合を含む画素領域の面積の合計を用いて、ひび割れ率を算出する。

集計部 116 は、この処理を前記７枚の画像のそれぞれに対して行い、得られた７つのひび割れ率の平均を求めることで、当該区間に対するひび割れ率を算出する。

集計部 116 は、同様にして、次々に区間ごとのひび割れ率を求める。この際、上記述べたように最初の区間は７枚分の集計を行ったのであるから、次の区間は７枚分、その次の区間は６枚分、の集計をそれぞれ行えば、区間長は最初から数えて２１ｍ、２１ｍ、１８ｍとなるから、合計60mとなり、これを繰り返せば距離の誤差を累積することなく、約20m区間ごとのひび割れ率を次々と算出することができる。なお、本来求めようとする1区間の長さ20mに対して、前記の例では２１ｍもしくは１８ｍの区間長となっており、差異があるが、この差異は区間長にして１割程度と大きくなく、かつ、前記差異が存在する区間に含まれるひび割れが前後いずれの区間に含まれるものとして集計されるかが変わるだけの影響であるため、前記差異が算出結果に与える影響は小さく、このため路面の点検を行う安価で簡易な方法を提供するという本発明の目的に適合する。

なお、本実施の形態では、式１の分母に用いる台形は定数とした。本発明の範囲はこれに限るものではなく、車線自動認識の技術を用いて、それぞれの画像における車線幅を画像認識し、認識結果を用いて台形のサイズを画像ごとに変更してもよい。

また、同様に、車線自動認識による車線幅（車道の左端 202および中央線 203で囲まれる領域）の認識結果に基づいて、画像前処理部 112 が行うマスク処理の範囲を画像ごとに変更してもよいし、結果選別部 114 が行う選別処理の範囲を画像ごとに変更してもよい。

あるいは、前記台形を定数とする際、台形の範囲の設定は、車線幅とほぼ同じにしてもよいし、車線幅より狭く、かつ、左右のわだち部（すなわちタイヤの通過部）よりは広い幅に設定してもよい。また特に、異なる種類の道路を走行して撮影した画像を処理対象とする際に、道路の種類が異なることによって車線幅も異なる場合に、もっとも狭い車線幅に合わせて台形の範囲を設定してもよい。

このことは、道路の舗装の点検においてひび割れ率を算出する安価で簡易な方法を提供するに際して、道路の破損がもっとも急激に進行するわだち部を中心として破損状況を把握し数値指標化する必要があるという要請に基づいて定数設定を行うことに相当する。つまり、当該わだち部を中心とする車線範囲を台形範囲として設定しておき、それに伴って車線のぎりぎり端の部分は解析対象外となったとしても実用上は問題がない。これを踏まえて、車線幅が異なる様々な道路を一括して処理対象とするためにもっとも狭い車線幅に合わせて台形を設定したとしても、車の左右のタイヤの間隔は一定であるため道路の種類の違いに起因して当該台形が左右のわだち部より狭い範囲を示すことは起こり得ず、常に前記要請に合致した適切な処理結果を得られるという利点がある。

次に、道路不具合検出装置 100 の枠描画部 117 は、静止画取得部 111 によって得られた静止画群のそれぞれの画像ごとに、物体検出ニューラルネットワーク121が検出した結果を上書き描画した画像を生成する（ステップS17）。

図７は、枠描画処理の結果を示す。

本実施の形態では、枠描画部 117 は、検出された図形の画素領域を取り囲む枠線を描画する。枠描画部 117 は、重なりがある画素領域については、重なり部分の枠を除いて描画する。例えば、枠描画部 117は、重なりが存在する複数の画素領域を1つの枠で描画する。この例では、枠描画部 117 は、ステップS14で選別された図形511、 矩形413 および矩形414 の3つの図形にそれぞれ対応する、符号 611 、符号 613 および符号 614 の枠線を上書き描画した画像601を生成する。

この際、描画の元になる画像としては、検出部 113 の入力として用いた画像ではなく、静止画取得部 111 によって得られた画像（図３）を対象とする。これによって、画像前処理部 112 がマスク処理を行う前の画像を利用者に提示できるから、地平線 206 より上の画像も視認することができ、利便性が向上する。

道路不具合検出装置 100 の表示部118 は、以上得られた処理結果を、当該道路不具合検出装置 100が備えるディスプレイの画面に表示する（ステップS18）。

図８は、画面の表示内容を示す。

表示部118は、ひび割れ率を算出した各区間に対応する地図上の道路に、ひび割れ率に応じた線81を設定し、表示する。これにより、区間ごとのひび割れ率を可視化することができる。表示部118は、例えば地理情報システムGIS：Geographic Information System）などを用いて、地図上の道路に、ひび割れ率を可視化した線81を設定する。記録媒体101には道路の前方を撮影した動画と、GPSロガー装置により取得した緯度経度の位置情報が記録され、静止画取得部111は、各画像の緯度経度の情報を取得している。表示部118は、緯度経度の情報を用いて各画像の撮影地点および区間を特定し、地図データ上に設定する。なお、地図データは、道路不具合検出装置 100の記憶部（不図示）に保持されている。

図８に示す画面には、地図が表示され、記録媒体101に記録された動画に対応する部分の道路には、進行方向を示す矢印とともに、区間ごとに算出したひび割れ率に応じた線81が設定されている。

例えば、ひび割れ率をレベル分けし、ひび割れ率が０％〜２０％未満の区間をレベル１、ひび割れ率が２０％〜４０％未満の区間をレベル２、ひび割れ率が４０％〜１００％未満の区間をレベル３とする。そして、表示部118は、各レベルに応じた、それぞれ異なる色、線種、太さなどの態様で、地図上の線81を、20m区間ごと設定する。ここでは、レベル１、レベル２、レベル３を、それぞれを青、緑、赤のように色分けして線分で表示する。図示する例では、符号811の線分がレベル２で、符号812の線分がレベル３であり、それ以外の線81はレベル１である。これにより、利用者は、ひび割れの程度が一目で容易に理解できる。

なお、図示する例では、ひび割れ率に応じた線81を、地図上の道路に設定することとしたが、本発明は線に限定されず、線以外の図形であってもよい。

また、表示部118は、地図上で、不具合を含む画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン82）を設定し、表示する。各区間には6ないし7枚の静止画を含むが、表示部118は、その静止画のうちひび割れなどの不具合を示す画素領域が一定数以上（例えば１つ以上）検出された静止画に対応する緯度経度には、異常地点を示すピン82をさらに表示する。なお、表示部118は、不具合の種類（ひび割れ、穴）に応じて、ピン82の形、色、模様などを変えて表示してもよい。

道路不具合検出装置 100 は、マウスやタッチパネルなどのユーザインタフェースを有していてもよく、ピン82がクリックされた場合には、当該地点に対応する検出枠を描画した静止画（図７）を表示してもよい。

上記示した実施の形態では、集計部 116 がそれぞれの画像ごとに図形の画素領域の面積の和を計算する際、式１の台形（撮影時に走行した車線）に完全に含まれている図形だけでなく、一部のみ重なっている図形についても、その図形の面積の全てを和として足しこむこととした。本発明の範囲はこれに限るものではなく、一部のみ重なっている図形は足しこまないこととしてもよいし、台形と重なっている部分の面積を算出してその面積を足しこんでもよい。

あるいは、前記一部のみ重なっている図形について、重なり度合いの判断を行い、重なり度合いの大きな図形のみを足しこむこととしてもよい。この際、前記重なり度合いの判断は、当該図形の面積を分母とし、当該図形と台形との重なり部分の面積を分子とし、その比を重なり度合いとして用いてもよい。また、当該判断の基準として、閾値を例えば０．５とし、前記重なり度合いが前記閾値を上回る前記図形の面積を足しこむこととしてもよい。

本実施の形態では、道路不具合検出装置 100 が表示部 118 を具備する。本発明の範囲はこれに限るものではなく、表示部を別装置としてもよい。また、道路不具合検出装置100が処理した結果のデータを、ネットワークまたは記録媒体を通じて表示装置に入力してもよい。

以上で、本実施の形態について示した。この実施形態の利点について述べる。

本実施の形態では、前方を撮影した結果自然に得られる、遠近法に基づく画像を常に処理対象としてひび割れ率を求めることができており、真上から見た画像を生成する処理が不要である。このため、余分な処理時間や、記憶領域を必要としない。

この際、遠近法に基づく画像に対して、ひび割れ部分を囲む矩形を取得し、その矩形の面積を足しこむことで、式１の分子を計算した。本来であれば、手前にある矩形と、奥にある矩形とでは、画素上で同じ画素数の矩形であったとしても、遠近法に基づく実際の道路の路面に占める割合は異なっており、奥にある矩形ほど実際には大きな面積を占めているはずである。従って、本来であれば、このような矩形を一まとめとして面積を足しこむ処理を行っただけでは、大きな誤差が発生し、得られるひび割れ率は誤った値となりかねないところである。

しかし本実施の形態においては、静止画取得部 111 において3m間隔で画像を切り出し、一枚の画像には10m以上の遠方まで地面が見えているにも関わらずそのうちの手前側3mの不具合の画素領域のみを検出ならびにひび割れ率算出の対象とする限定を施すことによって、上記示した誤差を小さな範囲に留めることができている。

例えば、上記では結果選別部 114 の処理によって、図５の矩形415は画角の下端から3mより遠い位置にあるから除外されるという本実施の形態の動作について述べた。ここで除外された矩形415 に対応する、符号 215のひび割れは、静止画取得部 111 によって得られたこの次の静止画、すなわち、ここからさらに3m前方に進んだ地点での静止画においては、画角の下端207 から3m進んだ地点である符号208 よりも手前側に撮影されることになるから、当該静止画に対する処理を通じて、ひび割れ率の算定に含められることとなり、道路の路線全体としては網羅的に処理を行うことが可能となる。

さらに、そもそもの課題背景である「舗装点検要領」などの文書で要請される精緻な数値でなくてよくレベル１〜３の３段階程度の精度でもよいからより安価で簡易な方法を用いて広汎な道路を点検対象とする必要があるという前提条件も併せて考えると、本実施の形態は、簡素な処理で、要求を満たす十分な結果精度を得ることができるという利点が得られる。

また、検出部 113 が検出した結果を枠描画部 117 が描画して表示部 118 が表示して利用者に提示する際にも、遠近法に基づく撮影画像に対してそのまま処理を行い、その座標どおりに枠を描画すればよいことから、簡素な処理で、利用者が周りの風景などからどの地点の道路であるかを容易に視認することができるという利点が得られる。

以上の処理は、物体検出ニューラルネットワーク 121 を活用してなされており、高速に処理可能である。本実施の形態では、物体検出ニューラルネットワーク121を活用することで、画像の判定を高速に行うことができ、数百kmといった長い距離の道路画像の点検処理でも短時間に完了することができる。

本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した道路不具合検出装置 100には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた道路不具合検出装置 100用のプログラムを実行することにより、道路不具合検出装置 100の各機能が実現される。また、道路不具合検出装置101用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

また、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

100 ：道路不具合検出装置
111 ：静止画取得部
112 ：画像前処理部
113 ：検出部
114 ：結果選別部
115 ：検出枠融合部
116 ：集計部
117 ：枠描画部
118 ：表示部

Claims (13)

1. 道路不具合検出装置であって、
   前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する検出部と、
   検出した前記画素領域の面積の合計を用いて、区間ごとの道路の不具合率を算出する集計部と、を有し、
   前記不具合には、ひび割れおよび穴の少なくとも１つを含むこと
   を特徴とする道路不具合検出装置。
2. 請求項１に記載の道路不具合検出装置であって、
   前記集計部は、重なりがある前記画素領域の重なり部分を除いた前記画素領域の面積を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出装置。
3. 請求項１または２に記載の道路不具合検出装置であって、
   前記画素領域の中から、走行車線領域に存在する画素領域を選択する選別部を有し、
   前記集計部は、選択した前記画素領域の面積の合計を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出装置。
4. 請求項３に記載の道路不具合検出装置であって、
   前記選別部は、前記走行車線領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択すること
   を特徴とする道路不具合検出装置。
5. 請求項１ないし４のいずれかに記載の道路不具合検出装置であって、
   前記画像の一部の領域の画素を、マスクする前処理部を有すること
   を特徴とする道路不具合検出装置。
6. 請求項１ないし５のいずれかに記載の道路不具合検出装置であって、
   前記画素領域を示す枠を前記画像に描画する描画部を有し、
   前記描画部は、重なりがある前記画素領域の重なり部分の枠を除いて描画すること
   を特徴とする道路不具合検出装置。
7. 請求項１ないし６のいずれかに記載の道路不具合検出装置であって、
   前記区間に対応する地図上の道路に、前記不具合率に応じた図形を設定し、表示する表示部を有すること
   を特徴とする道路不具合検出装置。
8. 道路不具合検出装置であって、
   前方もしくは後方の道路を撮影した遠近法に基づく画像から、道路の不具合を含む画素領域を検出する検出部と、
   前記画素領域を示す枠を、前記画像に描画する描画部と、を有し、
   前記描画部は、重なりがある前記画素領域の重なり部分の枠を除いて描画し、
   前記不具合には、ひび割れおよび穴の少なくとも１つを含むこと
   を特徴とする道路不具合検出装置。
9. 請求項８に記載の道路不具合検出装置であって、
   前記画素領域が検出された画像が撮影された位置に、所定の図形を設定した地図を表示する表示部を有し、
   前記表示部は、前記図形が指定されると前記枠が描画された画像を表示すること
   を特徴とする道路不具合検出装置。
10. 請求項１ないし８のいずれかに記載の道路不具合検出装置であって、
    前記検出部は、物体検出ニューラルネットワークを用いて前記画素領域を検出すること
    を特徴とする道路不具合検出装置。
11. 道路不具合検出装置が行う道路不具合検出方法であって、
    前方もしくは後方の道路を撮影した遠近法に基づく一連の画像から、道路の不具合を含む画素領域を検出する検出ステップと、
    検出した前記画素領域の面積の合計を用いて、区間毎の道路の不具合率を算出する集計ステップと、を行い、
    前記不具合には、ひび割れおよび穴の少なくとも１つを含むこと
    を特徴とする道路不具合検出方法。
12. 道路不具合検出装置が行う道路不具合検出方法であって、
    前方もしくは後方の道路を撮影した遠近法に基づく画像から、道路の不具合を含む画素領域を検出する検出ステップと、
    前記画素領域を示す枠を、前記画像に描画する描画ステップと、を行い、
    前記描画ステップは、重なりがある前記画素領域の重なり部分の枠を除いて描画し、
    前記不具合には、ひび割れおよび穴の少なくとも１つを含むこと
    を特徴とする道路不具合検出方法。
13. 請求項１ないし１０のいずれかに記載の道路不具合検出装置として、コンピュータを機能させること、を特徴とする道路不具合検出プログラム。

Images