JP2022012710A - Road damage detection device, road damage detection system, and road damage detection method - Google Patents
Road damage detection device, road damage detection system, and road damage detection method Download PDFInfo
- Publication number
- JP2022012710A JP2022012710A JP2020114737A JP2020114737A JP2022012710A JP 2022012710 A JP2022012710 A JP 2022012710A JP 2020114737 A JP2020114737 A JP 2020114737A JP 2020114737 A JP2020114737 A JP 2020114737A JP 2022012710 A JP2022012710 A JP 2022012710A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- road
- road damage
- damage detection
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
特許法第30条第2項適用申請有り 令和1年10月19日 第28回地理情報システム学会研究発表大会にて公開Patent Law Article 30, Paragraph 2 Application Applicable Reiwa October 19, 1st Published at the 28th Geographic Information Systems Society Research Presentation Conference
本発明は、道路上の損傷箇所を検出する道路損傷検出装置、道路損傷検出システム、道路損傷検出方法及びプログラムに関するものである。 The present invention relates to a road damage detection device, a road damage detection system, a road damage detection method and a program for detecting a damaged part on a road.
従来の自治体等では、道路の維持管理をするために日常から専用車両を用いて職員自ら道路パトロールを実施し、道路上の損傷箇所を目視で発見する作業を行っている。近年、高齢化に伴う技術職員不足や道路の経年劣化や老朽化の急速な進展により、道路上の損傷箇所を発見する作業の需要に対応できていない。そこで道路舗装診断の簡易な劣化診断を行う取り組みとして、車両のプローブデータを用いた手法がある。特許文献1には、車両が接地する路面に対して垂直方向の加速度及びピッチ軸に関する加速度を用いて車両が走行する路面のプロファイルを推定することが記載されている。
In conventional local governments, etc., in order to maintain and manage roads, employees themselves carry out road patrols using dedicated vehicles on a daily basis, and work to visually detect damaged parts on the road. In recent years, due to the shortage of technical staff due to aging, the aging of roads, and the rapid progress of aging, it has not been possible to meet the demand for work to find damaged parts on roads. Therefore, as an effort to perform a simple deterioration diagnosis of road pavement diagnosis, there is a method using vehicle probe data.
しかしながら、特許文献1に記載の発明を含め従来の道路上の損傷箇所を発見する作業では、道路上の損傷箇所を発見する作業のための専用車両を対象の地域に定期的に走行させる必要がある。さらに幹線道路だけでなく生活道路も隈なく専用車両を走行させることは困難であり、道路上の損傷箇所を早期に発見できない場合がある。
However, in the conventional work of finding a damaged part on a road including the invention described in
そこで、本発明の目的は、道路上の損傷箇所を効率的かつ網羅的に把握することである。 Therefore, an object of the present invention is to efficiently and comprehensively grasp the damaged portion on the road.
本発明の道路損傷検出装置は、道路を走行する集配車両に搭載されている、撮像部を備えた車載端末で撮像された画像データを取得する取得手段と、前記取得手段により取得した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、を有することを特徴とする。 The road damage detection device of the present invention has an acquisition means for acquiring image data captured by an in-vehicle terminal provided with an image pickup unit mounted on a collection / delivery vehicle traveling on a road, and the image data acquired by the acquisition means. It is characterized by having a detection means for detecting a damaged part on the road based on the above.
本発明によれば、道路上の損傷箇所を効率的かつ網羅的に把握することができる。 According to the present invention, it is possible to efficiently and comprehensively grasp the damaged portion on the road.
以下、添付図面を参照して、本発明の第1の実施形態について説明する。 Hereinafter, the first embodiment of the present invention will be described with reference to the accompanying drawings.
<第1の実施形態>
図1は、道路損傷検出システム1の全体構成の一例を示す図である。
道路損傷検出システム1は、道路上の損傷箇所を検出するシステムである。道路とは、アスファルト等で舗装された道路である。以下、第1の実施形態では、道路上の損傷箇所として、ポットホール(穴ぼこ)を検出する場合について説明する。
<First Embodiment>
FIG. 1 is a diagram showing an example of the overall configuration of the road
The road
道路損傷検出システム1は、車載端末101a,101bと道路損傷検出装置102とを含む。車載端末101a,101bはそれぞれ、集配車両100a,100bの車内の前方に搭載されている。集配車両100a,100bは、荷物等の集荷や配達を行う業者がサービスを提供するために用いられる車両である。集配車両100a,100bのドライバーは、荷物等を集配する日々の業務を行う。集配車両100a,100bには、車両を識別するための車両番号が付与されている。車両番号は、例えばアルファベット1文字と数字4桁の組み合わせで表される。以下、集配車両100a,100bは同じ構成であるから、集配車両100として説明する。
The road
車載端末101a,101bと道路損傷検出装置102は、ネットワーク103を介して互いに通信可能である。道路損傷検出装置102は、集配車両100a,100bが道路を走行する際に得られたデータを、車載端末101a,101bからネットワーク103を介して受信する。図1の例では、道路損傷検出システム1が、2台の車載端末101a,101bと1台の道路損傷検出装置102により構成されているが、車載端末の台数及び道路損傷検出装置の台数は増減しても構わない。また別の例として、車載端末で得られたデータをSDカード等の記録媒体に記録し、道路損傷検出装置102が当該記録媒体からデータを取得してもよい。
The in-
図2は、道路損傷検出システム1のハードウェア構成の一例を示す図である。以下、車載端末101a,101bは同じ構成であるから、車載端末101として説明する。
まず、車載端末101のハードウェア構成について説明する。車載端末101は、外向きカメラ201、GNSSセンサ202、加速度センサ203、制御部204、記憶部205、通信部206、及びこれらを接続するバス200を有する。以下各構成について説明する。
FIG. 2 is a diagram showing an example of the hardware configuration of the road
First, the hardware configuration of the in-
外向きカメラ201は、例えばwebカメラであり、撮像レンズを外向きにして設置されており、自車両が道路を走行する際の路面の状態を連続的に撮像する。例えば、1秒間に15枚の画像データを撮像する。外向きカメラ201は、画像データと撮影日時を制御部204に出力する。外向きカメラ201は撮像部の一例である。
The outward-facing
GNSS(Global Navigation Satellite System)センサ202は、例えばGPS(Global Positioning System)センサであり、自車両が道路を走行する際の位置情報を連続的に計測する。GNSSセンサ202は、計測した位置情報とその日時を制御部204に出力する。なおGNSSセンサ202は、外向きカメラ201で画像データが撮像されるタイミングと同期して位置情報を計測してもよい。
The GNSS (Global Navigation Satellite System)
加速度センサ203は、車両の振動を検出するセンサであり、自車両が道路を走行する際の加速度情報を連続的に計測する。なお加速度センサ203として、例えばXYZ3軸方向の角加速度を計測するジャイロセンサを用いてもよい。加速度センサ203は、計測した加速度情報とその日時を制御部204に出力する。なお、第1の実施形態では車載端末101が加速度センサ203を有していなくてもよい。加速度センサ203は、加速度計測部の一例である。
The
制御部204は、CPU等であって、車載端末101の全体を制御する。制御部204が、記憶部205等に記憶されているプログラムに基づき処理を実行することによって、車載端末101の各種の機能や、後述するフローチャートの処理が実現される。
記憶部205は、RAM、ROM、HDD等であって、プログラムを記憶したり、制御部204がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶部205は、制御部204の制御により、外向きカメラ201、GNSSセンサ202及び加速度センサ203のそれぞれから出力された各データを記憶する。記憶部205には、画像データ、位置情報、及び加速度情報が、それぞれ日時(時間情報)と対応付けられた時系列データとして記憶される。
The
The
通信部206は、通信インタフェース等であって、ネットワーク103を介して他の装置との間で各種のデータを送受信する。通信部206は、制御部204の制御により、記憶部205に記憶される画像データ、位置情報、及び加速度情報を、道路損傷検出装置102へ送信する。なお制御部204が上記のデータをSDカード等の記録媒体に記憶して、当該記録媒体を介して道路損傷検出装置102との間でデータを直接やり取りする場合には、通信部206は不要である。
The
以上のようにして、外向きカメラ201、GNSSセンサ202及び加速度センサ203のそれぞれから出力された各データは、一旦記憶部205に記憶された後に、通信部206を介して道路損傷検出装置102へ送信される。このような構成に代えて、外向きカメラ201、GNSSセンサ202及び加速度センサ203のそれぞれが、出力される各データをリアルタイムで道路損傷検出装置102へ送信してもよい。
As described above, each data output from each of the
次に、道路損傷検出装置102のハードウェア構成について説明する。道路損傷検出装置102は、道路管理者等が道路上の損傷箇所を管理するために用いられるPC(パーソナルコンピュータ)他サーバ装置等であって、表示部207、入力部208、通信部209、制御部210、記憶部211、及びこれらを接続するバス212を有する。以下各構成について説明する。
表示部207は、液晶ディスプレイ等であり、制御部210の制御により、画像データ等を表示する。
入力部208は、マウス、キーボード等であり、ユーザからの入力を受け付ける。入力部208は、入力されたデータを制御部210へ出力する。なお表示部207及び入力部208は入力機能と表示機能とを兼ね備えたタッチパネル等であってもよい。
通信部209は、通信インタフェース等であり、ネットワーク103を介して他の装置との間で各種のデータを送受信する。通信部209は、制御部210の制御により、車載端末101から画像データ、位置情報、及び加速度情報を受信する。
Next, the hardware configuration of the road
The
The
The
制御部210は、道路損傷検出装置102の全体を制御する。制御部210が記憶部211等に記憶されているプログラムに基づき処理を実行することによって、道路損傷検出装置102の各種の機能や、後述するフローチャートの処理が実現される。
記憶部211は、RAM、ROM、HDD等であって、プログラムを記憶したり、制御部210がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
The
The
図3は、道路損傷システム1の機能構成の一例を示す図である。
まず、車載端末101の機能構成について説明する。車載端末101は、車載端末101の制御部204が車載端末101の記憶部205等に記憶されているプログラムを実行することにより、データ送信部301として機能する。車載端末101の制御部204は、送信手段の一例である。
データ送信部301は、集配車両100の走行時に得られたデータを道路損傷検出装置102へ提供する。第1の実施形態において、データ送信部301は、外向きカメラ201で撮像された画像データ、及びGNSSセンサ202で計測された位置情報を、通信部206を用いて道路損傷検出装置102へ送信する。またデータ送信部301は、車載端末101を搭載する集配車両100の車両番号を道路損傷検出装置102へ送信する。
FIG. 3 is a diagram showing an example of the functional configuration of the
First, the functional configuration of the in-
The data transmission unit 301 provides the data obtained when the collection / delivery vehicle 100 is traveling to the road
次に、道路損傷検出装置102の機能構成について説明する。道路損傷検出装置102は、道路損傷検出装置102の制御部210が道路損傷検出装置102の記憶部211等に記憶されているプログラムを実行することにより、データ取得部302、検出部303、学習部304及び表示制御部305として機能する。以下、各構成部について詳細に説明する。道路損傷検出装置102の制御部210は、取得手段、受信手段、検出手段、学習手段、及び表示制御手段の一例である。
Next, the functional configuration of the road
データ取得部302は、車載端末101から提供されるデータを取得する。第1の実施形態において、データ取得部302は、通信部209を用いて車載端末101から画像データ、位置情報及び車両番号を受信する。画像データの撮影日時と位置情報の計測日時とを同期させることにより画像データと位置情報とが対応付けられる。またデータ取得部302は、受信した画像データ及び位置情報を車両番号ごとに記憶部211に記憶する。
The
検出部303は、データ取得部302により取得した画像データに基づいて道路上の損傷箇所を検出する。第1の実施形態において、検出部303は、記憶部211から画像データを読み出して、読み出した画像データについて人工知能技術を用いた解析を行い、画像データ内のポットホールの特徴がある領域をポットホール領域として検出する。ポットホールには、色が周囲より暗い、形が円形状をしている等の特徴がある。
The
具体的には、検出部303は、学習部304により学習された学習モデルに画像データを入力して得られる出力値に基づいて、画像データ内のポットホール領域を検出する。この出力値は、ポットホールらしさを表す尤度であり、0~1の値で表される。ポットホールであると推定されれば1に近い値になる。検出部303は、画像データ内の各領域について算出された出力値が所定値以上であるか否かを判定し、出力値が所定値以上であると判定した場合に、当該領域をポットホール領域として検出する。その後、検出部303は、ポットホール領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部211に記憶する。
Specifically, the
学習部304は、機械学習アルゴリズムに従った学習モデルに対して、教師データを用いて学習を行う。具体的にはまず、実際にポットホールが映り込んだ画像(以下、ポットホール画像という)を収集し、収集したポットホール画像のポットホールの領域に学習を行う際の目印となる枠を人手で付与する作業を行う。この枠が付与されたポットホール画像が正解の教師データとなる。学習部304は、このような教師データを用いて反復学習を行うことにより、ポットホールを検出可能な学習モデルを生成する。なお学習の回数を重ねるにつれて正答率が高くなり、誤差が減少するが、最適な学習の回数はケースにより様々である。また上記の機械学習アルゴリズムとしては、SVM(Support Vector Machine)や、ニューラルネットワーク等、種々のものが採用可能である。
The
また、第1の実施形態において、学習部304は、ポットホール以外の領域が指定された画像を不正解の教師データとして、更に学習を行う。ポットホール以外の領域としては、例えば、マンホールやひび割れである。マンホールやひび割れは、道路上に数多く存在するが、その特徴がポットホールと似ているため、誤検出されてしまうことが多い。そこでマンホールやひび割れを検出対象ではないとして学習を行うことで、誤検出を大幅に削減させることができる。学習部304は、以上のようにして学習された学習モデルを記憶部211に記憶する。なお学習部304は、道路損傷検出システム1を稼働する前に学習を行う。また学習部304は、道路損傷検出システム1の稼働後に、検出部303によりポットホール領域が検出された画像データを用いて、更に学習を行って学習モデルの更新を行ってもよい。
Further, in the first embodiment, the
表示制御部305は、検出部303により道路上の損傷箇所が検出された画像データを、当該画像データに対応付けられる位置情報と共に表示部207に表示する。詳細については、図8~図10で後述する。
The display control unit 305 displays the image data in which the damaged portion on the road is detected by the
図4は、第1の実施形態に係る道路損傷検出システム1によって実行される処理(道路損傷検出処理)の流れを示すフローチャートである。図4のフローチャートに示す処理は、車載端末101側では、車載端末101の記憶部205に記憶されたプログラムを車載端末101の制御部204が実行することで実現する。また道路損傷検出装置102側では、道路損傷検出装置102の記憶部211に記憶されたプログラムを道路損傷検出装置102の制御部210が実行することで実現する。
FIG. 4 is a flowchart showing a flow of processing (road damage detection processing) executed by the road
図4のフローチャートに示す処理の実行前に、車載端末101が搭載された集配車両100を準備する。この集配車両100のドライバーが日々の業務を行うことにより、集配車両100が道路を走行して、車載端末101で撮像された画像データが収集される。即ち、道路上の損傷箇所を発見する作業のための専用車両を走行させる必要がないため、路面の状態が撮像された画像データを効率的に収集することができる。また集配車両100の走行速度が比較的遅いため、ポットホール等の道路上の損傷箇所の検出に適した鮮明な画像データを収集することができる。更に集配車両100は、日々の業務で幹線道路だけでなく生活道路についても頻繁に走行しており、対象エリアに対する走行網羅性が高い。従って、対象エリアに存在するポットホール等の道路上の損傷箇所を網羅的に把握することが可能になる。
Before executing the process shown in the flowchart of FIG. 4, the collection / delivery vehicle 100 on which the in-
集配車両100のドライバーがその日の業務を終了すると、ステップS401で、車載端末101の制御部204が、記憶部205からその日に収集された画像データ及び位置情報を読み出して、集配車両100の車両番号と共に送信する。道路損傷検出装置102の制御部210が、車載端末101から画像データ、位置情報及び車両番号を受信する。道路損傷検出装置102の制御部210が、受信した画像データ及び位置情報を車両番号ごとに記憶部211に記憶する。
When the driver of the pickup / delivery vehicle 100 finishes the work of the day, in step S401, the
次にステップS402で、道路損傷検出装置102の制御部210が、記憶部211から所定期間に撮像された一連の画像データを読み出して、読み出した画像データに対してポットホールを検出する範囲(検出範囲)を設定する。図5は、検出範囲の一例を示す図である。図5に示すように、制御部210は、画像データ501の路面部分を限定するように検出範囲502を設定する。図5の検出範囲502は、画像データ501の中央から下側の領域であって、中央を狭く、下側を広くした台形状である。これによりステップS404で、路面以外の場所にある領域が誤検出されるのを抑制することができる。
Next, in step S402, the
次にステップS403で、道路損傷検出装置102の制御部210は、所定のサイズの検出枠を設定する。検出枠のサイズは、ポットホールとして想定され得る大きさの範囲で調整される。図6は、検出枠の一例を示す図である。図6に示すように、制御部210は、画像データ601に対して、検出枠611や検出枠612よりも小さいサイズの、検出枠613や検出枠614を設定する。これによりステップS404で、フロントガラスによる反射が映り込んだ部分、カーブミラーの影部分等のポットホールとは無関係な領域が誤検出されるのを抑制することができる。
Next, in step S403, the
次にステップS404で、道路損傷検出装置102の制御部210は、ステップS402で読み出した一連の画像データから、ポットホール領域を検出する。まず、制御部210は、学習部304により学習された学習モデルに画像データを順次入力して出力値を算出する。この出力値は、ステップS402で設定された検出範囲内の各領域について算出される。そして、制御部210は、出力値が所定値以上である領域をポットホール領域の候補として検出する。この場合に制御部210は、ステップS403で設定された検出枠よりも大きいサイズのポットホール領域の候補を除外する。その後、制御部210は、除外されずに残ったポットホール領域の候補を最終的なポットホール領域として、ポットホール領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部211に記憶する。
Next, in step S404, the
次にステップS405で、道路損傷検出装置102の制御部210は、ステップS402で読み出した一連の画像データから、ステップS404でポットホール領域が検出された画像データを抽出する。この場合に制御部210は、ポットホール領域が検出されていない画像データを記憶部211から削除する。
次にステップS406で、道路損傷検出装置102の制御部210は、ステップS405で抽出された画像データから、同一のポットホールが検出されている画像データを更に抽出する。具体的には、ポットホール領域が検出された画像データが所定時間以上連続している場合には、同一のポットホールが検出されているものとする。ここでいう所定時間は、例えば0.2秒である。そして制御部210は、同一のポットホールが検出されている画像データの一部を記憶部211から削除する。
Next, in step S405, the
Next, in step S406, the
図7は、同一のポットホールが検出されている画像データの一部を削除する処理について説明する図である。図7の上段には、経過時間に伴って移り変わる路面を撮像した画像データを模式的に表す。図7の上段に示す連続する画像データ701~707には、ポットホール700が映り込んでいる。制御部210は、画像データ701~707のうち、ポットホール700が画像データの路面部分の中央に出現する画像データを除いて、その他の画像データを削除する。図7の下段には、削除後の画像データを示す。図7に示す例では、画像データ704を除く、画像データ701~703,705~707の画像データが削除されている。これにより、ステップS407で画像データを表示する際に、同一のポットホールに関する画像データを重複して表示させないようにすることが可能になる。また、表示対象となる画像データは、ポットホールが路面部分の中央に出現するように調整されている。そのため、1枚の画像データでポットホールとその周辺の路面状況を確認することが可能になる。
FIG. 7 is a diagram illustrating a process of deleting a part of image data in which the same pothole is detected. The upper part of FIG. 7 schematically shows image data obtained by capturing an image of a road surface that changes with the elapsed time. The
次にステップS407で、道路損傷検出装置102の制御部210は、ステップS405で抽出された画像データのうち、ステップS406で削除されずに残った画像データを、表示部207に表示する。そして本フローチャートの処理が終了する。以下、表示部207に表示される表示画面について、図8~図10を参照して説明する。
Next, in step S407, the
ユーザの操作により、道路損傷検出装置102の表示制御部305は、表示部207にポットホール一覧画面を表示する。図8は、ポットホール一覧画面801である。撮影日802には、入力部208により入力された撮影開始日及び撮影終了日が表示される。車両番号803には、車両番号がプルダウン表示される。集配車両100は車両ごとに走行するエリアが決められているため、車両番号を選択することにより、所望のエリアで検出されたポットホールを一覧表示させることが可能である。ステータス804には、一覧表示させる画像データのステータスが選択可能なラジオボタンが表示される。ステータスは、画像データを確認したユーザがポットホールか否かを判断した結果である。ステータスは、画像データに対応付けて記憶されており、初期状態で未判断になっているが、画像データを確認したユーザがポットホールステータス編集画面(図9)で、ポットホール又は非ポットホールに変更することができる。
By the user's operation, the display control unit 305 of the road
検索ボタン805が押下されると、撮影日802、車両番号803、及びステータス804で入力、又は選択された検索条件に従って画像データが検索されて、検索結果が表示エリア806に一覧表示される。表示エリア806には、検索条件に該当するレコードが一覧表示される。このレコードは、画像データの撮影日時、車両番号、ステータスを含む。また各レコードに対応して表示される編集ボタン807が押下されると、表示制御部305は、ポットホールステータス編集画面(図9)を表示部207に表示する。また各レコードに対応して表示される地図ボタン808が押下されると、表示制御部305は、ポットホールステータス地図表示画面(図10)を表示部207に表示する。
When the search button 805 is pressed, the image data is searched according to the search conditions input or selected by the shooting date 802, the vehicle number 803, and the status 804, and the search results are listed in the
図9は、ポットホールステータス編集画面901である。ポットホールステータス編集画面901は、ポットホールが検出された画像データを1枚ずつ表示して、ステータスの編集を行うための画面である。画像データ902は、ポットホール領域が検出された画像データである。この画像データには、ポットホール領域に合わせて枠903が表示される。また、画像データ902の撮影日時904、画像データ902を撮像する際に用いられた車両番号905、経度緯度906、及びステータス907が表示される。
FIG. 9 is a pothole
経度緯度906は、画像データに対応付けられる位置情報である。経度緯度906の地図ボタン910が押下されると、表示制御部305は、ポットホールステータス地図表示画面(図10)を表示部207に表示する。
ステータス907のプルダウン表示911では、画像データ902を確認したユーザにより、ポットホール又は非ポットホールが選択される。ステータス907の確定ボタン912が押下されると、表示制御部305は、選択された結果を確定させて記憶部211に保存する。
ボタン908は、撮影日時の昇順で1つ前の画像データのポットホールステータス編集画面901を表示する場合に用いられる。ボタン909は、撮影日時の昇順で1つ後の画像データのポットホールステータス編集画面901を表示する場合に用いられる。ボダン913は、ポットホール一覧画面801を表示する場合に用いられる。
The longitude /
In the pull-
The
図10は、ポットホール地図表示画面1001である。ポットホール地図表示画面1001には、集配車両100の走行したエリアの地図が表示されており、ポットホールが検出された位置情報が、ピン1002a,1002b,1002cで表示される。ピン1002a,1002b,1002cは、登録されているステータスに応じて表示態様が変化する。例えば、未診断の場合はグレー系で表示され、非ポットホールの場合は青系で表示され、ポットホールの場合は赤系で表示される。いずれかのピン(図10ではピン1002a)が選択されると、表示制御部305は、ポットホール領域が検出された画像データに関する詳細情報1003をポップアップ表示する。詳細情報1003は、例えば撮影日時1004、車両番号1005、ステータス1006及びポットホールが検出された画像データ1007の縮小画像を含む。
FIG. 10 is a pothole
以上のような、第1の実施形態の道路損傷検出システム1によれば、走行網羅性の高い集配車両100で収集された画像データを用いて、道路上の損傷箇所を自動的に検出することができる。これにより、対象エリアに存在する道路上の損傷箇所を効率的かつ網羅的に把握することができる。また、道路上の損傷箇所として、特にポットホールを精度よく検出することができる。
According to the road
<第2の実施形態>
以下、図11を参照して、第2の実施形態に係る道路損傷検出システム1について説明する。上述の第1の実施形態では、道路上の損傷箇所として、ポットホールを検出する場合について説明した。道路上の損傷箇所として、ポットホールの他に、路面沈下がある。ここでいう路面沈下は、道路の横断方向又は縦断方向の浅い凹みであり、ポットホールのようにアスファルトの剥離、崩壊を伴わない。そのため、凹み部分にも日光が当たるため暗い部分ができにくく、日中は発見しづらい。
<Second embodiment>
Hereinafter, the road
第2の実施形態では、道路上の損傷箇所として、路面沈下を検出する場合について説明する。路面沈下は、陥没又は大きなポットホールに発展する可能性が高い。従って、路面沈下を発見することは、道路の予防保全の観点で特に有用である。第2の実施形態では、集配車両100の走行時に得られたデータのうち、夜間に撮像された画像データを用いる。夜間に撮像された画像データは、暗い路面に対して斜めにヘッドライトが照射されるため、凹み部分とその周辺部分との間に陰影が生じ、路面沈下が視認しやすい。第2の実施形態のハードウェア構成及び機能構成は、第1の実施形態に係る道路損傷検出システム1と同様である。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。以下、第1の実施形態との相違点を中心に説明する。
In the second embodiment, a case where road surface subsidence is detected as a damaged part on the road will be described. Land subsidence is likely to develop into a depression or a large pothole. Therefore, detecting road surface subsidence is particularly useful from the viewpoint of preventive maintenance of roads. In the second embodiment, among the data obtained during the traveling of the collection / delivery vehicle 100, the image data captured at night is used. Since the headlights of the image data captured at night are applied diagonally to the dark road surface, a shadow is generated between the recessed portion and the peripheral portion thereof, and the road surface subsidence is easily visible. The hardware configuration and the functional configuration of the second embodiment are the same as those of the road
第2の実施形態において、車載端末101のデータ送信部301は、画像データ、位置情報及び車両番号の他に、加速度センサ203で計測された加速度情報を、道路損傷検出装置102へ送信する。道路損傷検出装置102のデータ取得部302は、車載端末101から画像データ、位置情報、加速度情報及び車両番号を受信する。画像データの撮影日時と加速度情報の計測日時とを同期させることにより画像データと加速度情報とが対応付けられる。またデータ取得部302は、受信した加速度情報を他のデータと共に記憶部211に記憶する。
In the second embodiment, the data transmission unit 301 of the vehicle-mounted
第2の実施形態において、検出部303は、画像データの撮影日時を参照して夜間に撮像された画像データを抽出する。ここでいう夜間は、日没から翌朝の日の出までの時間であり、季節により異なる。そして検出部303は、抽出した画像データと画像データが撮像された際の加速度情報の組み合わせについて人工知能技術を用いた解析を行い、画像データ内の路面沈下の特徴がある領域を沈下領域として検出する。具体的には、検出部303は、学習部304により学習された学習モデルに、画像データ及び画像データが撮像された際の加速度情報を入力して得られる出力値に基づいて、画像データ内の沈下領域を検出する。その後、検出部303は、沈下領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部211に記憶する。学習部304は、路面沈下の領域が指定された画像や、路面沈下のある道路を走行する際に得られる加速度情報を正解の教師データとして、学習を行う。なお、学習部304は、路面沈下以外の領域が指定された画像や、路面沈下のない道路を走行する際に得られる加速度情報を不正解の教師データとして、更に学習を行ってもよい。
In the second embodiment, the
図11は、第2の実施形態に係る道路損傷検出システム1によって実行される処理(道路損傷検出処理)を示すフローチャートである。図11のフローチャートに示す処理は、車載端末101側では、車載端末101の記憶部205に記憶されたプログラムを車載端末101の制御部204が実行することで実現する。また道路損傷検出装置102側では、道路損傷検出装置102の記憶部211に記憶されたプログラムを道路損傷検出装置102の制御部210が実行することで実現する。以下、図4のフローチャートと相違する部分を中心に説明する。
FIG. 11 is a flowchart showing a process (road damage detection process) executed by the road
図11のフローチャートに示す処理の実行前に、第1の実施形態と同様に、集配車両100のドライバーが日々の業務を行うことにより、集配車両100が道路を走行して、車載端末101で撮像された画像データが収集される。第2の実施形態では、夜間に撮像された画像データが必要となるが、集配車両100は日没後も業務を続けていることが多い。そのため、夜間の画像データの収集も効率的に行うことができる。
Prior to the execution of the process shown in the flowchart of FIG. 11, as in the first embodiment, the driver of the collection / delivery vehicle 100 performs daily work, so that the collection / delivery vehicle 100 travels on the road and is imaged by the in-
ステップS1101で、車載端末101の制御部204が、記憶部205からその日に収集された画像データ、位置情報及び加速度情報を読み出して、集配車両100の車両番号と共に送信する。道路損傷検出装置102の制御部210が、車載端末101から画像データ、位置情報及び加速度情報を取得し、車両番号ごとに記憶部211に記憶する。
In step S1101, the
次にステップS1102で、道路損傷検出装置102の制御部210が、記憶部211からに記憶される所定期間に撮像された一連の画像データのうち、夜間に撮像された画像データを抽出して読み出す。
次にステップS1103で、道路損傷検出装置102の制御部210が、ステップS1102で抽出された画像データに対して路面沈下を検出する範囲(検出範囲)を設定する。設定方法については、図4のステップS402と同様である。
次にステップS1104で、道路損傷検出装置102の制御部210が、所定のサイズの検出枠を設定する。検出枠のサイズは、路面沈下として想定され得る大きさの範囲で調整される。
Next, in step S1102, the
Next, in step S1103, the
Next, in step S1104, the
次にステップS1105で、道路損傷検出装置102の制御部210は、ステップS1102で読み出した一連の画像データから沈下領域を検出する。まず、制御部210は、学習部304により学習された学習モデルに画像データ及び画像データが撮像された際の加速度情報を順次入力して出力値を算出する。そして、制御部210は、出力値が所定値以上である領域を沈下領域の候補として検出する。この場合に、制御部210は、ステップS1104で設定された検出枠よりも大きいサイズの沈下領域の候補を除外する。その後、検出部303は、除外されずに残った沈下領域の候補を最終的な沈下領域として、沈下領域の位置及び大きさを表す情報を、画像データと対応付けて記憶部211に記憶する。
Next, in step S1105, the
次にステップS1106で、道路損傷検出装置102の制御部210は、ステップS1102で読み出した一連の画像データから、ステップS1105で沈下領域が検出された画像データを抽出する。
次にステップS1107で、道路損傷検出装置102の制御部210は、ステップS1106で抽出された画像データから、同一の路面沈下が検出されている画像データの一部を削除する。削除する方法については、図4のステップS406と同様である。
次にステップS1108で、道路損傷検出装置102の制御部210は、ステップS1106で抽出された画像データのうち、ステップS1107で削除されずに残った画像データを、表示部207に表示する。そして本フローチャートの処理が終了する。
Next, in step S1106, the
Next, in step S1107, the
Next, in step S1108, the
以上のような、第2の実施形態の道路損傷検出システム1によれば、第1の実施形態の道路損傷検出システム1と同様に、走行網羅性の高い集配車両100で収集された画像データを用いて、道路上の損傷箇所を自動的に検出することができる。これにより、対象エリアに存在する道路上の損傷箇所を効率的かつ網羅的に把握することができる。また、夜間の走行時に得られた画像データを用いることにより、道路上の損傷箇所として、特に路面沈下を精度よく検出することができる。
According to the road
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 Although the present invention has been described above with the embodiments, the above embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention is limitedly interpreted by these. It shouldn't be. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
上述の各実施形態では、第1の実施形態では、加速度センサ203で計測された加速度情報を用いずにポットホール領域の検出を行う構成であるが、このような構成に代えて、加速度情報を用いて検出を行う構成であってもよい。また第2の実施形態では、加速度情報を用いて路面沈下の検出を構成であるが、このような構成に代えて、加速度情報を用いずに検出を行う構成であってもよい。
In each of the above-described embodiments, in the first embodiment, the pothole region is detected without using the acceleration information measured by the
1:道路損傷検出システム
100(100a,100b):集配車両
101(101a,101b):車載端末
102:道路損傷検出装置
201:外向きカメラ
202:GNSSセンサ
203:加速度センサ
207:道路損傷検出装置の表示部
208:道路損傷検出装置の入力部
209:道路損傷検出装置の通信部
210:道路損傷検出装置の制御部
211:道路損傷検出装置の記憶部
301:データ送信部
302:データ取得部
303:検出部
304:学習部
305:表示制御部
1: Road damage detection system 100 (100a, 100b): Pick-up and delivery vehicle 101 (101a, 101b): In-vehicle terminal 102: Road damage detection device 201: Outward camera 202: GNSS sensor 203: Acceleration sensor 207: Road damage detection device Display unit 208: Road damage detection device input unit 209: Road damage detection device communication unit 210: Road damage detection device control unit 211: Road damage detection device storage unit 301: Data transmission unit 302: Data acquisition unit 303: Detection unit 304: Learning unit 305: Display control unit
Claims (16)
前記取得手段により取得した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、
を有することを特徴とする道路損傷検出装置。 An acquisition means for acquiring image data captured by an in-vehicle terminal equipped with an image pickup unit, which is mounted on a collection / delivery vehicle traveling on a road.
A detection means for detecting a damaged part on a road based on the image data acquired by the acquisition means, and a detection means.
A road damage detection device characterized by having.
前記検出手段は、同一の前記損傷箇所が検出されている前記画像データのうち、一部の前記画像データを除外することを特徴とする請求項1乃至6何れか1項に記載の道路損傷検出装置。 The acquisition means acquires the image data continuously captured, and obtains the image data.
The road damage detection according to any one of claims 1 to 6, wherein the detection means excludes a part of the image data from the image data in which the same damaged portion is detected. Device.
前記検出手段は、前記時間情報を用いて夜間に撮像された前記画像データを抽出し、抽出した前記画像データに基づいて、前記損傷箇所を検出することを特徴とする請求項1乃至8何れか1項に記載の道路損傷検出装置。 The acquisition means further acquires time information when the image data is captured, and obtains the time information.
Any of claims 1 to 8, wherein the detection means extracts the image data captured at night using the time information, and detects the damaged portion based on the extracted image data. The road damage detection device according to item 1.
前記取得手段は、前記加速度情報をさらに取得し、
前記検出手段は、抽出した前記画像データと前記画像データが撮像された際の前記加速度情報との組み合わせに基づいて、前記損傷箇所を検出することを特徴とする請求項9に記載の道路損傷検出装置。 The in-vehicle terminal has an acceleration measuring unit that measures acceleration information.
The acquisition means further acquires the acceleration information and obtains the acceleration information.
The road damage detection according to claim 9, wherein the detection means detects the damaged portion based on a combination of the extracted image data and the acceleration information when the image data is captured. Device.
前記検出手段により前記損傷箇所が検出された前記画像データを、前記位置情報と対応付けて表示する表示制御手段をさらに有することを特徴とする請求項1乃至10何れか1項に記載の道路損傷検出装置。 The acquisition means further acquires the position information when the image data is captured, and further acquires the position information.
The road damage according to any one of claims 1 to 10, further comprising a display control means for displaying the image data in which the damaged portion is detected by the detecting means in association with the position information. Detection device.
前記表示制御手段は、前記車両番号ごとに前記画像データを表示することを特徴とする請求項11に記載の道路損傷検出装置。 The acquisition means acquires a vehicle number for identifying the collection / delivery vehicle used when capturing the image data, and obtains the vehicle number.
The road damage detection device according to claim 11, wherein the display control means displays the image data for each vehicle number.
前記車載端末は、
撮像部で撮像された画像データを前記道路損傷検出装置へ送信する送信手段を有し、
前記道路損傷検出装置は、
前記画像データを前記車載端末から受信する受信手段と、
前記受信手段により受信した前記画像データに基づいて道路上の損傷箇所を検出する検出手段と、
を有することを特徴とする道路損傷検出システム。 A road damage detection system including an in-vehicle terminal mounted on a collection / delivery vehicle traveling on a road and a road damage detection device capable of communicating with the in-vehicle terminal.
The in-vehicle terminal is
It has a transmission means for transmitting image data captured by the image pickup unit to the road damage detection device.
The road damage detection device is
A receiving means for receiving the image data from the in-vehicle terminal, and
A detection means for detecting a damaged part on the road based on the image data received by the receiving means, and a detection means.
A road damage detection system characterized by having.
前記取得ステップにより取得した前記画像データに基づいて道路上の損傷箇所を検出する検出ステップと、
を含むことを特徴とする道路損傷検出方法。 An acquisition step for acquiring image data captured by an in-vehicle terminal equipped with an image pickup unit, which is mounted on a collection / delivery vehicle traveling on a road.
A detection step for detecting a damaged part on the road based on the image data acquired by the acquisition step, and a detection step.
A road damage detection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114737A JP2022012710A (en) | 2020-07-02 | 2020-07-02 | Road damage detection device, road damage detection system, and road damage detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114737A JP2022012710A (en) | 2020-07-02 | 2020-07-02 | Road damage detection device, road damage detection system, and road damage detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022012710A true JP2022012710A (en) | 2022-01-17 |
Family
ID=80148951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020114737A Pending JP2022012710A (en) | 2020-07-02 | 2020-07-02 | Road damage detection device, road damage detection system, and road damage detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022012710A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424232A (en) * | 2022-11-04 | 2022-12-02 | 深圳市城市交通规划设计研究中心股份有限公司 | Method for identifying and evaluating pavement pit, electronic equipment and storage medium |
WO2023176955A1 (en) * | 2022-03-17 | 2023-09-21 | Kyb株式会社 | Computing device, computing method, and program |
WO2023242897A1 (en) * | 2022-06-13 | 2023-12-21 | 日本電気株式会社 | Pothole prediction system, pothole prediction method, and recording medium |
-
2020
- 2020-07-02 JP JP2020114737A patent/JP2022012710A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176955A1 (en) * | 2022-03-17 | 2023-09-21 | Kyb株式会社 | Computing device, computing method, and program |
WO2023242897A1 (en) * | 2022-06-13 | 2023-12-21 | 日本電気株式会社 | Pothole prediction system, pothole prediction method, and recording medium |
CN115424232A (en) * | 2022-11-04 | 2022-12-02 | 深圳市城市交通规划设计研究中心股份有限公司 | Method for identifying and evaluating pavement pit, electronic equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022012710A (en) | Road damage detection device, road damage detection system, and road damage detection method | |
CN112836737A (en) | Roadside combined sensing equipment online calibration method based on vehicle-road data fusion | |
US20200042800A1 (en) | Image acquiring system, terminal, image acquiring method, and image acquiring program | |
US8284995B2 (en) | Method for updating a geographic database for an in-vehicle navigation system | |
EP2082188B1 (en) | Computer arrangement for and method of matching location data of different sources | |
WO2018142900A1 (en) | Information processing device, data management device, data management system, method, and program | |
EP2092270B1 (en) | Method and apparatus for identification and position determination of planar objects in images | |
CN109791598A (en) | The image processing method of land mark and land mark detection system for identification | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
CN108733053A (en) | A kind of Intelligent road detection method based on robot | |
CN201269758Y (en) | Vehicle mounted full automatic detection recording system for traffic signs | |
CN108051836A (en) | A kind of localization method, device, server and system | |
CN103184719A (en) | Road surface survey device | |
KR20060087449A (en) | Vehicle position recognizing device and vehicle position recognizing method | |
EP3671124B1 (en) | Method and apparatus for localization of position data | |
JP2008002906A (en) | Positioning device | |
CN101044390B (en) | Sight distance measuring device and uses | |
JP2019196680A (en) | Pavement information gathering inspection system, pavement information gathering inspection method, and program | |
CN101203894A (en) | Method for determining traffic information and device and executing the method through setting | |
JP5225542B2 (en) | MAP INFORMATION GENERATION METHOD, MAP INFORMATION GENERATION PROGRAM, AND MAP INFORMATION COLLECTION DEVICE | |
CN112308913B (en) | Vehicle positioning method and device based on vision and vehicle-mounted terminal | |
US11373409B2 (en) | Photography system | |
CN111323004B (en) | Initial position determining method and vehicle-mounted terminal | |
WO2016031229A1 (en) | Road map creation system, data processing device, and on-board device | |
CN115661453B (en) | Tower crane object detection and segmentation method and system based on downward view camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200813 |