JP2019196680A - Pavement information gathering inspection system, pavement information gathering inspection method, and program - Google Patents

Pavement information gathering inspection system, pavement information gathering inspection method, and program Download PDF

Info

Publication number
JP2019196680A
JP2019196680A JP2018092425A JP2018092425A JP2019196680A JP 2019196680 A JP2019196680 A JP 2019196680A JP 2018092425 A JP2018092425 A JP 2018092425A JP 2018092425 A JP2018092425 A JP 2018092425A JP 2019196680 A JP2019196680 A JP 2019196680A
Authority
JP
Japan
Prior art keywords
road surface
information
image
latitude
iri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018092425A
Other languages
Japanese (ja)
Other versions
JP6713505B2 (en
Inventor
弘樹 遠藤
Hiroki Endo
弘樹 遠藤
藤本 敦
Atsushi Fujimoto
敦 藤本
数麻 大峯
Kazuma Omine
数麻 大峯
峯村圭介
Keisuke Minemura
圭介 峯村
誠 稲垣
Makoto Inagaki
誠 稲垣
剛志 大島
Tsuyoshi Oshima
剛志 大島
靖幸 谷口
Yasuyuki Taniguchi
靖幸 谷口
靖史 吉本
Yasushi Yoshimoto
靖史 吉本
大樹 山本
Hiroki Yamamoto
大樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone West Corp
Original Assignee
Nippon Telegraph and Telephone West Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone West Corp filed Critical Nippon Telegraph and Telephone West Corp
Priority to JP2018092425A priority Critical patent/JP6713505B2/en
Publication of JP2019196680A publication Critical patent/JP2019196680A/en
Application granted granted Critical
Publication of JP6713505B2 publication Critical patent/JP6713505B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To construct a road surface inspection technique which can be introduced with inexpensive capital investment, is resistant to errors, and enables highly accurate data analysis to facilitate road management.SOLUTION: A pavement information recorder 10 acquires flatness data measured at the time of traveling by an acceleration sensor, an angular velocity sensor, or both while measuring latitude and longitude information while a vehicle 2 is driven. Road surface images being still images or moving images of the road surface ahead or behind are imaged with a camera while traveling. A flatness analyzer 31 estimates an IRI at each point corresponding to the latitude and longitude information using the flatness data. An image analysis device 32 detects cracks on the road surface at each point corresponding to the latitude and longitude information by analyzing the road surface images. Points on a map which can be referenced are displayed on a terminal 51 by a web server 41.SELECTED DRAWING: Figure 1

Description

この発明は、道路の舗装状況を収集し解析して点検に用いることができるシステム、その点検方法、及びプログラムに関する。   The present invention relates to a system that can collect and analyze road pavement conditions and use it for inspection, an inspection method thereof, and a program.

高度経済成長期に集中的に整備された道路インフラは、現在急速な老朽化が懸念されている。しかし国や地方自治体の財源の不足から、維持修繕費は減少傾向にあり、限られた財源の中で点検、整備を行わなければならない。重要幹線路線については、路面性状測定車による定期点検が優先的に実施されている。   The road infrastructure that was intensively developed during the period of high economic growth is currently concerned about rapid aging. However, maintenance and repair costs are declining due to a shortage of financial resources in the national and local governments, and inspection and maintenance must be carried out with limited financial resources. For important trunk lines, regular inspections using road surface property measuring vehicles are preferentially implemented.

路面性状を点検する技術としては、車両にレーザースキャナやカメラ等を取り付けて、ひび割れ、わだち掘れ、IRI(International Roughness Index:国際ラフネス指数)などを計測する技術の開発が進んでいる。また、スマートフォンが有する加速度、GPS情報、動画情報を計測することでIRIを把握し、路面性状を簡易に計測・分析・記録する技術も検討されている。   As a technology for inspecting road surface properties, development of a technology for measuring cracks, rutting, IRI (International Roughness Index), etc. by attaching a laser scanner, a camera, etc. to a vehicle is progressing. In addition, a technique for grasping IRI by measuring acceleration, GPS information, and moving image information of a smartphone and easily measuring, analyzing, and recording road surface properties has been studied.

路面より下の路盤等の健全性については、路上規制を伴わずに車両を走行しながら舗装のたわみ量を計測する動的たわみ計測装置(MWD:Moving Wheel Deflectometer)が開発されている。   As for the soundness of the roadbed below the road surface, a dynamic deflection measuring device (MWD: Moving Wheel Deflectometer) has been developed that measures the amount of pavement deflection while driving a vehicle without road regulation.

これらの路面及び路盤についての舗装マネジメントは非特許文献1に記載されるように、公的な運用を目指して検討が進んでいる。   As described in Non-Patent Document 1, the pavement management for these road surfaces and roadbeds has been studied for public operation.

国土交通省 第6回道路技術小委員会(平成28年9月13日) 配付資料 [資料3-2]これからの舗装マネジメント(PDF形式:807KB) http://www.mlit.go.jp/common/001145725.pdfMinistry of Land, Infrastructure, Transport and Tourism 6th Road Technology Subcommittee (September 13, 2016) Handouts [Document 3-2] Pavement management in the future (PDF format: 807KB) http://www.mlit.go.jp/ common / 001145725.pdf

しかしながら、生活道路や準幹線道路については、自治体職員又は委託業者によるパトロールカーでのパトロール時の目視点検や住民からの通報対応を中心に、生活道路や一部の準幹線道路等をカバーしている。だが、人的リソースの不足から大部分の道路が未点検の状態である。これをサポートするべく、画像解析によりひび割れがあると判断した地点を地図上に表示したり、IRIを地図上に表示したりするサービスは存在する。   However, with regard to residential roads and semi-trunk roads, they cover live roads and some semi-trunk roads, mainly through visual inspections during patrols by local government employees or contractors and response to reports from residents. Yes. However, most roads have not been inspected due to lack of human resources. In order to support this, there are services that display on the map a point where it is determined that there is a crack by image analysis, or display an IRI on the map.

また、個々の測定データだけでは解析に適さない場合があり、解析の精度が不十分になることがあった。例えば撮影にあたっては、逆光などによる光量過多、日陰やトンネルなどによる光量不足、光量の急激な変化による影像の不鮮明化が起こることがある。また、先行車や落葉、投棄物その他の障害物により路面が見えなかったり、縁石やグレーチングなど道路周辺の付帯物が解析対象エリアへ映りこんでしまうこともある画像解析にはできるだけ直進することが望ましいが、道路状態あるいは交通規制によって直進的ではない運行を迫られる場合もあるし、狭隘な道路であったり、右左折の場面では道路面が見えないこともある。さらに、短時間の降雨や水まき、前日の降雨などによる地面の水濡れ、路面状態や交通規制、危険回避により起こるカメラの振動で画像がブレることもある。いずれにしても画像が不適切で誤検知、検知漏れ、これらに伴う計算の誤りが生じることは避けられない。いずれにしても、機械学習の精度を向上させたとしても、写真を撮影する環境に由来する問題を完全に避けることは難しい。   In addition, individual measurement data alone may not be suitable for analysis, and analysis accuracy may be insufficient. For example, in photographing, an excessive amount of light due to backlight or the like, an insufficient amount of light due to a shade or a tunnel, and a blurred image due to a sudden change in the amount of light may occur. In addition, the road surface may not be visible due to preceding vehicles, fallen leaves, dumped objects, or other obstacles, and incidental objects around the road such as curbs and gratings may be reflected in the analysis target area. Although it is desirable, there are cases where it is forced to operate not straight ahead due to road conditions or traffic restrictions, and there are cases where the road surface is not visible when the road is narrow or turning right or left. Furthermore, the image may be blurred due to camera shake caused by short-term rain or watering, wetness of the ground due to rain on the previous day, road surface conditions, traffic restrictions, or danger avoidance. In any case, it is inevitable that the image is inappropriate and erroneous detection, detection omission, and calculation error associated therewith occur. In any case, even if the accuracy of machine learning is improved, it is difficult to completely avoid problems caused by the environment for taking pictures.

一方、IRIはスマートフォンのセンサーなどを使って測定される傾きや加速度などから算出される値であるため、マンホールや橋梁との接続部分など正常な状態で段差や凹凸が存在する場合でも値が高くなってしまう。欠陥が生じている箇所とそうでない箇所とを地図上に表示されたIRIの値だけで判断することは難しい。   On the other hand, IRI is a value calculated from the inclination and acceleration measured using a smartphone sensor, etc., so the value is high even when there is a step or unevenness in a normal state such as a connection part with a manhole or bridge. turn into. It is difficult to determine the location where a defect has occurred and the location where it is not based only on the IRI value displayed on the map.

これらの問題は、幹線道路であれば高価な路面性状測定車を活用したり、人的リソースによる補填が可能である。しかし自治体の人的リソースは限られており、圧倒的に長い各地の生活道路の全てをカバーすることは難しい。また、ひび割れが検出されたりIRIが悪い箇所全てを修繕することは、予算的に不可能である。ひび割れが検出されたりIRIが悪い箇所の中で、修繕する緊急性が高い箇所を優先して修繕するしかなく、事故が発生する可能性が低い箇所は後回しにせざるを得ない。例えば、車道にひび割れや凹凸があっても路側帯や歩道が十分に整備されている箇所であれば後回しにする、といった判断も必要となるのが現実である。   These problems can be compensated with human resources by using an expensive road surface property measuring vehicle for main roads. However, the human resources of the local government are limited, and it is difficult to cover all of the overwhelmingly long life roads. In addition, it is impossible in terms of budget to repair all the parts where cracks are detected or IRI is bad. Of the places where cracks are detected or where the IRI is bad, the place where repair is highly urgent is prioritized, and the place where the possibility of an accident is low has to be postponed. For example, even if there are cracks or irregularities on the roadway, it is actually necessary to make a decision to postpone the roadside belt or sidewalk if it is a well-developed part.

そこでこの発明は、既に確立された路面の点検技術を組み合わせ、人的リソースが限られた環境でも道路路面の状態を効率的に把握し、修繕が必要となる場所を効率的に見出すことができるようにして、生活道路を含めた道路全般における情報の点検と修繕までの管理を容易にすることを目的とする。   Therefore, the present invention combines the established road surface inspection technology, can efficiently grasp the road surface condition even in an environment where human resources are limited, and can efficiently find a place where repair is necessary. Thus, it aims at facilitating management until inspection and repair of information in general roads including a life road.

この発明は、車両に搭載された走行環境下において、
加速度センサ、角速度センサ又はその両方により走行時に測定される、IRIを算出するための平坦性データを取得する各加速度取得手段と、
カメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を撮影する路面画像取得手段と、
位置情報測位装置により走行中の緯度経度情報を取得し続ける位置情報取得手段と、
前記平坦性データと、前記路面画像とを、取得した地点の緯度経度情報と紐づけ可能に記録する位置対応記録手段と、
を実行する、一つ又は複数の装置からなる舗装情報記録装置と、
前記平坦性データから前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段を実行する平坦性解析装置と、
前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段を実行する画像解析装置と、
前記IRI、前記ひび割れ、及び前記路面画像を、前記平坦性解析装置及び前記画像解析装置から受け取り、端末からのリクエストに応じて地図上の地点から参照可能に表示させる舗装情報可視化手段を実行できるwebサーバと、
を有する舗装情報収集点検システムにより、上記の課題を解決したのである。
In the driving environment mounted on the vehicle, the present invention
Each acceleration acquisition means for acquiring flatness data for calculating IRI, which is measured during traveling by an acceleration sensor, an angular velocity sensor, or both;
Road surface image acquisition means for capturing a road surface image that is a still image or a moving image including a road surface on the front or rear side while traveling by a camera;
Position information acquisition means for continuously acquiring latitude and longitude information during traveling by the position information positioning device;
Position correspondence recording means for recording the flatness data and the road surface image so as to be associated with latitude and longitude information of the acquired point;
A pavement information recording device composed of one or a plurality of devices,
A flatness analyzer for executing IRI estimation means for estimating IRI at each point corresponding to the latitude and longitude information from the flatness data;
An image analyzer for executing crack detection means for detecting cracks on the road surface at each point corresponding to the latitude and longitude information by analyzing the road surface image;
A web that can execute pavement information visualization means that receives the IRI, the crack, and the road surface image from the flatness analysis device and the image analysis device and displays them in a referable manner from a point on the map in response to a request from the terminal. Server,
The above problem was solved by the pavement information collection and inspection system having

すなわち、前記舗装情報記録装置としては、加速度センサ、角速度センサ等をそなえたスマートフォンなどによる前記平坦性データの取得と、ビデオカメラなどによる前記路面画像の取得とを併せて行う。いずれの情報も緯度経度情報と紐づけて解析できるようにしながら記録することで、前記平坦性データ又は前記路面画像の測定でエラーが含まれていても、前記webサーバによって前記端末に表示された地図上でIRI及びひび割れを確認する際にも、相互に確認し、さらに前記路面画像も参照できる。画面上の地図でIRIとひび割れとを調べて修繕が必要となる場所の候補をある程度絞り込み、さらに路面画像による確認までも一連のシステム及び方法として実行できる。   That is, as the pavement information recording device, the flatness data is acquired by a smartphone having an acceleration sensor, an angular velocity sensor, and the like, and the road surface image is acquired by a video camera or the like. Any information is recorded while being associated with latitude / longitude information so that it can be analyzed, and even if an error is included in the measurement of the flatness data or the road surface image, it is displayed on the terminal by the web server. When IRI and cracks are confirmed on a map, they can be mutually confirmed and the road surface image can also be referred to. By examining the IRI and cracks on the map on the screen to narrow down the candidates for the places where repair is necessary to some extent, and further confirming with the road surface image, it can be executed as a series of systems and methods.

さらに、この発明にかかる舗装情報収集点検方法としては、
車両を走行させて緯度経度情報を測定しながら、
加速度センサ、角速度センサ又はその両方により走行時に測定される、IRIを算出するための平坦性データを取得する各加速度取得手段と、
カメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を撮影する路面画像取得手段と、
を並行して実行するステップと、
前記平坦性データから前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段と、
前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段と、
の両方を実行するステップと、
前記IRI、前記ひび割れ、及び前記路面画像を、端末からのリクエストに応じて地図上の地点から参照可能に表示させる舗装情報可視化手段を実行するステップと、を実行する。
Furthermore, as a pavement information collection inspection method according to the present invention,
While driving the vehicle and measuring the latitude and longitude information,
Each acceleration acquisition means for acquiring flatness data for calculating IRI, which is measured during traveling by an acceleration sensor, an angular velocity sensor, or both;
Road surface image acquisition means for capturing a road surface image that is a still image or a moving image including a road surface on the front or rear side while traveling by a camera;
Performing the steps in parallel,
IRI estimation means for estimating IRI at each point corresponding to the latitude / longitude information from the flatness data;
Crack detection means for detecting cracks on the road surface at each point corresponding to the latitude and longitude information by analyzing the road surface image,
Steps to perform both
And executing a pavement information visualization means for displaying the IRI, the crack, and the road surface image so that they can be referred to from a point on the map in response to a request from the terminal.

また、この発明にかかる舗装情報収集点検サービスシステムは、
走行中の緯度経度情報を測定し続ける車両に搭載された加速度センサ、角速度センサ又はその両方により走行時に測定される平坦性データを用いて、前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段を実行する平坦性解析装置と、
前記車両に搭載されたカメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を用いて、前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段を実行する画像解析装置と、
各地点における前記IRI、前記ひび割れ、及び前記路面画像の情報を受け取り、端末に対して地図上の地点から参照可能に表示させる舗装情報可視化手段を実行するwebサーバと、
を有する。
Moreover, the pavement information collection inspection service system according to the present invention is
The IRI at each point corresponding to the latitude / longitude information is estimated using flatness data measured at the time of traveling by an acceleration sensor, an angular velocity sensor, or both mounted on a vehicle that continuously measures latitude / longitude information while traveling. A flatness analyzer for executing IRI estimation means;
Using a road image that is a still image or a moving image including a road surface in front or behind the vehicle that is running by a camera mounted on the vehicle, the road surface cracks at each point corresponding to the latitude and longitude information are analyzed by the road image. An image analysis device for executing crack detection means for detecting;
A web server that executes the pavement information visualization means that receives the information of the IRI, the crack, and the road surface image at each point and displays the information on the map so that the terminal can be referred to;
Have

この発明にかかるプログラムは、コンピュータを前記webサーバとして実行させるためのプログラムである。   The program according to the present invention is a program for causing a computer to execute as the web server.

前記平坦性データとは、加速度センサ、角速度センサ又はその両方から得られる、路面の凹凸に影響されるデータである。例えば、走行時に直接測定される上下方向の加速度である走行時上下加速度と、前記車両の加減速による角速度である加減速時角速度及び加減速による加速度である加減速時上下加速度とが、前記平坦性データとして有用である。この場合、前記IRI推定手段としては、前記走行時上下加速度から前記加減速時上下加速度と当該車両の特性である車両特性パラメータとを差し引くことで道路の凹凸による加速度である凹凸加速度を抽出してIRIを推定することができる。   The flatness data is data affected by road surface unevenness obtained from an acceleration sensor, an angular velocity sensor, or both. For example, the vertical acceleration during traveling, which is an acceleration in the vertical direction directly measured during traveling, the angular velocity during acceleration / deceleration, which is an angular velocity due to acceleration / deceleration of the vehicle, and the vertical acceleration during acceleration / deceleration, which is acceleration due to acceleration / deceleration, are flat. Useful as sex data. In this case, the IRI estimating means extracts the uneven acceleration which is the acceleration due to the unevenness of the road by subtracting the acceleration / deceleration vertical acceleration and the vehicle characteristic parameter which is the characteristic of the vehicle from the traveling vertical acceleration. IRI can be estimated.

前記IRI及び前記ひび割れを地図上に参照可能に表示させる舗装情報可視化手段とは、端末が有するモニタに表示する地図に合わせて、前記ひび割れが確認できた地点に印を付けたり、前記IRIに応じて色相表示を変えたりといった構成が選択できる。また、参照可能に表示するとは、地図上に直接表示するだけでなく、地図上をポインティングデバイスで指定することで地図上において示すその地点の前記IRIや前記ひび割れの有無を呼び出して表示するものでもよい。前記路面画像は、地図上の指定された点で撮影され静止画又は動画を画面上で呼び出して表示させるとよい。   The pavement information visualization means for displaying the IRI and the crack so that they can be referred to on the map is to mark the point where the crack has been confirmed according to the map displayed on the monitor of the terminal, or according to the IRI. To change the hue display. In addition to displaying directly on the map, the display that can be referred to is not limited to displaying the IRI or the presence or absence of cracks at that point indicated on the map by designating the map with a pointing device. Good. The road surface image may be captured at a specified point on the map and displayed by calling a still image or a moving image on the screen.

この発明により、生活道路を含めた全道路における注意点の抽出と、補修作業の必要性の判断を下すまでのサポートを、ローコストで行うことが可能となる。表層のひび割れを早期発見して、路盤まで損傷が進行する前に表層だけの修繕で対応が可能になると、修繕費を三分の一以下に抑制して対応できる。点検をベースとした予防保全の仕組みを整えることができ、ライフサイクルコスト全体の縮減が可能となる。   According to the present invention, it is possible to carry out support for extracting attention points on all roads including residential roads and determining whether the repair work is necessary or not at a low cost. If it is possible to detect cracks on the surface layer early and repair it by repairing only the surface layer before damage progresses to the roadbed, the repair cost can be reduced to one-third or less. A system for preventive maintenance based on inspection can be prepared, and the entire life cycle cost can be reduced.

この発明にかかるシステムの実施形態例である構成の概要図1 is a schematic diagram of a configuration as an embodiment of a system according to the present invention. この発明にかかるシステムの実施形態例である機能ブロック図Functional block diagram of an embodiment of the system according to the present invention 画像解析装置が解析する画像の例を示す図The figure which shows the example of the image which the image analysis device analyzes webサーバにより可視化させた画面の例を示す図The figure which shows the example of the screen visualized by the web server この発明にかかる舗装情報収集点検方法のフロー例図Flow diagram of pavement information collection and inspection method according to this invention

以下、この発明について具体的な実施形態とともに詳細に説明する。この発明は、舗装情報記録装置10と、平坦性解析装置31、画像解析装置32、及びwebサーバ41を含む舗装情報収集点検サービスシステム30と、これらを含む舗装情報点検システム1、及びこれらの実行方法、実行させるためのプログラムである。   Hereinafter, the present invention will be described in detail together with specific embodiments. The present invention relates to a pavement information recording apparatus 10, a pavement analysis apparatus 31, an image analysis apparatus 32, and a pavement information collection / inspection service system 30 including a web server 41, a pavement information inspection system 1 including these, and execution thereof. A method, a program for causing execution.

舗装情報点検システム1の実施形態の構成例を図1に示す。舗装情報記録装置10は、一つ又は複数の装置からなり、車両2に搭載された走行環境下において後述する手段を実行する。車両2は特殊車両である必要はなく、民生用の舗装情報記録装置10を設置して公道を走ることができる車両であれば特に限定されない。舗装情報記録装置10を構成する装置としては、ここではスマートフォン21とビデオカメラ22を例に挙げて説明する。なお、スマートフォン21とビデオカメラ22とを別個の車両2に載せて実施すると作業効率が悪く、特に細かい生活道路まで網羅しようとすると手間がかかりすぎてしまうため、両方の構成を有した上で車両2を走らせて後述する測定や撮影を行うことが望ましい。ただし、舗装情報記録装置10はこのように分かれている必要はなく、一体の装置で以下のスマートフォン21とビデオカメラ22との両方の構成を有していてもよい。   The structural example of embodiment of the pavement information inspection system 1 is shown in FIG. The pavement information recording device 10 includes one or a plurality of devices, and executes means to be described later in a traveling environment mounted on the vehicle 2. The vehicle 2 does not need to be a special vehicle, and is not particularly limited as long as the vehicle 2 can be installed on a public pavement information recording apparatus 10 and can run on a public road. Here, as an apparatus constituting the pavement information recording apparatus 10, a smartphone 21 and a video camera 22 will be described as examples. It should be noted that if the smartphone 21 and the video camera 22 are mounted on separate vehicles 2, the work efficiency is low, and it takes too much time to cover even the fine life roads. It is desirable to run 2 and perform the measurement and photographing described later. However, the pavement information recording apparatus 10 does not need to be separated in this way, and may have the following configurations of both the smartphone 21 and the video camera 22 as an integrated apparatus.

舗装情報記録装置10を構成するスマートフォン21は、加速度センサ11、角速度センサ12、位置情報測位装置14、及び記録装置15(15a)を有する。加速度センサ11は三軸方向の加速度を検出できるものであればよく、一般的なスマートフォンに搭載されているもの以上の機能があれば特に限定されない。角速度センサ12はいわゆるジャイロセンサーと呼ばれる回転方向の動きを検出できるものである。角速度センサ12も一般的なスマートフォンに搭載されているもの以上の機能があれば特に限定されない。本発明で用いる舗装情報記録装置10は少なくとも加速度センサ11を有すると望ましく、角速度センサ12も有するとさらに望ましい。   A smartphone 21 constituting the pavement information recording device 10 includes an acceleration sensor 11, an angular velocity sensor 12, a position information positioning device 14, and a recording device 15 (15a). The acceleration sensor 11 is not particularly limited as long as it can detect accelerations in the three-axis directions, and has a function more than that of a general smartphone. The angular velocity sensor 12 is a so-called gyro sensor that can detect movement in the rotational direction. The angular velocity sensor 12 is not particularly limited as long as it has more functions than those mounted on a general smartphone. The pavement information recording apparatus 10 used in the present invention preferably includes at least an acceleration sensor 11, and more preferably includes an angular velocity sensor 12.

位置情報測位装置14は、いわゆるGPS(Global Positioning System)と呼ばれる衛星測位システムやまたはそれと同種の、緯度経度情報を取得できる装置である。舗装情報記録装置10(スマートフォン21)は位置情報測位装置14により、走行中の緯度経度情報を取得し続ける位置情報取得手段26を実行する。平坦性解析装置31での解析する際の必要上、10m以下の判別能があると好ましい。また、衛星からの電波の反射によるエラーに対して、補正能力があると好ましい。車両に搭載されるGPS機能と連携してデータを取得できるものでもよいし、それによって位置ずれを補正できるものでもよい。   The position information positioning device 14 is a satellite positioning system called a so-called GPS (Global Positioning System) or a device that can acquire latitude and longitude information of the same type. The pavement information recording device 10 (smart phone 21) uses the position information positioning device 14 to execute position information acquisition means 26 that continues to acquire latitude and longitude information during traveling. In view of the necessity for analysis by the flatness analyzer 31, it is preferable that the discriminability is 10 m or less. Further, it is preferable that there is a correction capability for an error caused by reflection of radio waves from the satellite. Data that can be acquired in cooperation with the GPS function mounted on the vehicle may be used, or that that is capable of correcting misalignment.

舗装情報記録装置10を構成するスマートフォン21が有する記録装置15は、一般的な不揮発性メモリを用いることができる。SDカードやコンパクトフラッシュその他の外部メディア15aであってもよいし、接続された磁気ディスクであってもよい。   The recording device 15 included in the smartphone 21 constituting the pavement information recording device 10 can use a general nonvolatile memory. It may be an SD card, a compact flash or other external media 15a, or a connected magnetic disk.

舗装情報記録装置10(スマートフォン21)は、加速度センサ11及び角速度センサ12により、舗装情報記録装置10が搭載された車両2の走行とともに、走行時に測定される平坦性データを取得する各加速度取得手段25を実行する。平坦性データとは、路面の凹凸に影響される、IRIを算出するためのデータである。車両2の走行時には路面の凹凸によって舗装情報記録装置10が当然に上下するため、この上下の動きを解析することで、路面が傷んだ箇所を検知することができる。ただし、走行中は路面以外の要素によっても加速度及び角速度の変動を受けるので、上下の動きをそのまま路面の損傷として判断すると精度が不十分となる。このため、複合的に平坦性データを取得し、状況に合わせて補正することが望ましい。このような平坦性データとしては例えば、走行時に直接測定される上下方向の加速度である走行時上下加速度と、前記車両の加減速による角速度である加減速時角速度及び加減速による加速度である加減速時上下加速度とが挙げられる。後述する平坦性解析装置31のIRI推定手段35が、前記走行時上下加速度から前記加減速時上下加速度と当該車両の特性である車両特性パラメータとを差し引くことで道路の凹凸による加速度である凹凸加速度を抽出してIRIを推定することができる。なお、加速度及び角速度を測定してIRIを推定する以外に、他の要素の計測によりIRIと互換性のある類似のパラメータを取得できるものでも実施は可能であるが、測定の容易さ及び後述する解析結果の利用の点から加速度及び角速度を利用し、IRIを算出するのが好適である。   The pavement information recording device 10 (smart phone 21) uses the acceleration sensor 11 and the angular velocity sensor 12 to obtain each acceleration acquisition unit that acquires the flatness data measured during the travel as the vehicle 2 on which the pavement information recording device 10 is mounted. 25 is executed. The flatness data is data for calculating IRI that is influenced by road surface unevenness. Since the pavement information recording apparatus 10 naturally moves up and down due to the unevenness of the road surface when the vehicle 2 is traveling, it is possible to detect a damaged road surface by analyzing the vertical movement. However, since the acceleration and the angular velocity are also affected by factors other than the road surface during traveling, accuracy is insufficient when the vertical movement is determined as the road surface is damaged as it is. For this reason, it is desirable to acquire flatness data in a complex manner and correct it according to the situation. As such flatness data, for example, the vertical acceleration during traveling, which is the acceleration in the vertical direction directly measured during traveling, the angular velocity during acceleration / deceleration, which is the angular velocity due to acceleration / deceleration of the vehicle, and the acceleration / deceleration, which is the acceleration due to acceleration / deceleration. And vertical acceleration. The IRI estimation means 35 of the flatness analysis device 31 described later subtracts the acceleration acceleration / deceleration vertical acceleration and the vehicle characteristic parameter, which is a characteristic of the vehicle, from the vertical acceleration during traveling to thereby calculate the acceleration due to road unevenness. Can be extracted to estimate the IRI. In addition to estimating the IRI by measuring the acceleration and the angular velocity, it is possible to implement a method that can acquire similar parameters compatible with the IRI by measuring other elements. However, the measurement is easy and will be described later. From the viewpoint of using the analysis result, it is preferable to calculate IRI using acceleration and angular velocity.

舗装情報記録装置10(スマートフォン21)は、各加速度取得手段25により測定された前記平坦性データを、位置情報取得手段26により測定された緯度経度情報と紐づけ可能に記録する位置対応記録手段27を実行する。記録先は記録装置15である。紐づけ可能に記録するとは、例えば前記平坦性データと前記緯度経度情報とを対応させたテーブルとして記録してもよいし、前記緯度経度情報の記録日時と前記平坦性データの記録日時を対応させて後で相互に参照可能であるように記録してもよいし、紐づけ可能であれば形式は特に限定されない。   The pavement information recording device 10 (smart phone 21) records the flatness data measured by each acceleration acquisition unit 25 so as to be associated with the latitude / longitude information measured by the position information acquisition unit 26. Execute. The recording destination is the recording device 15. For example, the recordable data may be recorded as a table in which the flatness data and the latitude / longitude information are associated with each other, or the recording date / time of the latitude / longitude information is associated with the recording date / time of the flatness data. The formats may be recorded so that they can be referred to each other later, and the format is not particularly limited as long as they can be linked.

舗装情報記録装置10を構成するビデオカメラ22は、車両2の走行中に前方又は後方の動画を連続的に撮影可能な装置である。必ずしも動画対応でなくてもよく、連続した静止画の撮影でも対応可能であるが、後ほど画像解析装置32で解析する情報量の点からは、動画であることが望ましい。舗装情報記録装置10(ビデオカメラ22)は、車両2の走行とともに、路面を含む動画又は静止画の画像である路面画像を撮影する路面画像取得手段28を実行する。前記路面画像は後述する解析のために路面が映っていることが必要である。また、その後に地図情報から参照する際に判断の補助となる情報として、その他の路面の周辺の物体や情景等が含まれていると望ましい。例えば横断歩道や制限速度その他を示す路面表示、標識、信号、ガードレール、マンホール、側溝といった道路に付属する情報が挙げられる。また、周囲の植栽、高木、電柱、電線、街路灯など、その他周囲でメンテナンスが必要となる可能性のある物体が含まれているとより望ましい。   The video camera 22 constituting the pavement information recording apparatus 10 is an apparatus capable of continuously capturing a moving image of the front or rear while the vehicle 2 is traveling. It is not always necessary to support moving images, and it is possible to support continuous still image shooting. However, in terms of the amount of information to be analyzed later by the image analysis device 32, moving images are desirable. The pavement information recording apparatus 10 (video camera 22) executes a road surface image acquisition unit 28 that captures a road surface image that is a moving image including a road surface or a still image as the vehicle 2 travels. The road surface image needs to reflect the road surface for analysis described later. In addition, it is desirable that other road-related objects, scenes, and the like are included as information that assists judgment when referring to map information thereafter. For example, road surface information indicating pedestrian crossings, speed limits, etc., signs, signals, guardrails, manholes, gutters, and other information attached to roads. In addition, it is more desirable to include other objects that may require maintenance in the surroundings, such as surrounding planting, tall trees, utility poles, electric wires, street lights, and the like.

舗装情報記録装置10を構成するビデオカメラ22は、上記のスマートフォン21が有するものと同様の位置情報測位装置14を有するか、又はスマートフォン21や車両2が有する位置情報測位装置14と連携して、緯度経度情報を取得し続ける位置情報取得手段26を実行する。ビデオカメラ22自体が位置情報測位装置14を有する場合には、記録する静止画又は動画に、そのまま緯度経度情報を埋め込むとよい。スマートフォン21や車両2が有する位置情報測位装置14と連携する場合は、情報を随時読み込んでもよいし、撮影後に記録された緯度経度情報の記録日時と、静止画又は動画である前記路面画像の記録日時とを対応させるようにするとよい。方式は特に限定されないが、前記路面画像を取得した地点の緯度経度情報と紐づけ可能に記録する位置対応記録手段27を実行する。   The video camera 22 constituting the pavement information recording device 10 has the same position information positioning device 14 as that of the smartphone 21 described above, or in cooperation with the position information positioning device 14 of the smartphone 21 or the vehicle 2, The position information acquisition unit 26 that continuously acquires the latitude and longitude information is executed. When the video camera 22 itself has the position information positioning device 14, latitude and longitude information may be embedded as it is in a still image or moving image to be recorded. When cooperating with the position information positioning device 14 that the smartphone 21 or the vehicle 2 has, the information may be read at any time, the recording date and time of latitude and longitude information recorded after shooting, and the recording of the road surface image that is a still image or a moving image It is advisable to make the date and time correspond. The method is not particularly limited, but the position correspondence recording unit 27 that records the latitude and longitude information of the point where the road surface image is acquired so as to be associated is executed.

舗装情報記録装置10を構成するビデオカメラ22が有する記録装置15は、一般的な不揮発性メモリを用いることができる。SDカードやコンパクトフラッシュその他の外部メディア15aであってもよいし、接続された磁気ディスクであってもよい。   The recording device 15 included in the video camera 22 constituting the pavement information recording device 10 can use a general nonvolatile memory. It may be an SD card, a compact flash or other external media 15a, or a connected magnetic disk.

記録装置15に記録された前記平坦性データ、前記路面画像、及びこれらと紐づけられた緯度経度情報は、記録装置15である外部メディア15aを介して、又は機器を接続したケーブルやネットワークを介して、舗装情報収集点検サービスシステム30に読み込ませる。   The flatness data, the road surface image, and the latitude / longitude information associated with the flatness data recorded in the recording device 15 are transmitted via the external medium 15a which is the recording device 15, or via a cable or a network to which a device is connected. The pavement information collection / inspection service system 30 is read.

なお、舗装情報記録装置10の実施形態は上記の構成に限られるものではなく、高解像度のレンズを備えたスマートフォンやタブレット端末がビデオカメラ22の機能を兼務していてもよい。この場合、舗装情報記録装置10は一つのハードウェアからなる。   Note that the embodiment of the pavement information recording apparatus 10 is not limited to the above configuration, and a smartphone or a tablet terminal including a high-resolution lens may also serve as the function of the video camera 22. In this case, the pavement information recording apparatus 10 is composed of one piece of hardware.

舗装情報収集点検サービスシステム30は、平坦性解析装置31と画像解析装置32と、webサーバ41とを有する。これらの装置は個々に独立したサーバ又はサーバ群であってもよいし、これらの機能を全て備えた単一のサーバであってもよい。いずれの形態であっても、記録部と、十分な演算能力がある演算部とを有するサーバである。平坦性解析装置31の記録部には前記平坦性データ及び紐づけられた緯度経度情報が記録され、画像解析装置32には前記路面画像及び紐づけられた緯度経度情報が記録される。それぞれで解析を行い、結果がwebサーバ41にアップロードされ、端末51に対して解析結果を閲覧するサービスを提供する。   The pavement information collection / inspection service system 30 includes a flatness analysis device 31, an image analysis device 32, and a web server 41. These devices may be independent servers or groups of servers, or may be a single server having all these functions. In any form, the server includes a recording unit and a calculation unit having sufficient calculation capability. The flatness data and the associated latitude / longitude information are recorded in the recording unit of the flatness analysis apparatus 31, and the road surface image and the associated latitude / longitude information are recorded in the image analysis apparatus 32. Each is analyzed, the result is uploaded to the web server 41, and a service for browsing the analysis result to the terminal 51 is provided.

また、平坦性解析装置31に読み込ませる情報として、前記平坦性データと併せて、測定に用いた車両2の車両特性パラメータを読み込ませておくとIRIの推定精度が向上するため望ましい。車両特性パラメータは車両2を走行させて各加速度取得手段25を実行する前に、車両2における舗装情報記録装置10(スマートフォン21)の環境として測定し、登録しておくとよい。   In addition, it is desirable to read the vehicle characteristic parameters of the vehicle 2 used for measurement together with the flatness data as information to be read by the flatness analysis device 31 because the IRI estimation accuracy is improved. The vehicle characteristic parameter may be measured and registered as an environment of the pavement information recording device 10 (smart phone 21) in the vehicle 2 before the vehicle 2 is run and each acceleration acquisition unit 25 is executed.

前記車両特性パラメータを取得する例としては、ハンプ走行(例えば時速10km、100m程度)を実施し、その加速度と角速度を測定して行うとよい。この車両特性パラメータは、車両2によっても異なるし、車両2に設置する舗装情報記録装置10(スマートフォン21)の設置状況によっても異なる。   As an example of acquiring the vehicle characteristic parameter, it is preferable to perform hump traveling (for example, about 10 km / h, about 100 m / h) and measure the acceleration and angular velocity. The vehicle characteristic parameter varies depending on the vehicle 2 and also varies depending on the installation status of the pavement information recording apparatus 10 (smart phone 21) installed in the vehicle 2.

平坦性解析装置31は、前記平坦性データから各地点におけるIRIを推定するIRI推定手段35を実行する。具体的には、前記平坦性データのうち、前記走行時上下加速度から前記加減速時上下加速度と、前記加減速時角速度と、前記車両特性パラメータとを差し引くことで道路の凹凸による加速度である凹凸加速度を抽出してIRIを推定する。これは、路面に凹凸や段差がなくても加速及び減速の際には上下方向の角速度が生じるため、その影響を排除してできるだけ路面の凹凸や段差に由来する加速度のみを抽出できるようにすることが望ましいためである。   The flatness analysis device 31 executes IRI estimation means 35 that estimates IRI at each point from the flatness data. Specifically, in the flatness data, unevenness that is acceleration due to road unevenness by subtracting the acceleration / deceleration vertical acceleration, the acceleration / deceleration angular velocity, and the vehicle characteristic parameter from the traveling vertical acceleration. The acceleration is extracted and the IRI is estimated. This is because even when there is no unevenness or step on the road surface, an angular velocity in the vertical direction occurs during acceleration and deceleration, so that only the acceleration derived from the unevenness or step difference on the road surface can be extracted as much as possible. This is because it is desirable.

一方、画像解析装置32は、前記路面画像の解析により各地点における路面のひび割れを検知するひび割れ検知手段37を実行する。ひび割れ検知手段37の具体的構成としてはまず、予め用意したニューラルネットワークに、ひび割れを有する路面とそうでない路面との画像データを判定情報とともに多数読み込ませて、ひび割れの有無を検知可能であるようにトレーニングしておく画像判定学習手段36を実行して学習済みモデルを生成しておく。この学習済みモデルを用いた人工知能による判断として、ひび割れ検知を行うとよい。ただし、撮影角度にもよるが、ひび割れがあるか否かを判断すべき路面は前記静止画又は動画の下半分程度であり、高解像度で焦点があった画像として認識されるのは特に近傍の部分となる。このため、前記静止画又は動画である前記路面画像のうち前方近傍の路面をマス目化し、個々のマス目についてニューラルネットワークに読み込ませてトレーニングしておくとよい。   On the other hand, the image analysis device 32 executes a crack detection means 37 for detecting a crack on the road surface at each point by analyzing the road surface image. As a specific configuration of the crack detection means 37, first, it is possible to detect the presence or absence of a crack by reading a large number of image data of a road surface with a crack and a road surface with no crack with a prepared neural network together with determination information. The trained image determination learning means 36 is executed to generate a learned model. As a judgment by artificial intelligence using this learned model, it is good to perform crack detection. However, although it depends on the shooting angle, the road surface on which to determine whether or not there is a crack is about the lower half of the still image or moving image, and it is recognized as a high-resolution and focused image especially in the vicinity. Part. For this reason, it is preferable to train the road surface in the vicinity of the front in the road image that is the still image or the moving image, and load the individual cells into a neural network for training.

このひび割れの検出と判断を図3に示す概念図とともに説明する。まず、手順1として、画像中前方近傍の路面をトレーニングと同様にマス目化し、個々のマス目についてトレーニング済みのニューラルネットワークを用いた人工知能に読み込ませて、ひび割れがあるか否かを判断させる。次に手順2として、「カウントする総マス数」に対する「ひび割れマス」の割合である「ひび割れ率」を計算し、損傷レベルとして区分する。例えばひび割れ率が0%以上20%未満であれば損傷レベル1,20%以上40%未満であれば損傷レベル2、40%以上であれば損傷レベル3,とする。図3の例ではひび割れマスが2個、マスの総数が15であるため、ひび割れ率は13%で損傷レベル1となる。   The detection and determination of this crack will be described with the conceptual diagram shown in FIG. First, as procedure 1, the road surface near the front in the image is squared in the same manner as the training, and each square is read by artificial intelligence using a trained neural network to determine whether or not there is a crack. . Next, as procedure 2, a “cracking rate”, which is a ratio of “cracking mass” to “total number of counts”, is calculated and classified as a damage level. For example, if the crack rate is 0% or more and less than 20%, the damage level is 1, if it is 20% or more and less than 40%, the damage level is 2, and if it is 40% or more, the damage level is 3. In the example of FIG. 3, since there are two cracked masses and the total number of masses is 15, the cracking rate is 13% and the damage level is 1.

また、ひび割れの判定だけでなく、その他の路面のエラー情報についても、同様にニューラルネットワークに該当する画像とそうでない画像とを読み込ませてトレーニングすることで、同様に判別可能としてもよい。   Further, not only the determination of cracks, but also error information on other road surfaces may be similarly determined by reading and training images corresponding to the neural network and images not so.

さらに、平坦性解析装置31は、IRI推定手段35で推定されたそれぞれの地点のIRIを、緯度経度情報とともにwebサーバ41にアップロードする。また、画像解析装置32は、ひび割れ検知手段37で求められたそれぞれの地点のひび割れ率を、緯度経度情報とともにwebサーバ41にアップロードする。または、緯度経度情報そのものではなく、webサーバ41において使用又は連携する地図情報における道路情報に対応するフォーマットで緯度経度情報と同様に位置を特定できる情報を備えてアップロードしてもよい。また、画像解析装置32は前記路面画像を緯度経度情報又はそれに類する情報とともにwebサーバ41にアップロードする。   Further, the flatness analysis apparatus 31 uploads the IRI of each point estimated by the IRI estimation unit 35 to the web server 41 together with the latitude / longitude information. Further, the image analysis device 32 uploads the crack rate at each point obtained by the crack detection means 37 to the web server 41 together with the latitude / longitude information. Alternatively, instead of the latitude / longitude information itself, the information may be uploaded with information that can identify the position in the format corresponding to the road information in the map information used or linked in the web server 41 in the same manner as the latitude / longitude information. In addition, the image analysis device 32 uploads the road surface image to the web server 41 together with latitude / longitude information or similar information.

さらにまた、webサーバ41は、走行により判定を行う範囲の道路情報が含まれる地図情報を有していると好ましい。地図情報を有していない場合は、外部のサーバによる地図情報サービスと連携し、呼び出し可能なwebページを発行したりするとよい。さらに、webサーバ41は、ネットワーク42経由でアクセスしてきた端末51に対して、前記IRIと前記ひび割れ率と前記路面画像とを前記地図情報に含まれる道路情報に沿って参照可能に表示させる舗装情報可視化手段38を実行可能である。参照可能に表示させるとは、地図上に前記IRIや前記ひび割れ率をカラーやアイコンとして記入された単一レイヤーの画像データでもよいし、地図レイヤーに重なって表示されるIRIレイヤーやひび割れ率レイヤーとして、任意に表示/非表示を切り替えることができるフォーマットでもよい。また、地図上の所定の道路の点を選択することで、IRIやひび割れ率、その他の情報や、路面画像61を別ウインドウや別レイヤーとして一時的に表示させることができるものでもよい。特に路面画像61は地図上に常時展開することは閲覧性の点から問題があり、選択した地点に応じた路面画像61を呼び出し可能であると望ましい。   Furthermore, it is preferable that the web server 41 has map information including road information in a range to be determined by traveling. If the map information is not provided, a callable web page may be issued in cooperation with an external server map information service. Furthermore, the web server 41 displays the IRI, the crack rate, and the road surface image to the terminal 51 that has accessed via the network 42 so that the information can be referred to along the road information included in the map information. Visualization means 38 can be implemented. Displaying in a referenceable manner may be a single layer of image data in which the IRI or crack rate is entered as a color or icon on the map, or as an IRI layer or crack rate layer displayed overlapping the map layer. A format that can be arbitrarily switched between display and non-display may be used. Further, by selecting a predetermined road point on the map, the IRI, the crack rate, other information, and the road surface image 61 may be temporarily displayed as another window or another layer. In particular, it is desirable that the road surface image 61 is always developed on the map from the viewpoint of viewability, and it is desirable that the road surface image 61 corresponding to the selected point can be called.

IRIを地図上に表示する際の形式としては、例えば道路60自体をIRIの値に応じた色相や彩度で表示させることが挙げられる。例えばIRIの値が良好であれば青く、IRIの値が悪い場合は赤に近い色で表示することで、道路のどの部分がIRI上問題となっているかをひと目で判別できる。   As a format for displaying the IRI on the map, for example, the road 60 itself can be displayed with a hue or saturation corresponding to the value of the IRI. For example, when the IRI value is good, it is blue, and when the IRI value is bad, it is displayed in a color close to red, so that it is possible to determine at a glance which part of the road causes the IRI problem.

ひび割れ率を地図上に表示する際の形式としては、IRIと同様に色彩や彩度が異なるように表示してもよいし、明確なひび割れやその他の欠陥が起きている箇所を○印や×印といった表示子で示す形式でもよい。なお、欠陥の種類によって表示子の種類や色彩を変更してもよい。このような例を図4に示す。図4では道路60をIRIの値に応じた破線及び実線で示し、ひび割れその他のエラー検出箇所を丸印62で示している。また、ウインドウに重なるレイヤーとして選択した地点の路面画像61を表示している。すなわち、色彩や色相等でIRIの値に問題がある領域やひび割れ等の欠陥が検出されたと判断された箇所を選択し、その選択された地点の路面画像61を呼び出すことで、その地点の実際の状況を確認できる。凹凸があっても路面表示やマンホールによるものであることが確認されれば補修の必要はないと判断することができ、逆にガードレールや標識による指定から急ぎ補修の必要があると判断できるケースも考えられる。このように、補修の優先順位や緊急性のある箇所をリストアップし、具体的判断を行う際の補助ができる。   As the format for displaying the crack rate on the map, it may be displayed so that the color and saturation are different as in the case of IRI, or a point where a clear crack or other defect has occurred is indicated by a circle or x. A format indicated by an indicator such as a mark may be used. Note that the type and color of the indicator may be changed depending on the type of defect. Such an example is shown in FIG. In FIG. 4, the road 60 is indicated by a broken line and a solid line corresponding to the value of IRI, and cracks and other error detection points are indicated by circles 62. Further, a road surface image 61 of the point selected as a layer overlapping the window is displayed. That is, by selecting a region where it is determined that a defect or a defect such as a crack is detected in the IRI value due to color, hue, or the like, and calling the road surface image 61 of the selected point, the actual point You can check the situation. Even if there is unevenness, if it is confirmed that it is due to road surface display or manhole, it can be judged that there is no need for repair, and conversely, there is a case where it can be judged that there is a need for rush repair from designation by guardrail or sign Conceivable. In this way, it is possible to list repair priority and urgent locations and assist in making specific judgments.

なお、この発明にかかる舗装情報収集点検システム1(舗装情報収集点検サービスシステム30)を利用する端末51は、ネットワーク機能を有するスマートフォン、タブレット、パソコンなど、特に限定されるものではない。舗装情報可視化手段38に対応した専用のアプリケーションをインストールしてあるものでもよいし、webブラウザによって閲覧し、レイヤーなどを切り替え表示できるものでもよい。   The terminal 51 using the pavement information collection / inspection system 1 (pavement information collection / inspection service system 30) according to the present invention is not particularly limited to a smartphone, a tablet, a personal computer, or the like having a network function. A dedicated application corresponding to the pavement information visualizing means 38 may be installed, or it may be browsed by a web browser so that layers can be switched and displayed.

この発明にかかる舗装情報収集点検方法の実施形態例である一連の実施手順を図5のフローに示す。まず(S101)、測定に用いる車両2にて前記ハンプ走行を実施し(S102)、前記車両特性パラメータを算出しておく(S103)。ただし、S103の算出はS104及びS105の後でもよい。このとき、舗装情報記録装置10となるスマートフォン21を用いてよい。   A series of execution procedures as an embodiment of the pavement information collection and inspection method according to the present invention is shown in the flow of FIG. First (S101), the hump running is performed on the vehicle 2 used for measurement (S102), and the vehicle characteristic parameters are calculated (S103). However, S103 may be calculated after S104 and S105. At this time, you may use the smart phone 21 used as the pavement information recording device 10. FIG.

次に、車両2にて測定すべき道路を走行しながら、搭載したスマートフォン21とビデオカメラ22で測定しながら記録を行う(S104)。具体的には、スマートフォン21により前記平坦性データを取得する各加速度取得手段25と緯度経度情報を取得する位置情報取得手段26とを実行する。また、ビデオカメラ22により、前記路面画像を取得する路面画像取得手段28と緯度経度情報を取得する位置情報取得手段26とを実行する。測定が終わったら、取得した前記平坦性データ及び前記路面画像を前記緯度経度情報とともに平坦性解析装置31及び画像解析装置32へ送る(S105)。また、前記車両特性パラメータも併せて平坦性解析装置31へ送る。   Next, while running on the road to be measured by the vehicle 2, recording is performed while measuring with the smartphone 21 and the video camera 22 mounted (S104). Specifically, each acceleration acquisition unit 25 that acquires the flatness data and the position information acquisition unit 26 that acquires latitude and longitude information are executed by the smartphone 21. Further, the video camera 22 executes a road surface image acquisition unit 28 for acquiring the road surface image and a position information acquisition unit 26 for acquiring latitude / longitude information. When the measurement is finished, the acquired flatness data and the road surface image are sent to the flatness analysis device 31 and the image analysis device 32 together with the latitude and longitude information (S105). In addition, the vehicle characteristic parameters are also sent to the flatness analyzer 31.

解析段階では、次のS111〜S112とS113とを並行して行う。画像解析装置32では、前記路面画像にひび割れの有無の判定を付した教師用データを入力して、ニューラルネットワークのトレーニングを行う画像判定学習手段36を実行する(S111)。その上で、教育した学習済みモデルを用いてひび割れ検知手段37を実行する(S112)。一方、平坦性解析装置31では、前記平坦性データからIRIを推定するIRI推定手段35を実行する(S113)。   In the analysis stage, the following steps S111 to S112 and S113 are performed in parallel. In the image analysis device 32, the data for teachers with the determination of the presence or absence of cracks is input to the road surface image, and the image determination learning means 36 for training the neural network is executed (S111). After that, the crack detection means 37 is executed using the trained learned model (S112). On the other hand, the flatness analyzer 31 executes IRI estimation means 35 for estimating IRI from the flatness data (S113).

解析を行った平坦性解析装置31及び画像解析装置32は、それぞれの結果をwebサーバ41にアップロードする(S114)。webサーバ41は、端末51からのアクセスに対して舗装情報可視化手段38を実行する(S115)。   The flatness analysis device 31 and the image analysis device 32 that have performed the analysis upload the respective results to the web server 41 (S114). The web server 41 executes the pavement information visualization means 38 for access from the terminal 51 (S115).

1 舗装情報収集点検システム
2 車両
10 舗装情報記録装置
11 加速度センサ
12 角速度センサ
14 位置情報測位装置
15 記録装置
15a 外部メディア
21 スマートフォン
22 ビデオカメラ
25 各加速度取得手段
26 位置情報取得手段
27 位置対応記録手段
28 路面画像取得手段
30 舗装情報収集点検サービスシステム
31 平坦性解析装置
32 画像解析装置
35 IRI推定手段
36 画像判定学習手段
37 ひび割れ検知手段
38 舗装情報可視化手段
41 webサーバ
42 ネットワーク
51 端末
60 道路
61 路面画像
62 丸印
DESCRIPTION OF SYMBOLS 1 Pavement information collection inspection system 2 Vehicle 10 Pavement information recording device 11 Acceleration sensor 12 Angular velocity sensor 14 Position information positioning device 15 Recording device 15a External media 21 Smartphone 22 Video camera 25 Each acceleration acquisition means 26 Position information acquisition means 27 Position corresponding recording means 28 Road surface image acquisition means 30 Pavement information collection inspection service system 31 Flatness analysis device 32 Image analysis device 35 IRI estimation means 36 Image determination learning means 37 Crack detection means 38 Pavement information visualization means 41 Web server 42 Network 51 Terminal 60 Road 61 Road surface Image 62 Circle

Claims (5)

車両に搭載された走行環境下において、
加速度センサ、角速度センサ又はその両方により走行時に測定される、IRIを算出するための平坦性データを取得する各加速度取得手段と、
カメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を撮影する路面画像取得手段と、
位置情報測位装置により走行中の緯度経度情報を取得し続ける位置情報取得手段と、
前記平坦性データと、前記路面画像とを、取得した地点の緯度経度情報と紐づけ可能に記録する位置対応記録手段と、
を実行する、一つ又は複数の装置からなる舗装情報記録装置と、
前記平坦性データから前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段を実行する平坦性解析装置と、
前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段を実行する画像解析装置と、
前記IRI、前記ひび割れ、及び前記路面画像を、前記平坦性解析装置及び前記画像解析装置から受け取り、端末からのリクエストに応じて地図上の地点から参照可能に表示させる舗装情報可視化手段を実行できるwebサーバと、
を有する舗装情報収集点検システム。
In the driving environment mounted on the vehicle,
Each acceleration acquisition means for acquiring flatness data for calculating IRI, which is measured during traveling by an acceleration sensor, an angular velocity sensor, or both;
Road surface image acquisition means for capturing a road surface image that is a still image or a moving image including a road surface on the front or rear side while traveling by a camera;
Position information acquisition means for continuously acquiring latitude and longitude information during traveling by the position information positioning device;
Position correspondence recording means for recording the flatness data and the road surface image so as to be associated with latitude and longitude information of the acquired point;
A pavement information recording device composed of one or a plurality of devices,
A flatness analyzer for executing IRI estimation means for estimating IRI at each point corresponding to the latitude and longitude information from the flatness data;
An image analyzer for executing crack detection means for detecting cracks on the road surface at each point corresponding to the latitude and longitude information by analyzing the road surface image;
A web that can execute pavement information visualization means that receives the IRI, the crack, and the road surface image from the flatness analysis device and the image analysis device and displays them in a referable manner from a point on the map in response to a request from the terminal. Server,
Pavement information collection and inspection system.
車両を走行させて緯度経度情報を測定しながら、
加速度センサ、角速度センサ又はその両方により走行時に測定される、IRIを算出するための平坦性データを取得する各加速度取得手段と、
カメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を撮影する路面画像取得手段と、
を並行して実行するステップと、
前記平坦性データから前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段と、
前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段と、
の両方を実行するステップと、
前記IRI、前記ひび割れ、及び前記路面画像を、端末からのリクエストに応じて地図上の地点から参照可能に表示させる舗装情報可視化手段を実行するステップと、を実行する舗装情報収集点検方法。
While driving the vehicle and measuring the latitude and longitude information,
Each acceleration acquisition means for acquiring flatness data for calculating IRI, which is measured during traveling by an acceleration sensor, an angular velocity sensor, or both;
Road surface image acquisition means for capturing a road surface image that is a still image or a moving image including a road surface on the front or rear side while traveling by a camera;
Performing the steps in parallel,
IRI estimation means for estimating IRI at each point corresponding to the latitude / longitude information from the flatness data;
Crack detection means for detecting cracks on the road surface at each point corresponding to the latitude and longitude information by analyzing the road surface image,
Steps to perform both
A pavement information collection and inspection method for executing the pavement information visualization means for displaying the IRI, the crack, and the road surface image so that they can be referred to from a point on the map in response to a request from the terminal.
走行中の緯度経度情報を測定し続ける車両に搭載された加速度センサ、角速度センサ又はその両方により走行時に測定される平坦性データを用いて、前記緯度経度情報に対応した各地点におけるIRIを推定するIRI推定手段を実行する平坦性解析装置と、
前記車両に搭載されたカメラにより走行中の前方又は後方の路面を含む静止画又は動画である路面画像を用いて、前記路面画像の解析により前記緯度経度情報に対応した各地点における路面のひび割れを検知するひび割れ検知手段を実行する画像解析装置と、
各地点における前記IRI、前記ひび割れ、及び前記路面画像の情報を受け取り、端末に対して地図上の地点から参照可能に表示させる舗装情報可視化手段を実行するwebサーバと、
を有する舗装情報収集点検サービスシステム。
The IRI at each point corresponding to the latitude / longitude information is estimated using flatness data measured at the time of traveling by an acceleration sensor, an angular velocity sensor, or both mounted on a vehicle that continuously measures latitude / longitude information while traveling. A flatness analyzer for executing IRI estimation means;
Using a road image that is a still image or a moving image including a road surface in front or behind the vehicle that is running by a camera mounted on the vehicle, the road surface cracks at each point corresponding to the latitude and longitude information are analyzed by the road image. An image analysis device for executing crack detection means for detecting;
A web server that executes the pavement information visualization means that receives the information of the IRI, the crack, and the road surface image at each point and displays the information on the map so that the terminal can be referred to;
Pavement information collection and inspection service system.
走行中の緯度経度情報を測定し続ける車両に搭載された加速度センサ、角速度センサ又はその両方により走行時に測定される平坦性データを用いて推定された、前記緯度経度情報に対応した各地点におけるIRIと、
前記車両に搭載されたカメラにより走行中の前方又は後方の路面の静止画又は動画である路面画像を用いて解析された、前記緯度経度情報に対応した各地点における路面のひび割れと、
前記路面画像と、
を受け取り、端末に対して地図上の地点から参照可能に表示させる舗装情報可視化手段を実行するwebサーバ。
IRI at each point corresponding to the latitude / longitude information estimated using flatness data measured during travel by an acceleration sensor, an angular velocity sensor, or both mounted on a vehicle that continues to measure latitude / longitude information during travel When,
The road surface cracks at each point corresponding to the latitude and longitude information, analyzed using a road surface image that is a still image or a moving image of the front or rear road surface running by the camera mounted on the vehicle,
The road surface image;
A web server that executes a pavement information visualization unit that receives the information and displays the information on the map so that the terminal can be referred to.
コンピュータを、請求項4に記載のwebサーバとして実行させるためのプログラム。   A program for causing a computer to execute as the web server according to claim 4.
JP2018092425A 2018-05-11 2018-05-11 Pavement information collection and inspection system, pavement information collection and inspection method, and program Active JP6713505B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018092425A JP6713505B2 (en) 2018-05-11 2018-05-11 Pavement information collection and inspection system, pavement information collection and inspection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018092425A JP6713505B2 (en) 2018-05-11 2018-05-11 Pavement information collection and inspection system, pavement information collection and inspection method, and program

Publications (2)

Publication Number Publication Date
JP2019196680A true JP2019196680A (en) 2019-11-14
JP6713505B2 JP6713505B2 (en) 2020-06-24

Family

ID=68537364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018092425A Active JP6713505B2 (en) 2018-05-11 2018-05-11 Pavement information collection and inspection system, pavement information collection and inspection method, and program

Country Status (1)

Country Link
JP (1) JP6713505B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111705605A (en) * 2020-07-07 2020-09-25 五邑大学 Road surface flatness detection device
CN112985311A (en) * 2021-02-09 2021-06-18 上海同陆云交通科技有限公司 Vehicle-mounted portable lightweight intelligent inspection method and system
JP6892974B1 (en) * 2020-07-06 2021-06-23 日本電気株式会社 Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and program
JP6906271B1 (en) * 2021-03-18 2021-07-21 日本電気株式会社 Road deterioration diagnosis device, road deterioration diagnosis method, and program
JP7021798B1 (en) 2020-12-04 2022-02-17 国立研究開発法人土木研究所 Trained model generation method, road surface slip friction coefficient estimation device, road surface slip friction coefficient estimation program and road surface slip friction coefficient estimation method
WO2022168223A1 (en) * 2021-02-04 2022-08-11 日本電気株式会社 Instruction data generation device, condition determination device, condition determination system, instruction data generation method, condition determination method, and storage media
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition
WO2022219729A1 (en) * 2021-04-14 2022-10-20 中日本高速道路株式会社 Image data collection system for expressway inspection
CN116448773A (en) * 2023-06-19 2023-07-18 河北工业大学 Pavement disease detection method and system with image-vibration characteristics fused

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111778819B (en) * 2020-07-24 2022-04-01 河南省交通规划设计研究院股份有限公司 Intelligent road detection device
KR102333520B1 (en) * 2020-10-12 2021-12-01 주식회사 도로시 Method, device and system for detecting object on road
KR102624378B1 (en) * 2021-08-30 2024-01-12 국립한밭대학교 산학협력단 Crack detection system for road

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009270968A (en) * 2008-05-08 2009-11-19 Toshihiko Fukuhara Road surface quality measuring device, and road surface management system based on road surface quality measurement result
JP2010066040A (en) * 2008-09-09 2010-03-25 Kitami Institute Of Technology Apparatus for measuring road surface flatness
JP2012012792A (en) * 2010-06-30 2012-01-19 Takeo Yamamoto Road surface state measurement method, road surface state measurement apparatus and computer program
JP2013079889A (en) * 2011-10-05 2013-05-02 Shuichi Kameyama Road surface irregularity evaluation system
JP2014062356A (en) * 2012-02-29 2014-04-10 Kitami Institute Of Technology Method for evaluating damage to pavement body
WO2014170989A1 (en) * 2013-04-18 2014-10-23 西日本高速道路エンジニアリング四国株式会社 Device for inspecting shape of road travel surface
JP2015197804A (en) * 2014-04-01 2015-11-09 阪神高速技術株式会社 Road measurement system
JP5832056B1 (en) * 2014-10-06 2015-12-16 株式会社シンメトリック Program for displaying Web page, terminal device, and server device
JP2016191592A (en) * 2015-03-31 2016-11-10 中日本ハイウェイ・メンテナンス東名株式会社 Road surface smoothness evaluation method
JP2018018461A (en) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 Information processing apparatus, display device, information processing method, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009270968A (en) * 2008-05-08 2009-11-19 Toshihiko Fukuhara Road surface quality measuring device, and road surface management system based on road surface quality measurement result
JP2010066040A (en) * 2008-09-09 2010-03-25 Kitami Institute Of Technology Apparatus for measuring road surface flatness
JP2012012792A (en) * 2010-06-30 2012-01-19 Takeo Yamamoto Road surface state measurement method, road surface state measurement apparatus and computer program
JP2013079889A (en) * 2011-10-05 2013-05-02 Shuichi Kameyama Road surface irregularity evaluation system
JP2014062356A (en) * 2012-02-29 2014-04-10 Kitami Institute Of Technology Method for evaluating damage to pavement body
WO2014170989A1 (en) * 2013-04-18 2014-10-23 西日本高速道路エンジニアリング四国株式会社 Device for inspecting shape of road travel surface
JP2015197804A (en) * 2014-04-01 2015-11-09 阪神高速技術株式会社 Road measurement system
JP5832056B1 (en) * 2014-10-06 2015-12-16 株式会社シンメトリック Program for displaying Web page, terminal device, and server device
JP2016191592A (en) * 2015-03-31 2016-11-10 中日本ハイウェイ・メンテナンス東名株式会社 Road surface smoothness evaluation method
JP2018018461A (en) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 Information processing apparatus, display device, information processing method, and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6892974B1 (en) * 2020-07-06 2021-06-23 日本電気株式会社 Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and program
WO2022009272A1 (en) * 2020-07-06 2022-01-13 日本電気株式会社 Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and recording medium
CN111705605A (en) * 2020-07-07 2020-09-25 五邑大学 Road surface flatness detection device
JP7021798B1 (en) 2020-12-04 2022-02-17 国立研究開発法人土木研究所 Trained model generation method, road surface slip friction coefficient estimation device, road surface slip friction coefficient estimation program and road surface slip friction coefficient estimation method
JP2022089676A (en) * 2020-12-04 2022-06-16 国立研究開発法人土木研究所 Trained model generation method, and device, program and method for estimating sliding friction coefficient of road surface
WO2022168223A1 (en) * 2021-02-04 2022-08-11 日本電気株式会社 Instruction data generation device, condition determination device, condition determination system, instruction data generation method, condition determination method, and storage media
JP7468711B2 (en) 2021-02-04 2024-04-16 日本電気株式会社 Teacher data generation device, teacher data generation method, and program
CN112985311B (en) * 2021-02-09 2022-05-24 上海同陆云交通科技有限公司 Vehicle-mounted portable lightweight intelligent inspection method and system
CN112985311A (en) * 2021-02-09 2021-06-18 上海同陆云交通科技有限公司 Vehicle-mounted portable lightweight intelligent inspection method and system
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition
JP6906271B1 (en) * 2021-03-18 2021-07-21 日本電気株式会社 Road deterioration diagnosis device, road deterioration diagnosis method, and program
WO2022195812A1 (en) * 2021-03-18 2022-09-22 日本電気株式会社 Road deteriotation diagnosis device, road deterioration diagnosis method, and recording medium
WO2022219729A1 (en) * 2021-04-14 2022-10-20 中日本高速道路株式会社 Image data collection system for expressway inspection
JP7179437B1 (en) * 2021-04-14 2022-11-29 中日本高速道路株式会社 Image data collection system for expressway inspection
CN116448773A (en) * 2023-06-19 2023-07-18 河北工业大学 Pavement disease detection method and system with image-vibration characteristics fused
CN116448773B (en) * 2023-06-19 2023-08-18 河北工业大学 Pavement disease detection method and system with image-vibration characteristics fused

Also Published As

Publication number Publication date
JP6713505B2 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6713505B2 (en) Pavement information collection and inspection system, pavement information collection and inspection method, and program
JP7195021B2 (en) Data collection device, road condition evaluation support device, and program
CN107923132B (en) Crack analysis device, crack analysis method, and recording medium
CN103778681B (en) A kind of vehicle-mounted highway cruising inspection system and data acquisition and disposal route
KR102167291B1 (en) System and method for providing road status information
JP7333511B2 (en) Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method
KR20190094005A (en) Apparatus and method of image processing and deep learning image classification for detecting road surface damage
WO2021199915A1 (en) Degradation display system, degradation display method, and storage medium
KR102167292B1 (en) Apparatus and method for providing road status information
CA3211954A1 (en) System and method for automatic monitoring of pavement condition
US20220101272A1 (en) System and Method for Optimized Road Maintenance Planning
Benmhahe et al. Automated pavement distress detection, classification and measurement: A review
JP2021026353A (en) Road surface property inspection system, road surface property inspection method, and road surface property inspection program
KR20190030328A (en) A terminal and system for detecting road damage
KR20200007165A (en) Pot-hole detection system using vision sensor mounted on unmanned air vehicle, and method for the same
WO2021076573A1 (en) Systems and methods for assessing infrastructure
CN116912551A (en) Expressway equipment monitoring system based on Internet of vehicles
US20240149899A1 (en) Risk of occurrence calculating apparatus, risk of occurrence displaying system, and risk of occurrence calculating method
JP6965536B2 (en) Information processing system, evaluation system, information processing method and program
TWI736245B (en) Artificial intelligence road inspection and detection system
Brunauer et al. Supporting road maintenance with in-vehicle data: Results from a field trial on road surface condition monitoring
TWM600416U (en) Artificial intelligence road patrolling and inspection system
JP6892197B1 (en) Deterioration display system, deterioration display method, and program
TW201013589A (en) A detection method and device for violation of traffic rules
Exner et al. Monitoring Street Infrastructures with Artificial Intelligence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200603

R150 Certificate of patent or registration of utility model

Ref document number: 6713505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250