JP2019082377A - Road surface state detection device, and road surface state detection system - Google Patents

Road surface state detection device, and road surface state detection system Download PDF

Info

Publication number
JP2019082377A
JP2019082377A JP2017209439A JP2017209439A JP2019082377A JP 2019082377 A JP2019082377 A JP 2019082377A JP 2017209439 A JP2017209439 A JP 2017209439A JP 2017209439 A JP2017209439 A JP 2017209439A JP 2019082377 A JP2019082377 A JP 2019082377A
Authority
JP
Japan
Prior art keywords
road surface
area
state
distance
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017209439A
Other languages
Japanese (ja)
Other versions
JP7004543B2 (en
Inventor
淑久 山内
Yoshihisa Yamauchi
淑久 山内
宗彦 前田
Munehiko Maeda
宗彦 前田
尚遇 辛
Shang Yu Xin
尚遇 辛
尚 大田
Nao Ota
尚 大田
俊寛 林
Toshihiro Hayashi
俊寛 林
生川 俊則
Toshinori Ubukawa
俊則 生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2017209439A priority Critical patent/JP7004543B2/en
Publication of JP2019082377A publication Critical patent/JP2019082377A/en
Application granted granted Critical
Publication of JP7004543B2 publication Critical patent/JP7004543B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

To improve the detection accuracy of a road surface state.SOLUTION: A road surface state detection device 10 is a device for detecting the state of an object road surface as a detection object. The detection device includes: an acquisition unit 13 for acquiring the distance information indicating the distance between each measurement point on the object road surface and a distance sensor 2; a detection unit 14 for detecting the shape of the object road surface on the basis of the distance information; a determination unit 17 for determining whether, when the object road surface includes a region having a recessed shape or a projecting shape, the region is in an abnormal state or not; and an output unit 18 for outputting a determination result by the determination unit 17. The determination unit 17 determines whether the region is in an abnormal state or not on the basis of the shape in a normal state of the region.SELECTED DRAWING: Figure 1

Description

本開示は、路面状態検知装置、及び路面状態検知システムに関する。   The present disclosure relates to a road surface condition detection device and a road surface condition detection system.

路面の形状を測定する装置が知られている。例えば、特許文献1には、路面上の各点にレーザ光等の光を照射し、路面上の各点と装置との距離を測定することで、路面の凹凸形状を検知する路面性状測定装置が開示されている。   Devices for measuring the shape of the road surface are known. For example, in Patent Document 1, each point on the road surface is irradiated with light such as laser light, and the distance between the point on the road surface and the device is measured to detect the uneven shape of the road surface. Is disclosed.

特開2004−294152号公報Unexamined-Japanese-Patent No. 2004-294152

このような装置によって検知された路面の形状が平坦でない場合に、路面の状態が異常であると判定されることがある。しかしながら、特許文献1に記載の路面性状測定装置では、例えば、溝が元々形成されている路面であっても、凹形状であると判定される。このように、本来は正常な路面であっても、異常であると判定されるおそれがある。   When the shape of the road surface detected by such a device is not flat, it may be determined that the state of the road surface is abnormal. However, in the road surface property measuring device described in Patent Document 1, for example, even a road surface on which a groove is originally formed is determined to have a concave shape. Thus, even if the road surface is originally normal, it may be determined as abnormal.

本開示は、路面状態の検知精度を向上させることが可能な路面状態検知装置、及び路面状態検知システムを説明する。   The present disclosure describes a road surface state detection device and a road surface state detection system capable of improving the detection accuracy of the road surface state.

本開示の一側面に係る路面状態検知装置は、検知対象である対象路面の状態を検知する装置である。路面状態検知装置は、対象路面上の各計測点と計測装置との距離を示す距離情報を取得する第1取得部と、距離情報に基づいて、対象路面の形状を検知する検知部と、対象路面が凹形状又は凸形状の領域を含む場合に、領域が異常状態であるか否かを判定する判定部と、判定部による判定結果を出力する出力部と、を備える。判定部は、領域の正常状態での形状に基づいて、領域が異常状態であるか否かを判定する。   A road surface state detecting device according to one aspect of the present disclosure is a device that detects a state of a target road surface that is a detection target. The road surface state detecting device comprises: a first acquisition unit for acquiring distance information indicating the distance between each measurement point on the target road surface and the measuring device; a detection unit for detecting the shape of the target road surface based on the distance information; When the road surface includes a concave or convex area, a determination unit that determines whether the area is in an abnormal state and an output unit that outputs a determination result by the determination unit are provided. The determination unit determines whether the area is in an abnormal state based on the shape of the area in the normal state.

本開示によれば、路面状態の検知精度を向上させることができる。   According to the present disclosure, the detection accuracy of the road surface state can be improved.

図1は、一実施形態に係る路面状態検知システムの機能ブロック図である。FIG. 1 is a functional block diagram of a road surface condition detection system according to an embodiment. 図2は、ラインスキャンセンサによる計測を説明するための図である。FIG. 2 is a diagram for explaining measurement by the line scan sensor. 図3は、図1の路面状態検知装置のハードウェア構成図である。FIG. 3 is a hardware configuration diagram of the road surface state detecting device of FIG. 図4の(a)、(b)は、計測点における対象路面の高さを示す図である。(A), (b) of FIG. 4 is a figure which shows the height of the object road surface in a measurement point. 図5は、図1の路面状態検知システムが搭載された車両による走行例を示す図である。FIG. 5 is a diagram showing an example of traveling by a vehicle equipped with the road surface state detection system of FIG. 図6は、路面状態検知装置が行う路面状態検知方法の一例を示すフローチャートである。FIG. 6 is a flowchart showing an example of a road surface state detection method performed by the road surface state detection device.

[1]実施形態の概要
本開示の一側面に係る路面状態検知装置は、検知対象である対象路面の状態を検知する装置である。路面状態検知装置は、対象路面上の各計測点と計測装置との距離を示す距離情報を取得する第1取得部と、距離情報に基づいて、対象路面の形状を検知する検知部と、対象路面が凹形状又は凸形状の領域を含む場合に、領域が異常状態であるか否かを判定する判定部と、判定部による判定結果を出力する出力部と、を備える。判定部は、領域の正常状態での形状に基づいて、領域が異常状態であるか否かを判定する。
[1] Overview of Embodiment A road surface state detecting device according to one aspect of the present disclosure is a device that detects a state of a target road surface to be detected. The road surface state detecting device comprises: a first acquisition unit for acquiring distance information indicating the distance between each measurement point on the target road surface and the measuring device; a detection unit for detecting the shape of the target road surface based on the distance information; When the road surface includes a concave or convex area, a determination unit that determines whether the area is in an abnormal state and an output unit that outputs a determination result by the determination unit are provided. The determination unit determines whether the area is in an abnormal state based on the shape of the area in the normal state.

この路面状態検知装置では、対象路面上の各計測点と計測装置との距離を示す距離情報に基づいて、対象路面の形状が検知される。対象路面が凹形状又は凸形状の領域を含む場合に、当該領域の正常状態での形状に基づいて、当該領域が異常状態であるか否かが判定され、判定結果が出力される。このため、例えば、正常状態の領域が凹形状又は凸形状を有している場合に、当該領域が異常状態であると判定される可能性を低減することができる。その結果、路面状態の検知精度を向上させることが可能となる。   In the road surface state detecting device, the shape of the target road surface is detected based on distance information indicating the distance between each measurement point on the target road surface and the measuring device. When the target road surface includes a concave or convex area, whether or not the area is abnormal is determined based on the shape of the area in the normal state, and the determination result is output. Therefore, for example, when the area in the normal state has a concave shape or a convex shape, the possibility that the area is determined to be abnormal can be reduced. As a result, it is possible to improve the detection accuracy of the road surface state.

上記路面状態検知装置は、領域を撮像することで得られた撮像画像を取得する第2取得部をさらに備えてもよい。判定部は、領域の正常状態を示す参照画像と撮像画像とを比較することによって領域が異常状態であるか否かを判定してもよい。この場合、対象路面が凹形状又は凸形状の領域を含む場合に、当該領域の正常状態を示す参照画像と撮像画像とを比較することによって、当該領域が異常状態であるか否かが判定される。このため、例えば、正常状態の領域が凹形状又は凸形状を有している場合に、当該領域が異常状態であると判定される可能性を低減することができる。その結果、路面状態の検知精度を向上させることが可能となる。   The road surface state detection device may further include a second acquisition unit that acquires a captured image obtained by capturing an area. The determination unit may determine whether the area is in an abnormal state by comparing a reference image indicating a normal state of the area with the captured image. In this case, when the target road surface includes a concave or convex area, it is determined whether the area is abnormal or not by comparing the reference image indicating the normal state of the area with the captured image. Ru. Therefore, for example, when the area in the normal state has a concave shape or a convex shape, the possibility that the area is determined to be abnormal can be reduced. As a result, it is possible to improve the detection accuracy of the road surface state.

判定部は、距離情報に基づいて、領域の種別を識別し、識別された種別が予め定められた除外対象の種別である除外種別である場合には、領域が正常状態であると判定してもよい。領域が凹形状又は凸形状となっている原因が、例えば路面走行に影響を与えないような種別(水たまり等)である場合には、当該領域は正常状態とみなされ得る。このように、路面走行に影響を与えない種別が除外種別として予め定められることによって、異常状態の過検知を抑制することができる。その結果、路面状態の検知精度を向上させることが可能となる。   The determination unit identifies the type of the area based on the distance information, and determines that the area is in the normal state if the identified type is an exclusion type that is a predetermined type of exclusion target. It is also good. If the cause of the area being concave or convex is, for example, a type (such as a puddle) that does not affect road surface travel, the area may be regarded as a normal state. As described above, by predetermining the type that does not affect road surface travel as the excluded type, it is possible to suppress overdetection of an abnormal state. As a result, it is possible to improve the detection accuracy of the road surface state.

出力部は、領域が異常状態であると判定された場合に、領域の位置情報を出力してもよい。この場合、異常状態の領域の位置を特定することができる。これにより、路面の修復及び支障物(落下物)の除去といった保守作業を効率よく行うことが可能となる。   The output unit may output position information of the area when it is determined that the area is in an abnormal state. In this case, the position of the abnormal state area can be identified. This makes it possible to efficiently perform maintenance work such as road surface repair and removal of obstacles (falling objects).

対象路面は、滑走路であってもよい。滑走路では、安全性の観点から、支障物の除去、及び路面損傷の修復が望まれている。このため、路面状態の検知精度を向上させることで、航空機等の飛行体の安全性を高めることが可能となる。   The target road surface may be a runway. On the runway, from the viewpoint of safety, removal of obstacles and repair of road surface damage are desired. Therefore, by improving the detection accuracy of the road surface state, it is possible to improve the safety of the flying object such as an aircraft.

本発明の別の側面に係る路面状態検知システムは、上述の路面状態検知装置と、距離を計測する計測装置と、を備える。この路面状態検知システムは、上述の路面状態検知装置を備えているので、路面状態の検知精度を向上させることが可能となる。   A road surface condition detection system according to another aspect of the present invention includes the above-described road surface condition detection device and a measurement device that measures a distance. Since the road surface state detection system includes the above-described road surface state detection device, it is possible to improve the detection accuracy of the road surface state.

計測装置は、車両に設けられてもよい。この場合、車両が対象路面を走行しながら、対象路面と計測装置との距離が計測される。このため、距離情報の生成を容易化することができる。   The measuring device may be provided in the vehicle. In this case, the distance between the target road surface and the measuring device is measured while the vehicle travels on the target road surface. For this reason, generation of distance information can be facilitated.

[2]実施形態の例示
以下、本開示の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。
[2] Example of Embodiment Hereinafter, an embodiment of the present disclosure will be described with reference to the drawings. In the description of the drawings, the same elements will be denoted by the same reference symbols, without redundant description.

図1は、一実施形態に係る路面状態検知システムの機能ブロック図である。図1に示される路面状態検知システム1は、検知対象の路面である対象路面の状態を検知するシステムである。対象路面としては、例えば、空港の滑走路が挙げられる。対象路面の状態としては、路面損傷の有無、及び支障物(落下物)の有無等が検知される。路面状態検知システム1は、例えば、車両に搭載される。路面状態検知システム1が搭載される車両は、有人車両及び無人車両(自動走行車両)のいずれでもよく、パトロールカー、及びエアポートスイーパー等の既存の車両でもよい。路面状態検知システム1は、車両に後付け可能に構成されている。路面状態検知システム1は、距離センサ2と、カメラ3と、GPS(Global Positioning System)装置4と、通信装置5と、路面状態検知装置10と、を備える。   FIG. 1 is a functional block diagram of a road surface condition detection system according to an embodiment. The road surface state detection system 1 shown in FIG. 1 is a system that detects the state of an object road surface that is a road surface to be detected. The target road surface may be, for example, an airport runway. As the state of the target road surface, the presence or absence of road surface damage and the presence or absence of an obstacle (falling object) are detected. The road surface condition detection system 1 is mounted on, for example, a vehicle. The vehicle on which the road surface state detection system 1 is mounted may be either a manned vehicle or an unmanned vehicle (automatic traveling vehicle), or may be an existing vehicle such as a patrol car and an airport sweeper. The road surface condition detection system 1 is configured to be retrofitted to a vehicle. The road surface condition detection system 1 includes a distance sensor 2, a camera 3, a GPS (Global Positioning System) device 4, a communication device 5, and a road surface condition detection device 10.

距離センサ2は、対象路面の各計測点と距離センサ2との距離を計測する計測装置である。計測点は、路面の走行方向に対して一定の間隔で設けられる。距離センサ2は、例えば、車両のボデーの底部に設けられる。距離センサ2としては、例えば、ミリ波レーダ、及びラインスキャンセンサが用いられる。本実施形態では、距離センサ2として、レーザ式のラインスキャンセンサが用いられる。   The distance sensor 2 is a measuring device that measures the distance between each of the measurement points on the target road surface and the distance sensor 2. The measurement points are provided at regular intervals with respect to the traveling direction of the road surface. The distance sensor 2 is provided, for example, at the bottom of the body of the vehicle. For example, a millimeter wave radar and a line scan sensor are used as the distance sensor 2. In the present embodiment, a laser type line scan sensor is used as the distance sensor 2.

図2は、ラインスキャンセンサによる計測を説明するための図である。図2に示されるように、ラインスキャンセンサは、例えば、光切断法によって、ラインスキャンセンサと対象路面Rとの距離を計測する。具体的には、ラインスキャンセンサは、各計測点において、車両の走行方向に対して交差する方向(ここでは、直交する方向)に延びるスキャンラインに沿ってレーザ光を走査する。スキャンラインの長さは、例えば、1m程度である。複数のラインスキャンセンサが用いられることで、車幅程度の長さのスキャンラインが得られる。所望の車両の走行速度に対して、所望の解像度が得られるように、ラインスキャンセンサの走査周期が設定される。走査周期は、例えば、5kHz程度に設定される。計測点の間隔は、走行速度と走査周期とによって定まる。ラインスキャンセンサは、レーザ光を対象路面Rに向けて照射し、対象路面Rによって反射された反射光を受光する。三角測量に基づいて、ラインスキャンセンサと対象路面Rとの距離が計測される。   FIG. 2 is a diagram for explaining measurement by the line scan sensor. As shown in FIG. 2, the line scan sensor measures the distance between the line scan sensor and the target road surface R by, for example, a light cutting method. Specifically, at each measurement point, the line scan sensor scans the laser light along a scan line extending in a direction (here, a direction perpendicular to the traveling direction of the vehicle). The length of the scan line is, for example, about 1 m. By using a plurality of line scan sensors, a scan line about the width of the vehicle can be obtained. The scanning cycle of the line scan sensor is set so as to obtain the desired resolution for the desired traveling speed of the vehicle. The scanning cycle is set to, for example, about 5 kHz. The interval between measurement points is determined by the traveling speed and the scanning cycle. The line scan sensor emits laser light toward the target road surface R, and receives reflected light reflected by the target road surface R. Based on triangulation, the distance between the line scan sensor and the target road surface R is measured.

図2の例では、対象路面RにボルトネジBが落ちている。各計測点において、スキャンラインは、ボルトネジBの延在方向と交差する方向に延びている。この場合、対象路面Rのうち、ボルトネジBが存在しない部分では、距離センサ2によって計測される距離は、距離センサ2と対象路面Rとの距離である。ボルトネジBが存在する部分では、距離センサ2によって計測される距離は、距離センサ2とボルトネジBの表面との距離である。距離センサ2は、計測した距離を示す情報を路面状態検知装置10に送信する。   In the example of FIG. 2, the bolt screw B falls on the target road surface R. At each measurement point, the scan line extends in a direction intersecting the extending direction of the bolt screw B. In this case, the distance measured by the distance sensor 2 is the distance between the distance sensor 2 and the target road surface R in the portion where the bolt screw B does not exist in the target road surface R. In the portion where the bolt screw B exists, the distance measured by the distance sensor 2 is the distance between the distance sensor 2 and the surface of the bolt screw B. The distance sensor 2 transmits information indicating the measured distance to the road surface state detecting device 10.

カメラ3は、対象路面の各計測点を撮像することで撮像画像を生成する撮像装置である。カメラ3は、例えば、車両のボデーの底部に設けられる。カメラ3としては、例えば、デジタルカメラが用いられる。撮像画像は、静止画でもよく、動画でもよい。カメラ3は、距離センサ2と同期して対象路面を撮像する。カメラ3の撮像周期は、距離センサ2の走査周期と同じでもよく、距離センサ2の走査周期よりも長くてもよい。カメラ3の撮像周期は、距離センサ2の走査周期の整数倍でもよい。つまり、カメラ3の計測点は、距離センサ2の計測点と同じでもよく、距離センサ2の計測点のうちの所定個置きの計測点であってもよい。カメラ3は、撮像画像を路面状態検知装置10に送信する。   The camera 3 is an imaging device that generates a captured image by imaging each measurement point on the target road surface. The camera 3 is provided, for example, at the bottom of the body of the vehicle. As the camera 3, for example, a digital camera is used. The captured image may be a still image or a moving image. The camera 3 images the target road surface in synchronization with the distance sensor 2. The imaging cycle of the camera 3 may be the same as the scanning cycle of the distance sensor 2 or may be longer than the scanning cycle of the distance sensor 2. The imaging cycle of the camera 3 may be an integral multiple of the scanning cycle of the distance sensor 2. That is, the measurement points of the camera 3 may be the same as the measurement points of the distance sensor 2 or may be measurement points every predetermined one of the measurement points of the distance sensor 2. The camera 3 transmits the captured image to the road surface state detecting device 10.

GPS装置4は、路面状態検知システム1が搭載された車両の位置を検出する装置である。本実施形態では、GPS装置4として、GPS/IMU(Global Positioning System/Inertial Measurement Unit:慣性航法装置)が用いられる。GPS装置4は、車両の位置(緯度、経度、及び標高)を示す位置情報を生成する。GPS装置4は、距離センサ2及びカメラ3と同期して位置情報を生成する。つまり、GPS装置4は、対象路面の各計測点の位置を示す位置情報を生成する。GPS装置4は、位置情報を路面状態検知装置10に送信する。GPS装置4は、車両の向きを示す姿勢情報を生成してもよい。   The GPS device 4 is a device that detects the position of a vehicle on which the road surface condition detection system 1 is mounted. In the present embodiment, a GPS / IMU (Global Positioning System / Inertial Measurement Unit) is used as the GPS device 4. The GPS device 4 generates position information indicating the position (latitude, longitude, and altitude) of the vehicle. The GPS device 4 generates position information in synchronization with the distance sensor 2 and the camera 3. That is, the GPS device 4 generates position information indicating the position of each measurement point on the target road surface. The GPS device 4 transmits position information to the road surface condition detecting device 10. The GPS device 4 may generate attitude information indicating the direction of the vehicle.

通信装置5は、外部の装置と通信を行うための装置である。通信装置5としては、例えば無線通信装置が用いられる。通信装置5は、例えば、不図示の管制センター(管制塔)と通信を行う。   The communication device 5 is a device for communicating with an external device. For example, a wireless communication device is used as the communication device 5. The communication device 5 communicates with, for example, a control center (control tower) (not shown).

路面状態検知装置10は、対象路面の状態を検知する装置である。路面状態検知装置10は、距離を示す情報、撮像画像、及び位置情報に基づいて、対象路面に異常領域が含まれるか否かを判定し、通信装置5を介して管制センターに判定結果を送信する。異常領域は、損傷又は支障物が存在する領域である。路面状態検知装置10は、例えば、コンピュータ等の情報処理装置によって構成される。   The road surface state detection device 10 is a device that detects the state of the target road surface. The road surface state detecting device 10 determines whether an abnormal area is included in the target road surface based on the information indicating the distance, the captured image, and the position information, and transmits the determination result to the control center via the communication device 5 Do. An abnormal area is an area in which a damage or an obstacle exists. The road surface state detecting device 10 is configured of, for example, an information processing device such as a computer.

図3は、路面状態検知装置のハードウェア構成図である。図3に示されるように、路面状態検知装置10は、物理的には、1又は複数のプロセッサ101、RAM(Random Access Memory)及びROM(Read Only Memory)等の主記憶装置102、ハードディスク装置等の補助記憶装置103、操作パネル等の入力装置104、ディスプレイ等の出力装置105、並びに、データ送受信デバイスである通信モジュール106等のハードウェアを備えるコンピュータとして構成され得る。路面状態検知装置10の図1に示される各機能は、主記憶装置102等のハードウェアに1又は複数の所定のコンピュータプログラムを読み込ませることにより、1又は複数のプロセッサ101の制御のもとで各ハードウェアを動作させるとともに、主記憶装置102及び補助記憶装置103におけるデータの読み出し及び書き込みを行うことで実現される。   FIG. 3 is a hardware configuration diagram of the road surface state detecting device. As shown in FIG. 3, the road surface condition detecting device 10 physically includes one or more processors 101, a main storage device 102 such as a random access memory (RAM) and a read only memory (ROM), a hard disk drive etc. The computer may be configured as a computer including hardware such as the auxiliary storage device 103, the input device 104 such as an operation panel, the output device 105 such as a display, and the communication module 106 which is a data transmission / reception device. Each function shown in FIG. 1 of the road surface condition detecting apparatus 10 is controlled by one or more processors 101 by causing hardware such as the main storage device 102 to read one or more predetermined computer programs. This is realized by operating each hardware and reading and writing data in the main storage device 102 and the auxiliary storage device 103.

路面状態検知装置10は、機能的には、距離情報記憶部11と、撮像画像記憶部12と、取得部13(第1取得部)と、検知部14と、取得部15(第2取得部)と、参照情報DB(database)16と、判定部17と、出力部18と、検知結果DB19と、を備える。   The road surface state detecting device 10 functionally includes a distance information storage unit 11, a captured image storage unit 12, an acquisition unit 13 (first acquisition unit), a detection unit 14, and an acquisition unit 15 (second acquisition unit). , Reference information DB (database) 16, a determination unit 17, an output unit 18, and a detection result DB 19.

距離情報記憶部11は、対象路面上の各計測点と距離センサ2との距離を示す距離情報を記憶する。距離情報は、距離センサ2によって計測された各計測点の距離と、GPS装置4によって検出された各計測点の位置と、を対応付けることによって生成される。距離情報記憶部11は、例えば、車両の走行経路に沿った順(計測順)に距離情報を記憶する。   The distance information storage unit 11 stores distance information indicating the distance between each measurement point on the target road surface and the distance sensor 2. The distance information is generated by associating the distance of each measurement point measured by the distance sensor 2 with the position of each measurement point detected by the GPS device 4. The distance information storage unit 11 stores, for example, distance information in order (measurement order) along the traveling route of the vehicle.

撮像画像記憶部12は、対象路面上の各計測点の撮像画像を含む画像情報を記憶する。画像情報は、カメラ3によって生成された各計測点の撮像画像と、GPS装置4によって検出された各計測点の位置と、を対応付けることによって生成される。撮像画像記憶部12は、例えば、車両の走行経路に沿った順(計測順)に画像情報を記憶する。   The captured image storage unit 12 stores image information including captured images of measurement points on the target road surface. The image information is generated by associating the captured image of each measurement point generated by the camera 3 with the position of each measurement point detected by the GPS device 4. The captured image storage unit 12 stores, for example, image information in order (measurement order) along a traveling route of a vehicle.

取得部13は、距離情報記憶部11に記憶されている距離情報を取得する。取得部13は、例えば、車両の走行経路に沿った順に距離情報を取得する。取得部13は、取得した距離情報を検知部14に出力する。   The acquisition unit 13 acquires distance information stored in the distance information storage unit 11. The acquisition unit 13 acquires, for example, distance information in order along the travel route of the vehicle. The acquisition unit 13 outputs the acquired distance information to the detection unit 14.

検知部14は、距離情報に基づいて、対象路面の形状を検知する。具体的には、検知部14は、走行経路に沿って所定の距離ごとに対象路面を区分した領域の形状を検知する。検知部14は、領域に含まれる複数の計測点の距離情報を用いて、当該領域の3次元形状を検知する。例えば、滑走路の路面では、ほとんどの部分が平坦であるので、距離センサ2と滑走路の路面との距離は一定距離とみなされ得る。この一定距離は、予め設定されている。検知部14は、一定距離から距離センサ2で計測された距離を減算することで、対象路面の高さを算出する。   The detection unit 14 detects the shape of the target road surface based on the distance information. Specifically, the detection unit 14 detects the shape of the area obtained by dividing the target road surface at predetermined distances along the travel route. The detection unit 14 detects the three-dimensional shape of the area using distance information of a plurality of measurement points included in the area. For example, on the runway surface, since the most part is flat, the distance between the distance sensor 2 and the runway surface can be regarded as a fixed distance. This fixed distance is preset. The detection unit 14 calculates the height of the target road surface by subtracting the distance measured by the distance sensor 2 from the predetermined distance.

図4の(a)に示されるように、検知部14は、図2の計測点P1において計測された距離に基づいて、計測点P1における対象路面Rの高さを算出する。計測点P1におけるスキャンラインは、ボルトネジBの頭部を通過するので、対象路面Rの高さは、ボルトネジBが存在する位置で大きくなる。同様に、図4の(b)に示されるように、検知部14は、図2の計測点P2において計測された距離に基づいて、計測点P2における対象路面Rの高さを算出する。計測点P2におけるスキャンラインは、ボルトネジBの軸部を通過するので、対象路面Rの高さは、ボルトネジBが存在する位置で大きくなる。ボルトネジBの軸部の径は、ボルトネジBの頭部の径よりも小さいので、ボルトネジBの軸部における高さは、ボルトネジBの頭部における高さよりも小さい。   As illustrated in (a) of FIG. 4, the detection unit 14 calculates the height of the target road surface R at the measurement point P1 based on the distance measured at the measurement point P1 of FIG. 2. Since the scan line at the measurement point P1 passes the head of the bolt screw B, the height of the target road surface R increases at the position where the bolt screw B exists. Similarly, as illustrated in (b) of FIG. 4, the detection unit 14 calculates the height of the target road surface R at the measurement point P2 based on the distance measured at the measurement point P2 of FIG. 2. Since the scan line at the measurement point P2 passes through the shaft portion of the bolt screw B, the height of the target road surface R increases at the position where the bolt screw B exists. Since the diameter of the shank of the bolt screw B is smaller than the diameter of the head of the bolt screw B, the height of the shank of the bolt screw B is smaller than the height of the head of the bolt screw B.

このように、検知部14は、走行経路に沿って連続する複数の計測点における対象路面の高さをその順につなぎ合わせることで、対象路面の形状(3次元形状)を再現する。例えば、対象路面に落下物等の支障物が存在する場合には、対象路面の3次元形状は凸形状となり、対象路面が損傷して穴が形成されている場合には、対象路面の3次元形状は凹形状となる。   As described above, the detection unit 14 reproduces the shape (three-dimensional shape) of the target road surface by connecting the heights of the target road surface at a plurality of continuous measurement points along the traveling route in that order. For example, when an obstacle such as a falling object exists on the target road surface, the three-dimensional shape of the target road surface becomes a convex shape, and when the target road surface is damaged and a hole is formed, the three-dimensional shape of the target road surface The shape is concave.

検知部14は、各領域の形状が凹形状又は凸形状を含むか、平坦な形状であるか、を判定する。検知部14は、各領域に含まれる計測点の距離と上限閾値とを比較し、当該領域の形状が凸形状を含むか否かを判定する。上限閾値は、路面が平坦であるとみなし得る上限の値である。検知部14は、領域に含まれる計測点の距離の少なくとも1以上が上限閾値よりも大きい場合に、当該領域の形状が凸形状を含むと判定する。   The detection unit 14 determines whether the shape of each region includes a concave shape or a convex shape or a flat shape. The detection unit 14 compares the distance between the measurement points included in each area and the upper limit threshold to determine whether the shape of the area includes a convex shape. The upper limit threshold is a value of the upper limit that can be regarded as the road surface being flat. When at least one or more of the distances of the measurement points included in the area is larger than the upper limit threshold, the detection unit 14 determines that the shape of the area includes a convex shape.

同様に、検知部14は、各領域に含まれる計測点の距離と下限閾値とを比較し、当該領域の形状が凹形状を含むか否かを判定する。下限閾値は、路面が平坦であるとみなし得る下限の値である。検知部14は、領域に含まれる計測点の距離の少なくとも1以上が下限閾値よりも小さい場合に、当該領域の形状が凹形状を含むと判定する。検知部14は、領域に含まれる計測点の距離のすべてが上限閾値以下であり、下限閾値以上である場合に、当該領域の形状が平坦であると判定する。検知部14は、凹形状又は凸形状を含むと判定した領域を候補領域とし、候補領域の位置を示す位置情報を取得部15に出力する。   Similarly, the detection unit 14 compares the distance between the measurement points included in each area and the lower threshold, and determines whether the shape of the area includes a concave shape. The lower limit threshold is a lower limit value at which the road surface can be considered flat. If at least one or more of the distances of the measurement points included in the area is smaller than the lower limit threshold, the detection unit 14 determines that the shape of the area includes a concave shape. The detection unit 14 determines that the shape of the area is flat when all the distances of the measurement points included in the area are equal to or less than the upper limit threshold and equal to or more than the lower limit threshold. The detection unit 14 sets a region determined to include a concave shape or a convex shape as a candidate region, and outputs position information indicating the position of the candidate region to the acquisition unit 15.

取得部15は、撮像画像記憶部12に記憶されている画像情報から、候補領域を撮像することで得られた撮像画像を取得する。具体的には、取得部15は、画像情報のうち、検知部14から受け取った位置情報によって示される位置(領域)に対応する画像情報を抽出し、その画像情報に含まれる撮像画像を取得する。取得部15は、取得した撮像画像を判定部17に出力する。   The acquisition unit 15 acquires a captured image obtained by capturing a candidate area from the image information stored in the captured image storage unit 12. Specifically, the acquisition unit 15 extracts image information corresponding to the position (area) indicated by the position information received from the detection unit 14 from the image information, and acquires a captured image included in the image information. . The acquisition unit 15 outputs the acquired captured image to the determination unit 17.

参照情報DB16は、対象路面の正常状態での形状を示す参照情報を記憶している。参照情報は、対象路面上の領域の位置(範囲)と、当該領域の正常状態での3次元形状と、当該領域の正常状態での撮像画像である参照画像と、を対応付けた情報である。参照情報は、例えば、対象路面のうち、正常状態で平坦でない非平坦領域の形状を示す。このような非平坦領域としては、既知の設備が設けられている領域が挙げられる。例えば、既知の設備として、対象路面に排水用の溝が設けられている場合、溝が設けられた領域は凹形状を有する。この場合、参照情報は、非平坦領域の位置(範囲)と、非平坦領域の正常状態での3次元形状と、非平坦領域の正常状態での撮像画像である参照画像と、を対応付けた情報である。なお、参照情報として、対象路面のうち、正常状態で平坦な平坦領域の形状を示す情報がさらに含まれてもよい。   The reference information DB 16 stores reference information indicating the shape of the target road surface in the normal state. The reference information is information in which the position (range) of the area on the target road surface, the three-dimensional shape of the area in the normal state, and the reference image that is a captured image in the normal state of the area are associated. . The reference information indicates, for example, the shape of a non-flat region that is not flat in a normal state on the target road surface. Such non-flat areas include areas provided with known equipment. For example, as a known installation, when the target road surface is provided with a draining groove, the grooved area has a concave shape. In this case, the reference information associates the position (range) of the non-flat area, the three-dimensional shape in the normal state of the non-flat area, and the reference image which is a captured image in the normal state of the non-flat area. It is information. Note that, as the reference information, information indicating the shape of a flat region in a normal state in the target road surface may be further included.

判定部17は、対象路面が凹形状又は凸形状の領域を含む場合に、当該領域を候補領域として候補領域が異常状態であるか否かを判定する。具体的には、判定部17は、候補領域の正常状態での形状と候補領域の形状とを比較することによって候補領域が異常状態であるか否かを判定する。判定部17は、例えば、参照情報DB16から候補領域の正常状態を示す参照画像を取得し、参照画像と撮像画像とを比較することによって候補領域が異常状態であるか否かを判定する。例えば、判定部17は、参照画像と撮像画像との類似度を算出し、類似度が所定の値よりも大きい場合に、正常状態であると判定し、類似度が所定の値以下である場合に異常状態であると判定してもよい。   When the target road surface includes a concave or convex area, the determination unit 17 determines the area as a candidate area and determines whether the candidate area is in an abnormal state. Specifically, the determination unit 17 determines whether the candidate area is in an abnormal state by comparing the shape of the candidate area in the normal state with the shape of the candidate area. For example, the determination unit 17 obtains a reference image indicating the normal state of the candidate area from the reference information DB 16, and determines whether the candidate area is in an abnormal state by comparing the reference image and the captured image. For example, the determination unit 17 calculates the degree of similarity between the reference image and the captured image, and determines that the state is normal when the degree of similarity is greater than a predetermined value, and the degree of similarity is less than or equal to the predetermined value. It may be determined that the system is in an abnormal state.

判定部17は、候補領域の正常状態での3次元形状と、検知部14によって検知された候補領域の3次元形状と、を比較することによって候補領域が異常状態であるか否かを判定してもよい。例えば、判定部17は、候補領域の正常状態での3次元形状と検知された候補領域の3次元形状との類似度を算出し、類似度が所定の値よりも大きい場合に、正常状態であると判定し、類似度が所定の値以下である場合に異常状態であると判定してもよい。   The determination unit 17 determines whether the candidate area is in an abnormal state by comparing the three-dimensional shape of the candidate area in the normal state with the three-dimensional shape of the candidate area detected by the detection unit 14. May be For example, the determination unit 17 calculates the similarity between the three-dimensional shape of the candidate area in the normal state and the three-dimensional shape of the detected candidate area, and in the normal state when the similarity is larger than a predetermined value. It may be determined that there is an abnormality state if the degree of similarity is equal to or less than a predetermined value.

判定部17は、候補領域の種別を識別し、識別された種別が除外対象の種別である除外種別である場合には、候補領域が正常状態であると判定してもよい。候補領域の種別は、凹形状又は凸形状となる原因を示す。このような種別として、路面損傷、支障物(デブリ)、及び水たまり等が挙げられる。このうち、路面走行に影響を与えないような種別は、除外種別として予め設定されている。除外種別としては、例えば、水たまりが挙げられる。   The determination unit 17 may identify the type of the candidate area, and may determine that the candidate area is in the normal state when the identified type is an exclusion type that is the type of the exclusion target. The type of candidate area indicates the cause of the concave or convex shape. Such types include road surface damage, obstacles (debris), and water pools. Among these, types that do not affect road surface travel are set in advance as exclusion types. The exclusion type may be, for example, a puddle.

判定部17は、距離情報に基づいて、候補領域の種別を識別する。具体的には、判定部17は、候補領域の3次元形状を用いて候補領域の種別を識別する。例えば、各種別に対応する複数の3次元形状が予め設定されてあり、判定部17は、候補領域の3次元形状と、設定されている3次元形状とを比較することで、候補領域の種別を識別する。判定部17は、候補領域の3次元形状を用いた機械学習により、候補領域の種別を識別してもよい。   The determination unit 17 identifies the type of candidate area based on the distance information. Specifically, the determination unit 17 identifies the type of the candidate area using the three-dimensional shape of the candidate area. For example, a plurality of three-dimensional shapes corresponding to each type are set in advance, and the determination unit 17 compares the three-dimensional shape of the candidate area with the set three-dimensional shape to determine the type of the candidate area. Identify The determination unit 17 may identify the type of candidate area by machine learning using the three-dimensional shape of the candidate area.

判定部17は、撮像画像に基づいて、候補領域の種別を識別してもよい。具体的には、判定部17は、候補領域の撮像画像を用いて候補領域の種別を識別してもよい。例えば、各種別に対応する複数の撮像画像が予め設定されてあり、判定部17は、候補領域の撮像画像と、設定されている撮像画像とを比較することで、候補領域の種別を識別する。判定部17は、候補領域の撮像画像を用いた機械学習により、候補領域の種別を識別してもよい。   The determination unit 17 may identify the type of the candidate area based on the captured image. Specifically, the determination unit 17 may identify the type of the candidate area using the captured image of the candidate area. For example, a plurality of captured images corresponding to each type are set in advance, and the determination unit 17 identifies the type of the candidate region by comparing the captured image of the candidate region with the set captured image. The determination unit 17 may identify the type of candidate area by machine learning using a captured image of the candidate area.

判定部17は、候補領域のうち、異常状態であると判定された領域を異常領域とし、正常状態であると判定された領域を正常領域として、判定結果を生成する。判定結果は、異常領域に関する情報と、正常領域に関する情報と、を含む。異常領域に関する情報は、当該領域の位置、種別、3次元形状、凹形状又は凸形状の大きさ、及び撮像画像等を含む。例えば、凸形状を有する異常領域の種別は、支障物に設定され、凹形状を有する異常領域の種別は、路面損傷に設定され得る。同様に、正常領域に関する情報は、当該領域の位置、種別、3次元形状、凹形状又は凸形状の大きさ、及び撮像画像等を含む。判定部17は、検知部14によって平坦な形状であると判定された領域を正常領域として、判定結果を生成してもよい。判定部17は、判定結果を出力部18に出力する。   The determination unit 17 generates a determination result by regarding an area determined as an abnormal state among the candidate areas as an abnormal area and an area determined as a normal state as a normal area. The determination result includes information on the abnormal area and information on the normal area. The information on the abnormal area includes the position, the type, the three-dimensional shape, the size of the concave shape or the convex shape, and the captured image of the area. For example, the type of an abnormal area having a convex shape may be set as an obstacle, and the type of an abnormal area having a concave shape may be set as road surface damage. Similarly, the information on the normal area includes the position, the type, the three-dimensional shape, the size of the concave or convex shape, and the captured image of the area. The determination unit 17 may generate the determination result with the area determined to have a flat shape by the detection unit 14 as a normal area. The determination unit 17 outputs the determination result to the output unit 18.

出力部18は、判定部17による判定結果を検知結果DB19に出力し、検知結果DB19に判定結果を記憶させる。出力部18は、通信装置5を介して管制センターに判定結果を出力してもよい。   The output unit 18 outputs the determination result by the determination unit 17 to the detection result DB 19 and stores the determination result in the detection result DB 19. The output unit 18 may output the determination result to the control center via the communication device 5.

検知結果DB19は、判定結果を記憶する。なお、路面状態検知装置10は、検知結果DB19を備えていなくてもよく、検知結果DB19は、路面状態検知装置10の外部(管制センター)に設けられていてもよい。これにより、対象路面の検知対象エリア(監視範囲)における状態がデータベース化される。   The detection result DB 19 stores the determination result. The road surface condition detecting device 10 may not have the detection result DB 19, and the detection result DB 19 may be provided outside the control device 10 (control center). Thereby, the state in the detection target area (monitoring range) of the target road surface is databased.

なお、車両は、車両を統括制御するECU(Electronic Control Unit)を備えている。車両が自動走行車両である場合、ECUは、車両の自動走行を制御する。ECUは、GPS装置4によって生成された位置情報と、予め設定されている滑走路の地図情報(ウェイポイント)と、に基づいて、車両の走行を制御する。ECUは、車両の状態を、通信装置5を介して管制センターに通知する。車両の状態としては、例えば、バッテリーの残量、燃料の残量、及びその他の車載機器の状態が挙げられる。   The vehicle is provided with an ECU (Electronic Control Unit) for overall control of the vehicle. When the vehicle is an automatic traveling vehicle, the ECU controls the automatic traveling of the vehicle. The ECU controls the traveling of the vehicle based on the position information generated by the GPS device 4 and map information (way point) of the runway set in advance. The ECU notifies the control center via the communication device 5 of the state of the vehicle. The state of the vehicle includes, for example, the remaining amount of battery, the remaining amount of fuel, and the state of other on-vehicle devices.

管制センターは、対象路面の地図情報を有する。管制センターは、地図情報に異常領域の位置情報を追加する。管制センターは、路面状態検知システム1が搭載されている車両を遠隔で監視する。路面状態検知システム1が搭載されている車両に、走行に支障をきたす不慮の故障(タイヤのパンク等)が発生した場合に、管制センターは、車両を強制的に停止させるための非常停止指令を車両に送信する。自動走行車両に路面状態検知システム1が搭載されている場合、自動走行機能が損なわれていないのであれば、管制センターは、車両を強制的に帰還させる強制帰還指令を車両に送信する。   The control center has map information of the target road surface. The control center adds the location information of the abnormal area to the map information. The control center remotely monitors a vehicle equipped with the road surface condition detection system 1. When an unexpected failure (such as a tire puncture) occurs that causes trouble in traveling in a vehicle equipped with the road surface condition detection system 1, the control center issues an emergency stop command for forcibly stopping the vehicle. Send to the vehicle. When the road surface condition detection system 1 is mounted on an autonomously traveling vehicle, the control center transmits to the vehicle a forcible feedback command for forcibly returning the vehicle if the automatic traveling function is not impaired.

次に、路面状態検知システム1が搭載された車両による走行例を説明する。図5は、図1の路面状態検知システムが搭載された車両による走行例を示す図である。図5に示される例では、対象路面Rは滑走路であり、車両Vは自動走行車両である。車両Vは、電気自動車であり、非接触充電によって充電され得る。車両Vには、受電装置が設けられている。   Next, an example of traveling by a vehicle equipped with the road surface condition detection system 1 will be described. FIG. 5 is a diagram showing an example of traveling by a vehicle equipped with the road surface state detection system of FIG. In the example shown in FIG. 5, the target road surface R is a runway, and the vehicle V is an automatic traveling vehicle. Vehicle V is an electric vehicle and can be charged by non-contact charge. The vehicle V is provided with a power receiving device.

車両Vには、路面状態検知システム1が搭載されている。車両Vには、複数のウェイポイントWPの位置情報(緯度及び経度)が予め設定されている。複数のウェイポイントWPは、車両Vが通過する通過点であり、車両Vの走行経路TRを規定する。複数のウェイポイントWPのそれぞれには、車両Vが走行する順番にウェイポイント番号が割り当てられている。複数のウェイポイントWPは、対象路面Rの検知対象エリアが漏れなく検知されるように設定されている。車両VのECUは、1番目のウェイポイントWPから順に、ウェイポイントWPに向かって車両Vが走行するように制御する。   The road surface state detection system 1 is mounted on the vehicle V. In the vehicle V, position information (latitude and longitude) of a plurality of waypoints WP is set in advance. The plurality of waypoints WP are passing points through which the vehicle V passes, and define a travel route TR of the vehicle V. Waypoint numbers are assigned to the plurality of waypoints WP in the order in which the vehicle V travels. The plurality of waypoints WP are set so that the detection target area of the target road surface R is detected without omission. The ECU of the vehicle V controls the vehicle V to travel toward the waypoint WP in order from the first waypoint WP.

車両Vは、路面状態検知処理を行っていない場合、駐車エリアPAに停止している。駐車エリアPAには、非接触充電を行うための送電装置が設置されている。例えば、管制センターから路面状態検知処理を行うための検知指令を受信することにより、車両Vは自動走行を開始する。車両Vは、予め設定された時刻に自動走行を開始してもよい。このとき、ECUは、路面状態検知システム1を動作させ、路面状態検知システム1に後述の路面状態検知方法を実施させる。車両Vは、走行経路TRを略一定の速度(例えば、時速60km程度)で走行する。車両Vは、走行経路TRを走行し終えると、駐車エリアPAに戻って充電を行う。このとき、ECUは、路面状態検知システム1の動作を停止する。   When the vehicle V has not performed the road surface state detection process, the vehicle V is stopped in the parking area PA. In the parking area PA, a power transmission device for performing contactless charging is installed. For example, the vehicle V starts automatic traveling by receiving a detection command for performing a road surface state detection process from the control center. The vehicle V may start automatic traveling at a preset time. At this time, the ECU operates the road surface state detection system 1 and causes the road surface state detection system 1 to implement a road surface state detection method described later. The vehicle V travels on the traveling route TR at a substantially constant speed (for example, about 60 km per hour). When the vehicle V finishes traveling on the traveling route TR, the vehicle V returns to the parking area PA to perform charging. At this time, the ECU stops the operation of the road surface condition detection system 1.

次に、路面状態検知システム1が行う路面状態検知方法について説明する。図6は、路面状態検知装置が行う路面状態検知方法の一例を示すフローチャートである。図6に示される一連の処理は、例えば、車両V(図5参照)が路面状態検知処理を実施している間、一定の時間(走行距離)ごとに実施される。   Next, a road surface condition detection method performed by the road surface condition detection system 1 will be described. FIG. 6 is a flowchart showing an example of a road surface state detection method performed by the road surface state detection device. For example, while the vehicle V (see FIG. 5) is performing the road surface condition detection process, a series of processes shown in FIG. 6 are performed at predetermined time intervals (traveling distance).

まず、対象路面R(走行経路TR)上の各計測点で、距離センサ2が距離を計測するとともに、カメラ3が対象路面Rを撮像する。このとき、GPS装置4は、車両Vの位置情報を生成する。そして、距離センサ2は、計測した距離を示す情報を路面状態検知装置10に送信し、カメラ3は、撮像画像を路面状態検知装置10に送信し、GPS装置4は、位置情報を路面状態検知装置10に送信する。   First, at each measurement point on the target road surface R (travel route TR), the distance sensor 2 measures the distance and the camera 3 captures an image of the target road surface R. At this time, the GPS device 4 generates position information of the vehicle V. Then, the distance sensor 2 transmits information indicating the measured distance to the road surface state detecting device 10, the camera 3 transmits the captured image to the road surface state detecting device 10, and the GPS device 4 detects the road surface state Send to device 10

路面状態検知装置10は、距離センサ2によって計測された各計測点の距離と、GPS装置4によって検出された各計測点の位置と、を対応付けることによって距離情報を生成し、距離情報記憶部11に距離情報を順に記憶する。同様に、路面状態検知装置10は、カメラ3によって生成された各計測点の撮像画像と、GPS装置4によって検出された各計測点の位置と、を対応付けることによって画像情報を生成し、撮像画像記憶部12に画像情報を順に記憶する。   The road surface state detecting device 10 generates distance information by correlating the distance of each measurement point measured by the distance sensor 2 with the position of each measurement point detected by the GPS device 4, and the distance information storage unit 11 The distance information is stored in order. Similarly, the road surface state detecting device 10 generates image information by associating the captured image of each measurement point generated by the camera 3 with the position of each measurement point detected by the GPS device 4 The image information is sequentially stored in the storage unit 12.

そして、取得部13は、距離情報記憶部11に記憶されている距離情報を走行経路に沿って順に取得する(ステップS11)。そして、取得部13は、取得した距離情報を検知部14に出力する。続いて、検知部14は、距離情報に基づいて、対象路面の形状を検知する(ステップS12)。具体的には、検知部14は、走行経路に沿って所定の距離ごとに対象路面を区分した領域の3次元形状を検知する。   Then, the acquiring unit 13 sequentially acquires the distance information stored in the distance information storage unit 11 along the traveling route (step S11). Then, the acquisition unit 13 outputs the acquired distance information to the detection unit 14. Subsequently, the detection unit 14 detects the shape of the target road surface based on the distance information (step S12). Specifically, the detection unit 14 detects the three-dimensional shape of the area obtained by dividing the target road surface at predetermined distances along the travel route.

続いて、検知部14は、領域の形状が凹形状又は凸形状を含むか、平坦な形状であるか、を判定する(ステップS13)。領域の形状が平坦な形状であると判定された場合(ステップS13;NO)、当該領域は正常領域であるので、当該領域について、路面状態検知方法の一連の処理が終了する。一方、ステップS13において、領域の形状が凹形状又は凸形状を含むと判定された場合(ステップS13;YES)、検知部14は、当該領域を候補領域とし、候補領域の位置を示す位置情報を取得部15に出力する。そして、取得部15は、撮像画像記憶部12に記憶されている画像情報から、候補領域を撮像することで得られた撮像画像を取得する(ステップS14)。そして、取得部15は、取得した撮像画像を判定部17に出力する。   Subsequently, the detection unit 14 determines whether the shape of the region includes a concave shape or a convex shape or a flat shape (step S13). If it is determined that the shape of the area is flat (step S13; NO), the area is a normal area, and the series of processing of the road surface state detection method ends for the area. On the other hand, when it is determined in step S13 that the shape of the area includes a concave shape or a convex shape (step S13; YES), the detection unit 14 sets the area as a candidate area and indicates position information indicating the position of the candidate area. Output to the acquisition unit 15. Then, the acquisition unit 15 acquires a captured image obtained by imaging a candidate area from the image information stored in the captured image storage unit 12 (step S14). Then, the acquisition unit 15 outputs the acquired captured image to the determination unit 17.

続いて、判定部17は、候補領域の正常状態での形状と候補領域の形状とを比較することによって、候補領域が正常状態であるか異常状態であるかを判定する(ステップS15)。具体的には、判定部17は、参照情報DB16から候補領域の正常状態を示す参照画像を取得し、参照画像と撮像画像とを比較することによって、候補領域が正常状態であるか異常状態であるかを判定する。候補領域が正常状態であると判定された場合(ステップS15;YES)、当該候補領域について、路面状態検知方法の一連の処理が終了する。   Subsequently, the determination unit 17 determines whether the candidate area is in the normal state or in the abnormal state by comparing the shape of the candidate area in the normal state with the shape of the candidate area (step S15). Specifically, the determination unit 17 acquires a reference image indicating the normal state of the candidate area from the reference information DB 16, and compares the reference image with the captured image to determine whether the candidate area is in the normal state or in the abnormal state. Determine if there is. If it is determined that the candidate area is in the normal state (step S15; YES), a series of processing of the road surface state detection method ends for the candidate area.

一方、ステップS15において、候補領域が異常状態であると判定された場合(ステップS15;NO)、判定部17は、候補領域の種別を識別し、識別された種別が除外種別であるか否かを判定する(ステップS16)。判定部17は、例えば、距離情報及び撮像画像に基づいて、候補領域の種別を識別する。候補領域の種別が除外種別であると判定された場合(ステップS16;YES)、当該候補領域は正常状態であると判定され、当該候補領域について、路面状態検知方法の一連の処理が終了する。一方、ステップS16において、候補領域の種別が除外種別でないと判定された場合(ステップS16;NO)、判定部17は、候補領域を異常領域として、判定結果を生成し、判定結果を出力部18に出力する。そして、出力部18は、判定結果を検知結果DB19又は管制センターに出力し(ステップS17)、当該候補領域について、路面状態検知方法の一連の処理が終了する。   On the other hand, when it is determined in step S15 that the candidate area is in the abnormal state (step S15; NO), the determination unit 17 identifies the type of the candidate area and determines whether the identified type is the exclusion type Is determined (step S16). The determination unit 17 identifies the type of the candidate area based on, for example, the distance information and the captured image. If it is determined that the type of the candidate area is an exclusion type (step S16; YES), the candidate area is determined to be in a normal state, and the series of processing of the road surface state detection method ends for the candidate area. On the other hand, when it is determined in step S16 that the type of the candidate area is not an exclusion type (step S16; NO), the determination unit 17 generates a determination result with the candidate area as an abnormal area, and outputs the determination result. Output to Then, the output unit 18 outputs the determination result to the detection result DB 19 or the control center (step S17), and the series of processes of the road surface condition detection method ends for the candidate area.

以上説明したように、路面状態検知システム1及び路面状態検知装置10では、対象路面上の各計測点と距離センサ2との距離を示す距離情報に基づいて、対象路面の形状が検知される。対象路面が凹形状又は凸形状の領域を含む場合に、当該領域(候補領域)の正常状態での形状に基づいて、当該候補領域が異常状態であるか否かが判定され、判定結果が出力される。具体的には、対象路面が凹形状又は凸形状の領域を含む場合に、候補領域の正常状態を示す参照画像と候補領域の撮像画像とを比較することによって、候補領域が異常状態であるか否かが判定される。このため、例えば、正常状態の候補領域が凹形状又は凸形状を有している場合に、当該候補領域が異常状態であると判定される可能性を低減することができる。その結果、路面状態の検知精度を向上させることが可能となる。   As described above, in the road surface state detection system 1 and the road surface state detection device 10, the shape of the target road surface is detected based on distance information indicating the distance between each measurement point on the target road surface and the distance sensor 2. When the target road surface includes a concave or convex area, whether or not the candidate area is abnormal is determined based on the shape of the area (candidate area) in a normal state, and the determination result is output. Be done. Specifically, when the target road surface includes a concave or convex area, whether the candidate area is in an abnormal state by comparing the reference image indicating the normal state of the candidate area with the captured image of the candidate area It is determined whether or not. Therefore, for example, when the candidate area in the normal state has a concave shape or a convex shape, the possibility that the candidate area is determined to be abnormal can be reduced. As a result, it is possible to improve the detection accuracy of the road surface state.

候補領域が凸形状又は凹形状となっている原因が、例えば路面走行に影響を与えないような種別(落ち葉、及び水たまり等)である場合には、当該候補領域は正常状態とみなされ得る。このように、路面走行に影響を与えない種別が除外種別として予め定められる。そして、判定部17は、候補領域の種別を識別し、候補領域の種別が除外種別である場合には、候補領域が正常状態であると判定する。これにより、異常状態の過検知を抑制することができる。その結果、路面状態の検知精度を向上させることが可能となる。   If the cause of the candidate area having a convex shape or a concave shape is, for example, a type (such as fallen leaves and puddles) that does not affect road surface travel, the candidate area may be regarded as a normal state. Thus, a type that does not affect road surface travel is predetermined as an exclusion type. Then, the determination unit 17 identifies the type of candidate area, and determines that the candidate area is in a normal state when the type of candidate area is the exclusion type. Thereby, over detection of an abnormal state can be suppressed. As a result, it is possible to improve the detection accuracy of the road surface state.

出力部18は、候補領域が異常状態であると判定された場合に、候補領域を異常領域として異常領域の位置情報を出力する。この場合、異常領域の位置を特定することができる。これにより、例えば、異常領域を管制センターに通知することができ、路面の修復及び支障物の除去といった保守作業を効率よく行うことが可能となる。例えば、他の作業車両(落下物を除去する作業車両等)と連携することにより、効率的な維持管理が可能となる。   When it is determined that the candidate area is in an abnormal state, the output unit 18 outputs the position information of the abnormal area with the candidate area as the abnormal area. In this case, the position of the abnormal area can be identified. Thus, for example, the abnormal area can be notified to the control center, and maintenance work such as road surface repair and obstacle removal can be efficiently performed. For example, by linking with another work vehicle (a work vehicle or the like that removes falling objects), efficient maintenance can be achieved.

滑走路では、安全性の観点から、支障物の除去、及び路面損傷の修復が望まれている。このため、滑走路を対象路面とすることで、滑走路の路面状態の検知精度を向上させることができ、航空機等の飛行体の安全性を高めることが可能となる。   On the runway, from the viewpoint of safety, removal of obstacles and repair of road surface damage are desired. Therefore, by using the runway as the target road surface, it is possible to improve the detection accuracy of the road surface condition of the runway, and to improve the safety of the flight vehicle such as an aircraft.

路面状態検知システム1は、車両に設けられている。このため、車両が対象路面を走行しながら、対象路面と距離センサ2との距離が計測される。これにより、車両の直下に位置する路面をリアルタイムで計測することができ、距離情報の生成を容易化することが可能となる。   The road surface condition detection system 1 is provided in a vehicle. Therefore, while the vehicle travels on the target road surface, the distance between the target road surface and the distance sensor 2 is measured. As a result, it is possible to measure in real time the road surface located immediately below the vehicle, and to facilitate generation of distance information.

従来、保守車両を運転する運転者が目視により、路面上の落下物、及び路面損傷を確認しているので、路面の異常を見落とす可能性がある。また、目視確認であるので、車両の走行速度は、時速15〜20km程度である。さらに、夜間及び悪天候時には、視界が悪いので、路面の異常を見落とす可能性が高まる上に、走行速度も低下する。このように、運転者の負担が大きい。一方、路面状態検知システム1及び路面状態検知装置10では、運転者が路面を確認する必要がないので、運転者の負担を軽減することができる。さらに、路面状態検知システム1が無人車両に搭載される場合には、省人化が可能となる。路面状態を確認するためのセンサ等を地上に設置することも考えられるが、センサ等が踏み潰されることにより損傷するおそれがある。これに対し、路面状態検知システム1は車両に搭載されるので、損傷の可能性を低減することができる。   Conventionally, since a driver driving a maintenance vehicle visually checks for falling objects on the road surface and road surface damage, it is possible to overlook road surface abnormalities. Moreover, since it is visual confirmation, the traveling speed of the vehicle is about 15 to 20 km / h. Furthermore, at night and in bad weather conditions, visibility is poor, which increases the possibility of overlooking road surface abnormalities, and also reduces travel speed. Thus, the burden on the driver is large. On the other hand, in the road surface state detection system 1 and the road surface state detection device 10, the driver does not have to check the road surface, so the burden on the driver can be reduced. Furthermore, when the road surface condition detection system 1 is mounted on an unmanned vehicle, labor saving can be achieved. It is also conceivable to install a sensor or the like for checking the road surface condition on the ground, but there is a possibility that the sensor or the like may be damaged by being crushed. On the other hand, since the road surface condition detection system 1 is mounted on a vehicle, the possibility of damage can be reduced.

距離センサ2として、ラインスキャンセンサが用いられる場合には、昼夜間及び天候に関わらず計測性能を確保することができる。距離センサ2の走査周期を短くすることにより、計測速度が上がるので、車両の走行速度を上げても、所望の大きさの支障物及び損傷を検知することができる。これにより、路面状態検知処理の作業効率を向上させることができ、対象路面の使用効率を向上させることが可能となる。   When a line scan sensor is used as the distance sensor 2, measurement performance can be ensured regardless of day and night and the weather. By shortening the scanning cycle of the distance sensor 2, the measurement speed is increased. Therefore, even if the traveling speed of the vehicle is increased, obstacles and damage of a desired size can be detected. As a result, the work efficiency of the road surface state detection process can be improved, and the use efficiency of the target road surface can be improved.

以上、本開示の実施形態について説明したが、本発明は上記実施形態に限定されない。   As mentioned above, although embodiment of this indication was described, this invention is not limited to the said embodiment.

例えば、路面状態検知システム1のすべての構成要素が車両に搭載されていなくてもよい。距離センサ2、カメラ3、GPS装置4、及び通信装置5が車両に搭載されていればよく、路面状態検知装置10は、車両の外部に設けられていてもよい。路面状態検知装置10は、管制センターに設けられてもよい。   For example, all the components of the road surface condition detection system 1 may not be mounted on the vehicle. The distance sensor 2, the camera 3, the GPS device 4, and the communication device 5 may be mounted on the vehicle, and the road surface state detecting device 10 may be provided outside the vehicle. The road surface condition detection device 10 may be provided at the control center.

判定部17は、候補領域の種別が除外種別であるか否かを判定しなくてもよい。また、判定部17が、候補領域の正常状態での3次元形状と、検知部14によって検知された候補領域の3次元形状と、を比較することによって候補領域が異常状態であるか否かを判定する場合には、路面状態検知装置10は、撮像画像記憶部12、及び取得部15を備えていなくてもよく、路面状態検知システム1は、カメラ3を備えていなくてもよい。   The determination unit 17 may not determine whether the type of the candidate area is an exclusion type. In addition, whether the candidate area is in an abnormal state is determined by the determination unit 17 comparing the three-dimensional shape of the candidate area in the normal state with the three-dimensional shape of the candidate area detected by the detection unit 14. In the case of determination, the road surface state detection device 10 may not include the captured image storage unit 12 and the acquisition unit 15, and the road surface state detection system 1 may not include the camera 3.

路面状態検知システム1を搭載した車両が、予め正常状態の対象路面の状態を検知することで、路面状態検知装置10は、参照情報を取得し、取得した参照情報を参照情報DB16に記憶してもよい。   When the vehicle equipped with the road surface state detection system 1 detects in advance the state of the target road surface in the normal state, the road surface state detection device 10 acquires the reference information and stores the acquired reference information in the reference information DB 16. It is also good.

1 路面状態検知システム
2 距離センサ
3 カメラ
4 GPS装置
5 通信装置
10 路面状態検知装置
11 距離情報記憶部
12 撮像画像記憶部
13 取得部
14 検知部
15 取得部
16 参照情報DB
17 判定部
18 出力部
19 検知結果DB
R 対象路面
V 車両
Reference Signs List 1 road surface condition detection system 2 distance sensor 3 camera 4 GPS device 5 communication device 10 road surface condition detection device 11 distance information storage unit 12 captured image storage unit 13 acquisition unit 14 detection unit 15 acquisition unit 16 reference information DB
17 determination unit 18 output unit 19 detection result DB
R Target road surface V Vehicle

Claims (7)

検知対象である対象路面の状態を検知する路面状態検知装置であって、
前記対象路面上の各計測点と計測装置との距離を示す距離情報を取得する第1取得部と、
前記距離情報に基づいて、前記対象路面の形状を検知する検知部と、
前記対象路面が凹形状又は凸形状の領域を含む場合に、前記領域が異常状態であるか否かを判定する判定部と、
前記判定部による判定結果を出力する出力部と、
を備え、
前記判定部は、前記領域の正常状態での形状に基づいて、前記領域が異常状態であるか否かを判定する、路面状態検知装置。
A road surface condition detecting device for detecting a condition of a target road surface to be detected,
A first acquisition unit that acquires distance information indicating a distance between each measurement point on the target road surface and the measurement device;
A detection unit that detects the shape of the target road surface based on the distance information;
A determination unit that determines whether the area is in an abnormal state when the target road surface includes a concave or convex area;
An output unit that outputs the determination result by the determination unit;
Equipped with
The road surface state detecting device, wherein the determination unit determines whether or not the area is in an abnormal state based on a shape of the area in a normal state.
前記領域を撮像することで得られた撮像画像を取得する第2取得部をさらに備え、
前記判定部は、前記領域の正常状態を示す参照画像と前記撮像画像とを比較することによって前記領域が異常状態であるか否かを判定する、請求項1に記載の路面状態検知装置。
It further comprises a second acquisition unit for acquiring a captured image obtained by imaging the area,
The road surface condition detecting device according to claim 1, wherein the determination unit determines whether the area is in an abnormal state by comparing a reference image indicating a normal state of the area with the captured image.
前記判定部は、前記距離情報に基づいて、前記領域の種別を識別し、識別された種別が予め定められた除外対象の種別である除外種別である場合には、前記領域が正常状態であると判定する、請求項1又は請求項2に記載の路面状態検知装置。   The determination unit identifies the type of the area based on the distance information, and the area is in a normal state when the identified type is an exclusion type that is a type of a predetermined exclusion target. The road surface condition detecting device according to claim 1 or 2, which is determined as 前記出力部は、前記領域が異常状態であると判定された場合に、前記領域の位置情報を出力する、請求項1〜請求項3のいずれか一項に記載の路面状態検知装置。   The road surface state detecting device according to any one of claims 1 to 3, wherein the output unit outputs position information of the area when it is determined that the area is in an abnormal state. 前記対象路面は、滑走路である、請求項1〜請求項4のいずれか一項に記載の路面状態検知装置。   The road surface condition detection device according to any one of claims 1 to 4, wherein the target road surface is a runway. 請求項1〜請求項5のいずれか一項に記載の路面状態検知装置と、
前記距離を計測する計測装置と、
を備える、路面状態検知システム。
The road surface state detecting device according to any one of claims 1 to 5;
A measuring device for measuring the distance;
A road surface condition detection system comprising:
前記計測装置は、車両に設けられる、請求項6に記載の路面状態検知システム。   The road surface condition detection system according to claim 6, wherein the measurement device is provided in a vehicle.
JP2017209439A 2017-10-30 2017-10-30 Road surface condition detection device and road surface condition detection system Active JP7004543B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017209439A JP7004543B2 (en) 2017-10-30 2017-10-30 Road surface condition detection device and road surface condition detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017209439A JP7004543B2 (en) 2017-10-30 2017-10-30 Road surface condition detection device and road surface condition detection system

Publications (2)

Publication Number Publication Date
JP2019082377A true JP2019082377A (en) 2019-05-30
JP7004543B2 JP7004543B2 (en) 2022-01-21

Family

ID=66671082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017209439A Active JP7004543B2 (en) 2017-10-30 2017-10-30 Road surface condition detection device and road surface condition detection system

Country Status (1)

Country Link
JP (1) JP7004543B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020008996A (en) * 2018-07-04 2020-01-16 株式会社デンソーテン Road information collection support server, road information collection device, road information collection system, and road information collection method
KR20210052788A (en) * 2019-10-31 2021-05-11 한국기술교육대학교 산학협력단 Mobile robot equipped with FOD detection module and FOD collection method using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219214A (en) * 2003-01-14 2004-08-05 Toshiba Corp Method and apparatus for inspecting road surface
JP2005275723A (en) * 2004-03-24 2005-10-06 Mitsubishi Electric Corp Monitoring movable body, foreign matter detecting sensor, and road surface maintenance system
JP2011242277A (en) * 2010-05-19 2011-12-01 Ihi Aerospace Co Ltd Travel area determination device and travel area determination method of mobile robot
US20140375770A1 (en) * 2012-08-31 2014-12-25 Systèmes Pavemetrics Inc. Method and apparatus for detection of foreign object debris

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219214A (en) * 2003-01-14 2004-08-05 Toshiba Corp Method and apparatus for inspecting road surface
JP2005275723A (en) * 2004-03-24 2005-10-06 Mitsubishi Electric Corp Monitoring movable body, foreign matter detecting sensor, and road surface maintenance system
JP2011242277A (en) * 2010-05-19 2011-12-01 Ihi Aerospace Co Ltd Travel area determination device and travel area determination method of mobile robot
US20140375770A1 (en) * 2012-08-31 2014-12-25 Systèmes Pavemetrics Inc. Method and apparatus for detection of foreign object debris

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020008996A (en) * 2018-07-04 2020-01-16 株式会社デンソーテン Road information collection support server, road information collection device, road information collection system, and road information collection method
KR20210052788A (en) * 2019-10-31 2021-05-11 한국기술교육대학교 산학협력단 Mobile robot equipped with FOD detection module and FOD collection method using the same
KR102302312B1 (en) * 2019-10-31 2021-09-15 한국기술교육대학교 산학협력단 Mobile robot equipped with FOD detection module and FOD collection method using the same

Also Published As

Publication number Publication date
JP7004543B2 (en) 2022-01-21

Similar Documents

Publication Publication Date Title
CN112074885A (en) Lane sign positioning
JP2019192024A (en) Work vehicle
EP0853303A1 (en) Vehicle control method and system for use in automatic driving system
US11787424B2 (en) Method for checking at least one driving environment sensor of a vehicle
WO2021075210A1 (en) Sensor performance evaluation system and method, and automatic driving system
CN111797669A (en) Road abnormality detection apparatus, road abnormality detection method, and computer-readable medium
US20220099445A1 (en) Outside sensing information processing device
US20210394782A1 (en) In-vehicle processing apparatus
JP2019207651A (en) Detection device and detection system
CN109285381A (en) For detecting the method and system of the free area in parking lot
JP7004543B2 (en) Road surface condition detection device and road surface condition detection system
CN110929475B (en) Annotation of radar profiles of objects
CN110893845A (en) Method and apparatus for diagonal lane detection
CN114397672A (en) Train active obstacle detection method and device based on positioning technology
CN116022657A (en) Path planning method and device and crane
EP4109433A1 (en) Method for monitoring backward movement of an aircraft at an airport stand
WO2021044707A1 (en) Surroundings observation system, surroundings observation program, and surroundings observation method
CN114572243A (en) Target object detection device and vehicle equipped with the same
CN117854046B (en) Integrated positioning system and device based on vision fusion
US20230368424A1 (en) Vehicle and method of controlling the same
WO2024075577A1 (en) Mining vehicle autonomous travel system
US11999384B2 (en) Travel route generation device and control device
US20240029450A1 (en) Automated driving management system and automated driving management method
US20230060036A1 (en) Automatic parking lot management system, automatic parking lot management method, and storage medium
US20240112572A1 (en) Area monitoring system and area monitoring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220104

R150 Certificate of patent or registration of utility model

Ref document number: 7004543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150