JP2018185228A - Mobile flaw detector - Google Patents

Mobile flaw detector Download PDF

Info

Publication number
JP2018185228A
JP2018185228A JP2017087183A JP2017087183A JP2018185228A JP 2018185228 A JP2018185228 A JP 2018185228A JP 2017087183 A JP2017087183 A JP 2017087183A JP 2017087183 A JP2017087183 A JP 2017087183A JP 2018185228 A JP2018185228 A JP 2018185228A
Authority
JP
Japan
Prior art keywords
point group
pixel point
dimensional
group
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017087183A
Other languages
Japanese (ja)
Other versions
JP6708163B2 (en
Inventor
高英 後藤
Takahide Goto
高英 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2017087183A priority Critical patent/JP6708163B2/en
Publication of JP2018185228A publication Critical patent/JP2018185228A/en
Application granted granted Critical
Publication of JP6708163B2 publication Critical patent/JP6708163B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a mobile flaw detector capable of accurately and efficiently detecting flaws and defects inherent in a structure while travelling.SOLUTION: The mobile flaw detector comprises: a reception part for receiving a positioning signal from a positioning satellite; a laser scanner; an infrared camera; and a calculation part. The calculation part is configured to generate a piece of pixel point group data in which a piece of temperature information is added to a three-dimensional point group by using a piece of three-dimensional point group data, which includes a position of a moving body and a piece of three-dimensional position information of an ambient structure which is generated using the distance and the azimuth of the ambient structure captured by the laser scanner and a piece of infrared image data corresponding to the three-dimensional point group, and detect defects of the structure from three-dimensional coordinate values and the temperature information of the pixel point group data.SELECTED DRAWING: Figure 3

Description

この発明は、車両で移動しながら道路周辺の構造物等の位置および温度を計測し、構造物に内在する傷や欠陥を検出する移動型探傷装置に関する。   The present invention relates to a mobile flaw detector that measures the position and temperature of a structure or the like around a road while moving by a vehicle and detects scratches or defects inherent in the structure.

従来、建物等の構造物に内在する傷や欠陥を検出する方法として、その構造物の表面温度を計測することが有効であることが知られている。
屋外に設置されたコンクリート製構造物は、日中は直射日光の影響により表面温度が上昇するが、構造物の内部にひび割れや剥離などの欠陥が生じている部分については周囲と比較してその部分は温度が上昇せず、構造物の表面に温度差が生じるという特徴がある。
この特徴を利用して、赤外カメラを用いて表面の温度分布をサーモグラフィ(赤外線サーモグラフィ)として可視化することで、構造物に内在する傷や欠陥を検出する技術が開示されている(例えば、特許文献1参照)。
Conventionally, it is known that measuring the surface temperature of a structure is effective as a method for detecting scratches and defects inherent in the structure such as a building.
The surface temperature of concrete structures installed outdoors rises due to the effects of direct sunlight during the day, but the parts with defects such as cracks and delamination inside the structure are compared with the surroundings. The portion is characterized in that the temperature does not increase and a temperature difference occurs on the surface of the structure.
Using this feature, a technique for detecting flaws and defects inherent in a structure by visualizing the surface temperature distribution as a thermography (infrared thermography) using an infrared camera is disclosed (for example, patents). Reference 1).

特許第1515973号公報Japanese Patent No. 1515973 特許第5522789号公報Japanese Patent No. 5522789 特許第4344869号公報Japanese Patent No. 4344869

「モービルマッピングシステム(MMS)の進化」三菱電機技報 Vol.90・No.2・2016“Evolution of Mobile Mapping System (MMS)” Mitsubishi Electric Technical Report Vol. 90 ・ No. 2.2016

赤外線サーモグラフィによれば、コンクリート構造物に発生する浮き・剥離・空洞など、表面形状に現れにくい「内部欠陥」の存在を推定することが可能である。
しかしながら、温度差は構造物表面以外にも生じる可能性がある他、構造物表面の温度差についても欠陥以外の原因も考えられる。そのため、温度を複数回計測したり、他の計測手法、例えば目視や打音法を併用したりするなどして、欠陥の有無を総合的に判断する必要があり、構造物に内在する傷や欠陥を検出する検出作業が煩雑で、時間を要する。
According to infrared thermography, it is possible to estimate the presence of “internal defects” that are difficult to appear on the surface shape, such as floating, peeling, and cavities generated in a concrete structure.
However, there is a possibility that the temperature difference occurs not only on the surface of the structure, but also on the temperature difference on the surface of the structure, there may be causes other than defects. Therefore, it is necessary to comprehensively determine the presence or absence of defects by measuring the temperature multiple times or using other measurement methods such as visual observation or sounding method. The detection operation for detecting defects is complicated and takes time.

このため、コンクリート構造物の中でも道路付近の構造物、例えばトンネル壁面や道路の側壁や、道路自体に内在する傷や欠陥を検出する際は、一旦車両の通行を止め、通行規制を行ったうえで検出作業を実施することになり、一般の通行車両への影響が大きいという課題があった。   For this reason, when detecting structures or structures in the vicinity of roads, such as tunnel walls, road side walls, or scratches or defects inherent in roads, stop traffic and restrict traffic. Therefore, there is a problem that the detection work is carried out and the influence on general traffic vehicles is large.

本発明は係る課題を解決するためになされたものであり、通行規制など一般の通行車両への影響を与えることなく、道路周辺の構造物、たとえばトンネルや橋梁をはじめとする構造物に内在する傷や欠陥を、効率的に精度良く検出できる移動型探傷装置を提供することを目標とする。   The present invention has been made to solve such problems, and is inherent in structures around roads such as tunnels and bridges without affecting traffic such as traffic restrictions. The object is to provide a mobile flaw detector capable of efficiently and accurately detecting flaws and defects.

この発明に係る移動型探傷装置は、移動体に搭載され、周囲の構造物の欠陥を検出する移動型探傷装置であって、測位衛星から測位信号を受信する受信部と、レーザスキャナと、赤外カメラと、計算部とを備え、
前記計算部は、前記受信部で受信した測位信号から算出した前記移動体の位置と、前記レーザスキャナで取得する周囲の構造物までの距離と方位とを用いて生成した前記周囲の構造物の三次元位置情報を含む三次元点群データと、前記三次元点群に対応する前記赤外カメラで取得した前記周囲の構造物の赤外画像データとを用いて前記三次元点群に温度情報を付加した画素点群データを生成し、前記画素点群データの三次元点群と温度情報を用いて、周囲の構造物の欠陥を検出する。
A mobile flaw detection apparatus according to the present invention is a mobile flaw detection apparatus that is mounted on a moving body and detects a defect in a surrounding structure, and includes a receiving unit that receives a positioning signal from a positioning satellite, a laser scanner, It has an outside camera and a calculation unit,
The calculation unit is configured to calculate the position of the surrounding structure generated by using the position of the moving body calculated from the positioning signal received by the reception unit and the distance and direction to the surrounding structure acquired by the laser scanner. Temperature information in the three-dimensional point group using three-dimensional point group data including three-dimensional position information and infrared image data of the surrounding structure acquired by the infrared camera corresponding to the three-dimensional point group The pixel point group data to which is added is generated, and the defect of the surrounding structure is detected using the three-dimensional point group of the pixel point group data and the temperature information.

この発明に係る移動型探傷装置によれば、道路周辺の構造物表面の3次元形状情報と温度情報を統合することで、道路周辺の構造物の診断を従来よりも精度良く効率的に行うことができる。   According to the mobile flaw detection apparatus according to the present invention, the diagnosis of the structure around the road can be performed more accurately and efficiently than before by integrating the three-dimensional shape information and temperature information of the surface of the structure around the road. Can do.

実施の形態1に係る移動型探傷装置100の構成を示す概略図である。1 is a schematic diagram showing a configuration of a mobile flaw detection apparatus 100 according to Embodiment 1. FIG. 実施の形態1に係る計測架台10の構成を示す概略図である。It is the schematic which shows the structure of the measurement stand 10 concerning Embodiment 1. FIG. 実施の形態1に係る移動型探傷装置100の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a mobile flaw detection apparatus 100 according to Embodiment 1. FIG. 実施の形態1に係る構造物三次元モデル生成方法を示すフローチャートである。3 is a flowchart showing a structure three-dimensional model generation method according to Embodiment 1; 実施の形態1に係る構造物三次元モデル生成部22の機能構成図である。3 is a functional configuration diagram of a structure three-dimensional model generation unit 22 according to Embodiment 1. FIG. 実子の形態1に係る構造物三次元モデル生成処理(S300)のフローチャート図である。It is a flowchart figure of the structure three-dimensional model generation process (S300) which concerns on the form 1 of a child. 実施の形態1に係る構造物表面の欠陥を検出する検出処理を示すフロー図である。FIG. 5 is a flowchart showing a detection process for detecting a defect on the surface of a structure according to the first embodiment. 実施の形態1に係る車道壁面表面の温度分布の一例を示す図である。It is a figure which shows an example of the temperature distribution of the roadway wall surface based on Embodiment 1. FIG. 実施の形態2に係る車道壁面表面の温度分布の一例を示す図である。It is a figure which shows an example of the temperature distribution of the roadway wall surface based on Embodiment 2. FIG.

実施の形態1.
図1は実施の形態1に係る移動型探傷装置100の構成を示す概略図である。
移動型探傷装置100は計測架台10と計算機20からなり、計測架台10と計算機20はともに車両200に搭載される。
Embodiment 1 FIG.
FIG. 1 is a schematic diagram showing a configuration of a mobile flaw detector 100 according to the first embodiment.
The mobile flaw detection apparatus 100 includes a measurement platform 10 and a computer 20, and both the measurement platform 10 and the computer 20 are mounted on a vehicle 200.

図2は、実施の形態1に係る計測架台10の構成を示す概略図である。
計測架台10は、レーザスキャナ11、赤外カメラ12、IMU(Inertial Measurement Unit。慣性計測装置)13、数組のGPS受信機14およびGPSアンテナ15から構成される。
FIG. 2 is a schematic diagram illustrating a configuration of the measurement gantry 10 according to the first embodiment.
The measurement platform 10 includes a laser scanner 11, an infrared camera 12, an IMU (Internal Measurement Unit) 13, several sets of GPS receivers 14, and a GPS antenna 15.

図3は、実施の形態1に係る移動型探傷装置100の構成を示すブロック図である。
計算機20は、計測架台10のIMU13やGPS受信機14から入力する情報に基づいて、車両200の自己位置や姿勢を計算するための位置標定部21と、計測架台10のレーザスキャナ11や赤外カメラ12と位置標定部21から入力する情報に基づいて、温度情報付きの構造物三次元モデルを生成する構造物三次元モデル生成部22と、温度情報付きの構造物三次元モデルを保存する記憶装置23と、記憶装置23に保存された構造物三次元モデルから構造物内部の傷や欠陥を検出する構造物傷欠陥検出処理部24から構成される。
FIG. 3 is a block diagram showing the configuration of the mobile flaw detection apparatus 100 according to the first embodiment.
The computer 20 includes a position locating unit 21 for calculating the self-position and posture of the vehicle 200 based on information input from the IMU 13 and the GPS receiver 14 of the measurement gantry 10, the laser scanner 11 of the measurement gantry 10, and infrared rays. Based on information input from the camera 12 and the position locator 21, a structure 3D model generator 22 that generates a structure 3D model with temperature information, and a memory that stores the structure 3D model with temperature information The apparatus 23 includes a structure flaw defect detection processing unit 24 that detects flaws and defects inside the structure from the structure three-dimensional model stored in the storage device 23.

レーザスキャナ11は、車両200の周囲に存在する構造物までの距離を計測し、そのデータを3次元点群データ生成部21に出力する装置である。レーザスキャナ11は、レーザレーダ、LRF(レーザレンジファインダ)ともいう。
レーザスキャナ11は、レーザの出射面を左右180度に繰り返し振りながら、レーザを短周期で繰り返し出射すると共に地物(例えば、道路面)に反射して戻ってきた各レーザを受信する。そして、レーザスキャナ11は、レーザを出射または受信した「計測時刻」と、レーザを出射した「方位」と、レーザを出射してから受信するまでの時間に基づく「距離」とを「距離方位点」として計測する。
レーザスキャナ11により計測された複数の距離方位点を示すデータが後述する距離方位点群291である。
The laser scanner 11 is a device that measures the distance to a structure existing around the vehicle 200 and outputs the data to the three-dimensional point cloud data generation unit 21. The laser scanner 11 is also called a laser radar or LRF (laser range finder).
The laser scanner 11 repeatedly emits the laser in a short cycle while repeatedly swinging the laser emission surface at 180 degrees on the left and right sides, and receives each laser that is reflected back to the feature (for example, road surface). Then, the laser scanner 11 calculates the “measurement time” at which the laser is emitted or received, the “azimuth” at which the laser is emitted, and the “distance” based on the time from when the laser is emitted until it is received as the “distance azimuth point”. To measure.
Data indicating a plurality of distance azimuth points measured by the laser scanner 11 is a distance azimuth point group 291 described later.

赤外カメラ12は、車両200の周囲に存在する構造物の表面温度を計測し、その温度データ(温度情報)をカメラの画素毎に3次元点群データ生成部22に出力する装置である。
赤外カメラ12は所定のタイミング(時間間隔、走行距離間隔など)で繰り返し撮像を行う。
赤外カメラ12により撮像された複数の「カメラ画像」と各カメラ画像の「撮像時刻」とを含んだデータが後述する赤外画像データ293である。
The infrared camera 12 is a device that measures the surface temperature of a structure existing around the vehicle 200 and outputs the temperature data (temperature information) to the three-dimensional point cloud data generation unit 22 for each pixel of the camera.
The infrared camera 12 repeatedly performs imaging at a predetermined timing (time interval, travel distance interval, etc.).
Data including a plurality of “camera images” captured by the infrared camera 12 and “imaging time” of each camera image is infrared image data 293 described later.

IMU13は、慣性信号データを取得し、位置標定部21に出力する装置である。慣性信号データには、慣性加速度情報、および角速度情報が含まれている。慣性信号データは計測時刻に対応付けられている。   The IMU 13 is a device that acquires inertial signal data and outputs the inertia signal data to the position location unit 21. The inertia signal data includes inertia acceleration information and angular velocity information. The inertia signal data is associated with the measurement time.

GPS受信機14は、例えばGPS衛星等の衛星が出力した信号を、GPSアンテナ15で受信し、GPS信号処理結果を位置標定部21に出力する装置である。
GPS受信機14により得られた観測情報、IMU13により計測された3軸の角速度を含んだデータが後述する位置データ292である。
The GPS receiver 14 is a device that receives a signal output from a satellite such as a GPS satellite by the GPS antenna 15 and outputs a GPS signal processing result to the position location unit 21.
The data including the observation information obtained by the GPS receiver 14 and the three-axis angular velocities measured by the IMU 13 is position data 292 to be described later.

図4は、実施の形態1における構造物三次元モデル生成方法を示すフローチャートである。以下では、実施の形態1における構造物三次元モデル生成方法について、図4に基づいて説明する。
なお、実施の形態1に係る構造物三次元モデルに相当する道路三次元モデル生成方法については特許文献2に詳細が記載されており、ここでは、主要な部分のみを記載する。
FIG. 4 is a flowchart showing the structure three-dimensional model generation method according to the first embodiment. Below, the structure three-dimensional model generation method in Embodiment 1 is demonstrated based on FIG.
The road three-dimensional model generation method corresponding to the structure three-dimensional model according to the first embodiment is described in detail in Patent Document 2, and only main parts are described here.

車両200は、道路(道路面)の距離方位点群291、位置データ292および赤外画像データ293を取得する(S100)。
構造物三次元モデル生成部22は、S100において取得された距離方位点群291と位置データ292に基づいて道路および周辺の構造物の多数点の三次元座標値を示す三次元点群198を生成する(S200)。
構造物三次元モデル生成部22は、S200において生成された三次元点群198とS100において取得された赤外画像データ293とに基づいて構造物三次元モデル194を生成する(S300)。
The vehicle 200 acquires a distance azimuth point group 291, position data 292, and infrared image data 293 on the road (road surface) (S <b> 100).
The structure three-dimensional model generation unit 22 generates a three-dimensional point group 198 indicating three-dimensional coordinate values of many points on the road and surrounding structures based on the distance / azimuth point group 291 and the position data 292 acquired in S100. (S200).
The structure 3D model generation unit 22 generates the structure 3D model 194 based on the 3D point group 198 generated in S200 and the infrared image data 293 acquired in S100 (S300).

図5は、実施の形態1における構造物三次元モデル生成部22の機能構成図である。
実施の形態1における構造物三次元モデル生成部22の機能構成について、図5に基づいて以下に説明する。
FIG. 5 is a functional configuration diagram of the structure three-dimensional model generation unit 22 according to the first embodiment.
A functional configuration of the structure three-dimensional model generation unit 22 according to the first embodiment will be described below with reference to FIG.

構造物三次元モデル生成部22は、赤外画像処理部110(画像範囲抽出部の一例)、画素点群生成部120、三次元モデル生成部140(モデル記憶部の一例)、三次元点群生成部180および処理エリア190を備える。   The structure three-dimensional model generation unit 22 includes an infrared image processing unit 110 (an example of an image range extraction unit), a pixel point group generation unit 120, a three-dimensional model generation unit 140 (an example of a model storage unit), and a three-dimensional point group. A generation unit 180 and a processing area 190 are provided.

車両200により取得された距離方位点群291、位置データ292および赤外画像データ293は処理エリア190に一旦記憶される。
また、車両200の計測条件(レーザスキャナ11や赤外カメラ12の取り付け位置・姿勢など)を示すパラメータデータ299も処理エリア190に一旦記憶される。
The distance direction point group 291, the position data 292, and the infrared image data 293 acquired by the vehicle 200 are temporarily stored in the processing area 190.
In addition, parameter data 299 indicating the measurement conditions of the vehicle 200 (such as the mounting position / orientation of the laser scanner 11 and the infrared camera 12) is also temporarily stored in the processing area 190.

三次元点群生成部180は、距離方位点群291、位置データ292およびパラメータデータ299に基づいて、道路および道路周辺の構造物の多数点の三次元座標値を示す三次元点群198(座標点群の一例)をCPU(Central Processing Unit)を用いて生成する。   The three-dimensional point group generation unit 180 is based on the distance and azimuth point group 291, the position data 292, and the parameter data 299, and indicates a three-dimensional point group 198 (coordinates) indicating the three-dimensional coordinate values of the road and the structures around the road. An example of a point cloud) is generated using a CPU (Central Processing Unit).

赤外画像処理部110は、赤外画像データ293とパラメータデータ299とに基づいて、道路や道路周辺の構造物が映った範囲であり、且つ画像の解像度が高い範囲を各カメラ画像から処理範囲画像191としてCPUを用いて抽出する。   Based on the infrared image data 293 and the parameter data 299, the infrared image processing unit 110 is a range in which roads and structures around the road are reflected, and a range in which the resolution of the image is high is processed from each camera image. The image 191 is extracted using the CPU.

例えば、赤外画像処理部110は、カメラ画像の視点側の所定範囲(視点手前の所定範囲)を処理範囲画像191として抽出する。   For example, the infrared image processing unit 110 extracts a predetermined range on the viewpoint side of the camera image (a predetermined range before the viewpoint) as the processing range image 191.

画素点群生成部120は、処理範囲画像191、三次元点群198およびパラメータデータ299に基づいて、処理範囲画像191の画素に映った道路および道路周辺の構造物の部分(特定地点の一例)の三次元座標値をCPUを用いて画素毎に算出する。
画素点群生成部120は、処理範囲画像191の複数画素それぞれの道路や道路周辺の構造物部分の三次元座標値と、処理範囲画像191の複数画素それぞれの温度情報とを示す画素点群192をCPUを用いて生成する。温度情報は、赤外カメラ12により撮像対象を計測した撮像対象の画素毎の温度の情報である。
The pixel point group generation unit 120 is based on the processing range image 191, the three-dimensional point group 198, and the parameter data 299, and the portion of the road and the structure around the road reflected in the pixels of the processing range image 191 (an example of a specific point). Are calculated for each pixel using the CPU.
The pixel point group generation unit 120 includes a pixel point group 192 that indicates the three-dimensional coordinate values of the roads and the structures around the roads of the plurality of pixels of the processing range image 191 and the temperature information of the plurality of pixels of the processing range image 191. Is generated using a CPU. The temperature information is information on the temperature of each pixel to be imaged that is measured by the infrared camera 12.

三次元モデル生成部140は、画素点群192を含んだデータをCPUを用いて構造物三次元モデル194(地域モデルの一例)として生成する。   The three-dimensional model generation unit 140 generates data including the pixel point group 192 as a structure three-dimensional model 194 (an example of a regional model) using the CPU.

処理エリア190は、構造物三次元モデル生成部22で使用されるデータを記憶媒体に記憶する。
距離方位点群291、位置データ292、赤外画像データ293、パラメータデータ299、三次元点群198、処理範囲画像191、画素点群192および構造物三次元モデル194は、処理エリア190に記憶されるデータの一例である。
The processing area 190 stores data used by the structure three-dimensional model generation unit 22 in a storage medium.
Distance azimuth point group 291, position data 292, infrared image data 293, parameter data 299, three-dimensional point group 198, processing range image 191, pixel point group 192, and structure three-dimensional model 194 are stored in processing area 190. This is an example of data.

パラメータデータ299には、例えば、以下の情報が含まれる。
(1)画像保存ディレクトリ:計測車両200で取得したカメラ画像が取得時間タグを付けて保存されているディレクトリ名(赤外画像データ293の記憶先)。
(2)赤外カメラ画像のID:カメラ画像を識別する情報。
(3)処理範囲:赤外カメラ画像の中で構造物三次元モデルの生成に使用する画素範囲。
(4)レーザ3次元点群ディレクトリ:道路および道路周辺の構造物の三次元点群198を保存したディレクトリ。
(6)赤外カメラ取得時刻・位置・姿勢:赤外カメラ画像を撮影した時の赤外カメラの位置姿勢を示す情報。
(7)赤外カメラ取付オフセット:車体中心からの赤外カメラ位置および姿勢を示した情報。
(8)レーザ取付オフセット:車体中心からのレーザ位置および姿勢を示した情報。
The parameter data 299 includes, for example, the following information.
(1) Image storage directory: a directory name (a storage destination of the infrared image data 293) in which camera images acquired by the measurement vehicle 200 are stored with an acquisition time tag.
(2) Infrared camera image ID: information for identifying a camera image.
(3) Processing range: A pixel range used for generating a three-dimensional model of a structure in an infrared camera image.
(4) Laser three-dimensional point cloud directory: a directory storing the three-dimensional point cloud 198 of roads and structures around the road.
(6) Infrared camera acquisition time / position / posture: Information indicating the position / posture of the infrared camera when an infrared camera image is taken.
(7) Infrared camera mounting offset: Information indicating the position and orientation of the infrared camera from the center of the vehicle body.
(8) Laser mounting offset: Information indicating the laser position and orientation from the center of the vehicle body.

次に、構造物三次元モデル生成部22の三次元点群生成部180による三次元点群198の生成方法について説明する。   Next, a method for generating the three-dimensional point group 198 by the three-dimensional point group generation unit 180 of the structure three-dimensional model generation unit 22 will be described.

三次元点群生成部180は、距離方位点群291、位置データ292およびパラメータデータ299に基づいて、三次元点群198を生成する。
パラメータデータ299は、車体座標系におけるレーザスキャナ11の取付オフセットを含む。レーザスキャナ11の取付オフセットは、レーザスキャナ11が車両200のどの位置にどのような姿勢(傾き)で設置されているかを示す。
三次元点群198は、各距離方位点に対応する三次元座標値を世界座標系で示すデータである。
The three-dimensional point group generation unit 180 generates a three-dimensional point group 198 based on the distance / azimuth point group 291, the position data 292, and the parameter data 299.
The parameter data 299 includes the mounting offset of the laser scanner 11 in the vehicle body coordinate system. The mounting offset of the laser scanner 11 indicates in what position (tilt) the laser scanner 11 is installed at which position of the vehicle 200.
The three-dimensional point group 198 is data indicating a three-dimensional coordinate value corresponding to each distance direction point in the world coordinate system.

以下に、三次元点群198の生成方法について説明する。   Hereinafter, a method of generating the three-dimensional point group 198 will be described.

三次元点群生成部180は、位置データ292に基づいて、各距離方位点を計測時の計測車両200の位置姿勢値を標定する。位置姿勢値は、三次元座標値(x、y、z)と三次元姿勢角(ロール角、ピッチ角、ヨー角)とを示す。
三次元点群生成部180は、レーザスキャナ11の取付オフセットに基づいて距離方位点群291を世界座標系に変換する。
三次元点群生成部180は、位置姿勢値と距離方位点群291とに基づいて、三次元点群198を生成する。三次元点群198の各三次元点は、位置姿勢値を基点として距離方位点で示される方位に距離方位点で示される距離だけ離れた地点の座標値で示される。三次元点の算出には同時刻の位置姿勢値および距離方位点が用いられる。
Based on the position data 292, the three-dimensional point group generation unit 180 determines the position and orientation value of the measurement vehicle 200 when measuring each distance direction point. The position / orientation value indicates a three-dimensional coordinate value (x, y, z) and a three-dimensional attitude angle (roll angle, pitch angle, yaw angle).
The three-dimensional point group generation unit 180 converts the distance / azimuth point group 291 into the world coordinate system based on the mounting offset of the laser scanner 11.
The three-dimensional point group generation unit 180 generates a three-dimensional point group 198 based on the position / orientation value and the distance / azimuth point group 291. Each three-dimensional point of the three-dimensional point group 198 is indicated by a coordinate value of a point separated from the position and orientation value by the distance indicated by the distance azimuth point in the azimuth indicated by the distance azimuth point. For the calculation of the three-dimensional point, the position and orientation value and the distance direction point at the same time are used.

三次元点群198の生成方法の詳細は、例えば特許文献3に開示されている。   Details of the method of generating the three-dimensional point group 198 are disclosed in, for example, Patent Document 3.

次に、三次元点群198に基づいて道路三次元モデル194を生成する道路三次元モデル生成処理(S300)について説明する。   Next, a road three-dimensional model generation process (S300) for generating a road three-dimensional model 194 based on the three-dimensional point group 198 will be described.

図6は、実施の形態1における道路三次元モデル生成処理(S300)のフローチャートである。実施の形態1における道路三次元モデル生成処理(S300)について、図6に基づいて以下に説明する。   FIG. 6 is a flowchart of the road three-dimensional model generation process (S300) in the first embodiment. The road three-dimensional model generation process (S300) in the first embodiment will be described below with reference to FIG.

まず、道路三次元モデル生成処理(S300)の概要について説明する。   First, an outline of the road three-dimensional model generation process (S300) will be described.

画像処理部110はカメラ画像を一つ選択し(S311)、選択画像から所定の処理範囲を処理範囲画像191として抽出する(S312)。
画素点群生成部120は、三次元点群198に基づいて、処理範囲画像191の各画素に対応する三次元座標値および温度情報を示す画素点群192を生成する(S320)。
未選択のカメラ画像が有る場合(S330「YES」)、処理はS311に戻る。
未選択のカメラ画像が無い場合(S330「NO」)、処理はS340に進む。
三次元モデル生成部140は、画素点群192を含んだデータを道路三次元モデル194として生成する(S340)。
The image processing unit 110 selects one camera image (S311), and extracts a predetermined processing range from the selected image as a processing range image 191 (S312).
Based on the three-dimensional point group 198, the pixel point group generation unit 120 generates a pixel point group 192 indicating three-dimensional coordinate values and temperature information corresponding to each pixel of the processing range image 191 (S320).
If there is an unselected camera image (S330 “YES”), the process returns to S311.
If there is no unselected camera image (S330 “NO”), the process proceeds to S340.
The three-dimensional model generation unit 140 generates data including the pixel point group 192 as a road three-dimensional model 194 (S340).

次に、道路三次元モデル生成処理(S300)の詳細について説明する。   Next, details of the road three-dimensional model generation process (S300) will be described.

<S311>
画像処理部110は、赤外画像データ293に含まれる多数のカメラ画像から撮像時刻順にカメラ画像を一つ選択する。
以下、S311において選択されたカメラ画像を「選択画像」という。
S311の後、処理はS312に進む。
<S311>
The image processing unit 110 selects one camera image in order of imaging time from a large number of camera images included in the infrared image data 293.
Hereinafter, the camera image selected in S311 is referred to as “selected image”.
After S311, the process proceeds to S312.

<S312>
画像処理部110は、選択画像から所定の処理範囲を処理範囲画像191として抽出する。
各カメラ画像には、建物、電柱、壁など道路以外の地物も映り込んでいる。
また、赤外カメラ12(視点)から近い範囲が映った部分の分解能(解像度)は高いが、赤外カメラ12から遠い範囲が映った部分の分解能は低い。
所定の処理範囲は、高分解能で映っている道路部分が選択画像から処理範囲画像191として抽出されるように、赤外カメラ12の仕様(画角や画像分解能など)や赤外カメラ12の取付オフセットなどに基づいて決定される。赤外カメラ12の仕様や取付オフセットはパラメータデータ299に含まれる情報である。また、処理の無駄を省くため、各カメラ画像の撮像範囲を赤外カメラ12の仕様や取付オフセットおよび撮像地点に基づいて特定し、各カメラ画像の重複範囲を除くように処理範囲が定められてもよい。
<S312>
The image processing unit 110 extracts a predetermined processing range as a processing range image 191 from the selected image.
Each camera image includes features other than roads such as buildings, utility poles, and walls.
In addition, the resolution (resolution) of a portion where a range close to the infrared camera 12 (viewpoint) is reflected is high, but the resolution of a portion where a range far from the infrared camera 12 is reflected is low.
The predetermined processing range is such that the specifications of the infrared camera 12 (view angle, image resolution, etc.) and the mounting of the infrared camera 12 are such that a road portion reflected at a high resolution is extracted as a processing range image 191 from the selected image. It is determined based on an offset or the like. The specifications and attachment offset of the infrared camera 12 are information included in the parameter data 299. In order to save processing waste, the imaging range of each camera image is specified based on the specification of the infrared camera 12, the mounting offset, and the imaging point, and the processing range is determined so as to exclude the overlapping range of each camera image. Also good.

図6に戻り、道路三次元モデル生成処理(S300)の説明を続ける。   Returning to FIG. 6, the description of the road three-dimensional model generation process (S300) will be continued.

<S320>
画素点群生成部120は、三次元点群198に基づいて、処理範囲画像191の各画素に対応する三次元座標値および温度情報を示す画素点群192を生成する。
S320により、カメラ画像レベルの分解能を有する三次元点群(画素点群192)を生成することができる。
<S320>
Based on the three-dimensional point group 198, the pixel point group generation unit 120 generates a pixel point group 192 indicating the three-dimensional coordinate value and temperature information corresponding to each pixel of the processing range image 191.
By S320, a three-dimensional point group (pixel point group 192) having a resolution of the camera image level can be generated.

<S330>
画像処理部110は、未選択のカメラ画像が残っているか判定する。
未選択のカメラ画像が残っている場合(YES)、処理はS311に戻る。
未選択のカメラ画像が残っていない場合(NO)、処理はS340に進む。
<S330>
The image processing unit 110 determines whether an unselected camera image remains.
If an unselected camera image remains (YES), the process returns to S311.
If no unselected camera image remains (NO), the process proceeds to S340.

<S340>
三次元モデル生成部140は、画素点群192と画素補間点群193とをまとめたデータを道路三次元モデル194として生成する。
三次元モデル生成部140は、生成した道路三次元モデル194を出力する(表示、印刷、記憶など)。
S340により、道路三次元モデル生成処理(S300)は終了する。
<S340>
The three-dimensional model generation unit 140 generates data that combines the pixel point group 192 and the pixel interpolation point group 193 as a road three-dimensional model 194.
The three-dimensional model generation unit 140 outputs the generated road three-dimensional model 194 (display, printing, storage, etc.).
By S340, the road three-dimensional model generation process (S300) ends.

構造物三次元モデル194を構成する温度情報付きの各三次元点(画素点群192)をそれぞれの温度情報および三次元座標値に基づいて画面表示することで、車両200が走行した道路および道路周辺の構造物の温度分布を表すことができる。   The roads and roads on which the vehicle 200 has traveled are displayed by displaying each three-dimensional point (pixel point group 192) with temperature information constituting the structure three-dimensional model 194 on the basis of the respective temperature information and three-dimensional coordinate values. The temperature distribution of surrounding structures can be expressed.

構造物三次元点群データ生成部22は、レーザスキャナ11および赤外カメラ12から得られたデータと、位置標定部21から得られた車両の位置および姿勢を基に、温度情報を付与した3次元点群データを生成する。   The structure three-dimensional point cloud data generation unit 22 adds temperature information based on the data obtained from the laser scanner 11 and the infrared camera 12 and the position and orientation of the vehicle obtained from the position location unit 21. Generate dimension point cloud data.

温度情報が付与された3次元点群データは計測時刻とともに記憶装置23に蓄積される。   The three-dimensional point cloud data to which the temperature information is given is stored in the storage device 23 together with the measurement time.

次に、構造物傷欠陥検出処理部24は、記憶装置23に蓄積された画素点群192と構造物三次元モデル194から、計測対象の構造物の欠陥を検出する処理を行う。   Next, the structure flaw defect detection processing unit 24 performs a process of detecting a defect of the structure to be measured from the pixel point group 192 and the structure three-dimensional model 194 accumulated in the storage device 23.

以下では、構造物の欠陥を検出する処理方法を、図7、図8を用いて説明する。
図7は、実施の形態1に係る構造物表面の欠陥を検出する検出処理を示すフロー図である。図8は、車道横の壁表面の温度分布の一例を示す図である。
Below, the processing method which detects the defect of a structure is demonstrated using FIG. 7, FIG.
FIG. 7 is a flowchart showing a detection process for detecting defects on the surface of the structure according to the first embodiment. FIG. 8 is a diagram showing an example of the temperature distribution on the wall surface beside the roadway.

<S241>
図7において、まず、構造物傷欠陥検出処理部24は、記憶装置23から予め指定した検査対象物の画素点群192、構造物三次元モデル194を抽出する(図7のS241)。
検査対象物は、モニタに表示された赤外カメラ12の画像を使って、利用者が予め指定することができる。あるいは、三次元座標値を使って、範囲を指定するようにしてもよい。また、検査対象を構造物として指定するのではなく、対象エリア(対象範囲)として指定するようにしてもよい。図8の例では、道路脇に設けられた壁面500を検査対象物としている。壁面500は例えば高速道路の遮音用に設けられたものであり、壁面500の傷や、欠陥を検出する検査である。壁面500はトンネルの内部壁であってもよい。
<S241>
In FIG. 7, first, the structure flaw defect detection processing unit 24 extracts the pixel point group 192 and the structure three-dimensional model 194 of the inspection object specified in advance from the storage device 23 (S241 in FIG. 7).
The inspection object can be designated in advance by the user using the image of the infrared camera 12 displayed on the monitor. Or you may make it designate a range using a three-dimensional coordinate value. Further, the inspection target may be specified as a target area (target range) instead of being specified as a structure. In the example of FIG. 8, the wall surface 500 provided on the side of the road is used as the inspection object. The wall surface 500 is provided, for example, for sound insulation on an expressway, and is an inspection for detecting scratches or defects on the wall surface 500. The wall surface 500 may be an inner wall of the tunnel.

<S242>
次に、構造物傷欠陥検出処理部24は、抽出した画素点群192に付与された温度情報をもとに検査対象物の温度分布を作成する。構造物傷欠陥検出処理部24は作成した温度分布に基づき、周囲に比べスポット状に高温になっている画素点群を抽出する(S242)。
スポット状に高温になっているか否かは、周囲の画素点群192の温度情報との差分を取り、差分が所定の閾値以上であるか否かで判断する。閾値は利用者が赤外カメラの画像をみながら、モニタ画面からその都度設定することができる。
<S242>
Next, the structural flaw defect detection processing unit 24 creates a temperature distribution of the inspection object based on the temperature information given to the extracted pixel point group 192. Based on the created temperature distribution, the structure flaw defect detection processing unit 24 extracts a pixel point group that is hotter in a spot shape than the surroundings (S242).
Whether the temperature is high in a spot shape is determined by taking a difference from the temperature information of the surrounding pixel point group 192 and determining whether the difference is equal to or greater than a predetermined threshold. The threshold can be set each time from the monitor screen while the user looks at the image of the infrared camera.

<S243>
構造物傷欠陥検出処理部24は、抽出された高温箇所のまとまり状況から、高温箇所をグルーピング化する(S243)。
図8の例では、白丸で表した画素点群192(白)は画素点群192に付与された温度情報から低温であることを視覚的に表しており、黒丸で表した画素点群192(黒)は画素点群192に付与された温度情報から高温であることを視覚的に表している。
構造物傷欠陥検出処理部24は、複数がまとまっている画素点群192(黒)をグループ化し、グループA150、グループB151、グループC152と定める。
<S243>
The structural flaw defect detection processing unit 24 groups the high temperature locations from the grouped status of the extracted high temperature locations (S243).
In the example of FIG. 8, the pixel point group 192 (white) represented by a white circle visually represents that the temperature is low from the temperature information given to the pixel point group 192, and the pixel point group 192 ( (Black) visually represents that the temperature is high based on the temperature information given to the pixel point group 192.
The structural flaw defect detection processing unit 24 groups a plurality of pixel point groups 192 (black) into groups A150, B151, and C152.

<S244>、<S245>
次に、構造物傷欠陥検出処理部24はグループ化した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値を取得し(S244)、グループ化した画素点群192(黒)と、その周囲の画素点群192とで、形状に変化があるか否かを判断する(S245)。
例えば図8の例では、画素点群192(黒)がまとまっているグループC152は、壁面500に設けられた突起物160の場所であることが、グループ化した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値から判明する。
一方で、グループA150、グループB151は、高温部分の形状と高温部分の周囲の形状はともに平面であり、形状に変化がないことが、グループ化(グループA、グループB)した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値から判明する。
<S244>, <S245>
Next, the structural flaw defect detection processing unit 24 acquires the three-dimensional coordinate values of the grouped pixel point group 192 (black) and the three-dimensional coordinate values of the surrounding pixel point group 192 (S244), and performs grouping. It is determined whether there is a change in shape between the pixel point group 192 (black) and the surrounding pixel point group 192 (S245).
For example, in the example of FIG. 8, the group C152 in which the pixel point group 192 (black) is gathered is the location of the protrusion 160 provided on the wall surface 500, which is the third order of the grouped pixel point group 192 (black). It is determined from the original coordinate value and the three-dimensional coordinate value of the surrounding pixel point group 192.
On the other hand, in the group A150 and the group B151, the shape of the high temperature portion and the shape of the periphery of the high temperature portion are both flat, and the shape does not change, indicating that the group of pixel points 192 (group A, group B) ( (Black) three-dimensional coordinate values and the three-dimensional coordinate values of the surrounding pixel point group 192.

<S246>
次に、構造物傷欠陥検出処理部24は、画素点群の三次元座標値に基づき、形状に変化がない画素点群192(黒)のグループを内部欠陥部分候補として抽出する(S246)。
図8の例では、グル―プA150と、グループB151を内部欠陥部分候補として抽出する。
先述のとおり、屋外に設置されたコンクリート製構造物等では、日中は直射日光の影響により表面温度が上昇するが、構造物の内部にひび割れや剥離などの欠陥が生じている部分については周囲と比較してその部分は温度が上昇せず、構造物の表面に温度差が生じるという特徴がある。図8のグル―プA150と、グループB151は、表面形状に変化がないにも関わらず、温度差が生じている。このため構造物の内部にひび割れや剥離などの欠陥が生じている可能性が高いとして、グル―プA150と、グループB151を「内部欠陥部分候補」として抽出している。
<S246>
Next, the structural flaw defect detection processing unit 24 extracts a group of pixel point groups 192 (black) whose shape does not change as internal defect part candidates based on the three-dimensional coordinate values of the pixel point groups (S246).
In the example of FIG. 8, group A150 and group B151 are extracted as internal defect portion candidates.
As mentioned above, in concrete structures installed outdoors, the surface temperature rises due to the influence of direct sunlight during the daytime, but there are cracks and delamination inside the structure. Compared with, the temperature of the portion does not increase and a temperature difference is generated on the surface of the structure. The group A150 in FIG. 8 and the group B151 have a temperature difference despite no change in the surface shape. For this reason, the group A150 and the group B151 are extracted as “internal defect portion candidates” on the assumption that there is a high possibility that defects such as cracks and delamination have occurred inside the structure.

<S247>
構造物傷欠陥検出処理部24は、グル―プA150と、グループB151に含まれる画素点群192を用いた三次元モデル194をモニタ部(図示せず)に表示する(S247)。利用者はモニタ部でグル―プA150と、グループB151を確認可能である。
<S247>
The structural flaw defect detection processing unit 24 displays the three-dimensional model 194 using the group A150 and the pixel point group 192 included in the group B151 on the monitor unit (not shown) (S247). The user can check the group A 150 and the group B 151 on the monitor unit.

<S248>
次に、構造物傷欠陥検出処理部24は、画素点群の三次元座標値に基づき、形状に変化がある画素点群192(黒)のグループを判断保留部分として抽出する(S248)。
図8の例では、グル―プC152を判断保留部分として抽出する。
構造物表面になんらかの付着物がある場合、内部の欠陥ではなく、その付着物が温度差の原因となっている可能性が高い。図8の例では、突起物160が日射され構造物の表面温度が上昇していることが考えられる。そこで、構造物傷欠陥検出処理部24はグループCは内部欠陥部分候補ではなく、判断保留部分として抽出する。
<S248>
Next, the structural flaw defect detection processing unit 24 extracts a group of pixel point groups 192 (black) whose shape has changed based on the three-dimensional coordinate value of the pixel point group as a determination pending portion (S248).
In the example of FIG. 8, the group C152 is extracted as a determination suspension part.
If there is any deposit on the surface of the structure, there is a high possibility that the deposit causes a temperature difference, not an internal defect. In the example of FIG. 8, it can be considered that the protrusion 160 is exposed to sunlight and the surface temperature of the structure is increased. Therefore, the structure flaw defect detection processing unit 24 extracts the group C not as an internal defect portion candidate but as a determination pending portion.

<S249>
構造物傷欠陥検出処理部24は、グル―プC152に含まれる画素点群192を用いた三次元モデル194を、モニタ部(図示せず)に表示する(S249)。
利用者はモニタ部でグル―プC152を確認可能である。仮に、モニタ部での確認により欠陥でないと判断できれば、利用者はグループCを判断保留部分から削除することが可能である。また、利用者がモニタ部での確認により欠陥の可能性が高いと判断すれば、モニタ等の操作によりグループCを「判断保留部分」から「内部欠陥部分候補」に変更することも可能である。
<S249>
The structural flaw defect detection processing unit 24 displays the three-dimensional model 194 using the pixel point group 192 included in the group C152 on the monitor unit (not shown) (S249).
The user can check the group C152 on the monitor unit. If it is possible to determine that the defect is not a defect by confirmation on the monitor unit, the user can delete the group C from the determination pending portion. In addition, if the user determines that the possibility of a defect is high by confirmation on the monitor unit, the group C can be changed from “determination pending part” to “internal defect part candidate” by operation of the monitor or the like. .

このように、構造物傷欠陥検出処理部24は、画素点群の各々に付与される三次元座標値と温度情報に基づいて、内部にひび割れや剥離などの欠陥が生じている部分を、「内部欠陥部分候補」として、抽出することができる。   In this way, the structural flaw defect detection processing unit 24, based on the three-dimensional coordinate value and temperature information given to each of the pixel point groups, a portion in which a defect such as a crack or peeling is generated inside “ It can be extracted as “internal defect part candidate”.

また構造物傷欠陥検出処理部24を含む計算機20は車両200に搭載されている。これにより、従来行っていた通行規制など、一般の通行車両への影響を与えることなく、道路周辺の構造物、たとえば壁面、トンネル、橋梁をはじめとする構造物に内在する傷や欠陥を、効率的に精度良く検出できる移動型探傷装置を提供することを目標とする。   The computer 20 including the structural flaw defect detection processing unit 24 is mounted on the vehicle 200. As a result, scratches and defects inherent in structures around roads, such as walls, tunnels, and bridges, can be efficiently handled without affecting conventional vehicles such as traffic restrictions. It is an object of the present invention to provide a mobile flaw detection apparatus that can accurately detect a problem.

実施の形態2.
実施の形態2では、検査対象となる構造物に日向部分と日陰部分がある場合に、内部に傷や欠陥を検出する検出方法について説明する。
図9は、実施の形態2に係る車道壁面表面の温度分布の一例を示す図である。実施の形態2では、表面に日向部分400と日陰部分410がある場合に構造物に内在する傷や欠陥を検出する。
実施の形態1では、先述の通り、画素点群の温度情報から周囲に比べスポット状に高温になっている画素点群を抽出していた(図7のS242)。高温になっているか否かの判断は例えば所定の閾値との比較により行うが、検査対象に日向部分と日陰部分がある場合、1つの閾値では高温か否かを正確に判断することが難しい。
そこで実施の形態2では、構造物傷欠陥検出処理部24は、日陰部分と日向部分とで各々閾値を設け、高温になっているか否かの判断は各々で設定した閾値を用いて判断するようにする。
これにより、道路周辺の構造物表面の3次元形状情報と温度情報を統合することで、道路周辺の構造物の欠陥診断をより精度良く効率的に行うことができる。
Embodiment 2. FIG.
In the second embodiment, a description will be given of a detection method for detecting a scratch or a defect when a structure to be inspected has a sunlit portion and a shaded portion.
FIG. 9 is a diagram showing an example of the temperature distribution on the roadway wall surface according to the second embodiment. In the second embodiment, a scratch or a defect inherent in the structure is detected when the sunlit portion 400 and the shaded portion 410 are on the surface.
In the first embodiment, as described above, the pixel point group that is higher in the spot shape than the surroundings is extracted from the temperature information of the pixel point group (S242 in FIG. 7). Whether the temperature is high or not is determined by, for example, comparison with a predetermined threshold value. However, when there are a sunlit portion and a shaded portion to be inspected, it is difficult to accurately determine whether the temperature is high with one threshold value.
Therefore, in the second embodiment, the structural flaw defect detection processing unit 24 sets threshold values for the shaded portion and the sunny portion, and determines whether the temperature is high using the threshold values set for each. To.
Thereby, the defect diagnosis of the structure around the road can be performed more accurately and efficiently by integrating the three-dimensional shape information and the temperature information on the surface of the structure around the road.

なお、日陰部分、日向部分が既に分かっている時は、画素点群192に付加されている三次元座標値、温度情報に、更に日向または日陰の情報を付加することで、対象部分が日向であるか、日陰であるかを判断することができる。また、日陰部分、日向部分であるかが不明の場合は、所定のエリア内の温度情報を平均処理し、その温度差によりそのエリアが日向であるか、日陰であるかを判断するようにしてもよい。   In addition, when the shaded part and the sunlit part are already known, by adding further information on the sunshade or the shade to the three-dimensional coordinate value and temperature information added to the pixel point group 192, the target part is the sunlit part. It can be judged whether it is in the shade or in the shade. If it is unclear whether it is a shaded part or a sunny part, the temperature information in a given area is averaged, and the temperature difference is used to determine whether the area is sunny or shaded. Also good.

10 計測架台、11 レーザスキャナ、12 赤外カメラ、13 IMU、14 GPS受信機、15 GPSアンテナ、20 計算機、21 位置標定部、22 構造物3次元モデル生成部、23 記憶装置、24 構造物傷欠陥検出処理部、100 移動型探傷装置、110 赤外線画像処理部、120 画素点群生成部、140 三次元モデル生成部、150 グループA、151 グループB、152 グループC、153 グループD、160 突起物、180 三次元点群生成部、190 処理エリア、191 処理範囲画像、192 画素点群、192(黒) 画素点群(高温表示)、192(白) 画素点群(低温表示)、192(灰色) 画素点群(中温表示)、194 構造物三次元モデル、198 三次元点群、200 車両、291 距離方位点群、292 位置データ、293 赤外画像データ、299 パラメータデータ、400 日向部分、410 日陰部分、500 道路周辺の壁面、600 車道、610 車道の白線 DESCRIPTION OF SYMBOLS 10 Measurement stand, 11 Laser scanner, 12 Infrared camera, 13 IMU, 14 GPS receiver, 15 GPS antenna, 20 Computer, 21 Positioning part, 22 Structure three-dimensional model generation part, 23 Storage device, 24 Structure damage Defect detection processing unit, 100 mobile flaw detector, 110 infrared image processing unit, 120 pixel point group generation unit, 140 three-dimensional model generation unit, 150 group A, 151 group B, 152 group C, 153 group D, 160 projection , 180 3D point group generation unit, 190 processing area, 191 processing range image, 192 pixel point group, 192 (black) pixel point group (high temperature display), 192 (white) pixel point group (low temperature display), 192 (gray) ) Pixel point group (medium temperature display), 194 Three-dimensional model of structure, 198 Three-dimensional point group, 200 Vehicle, 291 Releasing orientation point cloud 292 position data, 293 infrared image data, 299 parameter data 400 sunlit portion, 410 shaded portions, the wall surface of the peripheral 500 road, 600 road, 610 road white line

Claims (4)

移動体に搭載され、周囲の構造物の欠陥を検出する移動型探傷装置であって、
測位衛星から測位信号を受信する受信部と、
レーザスキャナと、
赤外カメラと、
計算部と、
を備え、
前記計算部は、前記受信部で受信した測位信号から算出した前記移動体の位置と、前記レーザスキャナで取得する周囲の構造物までの距離と方位とを用いて生成した前記周囲の構造物の三次元位置情報を含む三次元点群データと、
前記三次元点群に対応する前記赤外カメラで取得した前記周囲の構造物の赤外画像データと、
を用いて前記三次元点群に温度情報を付加した画素点群データを生成し、
前記画素点群データの三次元座標値と温度情報を用いて、周囲の構造物の欠陥を検出することを特徴とする移動型探傷装置。
A mobile flaw detector that is mounted on a moving body and detects defects in surrounding structures,
A receiver for receiving a positioning signal from a positioning satellite;
A laser scanner,
An infrared camera,
A calculation unit;
With
The calculation unit is configured to calculate the position of the surrounding structure generated by using the position of the moving body calculated from the positioning signal received by the reception unit and the distance and direction to the surrounding structure acquired by the laser scanner. 3D point cloud data including 3D position information;
Infrared image data of the surrounding structure acquired by the infrared camera corresponding to the three-dimensional point group;
To generate pixel point cloud data with temperature information added to the three-dimensional point cloud,
A mobile flaw detector characterized by detecting a defect of a surrounding structure using a three-dimensional coordinate value of the pixel point group data and temperature information.
前記計算部は、前記温度情報を用いて、周囲の温度に比べて高温である画素点群の集合を抽出し、
前記三次元座標値を用いて、前記抽出した画素点群の集合の形状と、前記抽出した画素点群の集合の周囲の画素点群の形状とを比較し、周囲の構造物の欠陥を検出することを特徴とする請求項1記載の移動型探傷装置。
The calculation unit uses the temperature information to extract a set of pixel point groups that are hotter than the surrounding temperature,
Using the three-dimensional coordinate values, the shape of the set of the extracted pixel point group is compared with the shape of the pixel point group around the extracted pixel point group, and a defect in the surrounding structure is detected. The mobile flaw detector according to claim 1, wherein:
前記計算部は、前記抽出した画素点群の集合の形状と、前記抽出した画素点群の集合の周囲の画素点群の形状とがともに平坦である場合に、前記抽出した画素点群に対応する前記構造物に欠陥があると判断することを特徴とする請求項2記載の移動型探傷装置。   The calculation unit corresponds to the extracted pixel point group when the shape of the set of the extracted pixel point group and the shape of the pixel point group around the extracted pixel point group are both flat. The mobile flaw detection apparatus according to claim 2, wherein the structure is determined to be defective. 前記欠陥は、前記構造物の内部にある欠陥であることを特徴とする請求項1〜3いずれか記載の移動型探傷装置。 The mobile flaw detector according to claim 1, wherein the defect is a defect inside the structure.
JP2017087183A 2017-04-26 2017-04-26 Mobile flaw detector Active JP6708163B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017087183A JP6708163B2 (en) 2017-04-26 2017-04-26 Mobile flaw detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017087183A JP6708163B2 (en) 2017-04-26 2017-04-26 Mobile flaw detector

Publications (2)

Publication Number Publication Date
JP2018185228A true JP2018185228A (en) 2018-11-22
JP6708163B2 JP6708163B2 (en) 2020-06-10

Family

ID=64355607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087183A Active JP6708163B2 (en) 2017-04-26 2017-04-26 Mobile flaw detector

Country Status (1)

Country Link
JP (1) JP6708163B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146369A (en) * 2019-05-13 2019-08-20 合肥工业大学 A kind of integrated dual-purpose apparatus of infrared nondestructive flaw detection for Modified Bitumen Pavement
CN110450167A (en) * 2019-08-27 2019-11-15 南京涵曦月自动化科技有限公司 A kind of robot infrared laser positioning motion trail planning method
KR102233351B1 (en) * 2021-01-07 2021-03-30 주식회사 유오케이 Management system and method for facility management based on 3d lidar
WO2021095382A1 (en) 2019-11-15 2021-05-20 パナソニックIpマネジメント株式会社 Sensing device and information processing device
WO2021199730A1 (en) * 2020-03-31 2021-10-07 パイオニア株式会社 Information processing device, computer program, recording medium, and display data creation method
WO2021241537A1 (en) * 2020-05-29 2021-12-02 富士フイルム株式会社 Damage diagram creation assistance method and device
JP2022032540A (en) * 2020-08-12 2022-02-25 武志 小畠 Infrared examination analysis diagnosis apparatus
JP2022042409A (en) * 2020-09-02 2022-03-14 株式会社テナーク Method for comparing continuous temperature, method for assaying specific temperature region, information processor, continuous temperature comparison system, specific temperature region assay system, and program
CN114739311A (en) * 2022-06-15 2022-07-12 安徽大学 Multi-sensor-based rapid deformation monitoring equipment and method for shaft
GB2610881A (en) * 2021-09-17 2023-03-22 Acad Of Robotics A method, vehicle and system for measuring a dimension of a road defect

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234383A (en) * 2005-02-22 2006-09-07 Urban Sekkei:Kk Method of diagnosing deterioration in concrete structure
JP2013092403A (en) * 2011-10-24 2013-05-16 Pasuko:Kk Detection support device for deformed spot associated with liquefaction and detection support program for deformed spot associated with liquefaction
US20150330911A1 (en) * 2014-05-13 2015-11-19 Gs Engineering Services, Inc. Remote scanning and detection apparatus and method
JP2016070676A (en) * 2014-09-26 2016-05-09 株式会社トプコン Calculation device, calculation method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234383A (en) * 2005-02-22 2006-09-07 Urban Sekkei:Kk Method of diagnosing deterioration in concrete structure
JP2013092403A (en) * 2011-10-24 2013-05-16 Pasuko:Kk Detection support device for deformed spot associated with liquefaction and detection support program for deformed spot associated with liquefaction
US20150330911A1 (en) * 2014-05-13 2015-11-19 Gs Engineering Services, Inc. Remote scanning and detection apparatus and method
JP2016070676A (en) * 2014-09-26 2016-05-09 株式会社トプコン Calculation device, calculation method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小澤正、吉田光伸: "モービルマッピングシステム(MMS)の進化", 三菱電機技報, vol. 90, no. 2, JPN7020000144, February 2016 (2016-02-01), pages 51 - 54, ISSN: 0004198078 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146369A (en) * 2019-05-13 2019-08-20 合肥工业大学 A kind of integrated dual-purpose apparatus of infrared nondestructive flaw detection for Modified Bitumen Pavement
CN110450167A (en) * 2019-08-27 2019-11-15 南京涵曦月自动化科技有限公司 A kind of robot infrared laser positioning motion trail planning method
WO2021095382A1 (en) 2019-11-15 2021-05-20 パナソニックIpマネジメント株式会社 Sensing device and information processing device
US20230154099A1 (en) * 2020-03-31 2023-05-18 Pioneer Corporation Information processing device, computer program, recording medium, and display data creation method
WO2021199730A1 (en) * 2020-03-31 2021-10-07 パイオニア株式会社 Information processing device, computer program, recording medium, and display data creation method
JPWO2021199730A1 (en) * 2020-03-31 2021-10-07
WO2021241537A1 (en) * 2020-05-29 2021-12-02 富士フイルム株式会社 Damage diagram creation assistance method and device
JPWO2021241537A1 (en) * 2020-05-29 2021-12-02
JP7353485B2 (en) 2020-05-29 2023-09-29 富士フイルム株式会社 Damage diagram creation support method and device
JP2022032540A (en) * 2020-08-12 2022-02-25 武志 小畠 Infrared examination analysis diagnosis apparatus
JP7298921B2 (en) 2020-08-12 2023-06-27 株式会社赤外線高精度技術利用機構 Infrared Investigation Analysis Diagnosis Device
JP2022042409A (en) * 2020-09-02 2022-03-14 株式会社テナーク Method for comparing continuous temperature, method for assaying specific temperature region, information processor, continuous temperature comparison system, specific temperature region assay system, and program
KR102233351B1 (en) * 2021-01-07 2021-03-30 주식회사 유오케이 Management system and method for facility management based on 3d lidar
GB2610881A (en) * 2021-09-17 2023-03-22 Acad Of Robotics A method, vehicle and system for measuring a dimension of a road defect
CN114739311A (en) * 2022-06-15 2022-07-12 安徽大学 Multi-sensor-based rapid deformation monitoring equipment and method for shaft

Also Published As

Publication number Publication date
JP6708163B2 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
JP6708163B2 (en) Mobile flaw detector
CN114444158B (en) Underground roadway deformation early warning method and system based on three-dimensional reconstruction
KR100795396B1 (en) Method for monitoring altered city using airborne laser surveying data and digital orthophoto
EP2588882B1 (en) Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo
JP6950832B2 (en) Position coordinate estimation device, position coordinate estimation method and program
EP3767231B1 (en) Surveying apparatus
JP6178704B2 (en) Measuring point height assigning system, measuring point height assigning method, and measuring point height assigning program
RU2591875C1 (en) Method of constructing map of exogenous geological processes of area along route of main oil line
JP6876445B2 (en) Data compressors, control methods, programs and storage media
JP5347006B2 (en) Defect location detection support apparatus accompanying liquefaction and deformation location detection support program accompanying liquefaction
CN114724110A (en) Target detection method and device
JP2017129508A (en) Self-location estimation system, self-location estimation method, mobile terminal, server and self-location estimation program
JP2011027595A (en) Map data verification system
Potó et al. Laser scanned point clouds to support autonomous vehicles
JP6715205B2 (en) Work machine surrounding image display device
JP4651397B2 (en) Deposition monitoring method, system and computer program
KR20160125803A (en) Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest
JP5230354B2 (en) POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE
JP5297366B2 (en) Imaging object information generation apparatus and imaging object information generation program
JP2021070993A (en) Infrastructure inspection system and infrastructure inspection method
JP7241948B2 (en) Road surface condition investigation system, road surface condition investigation device, and road surface condition investigation method
JP7082227B1 (en) Road surface property survey system, road surface property survey device, and road surface property survey method
Zuev et al. Mobile system for road inspection and 3D modelling
CN117848302B (en) Real-time terrain intelligent mapping method and system
Luo et al. Automatic road surface profiling with sensors fusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200504

R151 Written notification of patent or utility model registration

Ref document number: 6708163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250