JP2021089185A - Concrete structure diagnostic system, concrete structure diagnostic method, and program - Google Patents

Concrete structure diagnostic system, concrete structure diagnostic method, and program Download PDF

Info

Publication number
JP2021089185A
JP2021089185A JP2019218869A JP2019218869A JP2021089185A JP 2021089185 A JP2021089185 A JP 2021089185A JP 2019218869 A JP2019218869 A JP 2019218869A JP 2019218869 A JP2019218869 A JP 2019218869A JP 2021089185 A JP2021089185 A JP 2021089185A
Authority
JP
Japan
Prior art keywords
thermal image
image
temperature
temperature change
concrete structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019218869A
Other languages
Japanese (ja)
Other versions
JP7405362B2 (en
Inventor
伸治 砂金
Nobuharu Isago
伸治 砂金
敦 日下
Atsushi Kusaka
敦 日下
石村 利明
Toshiaki Ishimura
利明 石村
昌史 久保
Masashi Kubo
昌史 久保
博美 丹
Hiromi Tan
博美 丹
勲 天野
Isao Amano
勲 天野
洋平 武石
Yohei Takeishi
洋平 武石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozen Maintenance & Management Engineering Co Ltd
Shimizu Construction Co Ltd
Shimizu Corp
National Research and Development Agency Public Works Research Institute
Original Assignee
Hozen Maintenance & Management Engineering Co Ltd
Shimizu Construction Co Ltd
Public Works Research Institute
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozen Maintenance & Management Engineering Co Ltd, Shimizu Construction Co Ltd, Public Works Research Institute, Shimizu Corp filed Critical Hozen Maintenance & Management Engineering Co Ltd
Priority to JP2019218869A priority Critical patent/JP7405362B2/en
Publication of JP2021089185A publication Critical patent/JP2021089185A/en
Application granted granted Critical
Publication of JP7405362B2 publication Critical patent/JP7405362B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

To provide a concrete structure diagnostic system capable of easily diagnosing a state of a concrete structure even if a temperature change of concrete is small.SOLUTION: A concrete structure diagnostic system 1 includes: an imaging section 10 for capturing a thermal image indicating a temperature distribution of a predetermined area to be inspected on a surface of concrete; and a diagnostic device 20 that generates a first thermal image by removing noise from the thermal image, generates a second thermal image by averaging a range in which an uneven temperature gradient generated in the first thermal image, generates a temperature change image by emphasizing a portion in which a temperature change is locally suddenly generated in the second thermal image as an edge, generates an edge image by converting a temperature change amount in the temperature change image into an absolute value, generates a third thermal image by adding data obtained by multiplying data of the edge image by a predetermined coefficient to data of the second thermal image, and extracts a temperature varying region on the basis of a predetermined threshold value in the third thermal image.SELECTED DRAWING: Figure 1

Description

本発明は、コンクリートの状態を診断するコンクリート構造物診断システム、コンクリート構造物診断方法及びプログラムに関する。 The present invention relates to a concrete structure diagnostic system for diagnosing the state of concrete, a concrete structure diagnostic method and a program.

コンクリート構造物は、経年変化により内部の鉄筋が腐食して膨張する等の原因により、コンクリートの表層においてコンクリートの塊の一部が分離するといった、いわゆる浮きや剥離等の変状部分が生じる虞がある。従ってコンクリート構造物の表面を検査して、変状部分を早期発見し補修する等の対策が重要である。 In a concrete structure, there is a risk that deformed parts such as so-called floating or peeling may occur, such as a part of a concrete block separating on the surface layer of concrete due to the cause of corrosion and expansion of the internal reinforcing bars due to aging. is there. Therefore, it is important to take measures such as inspecting the surface of the concrete structure to detect and repair the deformed part at an early stage.

コンクリート構造物を診断するために、コンクリート構造物の表面をハンマー等で叩き、音の違いによりコンクリート表層に生じた変状部分を検出する打音検査が一般的に行われている。打音検査では、検査のために構造物の表面に足場を組み、高所で作業する必要が生じることが多く、手間がかかると共に、構造物の大きさに従って検査範囲が広くなり長い期間を要する。また、打音検査では、作業者が打音の違いを診断するため診断結果にばらつきが生じる可能性がある。 In order to diagnose a concrete structure, a hitting sound inspection is generally performed in which the surface of the concrete structure is hit with a hammer or the like and a deformed portion generated on the concrete surface layer due to a difference in sound is detected. In the tapping sound inspection, it is often necessary to build a scaffold on the surface of the structure and work at a high place for inspection, which is troublesome and requires a long period of time because the inspection range becomes wider according to the size of the structure. .. Further, in the tapping sound test, the operator diagnoses the difference in tapping sound, so that the diagnosis result may vary.

特許文献1には、撮像した熱画像に基づいてコンクリート構造物の状態を診断する方法が記載されている。特許文献1に記載された情報処理装置によれば、赤外線カメラで撮影された熱画像データのデータ処理を行い、変温部分を抽出する。 Patent Document 1 describes a method of diagnosing the state of a concrete structure based on an captured thermal image. According to the information processing apparatus described in Patent Document 1, data processing of thermal image data taken by an infrared camera is performed to extract a temperature change portion.

特開2012−98170号公報Japanese Unexamined Patent Publication No. 2012-98170

トンネル等のコンクリート構造物は、内部の温度が安定しており、熱画像の撮像によりコンクリートの表面に生じた温度変化を捉えにくく、コンクリートの変状部分を抽出しにくいという課題がある。 A concrete structure such as a tunnel has a problem that the internal temperature is stable, it is difficult to capture the temperature change generated on the surface of the concrete by imaging a thermal image, and it is difficult to extract a deformed portion of the concrete.

本発明は、コンクリートの温度変化が少なくてもコンクリート構造物の状態を簡便に診断できるコンクリート構造物の診断方法及びコンクリート構造物診断システムを提供することを目的とする。 An object of the present invention is to provide a method for diagnosing a concrete structure and a system for diagnosing a concrete structure, which can easily diagnose the state of the concrete structure even if the temperature change of the concrete is small.

上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断システムであって、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像を撮像する撮像部と、前記熱画像からノイズを除去した第1熱画像を生成し、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成し、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成し、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成し、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成し、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する診断装置と、を備えることを特徴とする、コンクリート構造物診断システムである。 In order to achieve the above object, the present invention is a concrete structure diagnosis system for diagnosing a deformed portion of a concrete structure, and images a thermal image showing a temperature distribution of a predetermined area of a concrete surface to be inspected. The imaging unit and the first thermal image in which noise is removed from the thermal image are generated, and a second thermal image is generated by averaging the range in which the temperature gradient generated in the first thermal image is inhomogeneous. A temperature change image is generated in which a portion of a two-heat image in which a sudden temperature change occurs locally is emphasized as an edge, and the amount of temperature change in the temperature change image is made absolute to generate an edge image, and the second heat is generated. A third thermal image is generated by adding data obtained by multiplying the image data by a predetermined coefficient to the edge image data, and the temperature is changed based on a predetermined threshold in the third thermal image. It is a concrete structure diagnostic system characterized by including a diagnostic device for extracting an area.

本発明によれば、熱画像における変状部分に所定の係数を乗じて強調する処理を行うことでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。 According to the present invention, by performing a process of multiplying a deformed portion in a thermal image by a predetermined coefficient and emphasizing it, an image obtained by extracting the deformed portion of the concrete structure can be displayed even if the temperature change of the concrete is small.

また、本発明は、前記診断装置は、前記変温領域が抽出された診断画像を生成するように構成されていてもよい。 Further, in the present invention, the diagnostic apparatus may be configured to generate a diagnostic image from which the temperature change region is extracted.

本発明によれば、変状部分を強調表示する処理を行うことにより、可視画像では判別できない変状部分を可視化することができる。 According to the present invention, it is possible to visualize a deformed portion that cannot be discriminated by a visible image by performing a process of highlighting the deformed portion.

また、本発明は、前記診断装置は、前記コンクリートの外部環境が温度上昇している場合、前記第3熱画像において予め定められた閾値以上である領域を変温領域として抽出する、ように構成されていてもよい。 Further, the present invention is configured such that when the temperature of the external environment of the concrete rises, the diagnostic apparatus extracts a region equal to or higher than a predetermined threshold value in the third thermal image as a temperature changing region. It may have been done.

本発明によれば、外気温が温度上昇する環境条件において第3熱画像において変状部分であると予測される領域を第3熱画像から抽出し、表示できる。 According to the present invention, a region predicted to be a deformed portion in the third thermal image under environmental conditions in which the outside air temperature rises can be extracted from the third thermal image and displayed.

また、本発明は、前記診断装置が前記コンクリートの外部環境が温度低下している場合、前記第3熱画像において予め定められた閾値以下である領域を変温領域として抽出する、ように構成されていてもよい。 Further, the present invention is configured such that when the temperature of the external environment of the concrete is lowered, the diagnostic apparatus extracts a region equal to or less than a predetermined threshold value in the third thermal image as a temperature changing region. You may be.

本発明によれば、外気温が温度低下する環境条件において第3熱画像において変状部分であると予測される領域を第3熱画像から抽出し、表示できる。 According to the present invention, a region predicted to be a deformed portion in the third thermal image can be extracted from the third thermal image and displayed under environmental conditions in which the outside air temperature decreases.

また、本発明は、前記診断装置が前記第3熱画像において温度パラメータ値に基づいて変温領域を抽出し、前記所定面積と前記変温領域の抽出面積との比である面積率を算出し、前記面積率と前記温度パラメータ値との関係において前記面積率の変曲点における温度値を閾値として設定し、前記第3熱画像から前記閾値に基づいて抽出した前記変温領域を前記変状部分として決定するように構成されていてもよい。 Further, in the present invention, the diagnostic apparatus extracts a temperature change region based on the temperature parameter value in the third thermal image, and calculates an area ratio which is a ratio of the predetermined area to the extracted area of the temperature change region. In the relationship between the area ratio and the temperature parameter value, the temperature value at the bending point of the area ratio is set as a threshold value, and the temperature change region extracted from the third thermal image based on the threshold value is defined as the deformation. It may be configured to be determined as a part.

本発明によれば、熱画像における変温領域を精度よく抽出するための閾値を設定することでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。 According to the present invention, by setting a threshold value for accurately extracting the temperature change region in the thermal image, it is possible to display an image in which the deformed portion of the concrete structure is extracted even if the temperature change of the concrete is small.

また、本発明は、前記診断装置が前記第3熱画像において前記変状部分のサンプルとなる複数の前記第3熱画像に基づいて前記変状部分が所定割合以上に検出されることにより決定された温度の閾値以上である領域を前記変状部分として抽出するように構成されていてもよい。 Further, the present invention is determined by the fact that the diagnostic apparatus detects the deformed portion in a predetermined ratio or more based on a plurality of the deformed portions as a sample of the deformed portion in the third thermal image. It may be configured to extract the region which is equal to or higher than the threshold value of the temperature as the deformed portion.

本発明によれば、熱画像における変温領域を精度よく抽出するための閾値を可視画像と熱画像とを用いて変状部分が所定割合以上に検出されるように設定することでコンクリートの温度変化が少なくてもコンクリート構造物の変状部分を抽出した画像を表示できる。 According to the present invention, the temperature of concrete is set by setting a threshold value for accurately extracting a temperature change region in a thermal image so that a deformed portion is detected at a predetermined ratio or more by using a visible image and a thermal image. Even if there is little change, it is possible to display an image extracted from the deformed part of the concrete structure.

本発明はまた、前記診断装置が前記コンクリート構造物において診断対象の位置及び時間を変更して決定された複数の前記閾値と前記閾値により決定された健全領域の平均温度値との差分との分散を算出し、前記分散と前記差分とに基づく散布図に現れる関係に基づいて前記閾値を校正する校正曲線を算出し、他の診断対象の前記第3熱画像を生成し、前記第3熱画像から特異な温度を有する領域を除いた暫定領域の温度の分散を算出し、前記校正曲線を用いて前記他の診断対象における温度の閾値を設定するように構成されていてもよい。 The present invention also presents a dispersion of a plurality of the thresholds determined by the diagnostic apparatus by changing the position and time of the diagnosis target in the concrete structure and the difference between the average temperature value of the healthy region determined by the thresholds. Is calculated, a calibration curve for calibrating the threshold is calculated based on the relationship appearing in the scatter plot based on the variance and the difference, the third thermal image of another diagnostic target is generated, and the third thermal image is generated. It may be configured to calculate the temperature variance of the provisional region excluding the region having a peculiar temperature from the above and set the temperature threshold in the other diagnostic object using the calibration curve.

本発明によれば、閾値に基づいて抽出した過去のサンプルデータを用いて閾値を校正する校正曲線を算出することで、トンネルの立地条件や坑口からの距離等の条件によらず、より精度の高い閾値を算出できる。 According to the present invention, by calculating a calibration curve for calibrating the threshold value using the past sample data extracted based on the threshold value, the accuracy is higher regardless of the conditions such as the location condition of the tunnel and the distance from the wellhead. A high threshold can be calculated.

本発明はまた、前記撮像部がコンクリートの表面の検査対象の所定面積の可視画像を撮像し、前記診断装置は、前記第3熱画像に基づいて決定した前記変状部分と前記第3熱画像に対応する前記変状部分がマーキングされた前記可視画像とを比較する機械学習を行い、前記機械学習の結果に基づいて前記閾値を算出し、前記撮像部により撮像された新たな熱画像に基づいて新たな第3熱画像を生成し、算出した前記閾値に基づいて前記新たな第3熱画像から前記変状部分を抽出するように構成されていてもよい。 In the present invention, the imaging unit captures a visible image of a predetermined area of the concrete surface to be inspected, and the diagnostic apparatus uses the deformed portion and the third thermal image determined based on the third thermal image. Machine learning is performed by comparing with the visible image in which the deformed portion corresponding to the above is marked, the threshold value is calculated based on the result of the machine learning, and the new thermal image captured by the imaging unit is used. A new third thermal image may be generated, and the deformed portion may be extracted from the new third thermal image based on the calculated threshold value.

本発明によれば、機械学習結果に基づく閾値を撮像環境に応じて決定でき、第3熱画像から変状部分を精度よく抽出できる。 According to the present invention, the threshold value based on the machine learning result can be determined according to the imaging environment, and the deformed portion can be accurately extracted from the third thermal image.

上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断方法であって、コンピュータが、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成する工程と、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する工程と、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する工程と、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成する工程と、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する工程と、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する工程と、を備える、コンクリート構造物診断方法である。 In order to achieve the above object, the present invention is a concrete structure diagnosis method for diagnosing a deformed portion of a concrete structure, in which a computer shows a thermal image showing a temperature distribution of a predetermined area to be inspected on the surface of the concrete. A step of generating a first thermal image in which noise is removed from the heat image, a step of generating a second thermal image obtained by averaging a range in which the temperature gradient generated in the first thermal image is inhomogeneous, and a step of generating the second thermal image. A step of generating a temperature change image in which a portion where a sudden temperature change occurs locally is emphasized as an edge, a step of absoluteizing the amount of temperature change in the temperature change image and generating an edge image, and the second step. Based on the step of generating a third thermal image by adding data obtained by multiplying the thermal image data by a predetermined coefficient to the edge image data and a predetermined threshold value in the third thermal image. It is a concrete structure diagnosis method including a step of extracting a temperature change region.

上記の目的を達するために、本発明は、コンクリート構造物の変状部分を診断するコンクリート構造物診断システムに適用されるプログラムであって、コンピュータに、コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成させ、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成させ、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成させ、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成させ、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成させ、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出させることを特徴とする、プログラムである。 In order to achieve the above object, the present invention is a program applied to a concrete structure diagnosis system for diagnosing a deformed part of a concrete structure, and a computer is used to heat a predetermined area of a concrete surface to be inspected. A first thermal image in which noise is removed from the thermal image showing the distribution is generated, and a second thermal image in which the range in which the temperature gradient generated in the first thermal image is inhomogeneous is averaged is generated to generate the second heat. A temperature change image is generated in which a portion of the image in which a sudden temperature change occurs locally is emphasized as an edge, and the amount of temperature change in the temperature change image is made absolute to generate an edge image. The data obtained by multiplying the data of the edge image by a predetermined coefficient is added to the data to generate a third thermal image, and the temperature change region is set based on the predetermined threshold value in the third thermal image. It is a program characterized by being extracted.

本発明によれば、コンクリートの温度変化が少なくてもコンクリート構造物の状態を簡便に診断できるコンクリート構造物の診断方法及びコンクリート構造物診断システムを提供できる。 According to the present invention, it is possible to provide a concrete structure diagnosis method and a concrete structure diagnosis system that can easily diagnose the state of a concrete structure even if the temperature change of the concrete is small.

本発明の実施形態に係るコンクリート構造物診断システムの構成を示す図である。It is a figure which shows the structure of the concrete structure diagnostic system which concerns on embodiment of this invention. 変状部分が生じたコンクリート構造物の表面の可視画像を示す図である。It is a figure which shows the visible image of the surface of the concrete structure which a deformed part occurred. 変状部分の熱画像及び2値化画像を示す図である。It is a figure which shows the thermal image and the binarized image of the deformed part. ノイズ成分を除去した第1熱画像及び2値化画像を示す図である。It is a figure which shows the 1st thermal image and the binarized image which removed the noise component. 温度勾配が不均質な範囲を平均化した第2熱画像及び2値化画像を示す図である。It is a figure which shows the 2nd thermal image and the binarized image which averaged the region where the temperature gradient is inhomogeneous. 変状部分を強調した第3熱画像及び2値化画像を示す図である。It is a figure which shows the 3rd thermal image and the binarized image which emphasized the deformed part. 可視画像に変温領域が抽出された画像を合成した診断画像を示す図である。It is a figure which shows the diagnostic image which combined the image which extracted the temperature change region with the visible image. コンクリート構造物診断システムにおいて実行される処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process executed in the concrete structure diagnosis system. 閾値と抽出面積の関係を示す図である。It is a figure which shows the relationship between the threshold value and the extraction area. 閾値と浮き部の抽出率を示す図である。It is a figure which shows the threshold value and the extraction rate of a floating part. 累積データに基づいて生成される閾値の校正曲線を示す図である。It is a figure which shows the calibration curve of the threshold value generated based on the cumulative data.

以下、図面を参照しつつ、本発明に係るコンクリート構造物診断方法及びコンクリート構造物診断システムの実施形態について説明する。 Hereinafter, embodiments of the concrete structure diagnosis method and the concrete structure diagnosis system according to the present invention will be described with reference to the drawings.

図1に示されるように、コンクリート構造物診断システム1は、撮像領域の画像を撮像する撮像部10と、撮像部10が撮像した画像を処理する診断装置20と、撮像部10を運搬する移動架台30とを備える。撮像部10と診断装置20とは、例えば、有線又は無線により接続されている。 As shown in FIG. 1, the concrete structure diagnostic system 1 carries an imaging unit 10 that captures an image in an imaging region, a diagnostic device 20 that processes an image captured by the imaging unit 10, and a moving image pickup unit 10. A gantry 30 is provided. The imaging unit 10 and the diagnostic device 20 are connected, for example, by wire or wirelessly.

撮像部10は、例えば、赤外線カメラ11と可視画像カメラ12を備える。赤外線カメラ11は、構造物のコンクリートの表面の温度分布を示す熱画像を撮像する。赤外線カメラ11は、一般的な赤外線サーモグラフィ装置を用いることができる。可視画像カメラ12は、コンクリートの表面の可視画像を撮像する。可視画像カメラ12は、一般的なデジタルカメラを用いることができる。 The imaging unit 10 includes, for example, an infrared camera 11 and a visible image camera 12. The infrared camera 11 captures a thermal image showing the temperature distribution of the concrete surface of the structure. As the infrared camera 11, a general infrared thermography device can be used. The visible image camera 12 captures a visible image of the concrete surface. As the visible image camera 12, a general digital camera can be used.

撮像部10は、例えば、移動架台30に設置される。移動架台30は、撮像対象のコンクリート構造物の表面から所定距離離間しながら移動する。移動架台30により撮像部10は、撮像対象の連続画像を撮像できる。撮像部10は、この他、移動架台30の移動距離を計測する距離計16を備える。距離計16は、例えば、エンコーダ、レーザ距離計等が用いられる。 The imaging unit 10 is installed on, for example, a mobile pedestal 30. The moving pedestal 30 moves while being separated from the surface of the concrete structure to be imaged by a predetermined distance. The moving gantry 30 allows the imaging unit 10 to capture a continuous image to be imaged. The imaging unit 10 also includes a range finder 16 that measures the moving distance of the moving pedestal 30. As the range finder 16, for example, an encoder, a laser range finder, or the like is used.

移動架台30は、自走可能な移動台車である。移動架台30は、撮像部10をトンネルの進行方向において所定距離移動させる。この際、撮像部10は、トンネルの内壁面(コンクリートの表面)の撮影画像データを連続的に撮像する。移動架台30は、自動走行するものであってもよいし、作業者が移動させるものであってもよい。 The mobile gantry 30 is a self-propellable mobile trolley. The moving pedestal 30 moves the imaging unit 10 by a predetermined distance in the traveling direction of the tunnel. At this time, the imaging unit 10 continuously images the captured image data of the inner wall surface (concrete surface) of the tunnel. The moving pedestal 30 may be one that automatically travels or one that is moved by an operator.

移動架台30において、赤外線カメラ11と可視画像カメラ12とは、トンネルの内壁面における略同一の重複する領域を撮像するよう同方向に向くように設置されている。移動架台30において、赤外線カメラ11と可視画像カメラ12とは、アーチ状のトンネルの内壁に沿って帯状に連続した画像を撮像できるように可動する。 In the mobile gantry 30, the infrared camera 11 and the visible image camera 12 are installed so as to face in the same direction so as to image substantially the same overlapping region on the inner wall surface of the tunnel. In the mobile gantry 30, the infrared camera 11 and the visible image camera 12 are movable so as to be able to capture continuous images in a strip shape along the inner wall of the arch-shaped tunnel.

一つの帯状領域を撮像した後、移動架台30をトンネル進行方向に所定距離移動することで、撮像部10は、トンネルの内壁の画像を撮像できる。撮像部10により撮像された複数の画像は、診断装置20において画像処理され、オーバーラップ部分が除去されてトンネルの内壁全体の連続画像として生成される。 After imaging one strip-shaped region, the moving pedestal 30 is moved by a predetermined distance in the tunnel traveling direction, so that the imaging unit 10 can image an image of the inner wall of the tunnel. The plurality of images captured by the imaging unit 10 are image-processed by the diagnostic apparatus 20, the overlapping portion is removed, and a continuous image of the entire inner wall of the tunnel is generated.

撮像部10は、撮像した画像データや距離計16の距離データを診断装置20に出力する。撮像部10が撮像した画像データは、メモリカード、ハードディスクドライブ、CD-ROM,DVD-ROM等のデータの記録を可能とする記憶媒体を介して診断装置20に提供してもよい。 The image pickup unit 10 outputs the captured image data and the distance data of the range finder 16 to the diagnostic apparatus 20. The image data captured by the imaging unit 10 may be provided to the diagnostic apparatus 20 via a storage medium capable of recording data such as a memory card, a hard disk drive, or a CD-ROM or DVD-ROM.

診断装置20は、例えば、パーソナルコンピュータ(PC)、タブレット型端末装置、スマートフォン等の端末装置により実現される。診断装置20は、有線または無線により撮像部10と通信可能に接続されている。診断装置20は、移動架台30に搭載されていてもよいし、移動架台30と別の場所に設置されるものであってもよい。診断装置20は、撮像部10とネットワークにより接続されるサーバ装置であってもよい。診断装置20は、撮像部10から画像を取得する取得部22と、画像に基づいて診断結果を算出する演算部24と、診断結果を表示する表示部26と、各種情報を記憶する記憶部28とを備える。 The diagnostic device 20 is realized by, for example, a terminal device such as a personal computer (PC), a tablet-type terminal device, or a smartphone. The diagnostic device 20 is connected to the imaging unit 10 in a communicable manner by wire or wirelessly. The diagnostic device 20 may be mounted on the mobile gantry 30 or may be installed at a place different from the mobile gantry 30. The diagnostic device 20 may be a server device connected to the imaging unit 10 by a network. The diagnostic device 20 includes an acquisition unit 22 that acquires an image from the image pickup unit 10, a calculation unit 24 that calculates a diagnosis result based on the image, a display unit 26 that displays the diagnosis result, and a storage unit 28 that stores various information. And.

取得部22は、撮像部10から出力された撮像画像データや距離データが入力されるインタフェースである。取得部22は、有線又は無線デバイスである。取得部22は、USB,カードリーダ、CDドライブ、DVDドライブ等の記憶媒体からデータを読み出すインタフェースであってもよい。取得部22は、取得した画像データを記憶部28に記憶する。 The acquisition unit 22 is an interface for inputting captured image data and distance data output from the imaging unit 10. The acquisition unit 22 is a wired or wireless device. The acquisition unit 22 may be an interface for reading data from a storage medium such as a USB, a card reader, a CD drive, or a DVD drive. The acquisition unit 22 stores the acquired image data in the storage unit 28.

演算部24は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。また、このプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 The arithmetic unit 24 is realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components are hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), etc. It may be realized by (including circuits), or it may be realized by the cooperation of software and hardware. The program may be stored in advance in a storage device such as an HDD (Hard Disk Drive) or a flash memory, or is stored in a removable storage medium such as a DVD or a CD-ROM, and the storage medium is stored in the drive device. It may be installed by being attached. Further, this program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.

演算部24は、記憶部28から画像データを読み出す。演算部24は、距離データと画像データとに基づいて、熱画像の画像処理を行う。演算部24は、画像処理した熱画像と可視画像とを合成しコンクリートの表面に生じた浮きや剥離の領域を抽出した診断画像を生成する。演算部24の処理の詳しい内容については後述する。演算部24は、表示部26を制御して生成した診断画像等の表示内容を表示させる。 The calculation unit 24 reads the image data from the storage unit 28. The calculation unit 24 performs image processing of the thermal image based on the distance data and the image data. The calculation unit 24 combines the image-processed thermal image and the visible image to generate a diagnostic image in which the floating or peeling region generated on the concrete surface is extracted. The detailed contents of the processing of the calculation unit 24 will be described later. The calculation unit 24 controls the display unit 26 to display the display contents such as the diagnostic image generated.

表示部26は、演算部24により生成された画像を表示する。表示部26は、例えば、液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ等の表示装置により実現される。 The display unit 26 displays the image generated by the calculation unit 24. The display unit 26 is realized by, for example, a display device such as a liquid crystal display, an organic EL display, or an LED display.

記憶部28は、画像データ、演算部24の演算に必要なデータを記憶する。記憶部28は、HDDやフラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の記憶装置である。 The storage unit 28 stores image data and data necessary for the calculation of the calculation unit 24. The storage unit 28 is a storage device such as an HDD, a flash memory, a RAM (Random Access Memory), or a ROM (Read Only Memory).

次に、診断装置20において実行される処理について説明する。 Next, the process executed by the diagnostic apparatus 20 will be described.

診断対象となるコンクリートの表層に浮きや剥離が生じると、浮きや剥離部分のコンクリート塊がコンクリート構造物と分離する。このコンクリート塊は、他の部分に比して熱しやすく、冷めやすいという性質がある。従って、コンクリート構造物に接する大気に温度変化が生じた場合、上記コンクリート塊は、他の部分に比して高い勾配で温度変化が生じる。従って、外気に温度変化が生じている環境においてコンクリートの表面の赤外線画像を撮像すると、浮きや剥離が生じたコンクリート塊の領域が周囲のコンクリートに対して異なる温度の変温領域となって現れる。 When floating or peeling occurs on the surface layer of the concrete to be diagnosed, the concrete lump of the floating or peeled part separates from the concrete structure. This concrete block has the property of being easier to heat and cool than other parts. Therefore, when a temperature change occurs in the atmosphere in contact with the concrete structure, the temperature change of the concrete block occurs at a higher gradient than the other parts. Therefore, when an infrared image of the surface of concrete is imaged in an environment where the temperature changes in the outside air, the region of the concrete block in which floating or peeling occurs appears as a temperature changing region having a temperature different from that of the surrounding concrete.

図2に示されるように、既知の浮き等の変状部分が生じたコンクリートの表面の一部が撮像された可視画像Pにおいては、変状部分が視認できない。 As shown in FIG. 2, in the visible image P in which a part of the surface of the concrete in which the known deformed portion such as a float is generated is captured, the deformed portion cannot be visually recognized.

図3に示されるように、熱画像Hには、撮像対象となるコンクリートの表面の温度分布が現れている。熱画像Hは、温度に応じて画素の色(輝度)が変化するように生成されている。図において熱画像Hの参照のために後述の閾値よりも高い部分を表示する2値化画像Qが並置して示されている。 As shown in FIG. 3, the thermal image H shows the temperature distribution on the surface of the concrete to be imaged. The thermal image H is generated so that the color (luminance) of the pixels changes according to the temperature. In the figure, for reference to the thermal image H, a binarized image Q displaying a portion higher than the threshold value described later is shown side by side.

熱画像Hそのものに基づいて直接的に浮きや剥離等の変状部分を抽出することは難しい。上述のように温度変化が生じている環境下では、熱画像Hの画像処理により変状部分を抽出できる。しかしながら、上述したようにトンネル構造物の内部では、外部環境に比して温度が安定しており、熱画像Hの画像処理による変状部分の抽出が困難となる。 It is difficult to directly extract a deformed portion such as floating or peeling based on the thermal image H itself. In the environment where the temperature changes as described above, the deformed portion can be extracted by the image processing of the thermal image H. However, as described above, the temperature inside the tunnel structure is stable as compared with the external environment, and it is difficult to extract the deformed portion by the image processing of the thermal image H.

診断装置20において実行される処理は、温度の変化が安定している環境化における熱画像に基づいて変状部分を強調表示して抽出するものである。以下の説明では、熱画像Hにおいて浮きや剥離部分の変温領域の温度が周囲よりも高くなっている状態を例示する。 The process executed in the diagnostic apparatus 20 is to highlight and extract the deformed portion based on the thermal image in the environment where the temperature change is stable. In the following description, a state in which the temperature of the temperature-changing region of the floating or peeling portion is higher than that of the surroundings in the thermal image H is illustrated.

熱画像Hには、変温領域の他にノイズ成分や浮きや剥離部分でないにもかかわらず温度が高い領域が含まれる。演算部24は、熱画像Hのデータに基づいてフィルタリング処理により熱画像Hにおける局所的なノイズを除去する。演算部24は、例えば、メディアンフィルター処理を用いた画像処理により熱画像Hのノイズを除去する。メディアンフィルターは、3×3の9個の画素の領域のうち、中心の画素を注目画素と設定し、各注目画素の周辺の8個の画素の中央値(メディアン)を算出し、各注目画素の値を周辺の8個の画素の中央値に置き換える処理を行う。 In addition to the temperature change region, the thermal image H includes a region where the temperature is high even though it is not a noise component or a floating or peeling portion. The calculation unit 24 removes local noise in the thermal image H by filtering processing based on the data of the thermal image H. The arithmetic unit 24 removes the noise of the thermal image H by, for example, image processing using the median filter processing. The median filter sets the center pixel as the pixel of interest in the area of 9 pixels of 3 × 3, calculates the median of the 8 pixels around each pixel of interest, and calculates each pixel of interest. Is replaced with the median value of the surrounding eight pixels.

図4に示されるように、演算部24は、上記処理を全ての画素に対して行い、熱画像Hから局所的なノイズ成分を除去し、第1熱画像H1を生成する。演算部24は、メディアンフィルター処理の他に移動平均フィルタ処理、ガウシアンフィルタ処理等を用いて熱画像Hのノイズを除去してもよい。 As shown in FIG. 4, the calculation unit 24 performs the above processing on all the pixels, removes a local noise component from the thermal image H, and generates a first thermal image H1. The arithmetic unit 24 may remove noise in the thermal image H by using a moving average filter process, a Gaussian filter process, or the like in addition to the median filter process.

コンクリートの表面には、トンネルの上部と下部とで、表面形状の凹凸の手前と奥とで、また、付属物で隠れている箇所とそうでない箇所とで温度差が生じるなど場所に応じた温度勾配(ムラ)が生じる。このような温度勾配がノイズ処理後の第1熱画像H1に存在する場合、浮きや剥離部分が抽出しにくくなる。 On the concrete surface, there is a temperature difference between the upper part and the lower part of the tunnel, before and after the unevenness of the surface shape, and between the part hidden by the accessories and the part not. Gradient (unevenness) occurs. When such a temperature gradient exists in the first thermal image H1 after the noise processing, it becomes difficult to extract the floating or peeled portion.

演算部24は、第1熱画像H1における温度勾配が不均質な範囲を平均化するフィルタ処理を行う。演算部24は、例えば、第1熱画像H1の画素全体の温度値の平均である平均温度TAを算出する。演算部24は、第1熱画像H1の全体の平均温度TAに対し、ある着目画素の周辺領域の平均温度TBを算出する。周辺領域は、一辺が所定の寸法で設定された矩形の画像範囲である。演算部24は、例えば、以下に示す数式(1)に基づいて第1熱画像H1の着目画素の温度値Tを補正した温度補正値TCを算出する。
TC=T+TA−TB (1)
上記処理を第1熱画像H1の全画素に対して行う事で、マクロ的に生じている温度勾配を軽減できる。
The calculation unit 24 performs a filter process for averaging a range in which the temperature gradient in the first thermal image H1 is inhomogeneous. The calculation unit 24 calculates, for example, the average temperature TA, which is the average of the temperature values of the entire pixels of the first thermal image H1. The calculation unit 24 calculates the average temperature TB of the peripheral region of a certain pixel of interest with respect to the overall average temperature TA of the first thermal image H1. The peripheral area is a rectangular image range in which one side is set with a predetermined dimension. The calculation unit 24 calculates, for example, the temperature correction value TC obtained by correcting the temperature value T of the pixel of interest of the first thermal image H1 based on the following mathematical formula (1).
TC = T + TA-TB (1)
By performing the above processing on all the pixels of the first thermal image H1, the temperature gradient generated on a macro scale can be reduced.

図5に示されるように、演算部24は、上記フィルタ処理を全ての画素に対して行い、第2熱画像H2を生成する。第2熱画像H2においてコンクリートの表面に広域的に生じている温度勾配の不均一性を抑えることができる。 As shown in FIG. 5, the calculation unit 24 performs the above-mentioned filter processing on all the pixels to generate the second thermal image H2. In the second thermal image H2, the non-uniformity of the temperature gradient occurring over a wide area on the concrete surface can be suppressed.

演算部24は、第2熱画像H2において、ある着目画素に対し、隣接する8個の画素との温度差に対して上下、左右、斜め方向の4方向微分を行って温度傾斜を算出する。演算部24は、算出した各方向の温度傾斜に対してそれぞれ重ね合わせを行う。演算部24は、上記処理を全画素に対して行い、温度変化が強調された温度変化画像を生成する。上記処理により、局所的に急激に温度変化が生じている箇所(エッジ)が強調された温度変化画像が得られる。エッジが強調された温度変化画像は、温度変化を表示する画像であるため、例えば、左から右にかけて温度が上昇する場合は正の値を示し、下降する場合は負の値を示す。 In the second thermal image H2, the calculation unit 24 calculates the temperature gradient of a certain pixel of interest by performing four-direction differentiation in the vertical, horizontal, and diagonal directions with respect to the temperature difference between the eight adjacent pixels. The calculation unit 24 superimposes each of the calculated temperature gradients in each direction. The calculation unit 24 performs the above processing on all the pixels to generate a temperature change image in which the temperature change is emphasized. By the above processing, a temperature change image in which a portion (edge) where a temperature change occurs locally and rapidly is emphasized can be obtained. Since the temperature change image in which the edge is emphasized is an image displaying the temperature change, for example, when the temperature rises from left to right, it shows a positive value, and when it falls, it shows a negative value.

温度変化画像においてエッジを強調するために、温度変化の正負に関係なく絶対値の高低のみに着目して温度変化量の符号を外し、絶対値化する処理が行われる。演算部24は、温度変化画像のデータを絶対値化してエッジ画像を生成する。演算部24は、エッジ画像において全ての画素(温度変化量)に対して所定の係数αを乗じた強調データを生成する。ここで、αの値は、エッジ強調の強度を表しており、所望の画像が得られるように予め適切な値が選択されている。 In order to emphasize the edge in the temperature change image, a process of removing the sign of the amount of temperature change and converting it into an absolute value is performed by paying attention only to the height of the absolute value regardless of whether the temperature change is positive or negative. The calculation unit 24 generates an edge image by converting the data of the temperature change image into an absolute value. The calculation unit 24 generates emphasis data obtained by multiplying all pixels (temperature change amount) by a predetermined coefficient α in the edge image. Here, the value of α represents the intensity of edge enhancement, and an appropriate value is selected in advance so that a desired image can be obtained.

演算部24は、第2熱画像H2の着目画素(温度データ)と着目画素と同じ位置の強調データにおける画素との合成値を算出する。即ち、第2熱画像H2における着目画素に対し、着目画素と同じ位置のα倍の温度変化量が足し合わされ「温度値+α倍の温度変化量」という演算処理が行われ、合成値が算出される。 The calculation unit 24 calculates a combined value of the pixel of interest (temperature data) of the second thermal image H2 and the pixel in the emphasis data at the same position as the pixel of interest. That is, the amount of temperature change of α times the same position as the pixel of interest is added to the pixel of interest in the second thermal image H2, and the calculation process of “temperature value + amount of temperature change of α times” is performed to calculate the combined value. To.

図6に示されるように、演算部24は、上記処理を全画素に対して行い、元の温度値をベースとしつつ、局所的な温度変化が生じている箇所が強調されるような補正が行われた第3熱画像H3を生成する。 As shown in FIG. 6, the calculation unit 24 performs the above processing on all the pixels, and makes corrections based on the original temperature value so as to emphasize the portion where the local temperature change occurs. The performed third thermal image H3 is generated.

演算部24は、第3熱画像H3の後述の条件に応じた閾値を用いて、画素の値と閾値とを比較し、閾値以上の画素を変温領域と判定する。閾値は、第3熱画像H3において最も変温領域が抽出され易い条件に応じて事前に決定され、記憶部28に記憶されている。本実施形態では、変温領域が高温である高温側の閾値は、例えば、26.16度に設定されている。 The calculation unit 24 compares the value of the pixel with the threshold value by using the threshold value corresponding to the condition described later of the third thermal image H3, and determines that the pixel above the threshold value is the temperature change region. The threshold value is determined in advance according to the condition in which the temperature change region is most easily extracted in the third thermal image H3, and is stored in the storage unit 28. In the present embodiment, the threshold value on the high temperature side where the temperature change region is high temperature is set to, for example, 26.16 degrees.

図7に示されるように、演算部24は、第3熱画像H3に基づいて閾値以上であり、且つ閉じた領域を変温領域であると判定し、変温領域を抽出した診断画像Sを生成する。 As shown in FIG. 7, the calculation unit 24 determines that the region that is equal to or greater than the threshold value and is the temperature change region based on the third thermal image H3, and extracts the temperature change region from the diagnostic image S. Generate.

一般に昼間等の温度上昇が生じる環境下において熱画像Hを処理する場合、健全領域に比して浮き部の温度が高くなるため、高温側の閾値以上の画素が変温領域として抽出される。逆に夜間等の温度低下が生じる環境下において熱画像Hを処理する場合、健全領域に比して浮き部の温度が低くなるため、低温側の閾値以下の画素が変温領域として抽出される。 Generally, when the thermal image H is processed in an environment where the temperature rises such as in the daytime, the temperature of the floating portion is higher than that in the healthy region, so pixels above the threshold value on the high temperature side are extracted as the temperature changing region. On the contrary, when the thermal image H is processed in an environment where the temperature drops such as at night, the temperature of the floating portion is lower than that in the healthy region, so pixels below the threshold value on the low temperature side are extracted as the temperature changing region. ..

次に、コンクリート構造物診断システム1において実行される処理の流れについて説明する。 Next, the flow of processing executed in the concrete structure diagnosis system 1 will be described.

図8に示されるように、赤外線カメラ11により、熱画像Hを撮像する(ステップS10)。可視画像カメラ12により可視画像を撮像する(ステップS12)。演算部24は、熱画像Hからノイズを除去した第1熱画像を生成する(ステップS14)。演算部24は、第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する(ステップS16)。演算部24は、第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する(ステップS18)。 As shown in FIG. 8, the thermal image H is captured by the infrared camera 11 (step S10). A visible image is captured by the visible image camera 12 (step S12). The calculation unit 24 generates a first thermal image in which noise is removed from the thermal image H (step S14). The calculation unit 24 generates a second thermal image obtained by averaging a range in which the temperature gradient generated in the first thermal image is inhomogeneous (step S16). The calculation unit 24 generates a temperature change image in which a portion of the second thermal image in which a sudden temperature change occurs locally is emphasized as an edge (step S18).

演算部24は、温度変化画像における温度変化量を絶対値化しエッジ画像を生成する(ステップS20)。演算部24は、第2熱画像のデータに対してエッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する(ステップS22)。演算部24は、第3熱画像において予め定められた閾値に基づいて変温領域を抽出する(ステップS24)。演算部24は、可視画像に変温領域が抽出された画像を合成して診断画像を生成する(ステップS26)。上記各工程は、必ずしも上記順に処理されなくてもよく、前後してもよい。 The calculation unit 24 makes an absolute value of the amount of temperature change in the temperature change image and generates an edge image (step S20). The calculation unit 24 generates a third thermal image by adding data obtained by multiplying the edge image data by a predetermined coefficient with respect to the data of the second thermal image (step S22). The calculation unit 24 extracts the temperature change region based on a predetermined threshold value in the third thermal image (step S24). The calculation unit 24 generates a diagnostic image by synthesizing the image in which the temperature change region is extracted with the visible image (step S26). Each of the above steps does not necessarily have to be processed in the above order, and may be performed before or after.

次に、演算部24において実行される画像処理に用いられる閾値の決定方法について説明する。 Next, a method of determining the threshold value used for the image processing executed by the calculation unit 24 will be described.

演算部24は、閾値を決定するために閾値を変数とする温度パラメータ値を設定し、温度パラメータ値に基づいて、コンクリートの表面の検査対象の所定面積の温度分布を示す第3熱画像から変温領域を抽出する。演算部24は、所定面積と変温領域の抽出面積との比である面積率を算出する。 The calculation unit 24 sets a temperature parameter value with the threshold value as a variable in order to determine the threshold value, and changes from the third thermal image showing the temperature distribution of a predetermined area of the concrete surface to be inspected based on the temperature parameter value. Extract the warm region. The calculation unit 24 calculates the area ratio, which is the ratio of the predetermined area to the extracted area of the temperature change region.

図9に示されるように、温度パラメータと面積率との関係を示す図において、演算部24は、面積率の温度パラメータによる二階微分を算出する。演算部24は、二階微分値の最大値(変曲点)を算出し、変曲点における温度パラメータ値を閾値として設定する。演算部24は、第3熱画像から設定した閾値に基づいて抽出した変温領域を変状部分として決定する。 As shown in FIG. 9, in the figure showing the relationship between the temperature parameter and the area ratio, the calculation unit 24 calculates the second derivative based on the temperature parameter of the area ratio. The calculation unit 24 calculates the maximum value (inflection point) of the second derivative value and sets the temperature parameter value at the inflection point as a threshold value. The calculation unit 24 determines the temperature-changing region extracted from the third thermal image based on the threshold value set as the deformed portion.

閾値は、他の方法によっても設定される。撮像部10は、予め分かっているコンクリート表面の浮き部にマーキングされた変状部分の複数の可視画像と複数の熱画像とのサンプル画像を撮像する。演算部24は、サンプルの複数の第3熱画像を生成する。演算部24は、第3熱画像に基づいて閾値以上の領域を抽出する。 The threshold is also set by other methods. The imaging unit 10 captures a sample image of a plurality of visible images and a plurality of thermal images of the deformed portion marked on the floating portion of the concrete surface which is known in advance. The calculation unit 24 generates a plurality of third thermal images of the sample. The calculation unit 24 extracts a region equal to or larger than the threshold value based on the third thermal image.

図10に示されるように、演算部24は、閾値を温度パラメータ値として変化させながら第3熱画像に基づいて、コンクリート表面の変状部分が所定割合(例えば、80%)以上となる温度を閾値として決定する。上記の閾値の設定方法に基づいて現場の環境における閾値を決定できる。 As shown in FIG. 10, the calculation unit 24 sets the temperature at which the deformed portion of the concrete surface becomes a predetermined ratio (for example, 80%) or more based on the third thermal image while changing the threshold value as the temperature parameter value. Determined as a threshold. The threshold value in the field environment can be determined based on the above threshold value setting method.

トンネルの立地条件や坑口からの距離等の条件により、健全領域の温度が変化するので、これらの影響を考慮した閾値を設定する必要がある。そこで、上記の閾値の設定方法に基づいて現場の環境における閾値を設定する。 Since the temperature of the healthy area changes depending on the location conditions of the tunnel and the distance from the wellhead, it is necessary to set the threshold value in consideration of these effects. Therefore, the threshold value in the on-site environment is set based on the above-mentioned threshold value setting method.

図11に示されるように、上記の2つの方法を用いて健全領域の温度値の分散と設定した閾値との関係を示す散布図が作成される。診断対象の位置及び時間を変更した複数のサンプルに基づいて複数の閾値が求められる。散布図には、例えば、分散と、対応する閾値と平均温度との差分との関係が示される。散布図には、トンネルAにおけるデータ群Aと、トンネルBにおけるデータ群Bとが示されている。 As shown in FIG. 11, a scatter plot showing the relationship between the variance of the temperature value in the healthy region and the set threshold value is created by using the above two methods. A plurality of threshold values are obtained based on a plurality of samples in which the position and time of the diagnosis target are changed. The scatter plot shows, for example, the relationship between the variance and the difference between the corresponding threshold and the average temperature. The scatter plot shows the data group A in the tunnel A and the data group B in the tunnel B.

演算部24は、コンクリート構造物において診断対象の位置及び時間を変更して決定した複数の閾値と健全領域の平均温度値との差分との分散を算出する。演算部24は、分散と差分との関係として散布図に現れる関係に基づいて閾値を校正する校正曲線Zを算出する。校正曲線Zによれば、トンネルの立地条件や坑口からの距離等の条件の違いに応じて閾値を設定できる。 The calculation unit 24 calculates the variance between the difference between the plurality of threshold values determined by changing the position and time of the diagnosis target in the concrete structure and the average temperature value of the healthy region. The calculation unit 24 calculates a calibration curve Z that calibrates the threshold value based on the relationship that appears in the scatter plot as the relationship between the variance and the difference. According to the calibration curve Z, the threshold value can be set according to the difference in conditions such as the location condition of the tunnel and the distance from the wellhead.

演算部24は、新たに診断する他の診断対象となるコンクリートの表面の第3熱画像を生成する。演算部24は、診断対象となるコンクリートの表面の第3熱画像に基づいて、特異な温度領域を除いた暫定的な健全領域である暫定領域を抽出する。演算部24は、暫定領域の温度の分散を算出し、算出した分散を校正曲線Zに適用して閾値を算出する。演算部24は、算出結果を他の診断対象の閾値に設定する。上記処理により、演算部24は、校正曲線Zを用いて新たに撮像された熱画像に基づく第3熱画像に適用される閾値を補正して第3熱画像から精度よく変状部分を抽出できる。 The calculation unit 24 generates a third thermal image of the surface of concrete to be newly diagnosed. Based on the third thermal image of the surface of the concrete to be diagnosed, the calculation unit 24 extracts a provisional region which is a provisional sound region excluding a peculiar temperature region. The calculation unit 24 calculates the variance of the temperature in the provisional region, and applies the calculated variance to the calibration curve Z to calculate the threshold value. The calculation unit 24 sets the calculation result to the threshold value of another diagnosis target. By the above processing, the calculation unit 24 can accurately extract the deformed portion from the third thermal image by correcting the threshold value applied to the third thermal image based on the newly captured thermal image using the calibration curve Z. ..

変状部分の抽出には、機械学習が用いられてもよい。例えば、変状部分をマーキングしたサンプルの大量の可視画像と、サンプルの可視画像に対応する大量の第3熱画像とが蓄積された場合、演算部24は、サンプル画像及び第3熱画像に基づいて、ニューラルネットワークを用いたディープラーニング等を適用した深層の機械学習を行い、第3熱画像における変状部分を決定してもよい。 Machine learning may be used to extract the deformed portion. For example, when a large amount of visible images of a sample marking a deformed portion and a large amount of a third thermal image corresponding to the visible image of the sample are accumulated, the calculation unit 24 is based on the sample image and the third thermal image. Then, deep machine learning using deep learning or the like using a neural network may be performed to determine the deformed portion in the third thermal image.

演算部24は、第3熱画像を読み込み、予め設定された閾値に基づいて第3熱画像における変状部分を抽出する。演算部24は、抽出した変状部分とサンプルの可視画像におけるマーキング部分とを比較して、その誤差に基づいて閾値に適用される撮像環境に応じた温度パラメータのための重み付けを修正する。演算部24は、大量の第3熱画像と対応するサンプルの可視画像とに対して同様の処理を繰り返し、閾値に適用される撮像環境に応じた温度パラメータを含むモデルを生成する。 The calculation unit 24 reads the third thermal image and extracts the deformed portion in the third thermal image based on a preset threshold value. The calculation unit 24 compares the extracted deformed portion with the marking portion in the visible image of the sample, and corrects the weighting for the temperature parameter according to the imaging environment applied to the threshold value based on the error. The calculation unit 24 repeats the same processing for a large amount of the third thermal image and the visible image of the corresponding sample, and generates a model including the temperature parameter corresponding to the imaging environment applied to the threshold value.

演算部24は、新たに撮像された熱画像から第3熱画像を生成し、生成した閾値のモデルに基づいて、温度パラメータを決定して閾値を算出し、閾値に基づいて第3熱画像から変状部分を決定する。演算部24は、学習により第3熱画像から変状部分を決定するたけでなく、機械学習により熱画像から変状部分を直接的に決定するようにしてもよい。上記処理により、演算部24は、機械学習の学習結果に基づいて閾値を撮像環境に応じて決定でき、生成された第3熱画像から変状部分を精度よく抽出できる。 The calculation unit 24 generates a third thermal image from the newly captured thermal image, determines a temperature parameter based on the generated threshold model, calculates a threshold, and uses the third thermal image based on the threshold. Determine the deformed part. The calculation unit 24 may not only determine the deformed portion from the third thermal image by learning, but may also directly determine the deformed portion from the thermal image by machine learning. By the above processing, the calculation unit 24 can determine the threshold value according to the imaging environment based on the learning result of machine learning, and can accurately extract the deformed portion from the generated third thermal image.

上述したようにコンクリート構造物診断システムによれば、コンクリート構造物の表面に生じた浮きや剥離等の変状部分を簡便に抽出できる。コンクリート構造物診断システムによれば、トンネル内のように温度変化が少ない環境においても変状部分を強調した画像処理により変状部分を容易に判別できる。コンクリート構造物診断システムによれば、作業者の目視や打音検査によらず、設定した閾値に基づいて熱画像上の変温領域の境界を検出することにより、浮きや剥離領域を高精度に判定できる。コンクリート構造物診断システムによれば、検査を省力化できると共に、トンネルの立地条件や坑口からの距離等の条件によらず浮きや剥離領域を判定できる。 As described above, according to the concrete structure diagnosis system, it is possible to easily extract the deformed portion such as floating or peeling generated on the surface of the concrete structure. According to the concrete structure diagnosis system, even in an environment where there is little temperature change such as in a tunnel, the deformed part can be easily discriminated by image processing that emphasizes the deformed part. According to the concrete structure diagnostic system, the boundary of the temperature change region on the thermal image is detected based on the set threshold value, regardless of the operator's visual inspection or tapping sound inspection, so that the floating or peeling region can be made highly accurate. Can be judged. According to the concrete structure diagnosis system, the inspection can be labor-saving, and the floating or peeling area can be determined regardless of the conditions such as the location condition of the tunnel and the distance from the wellhead.

以上、本発明の一実施形態について説明したが、本発明は上記の一実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で適宜変更可能である。例えば、上記実施形態では、トンネル内におけるコンクリートの表面に生じた浮きや剥離領域を抽出することを例示したが、本発明は、トンネル構造物だけでなく、他のコンクリート構造物に適用してもよい。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned one embodiment, and can be appropriately modified without departing from the spirit of the present invention. For example, in the above embodiment, it is illustrated that a floating or peeling region generated on the surface of concrete in a tunnel is extracted, but the present invention can be applied not only to a tunnel structure but also to other concrete structures. Good.

1 コンクリート構造物診断システム
10 撮像部
11 赤外線カメラ
12 可視画像カメラ
16 距離計
20 診断装置
22 取得部
24 演算部
26 表示部
28 記憶部
30 移動架台
A、B データ群
H 熱画像
H1 第1熱画像
H2 第2熱画像
H3 第3熱画像
P 可視画像
Q 2値化画像
S 診断画像
Z 校正曲線
1 Concrete structure diagnostic system 10 Imaging unit 11 Infrared camera 12 Visible image camera 16 Distance meter 20 Diagnostic device 22 Acquisition unit 24 Calculation unit 26 Display unit 28 Storage unit 30 Mobile mount A, B Data group H Thermal image H1 First thermal image H2 2nd thermal image H3 3rd thermal image P Visible image Q Binarized image S Diagnostic image Z Calibration curve

Claims (10)

コンクリート構造物の変状部分を診断するコンクリート構造物診断システムであって、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像を撮像する撮像部と、
前記熱画像からノイズを除去した第1熱画像を生成し、前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成し、前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成し、前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成し、前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成し、前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する診断装置と、を備えることを特徴とする、
コンクリート構造物診断システム。
A concrete structure diagnosis system that diagnoses deformed parts of concrete structures.
An imaging unit that captures a thermal image showing the temperature distribution of a predetermined area of the concrete surface to be inspected.
A first thermal image in which noise is removed from the thermal image is generated, a second thermal image is generated by averaging a range in which the temperature gradient generated in the first thermal image is inhomogeneous, and in the second thermal image. A temperature change image in which a portion where a sudden temperature change occurs locally is emphasized as an edge is generated, the amount of temperature change in the temperature change image is made absolute, and an edge image is generated, and the data of the second thermal image is used. On the other hand, the data obtained by multiplying the data of the edge image by a predetermined coefficient is added to generate a third thermal image, and the temperature change region is extracted based on the predetermined threshold value in the third thermal image. It is characterized by being provided with a diagnostic device.
Concrete structure diagnostic system.
前記診断装置は、前記変温領域が抽出された診断画像を生成する、
請求項1に記載のコンクリート構造物診断システム。
The diagnostic device generates a diagnostic image from which the temperature change region is extracted.
The concrete structure diagnostic system according to claim 1.
前記診断装置は、前記コンクリートの外部環境が温度上昇している場合、前記第3熱画像において予め定められた閾値以上である領域を変温領域として抽出する、
請求項1または2に記載のコンクリート構造物診断システム。
When the temperature of the external environment of the concrete is rising, the diagnostic apparatus extracts a region equal to or higher than a predetermined threshold value in the third thermal image as a temperature changing region.
The concrete structure diagnostic system according to claim 1 or 2.
前記診断装置は、前記コンクリートの外部環境が温度低下している場合、前記第3熱画像において予め定められた閾値以下である領域を変温領域として抽出する、
請求項1または2に記載のコンクリート構造物診断システム。
When the temperature of the external environment of the concrete is lowered, the diagnostic apparatus extracts a region equal to or less than a predetermined threshold value in the third thermal image as a temperature changing region.
The concrete structure diagnostic system according to claim 1 or 2.
前記診断装置は、前記第3熱画像において温度パラメータ値に基づいて変温領域を抽出し、前記所定面積と前記変温領域の抽出面積との比である面積率を算出し、前記面積率と前記温度パラメータ値との関係において前記面積率の変曲点における温度値を閾値として設定し、前記第3熱画像から前記閾値に基づいて抽出した前記変温領域を前記変状部分として決定する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
The diagnostic apparatus extracts a temperature-changing region based on the temperature parameter value in the third thermal image, calculates an area ratio which is a ratio of the predetermined area to the extracted area of the temperature-changing region, and obtains the area ratio and the area ratio. The temperature value at the turning point of the area ratio is set as a threshold in relation to the temperature parameter value, and the temperature changing region extracted from the third thermal image based on the threshold is determined as the deformed portion.
The concrete structure diagnostic system according to any one of claims 1 to 4.
前記診断装置は、前記第3熱画像において前記変状部分のサンプルとなる複数の前記第3熱画像に基づいて前記変状部分が所定割合以上に検出されることにより決定された温度の閾値以上である領域を前記変状部分として抽出する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
The diagnostic apparatus is at least a temperature threshold determined by detecting the deformed portion in a predetermined ratio or more based on a plurality of the deformed portions as samples in the third thermal image. The region is extracted as the deformed portion,
The concrete structure diagnostic system according to any one of claims 1 to 4.
前記診断装置は、前記コンクリート構造物において診断対象の位置及び時間を変更して決定された複数の前記閾値と前記閾値により決定された健全領域の平均温度値との差分との分散を算出し、前記分散と前記差分とに基づく散布図に現れる関係に基づいて前記閾値を校正する校正曲線を算出し、他の診断対象の前記第3熱画像を生成し、前記第3熱画像から特異な温度を有する領域を除いた暫定領域の温度の分散を算出し、前記校正曲線を用いて前記他の診断対象における温度の閾値を設定する、
請求項5または6に記載のコンクリート構造物診断システム。
The diagnostic device calculates the variance between a plurality of the thresholds determined by changing the position and time of the diagnosis target in the concrete structure and the difference between the average temperature value of the healthy region determined by the thresholds. A calibration curve that calibrates the threshold is calculated based on the relationship that appears in the scatter plot based on the variance and the difference, the third thermal image of another diagnostic target is generated, and a unique temperature is generated from the third thermal image. The temperature variance of the provisional region excluding the region having the above is calculated, and the temperature threshold in the other diagnostic object is set using the calibration curve.
The concrete structure diagnostic system according to claim 5 or 6.
前記撮像部は、コンクリートの表面の検査対象の所定面積の可視画像を撮像し、
前記診断装置は、前記第3熱画像に基づいて決定した前記変状部分と前記第3熱画像に対応する前記変状部分がマーキングされた前記可視画像とを比較する機械学習を行い、前記機械学習の結果に基づいて前記閾値を算出し、前記撮像部により撮像された新たな熱画像に基づいて新たな第3熱画像を生成し、算出した前記閾値に基づいて前記新たな第3熱画像から前記変状部分を抽出する、
請求項1から4のうちいずれか1項に記載のコンクリート構造物診断システム。
The imaging unit captures a visible image of a predetermined area of the concrete surface to be inspected.
The diagnostic apparatus performs machine learning to compare the deformed portion determined based on the third thermal image with the visible image in which the deformed portion corresponding to the third thermal image is marked, and the machine performs the machine learning. The threshold value is calculated based on the learning result, a new third thermal image is generated based on the new thermal image captured by the imaging unit, and the new third thermal image is generated based on the calculated threshold value. Extracting the deformed portion from
The concrete structure diagnostic system according to any one of claims 1 to 4.
コンクリート構造物の変状部分を診断するコンクリート構造物診断方法であって、コンピュータが、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成する工程と、
前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成する工程と、
前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成する工程と、
前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成する工程と、
前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成する工程と、
前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出する工程と、を備えることを特徴とする、
コンクリート構造物診断方法。
A computer is a method for diagnosing deformed parts of concrete structures.
A process of generating a first thermal image in which noise is removed from a thermal image showing the temperature distribution of a predetermined area of a concrete surface to be inspected, and
A step of generating a second thermal image in which a range in which the temperature gradient generated in the first thermal image is inhomogeneous is averaged, and a step of generating the second thermal image.
A step of generating a temperature change image in which a portion of the second thermal image in which a sudden temperature change occurs locally is emphasized as an edge, and a step of generating the temperature change image.
A process of generating an edge image by making the amount of temperature change in the temperature change image absolute and
A step of generating a third thermal image by adding data obtained by multiplying the data of the edge image by a predetermined coefficient with respect to the data of the second thermal image.
It is characterized by comprising a step of extracting a temperature change region based on a predetermined threshold value in the third thermal image.
Concrete structure diagnostic method.
コンクリート構造物の変状部分を診断するコンクリート構造物診断システムに適用されるプログラムであって、コンピュータに、
コンクリートの表面の検査対象の所定面積の温度分布を示す熱画像からノイズを除去した第1熱画像を生成させ、
前記第1熱画像において生じている温度勾配が不均質な範囲を平均化した第2熱画像を生成させ、
前記第2熱画像において局所的に急激に温度変化が生じている箇所をエッジとして強調した温度変化画像を生成させ、
前記温度変化画像における温度変化量を絶対値化しエッジ画像を生成させ、
前記第2熱画像のデータに対して前記エッジ画像のデータに予め定められた所定の係数を乗じたデータを加算し第3熱画像を生成させ、
前記第3熱画像において予め定められた閾値に基づいて変温領域を抽出させることを特徴とする、
プログラム。
A program applied to a concrete structure diagnostic system that diagnoses deformed parts of a concrete structure, and is applied to a computer.
A first thermal image in which noise is removed from a thermal image showing the temperature distribution of a predetermined area of the concrete surface to be inspected is generated.
A second thermal image is generated by averaging the range in which the temperature gradient generated in the first thermal image is inhomogeneous.
In the second thermal image, a temperature change image is generated in which a portion where a temperature change occurs locally and rapidly is emphasized as an edge.
The amount of temperature change in the temperature change image is made absolute and an edge image is generated.
Data obtained by multiplying the data of the edge image by a predetermined coefficient is added to the data of the second thermal image to generate a third thermal image.
The third thermal image is characterized in that a temperature change region is extracted based on a predetermined threshold value.
program.
JP2019218869A 2019-12-03 2019-12-03 Concrete structure diagnosis system, concrete structure diagnosis method and program Active JP7405362B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019218869A JP7405362B2 (en) 2019-12-03 2019-12-03 Concrete structure diagnosis system, concrete structure diagnosis method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019218869A JP7405362B2 (en) 2019-12-03 2019-12-03 Concrete structure diagnosis system, concrete structure diagnosis method and program

Publications (2)

Publication Number Publication Date
JP2021089185A true JP2021089185A (en) 2021-06-10
JP7405362B2 JP7405362B2 (en) 2023-12-26

Family

ID=76220151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019218869A Active JP7405362B2 (en) 2019-12-03 2019-12-03 Concrete structure diagnosis system, concrete structure diagnosis method and program

Country Status (1)

Country Link
JP (1) JP7405362B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010046967A1 (en) * 2008-10-21 2010-04-29 西日本高速道路エンジニアリング四国株式会社 Infrared thermal image analyzer
JP2010117259A (en) * 2008-11-13 2010-05-27 Fujitsu Ltd Method, device and program for detecting deformed portion on building wall surface
JP2011179897A (en) * 2010-02-26 2011-09-15 Fujitsu Ltd Image processing device and image processing program
JP2013224849A (en) * 2012-04-20 2013-10-31 West Nippon Expressway Engineering Shikoku Co Ltd Failure probability calculation method and failure probability calculation device of structure, failure range determination method and failure range determination device of structure
JP2017203761A (en) * 2016-05-11 2017-11-16 直人 今西 Inner body deformed portion detection device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010046967A1 (en) * 2008-10-21 2010-04-29 西日本高速道路エンジニアリング四国株式会社 Infrared thermal image analyzer
JP2010117259A (en) * 2008-11-13 2010-05-27 Fujitsu Ltd Method, device and program for detecting deformed portion on building wall surface
JP2011179897A (en) * 2010-02-26 2011-09-15 Fujitsu Ltd Image processing device and image processing program
JP2013224849A (en) * 2012-04-20 2013-10-31 West Nippon Expressway Engineering Shikoku Co Ltd Failure probability calculation method and failure probability calculation device of structure, failure range determination method and failure range determination device of structure
JP2017203761A (en) * 2016-05-11 2017-11-16 直人 今西 Inner body deformed portion detection device

Also Published As

Publication number Publication date
JP7405362B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
CN111340752A (en) Screen detection method and device, electronic equipment and computer readable storage medium
JP2017053819A (en) Crack detection method and detection program of concrete
JP2007093304A (en) Apparatus, method, and program for detecting defect, image sensor device and module, image processing apparatus, digital image-quality tester, computer-readable recording medium
JP2006162583A (en) Crack detection method
KR20100087179A (en) Infrared thermal image analyzer
JP2012002531A (en) Crack detection method
JP5705711B2 (en) Crack detection method
JP6823486B2 (en) Crack detection method
CN116630327B (en) Boiler state abnormity monitoring system based on thermodynamic diagram
JP4870016B2 (en) Crack detection method
JP5957250B2 (en) Crack detection method and crack display device
JP5812705B2 (en) Crack detection method
KR20190023374A (en) Method for testing display pannel
JP2005172559A (en) Method and device for detecting line defect on panel
JP6278880B2 (en) Water level measuring device
JP2006098217A (en) Image inspection apparatus, image inspection method, and image inspection program
EP2791865B1 (en) System and method for estimating target size
JP2010014503A (en) Image inspection processing device, image inspection processing method, program, and recording medium
JP6199799B2 (en) Self-luminous material image processing apparatus and self-luminous material image processing method
US20170061649A1 (en) Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded
JP2021089185A (en) Concrete structure diagnostic system, concrete structure diagnostic method, and program
JP2009168600A (en) Weather information detection method, weather information detection device, and weather information detection program
JP6818263B2 (en) Fracture surface analysis device and fracture surface analysis method
JP2014182637A (en) Image processor, image processing method and image processing program
JP6897448B2 (en) Line width estimation programs, devices, and methods

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200124

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7405362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150