JP2013096741A - Infrared survey method of structure and infrared survey arithmetic device - Google Patents

Infrared survey method of structure and infrared survey arithmetic device Download PDF

Info

Publication number
JP2013096741A
JP2013096741A JP2011237250A JP2011237250A JP2013096741A JP 2013096741 A JP2013096741 A JP 2013096741A JP 2011237250 A JP2011237250 A JP 2011237250A JP 2011237250 A JP2011237250 A JP 2011237250A JP 2013096741 A JP2013096741 A JP 2013096741A
Authority
JP
Japan
Prior art keywords
probability
defect
thermal image
abnormal
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011237250A
Other languages
Japanese (ja)
Other versions
JP5451716B2 (en
Inventor
Yukio Akashi
行雄 明石
Kazuaki Hashimoto
和明 橋本
Shogo Hayashi
詳悟 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West Nippon Expressway Engineering Shikoku Co Ltd
Original Assignee
West Nippon Expressway Engineering Shikoku Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West Nippon Expressway Engineering Shikoku Co Ltd filed Critical West Nippon Expressway Engineering Shikoku Co Ltd
Priority to JP2011237250A priority Critical patent/JP5451716B2/en
Publication of JP2013096741A publication Critical patent/JP2013096741A/en
Application granted granted Critical
Publication of JP5451716B2 publication Critical patent/JP5451716B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a material for determining whether or not an abnormal part extracted from a thermal image of an infrared camera includes a defect.SOLUTION: An infrared survey method of structures includes: identifying factors affecting a thermal image of a structure and a relational expression of a multivariable analysis for obtaining a probability that a defect is included in the abnormal part extracted from the thermal image of the structure, using information of the factors; capturing the structure with the infrared camera to obtain the thermal image; extracting the abnormal part a temperature of which is different from that of the periphery, from the thermal image; determining the information of the factors in the abnormal part; and digitizing the determined factor information, and applying the numerical value to the relational expression of the multivariable analysis to obtain the probability that the defect is included in the extracted abnormal part.

Description

本発明は、赤外線カメラで撮影される熱画像を用いて構造物の不具合を調査する構造物の赤外線調査に関係するものであり、特に熱画像から抽出される異常部に不具合が含まれている確率を求めるものである。   The present invention relates to an infrared survey of a structure for investigating a defect in the structure using a thermal image taken by an infrared camera, and particularly includes an abnormality in an abnormal portion extracted from the thermal image. Probability is calculated.

橋梁、高架、ビルディングのようなコンクリート構造物(以下、単に「構造物」という)の内部には、経年劣化によって発生する損傷や建設当初から存在する初期欠陥といった不具合が存在する。不具合は、それ自体が空洞(クラックを含む)であったり、また空洞(クラックを含む)の起点となることもある。このように不具合が空洞部を伴うと、その表層では剥離が生じやすくなり、これが剥落に至ると危険である。このため空洞部を伴う不具合を見付けて剥離を予防することが求められる。   In concrete structures such as bridges, overpasses, and buildings (hereinafter simply referred to as “structures”), there are defects such as damage caused by aging and initial defects existing from the beginning of construction. The defect itself may be a cavity (including a crack) or may be the starting point of a cavity (including a crack). When the defect is accompanied by the cavity as described above, the surface layer is likely to be peeled off, and it is dangerous if it comes off. For this reason, it is required to find a defect with a cavity and prevent peeling.

空洞部を伴う不具合は構造物表面にひび割れとして顕在化することがある。そこで従来は構造物の外観を目視点検し構造物表面のひび割れを確認することで剥離を予防していた。しかし目視点検ではひび割れを伴う不具合しか見付けられない。言い換えるとひび割れを伴わない不具合を見付けられない。ひび割れの中には直ぐには剥離に至らない危険性の低いものもあるが、目視点検ではひび割れの危険性を判断できない。こうしたことから目視点検は剥離を予防する手段として不十分であると考えられる。   A defect with a cavity may be manifested as a crack on the surface of the structure. Therefore, in the past, peeling was prevented by visually inspecting the appearance of the structure and checking for cracks on the surface of the structure. However, visual inspection can only find defects with cracks. In other words, you can't find a defect that doesn't crack. Although some cracks have a low risk of not coming off immediately, visual inspection cannot determine the risk of cracking. For these reasons, visual inspection is considered insufficient as a means for preventing peeling.

近年は目視点検に代わり、赤外線カメラを用いた赤外線調査が提案されている。赤外線カメラは被写体から放出される赤外線帯域のエネルギーを検出し、検出したエネルギーを温度に変換して温度分布の画像データを生成する。この温度分布の2次元画像を熱画像又はサーモグラフィ画像と称する。赤外線調査の一例は、例えば下記特許文献1、2に開示されている。   In recent years, an infrared survey using an infrared camera has been proposed instead of a visual inspection. The infrared camera detects energy in the infrared band emitted from the subject, converts the detected energy into temperature, and generates temperature distribution image data. This two-dimensional image of the temperature distribution is called a thermal image or a thermographic image. An example of an infrared survey is disclosed in Patent Documents 1 and 2 below, for example.

構造物は外気や太陽光の影響を受けて構造物外部から内部への吸熱と構造物内部から外部への放熱を繰り返す。吸熱と放熱の際に空洞部を伴う不具合は断熱層として機能するため、不具合で熱移動は遮断される。その結果、不具合が有る部分と不具合が無い部分との間で温度差が生じ、赤外線の放射率に差が生ずる。こうした状態のときに赤外線カメラで構造物の熱画像を撮影すると、不具合が有る部分と不具合が無い部分は相違する色で表示される。このとき不具合が有る部分は不具合が無い部分の中に局所的に表示される。このように周囲と異なる色の部分を異常部と称し、それ以外の部分を健全部と称する。熱画像を観察して異常部が存在するか否かを判定することで、構造物内部の不具合の有無を判定でき、さらには不具合の位置を判別できる。赤外線調査は外観の観察では解らない構造物内部の不具合の有無を判定でき損傷を予防できるという利点を有する。   Under the influence of outside air and sunlight, the structure repeatedly absorbs heat from the outside to the inside of the structure and releases heat from the inside of the structure to the outside. Since the defect accompanied by the cavity during heat absorption and heat dissipation functions as a heat insulating layer, heat transfer is blocked by the defect. As a result, a temperature difference is generated between a portion having a defect and a portion having no defect, resulting in a difference in infrared emissivity. When a thermal image of a structure is taken with an infrared camera in such a state, a defective portion and a non-defective portion are displayed in different colors. At this time, the part with the defect is locally displayed in the part without the defect. In this way, a portion having a different color from the surroundings is referred to as an abnormal portion, and the other portions are referred to as healthy portions. By observing the thermal image and determining whether or not there is an abnormal part, it is possible to determine the presence or absence of a defect in the structure, and further to determine the position of the defect. Infrared surveys have the advantage that damage can be prevented by determining the presence or absence of defects inside the structure that cannot be determined by visual observation.

特開2005−140622号公報JP 2005-140622 A 特開2006−329760号公報JP 2006-329760 A

しかしながら赤外線調査では実際は健全部であるにも関わらず異常部と判定してしまうことがある。これは熱画像において異常部を生じさせる要因が構造物内部の不具合だけでないためである。例えば、構造物が補修されている場合、使用される補修材の熱伝導率の違いに応じて補修跡における赤外線放射率は変化する。また表面に遊離石灰等の付着物が有る構造物と無い構造物とでは赤外線放射率が相違する。つまり補修や付着物は熱画像に異常部を生じさせる要因となる。他にも熱画像に異常部を生じさせる要因はある。   However, in the infrared survey, it may be determined as an abnormal part even though it is actually a healthy part. This is because the cause of the abnormal portion in the thermal image is not only the malfunction inside the structure. For example, when a structure is repaired, the infrared emissivity in the repaired trace changes depending on the difference in thermal conductivity of the repair material used. Further, the infrared emissivity is different between a structure having a deposit such as free lime on the surface and a structure having no deposit. That is, repairs and deposits cause abnormal portions in the thermal image. There are other factors that cause abnormal portions in the thermal image.

熱画像では異常部の発生要因が不具合なのか補修や付着物等なのかを判別できない。このため熱画像から異常部を抽出しても、実際はその異常部に不具合は無く、そこで剥離の危険性は無く、補修の必要は無いことがある。このように熱画像を用いた不具合の有無の判定には誤判定が含まれる。   In the thermal image, it is impossible to determine whether the cause of the abnormal part is a defect or a repair or a deposit. For this reason, even if an abnormal part is extracted from a thermal image, there is actually no defect in the abnormal part, and there is no risk of peeling and there is no need for repair. Thus, the determination of the presence or absence of a defect using a thermal image includes an erroneous determination.

通常は異常部を抽出すると補修の必要性を判断するための作業、例えば打音検査、を行う。しかし異常部が誤判定によって得たものであると、この作業自体が無駄である。特に異常部が多数に及ぶ場合に誤判定が多いと、無駄な作業は膨大となる。こうした無駄な作業を低減するために、不具合の有無の判定の妥当性を判断できるようにすることが望まれている。   Normally, when an abnormal part is extracted, an operation for judging the necessity of repair, for example, a hammering test is performed. However, if the abnormal part is obtained by erroneous determination, this work itself is useless. In particular, when there are a large number of abnormal parts and there are many misjudgments, useless work becomes enormous. In order to reduce such useless work, it is desired to be able to determine the validity of the determination of the presence or absence of defects.

本発明はこうした実状に鑑みてなされたものであり、赤外線カメラの熱画像から抽出される異常部に不具合が含まれているか否かを判定する材料を提供することを目的とするものである。   The present invention has been made in view of such a situation, and an object of the present invention is to provide a material for determining whether or not a defect is included in an abnormal portion extracted from a thermal image of an infrared camera.

第1の発明は、
赤外線カメラで撮影した構造物の熱画像から異常部を抽出することによって構造物の不具合を見付ける構造物の赤外線調査方法において、
熱画像に影響を及ぼす因子と、当該因子の情報を用いて熱画像から抽出される異常部に不具合が含まれている確率を求める多変量解析の関係式と、を特定し、
赤外線カメラで構造物を撮影して熱画像を取得し、
取得した熱画像を用いて周囲と温度が異なる異常部を抽出し、
抽出した異常部における前記因子の情報を判別し、
判別した前記因子の情報を数値化し、その数値を前記多変量解析の関係式に当てはめて、抽出した異常部に不具合が含まれている確率を求めること
を特徴とする。
The first invention is
In an infrared survey method for a structure that finds defects in the structure by extracting abnormal parts from the thermal image of the structure photographed with an infrared camera,
Identify the factors that affect the thermal image and the relational expression for multivariate analysis that calculates the probability that the abnormal part extracted from the thermal image using the information of the factor contains a defect,
Take a thermal image by photographing the structure with an infrared camera,
Using the acquired thermal image, extract the abnormal part where the temperature is different from the surroundings,
Determine the information of the factor in the extracted abnormal part,
The information of the determined factor is digitized, the numeric value is applied to the relational expression of the multivariate analysis, and the probability that a defect is included in the extracted abnormal part is obtained.

第1の発明では、前記多変量解析の関係式としてロジスティック回帰式を用いることが可能である。   In the first invention, a logistic regression equation can be used as the relational expression for the multivariate analysis.

第1の発明では、前記因子として、構造物表面のひび割れの有無と、構造物の表面状態と、構造物の供用年数と、を用いることが可能である。   In the first invention, it is possible to use the presence or absence of cracks on the surface of the structure, the surface state of the structure, and the service life of the structure as the factors.

第1の発明では、求めた前記確率を用いて不具合対応の判断をすることが可能である。具体的には、複数の異常部における前記確率をそれぞれ求め、前記確率が高い異常部から順に前記不具合対応をすると判断することが可能である。また、前記確率が閾値以上である異常部に対して前記不具合対応をすると判断することが可能である。   In the first invention, it is possible to make a determination as to the failure using the obtained probability. Specifically, it is possible to obtain the probabilities in a plurality of abnormal portions, respectively, and determine to deal with the defect in order from the abnormal portion with the highest probability. In addition, it is possible to determine that the defect is dealt with with respect to an abnormal part having the probability equal to or higher than a threshold value.

また第2の発明は、
赤外線カメラで撮影した構造物の熱画像から異常部を抽出することによって構造物の不具合を見付ける構造物の赤外線調査で使用される赤外線調査用演算装置であって、
熱画像に影響を及ぼす因子と、当該因子の情報を用いて熱画像から抽出される異常部に不具合が含まれている確率を求める多変量解析の関係式と、を記憶する記憶部と、
前記因子の情報を入力する入力部と、
前記入力部から前記因子の情報を取得し、前記記憶部から前記多変量解析の関係式を取得して、熱画像から抽出される異常部に不具合が含まれている確率を求める演算部と、
前記演算部で求めた確率を報知する報知部と
を備えたことを特徴とする。
Also, the second invention is
An infrared investigation computing device used in infrared investigation of a structure to find a defect in the structure by extracting an abnormal part from a thermal image of the structure taken with an infrared camera,
A storage unit for storing a factor that affects the thermal image, and a relational expression of multivariate analysis for obtaining a probability that the abnormal part extracted from the thermal image using the information of the factor includes a defect;
An input unit for inputting information of the factor;
Obtaining information of the factor from the input unit, obtaining the relational expression of the multivariate analysis from the storage unit, and calculating a probability that the abnormal part extracted from the thermal image includes a defect,
And a notifying unit for notifying the probability obtained by the calculating unit.

第2の発明では、前記多変量解析の関係式としてロジスティック回帰式を用いることが可能である。   In the second invention, a logistic regression equation can be used as the relational expression for the multivariate analysis.

第2の発明では、前記因子として、構造物表面のひび割れの有無と、構造物の表面状態と、構造物の供用年数と、を用いることが可能である。   In the second invention, as the factors, it is possible to use the presence or absence of cracks on the surface of the structure, the surface state of the structure, and the service life of the structure.

第2の発明では、求めた前記確率を用いて不具合対応を要する異常部を特定することが可能である。   In the second aspect of the invention, it is possible to identify an abnormal part that needs to be dealt with using the obtained probability.

本発明によれば、赤外線カメラで撮影された熱画像から異常部を抽出し、その異常部に不具合が含まれている確率を求める。この確率の高低によって抽出した異常部に不具合が含まれるか否かを判定できる。したがって抽出した異常部を実際に検査したら不具合が無かった、というようなケースを大幅に低減できる。   According to the present invention, an abnormal part is extracted from a thermal image taken by an infrared camera, and the probability that the abnormal part includes a defect is obtained. It can be determined whether or not a defect is included in the abnormal portion extracted based on the probability level. Therefore, it is possible to greatly reduce the case where there is no defect when the extracted abnormal part is actually inspected.

また異常部に不具合が含まれるか否かを確率という数値で判定するため、その判定は客観的なものとなる。このようにユーザの技量に左右されない判定結果を得ることができる。   Moreover, since it is determined by the numerical value called the probability whether or not a defect is included in the abnormal part, the determination is objective. In this way, a determination result that is not influenced by the skill of the user can be obtained.

また求めた確率の高低で不具合の補修の緊急性も判定できるので、剥離・剥落の危険度の高い不具合を優先的に補修することが可能になる。   Moreover, since the urgency of repairing a defect can be determined based on the obtained probability level, it is possible to preferentially repair a defect having a high risk of peeling / peeling.

図1は本発明に係る赤外線調査システムの構成を示す。FIG. 1 shows the configuration of an infrared survey system according to the present invention. 図2は決定木分析の結果を示す。FIG. 2 shows the result of decision tree analysis. 図3は補修不要の異常部と補修必要の異常部のそれぞれの不具合確率の平均値を示す。FIG. 3 shows the average values of the defect probabilities of the abnormal part that does not require repair and the abnormal part that requires repair. 図4は不具合確率毎の度数を示す。FIG. 4 shows the frequency for each defect probability. 図5は本発明に係る赤外線調査の処理手順を示す。FIG. 5 shows the processing procedure of the infrared survey according to the present invention.

以下、本発明の実施形態を図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[1.赤外線調査システムの構成の概要]
図1は本発明に係る赤外線調査システムの構成を示す。赤外線調査システム1は、構造物3から放出される赤外線を検出して熱画像データを生成する赤外線カメラ10と、赤外線カメラ10で生成された熱画像データを用いて構造物3の熱画像を出力する熱画像出力装置20と、構造物3を撮影して外観画像データを生成するカメラ30と、カメラ30で生成された外観画像データを用いて構造物3の外観画像を出力する外観画像出力装置40と、外部から入力される因子の情報に基づき熱画像から抽出される異常部に不具合が含まれている確率(以下、「不具合確率」という)を求める演算装置50と、を備える。
[1. Overview of infrared survey system configuration]
FIG. 1 shows the configuration of an infrared survey system according to the present invention. The infrared survey system 1 detects infrared rays emitted from the structure 3 and generates thermal image data, and outputs a thermal image of the structure 3 using the thermal image data generated by the infrared camera 10. A thermal image output device 20 that captures the structure 3 and generates appearance image data, and an appearance image output device that outputs an appearance image of the structure 3 using the appearance image data generated by the camera 30 40, and an arithmetic device 50 for obtaining a probability that the abnormal part extracted from the thermal image includes a defect (hereinafter referred to as “probability probability”) based on information on factors input from the outside.

赤外線カメラ10は、構造物3から放出される赤外線帯域のエネルギーを赤外線検出素子で検出し、検出したエネルギーを温度に変換し、変換後の温度の分布を画像化するための熱画像データを生成する。赤外線検出素子としては、例えばInSb、QWIP、μ−ボロメータなどの中赤外線を検出する素子が用いられる。赤外線カメラ10は生成した熱画像データを熱画像信号S1にして熱画像出力装置20に直接送信するか、又は記憶媒体12に保存する。   The infrared camera 10 detects the energy of the infrared band emitted from the structure 3 with an infrared detection element, converts the detected energy into temperature, and generates thermal image data for imaging the converted temperature distribution. To do. As the infrared detection element, an element that detects mid-infrared rays such as InSb, QWIP, and μ-bolometer is used. The infrared camera 10 transmits the generated thermal image data as a thermal image signal S 1 directly to the thermal image output device 20 or stores it in the storage medium 12.

熱画像出力装置20は、赤外線カメラ10から出力された熱画像信号S1又は記憶媒体12によって熱画像データを取得して、熱画像データに基づく熱画像を表示部22に表示する。熱画像を表示部22に表示する代わりに印刷することも可能である。   The thermal image output device 20 acquires thermal image data by the thermal image signal S1 output from the infrared camera 10 or the storage medium 12, and displays a thermal image based on the thermal image data on the display unit 22. A thermal image can be printed instead of being displayed on the display unit 22.

カメラ30は、構造物3の撮影に応じて構造物3の外観画像データを生成する。カメラ30は一般的なスチールカメラやビデオカメラに相当する。構造物3の外観を静止画・動画問わずに撮影できるカメラであればどのようなものでも利用可能である。カメラ30は生成した外観画像データを外観画像信号S2にして外観画像出力装置40に直接送信するか、又は記憶媒体32に保存する。   The camera 30 generates appearance image data of the structure 3 according to the photographing of the structure 3. The camera 30 corresponds to a general still camera or video camera. Any camera that can capture the appearance of the structure 3 regardless of whether it is a still image or a moving image can be used. The camera 30 transmits the generated appearance image data as an appearance image signal S 2 directly to the appearance image output device 40 or stores it in the storage medium 32.

外観画像出力装置40は、カメラ30から出力された外観画像信号S2又は記憶媒体32によって外観画像データを取得して、外観画像データに基づく外観画像を表示部42に表示する。外観画像を表示部42に表示する代わりに印刷することも可能である。   The appearance image output device 40 acquires appearance image data from the appearance image signal S2 output from the camera 30 or the storage medium 32, and displays an appearance image based on the appearance image data on the display unit. It is also possible to print the appearance image instead of displaying it on the display unit 42.

外観画像出力装置40は図示しない画像解析部を有する。画像解析部は外観画像を解析して、不具合確率を求める際に使用する因子の情報を判別し、その判別結果を外部に出力する。後述するように、本実施例では不具合確率を求める際に使用する因子を、「ひび割れの有無」、「表面状態」、「供用年数」としており、画像解析部はこのうちの「ひび割れの有無」と「表面状態」を判別する。   The appearance image output device 40 has an image analysis unit (not shown). The image analysis unit analyzes the appearance image, determines information on factors used when obtaining the defect probability, and outputs the determination result to the outside. As will be described later, in this embodiment, the factors used when determining the probability of failure are `` crack presence / absence '', `` surface condition '', and `` service life '', and the image analysis section includes `` crack presence / absence ''. And “surface condition”.

一方、外観画像出力装置40が画像解析部を有さなくとも良い。この場合はユーザが、外観画像を目視するか又は構造物を直接目視して、不具合確率を求める際に使用する因子の情報を判別する必要がある。なお熱画像出力装置20を外観画像出力装置40として兼用することも可能である。   On the other hand, the appearance image output device 40 may not have the image analysis unit. In this case, it is necessary for the user to visually check the appearance image or directly look at the structure to determine information on factors to be used when determining the defect probability. The thermal image output device 20 can also be used as the appearance image output device 40.

演算装置50は、不具合確率を求める装置であり、入力部52と記憶部54と演算部56と報知部58を備える。演算装置50としてはパーソナルコンピュータを使用可能である。   The computing device 50 is a device for determining a failure probability, and includes an input unit 52, a storage unit 54, a computing unit 56, and a notification unit 58. As the arithmetic unit 50, a personal computer can be used.

入力部52は、ユーザの入力操作及び/又は外観画像出力装置40から出力された判別結果に応じて、不具合確率を求める際に使用する因子の情報を演算部56に入力する。   The input unit 52 inputs information on factors used in obtaining the defect probability to the calculation unit 56 in accordance with the input operation of the user and / or the determination result output from the appearance image output device 40.

記憶部54は不具合確率を求める際に使用するソフトウェア及び各種数値を記憶する。後述の[3.不具合確率の演算例]で説明するように、本実施例ではロジスティック回帰式を用いて不具合確率を求めるようにしている。このため記憶部54はロジスティック回帰式を用いた演算を実行するためのソフトウェア及びロジスティック回帰式で使用される各種数値を記憶する。   The storage unit 54 stores software and various numerical values used when determining the failure probability. [3. As described in [Example of calculation of failure probability], in this embodiment, the failure probability is obtained using a logistic regression equation. For this reason, the memory | storage part 54 memorize | stores the various numerical values used with the software for performing the calculation using a logistic regression equation, and a logistic regression equation.

演算部56は入力部52から入力された因子の情報と記憶部54に記憶されるソフトウェア及び各種数値を用いて不具合確率を求める。本実施例では、演算部56は入力部52から入力された「ひび割れの有無」、「表面状態」、「供用年数」の情報と記憶部54に記憶される各種数値をロジスティック回帰式の変数に置き換えて、不具合確率を求める。演算については後述の[3.不具合確率の演算例]で説明する。   The calculation unit 56 obtains the failure probability using the factor information input from the input unit 52, the software stored in the storage unit 54, and various numerical values. In this embodiment, the calculation unit 56 uses the information on “presence / absence of cracks”, “surface state”, “service life” input from the input unit 52 and various numerical values stored in the storage unit 54 as variables of the logistic regression equation. Replace it to find the failure probability. The calculation will be described in [3. An example of calculation of failure probability] will be described.

報知部58は演算部56で求められた不具合確率を報知する。報知の形態としては、ディスプレイ表示、印刷、音声出力などがある。   The notification unit 58 notifies the failure probability obtained by the calculation unit 56. Examples of notification forms include display display, printing, and voice output.

[2.因子の特定]
本発明者らは不具合確率を求める際に使用する因子を次のようにして特定した。
[2. Identification of factors]
The inventors of the present invention specified the factors to be used when determining the defect probability as follows.

本発明者らは広範囲におよぶ赤外線調査を実施した。赤外線調査では、赤外線カメラで構造物を撮影して熱画像を取得し、取得した熱画像から複数の異常部を抽出し、抽出した各異常部を観察し、また打音検査して、不具合とその他の要因との関係を整理した。そして、本実施例で用いる因子を特定すべく、整理した結果を用いて決定木分析を行った。図2は決定木分析の結果を示す。この結果からは、熱画像に影響を及ぼし不具合確率に支配的な因子は、構造物表面の「ひび割れの有無」、構造物の「表面状態」、構造物の「供用年数」であると推測される。   The inventors have conducted an extensive infrared survey. In an infrared survey, a thermal image is obtained by photographing a structure with an infrared camera, a plurality of abnormal parts are extracted from the obtained thermal image, each extracted abnormal part is observed, and a hammering test is performed. The relationship with other factors was organized. And in order to specify the factor used by a present Example, the decision tree analysis was performed using the arranged result. FIG. 2 shows the result of decision tree analysis. From this result, it is estimated that the factors affecting the thermal image and controlling the failure probability are the “surface presence / absence of cracks” on the surface of the structure, the “surface condition” of the structure, and the “service life” of the structure. The

ここで図2で示す決定木分析の結果の内訳を説明する。
熱画像から抽出した異常部の総数は663箇所であった(ノード0)。打音検査の結果、補修不要と判定された異常部は490箇所であり、補修必要と判定された異常部は173箇所であった。ノード0をルートノードとし、下位のノードに順次分類し、さらに各ノードを補修必要性の有無で分類していく。
Here, the breakdown of the result of the decision tree analysis shown in FIG. 2 will be described.
The total number of abnormal parts extracted from the thermal image was 663 (node 0). As a result of the hammering test, there were 490 abnormal parts determined to be unnecessary for repair, and 173 abnormal parts were determined to be required for repair. Node 0 is set as a root node, and the nodes are sequentially classified into lower nodes, and each node is further classified according to the necessity of repair.

ノード0の異常部をひび割れの有無で分類すると、ひび割れ無しと判定された異常部は617箇所(ノード1)であり、ひび割れ有りと判定された異常部は46箇所(ノード2)であった。ノード1の異常部のうち、補修不要と判定された異常部は483箇所であり、補修必要と判定された異常部は134箇所であった。またノード2の異常部のうち、補修不要と判定された異常部は7箇所であり、補修必要と判定された異常部は39箇所であった。   When classifying the abnormal part of node 0 by the presence or absence of cracks, there were 617 abnormal parts determined to have no cracks (node 1), and 46 abnormal parts determined to have cracks (node 2). Among the abnormal parts of node 1, there were 483 abnormal parts that were determined to be unnecessary for repair, and 134 abnormal parts that were determined to be required for repair. In addition, among the abnormal parts of node 2, there were seven abnormal parts that were determined to be unnecessary for repair, and 39 abnormal parts that were determined to be required for repair.

ノード1の異常部を表面状態で分類すると、健全、色ムラ(水影響なし)、不陸面(段差含)、補修跡のいずれと判定された異常部は435箇所(ノード3)であり、異物付着(スペーサ、木片)、錆(遊離石灰含)、遊離石灰、打継目、鉄筋露出、変色(水影響あり)のいずれと判定された異常部は182箇所(ノード4)であった。ノード3の異常部のうち、補修不要と判定された異常部は381箇所であり、補修必要と判定された異常部は54箇所であった。またノード4の異常部のうち、補修不要と判定された異常部は102箇所であり、補修必要と判定された異常部は80箇所であった。   If the abnormal part of node 1 is classified according to the surface state, there are 435 abnormal parts (node 3) that are determined as healthy, uneven color (no water effect), non-land surface (including steps), or repair marks, There were 182 abnormalities (node 4) that were judged as foreign matter adhesion (spacer, wood pieces), rust (including free lime), free lime, joints, rebar exposure, and discoloration (with water effect). Among the abnormal parts of node 3, there were 381 abnormal parts determined to be unnecessary for repair, and 54 abnormal parts were determined to be required for repair. In addition, among the abnormal parts of node 4, there were 102 abnormal parts determined to be unnecessary for repair, and 80 abnormal parts were determined to be required for repair.

ノード3の異常部を供用年数で分類すると、満12年以内と判定された異常部は131箇所(ノード5)であり、満12年越〜満19年以内と判定された異常部は252箇所(ノード6)であり、満19年越と判定された異常部は52箇所(ノード7)であった。ノード5の異常部のうち、補修不要と判定された異常部は127箇所であり、補修必要と判定された異常部は4箇所であった。またノード6の異常部のうち、補修不要と判定された異常部は222箇所であり、補修必要と判定された異常部は30箇所であった。またノード7の異常部のうち、補修不要と判定された異常部は32箇所であり、補修必要と判定された異常部は20箇所であった。   When the abnormal part of node 3 is classified by the service years, 131 abnormal parts are determined to be within 12 years (node 5), and 252 abnormal parts are determined to be between 12 years old and 19 years old. 52 nodes (node 7) were (node 6), and the number of abnormal parts determined to be over 19 years old. Of the abnormal parts of node 5, 127 abnormal parts were determined to be unnecessary for repair, and four abnormal parts were determined to be required for repair. Of the abnormal parts of node 6, 222 abnormal parts were determined to be unnecessary for repair, and 30 abnormal parts were determined to be required for repair. In addition, among the abnormal parts of node 7, there were 32 abnormal parts determined to be unnecessary for repair, and 20 abnormal parts were determined to be required for repair.

ノード4の異常部を供用年数で分類すると、満12年以内と判定された異常部は48箇所(ノード8)であり、満12年越と判定された異常部は131箇所(ノード9)であった。ノード8の異常部のうち、補修不要と判定された異常部は48箇所であり、補修必要と判定された異常部は3箇所であった。またノード9の異常部のうち、補修不要と判定された異常部は54箇所であり、補修必要と判定された異常部は77箇所であった。   When classifying the abnormal part of node 4 by the number of years of service, there are 48 abnormal parts determined to be less than 12 years (node 8), and 131 abnormal parts determined to be over 12 years old (node 9). there were. Of the abnormal parts of node 8, there were 48 abnormal parts determined to be unnecessary for repair, and 3 abnormal parts were determined to be required for repair. Of the abnormal parts of node 9, 54 abnormal parts were determined to be unnecessary for repair, and 77 abnormal parts were determined to be required for repair.

前述したように、本発明者らは決定木分析によって「ひび割れの有無」、「表面状態」、「供用年数」という3つの因子が支配的であると推測したが、決定木分析の条件を変えれば、他の因子が推測されることも考えられる。推測される他の因子としては、例えば、「構造物の形式(橋梁の場合は橋梁形式)」、「構造物の部位(橋梁の場合は橋梁部位)」、「異常部の形状」、「異常部の大きさ」、「撮影時期」などがある。   As described above, the present inventors have inferred that the decision tree analysis dominates the three factors “crack presence / absence”, “surface condition”, and “service life”, but the decision tree analysis conditions can be changed. For example, other factors may be inferred. Other factors that can be inferred include, for example, “structure type (bridge type in the case of a bridge)”, “structure part (bridge part in the case of a bridge)”, “abnormal part shape”, “abnormality” Part size ”,“ shooting time ”, and the like.

[3.不具合確率の演算例]
本発明は多変量解析によって不具合確率を求めるものである。本発明者らは多変量解析としてロジスティック回帰分析を用いることとした。そして前述の決定木分析で特定した「ひび割れの有無」、「表面状態」、「供用年数」という3つの因子についてロジスティック回帰分析を行い、下記(1)式で示されるロジスティック回帰式を作成し、又、下記表1、表2で示される数値を求めた。
[3. Example of failure probability calculation]
The present invention obtains the failure probability by multivariate analysis. The inventors decided to use logistic regression analysis as multivariate analysis. Then, logistic regression analysis is performed on the three factors “presence / absence of cracks”, “surface condition”, and “service life” specified in the decision tree analysis described above, and a logistic regression equation expressed by the following equation (1) is created. The numerical values shown in Tables 1 and 2 below were obtained.

Figure 2013096741
Figure 2013096741

Prob(event):不具合確率
α:定数(1.911777049)
β1X1:「ひび割れの有無」の情報に応じて決定される項
β2X2:「表面状態」の情報に応じて決定される項
β3X3:「供用年数」の情報に応じて決定される項。
Prob (event): failure probability α: constant (1.911777049)
β1X1: A term determined according to information on “presence / absence of crack” β2X2: A term determined according to information on “surface state” β3X3: A term determined according to information on “service life”.

前記(1)式のβ1X1、β2X2、β3X3は下記表1、表2の数値を用いて決定される。表1は各因子の各項目とダミー変数との関係を示し、表2は各項目の回帰係数を示す。   Β1X1, β2X2, and β3X3 in the formula (1) are determined using the numerical values in Tables 1 and 2 below. Table 1 shows the relationship between each item of each factor and a dummy variable, and Table 2 shows the regression coefficient of each item.

Figure 2013096741
Figure 2013096741

Figure 2013096741
Figure 2013096741

表1で示すように、本実施例では「ひび割れの有無」、「表面状態」、「供用年数」という3つの因子の情報を複数の項目に分類して特定している。具体的には「ひび割れの有無」の情報を2項目[無、有]に分類している。また「表面状態」の情報を10項目[健全、色ムラ(水影響なし)、不陸面(段差含)、変色(水影響あり)、異物付着(スペーサ、木片)、遊離石灰、錆(遊離石灰含)、打継目、鉄筋露出、補修跡]に分類している。また「供用区分」の情報を3項目[満12年以内、満12年越〜満19年以内、満19年越]に分類している。そして各情報をβXの形で数値化するために、各情報をダミー変数及び回帰回数と対応付けている。   As shown in Table 1, in the present embodiment, information on three factors such as “presence / absence of crack”, “surface condition”, and “service life” is classified into a plurality of items and specified. Specifically, the information on “presence / absence of cracks” is classified into two items [none, yes]. Also, the information on the “surface condition” is 10 items [sound, uneven color (no water effect), uneven surface (including step), discoloration (with water effect), foreign matter adhesion (spacer, wood chip), free lime, rust (free Lime), joints, rebar exposure, repair marks]. In addition, the “service category” information is classified into 3 items [within 12 years, over 12 years to 19 years, over 19 years]. Each information is associated with a dummy variable and the number of regressions in order to quantify each information in the form of βX.

前記(1)式のβ1X1は次のようにして決定される。「ひび割れの有無」が「無」と判別される場合、表1で示すように「ひび割れの有無」のダミー変数(1)がコード「1」となり、その結果、ダミー変数(1)に対応する回帰係数(表2のひび有無(1)の回帰係数)が使用され、前記(1)式のβ1X1は「−2.657737762×1」となる。また「ひび割れの有無」が「有」と判別される場合、表1で示すように「ひび割れの有無」のダミー変数(1)がコード「0」となり、前記(1)式のβ1X1は「0」となる。   Β1X1 in the equation (1) is determined as follows. If it is determined that “crack presence / absence” is “none”, the dummy variable (1) of “crack presence / absence” becomes code “1” as shown in Table 1, and as a result, the dummy variable (1) corresponds to the dummy variable (1). The regression coefficient (regression coefficient of crack presence / absence (1) in Table 2) is used, and β1X1 in the equation (1) becomes “−2.665773762 × 1”. When “presence / absence of crack” is determined as “present”, the dummy variable (1) of “presence / absence of crack” is code “0” as shown in Table 1, and β1X1 in the above equation (1) is “0”. "

前記(1)式のβ2X2は次のようにして決定される。「表面状態」が「健全」と判別される場合、表1で示すように「表面状態」のダミー変数(1)がコード「1」、ダミー変数(2)〜(9)がコード「0」となり、その結果、ダミー変数(1)(に対応する回帰係数表2の表面状態(1)の回帰係数)が使用され、前記(1)式のβ2X2は「0.16584942×1」となる。また「表面状態」が「色ムラ(水影響なし)」と判別される場合、表1で示すように「表面状態」のダミー変数(2)がコード「1」、ダミー変数(1)、(3)〜(9)がコード「0」となり、その結果、ダミー変数(2)に対応する回帰係数(表2の表面状態(2)の回帰係数)が使用され、前記(1)式のβ2X2は「0.005544054×1」となる。「表面状態」の他の項目(「不陸面(段差含)」〜「鉄筋露出」)に関しても同じようにしてβ2X2が決定されるので、ここではその説明を省略する。また「表面状態」が「補修跡」と判別される場合、表1で示すように「表面状態」のダミー変数(1)〜(9)が全てコード「0」となり、前記(1)式のβ2X2は「0」となる。   Β2X2 in the equation (1) is determined as follows. When the “surface state” is determined to be “sound”, the dummy variable (1) of the “surface state” is code “1” and the dummy variables (2) to (9) are code “0” as shown in Table 1. As a result, the dummy variable (1) (regression coefficient of the surface condition (1) in the regression coefficient table 2 corresponding to) is used, and β2X2 in the equation (1) is “0.16584942 × 1”. When the “surface condition” is determined as “color unevenness (no water effect)”, as shown in Table 1, the dummy variable (2) of the “surface condition” is code “1”, the dummy variables (1), ( 3) to (9) become the code “0”, and as a result, the regression coefficient corresponding to the dummy variable (2) (regression coefficient of the surface state (2) in Table 2) is used, and β2X2 in the equation (1) is used. Becomes “0.005544404 × 1”. Since β2X2 is determined in the same manner for other items of “surface state” (“non-land surface (including steps)” to “rebar exposure”), the description thereof is omitted here. If the “surface state” is determined as “repair trace”, the dummy variables (1) to (9) of the “surface state” are all code “0” as shown in Table 1, and the equation (1) β2X2 is “0”.

前記(1)式のβ3X3は次のようにして決定される。「供用区分」が「〜12年」と判別される場合、表1で示すように「供用区分」のダミー変数(1)がコード「1」、ダミー変数(2)がコード「0」となり、その結果、ダミー変数(1)に対応する回帰係数(表2の供用区分(1)の回帰係数)が使用され、前記(1)式のβ3X3は「−3.35658201×1」となる。また「供用区分」が「13年〜19年」と判別される場合、表1で示すように「供用区分」のダミー変数(2)がコード「1」、ダミー変数(1)がコード「0」となり、その結果、ダミー変数(2)に対応する回帰係数(表2の供用区分(2)の回帰係数)が使用され、前記(1)式のβ3X3は「−1.016386375×1」となる。また「供用区分」が「20年以上」と判別される場合、表1で示すように「供用区分」のダミー変数(1)、(2)が共にコード「0」となり、前記(1)式のβ3X3は「0」となる。   Β3X3 in the equation (1) is determined as follows. When the “service category” is determined as “˜12 years”, the dummy variable (1) of the “service category” is code “1” and the dummy variable (2) is code “0” as shown in Table 1, As a result, the regression coefficient corresponding to the dummy variable (1) (the regression coefficient of the service category (1) in Table 2) is used, and β3X3 in the equation (1) is “−3.35658201 × 1”. If the “service category” is determined as “13-19 years”, the dummy variable (2) of the “service category” is code “1” and the dummy variable (1) is code “0” as shown in Table 1. As a result, the regression coefficient corresponding to the dummy variable (2) (the regression coefficient of the service category (2) in Table 2) is used, and β3X3 in the equation (1) is “−1.0163386375 × 1”. Become. If it is determined that “service category” is “20 years or more”, dummy variables (1) and (2) of “service category” are both code “0” as shown in Table 1, and the above equation (1) Β3X3 of this becomes “0”.

ここで各因子の具体的状況を想定して、前記(1)式を用いた演算の一例を示す。   Here, an example of the calculation using the equation (1) is shown assuming a specific situation of each factor.

・(状況1)
ひび割れの有無…無、
表面状態…健全、
供用区分…〜12年、の場合
α=1.911777049
β1X1=−2.657737762
β2X2=0.16584942
β3X3=−3.35658201
α+β1X1+β2X2+β3X3=−3.936693304
Prob(event)=0.019139175
演算の結果、不具合確率は0.019139175となる。
・ (Situation 1)
Check for cracks ... No,
Surface condition ... sound,
In-service category: up to 12 years α = 1.9117777049
β1X1 = −2.665737762
β2X2 = 0.16584942
β3X3 = −3.35658201
α + β1X1 + β2X2 + β3X3 = −3.993693304
Prob (event) = 0.019139175
As a result of the calculation, the failure probability is 0.0191139175.

・(状況2)
ひび割れの有無…有、
表面状態…補修跡、
供用区分…20年以上、の場合
α=1.911777049
β1X1=0
β2X2=0
β3X3=0
α+β1X1+β2X2+β3X3=1.911777049
Prob(event)=0.871218658
演算の結果、不具合確率は0.871218658となる。
・ (Situation 2)
Check for cracks ... Yes,
Surface condition: repair marks,
In-service category: 20 years or more α = 1.91177049
β1X1 = 0
β2X2 = 0
β3X3 = 0
α + β1X1 + β2X2 + β3X3 = 1.91117777049
Prob (event) = 0.871218658
As a result of the calculation, the failure probability is 0.871218658.

以上のように、本実施例では、「ひび割れの有無」、「表面状態」、「供用年数」という3つの因子の情報を判別し、各因子の情報を数値化してロジスティック回帰式に当てはめることで不具合確率を求める。   As described above, in this embodiment, the information on the three factors “presence / absence of crack”, “surface condition”, and “service life” is discriminated, and the information on each factor is digitized and applied to the logistic regression equation. Find the failure probability.

なお、不具合確率を求める多変量解析として、ロジスティック回帰分析を用いる他にニューラルネットワークや重回帰分析などを用いることも考えられる。   In addition to using logistic regression analysis, a neural network or multiple regression analysis may be used as multivariate analysis for determining the failure probability.

[4.不具合確率の検証1]
前述の[3.不具合確率の演算例]で求める不具合確率についての検証結果を説明する。図3は補修不要の異常部と補修必要の異常部のそれぞれの不具合確率の平均値を示す。
[4. Verification of defect probability 1]
[3. The verification result of the failure probability obtained in [Example of failure probability calculation] will be described. FIG. 3 shows the average values of the defect probabilities of the abnormal part that does not require repair and the abnormal part that requires repair.

本発明者らは、前述の[2.因子の特定]で説明した663箇所の異常部、すなわち実際の赤外線調査で熱画像から抽出した663箇所の異常部を打音検査して補修必要性の有無で分類し、それぞれの異常部に関して不具合確率を求めた。そして補修不要と判断された490箇所の異常部の不具合確率の平均値と補修必要と判断された173箇所の異常部の不具合確率の平均値を求めた。その結果が図3である。   The present inventors have described [2. The 663 abnormal parts described in “Specification of Factors”, that is, 663 abnormal parts extracted from the thermal image in the actual infrared survey, are categorized according to whether or not they need repair, and each abnormal part has a defect. The probability was calculated. Then, an average value of defect probabilities of 490 abnormal parts determined to be unnecessary for repair and an average value of defect probabilities of 173 abnormal parts determined to be repaired were obtained. The result is shown in FIG.

図3で示すように、補修必要のグループの不具合確率の平均値(0.65)は補修不要のグループの不具合確率の平均値(0.12)よりも高くなっている。このことから、前述の[3.不具合確率の演算例]で求める不具合確率は、熱画像から抽出された異常部に不具合が含まれるか否かを表す指標として機能すると考えられる。   As shown in FIG. 3, the average value (0.65) of the defect probability of the group that needs repair is higher than the average value (0.12) of the defect probability of the group that does not need repair. From this, [3. It is considered that the defect probability obtained in the example of calculation of defect probability functions as an index indicating whether or not a defect is included in the abnormal part extracted from the thermal image.

[5.不具合確率の検証2]
図4は不具合確率毎の度数を示す。
本発明者らは、前述の[2.因子の特定]で説明した663箇所の異常部、すなわち実際の赤外線調査で熱画像から抽出した663箇所の異常部を打音検査して補修必要性の有無で分類し、それぞれの異常部に関して不具合確率を求め、不具合確率の度数を調べた。その結果を図4で示す。さらに異常部に不具合が含まれるか否かを判定するための閾値として0.3と0.65の2値を想定した。つまり不具合確率が0.3以上の異常部に不具合が含まれると判定するケースと不具合確率が0.65以上の異常部に不具合が含まれると判定するケースの2通りを想定した。
[5. Verification of defect probability 2]
FIG. 4 shows the frequency for each defect probability.
The present inventors have described [2. The 663 abnormal parts described in “Specification of Factors”, that is, 663 abnormal parts extracted from the thermal image in the actual infrared survey, are categorized according to whether or not they need repair, and each abnormal part has a defect. The probability was calculated and the frequency of failure probability was examined. The result is shown in FIG. Furthermore, binary values of 0.3 and 0.65 were assumed as threshold values for determining whether or not a defect is included in the abnormal part. That is, two cases were assumed: a case where it is determined that a defect is included in an abnormal part with a defect probability of 0.3 or higher, and a case where it is determined that a defect is included in an abnormal part where the defect probability is 0.65 or higher.

図4(a)のグラフは補修が必要無い490箇所の異常部の不具合確率を示しているため、このグラフは全ての不具合確率が閾値未満になっている状態が理想的である。しかしながら図4(a)においては92箇所の異常部の不具合確率が0.3以上となっている。閾値を0.3と仮定した場合、これら92箇所の異常部に関しては、不具合を含まないにも関わらず不具合を含むという「誤判定」が発生する。同様に図4(a)においては10箇所の異常部の不具合確率が0.65以上となっている。これら10箇所の異常部に関しては、不具合を含まないにも関わらず不具合を含むという「誤判定」が発生する。   Since the graph of FIG. 4A shows the defect probabilities of 490 abnormal parts that do not require repair, it is ideal that this graph has all the defect probabilities below the threshold. However, in FIG. 4A, the defect probability of 92 abnormal parts is 0.3 or more. Assuming that the threshold value is 0.3, the “abnormal determination” that the 92 abnormal parts include a defect although the defect is not included occurs. Similarly, in FIG. 4A, the defect probability of 10 abnormal parts is 0.65 or more. About these 10 abnormal parts, although it does not include a defect, an “incorrect determination” that includes a defect occurs.

図4(b)のグラフは補修が必要である173箇所の異常部の不具合確率を示しているため、このグラフは全ての不具合確率が閾値以上になっている状態が理想的である。図4(b)においては135箇所の異常部の不具合確率が0.3以上となっている。閾値を0.3と仮定した場合、これら135箇所の異常部は実際に不具合を含むため、不具合確率は「的中」と考えられる。同様に図4(b)においては52箇所の異常部の不具合確率が0.65以上となっている。閾値を0.65と仮定した場合、これら52箇所の異常部は実際に不具合を含むため、不具合確率は「的中」と考えられる。   Since the graph of FIG. 4B shows the defect probabilities of 173 abnormal parts that need repair, it is ideal that this graph has all the defect probabilities equal to or higher than the threshold value. In FIG.4 (b), the malfunction probability of 135 abnormal parts is 0.3 or more. Assuming that the threshold value is 0.3, these 135 abnormal parts actually contain defects, so the defect probability is considered “medium”. Similarly, in FIG. 4B, the defect probability of 52 abnormal parts is 0.65 or more. Assuming that the threshold value is 0.65, these 52 abnormal parts actually contain defects, so the defect probability is considered “medium”.

本発明者らは、図4(a)の「誤判定」の数と図4(b)の「的中」の数を用いてカバー率と的中率を求めた。その結果を下記表3で示す。表3は図4の特定の不具合確率(0.3、0.65)に関する的中、誤判定、カバー率、的中率を示す。   The inventors determined the coverage ratio and the hit ratio by using the number of “false determinations” in FIG. 4A and the “target” in FIG. The results are shown in Table 3 below. Table 3 shows the hit, misjudgment, cover rate, and hit rate for the specific failure probability (0.3, 0.65) in FIG.

Figure 2013096741
Figure 2013096741

カバー率とは、補修必要の異常部を不具合確率を用いた判定でカバーできた割合、すなわち補修必要の異常部の総数のうち不具合確率が「的中」した異常部の数の割合を示すものであり、(不具合確率が「的中」した異常部の数)/(補修必要の異常部の総数)で求められる。図4(b)の場合、不具合確率0.3のカバー率は135/173=0.7803・・・となり、78.0%と求められる。また不具合確率0.65のカバー率は52/173=0.3005・・・となり、30.1%と求められる。   Coverage ratio indicates the ratio of abnormal parts that need repair by judgment using the probability of defects, that is, the ratio of the number of abnormal parts that have a "probable" defect probability out of the total number of abnormal parts that need repair It is obtained by (number of abnormal parts whose defect probability is “successful”) / (total number of abnormal parts requiring repair). In the case of FIG.4 (b), the coverage of the defect probability 0.3 becomes 135/173 = 0.7803 ..., and is calculated | required with 78.0%. Further, the coverage rate of the defect probability 0.65 is 52/173 = 0.3005... 30.1%.

的中率とは、不具合確率が閾値以上である異常部の総数のうち不具合確率が「的中」した異常部の数の割合を示すものであり、(不具合確率が「的中」した異常部の数)/(不具合確率が「的中」した異常部の数+不具合確率が「誤判定」である異常部の数)で求められる。図4(a)、(b)の場合、不具合確率0.3の的中率は135/(135+92)=0.5947・・・となり、59.5%と求められる。また不具合確率0.65の的中率は52/(52+10)=0.8387・・・となり、83.9%と求められる。   The hit rate indicates the ratio of the number of abnormal parts whose failure probability is “target” out of the total number of abnormal parts whose failure probability is equal to or higher than a threshold. Number) / (number of abnormal parts whose failure probability is “target” + number of abnormal parts whose failure probability is “false determination”). In the case of FIGS. 4A and 4B, the hit rate of the defect probability 0.3 is 135 / (135 + 92) = 0.5947. Further, the hit ratio of the defect probability 0.65 is 52 / (52 + 10) = 0.8387.

カバー率と的中率は共に高い方が望ましい。しかし表3の結果によると、カバー率が高ければ的中率は低くなり、逆に的中率が高ければカバー率は低くなる、といった傾向が見られる。したがって求めた不具合確率に応じて異常部をどのように処置するか判断する場合は、不具合確率の閾値をどのような値に設定するかその時の状況に応じて適宜設定するのが良い。例えばカバー率を優先する場合は不具合確率を低めに設定し、的中率を優先する場合は不具合確率を高めに設定すれば良い。   It is desirable that both the coverage ratio and the hit ratio are high. However, according to the results in Table 3, there is a tendency that the higher the coverage ratio, the lower the hit ratio, and conversely, the higher the hit ratio, the lower the cover ratio. Therefore, when it is determined how to treat the abnormal part according to the obtained defect probability, it is preferable to set the defect probability threshold value appropriately according to the situation at that time. For example, when priority is given to the coverage rate, the failure probability may be set low, and when priority is given to the hit rate, the failure probability may be set higher.

[6.処理手順]
図5は本発明に係る赤外線調査の処理手順を示す。ここでは図1で示す赤外線調査システムを用いた処理手順を説明する。
[6. Processing procedure]
FIG. 5 shows the processing procedure of the infrared survey according to the present invention. Here, a processing procedure using the infrared survey system shown in FIG. 1 will be described.

現場で構造物の撮影を行う前に、熱画像に影響を及ぼし不具合確率に支配的な因子と、この因子の情報を用いて不具合確率を求める多変量解析の関係式と、を予め特定しておく(ステップS51)。本実施例では、「ひび割れの有無」、「表面状態」、「供用年数」という3つの因子と、前記(1)式で示すロジスティック回帰式と、を特定しておく。そして表1、表2の情報及びロジスティック回帰式を用いた演算を行うソフトウェアを演算装置50の記憶部54に記憶させておく。   Before taking a picture of a structure on site, specify the factors that affect the thermal image and control the failure probability, and the relational expression for multivariate analysis that uses this factor information to determine the failure probability. (Step S51). In the present embodiment, three factors of “presence / absence of crack”, “surface condition”, and “age of service” and a logistic regression equation represented by the above equation (1) are specified. Then, software for performing calculations using the information in Tables 1 and 2 and the logistic regression equation is stored in the storage unit 54 of the calculation device 50.

次いで、実際に現場で構造物の撮影を行う。このとき赤外線カメラ10で構造物3を撮影して熱画像を取得する(ステップS52)。また赤外線カメラ10で撮影した部分を通常のカメラ30でも撮影してその外観画像を取得する。   Next, the structure is actually photographed on site. At this time, the infrared camera 10 captures the structure 3 to obtain a thermal image (step S52). Further, a portion photographed by the infrared camera 10 is photographed by a normal camera 30 to obtain an appearance image thereof.

赤外線カメラ10及び通常のカメラ30による撮影が終了したら、取得した熱画像を熱画像出力部20の表示部22に表示し、表示した熱画像の中から周囲と温度が異なる異常部を抽出する(ステップS53)。   When photographing by the infrared camera 10 and the normal camera 30 is completed, the acquired thermal image is displayed on the display unit 22 of the thermal image output unit 20, and an abnormal part having a temperature different from that of the surrounding is extracted from the displayed thermal image ( Step S53).

いずれの熱画像でも異常部を抽出しない場合は、構造物に不具合は無いと判断する。一方、いずれかの熱画像で異常部を抽出した場合は、通常のカメラ30で取得した外観画像を外観画像出力部40の表示部42に表示し、表示した外観画像のうち熱画像の異常部に対応する部分の因子の情報を判別する(ステップS54)。具体的には、外観画像から、異常部に対応する部分の「ひび割れの有無」の情報を前記表1で示す2項目の中から判別し、異常部に対応する部分の「表面状態」の情報を前記表1で示す10項目の中から判別する。またその構造物の「供用年数」の情報を前記表1で示す3項目の中から判別する。   If no abnormal part is extracted in any thermal image, it is determined that there is no defect in the structure. On the other hand, when an abnormal part is extracted from any one of the thermal images, the appearance image acquired by the normal camera 30 is displayed on the display unit 42 of the appearance image output unit 40, and the abnormal part of the thermal image among the displayed appearance images. The information of the factor corresponding to is determined (step S54). Specifically, from the appearance image, information on “presence / absence of cracks” of the part corresponding to the abnormal part is determined from the two items shown in Table 1, and information on the “surface state” of the part corresponding to the abnormal part is obtained. Is determined from the 10 items shown in Table 1. Further, the information on the “service life” of the structure is determined from the three items shown in Table 1.

各因子の情報を判別したら、判別した各因子の情報を演算装置50の入力部52を用いて演算部56に入力する。すると演算部56は、入力された因子の情報を数値化し、その数値とロジスティック回帰式を用いて抽出した異常部での不具合確率を求める(ステップS55)。すなわち演算部56は、前述の[3.不具合確率の演算例]で説明したように、「ひび割れの有無」の情報に対応するβ1X1と、「表面状態」の情報に対応するβ2X2と、「供用年数」の状態に対応するβ3X3を、記憶部54で記憶された前記表1、表2を用いてそれぞれ求め、β1X1、β2X2、β3X3を前記(1)式で示されるロジスティック回帰式に当てはめて演算を行う。演算が終了すると、報知部58は例えばディスプレイ表示や印刷のような形態で演算結果を外部に出力する。   When the information on each factor is determined, the determined information on each factor is input to the calculation unit 56 using the input unit 52 of the calculation device 50. Then, the calculating part 56 digitizes the inputted factor information, and obtains the defect probability in the abnormal part extracted using the numerical value and the logistic regression equation (step S55). That is, the calculation unit 56 is configured as described in [3. As described in “Problem probability calculation example”, β1X1 corresponding to “crack presence / absence” information, β2X2 corresponding to “surface condition” information, and β3X3 corresponding to “service years” state are stored. The calculation is performed by using Table 1 and Table 2 stored in the unit 54, and applying β1X1, β2X2, and β3X3 to the logistic regression equation represented by the equation (1). When the calculation is completed, the notification unit 58 outputs the calculation result to the outside in a form such as display or printing.

このようにして本実施例では、赤外線カメラを用いて取得した熱画像から異常部を抽出し、その異常部での不具合確率Prob(event)を求めている。   In this way, in this embodiment, the abnormal part is extracted from the thermal image acquired using the infrared camera, and the defect probability Prob (event) at the abnormal part is obtained.

さらに、一連の処理で得た結果を教師データとして改めてロジスティック回帰分析を行うことで、ロジスティック回帰式の精度を向上させることが可能である。   Furthermore, it is possible to improve the accuracy of the logistic regression equation by performing the logistic regression analysis again using the results obtained by the series of processes as teacher data.

なお、図5で示す処理を次のように変形することも可能である。   Note that the processing shown in FIG. 5 can be modified as follows.

図5で示す処理では赤外線カメラ10を用いた構造物の撮影と通常のカメラ30を用いた構造物の撮影とを同時に行うようにしている(ステップS52)。しかし通常のカメラ30を用いた構造物の撮影を、熱画像から異常部を抽出した後、すなわちステップS53の後に、抽出した異常部についてのみ行うようにしても良い。   In the process shown in FIG. 5, the imaging of the structure using the infrared camera 10 and the imaging of the structure using the normal camera 30 are performed simultaneously (step S52). However, the imaging of the structure using the normal camera 30 may be performed only on the extracted abnormal portion after extracting the abnormal portion from the thermal image, that is, after step S53.

また図5で示す処理では通常のカメラ30で取得した外観画像を用いて因子の情報を判別している(ステップS54)。しかし外観画像を用いるのではなく、構造物を直接目視して、抽出した異常部における因子の情報を判別するようにしても良い。   In the processing shown in FIG. 5, factor information is determined using an appearance image acquired by a normal camera 30 (step S54). However, instead of using an appearance image, the structure information may be discriminated by directly viewing the structure.

また図5で示す処理では因子と多変量解析の関係式の特定を赤外線カメラによる構造物の撮影前に行うようにしている(ステップS51)。しかし因子と多変量解析の関係式の特定は、実際に因子や多変量解析の関係式を使用する前すなわちステップS54の前であれば何時行うようにしても良い。   In the process shown in FIG. 5, the relational expression between the factor and the multivariate analysis is specified before photographing the structure with the infrared camera (step S51). However, the identification of the relational expression between the factor and the multivariate analysis may be performed at any time before actually using the relational expression for the factor or the multivariate analysis, that is, before step S54.

[7.不具合確率の利用例]
年数を経た構造物や広範囲にわたる構造物は複数の不具合を有することが多い。こうした構造物に対して赤外線調査を行うと、取得した熱画像からは複数の異常部が抽出される。このように複数の異常部が抽出される場合は、例えば、個々の異常部の不具合確率を求め、求めた不具合確率が高い異常部から順に打音検査や補修などを実施すれば良い。この際、図1に示す演算装置50又は演算装置50に付随する装置で不具合確率の高い異常部を特定し、不具合確率の高い異常部から順に位置情報や調査日時等を表示するようにしても良い。
[7. Usage example of defect probability]
Aged structures and extensive structures often have multiple defects. When an infrared survey is performed on such a structure, a plurality of abnormal portions are extracted from the acquired thermal image. When a plurality of abnormal parts are extracted in this way, for example, the defect probability of each abnormal part may be obtained, and a hammering inspection or repair may be performed in order from the abnormal part having the highest defect probability. At this time, it is also possible to identify an abnormal part having a high defect probability with the arithmetic device 50 shown in FIG. 1 or an apparatus associated with the arithmetic device 50, and to display position information, survey date and time, etc. in order from the abnormal part having the highest defect probability. good.

また不具合確率の閾値を定めておき、求めた不具合確率が閾値以上又は閾値を超えている異常部に対して打音検査や補修などを実施するようにしても良い。この際、図1に示す演算装置50又は演算装置50に付随する装置で、不具合確率が閾値以上又は閾値を超えている異常部を特定し、異常部の位置情報や調査日時等を表示するようにしても良い。   Further, a threshold value of the defect probability may be determined, and a hammering inspection or repair may be performed on an abnormal part whose calculated defect probability is equal to or higher than the threshold value or exceeds the threshold value. At this time, it is possible to identify an abnormal part having a defect probability equal to or higher than a threshold value or exceeding the threshold value by the arithmetic device 50 shown in FIG. Anyway.

また前記二つの形態を組み合わせても良い。すなわち不具合確率の閾値を定めておき、複数の異常部が抽出される場合には、求めた不具合確率が閾値以上又は閾値を超えている異常部のうち不具合確率が高い異常部から順に打音検査や補修などを実施するようにしても良い。   The two forms may be combined. In other words, when a plurality of abnormal parts are extracted by setting a threshold value of a defect probability, a hammering test is performed in order from an abnormal part having a higher defect probability among abnormal parts having a calculated defect probability equal to or higher than the threshold value or exceeding the threshold value. Or repairs may be carried out.

1 …赤外線調査システム
10…赤外線カメラ
20…熱画像出力装置
30…カメラ
40…外観画像出力装置
50…演算装置
52…入力部
54…記憶部
56…演算部
58…出力部
DESCRIPTION OF SYMBOLS 1 ... Infrared investigation system 10 ... Infrared camera 20 ... Thermal image output apparatus 30 ... Camera 40 ... Appearance image output apparatus 50 ... Arithmetic apparatus 52 ... Input part 54 ... Memory | storage part 56 ... Calculation part 58 ... Output part

Claims (10)

赤外線カメラで撮影した構造物の熱画像から異常部を抽出することによって構造物の不具合を見付ける構造物の赤外線調査方法において、
熱画像に影響を及ぼす因子と、当該因子の情報を用いて熱画像から抽出される異常部に不具合が含まれている確率を求める多変量解析の関係式と、を特定し、
赤外線カメラで構造物を撮影して熱画像を取得し、
取得した熱画像を用いて周囲と温度が異なる異常部を抽出し、
抽出した異常部における前記因子の情報を判別し、
判別した前記因子の情報を数値化し、その数値を前記多変量解析の関係式に当てはめて、抽出した異常部に不具合が含まれている確率を求めること
を特徴とする構造物の赤外線調査方法。
In an infrared survey method for a structure that finds defects in the structure by extracting abnormal parts from the thermal image of the structure photographed with an infrared camera,
Identify the factors that affect the thermal image and the relational expression for multivariate analysis that calculates the probability that the abnormal part extracted from the thermal image using the information of the factor contains a defect,
Take a thermal image by photographing the structure with an infrared camera,
Using the acquired thermal image, extract the abnormal part where the temperature is different from the surroundings,
Determine the information of the factor in the extracted abnormal part,
An infrared investigation method for a structure characterized in that information on the determined factor is digitized, and the numerical value is applied to the relational expression of the multivariate analysis to obtain a probability that the extracted abnormal part includes a defect.
前記多変量解析の関係式としてロジスティック回帰式を用いる請求項1に記載の構造物の赤外線調査方法。   The infrared survey method for a structure according to claim 1, wherein a logistic regression equation is used as a relational expression for the multivariate analysis. 前記因子として、構造物表面のひび割れの有無と、構造物の表面状態と、構造物の供用年数と、を用いる請求項1又は2に記載の構造物の赤外線調査方法。   The infrared survey method for a structure according to claim 1 or 2, wherein the presence or absence of cracks on the surface of the structure, the surface state of the structure, and the service life of the structure are used as the factors. 求めた前記確率を用いて不具合対応の判断をする請求項1〜3のいずれかに記載の構造物の赤外線調査方法。   The infrared inspection method for a structure according to any one of claims 1 to 3, wherein a failure countermeasure is determined using the obtained probability. 複数の異常部における前記確率をそれぞれ求め、前記確率が高い異常部から順に前記不具合対応をすると判断する請求項4に記載の構造物の赤外線調査方法。   The infrared inspection method for a structure according to claim 4, wherein the probabilities in a plurality of abnormal portions are respectively determined, and it is determined that the defects are dealt with in order from the abnormal portion having the highest probability. 前記確率が閾値以上である異常部に対して前記不具合対応をすると判断する請求項4又は5に記載の構造物の赤外線調査方法。   The infrared inspection method for a structure according to claim 4 or 5, wherein it is determined that the defect is dealt with to an abnormal part having the probability equal to or higher than a threshold value. 赤外線カメラで撮影した構造物の熱画像から異常部を抽出することによって構造物の不具合を見付ける構造物の赤外線調査で使用する赤外線調査用演算装置であって、
熱画像に影響を及ぼす因子と、当該因子の情報を用いて熱画像から抽出される異常部に不具合が含まれている確率を求める多変量解析の関係式と、を記憶する記憶部と、
前記因子の情報を入力する入力部と、
前記入力部から前記因子の情報を取得し、前記記憶部から前記多変量解析の関係式を取得して、熱画像から抽出される異常部に不具合が含まれている確率を求める演算部と、
前記演算部で求めた確率を報知する報知部と
を備えたことを特徴とする赤外線調査用演算装置。
An arithmetic device for infrared survey used in an infrared survey of a structure to find a defect in the structure by extracting an abnormal part from a thermal image of the structure photographed by an infrared camera,
A storage unit for storing a factor that affects the thermal image, and a relational expression of multivariate analysis for obtaining a probability that the abnormal part extracted from the thermal image using the information of the factor includes a defect;
An input unit for inputting information of the factor;
Obtaining information of the factor from the input unit, obtaining the relational expression of the multivariate analysis from the storage unit, and calculating a probability that the abnormal part extracted from the thermal image includes a defect,
An infra-red survey computing device comprising: a notifying unit for notifying the probability obtained by the computing unit.
前記多変量解析の関係式としてロジスティック回帰式を用いる請求項7に記載の構造物の赤外線調査方法。   The infrared survey method for a structure according to claim 7, wherein a logistic regression equation is used as a relational expression for the multivariate analysis. 前記因子として、構造物表面のひび割れの有無と、構造物の表面状態と、構造物の供用年数と、を用いる請求項7又は8に記載の赤外線調査用演算装置。   9. The arithmetic unit for infrared survey according to claim 7, wherein presence / absence of cracks on the surface of the structure, surface state of the structure, and service life of the structure are used as the factors. 求めた前記確率を用いて不具合対応を要する異常部を特定する請求項7〜9のいずれかに記載の構造物の赤外線調査用演算装置。   The calculation device for infrared investigation of a structure according to any one of claims 7 to 9, wherein an abnormal part that needs to be dealt with is identified using the obtained probability.
JP2011237250A 2011-10-28 2011-10-28 Infrared survey method for structure and arithmetic unit for infrared survey Active JP5451716B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011237250A JP5451716B2 (en) 2011-10-28 2011-10-28 Infrared survey method for structure and arithmetic unit for infrared survey

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011237250A JP5451716B2 (en) 2011-10-28 2011-10-28 Infrared survey method for structure and arithmetic unit for infrared survey

Publications (2)

Publication Number Publication Date
JP2013096741A true JP2013096741A (en) 2013-05-20
JP5451716B2 JP5451716B2 (en) 2014-03-26

Family

ID=48618844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011237250A Active JP5451716B2 (en) 2011-10-28 2011-10-28 Infrared survey method for structure and arithmetic unit for infrared survey

Country Status (1)

Country Link
JP (1) JP5451716B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595892A (en) * 2018-05-24 2020-08-28 吉林省林业科学研究院 Method for determining parameters of bark heat radiation resistance by combining physical and chemical indexes and image recognition
US20220205926A1 (en) * 2020-12-29 2022-06-30 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
WO2022153852A1 (en) 2021-01-14 2022-07-21 富士フイルム株式会社 Image analysis device, image analysis method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145648A (en) * 1995-11-29 1997-06-06 Nitto Chem Ind Co Ltd Detection of defect in structure
JP2005140622A (en) * 2003-11-06 2005-06-02 Shikoku Doro Engineer Kk Structure investigation method by infrared camera
JP2006202235A (en) * 2005-01-24 2006-08-03 Nara Institute Of Science & Technology Time-based phenomenon occurrence analysis apparatus and time-based phenomenon occurrence analysis method
JP2006200910A (en) * 2005-01-18 2006-08-03 Koichi Hosaka System for estimating cause and degree of deterioration of concrete structure
WO2010046968A1 (en) * 2008-10-21 2010-04-29 西日本高速道路エンジニアリング四国株式会社 Diagnostic device and diagnostic method for concrete structure
WO2010106639A1 (en) * 2009-03-17 2010-09-23 西日本高速道路エンジニアリング四国株式会社 Structure damage depth deciding method, and apparatus therefor, and structure damage treatment deciding method, and apparatus therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145648A (en) * 1995-11-29 1997-06-06 Nitto Chem Ind Co Ltd Detection of defect in structure
JP2005140622A (en) * 2003-11-06 2005-06-02 Shikoku Doro Engineer Kk Structure investigation method by infrared camera
JP2006200910A (en) * 2005-01-18 2006-08-03 Koichi Hosaka System for estimating cause and degree of deterioration of concrete structure
JP2006202235A (en) * 2005-01-24 2006-08-03 Nara Institute Of Science & Technology Time-based phenomenon occurrence analysis apparatus and time-based phenomenon occurrence analysis method
WO2010046968A1 (en) * 2008-10-21 2010-04-29 西日本高速道路エンジニアリング四国株式会社 Diagnostic device and diagnostic method for concrete structure
WO2010106639A1 (en) * 2009-03-17 2010-09-23 西日本高速道路エンジニアリング四国株式会社 Structure damage depth deciding method, and apparatus therefor, and structure damage treatment deciding method, and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013044487; 橋本和明ら: '橋梁上部構造を対象とした赤外線サーモグラフィ法の留意点' 高速道路と自動車 Vol.54, No.3, 2011, p.42-46 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595892A (en) * 2018-05-24 2020-08-28 吉林省林业科学研究院 Method for determining parameters of bark heat radiation resistance by combining physical and chemical indexes and image recognition
CN111595892B (en) * 2018-05-24 2022-10-18 吉林省林业科学研究院 Method for determining parameters of bark heat radiation resistance by combining physical and chemical indexes and image recognition
US20220205926A1 (en) * 2020-12-29 2022-06-30 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
US11703457B2 (en) * 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
WO2022153852A1 (en) 2021-01-14 2022-07-21 富士フイルム株式会社 Image analysis device, image analysis method, and program

Also Published As

Publication number Publication date
JP5451716B2 (en) 2014-03-26

Similar Documents

Publication Publication Date Title
JP6192880B2 (en) Detection apparatus and detection method
US8761490B2 (en) System and method for automated borescope inspection user interface
TWI603074B (en) Optical film defect detection method and system thereof
US20190197356A1 (en) Data generation apparatus, data generation method, and data generation program
US10539380B2 (en) Method and system for thermographic analysis
GB2554361A8 (en) Automatic image based object damage assessment
JP6811018B2 (en) Quality evaluation system, quality evaluation method and program
KR20190075707A (en) Method for sorting products using deep learning
CN109946303A (en) Check device and method
JP6287248B2 (en) Appearance inspection apparatus, appearance inspection method, and program
JP2019032268A (en) Surface defect determination method and surface defect inspection device
JP5451716B2 (en) Infrared survey method for structure and arithmetic unit for infrared survey
JP2019028834A (en) Abnormal value diagnostic device, abnormal value diagnostic method, and program
JP2017523604A (en) Automatic recipe stability monitoring and reporting
JP5973214B2 (en) Structure defect probability calculation method and defect probability calculation apparatus, structure defect range determination method and defect range determination apparatus
US11521120B2 (en) Inspection apparatus and machine learning method
JP2021089116A (en) Information processing device, information processing method, program and generation method for learned model
JP2022122862A (en) Prediction score calculation device, prediction score calculation method, prediction score calculation program and learning device
US11640659B2 (en) System and method for assessing the health of an asset
JP5501908B2 (en) Factor analysis method, factor analysis device, and recording medium
JP6097755B2 (en) Verification of scope of automated analysis (AACV)
JP7281708B2 (en) Manufacturing condition calculation device, manufacturing condition calculation method, and manufacturing condition calculation program for identifying equipment that contributes to the generation of defective products
JP7269607B2 (en) Information processing device, information processing method, and program
CN113673876B (en) Baking process monitoring system based on machine vision
KR101053779B1 (en) Metal mask inspection method of display means

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131226

R150 Certificate of patent or registration of utility model

Ref document number: 5451716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250