CN115836218A - 检查装置、检查方法、以及检查程序 - Google Patents

检查装置、检查方法、以及检查程序 Download PDF

Info

Publication number
CN115836218A
CN115836218A CN202180041906.6A CN202180041906A CN115836218A CN 115836218 A CN115836218 A CN 115836218A CN 202180041906 A CN202180041906 A CN 202180041906A CN 115836218 A CN115836218 A CN 115836218A
Authority
CN
China
Prior art keywords
inspection
image
defect
region
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041906.6A
Other languages
English (en)
Inventor
和田贵裕
井冈良太
筱田薰
片山猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Publication of CN115836218A publication Critical patent/CN115836218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/11—Analysing solids by measuring attenuation of acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/263—Surfaces
    • G01N2291/2636—Surfaces cylindrical from inside
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G01N2291/2675—Seam, butt welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

自动地判定图像中是否存在位置、大小、形状等不固定的缺陷。检查装置(1)具备：检查图像获取部(103)，其获取用于判定检查对象物是否存在内部缺陷的检查图像；以及缺陷有无判定部(105)，其使用将检查图像输入生成模型而生成的复原图像来判定有无缺陷，所述生成模型通过将没有缺陷的检查对象物的图像作为训练数据的机器学习而构建为能够生成具有与输入的图像同样的特征的新的图像。

Description

检查装置、检查方法、以及检查程序
技术领域
本发明涉及一种根据检查对象物的图像来判定有无缺陷的检查装置等。
背景技术
对于工业产品等在出厂前或者检修时等情况下进行的缺陷检查而言，以往广泛应用无损检查。例如在下述的专利文献1中是利用被称为超声波探伤试验的方法自动地检测试验体的缺陷。超声波探伤试验是指：从进行了测量的超声波信号中选择由试验体的缺陷部引起的信号来确定缺陷部位置的试验。对于专利文献1的技术而言，是基于通过解析求出的波形与通过测量得到的波形的差来检测由试验体缺陷部引起的信号。
但是，专利文献1的方法是基于超声波信号的波形来进行解析，由于这样的方法难以直观地理解，因此近来也利用使波形数据图像化的超声波图像来进行缺陷检查。另外，在放射线透射试验(RT)中也根据图像(放射线透射照片)来判定检查对象物是否有缺陷。
现有技术文献
专利文献
专利文献1：日本公开专利公报“特开2003-232779号公报”
发明内容
(一)要解决的技术问题
但是，在对位置、大小及形状等不固定的缺陷进行检查时，难以根据图像自动地判定有无缺陷。因此现状是检查员通过目视来判定有无缺陷。并且，目视检查存在如下问题：作业时间长、人工负荷重、检查结果因检查员的熟练度而出现偏差等。
本发明一方式的目的在于，实现一种检查装置等，其能够自动地判定图像中是否存在位置、大小及形状等不固定的缺陷。
(二)技术方案
为了解决上述问题，本发明一方式的检查装置具备：检查图像获取部，其获取用于判定检查对象物的内部有无缺陷的图像即检查图像；以及缺陷有无判定部，其使用将所述检查图像输入生成模型而生成的复原图像来判定所述检查对象物是否有缺陷，所述生成模型将没有缺陷的检查对象物的图像作为训练数据并通过机器学习而构建为能够生成具有与输入的图像同样的特征的新的图像。
另外，为了解决上述问题，本发明一方式的检查方法使用了检查装置，且包含：检查图像获取步骤，获取用于判定检查对象物的内部有无缺陷的图像即检查图像；以及缺陷有无判定步骤，使用将所述检查图像输入生成模型而生成的复原图像来判定所述检查对象物是否有缺陷，所述生成模型将没有缺陷的检查对象物的超声波图像作为训练数据并进行机器学习而构建为能够生成具有与输入的图像同样的特征的新的图像。
(三)有益效果
根据本发明一方式，能够自动地判定图像中是否存在位置、大小及形状等不固定的缺陷。
附图说明
图1是表示本发明实施方式1的检查装置的主要部位结构一例的框图。
图2是表示包含上述检查装置的检查系统的概要图。
图3是表示利用上述检查装置进行的检查的概要图。
图4是表示基于有缺陷部位的超声波图像而生成的差分图像中的像素值的分布例、和基于无缺陷部位的超声波图像而生成的差分图像中的像素值的分布例的图。
图5是表示根据超声波图像生成热图并对生成的热图实施阈值处理的例子的图。
图6是说明缺陷的位置、超声波图像、热图的关系的图。
图7是对将在多个超声波图像中映现的缺陷综合而作为一个缺陷进行检测的方法进行说明的图。
图8是表示检查结果的输出例的图。
图9是表示构建在检查中使用的各种模型并确定阈值的处理一例的图。
图10是表示使用了所述检查装置的检查方法一例的图。
图11是表示缺陷种类判定处理一例的流程图。
图12是表示本发明实施方式2的检查装置的主要部位结构一例的框图。
图13是说明缺陷区域的检测方法的图。
图14是表示按照缺陷种类设定的区域的例子的图。
图15是表示所述检查装置执行的缺陷种类判定处理一例的流程图。
具体实施方式
(实施方式1)
(系统的概要)
基于图2对本发明一实施方式的检查系统的概要进行说明。图2是概要表示检查系统100的图。检查系统100是根据检查对象物的图像来检查该检查对象物有无缺陷的系统，且包含检查装置1和超声波探伤装置7。
在本实施方式中，对利用检查系统100来检查热交换器的管端焊接部有无缺陷的例子进行说明。此外，管端焊接部是指：对构成热交换器的多个金属制的管、和使这些管集束的金属制的管板进行了焊接的部分。另外，管端焊接部的缺陷是指：在该管端焊接部的内部产生空隙的缺陷。此外，上述管和管板可以为铝等非铁金属制，也可以为树脂制。另外，利用检查系统100，也能够对例如在垃圾焚烧设施等中使用的锅炉设备的管座与管的焊接部(根部焊接部)是否有缺陷进行检查。当然，检查部位不限于焊接部，检查对象不限于热交换器。另外，通常在无损检查领域将利用超声波波形或超声波图像检出的异常部位称为“损伤”。这种“损伤”也包含于上述“缺陷”的范畴。另外，上述“缺陷”也包括缺损或裂纹等。
在进行检查时，如图2所示那样，将涂覆了接触介质的探头从管端插入，通过该探头使超声波从管的内壁面侧朝向管端焊接部传播，并测量该超声波的回波。当发生了在管端焊接部内产生空隙的缺陷时，可测量来自该空隙的回波，因此能够利用该回波来检测缺陷。
例如，在图2左下所示的探头周边的放大图中，用箭头L3表示的超声波向管端焊接部内的没有空隙的部位传播。因此，不测量用箭头L3表示的超声波的回波。另一方面，用箭头L2表示的超声波朝向管端焊接部内的有空隙的部位传播，因此对在该空隙反射的超声波的回波进行测量。
另外，由于在管端焊接部的周缘部也反射超声波，因此也对向周缘部传播的超声波的回波进行测量。例如，用箭头L1表示的超声波向比管端焊接部靠向管端侧的位置传播，因此不会到达管端焊接部，而是在管端焊接部的管端侧的管表面发生反射。因此，通过用箭头L1表示的超声波对来自管的表面的回波进行测量。另外，用箭头L4表示的超声波在管端焊接部的管深侧的管表面发生反射，因此测量该回波。
由于管端焊接部为遍及管周围360度存在，因此使探头以规定角度(例如1度)为单位进行旋转并进行重复测量。并且，将表示探头测量结果的数据向超声波探伤装置7发送。例如，探头可以是由多个阵列元件构成的阵列探头。如果是阵列探头，则通过通过以使得阵列元件的排列方向与管的延伸方向一致的方式进行配置，从而高效地检查在管的延伸方向上具有宽度的管端焊接部。此外，上述阵列探头可以是分别在纵横方向上排列有多个阵列元件的矩阵阵列探头。
超声波探伤装置7使用表示探头测量结果的数据来生成使向管及管端焊接部传播的超声波的回波图像化的超声波图像。在图2中示出了超声波探伤装置7生成的超声波图像的一例即超声波图像111。此外，也可以是检查装置1生成超声波图像111的结构。在这种情况下，超声波探伤装置7将表示探头测量结果的数据向检查装置1发送。
在超声波图像111中将测量的回波强度表示为各像素的像素值。另外，超声波图像111的图像区域可以划分为：与管对应的管区域ar1、与管端焊接部对应的焊接区域ar2、来自管端焊接部周围的回波出现的周缘回波区域ar3以及ar4。
如上所述，从探头向用箭头L1表示的方向传播的超声波在管端焊接部的管端侧的管表面发生反射。另外，该超声波也在管内表面反射并重复发生这些反射。因此，在超声波图像111中的沿着箭头L1的周缘回波区域ar3出现重复的回波a1～a4。另外，从探头向用箭头L4表示的方向传播的超声波也在管外表面和管内表面重复反射。因此，在超声波图像111中的沿着箭头L4的周缘回波区域ar4出现重复的回波a6～a9。在周缘回波区域ar3及ar4出现的这些回波也被称为底面回波。
对于从探头向用箭头L3表示的方向传播的超声波而言，由于没有将其反射的情况，因此在超声波图像111中的沿着箭头L3的区域不出现回波。另一方面，对于从探头向用箭头L2表示的方向传播的超声波而言，由于在管端焊接部内的空隙即缺陷部位发生反射，因此在超声波图像111中的沿着箭头L2的区域出现回波a5。
检查装置1对这样的超声波图像111进行解析，来检查在管端焊接部有无缺陷，详情后述。另外，检查装置1当判定为有缺陷时，也对该缺陷的种类自动地进行判定。
(检查装置的结构)
基于图1对检查装置1的结构进行说明。图1是表示检查装置1的主要部位结构一例的框图。如图1所示，检查装置1具备：控制部10，其一并控制检查装置1的各部；以及存储部11，存储检查装置1使用的各种数据。另外，检查装置1具备：输入部12，其受理对检查装置1的输入操作；以及输出部13，其用于检查装置1的数据输出。
在控制部10中包含：检查对象区域抽出部101、检查图像生成部102、检查图像获取部103、复原图像生成部104、缺陷有无判定部105、热图生成部106、缺陷种类判定部107、综合检测部108、以及缺陷长度计算部109。另外，在存储部11中存储有超声波图像111和检查结果数据112。
检查对象区域抽出部101从超声波图像111中抽出检查对象区域。检查对象区域是被来自检查对象物中的检查对象部位的周缘部的回波重复出现的两个周缘回波区域夹持的区域，后面会详细说明。检查对象区域抽出部101能够使用通过机器学习构建的抽出模型来抽出检查对象区域。并且，检查对象区域抽出部101生成表示所抽出的检查对象区域在超声波图像111中所占的位置以及范围的抽出区域信息。
检查图像生成部102从超声波图像111中切出上述抽出区域信息所表示的检查对象区域的部分，并生成用于判定检查对象物的内部有无缺陷的检查图像。
检查图像获取部103获取检查图像。检查装置1如上所述具备检查对象区域抽出部101和检查图像生成部102，因此，检查图像获取部103获取检查图像生成部102生成的检查图像。此外，检查图像也可以由其他的装置生成。在这种情况下，检查图像获取部103获取其他的装置生成的检查图像。
复原图像生成部104通过将检查图像获取部103获取的检查图像输入生成模型，从而生成具有与输入的检查图像同样的特征的新的图像。以下，将复原图像生成部104生成的图像称为复原图像。用于生成复原图像的生成模型也被称为自动编码器，且通过将没有缺陷的检查对象物的图像作为训练数据的机器学习来构建，详情后述。此外，上述“特征”是指：从图像得到的任意的信息，例如，图像中的像素值的分布状态或方差等也包含于上述“特征”中。
缺陷有无判定部105使用复原图像生成部104生成的复原图像来判定检查对象物是否有缺陷。具体而言，当构成检查图像与复原图像的差分图像的各像素的像素值的方差超过规定的阈值时，缺陷有无判定部105判定为在检查对象物中有缺陷。对于该判定方法将在后面详细说明。
热图生成部106生成以颜色或浓淡来表示构成上述差分图像的各像素的像素值的热图。另外，热图生成部106可以对所生成的热图实施阈值处理。对于热图和阈值处理的详情将在后面进行说明。
缺陷种类判定部107针对缺陷有无判定部105判定为有缺陷的检查图像来判定该在检查图像中映现的缺陷的种类。更具体而言，缺陷种类判定部107基于如下的输出值来判定缺陷种类，所述输出值是将热图生成部106生成的热图输入种类判定模型而得到的输出值。该种类判定模型是通过如下的机器学习而构建的模型，所述机器学习将从具有种类已知的缺陷的检查对象物的检查图像生成的差分图像的热图作为教师数据。
当缺陷有无判定部105将与检查对象物的一部分即彼此相邻的部分各自对应的多个超声波图像111判定为有缺陷时，综合检测部108将在该多个超声波图像111中映现的缺陷作为一个缺陷进行检测。对于缺陷的综合的详情将在后面进行说明。
缺陷长度计算部109计算由综合检测部108综合的缺陷的长度。对于缺陷的长度的计算方法将在后面进行说明。
如上所述，超声波图像111是通过使向检查对象物传播的超声波的回波图像化而得到的图像，且由超声波探伤装置7生成。
检查结果数据112是表示检查装置1的缺陷检查结果的数据。在检查结果数据112中记录有：缺陷有无判定部105针对检查图像获取部103获取的各检查图像进行判定的有无缺陷的结果。此外，在检查结果数据112中记录有：通过缺陷种类判定部107针对判定为有缺陷的检查图像进行判定的缺陷种类的判定结果。并且，在检查结果数据112中记录有：通过综合检测部108进行了综合的缺陷，并且也记录有：通过缺陷长度计算部109算出的综合的缺陷的长度。
如上所述，检查装置1具备检查图像获取部103，其获取用于判定检查对象物的内部有无缺陷的检查图像。另外，检查装置1具备缺陷有无判定部105，其使用复原图像生成部104生成的复原图像来判定检查对象物有无缺陷。并且，上述复原图像是通过将上述检查图像向生成模型输入而生成的图像，该生成模型构建为将没有缺陷的检查对象物的超声波图像作为训练数据，并能够生成具有与输入的图像同样的特征的新的图像。
上述生成模型是利用将没有缺陷的检查对象物的图像作为训练数据的机器学习而构建的。因此，在对该生成模型输入没有缺陷的检查对象物的检查图像的情况下，具有与该检查图像同样的特征的新的图像作为复原图像输出的可能性较高。
另一方面，在向该生成模型输入具有缺陷的检查对象物的检查图像的情况下，即使在检查图像的任意位置映现有任意形状及大小的缺陷，复原图像具有与检查图像不同的特征的可能性也较高。
这样，在从映现有缺陷的检查图像生成的复原图像、和从没有映现缺陷的检查图像生成的复原图像中，会产生向生成模型输入的检查图像是否准确地复原的差异。
因此，根据使用由上述生成模型生成的复原图像来判定有无缺陷的上述结构，能够使用检查对象物的图像自动地判定是否存在位置、大小及形状等不固定的缺陷。
(检查的概要)
基于图3来概要说明对利用检查装置1进行的检查。图3是概要表示利用检查装置1进行的检查的图。此外，在图3中示出了将利用超声波探伤装置7生成的超声波图像111存储于检查装置1的存储部11之后的处理。
首先，检查对象区域抽出部101将超声波图像111输入抽出模型，并基于其输出值来生成抽出区域信息。如上所述，抽出区域信息表示：超声波图像111的图像区域中的应该作为检查图像抽出的区域。检查图像生成部102从超声波图像111中切出该抽出区域信息所表示的区域，生成检查图像111A。此外，基于图9对抽出模型的生成方法进行说明。
这样，检查图像生成部102从超声波图像111中将抽出区域信息所表示的区域作为检查对象区域抽出，生成检查图像111A。该检查对象区域是：被来自检查对象物中的检查对象部位的周缘部的回波重复出现的两个周缘回波区域(图2例中的周缘回波区域ar3和ar4)夹持的区域。并且，检查图像获取部103获取该检查图像111A。
如图2所示，在超声波图像111中的检查对象部位的周缘部，重复观察到由该周缘部的形状等引起的规定的回波(回波a1～a4以及a6～a9)。因此，能够根据这样的回波重复出现的周缘回波区域ar3以及ar4的位置来确定超声波图像111中的与检查对象部位对应的区域。即，根据上述结构，能够自动生成检查图像111A。此外，在检查对象部位的周缘部出现规定的回波的情况不限于管端焊接部的超声波图像111。因此，对于将被周缘回波区域包围的区域作为检查对象区域抽出的结构而言，也能够应用于管端焊接部以外的其他检查。
接下来，检查图像获取部103将获取的检查图像111A向复原图像生成部104发送。复原图像生成部104将检查图像111A生成模型输入，并基于其输出值来生成复原图像111B。此外，基于图9来对生成模型的生成方法进行说明。
并且，检查图像获取部103从检查图像111A中除去周缘回波区域而生成除去图像111C，并且从复原图像111B中除去周缘回波区域而生成除去图像(复原)111D。此外，如果检查对象物相同则在检查图像111A中映现的周缘回波区域的位置及大小大致恒定。因此，检查图像获取部103可以将检查图像111A中的规定的范围作为周缘回波区域除去。另外，检查图像获取部103可以对检查图像111A解析来检测周缘回波区域，并基于该检测结果将周缘回波区域除去。
通过上述方式将周缘回波区域除去，从而缺陷有无判定部105将从复原图像111B的图像区域除去了周缘回波区域后剩余的图像区域作为对象来判定有无缺陷。由此，能够防止受到来自周缘部的回波的影响，能够这样来判定有无缺陷，并提高有无缺陷的判定精度。
接下来，缺陷有无判定部105判定有无缺陷。具体而言，缺陷有无判定部105首先对除去图像111C和除去图像(复原)111D以像素为单位来计算差分。接下来，缺陷有无判定部105计算已算出的差分的方差。并且，缺陷有无判定部105根据算出的方差值是否超过规定的阈值来判定有无缺陷。
在此，当判定为有缺陷时，基于缺陷有无判定部105算出的各像素的差分值来判定缺陷种类。此外，各像素的差分值表示除去图像111C与除去图像(复原)111D的差分，因此也将这些差分值称为差分图像。
此外，除去周缘回波区域的时刻不限于上述例示。例如，可以生成检查图像111A与复原图像111B的差分图像，并从该差分图像中除去周缘回波区域。
(以像素为单位计算的差分的方差与有无缺陷的关系)
基于图4对以像素为单位计算的差分的方差与有无缺陷的关系进行说明。图4是表示基于有缺陷部位的超声波图像111生成的差分图像中的像素值的分布例、和基于无缺陷部位的超声波图像111生成的差分图像中的像素值的分布例的图。
此外，由于除去图像111C和除去图像(复原)111D是相同大小的图像，因此差分图像也与这些图像是相同大小。构成差分图像的各像素的值等于除去图像111C与除去图像(复原)111D的像素值的差分。
如图示那样，在基于无缺陷部位的超声波图像111生成的差分图像中的像素值中，0～20程度的值占了大半，比其大的值几乎为零。因此，该差分图像中的像素值的方差是20这种较小的值。
另一方面，如图示那样，在基于有缺陷部位的超声波图像111生成的差分图像中的像素值中，0～20程度的值较多，但是如该图中以框围所示那样，也存在多个比其大的值。与由缺陷引起的回波对应的像素为这样的值较大的像素。因此，该差分图像中的像素值的方差是70这种较大的值。
这样，在有缺陷部位的差分图像中，缺陷区域的像素的像素值与其以外的区域的像素值相比而言为较大的值，因此像素值的方差也较大。另一方面，在无缺陷部位的差分图像中，可能产生由于噪声等的影响而使像素值成为一定程度上较大的值的部位，但是产生像素值极端大的部位的可能性较低，像素值的方差相对较小。也就是说，当检查对象物存在缺陷时，差分图像中的像素值的方差变大是特征性的现象。
因此，若构成为当构成差分图像的各像素的像素值的方差超过规定的阈值时则缺陷有无判定部105判定为有缺陷，则能够适当判定有无缺陷。
(热图和阈值处理)
如上所述，在缺陷种类的判定中使用热图。在此，基于图5来说明热图生成部106生成的热图、和对生成的热图进行的阈值处理。图5是表示根据超声波图像来生成热图并对生成的热图实施阈值处理的例子的图。更具体而言，图5的上部表示管端焊接部中的有缺陷部位的超声波图像111－a的例子，图5的下部表示管端焊接部中的无缺陷部位的超声波图像111－b的例子。
如基于图3说明的那样，根据超声波图像111－a生成除去图像111C－a和除去图像(复原)111D－a，并根据除去图像111C－a和除去图像(复原)111D－a生成差分图像。热图生成部106生成热图，该热图是将该差分图像中的各像素利用与其像素值对应的颜色或浓淡来表现的图。
图5示出了利用从黑到白的颜色浓淡来表现像素值的从下限值到上限值的热图111E－a。如在热图111E－a中用空心箭头所示那样，与缺陷对应的区域(像素值较大的像素聚集的区域)为接近白色的像素聚集的区域。因此，在热图111E－a中，容易从视觉上识别与缺陷对应的区域。
但是，在热图111E－a中也存在由噪声等而使像素值变大的区域。因此，优选热图生成部106对生成的热图进行阈值处理，修正由于噪声等而使像素值变大的区域的像素值。例如，热图生成部106可以使热图111E－a中的规定阈值以下的像素值为零(黑色)。由此生成除去了噪声成分的热图111F－a。根据热图111F－a，能够更清楚地识别与缺陷对应的区域。
对于无缺陷部位的超声波图像111－b也同样地，从该超声波图像111－b来生成除去图像111C－b和除去图像(复原)111D－b，并从除去图像111C－b和除去图像(复原)111D－b来生成差分图像。并且，热图生成部106生成该差分图像的热图111E－b，并对热图111E－b实施阈值处理，生成热图111F－b。将热图111F－a与热图111F－b进行比较，可知能够清楚地判别有无缺陷。并且可知，在热图111F－a中，对于缺陷的位置也能够清楚地进行判别。
(缺陷种类、超声波图像、热图)
作为管端焊接部中的缺陷，例如公知有初层熔深不良、焊道间的熔合不良、咬边、以及气孔等。初层熔深不良是在管板附近发生未熔接而产生空隙的缺陷。焊道间的熔合不良是在进行多次熔接时发生未熔接而产生了空隙的缺陷。咬边是焊道的端部呈凹槽状凹陷的缺陷。气孔是在焊接金属内产生了球状的空洞的缺陷。
这些缺陷的产生位置不同。因此，在超声波图像111中，能够根据出现由缺陷引起的回波的位置来判定缺陷种类。同样地，能够根据基于超声波图像111生成的热图(优选是阈值处理后的热图)中的缺陷区域的位置来判定缺陷种类。此外，如上所述，缺陷区域是映现有由缺陷引起的回波的区域，与其他区域相比而言像素值较大。
基于图6对基于缺陷区域的位置的缺陷种类的判定进行说明。图6是说明缺陷的位置、超声波图像、热图的关系的图。在图6的第一层的左端表示产生初层熔深不良的管端焊接部的剖切面。图6中的左侧是管端侧，右侧是管深侧。也就是说，管沿着图6的左右方向延伸。并且，相对于管的外表面而言位于下侧的是管板。另外，为了得知管端焊接部的宽度，使标尺抵接管的内壁面(内表面)。
在图6的第一层左端的图中，虚线所示的区域是当焊接时产生的管板的熔深区域，熔深区域的左侧的倒三角形状的区域是由焊接金属构成的区域，组合了这些区域的区域是管端焊接部。在该管端焊接部中标注了圆圈的部位产生空隙。该空隙在管的表面附近，靠近管端焊接部的管深侧端部。
如图6的第一层中央所示，在存在上述空隙的部位的超声波图像111－c中出现由该空隙引起的回波。并且，如图6的第一层右端所示，在基于该超声波图像111－c生成的热图111F－c中也如图中空心箭头所示那样出现与上述空隙对应的区域。
在图6的第二层的左端表示产生焊道间的熔合不良的管端焊接部的剖切面。在标注了圆圈的部位产生空隙。该空隙在管的表面附近，位于管端焊接部的厚度方向的中心部附近。
如图6的第二层中央所示，在存在该空隙的部位的超声波图像111－d中出现由该空隙引起的回波。并且，如图6的第二层右端所示，在基于该超声波图像111－d生成的热图111F－d中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域与第一层的热图111F－c相比而言位于左侧。
在图6的第三层的左端表示从管端侧观察产生咬边的管端焊接部的状况。在标注了圆圈的部位产生空隙。该空隙在管的表面附近，位于管端焊接部中的管端侧的端部。
如图6的第三层中央所示，在存在该空隙的部位的超声波图像111－e中出现由该空隙引起的回波。并且，如图6的第三层右端所示，在基于该超声波图像111－e生成的热图111F－e中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域与第二层的热图111F－d相比而言位于左侧。
在图6的第四层的左端表示产生气孔的管端焊接部的剖切面。在标注了圆圈的部位产生空隙。该空隙比管的表面靠近管端焊接部的内部侧，其左右方向的位置是管端焊接部的宽度方向的中心附近。
如图6的第四层中央所示，在存在该空隙的部位的超声波图像111－f中出现由该空隙引起的回波。并且，如图6的第四层右端所示，在基于该超声波图像111－f生成的热图111F－f中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域的左右方向的位置与第二层的热图111F－d接近，上下方向的位置更靠向下方侧。
如上所述，缺陷种类与热图111F的外观之间具有相关。因此，能够基于该相关来构建根据热图111F来判定缺陷种类的种类判定模型。这样的种类判定模型能够通过如下的机器学习来构建，该机器学习将从具有种类已知的缺陷的检查对象物的检查图像生成的差分图像的热图作为教师数据。并且，缺陷种类判定部107能够基于将热图生成部106生成的热图输入这样的判定模型而得到的输出值来判定缺陷种类。
如上所述，在利用颜色或浓淡来表现构成差分图像的各像素的像素值的热图中，可反映在基于该差分图像的检查图像中映现的缺陷的种类的不同。因此，根据上述结构，能够适当地自动地判定缺陷种类。
例如，可以准备多个根据产生初层熔深不良的部位的超声波图像111生成的、如图6的热图111F－c那样的热图，并将它们作为教师数据。由此，能够构建如下的种类判定模型，该种类判定模型输出缺陷种类是初层熔深不良的概率。同样地，如果将根据产生其他种类的缺陷的部位的超声波图像111生成的热图作为教师数据进行机器学习，则能够构建如下的种类判定模型，该种类判定模型输出与各种缺陷对应的概率。
因此，缺陷种类判定部107能够根据将热图输入这样的种类判定模型输入而得到的输出值来判定缺陷种类。例如，缺陷种类判定部107可以判定为：产生了与从种类判定模型输出的各种缺陷的概率值中的、最高的概率值对应的种类的缺陷。
(缺陷的综合)
管端焊接部遍及管的周围360度存在。因此，如上所述，在管内使探头以规定角度为单位旋转，生成管端焊接部的各部分的超声波图像111，并根据各超声波图像111来检测缺陷。在这种情况下，一个连续的缺陷跨越映现于多个超声波图像，虽然作为实体是一个缺陷，但是有可能被检测为多个缺陷。
因此，综合检测部108将在多个超声波图像111中映现的缺陷综合并作为一个缺陷进行检测。更具体而言，当缺陷有无判定部105针对与管端焊接部的一部分即彼此相邻的部分各自对应的多个超声波图像111判定为有缺陷时，综合检测部108将在该多个超声波图像中映现的缺陷作为一个缺陷进行检测。由此，能够进行沿着缺陷实体的适当的检测。
基于图7对缺陷的综合方法进行说明。图7是对将在多个超声波图像111中映现的缺陷综合而作为一个缺陷进行检测的方法进行说明的图。在图7的左上示出管与管端焊接部的横剖面。另外，在图7的左下示出管、管端焊接部、管板的纵剖面。
在图7的例子中，产生了沿着管的外壁面遍及大范围的焊接缺陷。当沿着管的内壁面使探头以旋转规定角度为单位旋转并测量回波时，则会在产生焊接缺陷的范围的测量结果中反映来自焊接缺陷的回波。由此，如图7的右侧所示，在基于上述测量结果生成的超声波图像111g～111i中出现由上述焊接缺陷引起的回波。因此，在基于这些超声波图像111g～111i进行的缺陷有无判定中，缺陷有无判定部105判定为有缺陷。
在此，超声波图像111g～111i分别与管端焊接部的一部分即彼此相邻的部分对应。因此，综合检测部108将在缺陷有无判定部105判定为有缺陷的这些超声波图像111g～111i中映现的缺陷作为一个缺陷进行检测。
此外，综合检测部108可以按照如下条件来综合这些缺陷，即：从超声波图像111g～111i检出的缺陷的位置是相同还是相近的位置。另外，如上所述，缺陷根据种类而位置不同。因此，综合检测部108可以按照如下条件来综合这些缺陷，即：从超声波图像111g～111i中检出相同种类的缺陷。根据这些结构，能够提高缺陷综合的精度。
另外，缺陷长度计算部109计算通过如上所述的处理进行了综合的缺陷的长度。例如，缺陷长度计算部109可以将一个超声波图像111的缺陷的平均长度与通过综合检测部108进行综合的缺陷的数量相乘来计算缺陷的长度。
例如，对于在管的周围360度形成的管端焊接部，使探头沿着管的内壁面绕管的中心轴以1度为单位进行移动而进行360次的回波测量，其结果为，生成360张的超声波图像111。在这种情况下，在一个超声波图像111中映现的缺陷的长度大致为(管的外径)×π×1/360。因此，当如图7那样综合了3个超声波图像111g～111i的缺陷时，缺陷长度计算部109可以将缺陷的长度计算为(管的外径)×π×3×1/360。此外，π是圆周率。
(检查结果的输出例)
利用检查装置1对应检查对象物有无缺陷的判定结果经由输出部13输出。在此，基于图8对检查结果的输出例进行说明。图8是表示检查结果的输出例的图。
在图8的左上示出缺陷图300。缺陷图300是在表示从管端侧观察的管端焊接部的圆圈状的区域301绘出表示检出的缺陷的线段302的图。根据缺陷图300，能够容易地识别管端焊接部的缺陷的分布。
另外，在图8的右上示出管板图400。管板图400示意性地示出如图2所示那样的、从管端侧观察在管板上焊接有多个管的热交换器的状况。在管板图400中，通过在各管的位置描绘表示该管的管端焊接部的缺陷检查的结果的图形，从而示出检查结果。
具体而言，检查的结果为，在未检出缺陷的管的位置描绘白圆圈，在检出损伤(缺陷)的管的位置描绘黑圆圈。由此，能够容易地识别产生缺陷的管端焊接部的分布。另外，在管板图400中，在未实施检查的管的位置描绘三角标记，在检查对象外的管的位置描绘四方标记。这样，与检查相关的各种信息也可以包含在管板图400中。
另外，在图8的下侧示出超声波图像组500。在超声波图像组500中包含3个超声波图像(501～503)。超声波图像501通过管端侧扇形扫描而获得，超声波图像502通过线性扫描而获得，超声波图像503通过管深侧扇形扫描而获得。
此外，线性扫描是与管的中心轴垂直的探伤方向的扫描。上述超声波图像111也是通过线性扫描得到的。管端侧扇形扫描是使超声波在从与管的中心轴垂直的方向向管深侧倾斜的探伤方向上传播的扫描。另外，管深侧扇形扫描是使超声波在从与管的中心轴垂直的方向向管端侧倾斜的探伤方向上传播的扫描。
在这些超声波图像中，针对与检出的缺陷对应的反射回波进行标识。通过这样将标识的超声波图像作为检查结果进行显示，从而能够容易地识别缺陷的位置等。
在此，超声波图像501～503都是通过扫描管端焊接部上的相同的位置而得到的图像，但由于探伤方向不同，因此缺陷的表现方式也不同。因此，检查装置1对这样的探伤方向不同的多个超声波图像111判定有无缺陷，当在任一探伤方向上判定为有缺陷时，则即使在其他探伤方向上判定为没有缺陷，也可以将最终的判定结果设定为有缺陷。由此，能够降低发生缺陷漏检的概率。另外，检查装置1可以将对通过线性扫描得到的超声波图像和通过扇形扫描得到的超声波图像进行合成所得到的合成图像作为对象来判定有无缺陷。
此外，检查装置1也可以将缺陷图300、管板图400、以及超声波图像组500的全部作为检查结果输出，也可以仅将一部分输出。另外，检查装置1也可以将表示缺陷种类的判定结果的信息等作为检查结果输出。当然，这些仅为例示，检查装置1只要将判定结果以能够使人识别其内容的任意方式输出即可。
(在检查前进行的处理的流程)
在利用检查装置1进行缺陷检查前，需要准备在检查中使用的各种模型、阈值。在此，基于图9来说明构建在检查中使用的各种模型并确定阈值的处理的流程。图9是表示构建在检查中使用的各种模型并确定阈值的处理一例的图。此外，这些处理可以在检查装置1中进行，也可以在其他的计算机中进行。
在S1中构建抽出模型。抽出模型的构建通过机器学习来进行，所述机器学习使用了将抽出区域信息作为正确数据与超声波图像111进行了关联而做成的教师数据。该抽出区域信息可以是：例如使超声波图像111显示于显示装置，由操作员输入应该抽出的区域，基于该输入内容而生成的信息。
抽出模型能够通过适于从图像抽出区域的任意的学习模型来构建。例如，可以通过抽出精度、处理速度优异的YOLO(You Only Look Once：你只需要看一遍)等来构建抽出模型。
应该抽出的区域只要是包含作为检查对象部位的管端焊接部的区域即可。另外，应该抽出的区域优选也包含映现有来自其周缘部的回波的区域的至少一部分。这是因为：当在检查对象部位没有缺陷时，有可能在超声波图像111中的该部位观察不到能够进行机器学习的特征点，在这种情况下，难以构建抽出模型。例如，在图2所示的超声波图像111中，只要将包含回波a1、a2、a6以及a7的一部分的区域作为应该抽出的区域即可。由此可构建抽出模型，该抽出模型将包含管端焊接部并且也包含来自周缘部的回波的区域抽出。
在S1中，当构建了通过将包含映现有来自周缘部的回波的区域的区域作为正确数据的机器学习所构建的抽出模型时，检查图像生成部102利用该抽出模型来抽出检查对象区域。由于在来自检查对象部位的周缘部的回波中如图2所示那样具有能够进行机器学习的特征，因此采用该结构能够自动且高精度地抽出检查对象部位。
在S2中构建生成模型。生成模型通过机器学习来构建，该机器学习将没有缺陷的检查对象物的超声波图像111，更具体而言，是将利用在S1中构建的抽出模型从该超声波图像111中抽出的检查对象区域的图像作为训练数据。如上所述，生成模型可以是自动编码器。另外，生成模型可以是对自动编码器进行了改进或变更而得到的模型。例如，作为生成模型可以应用变分自动编码器等。
此外，当在S1中构建了通过如下的机器学习所构建的抽出模型时，在用于构建生成模型的训练数据中也包含映现有来自周缘部的回波的区域，所述机器学习将包含映现有来自周缘部的回波的区域的区域作为正确数据。在没有缺陷的检查对象物的超声波图像111中，在检查对象区域中不包含回波，虽然缺乏应该进行机器学习的特征点，但是通过使用如下的训练数据，从而能够构建合适的生成模型，所述训练数据包含映现有来自周缘部的回波的区域。
在S3中，向通过S2构建的生成模型中输入测试图像来构建复原图像。在测试图像中包含：使用通过S1构建的抽出模型从没有缺陷的检查对象物的超声波图像111中抽出检查对象区域而生成的图像；和从有缺陷的检查对象物的超声波图像111中抽出检查对象区域而生成的图像。另外，从有缺陷的检查对象物的超声波图像111生成的测试图像按照其缺陷种类进行分类。
在S4中，确定了缺陷有无判定用的阈值。具体而言，对于测试图像和通过S3生成的复原图像以像素为单位计算这些图像的差分，并计算该差分的方差。并且，以如下方式来确定阈值，即能够区分：针对从没有缺陷的检查对象物的超声波图像111生成的多个测试图像算出的各方差的值、和针对从有缺陷的检查对象物的超声波图像111生成的多个测试图像算出的各方差的值。
在S5中，将从各种缺陷的测试图像分别生成的热图作为教师数据来构建种类判定模型。由于在热图中如基于图6说明的那样出现与缺陷种类对应的特征，因此通过将该热图作为教师数据进行机器学习，从而可构建种类判定模型。
种类判定模型能够利用适于图像分类的任意的学习模型来构建。例如，可以利用图像的分类精度优异的卷积神经网络等来构建种类判定模型。
(检查中的处理的流程)
基于图10来说明检查中的处理的流程。图10是表示使用了检查装置1的检查方法一例的图。此外，以下说明了：在存储部11中存储有超声波图像111，该超声波图像111是对一边使探头旋转一边进行测量所得到的来自管端焊接部和其周缘部的回波进行图像化而得到的超声波图像111。
在S11中，检查对象区域抽出部101获取存储部11中存储的超声波图像111的一个，将该一个超声波图像111输入抽出模型，并基于其输出值来生成抽出区域信息。并且，检查图像生成部102将上述抽出区域信息所表示的区域从超声波图像111中抽出，生成检查图像111A。
在S12(检查图像获取步骤)中，检查图像获取部103获取通过S11生成的检查图像111A。并且，检查图像获取部103对获取的检查图像111A进行复制，将其中一个发送给复原图像生成部104，并将另一个发送给缺陷有无判定部105。此外，检查图像获取部103可以将从检查图像111A中除去了周缘回波区域的除去图像111C向缺陷有无判定部105发送。
在S13中，复原图像生成部104将通过S12获取的检查图像111A输入生成模型，并基于其输出值来生成复原图像111B。另外，当构成为检查图像获取部103向缺陷有无判定部105发送除去图像111C时，优选复原图像生成部104根据所生成的复原图像111B来生成除去图像(复原)111D，并将其发送给缺陷有无判定部105。此外，也可以构成为由缺陷有无判定部105来生成除去图像111C及除去图像(复原)111D。
在S14中，缺陷有无判定部105针对通过S12生成的检查图像111A和通过S13生成的复原图像111B计算各像素的差分。此外，在生成除去图像111C及除去图像(复原)111D的情况下，缺陷有无判定部105计算这些图像的差分。
在S15中，缺陷有无判定部105计算通过S14算出的差分的方差。并且，在S16(缺陷有无判定步骤)中，缺陷有无判定部105基于通过S15算出的方差值来判定有无缺陷。具体而言，缺陷有无判定部105当方差值超过规定的阈值时判定为有缺陷，当方差值为规定阈值以下时判定为没有缺陷。
当在S16中判定为有缺陷时(在S16中为是)，进入S17的处理。在S17中，缺陷有无判定部105向检查结果数据112中存储S16的判定结果、即检查对象物有缺陷。之后，处理进入S18，进行缺陷种类判定处理。此外，对于缺陷种类判定处理的详细情况将在后面基于图11进行说明。
另一方面，当在S16中判定为没有缺陷时(在S16中为否)，进入S19的处理。在S19中，缺陷有无判定部105向检查结果数据112中存储S16的判定结果、即检查对象物没有缺陷。之后，处理进入S20。
在S20中，判定检查对象区域抽出部101是否已经对作为检查对象的全部的超声波图像111完成处理。在此，当判定为有未处理的超声波图像111时(在S20中为否)则返回S11，检查对象区域抽出部101从存储部11中读出未处理的超声波图像111，并生成抽出区域信息。另一方面，当判定为没有未处理的超声波图像111时(在S20中为是)则进入S21的处理。
在S21中，综合检测部108对缺陷有无判定部105检出的缺陷进行综合。并且，综合检测部108将综合结果记录于检查结果数据112。缺陷的综合方法如基于图7说明的那样，在此不重复说明。此外，如果没有应该进行综合的缺陷，则不进行S21及S22的处理，并结束图10的处理。
在S22中，缺陷长度计算部109计算由综合检测部108进行了综合的缺陷的长度。例如，缺陷长度计算部109可以在将一个超声波图像111的缺陷的平均长度与通过综合检测部108进行综合的缺陷的数量来计算缺陷的长度。并且，缺陷长度计算部109将计算结果记录于检查结果数据112。由此结束图10的处理。
(缺陷种类判定处理的流程)
基于图11对在图10的S18中进行的缺陷种类判定处理的流程进行说明。图11是表示缺陷种类判定处理一例的流程图。在S31中，热图生成部106使用通过图10的S14算出的差分值生成热图。并且，在S32中，热图生成部106对通过S31生成的热图实施阈值处理。阈值处理如基于图5说明的那样，在此不重复说明。
在S33中，缺陷种类判定部107使用种类判定模型来判定缺陷种类。具体而言，缺陷种类判定部107将通过S32实施了阈值处理的热图输入种类判定模型，并基于其输出值来判定缺陷种类。例如，若种类判定模型针对各缺陷种类输出表示属于该种类的可能性的数值，则缺陷种类判定部107将该数值最大的种类判定为是该缺陷种类。
在S34中，缺陷种类判定部107将S33的判定结果记录于检查结果数据112。由此结束缺陷种类判定处理。
(实施方式2)
以下对本发明另一实施方式进行说明。此外，为了方便说明，对于与在上述实施方式中说明的部件具有相同功能的部件标注相同的附图标记并不重复其说明。在本实施方式中，对利用与上述实施方式不同的方法判定缺陷种类的例子进行说明。
(检查装置的结构)
基于图12对本实施方式的检查装置2的结构进行说明。图12是表示检查装置2的主要部位结构一例的框图。检查装置2比与图1所示的检查装置1而言区别在于，控制部10变为控制部20。在控制部20中不包含在控制部10中所包含的热图生成部106和缺陷种类判定部107，取而代之则是包含缺陷区域检测部201和缺陷种类判定部202。
缺陷区域检测部201将在差分图像中由像素值为阈值以上的多个像素构成的区域作为缺陷区域进行检测。并且，缺陷种类判定部202根据差分图像的图像区域中的检出上述缺陷区域的位置来判定该缺陷区域的缺陷种类。以下对缺陷区域的检测和基于缺陷区域的位置进行的缺陷种类判定进行详细说明。
(缺陷区域的检测)
基于图13对利用缺陷区域检测部201检测缺陷区域的方法进行说明。图13是说明缺陷区域的检测方法的图。此外，在图13中示出了使用热图检测缺陷区域的例子，但如以下说明的那样，生成热图不是必须的。
在图13中示出：根据具有缺陷的检查对象物的超声波图像111生成的热图111E、以及对该热图111E实施了阈值处理的热图111F。另外，在图13中也示出了热图111F的左上端部分的放大图，在该放大图中对于热图111F的各像素记载了其像素值。
在缺陷区域的检测中，首先，缺陷区域检测部201在热图111F
中检测像素值最大的像素。在图13例中，由于最大的像素值是104，因此检出该像素。接下来，缺陷区域检测部201检测与检出的像素相邻的、像素值为规定阈值(与在图11的S32的阈值处理中使用的阈值相比更大的阈值)以上的像素。
缺陷区域检测部201重复进行这样的处理，直到检测不出具有阈值以上的像素值的相邻像素为止。由此，缺陷区域检测部201能够将由具有规定的阈值以上的像素值的像素构成的连续区域作为缺陷区域进行检测。此外，缺陷区域检测部201可以将包含上述那样检出的缺陷区域的矩形区域ar5作为缺陷区域进行检测。
只要有表示检查图像111A和复原图像111B的各像素的差分值的数据即差分图像，就能够进行以上的处理。即，通过重复进行在差分图像中检测像素值最大的像素并检测与该像素相邻的规定的阈值以上的像素值的像素的处理，从而能够检测缺陷区域。因此，如上所述，不必为了检测缺陷区域而生成热图111E或热图111F。
如上所述，缺陷区域检测部201将在差分图像中由像素值为阈值以上的多个像素构成的区域作为缺陷区域进行检测。在差分图像中，缺陷区域的像素的像素值与其以外的区域的像素值相比为较大的值，因此，根据该结构，能够自动地检测合适的缺陷区域。
(基于位置的缺陷种类判定)
如基于图6说明的那样，在焊接部位的缺陷中，已知有初层熔深不良、焊道间的熔合不良等各种种类的缺陷，这些缺陷种类的不同会在超声波图像中表现为位置的差。缺陷种类判定部202据此根据差分图像的图像区域中的检出缺陷区域的位置来判定该缺陷区域的缺陷种类。由此可自动地判定缺陷种类。
例如，若在差分图像中预先设定与各种类的缺陷对应的区域，则缺陷种类判定部202能够根据缺陷区域检测部201检出的缺陷区域包含在哪个区域来判定缺陷种类。
图14是表示按照缺陷种类设定的区域的例子的图。在图14的例子中，在热图111F的左上角设定与咬边对应的区域AR1，在上端中央设定与焊道间的熔合不良对应的区域AR2，而且在右上角设定与初层熔深不良对应的区域AR3。另外，在从中央稍稍靠上的位置设定与气孔对应的区域AR4。对于这样的区域而言，只要通过对各种缺陷部位的基于检查图像的差分图像、热图进行解析等方式预先进行设定即可。在图14的例子中，由于在区域AR3检出用空心箭头表示的缺陷区域，因此缺陷种类判定部202判定该缺陷是由于初层熔深不良造成的缺陷。
在图14例中，与气孔对应的区域AR4的一部分与区域AR1～AR3的一部分重合。可以这样将用于判定缺陷种类的区域设定为部分地与其他区域重叠。
在这种情况下，当在多个区域重叠的区域检出缺陷区域时，缺陷种类判定部202可以将与这些各区域对应的全部种类作为缺陷种类的判定结果。例如，当在区域AR1与AR4的重叠区域检出缺陷区域时，缺陷种类判定部202可以输出咬边和气孔双方作为判定结果。
另外，缺陷种类判定部202可以根据是否满足各缺陷种类所特有的条件来限定缺陷种类的判定结果。例如，若是在形状上具有特征的缺陷，则可以设定与形状相关的条件，如果是在大小上具有特征的缺陷，则可以设定与大小相关的条件。
举出具体例，气孔是产生球状的空洞的缺陷，其直径一般是2mm以下。因此，在一张超声波图像111覆盖检查对象物的宽度为1mm程度的范围的情况下，一个气孔容纳在2～3张程度的超声波图像111中。因此，在分别与检查对象物的相邻的部分对应的多个超声波图像111中连续检出缺陷的情况下，如果该超声波图像111的张数是3张以下，则该缺陷有可能是气孔。另一方面，如果连续检出缺陷的超声波图像111的张数是4张以上，则该缺陷不是气孔的可能性较高。
因此，当在区域AR4与其他区域的重叠区域检出缺陷区域的情况下，缺陷种类判定部202可以将连续检出缺陷的超声波图像111的张数是阈值(例如为3)以下作为条件，将该缺陷种类判定为气孔。
例如，在图14例中设定为，在区域AR4与AR2的重叠区域检出缺陷区域。在这种情况下，缺陷种类判定部202可以当连续检出缺陷的超声波图像111的张数为阈值以下时将缺陷种类判定为气孔，若超过阈值则判定为焊道间的熔合不良。
另外，如上所述，由于气孔是球状，因此在跨越多个超声波图像111检出一个气孔的情况下，由各超声波图像111中的该气孔引起的回波的峰值往往不同。这样的峰值的不同在超声波图像111中表现为像素值的不同。例如，设定跨越3张超声波图像111检出一个气孔。在这种情况下，如果将3张超声波图像111中的中央的超声波图像111中的由该气孔引起的回波的峰值设定为50％，则其前后的超声波图像111中的由气孔引起的回波的峰值为比其低的30％的值。
因此，当在区域AR4与其他区域的重叠区域检出缺陷区域时，缺陷种类判定部202可以将连续检出缺陷的各超声波图像111中的缺陷区域的像素值中存在差异作为条件，将该缺陷种类判定为气孔。例如，缺陷种类判定部202可以计算各超声波图像111的缺陷区域中包含的各像素的像素值的平均值，当该平均值的差为阈值以上时则判定为有差异。
(缺陷种类判定处理的流程)
检查装置2的缺陷检查与检查装置1同样地按照图10所示流程图的流程来进行。但是，通过S18进行的缺陷种类判定处理的内容不同。在此，基于图15来说明在图10的S18中利用检查装置2进行的缺陷种类判定处理的流程。图15是表示检查装置2执行的缺陷种类判定处理一例的流程图。
在S41中，缺陷区域检测部201对通过图10的S14算出的差分值实施阈值处理。并且，在S42中，缺陷区域检测部201根据阈值处理后的差分值来检测缺陷区域。缺陷区域的检测方法如基于图13说明的那样，在此不重复说明。
在S43中，缺陷种类判定部202根据通过S42确定的缺陷区域的位置来判定缺陷种类。例如，缺陷种类判定部202可以根据通过S42检出的缺陷区域包含于图14所示区域AR1～AR4中的哪一个来判定缺陷种类。
在S44中，缺陷种类判定部202将S43的判定结果记录于检查结果数据112。由此结束缺陷种类判定处理。
(应用例)
在上述各实施方式中，说明了使用超声波图像来判定有无缺陷的例子，检查装置1和2也能够应用于判定是否存在来自其他图像的缺陷。例如，在放射线透射试验(RT)中，也能够在判定检查对象物有无缺陷的检查中应用检查装置1和2。在这种情况下，取代了放射线透射照片而根据使用成像板等电子设备得到的图像数据来检测缺陷的像。
(变形例)
在上述各实施方式中说明的各处理的执行主体能够适当变更。例如，也可以使其他的信息处理装置执行图10的流程图中的、S11(检查图像的生成)、S13(复原图像的生成)、S18(缺陷种类判定)、S21(缺陷的综合)、以及S22(缺陷长度的计算)。另外，在这种情况下，其他的信息处理装置可以是一个，也可以是多个。这样，检查装置1和2的功能可以通过多种系统结构来实现。另外，在构建包含多个信息处理装置的系统的情况下，一部分的信息处理装置可以配置于云上。也就是说，检查装置1的功能也能够在线上使用进行信息处理的一个或多个信息处理装置来实现。
(基于软件的实现例)
检查装置1和2的控制模块(尤其是控制部10及20所含各部)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。
在后者的情况下，检查装置1和2具备执行实现各功能的软件即检查程序的命令的计算机。该计算机具备例如一个以上的处理器，并且具备存储上述检查程序的计算机可读取的存储介质。并且，在上述计算机中，上述处理器从上述存储介质读取上述检查程序并执行，从而实现本发明的目的。作为上述处理器，例如可以使用CPU(Central ProcessingUnit：中央处理单元)。另外，检查装置1和2除了CPU等处理器之外可以具备GPU(GraphicsProcessing Unit：图形处理单元)。通过使用GPU，而能够高速地进行使用了上述各种模型的运算等。作为上述存储介质，可以使用“非暂时性的有形的介质”，例如除了ROM(ReadOnly Memory：只读存储器)等之外，还可以使用磁带、光盘、卡、半导体存储器、可编程的逻辑电路等。另外，也可以具备展开上述程序的RAM(Random Access Memory：随机访问存储器)等。另外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络、电波等)向上述计算机提供。此外，本发明的一个方式也可以采用通过对上述程序进行电子传输而具体化的、嵌入载波的数据信号的方式来实现。
本发明不限于上述各实施方式，可以在权利要求记载范围内进行各种变更，关于通过将不同实施方式各自公开的技术方案适当组合而得到的实施方式也包含于本发明的技术范围内。
附图标记说明
1-检查装置；102-检查图像生成部；103-检查图像获取部；105-缺陷有无判定部；106-热图生成部；107-缺陷种类判定部；108-综合检测部；111-超声波图像；2-检查装置；201-缺陷区域检测部；202-缺陷种类判定部。

Claims (11)

1.一种检查装置，其具备：
检查图像获取部，其获取用于判定检查对象物的内部有无缺陷的图像即检查图像；以及
缺陷有无判定部，其使用将所述检查图像输入生成模型而生成的复原图像来判定所述检查对象物是否有缺陷，所述生成模型将没有缺陷的检查对象物的图像作为训练数据并通过机器学习而构建为能够生成具有与输入的图像同样的特征的新的图像。
2.根据权利要求1所述的检查装置，其特征在于，
当构成所述检查图像与所述复原图像的差分图像的各像素的像素值的方差超过规定的阈值时，所述缺陷有无判定部判定为在所述检查对象物中有缺陷。
3.根据权利要求1或2所述的检查装置，其特征在于，
所述检查装置具备检查图像生成部，该检查图像生成部从使向所述检查对象物传播的超声波的回波图像化的超声波图像中，将被来自所述检查对象物中的检查对象部位的周缘部的回波重复出现的两个周缘回波区域夹持的区域作为检查对象区域抽出，并生成所述检查图像，
所述检查图像获取部获取所述检查图像生成部生成的所述检查图像。
4.根据权利要求3所述的检查装置，其特征在于，
所述检查图像生成部基于如下的输出值来抽出所述检查对象区域，所述输出值是通过将所述超声波图像输入检查对象区域的抽出模型而得到的输出值，所述检查对象区域的抽出模型是通过如下的机器学习而构建的模型，所述机器学习将包含所述检查对象部位、和映现有来自该检查对象部位的周缘部的回波的区域的至少一部分的区域作为正确数据。
5.根据权利要求4所述的检查装置，其特征在于，
所述缺陷有无判定部将从所述复原图像的图像区域中除去了映现有来自所述检查对象部位的周缘部的回波的区域后剩余的图像区域作为对象来判定所述检查对象物是否有缺陷。
6.根据权利要求2所述的检查装置，其特征在于，
具备缺陷区域检测部，该缺陷区域检测部将在所述差分图像中由像素值为阈值以上的多个像素构成的区域作为缺陷区域进行检测。
7.根据权利要求6所述的检查装置，其特征在于，
所述缺陷是所述检查对象物的焊接部位的缺陷，
所述检查装置具备缺陷种类判定部，该缺陷种类判定部根据所述差分图像的图像区域中的检出所述缺陷区域的位置来判定该缺陷区域的缺陷种类。
8.根据权利要求1至7中任一项所述的检查装置，其特征在于，
具备综合检测部，当所述缺陷有无判定部将与所述检查对象物的一部分即彼此相邻的部分各自对应的多个超声波图像判定为有缺陷时，该综合检测部将在该多个超声波图像中映现的缺陷作为一个缺陷进行检测。
9.根据权利要求2所述的检查装置，其特征在于，具备：
热图生成部，其生成以颜色或浓淡来表示构成所述差分图像的各像素的像素值的热图；以及
缺陷种类判定部，其基于将所述热图生成部生成的热图输入种类判定模型而得到的输出值来判定缺陷种类，所述种类判定模型是通过如下的机器学习而构建的模型，所述机器学习将从具有种类已知的缺陷的检查对象物的检查图像生成的差分图像的热图作为教师数据。
10.一种检查方法，其使用检查装置，且包含：
检查图像获取步骤，获取用于判定检查对象物的内部有无缺陷的图像即检查图像；以及
缺陷有无判定步骤，使用将所述检查图像输入生成模型而生成的复原图像来判定所述检查对象物是否有缺陷，所述生成模型将没有缺陷的检查对象物的超声波图像作为训练数据并进行机器学习而构建为能够生成具有与输入的图像同样的特征的新的图像。
11.一种检查程序，其用于使计算机作为权利要求1所述的检查装置发挥功能，用于使计算机作为所述检查图像获取部及所述缺陷有无判定部发挥功能。
CN202180041906.6A 2020-06-10 2021-04-02 检查装置、检查方法、以及检查程序 Pending CN115836218A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-101123 2020-06-10
JP2020101123A JP7385529B2 (ja) 2020-06-10 2020-06-10 検査装置、検査方法、および検査プログラム
PCT/JP2021/014383 WO2021250986A1 (ja) 2020-06-10 2021-04-02 検査装置、検査方法、および検査プログラム

Publications (1)

Publication Number Publication Date
CN115836218A true CN115836218A (zh) 2023-03-21

Family

ID=78845498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041906.6A Pending CN115836218A (zh) 2020-06-10 2021-04-02 检查装置、检查方法、以及检查程序

Country Status (4)

Country Link
US (1) US20230221286A1 (zh)
JP (1) JP7385529B2 (zh)
CN (1) CN115836218A (zh)
WO (1) WO2021250986A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023047685A (ja) * 2021-09-27 2023-04-06 日立造船株式会社 情報処理装置、判定領域の設定方法、および判定領域設定プログラム
CN115932864B (zh) * 2023-02-24 2023-08-01 深圳市博铭维技术股份有限公司 管道缺陷检测方法和管道缺陷检测装置
CN116778348B (zh) * 2023-08-28 2023-12-01 广东中科慧据科技有限公司 基于机器视觉的外墙脱落监测方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110326A (ja) * 1994-10-11 1996-04-30 Komatsu Ltd ニューラルネットワークシステムにおけるパターン生成方法
JP5604738B2 (ja) * 2009-04-08 2014-10-15 独立行政法人海上技術安全研究所 進展亀裂検出方法、装置およびプログラム
JP6779727B2 (ja) * 2016-09-27 2020-11-04 株式会社東芝 超音波探傷装置、データ処理装置および超音波探傷方法
EP3382386B1 (en) * 2017-03-29 2020-10-14 Fujitsu Limited Defect detection using ultrasound scan data
WO2019103772A1 (en) * 2017-11-22 2019-05-31 Siemens Aktiengesellschaft Detection and root cause analysis of welding defects
TWI667996B (zh) * 2018-03-23 2019-08-11 中國醫藥大學附設醫院 乳房腫瘤輔助檢測模型及乳房腫瘤輔助檢測系統
JP2019197007A (ja) * 2018-05-10 2019-11-14 東京瓦斯株式会社 超音波探傷の判定装置、判定プログラム及び判定方法
JP2020028679A (ja) * 2018-08-24 2020-02-27 富士通株式会社 異常判別プログラム、異常判別方法および異常判別装置
JP7250653B2 (ja) * 2018-10-10 2023-04-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2021196205A (ja) 2021-12-27
US20230221286A1 (en) 2023-07-13
WO2021250986A1 (ja) 2021-12-16
JP7385529B2 (ja) 2023-11-22

Similar Documents

Publication Publication Date Title
CN115803619A (zh) 信息处理装置、判定方法、以及信息处理程序
CN115836218A (zh) 检查装置、检查方法、以及检查程序
JP5392731B2 (ja) 超音波探傷検査の判定支援装置、判定支援方法、判定支援プログラム、及び該判定支援プログラムを記録したコンピュータ読取可能な記録媒体
US9581520B2 (en) System to screen for longitudinal-seam anomalies
JP5604738B2 (ja) 進展亀裂検出方法、装置およびプログラム
US20220415020A1 (en) System and method for detection of anomalies in welded structures
JP5156707B2 (ja) 超音波検査方法及び装置
JP2007183231A (ja) 渦電流探傷信号処理方法
JPH059744B2 (zh)
KR20090116127A (ko) 디지털 방사선 촬영을 이용한 용접부 결함 검출 방법
WO2016076316A1 (ja) 渦電流探傷装置および渦電流探傷方法
JP4364031B2 (ja) 超音波探傷画像処理装置及びその処理方法
KR20190119952A (ko) 초음파 탐상 방법
JP5033152B2 (ja) 超音波検査装置および超音波検査方法
Aoki et al. Intelligent image processing for abstraction and discrimination of defect image in radiographic film
WO2022209169A1 (ja) 情報処理装置、判定方法、および判定プログラム
JP5150302B2 (ja) 超音波検査データ評価装置及び超音波検査データ評価方法
JP7142825B1 (ja) 画像判定方法及び画像判定システム
Shahriari et al. Determination of flaw type and location using an expert module in ultrasonic nondestructive testing for weld inspection
Yeung et al. Maximizing MFL ILI sizing confidence and accuracy using high-resolution field measurement data
Torres et al. Ultrasonic NDE technology comparison for measurement of long seam weld anomalies in low frequency electric resistance welded pipe
Haro et al. Long Seam Characterization by Means of a Phased Array Based Inline Inspection
CN117999477A (zh) 信息处理装置、判定区域的设定方法以及判定区域设定程序
JPH07120406A (ja) 電縫管溶接部の検査方法
CN117218145A (zh) 微电子封装中焊点超声显微图像特征提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination