CN115803619A - 信息处理装置、判定方法、以及信息处理程序 - Google Patents

信息处理装置、判定方法、以及信息处理程序 Download PDF

Info

Publication number
CN115803619A
CN115803619A CN202180041936.7A CN202180041936A CN115803619A CN 115803619 A CN115803619 A CN 115803619A CN 202180041936 A CN202180041936 A CN 202180041936A CN 115803619 A CN115803619 A CN 115803619A
Authority
CN
China
Prior art keywords
image
defect
determination
determination unit
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041936.7A
Other languages
English (en)
Inventor
片山猛
筱田薰
安部正光
井冈良太
和田贵裕
村上丈一
服部洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Publication of CN115803619A publication Critical patent/CN115803619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/225—Supports, positioning or alignment in moving situation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/02—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/11—Analysing solids by measuring attenuation of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4418—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a model, e.g. best-fit, regression analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4445—Classification of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/025—Change of phase or condition
    • G01N2291/0258—Structural degradation, e.g. fatigue of composites, ageing of oils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/02854—Length, thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/263—Surfaces
    • G01N2291/2636—Surfaces cylindrical from inside
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

对应于对象数据来考虑各判定部的判定结果并导出最终的判定结果。信息处理装置(1)具备：可靠度判定部(103)，其基于检查图像对根据上述检查图像来判定规定的判定事项的判定部(102A～102C)的各判定结果的可靠度进行判定；以及综合判定部(104)，其使用上述各判定结果和上述可靠度来判定规定的判定事项。

Description

信息处理装置、判定方法、以及信息处理程序
技术领域
本发明涉及一种基于对象数据对规定的判定事项进行判定的信息处理装置等。
背景技术
下述的专利文献1公开了根据半导体基板的图像来判定有无缺陷及种类的技术。具体而言，在专利文献1的技术中，是根据由多个分类器的各分类结果与对各分类器预先确定的权重相乘所得值的总和来确定最终的分类结果。从而与仅使用一个分类器时相比能够提高分类精度。
现有技术文献
专利文献
专利文献1：日本公开专利公报“特开2016-40650号公报”
发明内容
(一)要解决的技术问题
但是，当根据多个图像进行缺陷的检测/分类时，由于各图像存在各种差异，因此各分类器进行分类的准确度对应于图像而有可能变化。因此，预先确定的权重并非始终为最适合的权重。并且，权重并非最适合的情况也会对最终的判定精度产生影响。
例如，当使用A、B两个分类器时，对于一图像而言，A分类器的分类为正确而B分类器的分类为错误，但是对于另一图像则有可能相反。在这种情况下，若A分类器的权重设定为比B大，则会导致：对于一图像而言，最终的分类结果为正确，而对于另一图像而言，则是最终的分类结果为错误。
这样的问题不限于使用多个分类器的分类，而是对于如下情况而言共同的问题，所述情况为：基于多个判定部对规定的判定事项进行判定的判定结果来导出最终的判定结果。另外，这样的问题不限于使用图像的判定，而是基于任意对象数据的判定中所共同存在的问题。
本发明一方式针对上述问题做出，其目的在于，实现一种信息处理装置等，其能够对应于对象数据来适当考虑各判定部的判定结果并导出最终的判定结果。
(二)技术方案
为了解决上述问题，本发明一方式的信息处理装置具备：可靠度判定部，其对多个判定部分别进行如下处理，即：基于对象数据来判定表示所述判定部的判定结果的可能性的指标即可靠度，所述判定部根据一个所述对象数据对规定的判定事项进行判定；以及综合判定部，其使用各所述判定结果、和所述可靠度判定部判定的所述可靠度对所述规定的判定事项进行判定。
另外，为了解决上述问题，本发明一方式的判定方法使用一个或多个信息处理装置，且包含：可靠度判定步骤，对多个判定部分别进行如下处理，即：基于对象数据来判定表示所述判定部的判定结果的可能性的指标即可靠度，所述判定部根据一个所述对象数据对规定的判定事项进行判定；以及综合判定步骤，使用各所述判定结果、和在所述可靠度判定步骤中判定的所述可靠度对所述规定的判定事项进行判定。
(三)有益效果
根据本发明一方式，能够对应于对象数据来适当考虑各判定部的判定结果并导出最终的判定结果。
附图说明
图1是表示本发明实施方式1的信息处理装置的主要部位结构一例的框图。
图2是概要表示包含上述信息处理装置的检查系统的图。
图3是概要表示利用上述信息处理装置进行的检查的图。
图4是表示利用生成模型进行判定的判定部的结构例、以及利用该判定部来判定有无缺陷的判定方法的例子的图。
图5是表示根据超声波图像生成热图并对生成的热图实施阈值处理的例子的图。
图6是说明缺陷的位置、超声波图像、热图的关系的图。
图7是说明缺陷区域的检测方法的图。
图8是表示按照缺陷种类设定的区域的例子的图。
图9是对将在多个超声波图像中映现的缺陷综合而作为一个缺陷进行检测的方法进行说明的图。
图10是对管端焊接部的厚度的计算方法进行说明的图。
图11是表示检查结果的输出例的图。
图12是表示构建在检查中使用的各种模型并确定阈值的处理一例的图。
图13是表示使用了上述信息处理装置的检查方法一例的图。
图14是表示使用种类判定模型来判定缺陷种类的缺陷种类判定处理一例的流程图。
图15是表示基于缺陷区域的位置来判定缺陷种类的缺陷种类判定处理一例的流程图。
具体实施方式
(系统的概要)
基于图2对本发明一实施方式的检查系统的概要进行说明。图2是概要表示检查系统100的图。检查系统100是根据检查对象物的图像来检查该检查对象物有无缺陷的系统，且包含信息处理装置1和超声波探伤装置7。
在本实施方式中，对利用检查系统100来检查热交换器的管端焊接部有无缺陷的例子进行说明。此外，管端焊接部是指：对构成热交换器的多个金属制的管、和使这些管集束的金属制的管板进行了焊接的部分。另外，管端焊接部的缺陷是指：在该管端焊接部的内部产生空隙的缺陷。此外，上述管和管板可以为铝等非铁金属制，也可以为树脂制。另外，利用检查系统100，也能够对例如在垃圾焚烧设施等中使用的锅炉设备的管座与管的焊接部(根部焊接部)是否有缺陷进行检查。当然，检查部位不限于焊接部，检查对象不限于热交换器。
在进行检查时，如图2所示那样，将涂覆了接触介质的探头从管端插入，通过该探头使超声波从管的内壁面侧朝向管端焊接部传播，并测量该超声波的回波。当发生了在管端焊接部内产生空隙的缺陷时，可测量来自该空隙的回波，因此能够利用该回波来检测缺陷。
例如，在图2左下所示的探头周边的放大图中，用箭头L3表示的超声波向管端焊接部内的没有空隙的部位传播。因此，不测量用箭头L3表示的超声波的回波。另一方面，用箭头L2表示的超声波朝向管端焊接部内的有空隙的部位传播，因此对在该空隙反射的超声波的回波进行测量。
另外，由于在管端焊接部的周缘部也反射超声波，因此也对向周缘部传播的超声波的回波进行测量。例如，用箭头L1表示的超声波向比管端焊接部靠向管端侧的位置传播，因此不会到达管端焊接部，而是在管端焊接部的管端侧的管表面发生反射。因此，通过用箭头L1表示的超声波对来自管的表面的回波进行测量。另外，用箭头L4表示的超声波在管端焊接部的管深侧的管表面发生反射，因此测量该回波。
由于管端焊接部为遍及管周围360度存在，因此使探头以规定角度(例如1度)为单位进行旋转并进行重复测量。并且，将表示探头测量结果的数据向超声波探伤装置7发送。例如，探头可以是由多个阵列元件构成的阵列探头。如果是阵列探头，则能够通过以使得阵列元件的排列方向与管的延伸方向一致的方式进行配置，从而高效地检查在管的延伸方向上具有宽度的管端焊接部。此外，上述阵列探头可以是分别在纵横方向上排列有多个阵列元件的矩阵阵列探头。
超声波探伤装置7使用表示探头测量结果的数据来生成使向管及管端焊接部传播的超声波的回波图像化的超声波图像。在图2中示出了超声波探伤装置7生成的超声波图像的一例即超声波图像111。此外，也可以是信息处理装置1生成超声波图像111的结构。在这种情况下，超声波探伤装置7将表示探头测量结果的数据向信息处理装置1发送。
在超声波图像111中将测量的回波强度表示为各像素的像素值。另外，超声波图像111的图像区域可以划分为：与管对应的管区域ar1、与管端焊接部对应的焊接区域ar2、来自管端焊接部周围的回波出现的周缘回波区域ar3和ar4。
如上所述，从探头向用箭头L1表示的方向传播的超声波在管端焊接部的管端侧的管表面发生反射。另外，该超声波也在管内表面反射并重复发生这些反射。因此，在超声波图像111中的沿着箭头L1的周缘回波区域ar3出现重复的回波a1～a4。另外，从探头向用箭头L4表示的方向传播的超声波也在管外表面和管内表面重复反射。因此，在超声波图像111中的沿着箭头L4的周缘回波区域ar4出现重复的回波a6～a9。在周缘回波区域ar3和ar4出现的这些回波也被称为底面回波。
对于从探头向用箭头L3表示的方向传播的超声波而言，由于没有将其反射的情况，因此在超声波图像111中的沿着箭头L3的区域不出现回波。另一方面，对于从探头向用箭头L2表示的方向传播的超声波而言，由于在管端焊接部内的空隙即缺陷部位发生反射，因此在超声波图像111中的沿着箭头L2的区域出现回波a5。
信息处理装置1对这样的超声波图像111进行解析，来检查在管端焊接部有无缺陷，详情后述。另外，信息处理装置1当判定为有缺陷时，也对该缺陷的种类自动地进行判定。
(信息处理装置的结构)
基于图1对信息处理装置1的结构进行说明。图1是表示信息处理装置1的主要部位结构一例的框图。如图1所示，信息处理装置1具备：控制部10，其一并控制信息处理装置1的各部；以及存储部11，其存储信息处理装置1使用的各种数据。另外，信息处理装置1具备：输入部12，其受理对信息处理装置1的输入操作；以及输出部13，其用于信息处理装置1的数据输出。
在控制部10中包含：检查图像生成部101、判定部102A、判定部102B、判定部102C、可靠度判定部103、综合判定部104、热图生成部105、缺陷种类判定部106、厚度计算部107、综合检测部108、以及缺陷长度计算部109。另外，在存储部11中存储有超声波图像111和检查结果数据112。此外，以下当不需要区别判定部102A、判定部102B、以及判定部102C时仅记载为判定部102。
检查图像生成部101从超声波图像111中切出检查对象区域，并生成用于判定检查对象物有无缺陷的检查图像。对于检查图像的生成方法将在后面进行说明。
判定部102根据对象数据对规定的判定事项进行判定。在本实施方式中对于如下的例子进行说明，即：检查图像生成部101生成的检查图像是上述对象数据，检查图像中映现的热交换器的管端焊接部有无焊接缺陷是上述规定的判定事项。以下有时将焊接缺陷简称为缺陷。
此外，就作为判定对象的“缺陷”的定义而言，只要根据检查的目的等预先规定即可。例如，若是针对制造的热交换器的管端焊接部的品质检查，则可以将有“缺陷”规定为：在检查图像中映现有如下的回波，该回波是由管端焊接部的内部的空隙或者管端焊接部表面的不能容许的凹陷引起的。这样的凹陷例如由烧穿引起。有无缺陷换言之也就是说：是否存在异于正常产品的部位(异常部位)。另外，通常在无损检查领域将利用超声波波形或超声波图像检出的异常部位称为“损伤”。这种“损伤”也包含于上述“缺陷”的范畴。另外，上述“缺陷”也包括缺损或裂纹等。
判定部102A、判定部102B、以及判定部102C都是根据由检查图像生成部101生成的检查图像来判定有无缺陷，但是如以下说明的那样，其判定方法各不相同。
对于判定部102A(生成模型判定部)而言，是利用将检查图像输入生成模型而生成的生成图像来判定有无缺陷。另外，对于判定部102B(数值解析判定部)而言，是通过对检查图像的各像素值进行解析来确定该检查图像中的检查对象部位，并基于所确定的检查对象部位的像素值来判定有无缺陷。此外，判定部102C是基于将检查图像输入判定模型而得到的输出值来判定有无缺陷。对于判定部102A～102C的判定详情以及使用的各种模型将在后面进行说明。
可靠度判定部103针对判定部102A～102C的各判定结果来判定表示其可能性的指标即可靠度。可靠度的判定基于在判定部102A～102C导出判定结果时使用的检查图像来进行，详情后述。
综合判定部104使用判定部102A～102C的各判定结果、和可靠度判定部103判定的可靠度来判定有无缺陷。由此，能够获得利用与检查图像对应的可靠度适当考虑了判定部102A～102C的判定结果的判定结果。对于综合判定部104的判定方法将在后面详细说明。
热图生成部105使用在判定部102A的判定过程中得到的数据来生成热图。热图用于缺陷种类判定部106的缺陷种类判定。后面将对热图进行详细说明。
缺陷种类判定部106针对由综合判定部104判定为有缺陷的检查图像来判定该检查图像中映现的缺陷的种类。如上所述，在种类的判定中使用热图生成部105生成的热图。对于缺陷种类的判定方法将在后面进行说明。
厚度计算部107计算管端焊接部的壁厚。厚度计算部107算出的壁厚可作为判断是否适当地进行了焊接的指标。对于壁厚的计算方法将在后面进行说明。
当综合判定部104针对分别与检查对象物的一部分即彼此相邻的部分对应的多个超声波图像111判定为有缺陷时，则综合检测部108将在该多个超声波图像111中映现的缺陷作为一个缺陷进行检测。后面将对缺陷的综合进行详细说明。
缺陷长度计算部109计算由综合检测部108综合的缺陷的长度。对于缺陷长度的计算方法将在后面进行说明。
如上所述，超声波图像111是通过使向检查对象物传播的超声波的回波图像化而得到的图像，且由超声波探伤装置7生成。
检查结果数据112是表示信息处理装置1的缺陷检查结果的数据。在检查结果数据112中记录有：综合判定部104针对存储部11中存储的超声波图像111进行判定的有无缺陷的结果。另外，在检查结果数据112中记录有：缺陷种类判定部106针对判定为有缺陷的超声波图像111进行判定的缺陷种类的判定结果。此外，在检查结果数据112中记录有：通过综合检测部108进行了综合的缺陷，并且也记录有：通过缺陷长度计算部109算出的综合的缺陷的长度、以及由厚度计算部107算出的管端焊接部的壁厚。
(检查的概要)
基于图3来概要说明利用信息处理装置1进行的检查。图3是概要表示利用信息处理装置1进行的检查的图。此外，在图3中示出了将利用超声波探伤装置7生成的超声波图像111存储于信息处理装置1的存储部11之后的处理。
首先，检查图像生成部101从超声波图像111中抽出检查对象区域，生成检查图像111A。在抽出检查对象区域时，可以使用通过机器学习构建的抽出模型。基于图12对抽出模型进行说明。
上述检查对象区域是：被来自检查对象物中的检查对象部位的周缘部的回波重复出现的两个周缘回波区域ar3、ar4夹持的区域。如图2所示，在超声波图像111中的检查对象部位的周缘部，重复观察到由该周缘部的形状等引起的规定的回波(回波a1～a4以及a6～a9)。因此，能够根据这样的回波重复出现的周缘回波区域ar3以及ar4的位置来确定超声波图像111中的与检查对象部位对应的区域。此外，在检查对象部位的周缘部出现规定的回波的情况不限于管端焊接部的超声波图像111。因此，对于将被周缘回波区域包围的区域作为检查对象区域抽出的结构而言，也能够应用于管端焊接部以外的其他检查。
接下来，利用判定部102A、判定部102B、以及判定部102C基于检查图像111A来判定有无缺陷。对于判定内容将在后面详细说明。
并且，利用可靠度判定部103对判定部102A、判定部102B、以及判定部102C的各判定结果的可靠度进行判定。具体而言，是根据如下的输出值来对判定部102A的判定结果的可靠度进行判定，所述输出值是通过将检查图像111A输入判定部102A用的可靠度预测模型而得到的输出值。同样地，根据如下的输出值对判定部102B的判定结果的可靠度进行判定，所述输出值是通过将检查图像111A输入判定部102B用的可靠度预测模型而得到的输出值。另外，根据如下的输出值对判定部102C的判定结果的可靠度进行判定，所述输出值是通过将检查图像111A输入判定部102C用的可靠度预测模型而得到的输出值。
并且，综合判定部104使用判定部102A、判定部102B、以及判定部102C的各判定结果、和可靠度判定部103针对这些判定结果判定的可靠度来综合判定有无缺陷，并输出该综合判定的结果。该结果被追加到检查结果数据112。另外，综合判定部104也可以使输出部13输出综合判定的结果。
在综合判定中，可以用数值表示判定部102的判定结果，并将可靠度判定部103判定的可靠度作为权重使用。例如，当判定部102A、判定部102B、以及判定部102C判定为有缺陷时，输出“1”作为判定结果，当判定为没有缺陷时，输出“－1”作为判定结果。另外，可靠度判定部103设定为输出从0到1的数值范围的可靠度(越接近1，可靠度越高)。
在这种情况下，综合判定部104可以计算如下的合计值，该合计值是由将判定部102A、判定部102B、以及判定部102C所输出的“1”或“－1”的数值与可靠度判定部103所输出的可靠度相乘所得值相加得到的合计值。并且，综合判定部104可以基于算出的合计值是否比规定的阈值大来判定有无缺陷。
例如是将上述阈值设定为表示有缺陷的“1”和表示没有缺陷的“－1”的中间值即“0”。并且，判定部102A、判定部102B、以及判定部102C的输出值分别设定为“1”、“－1”、“1”，其可靠度分别设定为“0.87”、“0.51”、“0.95”。
在这种情况下，综合判定部104进行1×0.87+(－1)×0.51+1×0.95的计算。该计算的结果为1.31，由于该值比作为阈值的“0”大，因此综合判定部104的综合判定的结果为有缺陷。
(可靠度的修正)
根据经验可知，由焊接缺陷引起的回波具有在检查图像111A的图像区域中的比中央位置靠向上侧的位置出现的倾向。因此，当判定部102判定为有缺陷时，只要由焊接缺陷引起的回波在检查图像111A的图像区域中的比中央位置靠向上侧的位置出现，则认为该判定结果正确的可能性较高。
因此，在检查图像111A的图像区域中，可以预先设定出现由焊接缺陷引起的回波较多的区域。并且，可靠度判定部103在判定部102判定为有缺陷的情况下，如果在该区域内检出由焊接缺陷引起的回波，则可以使该判定结果的可靠度增加。这样，通过考虑缺陷的出现倾向或特性来修正可靠度，从而能够使可靠度更加适当。
例如，可以将检查图像111A的图像区域中的比中央靠向上侧的位置作为上述区域。并且，可靠度判定部103当在该区域内检出由焊接缺陷引起的回波时，可以在使利用可靠度预测模型算出的可靠度加上规定的常数。另外，可靠度判定部103当检出由焊接缺陷引起的回波的位置在上述区域外时，可以从利用可靠度预测模型算出的可靠度中减去规定的常数。
但是，当使可靠度加上常数时，优选使加算后的可靠度不超过1。另外，当从可靠度减去常数时，优选减去后的可靠度不小于0。
当然，可靠度的修正方法不限于上述例示。例如，可以使检查图像111A的图像区域进一步细分化，若焊接缺陷引起的回波的位置是在焊接缺陷出现频度较高的区域内，则可以使加算于可靠度的值较大。另外，例如可以向可靠度加算与从检出的回波位置到焊接缺陷出现频度最高的位置的距离成正比例的值，也可以从可靠度减去与该距离成反比例的值。
另外，也可以考虑位置以外的其他要素来修正可靠度。例如，即使判定为有缺陷并检出由焊接缺陷引起的回波，如果该回波的像素值较小，则也会怀疑该判定结果是否错误。因此，若由焊接缺陷引起的回波的像素值越小，则可以将可靠度修正为越小的值，若由焊接缺陷引起的回波的像素值越大，则可以将可靠度修正为越大的值。
上述这样的可靠度的修正能够较好地适用于利用判定部102A及102B进行判定的判定结果。这是因为，在利用判定部102A进行判定的过程中算出的差分图像能够用于计算由焊接缺陷引起的回波的位置或像素值。并且是因为，在利用判定部102B进行判定的过程中，检测由焊接缺陷引起的回波，因此能够利用该检测结果。
(判定部102A的判定)
如上所述，判定部102A使用将检查图像输入生成模型而生成的生成图像来判定有无缺陷。该生成模型构建为能够通过如下的机器学习来生成具有与输入的图像同样的特征的新的图像，所述机器学习将没有缺陷的检查对象物的图像作为训练数据。此外，上述“特征”是指：从图像得到的任意的信息，例如，图像中的像素值的分布状态或方差等也包含于上述“特征”中。
上述生成模型是通过将没有缺陷的检查对象物的图像作为训练数据的机器学习来构建的。因此，在将没有缺陷的检查对象物的图像作为检查图像输入该生成模型的情况下，具有与该检查图像同样的特征的新的图像被作为生成图像输出的可能性较高。
另一方面，在将有缺陷的检查对象物的图像作为检查图像输入该生成模型的情况下，即使在该检查图像的任意位置映现有任意形状及大小的缺陷，生成图像具有与检查图像不同的特征的可能性也较高。
这样，在从映现有缺陷的检查图像生成的生成图像、和从没有映现缺陷的检查图像生成的生成图像中，会产生向生成模型输入的对象图像是否准确地复原的差异。
因此，采用信息处理装置1能够高精度地判定是否存在位置、大小及形状等不固定的缺陷，该信息处理装置1考虑了判定部102A的判定结果来进行综合判定，所述判定部102A使用由上述生成模型生成的生成图像来判定有无缺陷。
以下基于图4来详细说明利用判定部102A进行的判定。图4示出了：判定部102A的构成例、和判定部102A的缺陷有无判定方法的例子。如图4所示，在判定部102A中包含：检查图像获取部1021、复原图像生成部1022、缺陷有无判定部1023。
检查图像获取部1021获取检查图像。如上所述，信息处理装置1具备检查图像生成部101，因此检查图像获取部1021获取由检查图像生成部101生成的检查图像。此外，检查图像也可以由其他装置生成。在这种情况下，检查图像获取部1021获取由其他装置生成的检查图像。
复原图像生成部1022通过将检查图像获取部1021获取的检查图像输入生成模型，从而生成具有与输入的检查图像同样的特征的新的图像。以下，将复原图像生成部1022生成的图像称为复原图像。用于生成复原图像的生成模型也被称为自动编码器，可通过将没有缺陷的检查对象物的图像作为训练数据的机器学习来构建，详情后述。
缺陷有无判定部1023使用由复原图像生成部1022生成的复原图像来判定检查对象物有无缺陷。具体而言，当检查图像和复原图像的各像素的差分值的方差超过规定的阈值时，则缺陷有无判定部1023判定为检查对象物有缺陷。
在具备以上结构的判定部102A的缺陷有无判定方法中，首先，检查图像获取部1021获取检查图像111A。并且，检查图像获取部1021将获取的检查图像111A向复原图像生成部1022发送。如上所述，检查图像111A是由检查图像生成部101根据超声波图像111生成的。
接下来，复原图像生成部1022将检查图像111A输入生成模型，并基于其输出值来生成复原图像111B。此外，后面将对生成模型的生成方法进行说明。
并且，检查图像获取部1021从检查图像111A中除去周缘回波区域而生成除去图像111C，并且从复原图像111B中除去周缘回波区域而生成除去图像(复原)111D。此外，如果检查对象物相同则在检查图像111A中映现的周缘回波区域的位置及大小大致恒定。因此，检查图像获取部1021可以将检查图像111A中的规定范围作为周缘回波区域除去。另外，检查图像获取部1021可以对检查图像111A进行解析来检测周缘回波区域，并基于该检测结果将周缘回波区域除去。
通过上述方式将周缘回波区域除去，从而缺陷有无判定部1023将从复原图像111B的图像区域除去了周缘回波区域后剩余的图像区域作为对象来判定有无缺陷。由此，能够防止受到来自周缘部的回波的影响，能够这样来判定有无缺陷，并提高缺陷有无判定的精度。
接下来，缺陷有无判定部1023判定有无缺陷。具体而言，缺陷有无判定部1023首先对除去图像111C和除去图像(复原)111D以像素为单位来计算差分。接下来，缺陷有无判定部1023计算已算出的差分的方差。并且，缺陷有无判定部1023根据算出的方差值是否超过规定的阈值来判定有无缺陷。
在此，就针对映现由缺陷引起的回波的像素算出的差分值而言，该差分值是与针对其他像素算出的差分值相比而言较大的值。因此，针对基于映现由缺陷引起的回波的检查图像111A的除去图像111C和除去图像(复原)111D算出的差分值的方差变大。
另一方面，对于基于未映现由缺陷引起的回波的检查图像111A的除去图像111C和除去图像(复原)111D而言，差分值的方差相对地变小。这是因为，在未映现由缺陷引起的回波的情况下，可能产生由于噪声等的影响而使像素值成为在一定程度上较大的值的部位，但是产生像素值极端大的部位的可能性较低。
这样，当检查对象物有缺陷时，差分值的方差变大是特征性的现象。因此，如果采用如下结构则能够适当地判定有无缺陷，即：当上述差分值的方差超过规定的阈值时，则缺陷有无判定部1023判定为有缺陷。
在此，对于判定为有缺陷的检查图像111A而言，利用缺陷种类判定部106基于由缺陷有无判定部1023算出的、各像素的差分值来判定缺陷种类。各像素的差分值表示除去图像111C与除去图像(复原)111D的差分，因此也将这些差分值称为差分图像。
此外，除去周缘回波区域的时刻不限于上述例示。例如，可以生成检查图像111A与复原图像111B的差分图像，并从该差分图像中除去周缘回波区域。
(判定部102B的判定)
如上所述，判定部102B通过对检查对象物的图像即检查图像的各像素值进行解析，来确定该检查图像中的检查对象部位，并基于所确定的检查对象部位的像素值来判定有无缺陷。
对于使用图像的以往的检查而言，检查员通过目视进行如下处理，即：确定图像中的检查对象部位，并确认在所确定的部位是否映现有损伤或设计上不存在的空隙等缺陷。对于这种目视检查而言，基于省力化、精度稳定化等观点而需要自动化。
判定部102B通过对图像的各像素值进行解析来确定检查对象部位，并基于所确定的检查对象部位的像素值来判定有无缺陷。因此，能够使上述这种目视检查自动化。并且，信息处理装置1综合考虑判定部102B的判定结果和其他判定部102的判定结果来进行判定，因此能够高精度地判定有无缺陷。
以下更详细地说明判定部102B执行的处理(数值解析)的内容。首先，判定部102B将在检查图像中被来自检查对象部位的周缘部的回波重复出现的两个周缘回波区域(图2例的周缘回波区域ar3和ar4)夹持的区域确定为检查对象部位。并且，判定部102B根据在所确定的检查对象部位是否包含由阈值以上的像素值构成的区域(也称为缺陷区域)来判定有无缺陷。
判定部102B可以在检测周缘回波区域时和检测缺陷区域时，首先利用规定的阈值使检查图像111A二值化而生成二值化图像。并且，判定部102B根据二值化图像来检测周缘回波区域。例如，在图3所示的检查图像111A中映现有回波a1、a2、a6、a7。判定部102B如果利用能够对这些回波和噪声成分进行区分的阈值使该检查图像111A二值化，则能够根据二值化图像来检测这些回波。并且，判定部102B能够对检出的这些回波的端部的进行检测，并将被这些端部包围的区域确定为检查对象部位。
更具体而言，判定部102B将回波a1或者a2的右端部确定为检查对象部位的左端部，并将回波a6或者a7的左端部确定为检查对象部位的右端部。它们的端部是周缘回波区域ar3和ar4与检查对象部位的边界。同样地，判定部102B将回波a1或者a6的上端部确定为检查对象部位的上端部，并将回波a2或者a7的下端部确定为检查对象部位的下端部。
此外，如图2所示的超声波图像111那样，由于由缺陷引起的回波会在回波a1、a6的上方侧出现，因此判定部102B可以在回波a1或者a6的上端部的位置的上方侧设定检查对象部位的上端。
并且，判定部102B对在二值化图像中确定的上述检查对象部位进行解析，能够判定是否映现有由缺陷引起的回波。例如，判定部102B可以当在检查对象部位存在由规定数量以上的像素构成的连续区域时，判定为在存在该连续区域的位置上映现有由缺陷引起的回波。
此外，上述的数值解析为例示，数值解析的内容不限于上述例示。例如，在有缺陷的情况下和没有的情况下，当检查对象部位的像素值的方差中存在实质差异时，判定部102B可以基于方差的值来判定有无缺陷。
(判定部102C的判定)
如上所述，判定部102C基于将检查图像输入判定模型而得到的输出值来判定有无缺陷。该判定模型例如通过使用如下的教师数据进行机器学习来构建，所述教师数据为：使用有缺陷的检查对象物的超声波图像111生成的教师数据、和使用没有缺陷的检查对象物的超声波图像111生成的教师数据。
上述判定模型能够利用适于图像分类的任意的学习模型来构建。例如，可以利用图像分类精度优异的卷积神经网络等来构建该判定模型。
(热图和阈值处理)
如上所述，在缺陷种类的判定中使用热图。在此，基于图5来说明：热图生成部105生成的热图、和对生成的热图进行的阈值处理。图5是表示根据超声波图像生成热图并对生成的热图实施阈值处理的例子的图。更具体而言，图5的上部表示管端焊接部中的有缺陷部位的超声波图像111－a的例子，图5的下部表示管端焊接部中的无缺陷部位的超声波图像111－b的例子。
如基于图4说明的那样，在利用判定部102A进行判定的过程中，根据超声波图像111生成检查图像111A，根据检查图像111A生成复原图像111B。并且，根据检查图像111A生成除去图像111C，根据复原图像111B生成除去图像(复原)111D。
在图5的例子中，根据超声波图像111－a生成除去图像111C－a和除去图像(复原)111D－a。根据该除去图像111C－a和除去图像(复原)111D－a生成差分图像。热图生成部105生成热图，该热图是将该差分图像中的各像素利用与其像素值对应的颜色或浓淡来表现的图。
图5示出了利用从黑到白的颜色浓淡来表现像素值的从下限值到上限值的热图111E－a。如在热图111E－a中用空心箭头所示那样，与缺陷对应的区域(像素值较大的像素聚集的区域)为接近白色的像素聚集的区域。因此，在热图111E－a中，容易从视觉上识别与缺陷对应的区域。
但是，在热图111E－a中也存在由噪声等而使像素值变大的区域。因此，优选热图生成部105对生成的热图进行阈值处理，修正由于噪声等而使像素值变大的区域的像素值。例如，热图生成部105可以使热图111E－a中的规定阈值以下的像素值为零(黑色)。由此生成除去了噪声成分的热图111F－a。根据热图111F－a，能够更清楚地识别与缺陷对应的区域。
对于无缺陷部位的超声波图像111－b也同样地，从该超声波图像111－b来生成除去图像111C－b和除去图像(复原)111D－b，并从除去图像111C－b和除去图像(复原)111D－b来生成差分图像。并且，热图生成部105生成该差分图像的热图111E－b，并对热图111E－b实施阈值处理，生成热图111F－b。将热图111F－a与热图111F－b进行比较，可知能够清楚地判别有无缺陷。并且可知，在热图111F－a中，对于缺陷的位置也能够清楚地进行判别。
(缺陷的种类、超声波图像、热图)
作为管端焊接部中的缺陷，例如公知有初层熔深不良、焊道间的熔合不良、咬边、以及气孔等。初层熔深不良是在管板附近发生未熔接而产生空隙的缺陷。焊道间的熔合不良是在进行多次熔接时发生未熔接而产生了空隙的缺陷。咬边是焊道的端部呈凹槽状凹陷的缺陷。气孔是在焊接金属内产生了球状的空洞的缺陷。
这些缺陷的产生位置不同。因此，在超声波图像111中，能够根据出现由缺陷引起的回波的位置来判定缺陷种类。同样地，能够根据基于超声波图像111生成的热图(优选是阈值处理后的热图)中的缺陷区域的位置来判定缺陷种类。此外，如上所述，缺陷区域是映现有由缺陷引起的回波的区域，与其他区域相比而言像素值较大。
基于图6对基于缺陷区域的位置的缺陷种类的判定进行说明。图6是说明缺陷的位置、超声波图像、热图的关系的图。在图6的第一层的左端表示产生初层熔深不良的管端焊接部的剖切面。图6中的左侧是管端侧，右侧是管深侧。也就是说，管沿着图6的左右方向延伸。并且，相对于管的外表面而言位于下侧的是管板。另外，为了得知管端焊接部的宽度，使标尺抵接管的内壁面(内表面)。
在图6的第一层左端的图中，虚线所示的区域是当焊接时产生的管板的熔深区域，熔深区域的左侧的倒三角形状的区域是由焊接金属构成的区域，组合了这些区域的区域是管端焊接部。在该管端焊接部中标注了圆圈的部位产生空隙。该空隙在管的表面附近，靠近管端焊接部的管深侧端部。
如图6的第一层中央所示，在存在上述空隙的部位的超声波图像111－c中出现由该空隙引起的回波。并且，如图6的第一层右端所示，在基于该超声波图像111－c生成的热图111F－c中也如图中空心箭头所示那样出现与上述空隙对应的区域。
在图6的第二层的左端表示产生焊道间的熔合不良的管端焊接部的剖切面。在标注了圆圈的部位产生空隙。该空隙在管的表面附近，位于管端焊接部的厚度方向的中心部附近。
如图6的第二层中央所示，在存在该空隙的部位的超声波图像111－d中出现由该空隙引起的回波。并且，如图6的第二层右端所示，在基于该超声波图像111－d生成的热图111F－d中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域与第一层的热图111F－c相比而言位于左侧。
在图6的第三层的左端表示从管端侧观察产生咬边的管端焊接部的状况。在标注了圆圈的部位产生空隙。该空隙在管的表面附近，位于管端焊接部中的管端侧的端部。
如图6的第三层中央所示，在存在该空隙的部位的超声波图像111－e中出现由该空隙引起的回波。并且，如图6的第三层右端所示，在基于该超声波图像111－e生成的热图111F－e中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域与第二层的热图111F－d相比而言位于左侧。
在图6的第四层的左端表示产生气孔的管端焊接部的剖切面。在标注了圆圈的部位产生空隙。该空隙比管的表面靠近管端焊接部的内部侧，其左右方向的位置是管端焊接部的宽度方向的中心附近。
如图6的第四层中央所示，在存在该空隙的部位的超声波图像111－f中出现由该空隙引起的回波。并且，如图6的第四层右端所示，在基于该超声波图像111－f生成的热图111F－f中也如图中空心箭头所示那样出现与上述空隙对应的区域。该区域的左右方向的位置与第二层的热图111F－d接近，上下方向的位置更靠向下方侧。
如上所述，缺陷种类与热图111F的外观之间具有相关。因此，能够基于该相关来构建根据热图111F来判定缺陷种类的种类判定模型。这样的种类判定模型能够通过如下的机器学习来构建，该机器学习将从具有种类已知的缺陷的检查对象物的检查图像生成的差分图像的热图作为教师数据。并且，缺陷种类判定部106能够基于将热图生成部105生成的热图输入这样的判定模型而得到的输出值来判定缺陷种类。
如上所述，在利用颜色或浓淡来表现构成差分图像的各像素的像素值的热图中，可反映在基于该差分图像的检查图像中映现的缺陷的种类的不同。因此，根据上述结构，能够适当地自动地判定缺陷种类。
例如，可以准备多个根据产生初层熔深不良的部位的超声波图像111生成的、如图6的热图111F－c那样的热图，并将它们作为教师数据。由此，能够构建如下的种类判定模型，该种类判定模型输出缺陷种类是初层熔深不良的概率。同样地，如果将根据产生其他种类的缺陷的部位的超声波图像111生成的热图作为教师数据进行机器学习，则能够构建如下的种类判定模型，该种类判定模型输出与各种缺陷对应的概率。
因此，缺陷种类判定部106能够根据将热图输入这样的种类判定模型输入而得到的输出值来判定缺陷种类。例如，缺陷种类判定部106可以判定为：产生了与从种类判定模型输出的各种缺陷的概率值中的、最高的概率值对应的种类的缺陷。
(缺陷种类的判定方法的另一个例子)
基于图7和图8对缺陷种类的判定方法的另一个例子进行说明。在以下说明的判定方法中，缺陷种类判定部106从差分图像中检测缺陷区域，并根据差分图像的图像区域中的检出缺陷区域的位置，来判定该缺陷区域的缺陷的种类。
基于图7对缺陷区域的检测方法进行说明。图7是说明缺陷区域的检测方法的图。此外，在图7中示出了使用热图检测缺陷区域的例子，但如以下说明的那样，生成热图不是必须的。
在图7中示出：根据有缺陷的检查对象物的超声波图像111生成的热图111E、以及对该热图111E实施了阈值处理的热图111F。另外，在图7中也示出了热图111F的左上端部分的放大图，并在该放大图中对于热图111F的各像素记载了其像素值。
在缺陷区域的检测中，首先，缺陷种类判定部106在热图111F中检测像素值最大的像素。在图7例中，由于最大的像素值是104，因此检出该像素。接下来，缺陷种类判定部106检测与检出的像素相邻的、像素值为规定阈值以上的像素。
缺陷种类判定部106重复进行这样的处理，直到检测不出具有阈值以上的像素值的相邻像素为止。由此，缺陷种类判定部106能够将由具有规定的阈值以上的像素值的像素构成的连续区域作为缺陷区域进行检测。此外，缺陷种类判定部106可以将包含上述那样检出的缺陷区域的矩形区域ar5作为缺陷区域进行检测。
只要有表示检查图像111A和复原图像111B的各像素的差分值的数据即差分图像，就能够进行以上的处理。即，通过重复进行在差分图像中检测像素值最大的像素并检测与该像素相邻的规定的阈值以上的像素值的像素的处理，从而能够检测缺陷区域。因此，如上所述，不必为了检测缺陷区域而生成热图111E、热图111F。
如上所述，缺陷种类判定部106将在差分图像中由像素值为阈值以上的多个像素构成的区域作为缺陷区域进行检测。在差分图像中，缺陷区域的像素的像素值与其以外的区域的像素值相比为较大的值，因此，根据该结构，能够自动地检测合适的缺陷区域。
如基于图6说明的那样，在焊接部位的缺陷中，已知初层熔深不良、焊道间的熔合不良等各种种类的缺陷，这些缺陷的种类的不同会在超声波图像中表现为位置的差。缺陷种类判定部106据此根据差分图像的图像区域中的检出缺陷区域的位置来判定该缺陷区域的缺陷种类。由此可自动判定缺陷种类。
例如，若在差分图像中预先设定与各种类的缺陷对应的区域，则缺陷种类判定部106能够根据如以上那样检出的缺陷区域包含在哪个区域来判定缺陷种类。
图8是表示按照缺陷种类设定的区域的例子的图。在图8的例子中，在热图111F的左上角设定与咬边对应的区域AR1，在上端中央设定与焊道间的熔合不良对应的区域AR2，并且在右上角设定与初层熔深不良对应的区域AR3。另外，在从中央稍稍靠上的位置设定与气孔对应的区域AR4。对于这样的区域而言，只要通过对各种缺陷部位的基于检查图像的差分图像、热图进行解析等方式预先进行设定即可。在图8的例子中，由于在区域AR3检出用空心箭头所示的缺陷区域，因此缺陷种类判定部106判定该缺陷是由于初层熔深不良造成的缺陷。
在图8的例子中，与气孔对应的区域AR4的一部分与区域AR1～AR3的一部分重合。可以这样将用于判定缺陷种类的区域设定为部分地与其他区域重叠。
在这种情况下，当在多个区域重叠的区域检出缺陷区域时，缺陷种类判定部106可以将与这些各区域对应的全部种类作为缺陷种类的判定结果。例如，当在区域AR1与AR4的重叠区域检出缺陷区域时，缺陷种类判定部106可以输出咬边和气孔双方作为判定结果。
另外，缺陷种类判定部106可以根据是否满足各缺陷种类所特有的条件来限定缺陷种类的判定结果。例如，若是在形状中具有特征的缺陷，则可以设定与形状相关的条件，如果是在大小上具有特征的缺陷，则可以设定与大小相关的条件。
举出具体例，气孔是产生球状的空洞的缺陷，其直径一般是2mm以下。因此，在一张超声波图像111覆盖检查对象物的宽度为1mm程度的范围的情况下，一个气孔容纳在2～3张程度的超声波图像111中。因此，在分别与检查对象物的相邻的部分对应的多个超声波图像111中连续检出缺陷的情况下，如果该超声波图像111的张数是3张以下，则该缺陷有可能是气孔。另一方面，如果连续检出缺陷的超声波图像111的张数是4张以上，则该缺陷不是气孔的可能性较高。
因此，当在区域AR4与其他区域的重叠区域检出缺陷区域的情况下，缺陷种类判定部106可以将连续检出缺陷的超声波图像111的张数是阈值(例如为3)以下作为条件，将该缺陷种类判定为气孔。
例如，在图8例中设定为，在区域AR4与AR2的重叠区域检出缺陷区域。在这种情况下，缺陷种类判定部106可以当连续检出缺陷的超声波图像111的张数为阈值以下时将缺陷的种类判定为气孔，若超过阈值则判定为焊道间的熔合不良。
另外，如上所述，由于气孔是球状，因此在跨越多个超声波图像111检出一个气孔的情况下，由各超声波图像111中的该气孔引起的回波的峰值往往不同。这样的峰值的不同在超声波图像111中表现为像素值的不同。例如，设定跨越3张超声波图像111检出一个气孔。在这种情况下，如果将3张超声波图像111中的中央的超声波图像111中的由该气孔引起的回波的峰值设定为50％，则其前后的超声波图像111中的由气孔引起的回波的峰值为比其低的30％的值。
因此，当在区域AR4与其他区域的重叠区域检出缺陷区域时，缺陷种类判定部106可以将连续检出缺陷的各超声波图像111中的缺陷区域的像素值中存在差异作为条件，将该缺陷种类判定为气孔。例如，缺陷种类判定部106可以计算各超声波图像111的缺陷区域中包含的各像素的像素值的平均值，当该平均值的差为阈值以上时则判定为有差异。
此外，缺陷种类判定部106可以进行使用了种类判定模型的判定、和基于缺陷区域的位置包含于哪个区域的判定双方，也可以仅进行一方。通过进行双方的判定能够提高种类判定结果的准确度。
(缺陷的综合)
管端焊接部遍及管的周围360度存在。因此，如上所述，在管内使探头以规定角度为单位旋转，生成管端焊接部的各部分的超声波图像111，并根据各超声波图像111来检测缺陷。在这种情况下，一个连续的缺陷跨越映现于多个超声波图像，虽然作为实体是一个缺陷，但是有可能被检测为多个缺陷。
因此，综合检测部108将在多个超声波图像111中映现的缺陷综合而作为一个缺陷进行检测。更具体而言，当综合判定部104针对分别与管端焊接部的一部分即彼此相邻的部分对应的多个超声波图像111判定为有缺陷时，则综合检测部108将在该多个超声波图像111中映现的缺陷作为一个缺陷进行检测。由此，能够进行沿着缺陷实体的适当检测。
基于图9对缺陷的综合方法进行说明。图9是对将在多个超声波图像111中映现的缺陷综合而作为一个缺陷进行检测的方法进行说明的图。在图9的左上示出管与管端焊接部的横剖面。另外，在图9的左下示出管、管端焊接部、管板的纵剖面。
在图9例中，沿着管的外壁面产生了大范围的焊接缺陷。当沿着管的内壁面使探头以规定角度为单位进行旋转并测量回波时，则来自焊接缺陷的回波会反映到产生焊接缺陷的范围的测量结果中。因此，如图9的右侧所示那样，在基于上述测量结果生成的超声波图像111g～111i中出现由上述焊接缺陷引起的回波。因此，在基于这些超声波图像111g～111i的缺陷有无判定中，综合判定部104判定为有缺陷。
在此，超声波图像111g～111i分别与管端焊接部的一部分即彼此相邻的部分对应。因此，综合检测部108将由综合判定部104判定为有缺陷的这些超声波图像111g～111i中映现的缺陷作为一个缺陷进行检测。
此外，综合检测部108可以按照如下条件来综合这些缺陷，即：从超声波图像111g～111i检出的缺陷的位置是相同还是相近的位置。另外，如上所述，缺陷根据种类而位置不同。因此，综合检测部108可以按照如下条件来综合这些缺陷，即：从超声波图像111g～111i中检出相同种类的缺陷。根据这些结构，能够提高缺陷综合的精度。
另外，缺陷长度计算部109计算通过如上所述的处理进行了综合的缺陷的长度。例如，缺陷长度计算部109可以将一个超声波图像111的缺陷的平均长度与通过综合检测部108进行综合的缺陷的数量相乘来计算缺陷的长度。
例如，对于在管的周围360度形成的管端焊接部，使探头沿着管的内壁面绕管的中心轴以1度为单位进行移动而进行360次的回波测量，其结果为，生成360张的超声波图像111。在这种情况下，在一个超声波图像111中映现的缺陷的长度大致为(管的外径)×π×1/360。因此，当如图7那样综合了3个超声波图像111g～111i的缺陷时，缺陷长度计算部109可以将缺陷的长度计算为(管的外径)×π×3×1/360。此外，π是圆周率。
(管端焊接部的厚度的计算)
基于图10对管端焊接部的厚度(壁厚)的计算方法进行说明。图10是说明管端焊接部的厚度的计算方法的图。在图10的下侧示出管端焊接部的纵剖面，并在上侧示出该管端焊接部的超声波图像111。
图10的下侧所示的管端焊接部的也包含了朝向管板的熔深部分的厚度是X。如基于图2说明的那样，在超声波图像111中映现有管端焊接部的区域是被来自其周缘部的回波重复出现的两个周缘回波区域ar3和ar4夹持的区域。因此，能够根据周缘回波区域ar3与ar4的距离Xi来计算管端焊接部的厚度X。
距离Xi可以由厚度计算部107通过解析超声波图像111来计算，但是由于判定部102B进行了超声波图像111的解析，因此优选使用该解析结果。
更具体而言，如基于图3说明的那样，判定部102B在从超声波图像111生成的检查图像111A中检测周缘回波区域ar3和ar4，并将被这些区域夹持的区域作为对象来判定有无缺陷。因此，厚度计算部107能够基于由判定部102B进行的上述检测的结果来计算从周缘回波区域ar3的右端到判定部102B检出的周缘回波区域ar4的左端的距离Xi。并且，如果预先求出检查图像111A的比例尺，则厚度计算部107能够利用该比例尺来计算管端焊接部的厚度X。
如上所述，判定部102B在判定有无缺陷的过程中检测周缘回波区域ar3和ar4，因此厚度计算部107能够使用由判定部102B对周缘回波区域ar3和ar4的检测结果来计算检查对象部位的厚度。
(检查结果的输出例)
利用信息处理装置1对检查对象物有无缺陷的判定结果经由输出部13输出。在此，基于图11对检查结果的输出例进行说明。图11是表示检查结果的输出例的图。
在图11的左上示出缺陷图300。缺陷图300是表示在从管端侧观察的管端焊接部的圆圈状的区域301绘出表示检出的缺陷的线段302的图。根据缺陷图300，能够容易地识别管端焊接部的缺陷的分布。
另外，在图11的右上示出管板图400。管板图400示意性地示出如图2所示那样的、从管端侧观察在管板上焊接有多个管的热交换器的状况。在管板图400中，通过在各管的位置描绘表示该管的管端焊接部的缺陷检查的结果的图形，从而示出检查结果。
具体而言，检查的结果为，在未检出缺陷的管的位置描绘白圆圈，在检出损伤(缺陷)的管的位置描绘黑圆圈。由此，能够容易地识别产生缺陷的管端焊接部的分布。另外，在管板图400中，在未实施检查的管的位置描绘三角标记，在检查对象外的管的位置描绘四方标记。这样，与检查相关的各种信息也可以包含在管板图400中。
另外，在图11的下侧示出超声波图像组500。在超声波图像组500中包含3个超声波图像(501～503)。超声波图像501通过管端侧扇形扫描而获得，超声波图像502通过线性扫描而获得，超声波图像503通过管深侧扇形扫描而获得。
此外，线性扫描是与管的中心轴垂直的探伤方向的扫描。上述超声波图像111也是通过线性扫描得到的。管端侧扇形扫描是使超声波在从与管的中心轴垂直的方向向管深侧倾斜的探伤方向上传播的扫描。另外，管深侧扇形扫描是使超声波在从与管的中心轴垂直的方向向管端侧倾斜的探伤方向上传播的扫描。
在这些超声波图像中，针对与检出的缺陷对应的反射回波进行标识。通过这样将标识的超声波图像作为检查结果进行显示，从而能够容易地识别缺陷的位置等。
在此，超声波图像501～503都是通过扫描管端焊接部上的相同的位置而得到的图像，但由于探伤方向不同，因此缺陷的表现方式也不同。因此，检查装置1对这样的探伤方向不同的多个超声波图像111判定有无缺陷，当在任一探伤方向上判定为有缺陷时，则即使在其他探伤方向上判定为没有缺陷，也可以将最终的判定结果设定为有缺陷。由此，能够降低发生缺陷漏检的概率。另外，检查装置1可以将对通过线性扫描得到的超声波图像和通过扇形扫描得到的超声波图像进行合成所得到的合成图像作为对象来判定有无缺陷。
此外，信息处理装置1可以将缺陷图300、管板图400、以及超声波图像组500的全部作为检查结果输出，也可以仅将一部分输出。另外，信息处理装置1也可以将表示缺陷种类判定结果的信息等作为检查结果输出。当然，这些仅为例示，信息处理装置1只要将判定结果以能够使人识别其内容的任意方式输出即可。
(在检查前进行的处理的流程)
在利用信息处理装置1进行缺陷检查前，需要构建在检查中使用的各种模型并确定阈值。在此，基于图12来说明构建在检查中使用的各种模型并确定阈值的处理的流程。图12是表示构建在检查中使用的各种模型并确定阈值的处理一例的图。此外，这些处理可以在信息处理装置1中进行，也可以在其他的计算机中进行。
在S1中，获取进行了平滑化处理的超声波图像111。在该超声波图像111中包含：从有缺陷的检查对象物得到的图像、和从没有缺陷的检查对象物得到的图像。另外，对于从有缺陷的检查对象物得到的超声波图像111按照该缺陷的种类进行了分类。
此外，平滑化处理是使相邻的像素间的像素值的变化变得平滑的处理。平滑化处理可以由信息处理装置1进行，也可以由超声波探伤装置7进行。平滑化处理不是必须的，通过进行平滑化处理，从而容易判别由缺陷引起的回波和噪声成分，因此优选。
在S2中构建抽出模型。抽出模型的构建通过机器学习来进行，所述机器学习使用了将抽出区域信息作为正确数据与超声波图像111进行了关联而做成的教师数据。抽出区域信息是表示应该从超声波图像111中抽出的区域、即检查对象区域的信息。该抽出区域信息可以是：例如使超声波图像111显示于显示装置，由操作员输入应该抽出的区域，基于该输入内容而生成的信息。
抽出模型能够通过适于从图像抽出区域的任意的学习模型来构建。例如，可以通过抽出精度、处理速度优异的YOLO(You Only LookOnce：你只需要看一遍)等来构建抽出模型。
应该抽出的区域只要是包含作为检查对象部位的管端焊接部的区域即可。另外，应该抽出的区域优选也包含映现有来自其周缘部的回波的区域的至少一部分。这是因为：当在检查对象部位没有缺陷时，有可能在超声波图像111中的该部位观察不到能够进行机器学习的特征点，在这种情况下，难以构建抽出模型。例如，在图2所示的超声波图像111中，只要将包含回波a1、a2、a6以及a7的一部分的区域作为应该抽出的区域即可。由此可构建抽出模型，该抽出模型将包含管端焊接部并且也包含来自周缘部的回波的区域抽出。
在S3中，使用通过S2构建的抽出模型，根据通过S1获取的超声波图像111来生成学习用图像。在S2中，当构建了通过将包含映现有来自周缘部的回波的区域的区域作为正确数据的机器学习所构建的抽出模型时，使用该抽出模型来抽出检查对象区域。由于在来自检查对象部位的周缘部的回波中如图2所示那样具有能够进行机器学习的特征，因此能够自动且高精度地抽出检查对象部位。此外，学习用图像由于是利用与检查图像111A相同的抽出模型生成的，因此其外观与检查图像111A相同(检查图像111A的外观参照图3)。
S4以下，使用通过S3生成的学习用图像，确定与各判定部102关联的阈值，构建模型。在S4中构建生成模型。生成模型的构建利用机器学习来进行，该机器学习将从没有缺陷的检查对象物的超声波图像111生成的学习用图像作为训练数据。如上所述，生成模型可以是自动编码器。另外，生成模型可以是对自动编码器进行了改进或变更而得到的模型。例如，作为生成模型可以应用变分自动编码器等。
此外，当在S2中构建了通过如下的机器学习所构建的抽出模型时，在用于构建生成模型的训练数据中也包含映现有来自周缘部的回波的区域，所述机器学习将包含映现有来自周缘部的回波的区域的区域作为正确数据。在没有缺陷的检查对象物的超声波图像111中，在检查对象区域中不包含回波，虽然缺乏应该进行机器学习的特征点，但是通过使用如下的训练数据，从而能够构建合适的生成模型，所述训练数据包含映现有来自周缘部的回波的区域。
在S5中，确定利用判定部102A进行缺陷有无判定用的阈值。具体而言，首先，将测试图像输入通过S4构建的生成模型而生成复原图像。测试图像是通过S3生成的学习用图像中的未用于构建生成模型的图像。在测试图像中包含：从没有缺陷的检查对象物的超声波图像111生成的图像、和从有缺陷的检查对象物的超声波图像111生成的图像。另外，对于从有缺陷的检查对象物的超声波图像111生成的测试图像按照该缺陷的种类进行了分类。
接下来，对于如上述那样生成的复原图像和作为该复原图像的基础的测试图像，以像素为单位计算这些图像的差分，并计算该差分的方差。并且，以如下方式来确定阈值，即能够区分：针对从没有缺陷的检查对象物的超声波图像111生成的多个测试图像算出的各方差的值、和针对从有缺陷的检查对象物的超声波图像111生成的多个测试图像算出的各方差的值。
在S6中，通过机器学习来构建判定部102A用的可靠度预测模型，该判定部102A使用通过S4构建的生成模型和通过S5确定的阈值来进行判定。在该机器学习中，使用了针对测试图像作为正确数据关联了基于该测试图像的判定部102A的判定结果是否正确而做成的教师数据。测试图像只要是从已知有无缺陷的超声波图像111生成的即可。
如果向这样生成的可靠度预测模型中输入检查图像111A，则输出表示判定部102A使用该检查图像111A进行判定时的判定结果正确的概率的0～1的值。因此，可靠度判定部103能够将可靠度预测模型的输出值作为判定部102A的判定结果的可靠度。
在S7中，将根据各种缺陷的测试图像分别生成的热图作为教师数据来构建种类判定模型。由于在热图中如基于图6说明的那样出现与缺陷的种类对应的特征，因此通过将该热图作为教师数据进行机器学习，从而能够构建种类判定模型。
种类判定模型能够利用适于图像分类的任意的学习模型来构建。例如，可以利用图像分类精度优异的卷积神经网络等来构建种类判定模型。
在S8中设定种类判定用的区域。具体而言，首先，从通过S7生成的与各种缺陷对应的热图中检出映现有由该缺陷引起的回波的缺陷区域。接下来，将热图的图像区域中的检出一种缺陷区域的区域确定为出现该种缺陷的区域。对需要进行判定的种类分别进行该处理。由此，如图8例示那样，能够按照缺陷种类设定出现该种缺陷的区域。
此外，也可以省略S7和S8的任意一方。在省略了S7的处理的情况下，缺陷种类判定部106基于通过S8设定的区域来判定缺陷种类。另一方面，在省略了S8的处理的情况下，缺陷种类判定部106使用通过S7构建的种类判定模型来判定缺陷种类。
在S9中，使用通过S3生成的学习用图像来确定判定部102B用于数值解析的阈值。例如，在判定部102B进行二值化处理的情况下，确定用于二值化处理的阈值。
在S10中，通过机器学习来构建使用通过S9确定的阈值进行判定的判定部102B用的可靠度预测模型。在该机器学习中，使用了针对测试图像作为正确数据关联了基于该测试图像的判定部102B进行的判定的结果是否正确而做成的教师数据。测试图像只要是从已知有无缺陷的超声波图像111生成的即可。
在S11中，通过机器学习来构建判定部102C用于判定有无缺陷的判定模型。在该机器学习中，使用了针对通过S3生成的学习用图像作为正确数据关联了有无缺陷而做成的教师数据。由此，能够构建当输入了检查图像111A时则输出表示有缺陷的概率的值或者表示没有缺陷的概率的值的判定模型。
在S12中，通过机器学习来构建使用通过S11构建的判定模型进行判定的判定部102C用的可靠度预测模型。在该机器学习中，使用了针对测试图像作为正确数据关联了基于该测试图像的判定部102C的判定结果是否正确而成的教师数据。测试图像只要是从已知有无缺陷的超声波图像111生成的即可。
如上述说明那样，判定部102A用的可靠度预测模型能够利用机器学习来构建，该机器学习使用了针对判定部102A判定为有无缺陷的测试图像作为正确数据关联了表示该判定结果是否正确的信息而成的教师数据。对于判定部102B用的可靠度预测模型以及判定部102C用的可靠度预测模型而言也同样如此。
上述的可靠度预测模型学习了：判定部102进行了判定的测试图像、与该判定结果是否正确的对应关系。因此，向该可靠度预测模型输入检查图像111A而得到的输出值表示判定部102使用检查图像111A进行判定时的判定结果的可能性。
因此，可靠度判定部103通过根据分别向各判定部102用的可靠度预测模型输入检查图像111A而得到的输出值来判定各判定部102的判定结果的可靠度，从而能够根据过去的判定实际成绩来设定合适的可靠度。
(检查中的处理的流程)
基于图13来说明检查中的处理(判定方法)的流程。图13是表示使用了信息处理装置1的检查方法一例的图。此外，以下说明了：在存储部11中存储有超声波图像111，该超声波图像111是对一边使探头旋转一边进行测量所得到的来自管端焊接部和其周缘部的回波进行图像化而得到的超声波图像111。
在S21中，检查图像生成部101生成检查图像111A。具体而言，检查图像生成部102获取存储部11中存储的超声波图像111的一张，向抽出模型输入，从超声波图像111中抽出表示该输出值的区域，生成检查图像111A。
在S22(判定步骤)中，各判定部102使用通过S21生成的检查图像111A来判定有无缺陷。更具体而言，在判定部102A中，检查图像获取部1021获取通过S21生成的检查图像111A，复原图像生成部1022使用通过S12的S4构建的生成模型，从该检查图像111A生成复原图像111B。并且，缺陷有无判定部1023计算检查图像111A和复原图像111B的各像素的差分，接着计算该差分的方差，并根据该方差的值是否比通过图12的S5确定的阈值大来判定有无缺陷。此外，在生成除去图像111C及除去图像(复原)111D的情况下，缺陷有无判定部1023计算这些图像的差分。
另外，判定部102B利用通过图12的S9确定的阈值对于通过S21生成的检查图像111A进行二值化而生成二值化图像。并且，判定部102B从所生成的二值化图像中检测周缘回波区域ar3和ar4，并且根据在被这些区域夹持的区域中有无缺陷区域来判定有无缺陷。
并且，判定部102C将通过S21生成的检查图像111A输入通过图12的S11构建的判定模型，并基于其输出值来判定有无缺陷。例如，在使用了输出有缺陷概率的判定模型的情况下，如果判定模型的输出值超出规定的阈值，则判定部102C可以判定为有缺陷。此外，这样的阈值也在图12的S11的处理后确定。
在S23(可靠度判定步骤)中，可靠度判定部103使用通过S21生成的检查图像111A对判定部102的判定结果的可靠度进行判定。具体而言，可靠度判定部103根据向通过图12的S6构建的可靠度预测模型输入检查图像111A而得到的输出值来对判定部102A的判定结果的可靠度进行判定。
例如，当可靠度预测模型输出表示判定部102A的判定结果正确的概率的0～1的值时，可靠度判定部103可以直接将该值作为可靠度。另外，可靠度判定部103同样地对判定部102B及102C的判定结果的可靠度进行判定。这样，可靠度判定部103对判定部102A～102C分别判定有无缺陷的判定结果的可靠度。
在S24(综合判定步骤)中，综合判定部104使用S22的各判定结果、和通过S23判定的可靠度来判定有无缺陷。具体而言，综合判定部104使用通过对表示判定部102A～102C的各判定结果的数值施加与其可靠度对应的权重并相加而得到的数值来判定有无缺陷。
例如，判定部102A～102C的判定结果可用－1(没有缺陷)或1(有缺陷)的数值来表示。在这种情况下，若可靠度用0～1的数值来计算，则可以将该可靠度的值直接作为权重与判定结果相乘。
若举出具体例，则是：判定部102A的判定结果为有缺陷，判定部102B的判定结果为没有缺陷，判定部102C的判定结果为有缺陷。另外，判定部102A～102C的判定结果的可靠度分别是0.87、0.51、0.95。在这种情况下，综合判定部104进行1×0.87+(－1)×0.51+1×0.95的运算，得到作为其结果的1.31的数值。
并且，综合判定部104可以将该数值与规定的阈值进行比较，如果算出的数值比阈值大则判定为有缺陷。在用“－1”表示没有缺陷并用“1”的数值表示有缺陷的情况下，阈值只要设定为这些数值的中间值即“0”即可。在这种情况下，由于1.31＞0，因此综合判定部104的最终判定结果为有缺陷。
在S25中，综合判定部104将S24的判定结果记录于检查结果数据112。并且，在S26中进行缺陷种类判定处理。此外，后面将基于图14和图15对缺陷种类判定处理进行详细说明。
在S27中，判定检查图像生成部101是否已经对作为检查对象的全部的超声波图像111完成处理。在此，当判定为有未处理的超声波图像111时(在S27中为否)则返回S21，检查图像生成部101从存储部11中读出未处理的超声波图像111，并从该超声波图像111生成检查图像111A。另一方面，当判定为没有未处理的超声波图像111时(在S27中为是)则进入S28的处理。
在S28中，综合检测部108对综合判定部104检出的缺陷进行综合。并且，综合检测部108将综合结果记录于检查结果数据112。缺陷的综合方法如基于图9说明的那样，在此不重复说明。此外，如果没有应该进行综合的缺陷，则不进行S28及S29的处理，并进入S30的处理。
在S29中，缺陷长度计算部109计算由综合检测部108进行了综合的缺陷的长度。例如，缺陷长度计算部109可以将一个超声波图像111的缺陷的平均长度与通过综合检测部108进行综合的缺陷的数量相乘来计算缺陷的长度。并且，缺陷长度计算部109将计算结果记录于检查结果数据112。
在S30中，厚度计算部107计算管端焊接部的壁厚，并将计算结果记录于检查结果数据112。壁厚的计算方法如基于图10说明的那样，在此不重复说明。在对于全部的检查图像111A记录了壁厚的计算结果之后，结束图13的处理。
(缺陷种类判定处理的流程：使用种类判定模型)
基于图14对通过图13的S26进行的缺陷种类判定处理的流程进行说明。图14是表示缺陷种类判定处理一例的流程图。在S41中，热图生成部105使用在判定部102A进行缺陷有无判定时算出的差分值(差分图像)来生成热图。并且，在S42中，热图生成部105对通过S41生成的热图实施阈值处理。阈值处理如基于图5说明的那样，在此不重复说明。
在S43中，缺陷种类判定部106使用种类判定模型来判定缺陷种类。具体而言，缺陷种类判定部106将通过S42实施了阈值处理的热图输入种类判定模型，并基于其输出值来判定缺陷种类。例如，若种类判定模型针对各对缺陷种类输出表示属于该种类的可能性的数值，则缺陷种类判定部106可以将该数值最大的种类判定为该缺陷的种类。
在S44中，缺陷种类判定部106将S43的判定结果记录于检查结果数据112。由此结束缺陷种类判定处理。
(缺陷种类判定处理的流程：基于缺陷区域的位置)
缺陷种类判定部106可以取代图14的缺陷种类判定处理而进行图15的缺陷种类判定处理。图15是表示基于缺陷区域的位置来判定缺陷种类的缺陷种类判定处理一例的流程图。
在S51中，缺陷种类判定部106对在判定部102A进行缺陷有无判定时算出的差分值(差分图像)实施阈值处理。S51的阈值处理与图14的S42的阈值处理相同。并且，在S52中，缺陷种类判定部106根据阈值处理后的差分值来检测缺陷区域。缺陷区域的检测方法如基于图7说明的那样，在此不重复说明。
在S53中，缺陷种类判定部106根据通过S52确定的缺陷区域的位置来判定缺陷种类。例如，缺陷种类判定部106可以根据通过S52检出的缺陷区域包含于图8所示区域AR1～AR4中的哪一个来判定缺陷种类。
在S54中，缺陷种类判定部106将S53的判定结果记录于检查结果数据112。由此结束缺陷种类判定处理。
此外，缺陷种类判定部106可以进行如下两方的处理，即：图14的缺陷种类判定处理、和图15的缺陷种类判定处理。在这种情况下，缺陷种类判定部106只要记录两方的判定结果即可。另外，缺陷种类判定部106可以将两方的判定结果综合来进行缺陷种类的最终判定。在这种情况下，缺陷种类判定部106可以分别计算：图14的缺陷种类判定处理的判定结果的可靠度、和图15的缺陷种类判定处理的可靠度，并基于算出的可靠度来确定最终的缺陷种类判定结果。对于此时的可靠度，能够与判定部102的判定结果的可靠度同样地进行计算。
(应用例)
在上述实施方式中，是对基于超声波图像111来判定管端焊接部有无缺陷的例子进行了说明，但是对于判定事项的设定是任意的，只要设定为在该判定中使用的对象数据也与判定事项对应的任意数据即可，不限于上述实施方式的例示。
例如，也能够将信息处理装置1应用于在放射线透射试验(RT)中判定检查对象物有无缺陷(也可以称为异常部位)的检查。在这种情况下，取代了放射线透射照片而根据使用成像板等电子设备得到的图像数据来检测由异常部位产生的像。
在这种情况下，判定部102A也能够使用生成模型来判定有无异常部位，判定部102C能够使用判定模型来判定有无异常部位。另外，判定部102B也能够通过基于在上述图像数据中映现的上述像的像素值或大小等进行的数值解析来判定有无异常部位。
另外，在超声波检查或RT中，可以不使用图像数据而是使用超声波的回波、或者放射线的信号波形数据来判定有无异常部位。这样，能够将信息处理装置1应用于使用各种数据的各种无损检查。此外，信息处理装置1除了无损检查以外，也能够应用于根据静止图像或动态图像进行的物体检测、以及对检出物体的分类等判定。
(变形例)
在上述实施方式中，是对作为可靠度而使用将检查图像输入可靠度预测模型而得到的输出值的例子进行了说明，但是可靠度只要基于判定部102在判定中使用的数据进行导出即可，并不限于该例。
例如，在判定部102B利用使检查图像二值化的二值化图像来判定有无缺陷的情况下，判定部102B用的可靠度预测模型可以是将二值化图像作为输入数据的模型。另一方面，在这种情况下，判定部102C如果直接使用检查图像来判定有无缺陷，则判定部102C用的可靠度预测模型可以是将检查图像作为输入数据的模型。这样，向各判定部102用的可靠度预测模型输入的数据不需要全部相同。
另外，在上述实施方式中，对使用三个判定部102的例子进行了说明，但是判定部102也可以是两个，也可以是四个以上。另外，在上述实施方式中，三个判定部102的判定方法各不相同，但是判定部102的判定方法也可以相同。对于判定方法相同的判定部102而言，只要使在该判定中采用的阈值、或者构建在该判定中使用的已学习的模型的教师数据不同即可。
另外，在上述各实施方式中说明的各处理的执行主体能够适当变更。例如，也可以使其他的信息处理装置来执行：图13的流程中的、S21(检查图像的生成)、S23(使用可靠度判定模型的运算)、S26(缺陷种类判定)、S28(缺陷的综合)、S29(缺陷长度的计算)、以及S30(壁厚的计算)。同样地，也可以使其他的信息处理装置来执行判定部102A～102C执行的处理的一部分或者全部。另外，在这些情况下，其他的信息处理装置可以是一个，也可以是多个。这样，信息处理装置1的功能可以通过多种系统结构来实现。另外，在构建包含多个信息处理装置的系统的情况下，一部分的信息处理装置可以配置于云上。也就是说，信息处理装置1的功能也可以在线上使用进行信息处理的一个或多个信息处理装置来实现。
(基于软件的实现例)
信息处理装置1的控制模块(尤其是控制部10所含各部)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。
在后者的情况下，信息处理装置1具备计算机，该计算机执行实现各功能的软件即信息处理程序的命令。该计算机例如具备一个以上的处理器，并且具备计算机可读取的记录介质，该记录介质存储上述信息处理程序。并且，在上述计算机中，上述处理器从上述记录介质读取上述信息处理程序并执行，从而实现本发明的目的。作为上述处理器，例如可以使用CPU(Central Processing Unit：中央处理单元)。另外，信息处理装置1除了CPU等处理器之外，也可以具备GPU
(Graphics Processing Unit：图形处理单元)。使用GPU能够高速地进行使用上述各种模型的运算等。作为上述记录介质，可以使用“非暂时性的有形的介质”，例如除了ROM(Read Only Memory：只读存储器)等之外，还可以使用磁带、光盘、卡、半导体存储器、可编程的逻辑电路等。另外，也可以具备展开上述程序的RAM(RandomAccess Memory：随机访问存储器)等。另外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络、电波等)向上述计算机提供。此外，本发明一方式也可以采用通过对上述程序进行电子传输而具体化的、嵌入载波的数据信号的方式来实现。
本发明不限于上述各实施方式，可以在权利要求记载范围内进行各种变更，对于通过将不同实施方式各自公开的技术方案适当组合而得到的实施方式而言，也包含于本发明的技术范围。
附图标记说明
1-信息处理装置；102A-判定部(生成模型判定部)；102B-判定部(数值解析判定部)；102C-判定部；103-可靠度判定部；104-综合判定部。

Claims (7)

1.一种信息处理装置，具备：
可靠度判定部，其对多个判定部分别进行如下处理，即：基于对象数据来判定表示所述判定部的判定结果的可能性的指标即可靠度，所述判定部根据一个所述对象数据对规定的判定事项进行判定；以及
综合判定部，其使用各所述判定结果、和所述可靠度判定部判定的所述可靠度对所述规定的判定事项进行判定。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述可靠度判定部根据如下的输出值来判定各所述判定部的判定结果的可靠度，所述输出值是将所述对象数据分别输入各判定部用的可靠度预测模型而得到的输出值，
所述可靠度预测模型通过如下的机器学习来构建，所述机器学习使用了如下的教师数据，该教师数据是针对所述判定部判定了所述判定事项的对象数据将表示该判定结果是否正确的信息作为正确数据进行关联而成的教师数据。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
所述对象数据是检查对象物的图像，
所述判定事项是：在所述检查对象物中有无异常部位，
在多个所述判定部中包含生成模型判定部，该生成模型判定部使用将所述图像输入生成模型而生成的生成图像来判定有无异常部位，
所述生成模型构建为能够通过如下的机器学习来生成具有与输入的图像同样的特征的新的图像，所述机器学习将没有异常部位的所述检查对象物的图像作为训练数据。
4.根据权利要求3所述的信息处理装置，其特征在于，
在多个所述判定部中包含数值解析判定部，该数值解析判定部通过对检查对象物的图像即所述对象数据的各像素值进行解析来确定该对象数据中的检查对象部位，并基于所确定的检查对象部位的像素值来判定有无异常部位。
5.根据权利要求4所述的信息处理装置，其特征在于，
所述对象数据是使向所述检查对象物传播的超声波的回波图像化的超声波图像，
所述数值解析判定部将在所述超声波图像中被来自所述检查对象部位的周缘部的回波重复出现的两个周缘回波区域夹持的区域确定为所述检查对象部位，并且根据在所确定的检查对象部位是否包含由阈值以上的像素值构成的区域来判定有无所述异常部位，
所述信息处理装置还具备厚度计算部，该厚度计算部基于两个所述周缘回波区域间的距离来计算所述检查对象部位的厚度。
6.一种判定方法，其通过一个或多个信息处理装置执行，且包含：
可靠度判定步骤，对多个判定部分别进行如下处理，即：基于对象数据来判定表示所述判定部的判定结果的可能性的指标即可靠度，所述判定部根据一个所述对象数据对规定的判定事项进行判定；以及
综合判定步骤，使用各所述判定结果、和在所述可靠度判定步骤中判定的所述可靠度对所述规定的判定事项进行判定。
7.一种信息处理程序，其用于使计算机作为权利要求1所述的信息处理装置发挥功能，即用于使计算机作为所述可靠度判定部及所述综合判定部发挥功能。
CN202180041936.7A 2020-06-10 2021-05-14 信息处理装置、判定方法、以及信息处理程序 Pending CN115803619A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-101125 2020-06-10
JP2020101125A JP2021196711A (ja) 2020-06-10 2020-06-10 情報処理装置、判定方法、および情報処理プログラム
PCT/JP2021/018459 WO2021251064A1 (ja) 2020-06-10 2021-05-14 情報処理装置、判定方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
CN115803619A true CN115803619A (zh) 2023-03-14

Family

ID=78847204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041936.7A Pending CN115803619A (zh) 2020-06-10 2021-05-14 信息处理装置、判定方法、以及信息处理程序

Country Status (4)

Country Link
US (1) US20230298327A1 (zh)
JP (1) JP2021196711A (zh)
CN (1) CN115803619A (zh)
WO (1) WO2021251064A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033309A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033312A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033311A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033308A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033310A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
WO2023218537A1 (ja) * 2022-05-10 2023-11-16 ファナック株式会社 対象領域抽出装置、方法、及びシステム
WO2024009442A1 (ja) * 2022-07-06 2024-01-11 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7132617B2 (en) * 2002-02-20 2006-11-07 Daimlerchrysler Corporation Method and system for assessing quality of spot welds
JP6472621B2 (ja) * 2014-08-12 2019-02-20 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法および画像分類装置
JP6361387B2 (ja) * 2014-09-05 2018-07-25 オムロン株式会社 識別装置および識別装置の制御方法
JP6552613B2 (ja) * 2015-05-21 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6772112B2 (ja) * 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Also Published As

Publication number Publication date
WO2021251064A1 (ja) 2021-12-16
JP2021196711A (ja) 2021-12-27
US20230298327A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
CN115803619A (zh) 信息处理装置、判定方法、以及信息处理程序
JP5392731B2 (ja) 超音波探傷検査の判定支援装置、判定支援方法、判定支援プログラム、及び該判定支援プログラムを記録したコンピュータ読取可能な記録媒体
US5345514A (en) Method for inspecting components having complex geometric shapes
WO2021250986A1 (ja) 検査装置、検査方法、および検査プログラム
US20220415020A1 (en) System and method for detection of anomalies in welded structures
US10360670B2 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
CN109239081B (zh) 基于结构光与视觉成像的焊缝质量参数检测方法
KR101026720B1 (ko) 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
JPH059744B2 (zh)
KR20090116127A (ko) 디지털 방사선 촬영을 이용한 용접부 결함 검출 방법
WO2015001624A1 (ja) 超音波探傷方法、超音波探傷装置ならびにパネル構造体の溶接部検査方法
JP4981433B2 (ja) 検査装置、検査方法、検査プログラムおよび検査システム
JP4364031B2 (ja) 超音波探傷画像処理装置及びその処理方法
JP2861649B2 (ja) 鋼板の溶接部検査方法
WO2022209169A1 (ja) 情報処理装置、判定方法、および判定プログラム
Aoki et al. Intelligent image processing for abstraction and discrimination of defect image in radiographic film
JP7142825B1 (ja) 画像判定方法及び画像判定システム
JP2006226834A (ja) 表面検査装置、表面検査の方法
Haro et al. Long Seam Characterization by Means of a Phased Array Based Inline Inspection
JP2024008670A (ja) 機械学習装置
CN117969601A (zh) 一种机床配件铸造质量缺陷检测方法
JPH07120406A (ja) 電縫管溶接部の検査方法
CN117218145A (zh) 微电子封装中焊点超声显微图像特征提取方法及系统
JPH10156576A (ja) 金属部材の両面突合せ溶接部のオフシーム量計測方法及び装置
JP2000186975A (ja) レンズ検査方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination