CN111108368A - 教学数据制作方法及装置以及缺陷检查方法及装置 - Google Patents

教学数据制作方法及装置以及缺陷检查方法及装置 Download PDF

Info

Publication number
CN111108368A
CN111108368A CN201880060564.0A CN201880060564A CN111108368A CN 111108368 A CN111108368 A CN 111108368A CN 201880060564 A CN201880060564 A CN 201880060564A CN 111108368 A CN111108368 A CN 111108368A
Authority
CN
China
Prior art keywords
defect
teaching data
image
unit
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060564.0A
Other languages
English (en)
Other versions
CN111108368B (zh
Inventor
金子康彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111108368A publication Critical patent/CN111108368A/zh
Application granted granted Critical
Publication of CN111108368B publication Critical patent/CN111108368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/628—Specific applications or type of materials tubes, pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种即使在用于制作教学数据的缺陷的样品数量少的情况下也能够确保缺陷检查的精度的教学数据制作方法及装置以及缺陷检查方法及装置。教学数据制作方法中，获取包含受光图像的训练用图像，所述受光图像是通过对具有缺陷的被检体照射光线或放射线而得到并且是根据来自所述被检体的反射光或透射光而制作的，对所述训练用图像执行频率分布分析，接收用于指定频带的参数的输入，并且根据由所述参数指定的所述频带，从所述频率分布分析的分析结果选择频带信号，针对与所述频带信号对应的图像获取表示缺陷的缺陷信息，并且根据所述缺陷信息制作在用于检查所述被检体的缺陷的缺陷检查装置的学习中使用的教学数据。

Description

教学数据制作方法及装置以及缺陷检查方法及装置
技术领域
本发明涉及一种教学数据制作方法及装置以及缺陷检查方法及装置，尤其涉及一种制作在缺陷检查装置的学习中使用的教学数据的教学数据制作方法及装置以及伴随使用教学数据而学习的缺陷检查方法及装置。
背景技术
专利文献1中公开有一种检查有无被检物的缺陷的缺陷检查装置。在专利文献1中，通过带通滤波器在人工缺陷图像中检测特定频率成分，并且在神经网络部学习人工缺陷图像，由此补偿学习图案的样品不足(从[0031]至[0032])。
专利文献2中公开有具有重复图案的物体的缺陷检查装置。在专利文献2中，通过空间频率滤波器从经傅里叶变换的光去除重复图案([0008])。
专利文献3中公开有根据通过照射被检查物并进行拍摄而获取的检查图像判定被检查物是否良好的缺陷检查方法。在专利文献3中，通过利用具有泛化能力的神经网络，以更少的教学数据进行高精度的缺陷检查([0040])。
以往技术文献
专利文献
专利文献1：日本特开2004-354251号公报
专利文献2：日本特开平09-021757号公报
专利文献3：日本特开2004-191112号公报
发明内容
发明要解决的技术课题
一旦发生事故，用于石油的输送等的配管等设备将对社会造成严重损伤。这种配管等设备很难分解而检查。因此，通过伴随对检查对象的配管等照射光线或放射线的无损检查进行对这种配管等的设备的检查。无损检查中，读影人员对通过对检查对象的配管等照射光线或放射线而得到的配管等的图像进行读影，由此进行缺陷的检查。
作为缺陷的种类，有污点、裂痕、缺失、因杂质及不同种类金属的混入而引起的缺陷、因铸造时空气混入铸模而引起的缺陷等。缺陷的单独形状及尺寸不同并且从一张图像检测到多个缺陷。因此，为了无遗漏地检查图像中的缺陷而需要大量时间。
为了提高使用图像的缺陷的检查的效率，考虑到利用机器学习(MachineLearning)。
在拍摄配管等的检查对象的物体(以下，称为被检体。)的图像中，亮度根据被检体的形状、壁厚及材质等而不同，因此即使为拍摄了相同种类的缺陷的图像，也有浓淡根据缺陷的产生部位而不同的情况。因此，为了在利用机器学习的缺陷的检查中确保检查的精度，需要对每一缺陷的种类收集多个与多种浓淡的变化对应的缺陷的样品图像。
但是，例如在产生频度较低的缺陷的情况下或检查对象的物体属于机密的情况等中，很难获得多个缺陷的样品图像。虽然在缺陷中产生频度较低，但是因一个部件的缺陷而可能对整体设备带来重大影响。因此，即使在无法充分获得缺陷的样品图像的情况下，也需要无遗漏地发现缺陷。
本发明是鉴于这种情况而完成的，其目的在于提供一种即使在用于制作教学数据的缺陷的样品数量少的情况下也能够确保缺陷检查的精度的教学数据制作方法及装置以及缺陷检查方法及装置。
用于解决技术课题的手段
为了解决上述课题，本发明的第1方式所涉及的教学数据制作方法具备：训练用图像获取步骤，获取包含受光图像的训练用图像，所述受光图像是通过对具有缺陷的被检体照射光线或放射线而得到并且是根据来自被检体的反射光或透射光而制作的；频率分布分析步骤，对训练用图像执行频率分布分析；输入步骤，接收用于指定频带的参数的输入；频带选择步骤，根据由参数指定的频带，从频率分布分析的分析结果选择频带信号；及教学数据制作步骤，针对与频带信号对应的图像获取表示缺陷的缺陷信息，并且根据缺陷信息制作在用于检查被检体的缺陷的缺陷检查装置的学习中使用的教学数据。
根据第1方式，对训练用图像执行频率分布分析，并且从频率分布分析的分析结果选择频带信号，由此能够得到与经选择的频带信号对应而浓淡被标准化的图像。通过使用该浓淡被标准化的图像，即使为用于制作教学数据的训练用图像即缺陷的样品的图像的数量少的情况下，也能够确保缺陷检查的精度。
本发明的第2方式所涉及的教学数据制作方法中，根据第1方式，还具备显示步骤，在显示部中显示与在频带选择步骤中选择的频带信号对应的图像，在教学数据制作步骤中，针对在显示部中显示的与频带信号对应的图像，接收表示缺陷或非缺陷的命令的输入，并且根据命令制作教学数据。
第2方式中，根据来自与频带信号对应的图像的读影人员的命令输入制作教学数据。
本发明的第3方式所涉及的教学数据制作方法中，根据第1方式，在训练用图像获取步骤中，表示在训练用图像中包含的被检体的缺陷的缺陷信息与训练用图像建立关联地存储于存储部中，在教学数据制作步骤中，获取与训练用图像建立关联地存储的缺陷信息，并且根据缺陷信息制作教学数据。
本发明的第4方式所涉及的教学数据制作方法中，根据第3方式，在教学数据制作步骤中，获取包含被检体的缺陷的种类及缺陷的位置中的至少1个的缺陷信息。
第3及第4方式中，根据附加到训练用图像的缺陷信息制作教学数据。
本发明的第5方式所涉及的教学数据制作方法中，根据第1至第4方式中的任一个，还具备接收与被检体的材质及被检体中的缺陷对应的多个带通滤波器的登记的步骤，在输入步骤中，接收从多个带通滤波器中指定用于选择频带信号的带通滤波器的参数的输入，在频带选择步骤中，使用由参数指定的带通滤波器来选择频带信号。
本发明的第6方式所涉及的教学数据制作方法中，根据第5方式，在输入步骤中，根据被检体的材质，指定用于选择频带信号的带通滤波器。
根据第5及第6方式，通过根据被检体的材质及缺陷指定带通滤波器，能够针对每一个被检体的材质及缺陷得到浓淡被标准化的图像。
本发明的第7方式所涉及的教学数据制作方法中，根据第1至第6方式中的任一个，在教学数据制作步骤中，制作包含选自训练用图像的频带信号及缺陷信息的教学数据。
本发明的第8方式所涉及的缺陷检查方法中，具备：使用通过第1至第7方式中的任一个所涉及的教学数据制作方法制作的教学数据来进行缺陷检查装置中的学习的步骤；获取检查对象图像的步骤，所述检查对象图像是通过对检查对象的被检体照射光线或放射线而得到并且是根据来自检查对象的被检体的反射光或透射光而制作的；及通过进行了学习的缺陷检查装置检测检查对象图像中的缺陷的缺陷检查步骤。
根据第8方式，通过使用浓淡被标准化的图像，即使为用于制作教学数据的训练用图像的样品数量少的情况下，也能够确保缺陷检查的精度。
本发明的第9方式所涉及的缺陷检查方法中，根据第8方式，缺陷检查步骤具备：对检查对象图像执行频率分布分析的步骤；从针对检查对象图像的频率分布分析的分析结果选择频带信号的步骤；及根据选自针对检查对象图像的频率分布分析的分析结果的频带信号及教学数据来检测检查对象图像中的缺陷的步骤。
根据第9方式，与训练用图像相同地，通过检查对象图像的浓淡被标准化，能够确保缺陷检查的精度。
本发明的第10方式所涉及的教学数据制作装置具备：训练用图像获取部，获取包含受光图像的训练用图像，所述受光图像是通过对具有缺陷的被检体照射光线或放射线而得到并且是根据来自被检体的反射光或透射光而制作的；频率分布分析部，对训练用图像执行频率分布分析；输入部，接收用于指定频带的参数的输入；频带选择部，根据由参数指定的频带，从频率分布分析的分析结果选择频带信号；缺陷信息获取部，针对与频带信号对应的图像获取表示缺陷的缺陷信息；及教学数据制作部，根据缺陷信息制作在用于检查被检体的缺陷的缺陷检查装置的学习中使用的教学数据。
本发明的第11方式所涉及的缺陷检查装置具备：第10方式所涉及的教学数据制作装置；检查对象图像获取部，获取检查对象图像，所述检测对象图像是通过对检查对象的被检体照射光线或放射线而得到并且是根据来自检查对象的被检体的反射光或透射光而制作的；及缺陷检查部，使用通过教学数据制作装置制作的教学数据进行学习，并且检测检查对象图像中的缺陷。
发明效果
根据本发明，对训练用图像执行频率分布分析，并且从频率分布分析的分析结果选择频带信号，由此能够得到与经选择的频带信号对应而浓淡被标准化的图像。通过使用该浓淡被标准化的图像，即使为用于制作教学数据的训练用图像即缺陷的样品的图像的数量少的情况下，也能够确保缺陷检查的精度。
附图说明
图1是表示本发明的第1实施方式所涉及的缺陷检查系统的块图。
图2是表示本发明的第1实施方式所涉及的教学数据制作装置的块图。
图3是表示本发明的第1实施方式所涉及的缺陷检查装置的块图。
图4是提取在本发明的第1实施方式所涉及的缺陷检查系统中的教学数据的制作及使用教学数据的学习所涉及的构成而表示的块图。
图5是表示训练用图像的例的图。
图6是表示转换后的图像的例的图。
图7是对训练用图像中的缺陷的图像与转换后的图像中的缺陷的图像进行对比而表示的图。
图8是与频率分布分析有关的说明图。
图9是与带通滤波器有关的说明图。
图10是表示应用了带通滤波器的图像的第1例的图。
图11是表示应用了带通滤波器的图像的第2例的图。
图12是表示应用了带通滤波器的图像的第3例的图。
图13是示意性地表示教学数据的图。
图14是简化教学数据而表示的图。
图15是表示摄像系统的例的块图。
图16是表示本发明的第1实施方式所涉及的教学数据的制作及使用经制作的教学数据的缺陷判定器的学习的处理的流程的示意图。
图17是表示图16的频带选择步骤中的处理的流程的示意图。
图18是表示图16的缺陷信息获取步骤中的处理的流程的示意图。
图19是图16的缺陷信息获取步骤中的处理的流程的另一例的示意图。
图20是表示本发明的第1实施方式所涉及的缺陷检查方法中的处理的流程的示意图。
图21是表示本发明的第2实施方式所涉及的缺陷检查系统的块图。
具体实施方式
以下，根据附图对本发明所涉及的教学数据制作方法及装置以及缺陷检查方法及装置的实施方式进行说明。
[第1实施方式]
[缺陷检查系统的结构]
图1是表示本发明的第1实施方式所涉及的缺陷检查系统的块图。
如图1所示，本实施方式所涉及的缺陷检查系统10对工业产品等的检查对象的物体(以下，称为被检体。)进行伴随机器学习的缺陷的检查，并且具备教学数据制作装置100及缺陷检查装置200。
教学数据制作装置100接收训练用图像P10的输入，并且根据训练用图像P10制作用于学习缺陷判定器126(参考图4)的教学数据(参考图13及图14)。在此，训练用图像P10是指包含产生缺陷的样品的图像，并且为通过缺陷检查装置200对应检查的被检体OBJ和相同或类似的工业产品等进行拍摄而得到的图像。训练用图像P10可以为对在使用被检体时自然产生缺陷的被检体进行拍摄的图像，也可以为对人为附加缺陷的被检体进行拍摄的图像。作为训练用图像P10，例如能够使用由安装有被检体的设施等的设计人员或操作人员作为样品而提供的图像。
教学数据制作装置100将学习后的缺陷判定器222(参考图4)作为学习结果而传送到缺陷检查装置200。
摄像系统300通过缺陷检查装置200对应检查的被检体OBJ的图像进行拍摄。摄像系统300对被检体OBJ照射放射线，并且根据通过被检体OBJ反射的反射光或透射被检体OBJ的透射光对被检体OBJ的图像进行拍摄。
缺陷检查装置200使用学习后的缺陷判定器222(参考图4)来检查缺陷是否包含在通过摄像系统300等拍摄的被检体OBJ的图像即被检体图像P30中。缺陷包含在被检体图像P30中时，缺陷检查装置200使用学习后的缺陷判定器222(参考图4)来确定该缺陷的位置及种类。
[教学数据制作装置的结构]
接着，参考图2对本实施方式所涉及的教学数据制作装置100进行说明。图2是表示教学数据制作装置100的块图。
如图2所示，本实施方式所涉及的教学数据制作装置100具备控制部102、操作部104、存储器106、记录部108、显示部110、通信接口(通信I/F：interface)112、训练用图像获取部114、频率分布分析部116、频带选择部118、缺陷信息获取部120、教学数据制作部122及学习部124。
控制部102包含控制教学数据制作装置100的各部的运转的CPU(CentralProcessing Unit，中央处理单元)。控制部102能够经由总线B10在教学数据制作装置100的各部之间进行控制信号及数据的收发。控制部102经由操作部104接收来自操作人员的操作输入，并且经由总线B10将与该操作输入相对应的控制信号发送到教学数据制作装置100的各部来控制各部的运转。
操作部104为接收来自操作人员的操作输入的输入装置，并且包含用于文字输入等的键盘及用于操作显示于显示部110的指针及图标等的指示设备(例如，鼠标、轨迹球等)。另外，作为操作部104，也可以代替键盘及指示设备或除了键盘及指示设备以外在显示部110的表面设置触摸面板。
存储器106包含用作用于通过控制部102等进行的各种运算的工作区域的RAM(Random Access Memory，随机存取存储器)及用作用于暂存输出到显示部110的图像数据的区域的VRAM(Video Random Access Memory，视频随机存取存储器)。
记录部108存储包含训练用图像P10及控制部102所使用的控制程序等的数据。作为记录部108，例如能够使用包含HDD(Hard Disk Drive，硬碟机)等磁碟的装置、包含eMMC(embedded Multi Media Card，嵌入式多媒体卡)、SSD(Solid State Drive，固态硬盘)等闪存的装置等。
显示部110为用于显示图像的装置。作为显示部110，例如能够使用液晶显示器。
通信I/F112为用于经由网络在外部装置之间进行通信的部件。作为教学数据制作装置100与外部装置之间的数据的收发方法，能够使用有线通信或无线通信(例如，LAN(Local Area Network，局域网)、WAN(Wide Area Netw ork，广域网)、互联网连接等)。
训练用图像获取部114能够经由通信I/F112接收训练用图像P10的输入。另外，将训练用图像P10输入到教学数据制作装置100的方法并不限定于经由网络的通信。例如可以使用USB(Universal Serial Bus，通用串行总线)电缆、Bluetooth(注册商标)、红外线通信等，将训练用图像P10存储到在教学数据制作装置100上可拆卸及读取的记录介质(例如，存储卡)，训练用图像获取部114也可以经由该记录介质接收训练用图像P10的输入。
频率分布分析部116对训练用图像P10执行频率分布分析。频率分布分析部116对训练用图像P10实施傅里叶变换例如FFT(Fast Fourier Transfor m，快速傅立叶变换)或离散余弦变换(DCT：Discrete Cosine Transfor m)，并且将训练用图像P10分解成每个频率成分的频带信号。而且，频率分布分析部116从由训练用图像P10获取的频带信号去除全局浓淡的分布例如低频的浓淡的变化，并且将因缺陷而引起的浓淡差标准化至以基准浓度(例如灰色50％)为中心的浓淡差。
频带选择部118根据训练用图像P10中所包含的被检体的材质及在被检体中应检查的缺陷的种类，从基于频率分布分析部116的分析结果选择用于制作教学数据的频带信号。
缺陷信息获取部120获取与通过频带选择部118选择的频带信号对应的图像中所包含的表示缺陷的缺陷信息。
教学数据制作部122根据缺陷信息从转换后的图像P20剪切个别的缺陷的图像P20-1、P20-2、P20-3、……、P20-n。而且，教学数据制作部122制作将个别的缺陷的图像P20-1、P20-2、P20-3、……、P20-n作为输入、将缺陷的种类作为输出的教学数据。
学习部124使缺陷判定器126(参考图4)使用通过教学数据制作部122制作的教学数据进行学习。学习部124将学习后的缺陷判定器222(参考图4)传送到缺陷检查装置200。
另外，训练用图像获取部114、频率分布分析部116、频带选择部118、缺陷信息获取部120、教学数据制作部122及学习部124的功能的全部或一部分可以通过专用电路构建，也可以作为通过控制部102的CPU实现的功能而构建。
[缺陷检查装置的结构]
接着，参考图3对本实施方式所涉及的缺陷检查装置200进行说明。图3是表示缺陷检查装置200的块图。
如图3所示，本实施方式所涉及的缺陷检查装置200具备控制部202、操作部204、存储器206、记录部208、显示部210、通信接口(通信I/F：interface)212、检查对象图像获取部214、频率分布分析部216、频带选择部218及缺陷检查部220。
控制部202包含控制缺陷检查装置200的各部的运转的CPU(Central Pro cessingUnit)。控制部202能够经由总线B20在缺陷检查装置200的各部之间进行控制信号及数据的收发。控制部202经由操作部204接收来自操作人员的操作输入，并且经由总线B20将与该操作输入相对应的控制信号发送到缺陷检查装置200的各部来控制各部的运转。
操作部204为接收来自操作人员的操作输入的输入装置，并且包含用于文字输入等的键盘及用于操作显示于显示部210的指针及图标等的指示设备(例如，鼠标、轨迹球等)。另外，作为操作部204，也可以代替键盘及指示设备或除了键盘及指示设备以外在显示部210的表面设置触摸面板。
存储器206包含用作用于通过控制部202等进行的各种运算的工作区域的RAM(Random Access Memory)及用作用于暂存输出到显示部210的图像数据的区域的VRAM(Video Random Access Memory)。
记录部208存储包含对检查对象的被检体OBJ进行拍摄而得到的被检体图像P30及控制部202所使用的控制程序等的数据。作为记录部208，例如能够使用包含HDD(Hard DiskDrive)等磁碟的装置、包含eMMC(embedded Multi Media Card)、SSD(Solid State Drive)等闪存的装置等。
显示部210为用于显示图像的装置。作为显示部210，例如能够使用液晶显示器。
通信I/F212为用于经由网络在外部装置之间进行通信的部件。作为缺陷检查装置200与外部装置之间的数据的收发方法，能够使用有线通信或无线通信(例如，LAN(LocalArea Network)、WAN(Wide Area Network)、互联网连接等)。
检查对象图像获取部214经由通信I/F212接收通过摄像系统300等拍摄的被检体OBJ的图像即被检体图像P30的输入。另外，将被检体图像P30输入到缺陷检查装置200的方法并不限定于经由网络的通信。例如可以使用USB(Universal Serial Bus)电缆、Bluetooth(注册商标)、红外线通信等，将被检体图像P30存储到能够与缺陷检查装置200拆卸及读取的记录介质(例如，存储卡)，也可以经由该记录介质将被检体图像P30输入到缺陷检查装置200。
频率分布分析部216对被检体图像P30执行频率分布分析。频率分布分析部216对被检体图像P30实施傅里叶变换例如FFT(Fast Fourier Transfor m)或离散余弦变换(DCT：Discrete Cosine Transform)，并且将被检体图像P30分解成每个频率成分的频带信号。而且，频率分布分析部216从由被检体图像P30获取的频带信号去除全局浓淡的分布例如低频的浓淡的变化，并且将因缺陷而引起的浓淡差标准化至以基准浓度(例如灰色50％)为中心的浓淡差。
频带选择部218根据被检体图像P30中所包含的被检体的材质及在被检体中应检查的缺陷的种类，从基于频率分布分析部216的分析结果选择频带信号。
缺陷检查部220使用从教学数据制作装置100的学习部124传送的缺陷判定器222(参考图4)进行缺陷的有无(缺陷或非缺陷)及种类的判定。缺陷检查部220将缺陷检查的结果显示于显示部210。
另外，检查对象图像获取部214、频率分布分析部216、频带选择部218及缺陷检查部220的功能的全部或一部分可以通过专用电路构建，也可以作为通过控制部202的CPU实现的功能而构建。
[教学数据制作及学习所涉及的结构]
接着，参考图4至图14对教学数据的制作及使用教学数据的学习进行说明。
图4是提取在缺陷检查系统10中的教学数据的制作及使用教学数据的学习所涉及的构成而表示的块图。
频率分布分析部116对通过训练用图像获取部114获取的训练用图像P10实施FFT。而且，频率分布分析部116从由训练用图像P10获取的频带信号去除全局浓淡的分布例如低频的浓淡的变化，并且将因缺陷而引起的浓淡差标准化至以基准浓度(例如灰色50％)为中心的浓淡差。
频带选择部118根据训练用图像P10中所包含的被检体的材质及在被检体中应检查的缺陷的种类，从基于频率分布分析部116的分析结果选择用于制作教学数据的频带信号。
缺陷信息获取部120获取与通过频带选择部118选择的频带信号对应的图像中所包含的表示缺陷的缺陷信息。
图5是表示训练用图像P10的例的图，图6是表示转换后的图像P20的例的图。图7是对训练用图像P10中的缺陷的图像与转换后的图像P20中的缺陷的图像进行对比而表示的图。
图5所示的训练用图像P10的图像为使X射线透射被检体的图像，并且包含因被检体的形状、壁厚及材质等而引起的亮度差。因此，如图7所示，在从训练用图像P10剪切的缺陷的图像P10-1、P10-2、P10-3、……、P10-n中，因缺陷而引起的浓淡的变化受到因被检体的形状、壁厚及材质等而引起的亮度差的影响而发生变化。因此，使用从训练用图像P10剪切的缺陷的图像P10-1、P10-2、P10-3、……、P10-n进行学习时，为了确保缺陷检查的精度，需要对每一缺陷的种类收集多个与多种浓淡的变化对应的缺陷的样品图像。
与此相对，作为一例，本实施方式所涉及的频率分布分析部116将训练用图像P10转换成以灰色50％为基准浓度的256灰度的浓淡差的图像。在图6所示的转换后的图像P20中浓淡被标准化，并且去除了因被检体的形状、壁厚及材质等而引起的亮度差的影响。因此，如图7所示，在从转换后的图像P20剪切的缺陷的图像P20-1、P20-2、P20-3、……、P20-n中，在标准化的浓淡下显现出因缺陷而引起的浓淡的变化。
在本实施方式中，通过使用浓淡差被标准化的图像，能够减少用于制作教学数据的训练用图像P10的数量的同时确保缺陷检查的精度。
图8是与频率分布分析有关的说明图。图8(a)至图8(d)中，横轴表示频率，纵轴表示信号的强度。
图8(a)是表示原始训练用图像P10的图。图8(a)中，显现出低频的浓淡的变化等的全局浓淡的分布、即因被检体的形状、壁厚及材质等而引起的亮度差。
首先，频率分布分析部116对图8(a)的强度分布实施FFT来去除低频的浓淡的变化。由此，如图8(b)所示，从图8(a)的强度分布去除因被检体的形状、壁厚及材质等而引起的亮度差的影响。
接着，频率分布分析部116调整图8(b)的强度分布中的最大值及最小值。频率分布分析部116例如进行强度分布的转换，以使最大值与最小值之间的差成为256灰度。该强度分布的转换可以通过将图8(b)的强度分布沿纵轴方向扩展或收缩的线性转换来进行。
另外，在线性转换中，与最大值和最小值之间的微小的浓淡的变化有关的信息丢失时，可以进行非线性转换来保留微小的浓淡的变化。具体而言，在降低存在微小的浓淡的变化的部分的缩小率的同时，也可以提高没有微小的浓淡的变化的部分即没有浓淡的变化或单调的部分的缩小率。
接着，频率分布分析部116使图8(c)的强度分布沿纵轴方向位移，使浓淡的最大值为255并且使最小值为0。由此，如图8(d)所示，制作浓淡的分布被标准化的256灰度的浓淡差的图像。
频带选择部118从256灰度的浓淡差的图像根据被检体的材质及缺陷的种类选择频带。频带选择部118具备用于根据被检体的材质及缺陷的种类选择频带的带通滤波器。
图9是与带通滤波器有关的说明图。图9中，横轴表示频率(cycle/mm)，纵轴表示通过的信号的相对强度(通过强度或通过率)。
如图9所示，特性1、特性2、……、特性n为通过的频带彼此不同的特性曲线(LUT：Look-Up Table，查询表)。频带选择部118根据被检体的材质及缺陷的种类选择通过这些特性曲线表示的带通滤波器。操作人员通过来自操作部104的操作输入来输入指定带通滤波器的参数，由此能够选择带通滤波器。频带选择部118对经选择的带通滤波器施加到256灰度的浓淡差的图像，由此制作用于制作教学数据的转换后的图像P20。
频带选择部118可以根据被检体的材质及缺陷的种类预先存储与适于缺陷的检测的频带有关的信息。在这种情况下，频带选择部118将用于接收被检体的材质及缺陷的种类的输入的画面(GUI：Graphical User Interface图形用户界面)显示于显示部110。若通过来自操作部104的操作输入来输入被检体的材质及缺陷的种类，则频带选择部118根据所输入的被检体的材质及缺陷的种类来确定适于缺陷的检测的频带，并且选择使经确定的频带的信号通过的带通滤波器。由此，制作用于制作教学数据的转换后的图像P20。
图10至图12是表示应用了带通滤波器的图像的例的图。在此，作为一例，个别的缺陷的图像的尺寸能够设为30mm×30mm。图10示出了使用图9的特性2的带通滤波器在缺陷的图像中强调了0.5倍(2分周)频率的例。图11示出了使用图9的特性1的带通滤波器在缺陷的图像中强调了0.25倍(4分周)频率的例。图12示出了使用图9的特性1及特性2的带通滤波器在缺陷的图像中同时强调了0.25倍(4分周)频率与0.5倍(2分周)频率的例。如此，根据训练用图像P10中的被检体的材质及应检测的缺陷的种类准备了带通滤波器，由此能够制作适于缺陷的检测的教学数据用图像。
教学数据制作部122从频带选择部118获取转换后的图像P20。
另外，教学数据制作部122从缺陷信息获取部120获取与训练用图像P10中的缺陷的位置及种类有关的信息。关于缺陷信息的获取方法，考虑到通过接收来自操作人员的输入而获取的方法(1)及从训练用图像P10的附加信息获取的方法(2)。
方法(1)为根据来自操作人员的信息的输入获取缺陷信息的方法。方法(1)的情况下，缺陷信息获取部120将与通过频带选择部118选择的频带信号对应的图像(以下，称为转换后的图像P20。)显示于显示部110。而且，缺陷信息获取部120经由操作部104接收包含与显示于显示部110的转换后的图像P20中所包含的缺陷的位置及种类有关的信息的缺陷信息的输入(参考图18)。
方法(2)的情况下，由安装有被检体的设施等的设计人员或操作人员作为样品而提供的训练用图像P10中，作为附加信息而建立关联地记录有包含与缺陷的位置及种类有关的信息的缺陷信息。训练用图像获取部114与训练用图像P10一同获取该缺陷信息，缺陷信息获取部120从该缺陷信息读出与训练用图像P10中的缺陷的位置及种类有关的信息(参考图19)。
教学数据制作部122根据缺陷信息从转换后的图像P20剪切个别的缺陷的图像P20-1、P20-2、P20-3、……、P20-n。另外，教学数据制作部122进行图像的浓淡的分析，分别求出缺陷的图像P20-1、P20-2、P20-3、……、P20-n中的特征量。而且，教学数据制作部122制作将个别的缺陷的图像P20-1、P20-2、P20-3、……、P20-n及个别的缺陷的图像中的特征量作为输入、将缺陷的种类作为输出的教学数据。
图13是示意性地表示教学数据的图，图14是简化教学数据而表示的图。
如图13所示，教学数据包含缺陷的图像P20-1、P20-2、P20-3、……、P20-n的数据、从缺陷的图像获取的缺陷的图像中的特征量及表示缺陷的种类的信息。在此，作为一例，缺陷的图像的P20-1、P20-2、P20-3、……、P20-n的尺寸能够设为30mm×30mm。
如图14所示，教学数据包含作为“输入”的个别的缺陷的图像P20-1、P20-2、P20-3、……、P20-n及个别的缺陷的图像中的特征量及表示作为“输出”的缺陷的种类的信息。关于教学数据中的“输出”，也有时称为教学信号、教授信号、正解数据或标签。另外，图14中省略了特征量的图示。
图14所示的例中，缺陷的图像P20-1及P20-2与铸造被检体时因混入与被检体的材料不同的金属(不同种类金属)而引起的缺陷对应，缺陷的图像P20-3与因混入铸造被检体时的空气而引起的缺陷对应。
学习部124使缺陷判定器126使用通过教学数据制作部122制作的教学数据进行学习。学习部124将学习后的缺陷判定器222传送到缺陷检查装置200。在此，作为缺陷判定器126及222，例如能够使用利用神经网络、深层学习(Deep Learning)、决策树、线性分类器、SVM(Support Vector Machine，支持向量机)、判别分析等的缺陷判定器。
在学习部124中，以如下方式进行学习：从教学数据读出的缺陷的图像及缺陷的图像中的特征量输入到学习前的缺陷判定器126，在教学数据中得到与表示所输入的缺陷的图像中所包含的缺陷的种类的信息相同的输出。在此，作为缺陷的图像中的特征量，例如可采用转换后的图像P20中的明度或亮度的平均、缺陷的面积、周长及扁平度以及使缺陷近似于椭圆时的长轴的长度及长轴与被检体的特征点(例如，被检体的端面、中心轴等)的斜率等。
学习部124将学习结果即学习后的缺陷判定器222传送到缺陷检查装置200的缺陷检查部220。在此，缺陷判定器222具体而言为包含缺陷判定器222的结构及表示变量的值的信息的缺陷检查部220中的缺陷检查中所使用的数据。
缺陷检查部220使用从教学数据制作装置100的学习部124传送的缺陷判定器222来进行对被检体图像P30的缺陷检查。
[摄像系统的结构]
接着，参考图15对用于拍摄被检体OBJ的图像的摄像系统300进行说明。图15是表示摄像系统300的例的块图。
摄像系统300用于拍摄置于摄像室R10内的被检体OBJ。如图15所示，具备摄像控制部302、摄像操作部304、图像记录部306、显示部308、通信接口(通信I/F：interface)310、AD及DA(analog to digital(模拟到数字)及digitalto analog(数字到模拟))转换部312、工作台314、工作台驱动部316、相机318以及放射线源320及322。
摄像控制部302包含控制摄像系统300的各部的运转的CPU(CentralProcessingUnit)，经由总线B30与摄像系统300的各部连接。摄像控制部302经由摄像操作部304接收来自操作人员(摄像人员)的操作输入，并且将与该操作输入相对应的控制信号发送到摄像系统300的各部来控制各部的运转。
摄像操作部304为接收来自操作人员的操作输入的输入装置，并且包含用于文字输入的键盘及用于操作显示于显示部308的指针、图标等的指示设备(例如，鼠标、轨迹球等)。操作人员能够经由摄像操作部304进行与被检体OBJ有关的信息的输入、对相机318执行拍摄的命令的输入(例如包含曝光时间、焦距、光圈等撮像条件、摄像角度、撮像部位等的设定)、对放射线源320及322照射放射线的命令的输入(例如包含照射开始时间、照射持续时间、照射角度、照射强度等的设定)、将所获取的图像数据记录到图像记录部306的命令的输入。
图像记录部306记录通过相机318拍摄的被检体OBJ的图像(被检体图像P30)。图像记录部306中与图像数据建立关联地记录用于确定被检体OBJ的信息。
显示部308为用于显示图像的装置。作为显示部308，例如能够使用液晶显示器。
通信I/F310为用于经由网络等在外部装置之间进行通信的部件。摄像系统300中拍摄的被检体图像P30能够经由通信I/F310传送到缺陷检查装置200。
AD及DA转换部312将从摄像控制部302输出的数字控制信号转换成模拟信号，并且传输到摄像室R10内的各部例如工作台驱动部316、放射线源320及322。
AD及DA转换部312将从摄像室R10内的各部输出的模拟信号(例如，通过工作台驱动部316检测的表示工作台314的位置的信号)转换成数字信号，并且传输到摄像控制部302。摄像控制部302能够根据表示工作台314的位置的信号例如将工作台314的可移动范围显示于显示部308。
相机318、放射线源320及322配置于摄像室R10的内部。放射线源320及322例如为X射线源，在摄像室R10与外部之间的隔壁及出入口通过X射线防护材料(例如，铅、混凝土等)实施X射线防护。在此，放射线源320及322并不限定于X射线源，例如可以为电子束源或可见光光源。另外，对被检体OBJ照射可见光来进行拍摄时，无需使用实施了防护的摄像室R10。
放射线源320及322根据来自摄像控制部302的命令，对载置于摄像室R10内的工作台314的被检体OBJ照射放射线。
相机318根据来自摄像控制部302的执行拍摄的命令，接收从放射线源320对被检体OBJ照射并通过被检体OBJ反射的放射线或从放射线源322对被检体OBJ照射并透射被检体OBJ的放射线来拍摄被检体OBJ。
被检体OBJ载置于工作台314。工作台驱动部316包含用于移动工作台314的致动器或马达等，能够使工作台314移动。并且，相机318、放射线源320及322安装成可在摄像室R10内移动。操作人员能够经由摄像控制部302来控制被检体OBJ、相机318、放射线源320及322的相对位置、距离及角度，并能够拍摄被检体OBJ中的任意部位。
放射线源320及322与基于相机318的拍摄的执行的结束同步地结束对被检体OBJ的放射线的照射。
在图15所示的例中，相机318配置于摄像室R10的内部，但是也可以配置于外部。
并且，在图15所示的例中，设置有1台相机318、设置有2台放射线源320及322，但是相机及放射线源的台数并不限定于此。例如，相机及放射线源可以分别具有多台，也可以仅为1台。
另外，在图15所示的例中，在将被检体OBJ载置于摄像室R10内的工作台314的状态下进行拍摄，但是本发明并不限定于此。被检体OBJ难以运载到摄像室R10内时，使用具备操作人员能够携带的手提式型X射线发生装置及X射线摄像装置的X射线无损检查装置，也能够拍摄被检体图像P30。
[教学数据制作方法及使用教学数据的学习]
接着，参考图16至图19对本实施方式所涉及的教学数据制作方法及使用教学数据的学习进行说明。
图16是表示本发明的第1实施方式所涉及的教学数据的制作及使用经制作的教学数据的缺陷判定器的学习的处理的流程的示意图。
首先，训练用图像获取部114获取训练用图像P10(步骤S10：训练用图像获取步骤)。在此，训练用图像P10可以由安装有被检体的设施等的设计人员或操作人员作为缺陷图像的样品而提供，也可以通过摄像系统300拍摄产生有缺陷的被检体的图像而得到的图像。
接着，频率分布分析部116对训练用图像P10实施频率分布分析，从由训练用图像P10获取的频带信号去除全局浓淡的分布、例如低频的浓淡的变化，并且将因缺陷而引起的浓淡差标准化至以基准浓度(例如灰色50％)为中心的浓淡差(步骤S20：频率分布分析步骤)。在步骤S20中，也可以对训练用图像P10实施傅里叶变换例如FFT(Fast FourierTransform)或离散余弦变换(DCT：Discrete Cosine Transform)。
接着，频带选择部118从基于频率分布分析部116的分析结果选择用于制作教学数据的频带信号(步骤S30：频带选择步骤)。
图17是表示图16的频带选择步骤中的处理的流程的示意图。首先，频带选择部118经由操作部104接收具有与被检体的材质及检查对象的缺陷的种类对应的特性的带通滤波器的指定(步骤S32：输入步骤)。接着，频带选择部118选择在步骤S32中指定的带通滤波器(步骤S34：频带选择步骤)。
在步骤S32中，例如频带选择部118在显示部110中显示用于接收被检体的材质及缺陷的种类的输入的画面(GUI：Graphical User Interface)，并且经由操作部104接收被检体的材质及缺陷的种类的输入。在步骤S34中，频带选择部118根据经输入的被检体的材质及缺陷的种类来确定适于缺陷的检测的频带，并且选择使经确定的频带的信号通过的带通滤波器。
接着，频带选择部118将训练用图像P10转换成与在步骤S30中选择的频带对应的频带信号(步骤S40)。
接着，缺陷信息获取部120获取与在步骤S30中选择的频带对应的图像的缺陷信息(步骤S50：教学数据制作步骤中的缺陷信息获取步骤)。
接着，教学数据制作部122根据与经选择的频带对应的图像及缺陷信息制作教学数据(步骤S60：教学数据制作步骤)。
接着，学习部124使用在步骤S60中制作的教学数据来进行缺陷判定器126的学习(步骤S70：学习步骤)。步骤S70的学习后的缺陷判定器222从教学数据制作装置100传送到缺陷检查装置200。
图18是表示图16的缺陷信息获取步骤中的处理的流程的示意图。
首先，缺陷信息获取部120在显示部110中显示与在步骤S30中选择的频带对应的图像(步骤S52：显示步骤)。
接着，缺陷信息获取部120经由操作部104接收包含与显示于显示部110的图像中所包含的缺陷的位置及种类有关的信息的缺陷信息的输入(步骤S54)。
图19是表示图16的缺陷信息获取步骤中的处理的流程的另一例的示意图。
首先，缺陷信息获取部120从训练用图像P10的附加信息获取包含与训练用图像P10中所包含的缺陷的位置及种类有关的信息的缺陷信息(步骤S56)。
接着，缺陷信息获取部120建立关联地保存与缺陷信息中所包含的缺陷的位置及种类有关的信息、转换后的图像P20中的缺陷的图像及表示其位置的坐标(步骤S58)。
通过图18或图19所记载的步骤，与训练用图像P10中所包含的缺陷的位置及种类有关的信息输入到教学数据制作装置100。
[缺陷的检查]
接着，参考图20对本实施方式所涉及的缺陷检查方法进行说明。图20是表示本发明的第1实施方式所涉及的缺陷检查方法中的处理的流程的示意图。
首先，检查对象图像获取部214从摄像系统300等获取被检体图像P30(步骤S100：检查对象图像获取步骤)。
接着，频率分布分析部216对被检体图像P30实施频率分布分析(步骤S102)。步骤S102中的频率分布分析可以由与教学数据制作装置100中的频率分布分析(图16的步骤S20)相同的方法进行。
接着，获取被检体图像P30的与被检体OBJ的材质有关的信息(步骤S104)。与被检体OBJ的材质有关的信息例如可以通过经由操作部204接收来自操作人员的输入来获取，也可以作为附加信息预先附加到被检体图像P30。
接着，频带选择部218接收检查对象的缺陷的种类的指定(步骤S106)。在步骤S106中，频带选择部218例如可以经由操作部204从操作人员接收缺陷的种类的指定输入。
接着，频带选择部218根据与在步骤S104中获取的被检体OBJ的材质有关的信息及在步骤S106中指定的缺陷的种类选择频带信号(步骤S108)。在此，频带选择部218与教学数据制作装置100中的频带选择部118相同地，可以根据被检体的材质及缺陷的种类预先存储与适于缺陷的检测的频带有关的信息。而且，频带选择部218可以根据经输入的被检体的材质及缺陷的种类来确定适于缺陷的检测的频带，并且选择使经确定的频带的信号通过的带通滤波器。
接着，频带选择部218将被检体图像P30转换成与在步骤S108中选择的频带对应的频带信号(步骤S110)。步骤S110的转换后的被检体图像与用于制作教学数据的转换后的图像P20相同地，成为浓淡被标准化的256灰度的浓淡差的图像。
接着，缺陷检查部220使用学习后的缺陷判定器222对与在步骤S108中选择的频带对应的图像执行缺陷检查(步骤S112：缺陷检查步骤)。
接着，缺陷检查部220在显示部210显示步骤S112中的缺陷检查的结果(步骤S114)。
接着，控制部202判断是否针对所有的种类的缺陷结束了缺陷检查(步骤S116)。针对所有的种类的缺陷结束了缺陷检查时(步骤S116中为是)，控制部202除了步骤S114中的缺陷检查的结果的显示之外，还在显示部210显示表示针对所有的种类的缺陷结束了缺陷检查的显示(步骤S118)，并且进入到步骤S120。另一方面，尚未针对所有的种类的缺陷结束缺陷检查时(步骤S116中为否)，进入到步骤S120。
接着，经由操作部204输入缺陷检查的结束命令时(步骤S120中为是)，结束步骤。另一方面，未输入缺陷检查的结束命令时(步骤S120中为否)，继续显示步骤S114中的缺陷检查的结果。而且，可以根据来自操作部204的操作输入，返回到其他种类的缺陷的检查(步骤S106)。
在步骤S112中，缺陷检查部220从步骤S110中的转换后的被检体图像剪切个别的缺陷的图像。而且，步骤S114中，缺陷检查部220可以在显示部210中并排显示个别的缺陷的图像和作为缺陷检查的结果的缺陷的位置及种类。
另外，可以制作将从转换后的被检体图像剪切的个别的缺陷的图像及从该图像求出的特征量为输入、将缺陷的种类为输出的教学数据，并且使缺陷判定器222使用该教学数据进行学习。
[第2实施方式]
图21是表示本发明的第2实施方式所涉及的缺陷检查系统的块图。
在第1实施方式中，将教学数据制作装置100与缺陷检查装置200设为分别独立的装置，但是教学数据制作装置100与缺陷检查装置200也可以作为1个装置而构成。
如图21所示，本实施方式所涉及的缺陷检查系统10A除了图2及图4所示的教学数据制作装置100的结构以外，还具备检查对象图像获取部214及缺陷检查部220。在本实施方式中，控制部102、操作部104、存储器106、记录部108、显示部110及通信T/F112在教学数据制作与缺陷检查的这两个步骤中共同使用。并且，频率分布分析部116及频带选择部118除了用于对训练用图像P10的处理以外，也可以用于对被检体图像P30的处理。
另外，除了教学数据制作装置100及缺陷检查装置200以外，也可以经由同一个控制部、操作部及显示部来控制包含摄像系统300的整个系统。
另外，本发明的各实施方式的适用范围并不限定于使用拍摄配管等的设备而得到的图像的缺陷检查。本实施方式例如也能够应用于汽车等的涂装的缺陷的检查及使用在半导体制造步骤中进行的SEM(Scanning Electron Microscop e，扫描电子显微镜)图像的自动缺陷分类(ADC：Automatic Defect Classif ication)。
本发明也能够作为使计算机实现上述处理的程序(教学数据制作程序缺陷检查程序)或存储这种程序的非暂时性记录介质或程序产品而实现。通过在计算机中应用这种程序，能够在计算机的运算部件、记录部件等中实现与本实施方式所涉及的教学数据制作方法及缺陷检查方法的各步骤对应的功能。
各实施方式中，例如执行称为训练用图像获取部114、频率分布分析部116、频带选择部118、缺陷信息获取部120、教学数据制作部122及学习部124以及检查对象图像获取部214、频率分布分析部216、频带选择部218及缺陷检查部220的各种处理的处理部(processing unit)的硬件结构能够作为如下示出的各种处理器(processor)而实现。各种处理器包含作为执行软件(程序)并且作为各种处理部而发挥功能的通用处理器即CPU(Central Proce ssing Unit)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等制造之后能够改变电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、具有ASIC(Application Specific Integrated Circ uit，专用集成电路)等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或者CPU与FPGA的组合)构成。并且，多个处理部可以由1个处理器构成。作为由1个处理器构成多个处理部的例，第1具有如下形式：如以客户端或服务器等的计算机为代表的、由1个以上的CPU与软件的组合构成1个处理器，并且该处理器作为多个处理部而发挥功能。第2具有如下形式：以片上系统(System On Chip：SoC)等为代表的、使用由1个IC(Integrated Circuit，积体电路)芯片实现包含多个处理部的整个系统的功能的处理器。如此，使用1个以上的上述各种处理器作为硬件结构而构成各种处理部。
另外，这些各种处理器的硬件结构更具体而言为组合半导体元件等的电路元件而成的电路(circuitry)。
符号说明
10、10A-缺陷检查系统，100-教学数据制作装置，102-控制部，104-操作部，106-存储器，108-记录部，110-显示部，112-通信接口，114-训练用图像获取部，116-频率分布分析部，118-频带选择部，120-缺陷信息获取部，122-教学数据制作部，124-学习部，126-学习前的缺陷判定器，200-缺陷检查装置，202-控制部，204-操作部，206-存储器，208-记录部，210-显示部，212-通信接口，214-检查对象图像获取部，216-频率分布分析部，218-频带选择部，220-缺陷检查部，222-学习后的缺陷判定器，P10-训练用图像，P10-1、P10-2、P10-3、……、P10-n-训练用图像中的缺陷的图像，P20-转换后的训练用图像，P20-1、P20-2、P20-3、……、P20-n-转换后的训练用图像中的缺陷的图像，P30-被检体图像，300-摄像系统，302-摄像控制部，304-摄像操作部，306-图像记录部，308-显示部，310-通信接口，312-AD及DA转换部，314-工作台，316-工作台驱动部，318-相机，320、322-放射线源，OBJ-被检体，S10～S70-教学数据制作方法的各工序，S100～S120-缺陷检查方法的各工序。

Claims (11)

1.一种教学数据制作方法，其具备：
训练用图像获取步骤，获取包含受光图像的训练用图像，所述受光图像是通过对具有缺陷的被检体照射光线或放射线而得到并且是根据来自所述被检体的反射光或透射光而制作的；
频率分布分析步骤，对所述训练用图像执行频率分布分析；
输入步骤，接收用于指定频带的参数的输入；
频带选择步骤，根据由所述参数指定的所述频带，从所述频率分布分析的分析结果选择频带信号；及
教学数据制作步骤，针对与所述频带信号对应的图像获取表示缺陷的缺陷信息，并且根据所述缺陷信息制作在用于检查所述被检体的缺陷的缺陷检查装置的学习中使用的教学数据。
2.根据权利要求1所述的教学数据制作方法，其中，
所述教学数据制作方法还具备：
显示步骤，在显示部中显示与在所述频带选择步骤中选择的所述频带信号对应的图像，
在所述教学数据制作步骤中，针对在所述显示部中显示的与所述频带信号对应的图像，接收表示缺陷或非缺陷的命令的输入，并且根据所述命令制作所述教学数据。
3.根据权利要求1所述的教学数据制作方法，其中，
在所述训练用图像获取步骤中，表示在所述训练用图像中包含的所述被检体的缺陷的缺陷信息与所述训练用图像建立关联地存储于存储部中，
在所述教学数据制作步骤中，获取与所述训练用图像建立关联地存储的所述缺陷信息，并且根据所述缺陷信息制作所述教学数据。
4.根据权利要求3所述的教学数据制作方法，其中，
在所述教学数据制作步骤中，获取包含所述被检体的缺陷的种类及缺陷的位置中的至少1个的缺陷信息。
5.根据权利要求1至4中任一项所述的教学数据制作方法，其中，
所述教学数据制作方法还具备接收与所述被检体的材质及所述被检体中的缺陷对应的多个带通滤波器的登记的步骤，
在所述输入步骤中，接收从所述多个带通滤波器中指定用于选择所述频带信号的带通滤波器的参数的输入，
在所述频带选择步骤中，使用由所述参数指定的带通滤波器来选择所述频带信号。
6.根据权利要求5所述的教学数据制作方法，其中，
在所述输入步骤中，根据所述被检体的材质，指定用于选择所述频带信号的带通滤波器。
7.根据权利要求1至6中任一项所述的教学数据制作方法，其中，
在所述教学数据制作步骤中，制作包含选自所述训练用图像的所述频带信号及所述缺陷信息的教学数据。
8.一种缺陷检查方法，其具备：
使用通过权利要求1至7中任一项所述的教学数据制作方法制作的教学数据来进行缺陷检查装置中的学习的步骤；
获取检查对象图像的步骤，所述检查对象图像是通过对检查对象的被检体照射光线或放射线而得到并且是根据来自所述检查对象的被检体的反射光或透射光而制作的；及
通过进行了所述学习的所述缺陷检查装置来检测所述检查对象图像中的缺陷的缺陷检查步骤。
9.根据权利要求8所述的缺陷检查方法，其中，
所述缺陷检查步骤具备：
对所述检查对象图像执行频率分布分析的步骤；
从针对所述检查对象图像的所述频率分布分析的分析结果选择频带信号的步骤；及
根据选自针对所述检查对象图像的所述频率分布分析的分析结果的频带信号及所述教学数据来检测所述检查对象图像中的缺陷的步骤。
10.一种教学数据制作装置，其具备：
训练用图像获取部，获取包含受光图像的训练用图像，所述受光图像是通过对具有缺陷的被检体照射光线或放射线而得到并且是根据来自所述被检体的反射光或透射光而制作的；
频率分布分析部，对所述训练用图像执行频率分布分析；
输入部，接收用于指定频带的参数的输入；
频带选择部，根据由所述参数指定的所述频带，从所述频率分布分析的分析结果选择频带信号；
缺陷信息获取部，针对与所述频带信号对应的图像获取表示缺陷的缺陷信息；及
教学数据制作部，根据所述缺陷信息制作在用于检查所述被检体的缺陷的缺陷检查装置的学习中使用的教学数据。
11.一种缺陷检查装置，其具备：
权利要求10所述的教学数据制作装置；
检查对象图像获取部，获取检查对象图像，所述检查对象图像是通过对检查对象的被检体照射光线或放射线而得到并且是根据来自所述检查对象的被检体的反射光或透射光而制作的；及
缺陷检查部，使用通过所述教学数据制作装置制作的教学数据来进行学习，并且检测所述检查对象图像中的缺陷。
CN201880060564.0A 2017-09-19 2018-09-10 教学数据制作方法及装置以及缺陷检查方法及装置 Active CN111108368B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017179377 2017-09-19
JP2017-179377 2017-09-19
PCT/JP2018/033341 WO2019059011A1 (ja) 2017-09-19 2018-09-10 教師データ作成方法及び装置並びに欠陥検査方法及び装置

Publications (2)

Publication Number Publication Date
CN111108368A true CN111108368A (zh) 2020-05-05
CN111108368B CN111108368B (zh) 2022-06-28

Family

ID=65810334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060564.0A Active CN111108368B (zh) 2017-09-19 2018-09-10 教学数据制作方法及装置以及缺陷检查方法及装置

Country Status (4)

Country Link
US (1) US11386542B2 (zh)
JP (1) JP6810505B2 (zh)
CN (1) CN111108368B (zh)
WO (1) WO2019059011A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805061B (zh) * 2020-12-23 2023-06-11 日商前川製作所股份有限公司 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
JP6857332B2 (ja) * 2018-03-13 2021-04-14 オムロン株式会社 演算装置、演算方法、及びそのプログラム
JP7144244B2 (ja) * 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
CN109378277B (zh) * 2018-09-25 2020-11-24 武汉华星光电半导体显示技术有限公司 一种基板图案阵列的完整性检测方法
US10963753B2 (en) * 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US10963990B2 (en) 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
JP7226230B2 (ja) * 2019-09-27 2023-02-21 豊田合成株式会社 熱抵抗予測方法及び特性検査機
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
KR102486795B1 (ko) * 2020-04-06 2023-01-10 인하대학교 산학협력단 딥러닝 성능향상을 위한 주파수 도메인에서의 데이터 증강 방법 및 장치
US20220299451A1 (en) * 2020-07-16 2022-09-22 Jgc Corporation Inspection system, determination processing apparatus, and inspection method
TWI762271B (zh) * 2020-08-13 2022-04-21 日商名南製作所股份有限公司 板狀木材的缺陷檢測系統、缺陷檢測方法以及缺陷檢測用程式
JPWO2023053727A1 (zh) * 2021-09-30 2023-04-06
WO2023095520A1 (ja) * 2021-11-29 2023-06-01 富士フイルム株式会社 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
JP2024056112A (ja) * 2022-10-10 2024-04-22 株式会社デンソー 半導体装置の製造方法および製造装置
WO2024101099A1 (ja) * 2022-11-09 2024-05-16 株式会社Ihi 複合材料におけるボイドを識別可能な学習モデルを生成する情報処理方法、情報処理装置、及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040047492A1 (en) * 2002-06-20 2004-03-11 Robert Muise Target detection system using trained and untrained detection and methods therefor
JP2008107311A (ja) * 2006-09-29 2008-05-08 Hitachi Chem Co Ltd 欠陥検査方法及び欠陥検査装置
CN102749290A (zh) * 2012-07-02 2012-10-24 浙江大学 一种樱桃树冠层树枝生长状态的检测方法
CN103329167A (zh) * 2010-07-30 2013-09-25 克拉-坦科股份有限公司 基于区域的虚拟傅里叶滤波器
US20130268465A1 (en) * 2012-04-10 2013-10-10 Robert K. McConnell Methods and systems for computer-based selection of identifying input for class differentiation
JP2014142881A (ja) * 2013-01-25 2014-08-07 Fujitsu Ltd 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム
KR101463354B1 (ko) * 2013-10-22 2014-11-18 영남대학교 산학협력단 초분광 영상의 특이영역 검출 장치 및 그 방법
CN107004265A (zh) * 2014-12-12 2017-08-01 佳能株式会社 信息处理装置、处理信息的方法、鉴别器生成装置、生成鉴别器的方法、以及程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225179B2 (ja) 1995-07-04 2001-11-05 シャープ株式会社 パターン欠陥検査装置
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
JP2004191112A (ja) 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2004354251A (ja) 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP5075070B2 (ja) * 2008-09-19 2012-11-14 大日本スクリーン製造株式会社 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP6059486B2 (ja) * 2012-09-28 2017-01-11 株式会社Ｓｃｒｅｅｎホールディングス 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
JP6531036B2 (ja) * 2015-12-08 2019-06-12 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
US9996771B2 (en) * 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US10365617B2 (en) * 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040047492A1 (en) * 2002-06-20 2004-03-11 Robert Muise Target detection system using trained and untrained detection and methods therefor
JP2008107311A (ja) * 2006-09-29 2008-05-08 Hitachi Chem Co Ltd 欠陥検査方法及び欠陥検査装置
CN103329167A (zh) * 2010-07-30 2013-09-25 克拉-坦科股份有限公司 基于区域的虚拟傅里叶滤波器
US20130268465A1 (en) * 2012-04-10 2013-10-10 Robert K. McConnell Methods and systems for computer-based selection of identifying input for class differentiation
CN102749290A (zh) * 2012-07-02 2012-10-24 浙江大学 一种樱桃树冠层树枝生长状态的检测方法
JP2014142881A (ja) * 2013-01-25 2014-08-07 Fujitsu Ltd 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム
KR101463354B1 (ko) * 2013-10-22 2014-11-18 영남대학교 산학협력단 초분광 영상의 특이영역 검출 장치 및 그 방법
CN107004265A (zh) * 2014-12-12 2017-08-01 佳能株式会社 信息处理装置、处理信息的方法、鉴别器生成装置、生成鉴别器的方法、以及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIMOTHY H. JOHNSON等: "Fourier spatial frequency analysis for image classification: training the training set", 《IMAGING, MANIPULATION, AND ANALYSIS OF BIOMOLECULES, CELLS, AND TISSUES IX》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805061B (zh) * 2020-12-23 2023-06-11 日商前川製作所股份有限公司 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式

Also Published As

Publication number Publication date
US20200219248A1 (en) 2020-07-09
JP6810505B2 (ja) 2021-01-06
JPWO2019059011A1 (ja) 2020-11-05
US11386542B2 (en) 2022-07-12
CN111108368B (zh) 2022-06-28
WO2019059011A1 (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
CN111108368B (zh) 教学数据制作方法及装置以及缺陷检查方法及装置
Chen et al. Automatic optical inspection system for IC molding surface
US11029255B2 (en) Defect inspection device, defect inspection method, and program
JP6556266B2 (ja) 欠陥検査装置、方法およびプログラム
US7881520B2 (en) Defect inspection system
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
JP6078234B2 (ja) 荷電粒子線装置
JP6930926B2 (ja) 欠陥検査装置、方法およびプログラム
CN112204385A (zh) 缺陷显示装置及方法
US8204291B2 (en) Method and system for identifying defects in a radiographic image of a scanned object
US20220215521A1 (en) Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor
US9972079B2 (en) Wafer appearance inspection apparatus
US8705698B2 (en) X-ray analyzer and mapping method for an X-ray analysis
JP6049052B2 (ja) ウエハ外観検査装置及びウエハ外観検査装置における感度しきい値設定方法
US20210295491A1 (en) System and method for automated visual inspection
JP2010158317A (ja) 画像処理方法及びコンピュータプログラム
JP2019066222A (ja) 外観検査装置および外観検査方法
WO2023136030A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR20220040466A (ko) 하전 입자선 장치
WO2023112497A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
WO2022181746A1 (ja) 画像表示装置、画像表示方法及びプログラム
JP4229325B2 (ja) ピーク検出画像処理方法、プログラム及び装置
WO2023053727A1 (ja) 画像処理装置、処理システム、画像表示方法及びプログラム
Zhang et al. Image-based crack detection and properties retrieval for high-speed railway bridge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant