CN116559204A - 检查装置、学习模型生成方法及检查方法 - Google Patents

检查装置、学习模型生成方法及检查方法 Download PDF

Info

Publication number
CN116559204A
CN116559204A CN202310091269.4A CN202310091269A CN116559204A CN 116559204 A CN116559204 A CN 116559204A CN 202310091269 A CN202310091269 A CN 202310091269A CN 116559204 A CN116559204 A CN 116559204A
Authority
CN
China
Prior art keywords
image
learning
inspection
images
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310091269.4A
Other languages
English (en)
Inventor
角田光悦
山崎健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anritsu Corp
Original Assignee
Anritsu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anritsu Corp filed Critical Anritsu Corp
Publication of CN116559204A publication Critical patent/CN116559204A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G01V5/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G01N2223/04—Investigating materials by wave or particle radiation by transmission and measuring absorption
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/652—Specific applications or type of materials impurities, foreign matter, trace amounts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Toxicology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明实现提高被检查物的品质状态的检查精度。检查装置(1)具备：图像存储部(21)，将拍摄规定品种的被检查物(W)而获得的对被检查物(W)的透射特性不同的3个检查图像存储为虚拟RGB图像；及判定部(24)，根据使用与虚拟RGB图像相同的格式的图像并通过预先学习制作出的学习模型(22)，对存储于图像存储部(21)的虚拟RGB图像求出品质不良程度，通过品质不良程度与预先设定的阈值的比较判定被检查物(W)的品质状态。

Description

检查装置、学习模型生成方法及检查方法
技术领域
本发明涉及一种检查对被检查物所要求的品质状态的检查装置、学习模型生成方法及检查方法。
背景技术
作为通过X射线检查对被检查物所要求的品质状态的装置，例如已知有下述专利文献1中所公开的X射线检查装置。该专利文献1中所公开的X射线检查装置将来自X射线检测器的X射线图像数据存储于X射线图像存储部，以与学习对象品种相关的包含规定能带的不同的多个能带的X射线图像数据的学习结果为基础，通过虚拟图像生成模型虚拟生成其他能带的X射线图像数据，以被检查物的X射线图像数据为基础，通过虚拟图像生成模型并由图像制作部制作其他能带下的虚拟透射图像，根据被检查物的规定能带的X射线图像数据及由图像制作部制作出的其他能带下的虚拟透射图像，判定部判定被检查物的品质状态。
专利文献1：日本特开2021-148486号公报
然而，在上述专利文献1中所公开的以往的检查装置中，判定中所使用的透射图像为灰色标度的1个图像，用于判定的信息量少，因此若要实现被检查物的品质状态的检查精度的提高，则存在界限。
发明内容
因此，本发明是鉴于上述问题点而完成的，其目的在于提供一种能够实现提高被检查物的品质状态的检查精度的检查装置、学习模型生成方法及检查方法。
为了实现上述目的，本发明的第1方式的检查装置的特征在于，具备：图像存储部21，存储拍摄被检查物W而获得的透射特性不同的3个检查图像作为虚拟RGB图像；及判定部24，根据使用与该虚拟RGB图像相同的格式的图像并通过预先学习制作出的学习模型22，对存储于所述图像存储部的所述虚拟RGB图像求出品质不良程度，通过该品质不良程度与预先设定的阈值的比较判定所述被检查物的品质状态。
本发明的第2方式的检查装置在第1方式的检查装置中，特征在于，所述学习模型为对至少包含品质不良的图像的与所述虚拟RGB图像相同的格式的图像按所述被检查物的每个品种进行学习的模型。
本发明的第3方式的检查装置在第1方式或第2方式的检查装置中，特征在于，所述虚拟RGB图像为对透射所述被检查物的光进行分光而获得的3个检查图像。
本发明的第4方式的学习模型生成方法特征在于，包括：获取被检查物(W)的合格品图像及仅该被检查物的品质不良的图像作为学习用图像的学习用图像获取步骤；制作使用所述学习用图像在所述被检查物的合格品图像中合成有仅所述品质不良的图像的学习用品质不良合成图像及表示该学习用品质不良合成图像中的品质不良位置的学习用品质不良标签的步骤；及进行所述学习用品质不良合成图像的机器学习而制作学习模型22的步骤，在所述学习用图像获取步骤中获取的所述学习用图像为由拍摄所述被检查物而获得的透射特性不同的3个检查图像构成的虚拟RGB图像。
本发明的第5方式的检查方法的特征在于，包括如下步骤：根据通过权利要求4的学习模型制作方法制作出的学习模型22，对由拍摄被检查物W而获得的透射特性不同的3个检查图像构成的所述被检查物的虚拟RGB图像求出品质不良程度，通过该品质不良程度与预先设定的阈值的比较判定所述被检查物的品质状态。
根据本发明，通过基于与RGB彩色图像对应的透射的3ch的检查图像学习判定，能够实现提高被检查物的品质检查的检查精度。
附图说明
图1是本发明所涉及的检查装置的框图。
图2是在本发明所涉及的检查装置中检查被检查物有无异物时的学习阶段的流程图。
图3是在本发明所涉及的检查装置中检查被检查物有无异物时的推论阶段的流程图。
图4是表示在本发明所涉及的检查装置中检查被检查物有无异物时的学习时所使用的异物合成图像的制作例的图。
图5是表示在本发明所涉及的检查装置中检查被检查物有无异物时的学习时所使用的学习用图像及学习用异物标签的一例的图。
图6是表示在本发明所涉及的检查装置中检查被检查物有无异物时的推论用图像的一例的图。
图7是在本发明所涉及的检查装置中检查被检查物有无异物时的图像处理部的说明图。
图8是在本发明所涉及的检查装置中检查被检查物有无异物时的判定部的说明图。
图9是表示在本发明所涉及的检查装置中检查被检查物有无异物时的显示部的显示例的图。
图10是在本发明所涉及的检查装置中检查被检查物的形状不良时的推论阶段的流程图。
图11是表示在本发明所涉及的检查装置中检查被检查物的形状不良时的学习时所使用的学习用图像及学习用形状不良标签的一例的图。
图12是在本发明所涉及的检查装置中检查被检查物的形状不良时的图像处理部的说明图。
图13是在本发明所涉及的检查装置中检查被检查物的形状不良(缺失)时的判定部的说明图。
图14是表示在本发明所涉及的检查装置中检查被检查物的形状不良(缺失)时的显示部的显示例的图。
图15是在本发明所涉及的检查装置中检查被检查物的形状不良(弯曲)时的判定部的说明图。
图16是表示在本发明所涉及的检查装置中检查被检查物的形状不良(弯曲)时的显示部的显示例的图。
具体实施方式
以下，参考附图对用于实施本发明的方式进行详细说明。
如图1所示，检查装置1概略构成为具备输送部2、图像获取部3、控制部4及显示部5。在该检查装置1中，将拍摄透射了由输送部2输送的检查对象的品种的被检查物W而获得的透射特性不同的3个检查图像(能够区别异物与除其以外，且浓淡程度(变化)不同的灰色标度图像)设为相对于被检查物W的位置信息相同的虚拟RGB图像如按每个像素将通过彩色相机拍摄的被检查物W分为3原色的RGB图像，对该虚拟RGB图像根据与其品种对应的学习模型(运算式)按每个像素进行处理，求出表示是品质不良的概率的品质不良程度(例如异物程度、形状不良程度等)，通过所求出的品质不良程度与预先设定的阈值的比较判定被检查物W的品质状态，进行被检查物W的检查(例如，被包装的食品等被检查物W中有无异物混入的检查)。
另外，本例中的“品质状态”是指，作为产品对被检查物W所要求的品质或物理量是否适当等。具体而言，存在有无混入于被检查物W的异物(骨头、金属等)、内容量的过度或不足、异种内容物及内容量的形状不良等。
输送部2在输送方向A上隔着规定间隔依次输送被检查物W，例如构成为将环状的输送带11卷绕于多个输送辊12，将能够通过输送带11的上行区间13沿图1中的右方向依次输送被检查物W的输送机支承于未图示的框体。输送辊12由未图示的马达旋转驱动，并且以成为规定的输送速度的方式由控制部4控制。
图像获取部3获取后述的学习阶段中所使用的学习用图像或后述的推论阶段中所使用的被检查物W的推论用图像，并且兼作检查由输送部2输送的被检查物W的品质状态的检查部。
图像获取部3构成为具有在获取学习用图像及推论用图像作为X射线图像时例如产生透射由输送部2输送的被检查物W的规定能带的X射线的X射线产生器14及在输送部2的输送带11的上行区间13的正下方与X射线产生器14对置配置的X射线检测器15。
X射线产生器14通过公知的X射线管16产生与其管电流及管电压相对应的波长及强度的X射线，并且通过外壳17的X射线窗部17a，能够对输送带11上的被检查物W或样品(被检查物W的合格品工件、异物)照射相对于输送部2的输送方向正交的扇形波束状的X射线。
X射线管16的管电流及管电压根据检查对象的被检查物W的材质或尺寸(尤其X射线所透射的方向上的尺寸)调整设定值即可，关于新品种，以通过使用了被检查物W或样品的测试拍摄获得适当的对比度的方式确定或选择设定值。
X射线检测器15例如将由荧光体即闪烁器、光电二极管或电荷耦合元件构成的检测元件沿输送部2的输送路径的宽度方向以规定间距以阵列形配设，由进行规定分辨率下的X射线检测的X射线线性传感器相机构成，并且配置于与来自X射线产生器14的X射线照射位置对应的输送方向规定位置。
而且，X射线检测器15按与检测元件对应的每个规定透射区域检测从X射线产生器14照射并透射了被检查物W或样品的X射线，并转换为与该X射线的透射量相对应的电信号而输出每个透射区域的X射线检测信号。
在此，对基于检查被检查物W有无异物时的X射线图像的学习用图像的获取方法进行说明。首先，关于被检查物W的某一品种，通过测试拍摄设定X射线管16的管电流及管电压，以驱动控制输送部2。即，关于被检查物W的某一品种，设定获取X射线图像的获取条件，例如，当获取1000张合格品图像及50张仅异物(骨头)图像作为学习用图像时，首先，获取从X射线产生器14例如从分开规定高度的位置对被检查物W的合格品工件照射X射线而获得同一时刻下的低能量图像(合格品)_(1ch)及高能量图像(合格品)_(1ch)。执行1000次该工作，获取1000张低能量图像(合格品)及1000张高能量图像(合格品)。由此，通过1次执行能够获得1张低能量图像(合格品)及1张高能量图像(合格品)。
同样地，获取从X射线产生器14例如从分开规定高度的位置(与获取合格品图像时相同的位置)对仅异物的工件(例如仅1个片骨头)照射X射线而获得的同一时刻下的低能量图像(仅1个异物)_(1ch)及高能量图像(仅1个异物)_(1ch)。执行50次该工作，获取50张低能量图像(仅1个异物)及50张高能量图像(仅1个异物)。由此，通过1次执行能够获取1张低能量图像(仅1个异物)及1张高能量图像(仅1个异物)。
由此，关于被检查物W的某一品种，获取规定的获取条件下的学习用图像。
接着，根据上述学习用图像制作3ch的虚拟RGB图像。在该情况下，准备多个从X射线产生器14对被检查物W的合格品工件照射X射线而获得的同一时刻下的低能量及高能量的合格品图像及1个从异物的同一时刻下的仅低能量及高能量的异物的图像剪切的异物的数据库图像，制作多张在1个合格品图像上将异物的数据库图像挪动到随机位置的同时合成的包含异物的3ch的虚拟RGB图像(由低能量图像、高能量图像及其2个图像的差分图像构成)(例如数十张/合格品图像)。关于根据该1个合格品图像制作多张虚拟RGB图像，对所准备的多个合格品图像进行。而且，还准备多张异物的同一时刻下的仅低能量及高能量的异物的图像，通过相同的方法制作位置信息相同但透射特性不同的3ch的虚拟RGB图像。
而且，关于3ch的虚拟RGB图像的制作方法，示出具体数值例来进行说明。首先，作为学习用图像，分别获取1000张低能量图像(合格品)_(1ch)、1000张高能量图像(合格品)_(1ch)、50张低能量图像(仅1个异物)_(1ch)及50张高能量图像(仅1个异物)_(1ch)。
然后，使用50张低能量图像(仅1个异物)_(1ch)及50张高能量图像(仅1个异物)_(1ch)，分别以低能量、高能量来制作仅剪切映现有异物的区域的异物的数据库图像。即，制作1张低能量图像(映现有50个异物)_(1ch)及1张高能量图像(映现有50个异物)_(1ch)。
接着，根据1张低能量图像(合格品)_(1ch)、1张高能量图像(合格品)_(1ch)、1张低能量图像(映现有50个异物)_(1ch)及1张高能量图像(映现有50个异物)_(1ch)，对1张低能量图像(在合格品中合成有异物的图像)_(1ch)及1张高能量图像(在合格品中合成有异物的图像)_(1ch)进行图像合成而制作异物合成图像。
另外，当在合格品图像中合成异物时，设为如下条件，即，异物位置：合格品工件上的随机位置，且在(低、高)能量图像中相同的位置，异物旋转角度：在0～360度范围内随机，异物个数：随机选择(从50个异物中随机选择1个或多个)，此时也同时输出异物的坐标数据(标签)。
在此，从1张低能量图像(映现有50个异物)_(1ch)选择仅1个异物(1个片骨头)的图像(低能量)i1，将所选择的仅1个异物(1个片骨头)的图像i1合成到1张低能量图像(合格品)_(1ch)i2而制作出异物合成图像i3时的一例示于图4中。
然后，使用1张低能量图像(在合格品中合成有异物的图像)_(1ch)及1张高能量图像(在合格品中合成有异物的图像)_(1ch)对两者进行差分。由此，制造1张差分图像(对在合格品中合成有异物的低能量图像及高能量图像进行差分的图像)_(1ch)。
而且，根据1张低能量图像(在合格品中合成有异物的图像)_(1ch)、1张高能量图像(在合格品中合成有异物的图像)_(1ch)及1张差分图像(对在合格品中合成有异物的低能量图像及高能量图像进行差分的图像)_(1ch)，制作例如包含如图5所示那样的异物(图中的以斜线来表示的部分)的1张虚拟RGB图像(R成分：低能量，G成分：高能量，B成分：差分)_(3ch)及异物的坐标数据作为学习用异物合成图像i4及学习用异物标签r。
执行1000次以上工作，作为学习用异物合成图像i4及学习用异物标签r，获取1000张虚拟RGB图像(R成分：低能量，G成分：高能量，B成分：差分)_(3ch)及1000个异物的坐标数据(低、高能量及位置相同)。
接着，对基于X射线图像的推论用图像的获取方法进行说明。当获取基于X射线图像的推论用图像时，需要获取前述的学习用图像的情况及图像获取部3中的图像的获取条件(X射线产生器14及X射线检测器15的结构和配置、X射线照射条件、X射线检测条件、输送速度等)相同。若对低能量图像及高能量图像的获取进行更具体地记载，则例如从X射线产生器14的1个X射线源例如从分开规定高度的正上方对被检查物W照射X射线，通过X射线滤波器使透射了被检查物W的X射线的辐射质量(指照射中的放射线的种类或能量是怎样的。)不同并通过2个X射线线性传感器相机进行检测，将通过2个X射线线性传感器相机检测到的图像分别用作低能量图像及高能量图像，根据该2个图像制作差分图像。
或者，在使用X射线滤波器之后，从X射线产生器14例如从分开规定高度的正上方对被检查物W照射辐射质量不同的X射线，按不同能量通过2个X射线线性传感器相机检测透射了被检查物W的X射线，将通过2个X射线线性传感器相机检测到的图像分别用作低能量图像及高能量图像，根据该2个图像制作差分图像(参考日本特开2002-168803号公报、日本专利第5297087号公报)。
或者，从2个X射线产生器14例如从分开规定高度的正上方对被检查物W分别照射低能量的X射线及高能量的X射线，通过所对应的2个X射线线性传感器相机分别检测透射了被检查物W的X射线，根据由2个X射线线性传感器相机检测到的低能量图像及高能量图像制作差分图像(参考日本专利第5706724号公报、日本专利第5775406号公报)。
或者，可以使用1台能够同时获取低能量图像及高能量图像的光子计数(photonCounting)型X射线检测器。
另外，当使用2台X射线线性传感器相机时，至少两个X射线线性传感器相机的配置间隔及输送部2(输送带11)的输送速度或根据它们确定的值可以包含于获取条件。由此，能够掌握通过各X射线线性传感器相机获取的图像中的被检查物W的摄像位置的差。只要能够定量性地掌握摄像位置的差，则能够以缩小该差或减少该差的影响的方式实施各种运算处理，因此技术上与“位置信息相同”含义相同。
并且，当使用光子计数型X射线检测器时，至少用于光子计数的能量阈值可以包含于获取条件。光子计数型X射线检测器输出表示按与所设定的能量阈值相对应的每个能带不同的透射特性的图像，因此原理上，低能量图像及高能量图像中的被检查物W的摄像位置变得相同，情况良好。即，通过光子计数型X射线检测器获取的图像包含于“位置信息相同”这一表现。
然后，如图6所示，获取分别将基于位置信息相同但透射特性不同的3个X射线图像的低能量图像选定为RGB彩色图像的R成分、将高能量图像选定为RGB彩色图像的G成分、将差分图像选定为RGB彩色图像的B成分的3ch的虚拟RGB图像作为推论用图像i5。
控制部4为了检查被检查物W的品质状态而集中控制各部，且构成为包含图像存储部21、学习模型22、图像处理部23及判定部24。而且，存储用于使输送部2、检查部3(图像获取部3)及显示部5进行动作的各种参数，并且对各种数据进行处理。尤其，关于输送部2或检查部3(图像获取部3)的动作，与表示各品种的品种编号建立对应关联地设定有检查对象的被检查物W的每个品种的检查参数。
检查参数中包含对拍摄被检查物W时获得的图像适用的学习模型22(运算式)或用于判定品质状态的阈值。
图像存储部21存储使用对检查对象的被检查物W设定的品种的检查参数并通过图像获取部3获取的推论用图像i5。如上所述，推论用图像i5例如由分别将低能量图像选定为RGB彩色图像的R成分、将高能量图像选定为RGB彩色图像的G成分、将差分图像(低能量图像与高能量图像的差分)选定为RGB彩色图像的B成分的3ch的虚拟RGB图像构成。
学习模型22为通过使用基于学习用图像的3ch的虚拟RGB图像而例如通过个人计算机等外部终端装置执行后述的学习阶段而制作的学习完毕模型。该学习模型22在后述的推论阶段计算作为被检查物W的推论用图像i5的品质不良程度的异物程度：K时使用。异物程度是指，表示是异物的概率的值。另外，与该学习模型22相关的检查装置1与外部终端装置之间的数据移动例如经由网络或USB存储器等外部存储介质进行。
图像处理部23根据与检查对象的品种对应的学习模型22(根据在与推论用图像i5相同的获取条件下获取的学习用图像制作出的学习模型)，对存储于图像存储部21的推论用图像i5(3ch的虚拟RGB图像)的图像数据执行用于进行规定的判定处理的图像处理。
判定部24以基于图像处理部23的处理后的图像数据为基础，执行被检查物W的品质状态的判定处理(例如有无异物的判定处理)。
另外，虽然未特别图示，但在控制部4含包控制输送部2中的基于输送带11的被检查物W的输送速度或输送间隔等的输送控制机构、控制检查部3中的X射线照射强度或照射期间或控制与被检查物W的输送速度相对应的X射线检测器15的X射线线性传感器中的X射线检测周期及各被检查物W的检测期间等的检查控制机构。
显示部5例如由液晶等各种显示器构成，并且显示输出判定部24中的判定结果。
接着，参考图2的流程图对为了制作学习模型22而执行的学习阶段进行说明。
在学习阶段，使用由与推论用图像i5相同的格式的图像即位置信息相同但透射特性不同的3个透射图像(例如R成分：低能量图像，G成分：高能量图像，B成分：差分图像)构成的3ch的虚拟RGB图像进行学习。该学习按成为检查对象的被检查物W的每个品种进行。
如图2所示，在学习阶段，最初获取学习用图像(ST1)。具体而言，作为学习用图像，如前述，通过检查装置1获取基于X射线图像的合格品图像：1000张、仅异物(1个片骨头)的图像：50张。
接着，制作学习用异物合成图像i4及学习用异物标签r(ST2)。在制作学习用异物合成图像i4及学习用异物标签r的情况下，当制作使用了深度学习的异物检测算法时，作为学习用培训数据，需要NG图像(包含异物的图像)及异物的坐标数据(标签)。
这里的异物的坐标数据(标签)为表示NG图像上的异物部分的位置的数据，是指记录有制作出与异物部分的图像外接的框时的左上角的XY坐标及右下角的XY坐标的文本文件数据。
在从NG图像提取异物的坐标数据(标签)时，需要进行人工指定较多的异物的坐标位置的工作，在需要数千张图像的深度学习中并不现实。
因此，在本例中，使用单独拍摄的合格品图像及异物图像来合成它们，由此制作学习用异物合成图像i4，此时，同时制作异物部分的坐标数据(标签)作为学习用异物标签r，由此实现了工作的效率化。
因此，根据预先获取的50张仅异物(1个片骨头)的图像事先制作剪切了映现有异物的区域的异物的数据库图像，在合格品图像中合成时，从该数据库图像的异物随机选择了1个或多个。
然后，在合格品图像中合成异物的数据库图像时，将异物位置设为合格品工件上的随机位置，在0～360度范围内随机变动异物旋转角度，制作合计1000张异物合成图像。
在制作异物合成图像时，使用由X射线图像构成的低能量图像及高能量图像这两者，将X射线图像扩张为3ch，以分别将低能量图像选定为RGB彩色图像的R成分、将高能量图像选定为RGB彩色图像的G成分、将差分图像(低能量图像与高能量图像的差分)选定为RGB彩色图像的B成分的3ch的虚拟RGB图像的格式来制作异物合成图像。
另外，在合格品图像中合成异物的数据库图像时，使用彼此相同的R、G、B成分的图像。并且，在将异物的数据库图像与合格品图像合成时，能够根据所指定的异物的数据库图像的坐标数据并根据配置异物的数据库图像的坐标位置求出异物标签。而且，当使异物的数据库图像旋转时，进行坐标转换来求出异物的数据库图像的坐标数据。
然后，进行基于通过上述方法制作出的多个虚拟RGB图像的异物合成图像的机器学习，制作学习模型(ST3)。即，执行对基于多个虚拟RGB图像的异物合成图像进行卷积运算而输出结果的异物程度(异物似然概率)K的学习，制作由成为更良好的结果的运算式构成的学习模型22。
具体而言，使用虚拟RGB图像(扩张为3ch的学习用异物合成图像i4)：1000张、与各虚拟RGB图像对应的异物的坐标数据(学习用异物标签r)：1000张来执行学习，制作学习模型22。此时，在输入工件(有异物)的图像时，以输出异物位置(左上角XY坐标、右下角XY坐标)、异物程度K(0＜K＜1.0)(K的值越大，越视为异物)的方式进行学习。
接着，参考图3的流程图对在上述检查装置1中对被检查物W的品质状态进行推论的推论阶段进行说明。
如图3所示，在推论阶段，与利用图2进行说明的学习阶段时同样地，获取虚拟RGB图像的格式的X射线图像作为推论用图像i5(ST11)，将所获取的推论用图像i5存储于图像存储部21。具体而言，如前述，获取分别将基于X射线图像的低能量图像选定为RGB彩色图像的R成分、将高能量图像选定为RGB彩色图像的G成分、将差分图像选定为RGB彩色图像的B成分的3ch的虚拟RGB图像作为推论用图像i5并存储于图像存储部21。
然后，在图像处理部23中，根据在进行学习阶段时制作出的学习模型计算异物位置(左上角xy坐标、右下角xy坐标)、异物程度(0＜K＜1.0)(K的值越大，越视为异物)(ST12)。即，如图7所示，根据通过基于由输入层、隐藏层、输出层构成的结构的神经网路的机器学习生成的学习模型22，按每个像素对作为推论用图像i5的3ch的虚拟RGB图像进行处理，作为运算结果计算异物位置、异物程度K。
然后，预先在检查装置1侧设定判定阈值：S，当K≤S时，输出OK判定(ST14)，当K＞S时，输出NG判定(ST1 5)。进一步进行说明，如图8所示，当K≤S时，判定部24输出OK判定，当K＞S时，将NG判定输出至判定部24。然后，如图9所示，当K≤S且OK判定时，显示部5显示被检查物W(图中的点线部分)，当K＞S且NG判定时，显示部5对被检查物W(图中的点线部分)用矩形包围异物位置(NG判定的部位)来识别显示。该识别显示例如除了用圆形包围NG判定的部位以外，还对NG判定的部位进行颜色区分显示、亮灯·闪烁显示等，只要能够识别NG判定的部位与正常的部位，则对其显示方式并无限定。
另外，在图9的例子中，示出了输出NG判定的异物位置为1个的情况，但当存在多个输出NG判定的异物位置时，按每个异物位置识别显示NG判定的部位。
在上述实施方式中，作为代替RGB彩色图像的3ch的虚拟RGB图像，以由低能量图像(R成分)、高能量图像(G成分)、差分图像(B成分)构成的X射线图像为例子进行了说明，但并不限定于此。3ch的虚拟RGB图像只要是对被检查物W的拍摄位置信息相同但透射特性不同的3个透射图像即可。例如，可以是根据查找表的系数转换了图像浓度的X射线图像、转换前的X射线图像及近红外图像的组合。并且，虚拟RGB图像的各ch的图像可以是作为预处理例如实施了平滑化、标准化等图像处理的图像；实施了由X射线源或光源、透镜等光学组件、检测器的位置及朝向来确定的图像的大小、朝向、偏离的校正的图像。而且，还能够使用通过多光谱相机(分光相机)拍摄被检查物W，并且对透射被检查物W的光(能量)进行分光而获得的3个检查图像。
并且，在上述实施方式中，以作为被检查物W的品质状态判定有无异物的情况为例子进行了说明，但并不限定于此，也能够将被检查物W的缺乏品的有无、内容物的形状·尺寸·容纳状态等是否合适、密度·厚度·体积或质量的分布等作为品质状态来判定。
以下，以将被检查物W有无内容物的形状不良作为品质状态来判定的情况为例子进行说明。该被检查物W有无内容物的形状不良的判定为基本上与上述的判定有无异物情况相同的结构，能够将NG判定的种类增加为两种以上(形状不良的种类(缺失·弯曲))，并且判定阈值也能够根据形状不良的种类(缺失·弯曲)单独设定，也能够与上述异物检查并用。
与上述的判定有无异物的情况同样地，根据学习用图像，作为学习用形状不良合成图像，制作转换了浓度的X射线图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)、转换浓度之前的X射线图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)、近红外图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)，并且制作学习用形状不良标签。
然后，根据1张转换了浓度的X射线图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)、1张转换浓度之前的X射线图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)、1张近红外图像(在合格品中合成有形状不良(缺失、弯曲)的图像)_(1ch)，制作1张虚拟RGB图像(R成分：浓度转换后，G成分：浓度转换前，B成分：近红外)_(3ch)及形状不良的坐标数据，例如作为如图11所示那样的学习用形状不良合成图像i4及学习用形状不良标签r来获取。
然后，与利用图2进行说明的学习阶段同样地，执行对多个虚拟RGB图像进行卷积运算而输出结果的形状不良程度(形状不良似然概率)K的学习，生成由成为更良好的结果的运算式构成的学习模型22。
具体而言，使用多张虚拟RGB图像(扩张为3ch的学习用形状不良合成图像i4)及与各虚拟RGB图像对应的形状不良的坐标数据(学习用形状不良标签r)进行学习。此时，在输入工件(有形状不良)的图像时，以输出形状不良位置(左上角XY坐标、右下角XY坐标)、形状不良程度K(0＜K＜1.0)(K的值越大，越视为形状不良)的方式进行学习。
然后，当检查被检查物W的形状不良时，执行图10所示的推论阶段。在该推论阶段，与进行学习阶段时同样地，获取虚拟RGB图像的格式的X射线图像作为推论用图像i5(ST21)，将所获取的推论用图像i5存储于图像存储部21。具体而言，与进行上述学习时同样地，例如，如图12所示，获取由1ch：X射线图像、2ch：X射线图像、3ch：近红外图像构成的1张虚拟RGB图像作为推论用图像i5并存储于图像存储部21。
然后，在图像处理部23中，根据在进行学习阶段时制作出的学习模型22计算形状不良位置(左上角xy坐标、右下角xy坐标)、形状不良程度(0＜K＜1.0)(K的值越大，越视为形状不良)(ST22)。即，如图12所示，根据学习模型22按每个像素对作为推论用图像i5的3ch的虚拟RGB图像进行处理，作为运算结果计算形状不良位置(左上角xy坐标、右下角xy坐标)、形状不良程度：K1(缺失)、K2(弯曲)。
然后，预先在检查装置1侧设定判定阈值：S，当K≤S时，输出OK判定(ST24)，当K＞S时，输出NG判定(ST25)。进一步进行说明，预先在检查装置1侧设定判定阈值：S1、S2，对计算出的形状不良程度：K1、K2与判定阈值：S1、S2进行比较。在此，如图13所示，当K1≤S1时，判定部24输出对形状(缺失)的OK判定，当K1＞S1时，判定部24输出NG判定。然后，如图14所示，当K1≤S1且OK判定时，显示部5显示被检查物W(图中的点线部分)，当K1＞S1且NG判定时，显示部5对被检查物W(图中的点线部分)用矩形包围形状不良位置(NG判定的部位)来识别显示。
并且，如图1 5所示，当K2≤S2时，判定部24输出对形状(弯曲)的OK判定，当K2＞S2时，判定部24输出NG判定。然后，如图16所示，当K2≤S2且OK判定时，显示部5显示被检查物W(图中的点线部分)，当K2＞S2且NG判定时，显示部5对被检查物W(图中的点线部分)用矩形包围形状不良位置(NG判定的部位)来识别显示。
另外，判定阈值S1、S2能够对各自的形状不良的种类(例如，缺失、弯曲)单独地设定。并且，上述的识别显示例如除了以圆形包围NG判定的部位以外，还对NG判定的部位进行颜色区分显示、亮灯·闪烁显示等，只要能够识别NG判定的部位与正常的部位，则对其显示方式并无限定。
如此，根据上述本实施方式，作为代替3ch的RGB彩色图像的图像，根据基于透射的拍摄中的被检查物的透射特性不同的3个检查图像制作学习模型而学习判定，因此有效地适用已有的RGB彩色图像的学习库，根据与RGB彩色图像对应的3ch的图像学习判定，与以往的灰色标度的1个图像的判定相比，用于判定的信息量增加，由此能够实现提高被检查物的品质检查的检查精度。例如，当作为品质状态检查有无异物时，根据对被检查物的位置信息相同但透射特性不同的3个检查图像制作学习模型，由此根据被检查物的品种，不仅异物的观看方式不同，表示异物与其周边(背景)之间的关系的信息也变多，因此能够进行更高精度的异物检查。
以上，对本发明所涉及的检查装置、学习模型生成方法及检查方法的优选方式进行了说明，但本发明并不限定于基于该方式的记述及附图。即，根据该方式由本领域的技术人员实施的其他方式、实施例及运用技术等均包含于本发明的范畴是显而易见的。
符号说明
1-检查装置，2-输送部，3-图像获取部，4-控制部，5-显示部，11-输送带，12-输送辊，13-上行区间，14-X射线产生器，15-X射线检测器，16-X射线管，17-外壳，17a-X射线窗部，21-图像存储部，22-学习模型，23-图像处理部，24-判定部，A-输送方向，W-被检查物，i1-仅异物的图像，i2-合格品图像，i3-异物合成图像，i4-学习用异物合成图像、学习用形状不良合成图像，i5-推论用图像，r-学习用异物标签、学习用形状不良标签。

Claims (5)

1.一种检查装置，其特征在于，具备：
图像存储部(21)，将拍摄被检查物(W)而获得的透射特性不同的3个检查图像存储为虚拟RGB图像；及
判定部(24)，根据使用与该虚拟RGB图像相同的格式的图像并通过预先学习制作出的学习模型(22)，对存储于所述图像存储部的所述虚拟RGB图像求出品质不良程度，通过该品质不良程度与预先设定的阈值的比较判定所述被检查物的品质状态。
2.根据权利要求1所述的检查装置，其特征在于，
所述学习模型为对至少包含品质不良的图像的与所述虚拟RGB图像相同的格式的图像按所述被检查物的每个品种进行学习的模型。
3.根据权利要求1或2所述的检查装置，其特征在于，
所述虚拟RGB图像为对透射所述被检查物的光进行分光而获得的3个检查图像。
4.一种学习模型制作方法，其特征在于，包括：
获取被检查物(W)的合格品图像及仅该被检查物的品质不良的图像作为学习用图像的学习用图像获取步骤；
制作使用所述学习用图像在所述被检查物的合格品图像中合成有仅所述品质不良的图像的学习用品质不良合成图像及表示该学习用品质不良合成图像中的品质不良位置的学习用品质不良标签的步骤；及
进行所述学习用品质不良合成图像的机器学习而制作学习模型(22)的步骤，
在所述学习用图像获取步骤中获取的所述学习用图像为由拍摄所述被检查物而获得的透射特性不同的3个检查图像构成的虚拟RGB图像。
5.一种检查方法，其特征在于，包括如下步骤：
根据通过权利要求4的学习模型制作方法制作出的学习模型(22)，对由拍摄被检查物(W)而获得的透射特性不同的3个检查图像构成的所述被检查物的虚拟RGB图像求出品质不良程度，通过该品质不良程度与预先设定的阈值的比较判定所述被检查物的品质状态。
CN202310091269.4A 2022-02-07 2023-02-06 检查装置、学习模型生成方法及检查方法 Pending CN116559204A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-017365 2022-02-07
JP2022017365A JP2023114827A (ja) 2022-02-07 2022-02-07 検査装置、学習モデル生成方法および検査方法

Publications (1)

Publication Number Publication Date
CN116559204A true CN116559204A (zh) 2023-08-08

Family

ID=87502567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310091269.4A Pending CN116559204A (zh) 2022-02-07 2023-02-06 检查装置、学习模型生成方法及检查方法

Country Status (3)

Country Link
US (1) US20230252621A1 (zh)
JP (1) JP2023114827A (zh)
CN (1) CN116559204A (zh)

Also Published As

Publication number Publication date
JP2023114827A (ja) 2023-08-18
US20230252621A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
JP4317566B2 (ja) Ｘ線検査装置およびｘ線検査装置の画像処理手順の生成方法
US11189058B2 (en) Image generating device, inspection apparatus, and learning device
JP2023039957A (ja) 食品検査補助システム、食品検査補助装置、およびコンピュータプログラム
CN111630519A (zh) 检查装置
JP6537008B1 (ja) 検査装置
CN112789499A (zh) 教师数据生成装置和教师数据生成程序
WO2021193733A1 (ja) 教師データ生成装置、検査装置及びプログラム
WO2016063381A1 (ja) 電磁波検知部と光学検知部を使用した検査装置
CN116559204A (zh) 检查装置、学习模型生成方法及检查方法
JP2015137858A (ja) 検査装置
WO2022065110A1 (ja) Ｘ線検査装置およびｘ線検査方法
CN116559205A (zh) 检查装置、学习模型生成方法及检查方法
WO2019131945A1 (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
JP7445621B2 (ja) Ｘ線検査装置およびｘ線検査方法
JP2021012107A (ja) 検査装置及び学習装置
JP2011141202A (ja) 部品検査装置及びプログラム
JP2021012098A (ja) 検査装置
JP2008175691A (ja) Ｘ線検査装置および検査方法
JP7240780B1 (ja) 検査装置
WO2020189087A1 (ja) Ｘ線検査装置
JP7193493B2 (ja) Ｘ線検査装置およびｘ線検査方法
WO2023017611A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
JP2009080029A (ja) Ｘ線検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination