CN112789499A - 教师数据生成装置和教师数据生成程序 - Google Patents

教师数据生成装置和教师数据生成程序 Download PDF

Info

Publication number
CN112789499A
CN112789499A CN201980065322.5A CN201980065322A CN112789499A CN 112789499 A CN112789499 A CN 112789499A CN 201980065322 A CN201980065322 A CN 201980065322A CN 112789499 A CN112789499 A CN 112789499A
Authority
CN
China
Prior art keywords
image
determination target
teacher data
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980065322.5A
Other languages
English (en)
Inventor
中川幸宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sego Co ltd
System Square Inc
Original Assignee
Sego Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sego Co ltd filed Critical Sego Co ltd
Publication of CN112789499A publication Critical patent/CN112789499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/30—Accessories, mechanical or electrical features
    • G01N2223/305—Accessories, mechanical or electrical features computer simulations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/643—Specific applications or type of materials object on conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供一种能够迅速且大量地生成向学习用程序输入的教师数据的教师数据生成装置。本发明的教师数据生成装置(12)生成机器学习中使用的教师数据。使用教师数据生成装置所生成的教师数据通过机器学习生成的学习完成模型被使用于检查装置，该检查装置通过将拍摄被检查物得到的图像输入到该学习完成模型来进行被检查物是否为正常品的检查。教师数据生成装置具备：判定对象图像提取部(120)，其从拍有被检查物的输入图像提取包含满足规定条件的判定对象的一个以上的判定对象图像；分类处理部(25)，其基于将拍进判定对象图像中的被检查物分类为正常品和非正常品中的某一个的分类操作，来将各个判定对象图像与分类的结果进行对应；以及教师数据存储部(126)，其存储将各个判定对象图像与分类的结果进行对应而得到的教师数据。

Description

教师数据生成装置和教师数据生成程序
技术领域
本发明涉及一种在基于拍摄被检查物得到的图像来对被检查物进行检查的检查装置中生成用于进行机器学习以生成用于判定被检查物是否良好的学习完成模型的教师数据的教师数据生成装置。
背景技术
X射线检查装置是如下的装置：使X射线产生部与X射线检测部相向，利用输送机等搬送装置将被检查物以通过X射线产生部与X射线检测部之间的方式依次搬送，使用在被检查物通过X射线产生部与X射线检测部之间时获得的X射线透射数据，来构建被检查物的X射线透射图像，使用该X射线透射图像来以无损的方式对被检查物进行检查。作为X射线检查装置的用途，例如有检测包装好的商品的内容物中是否混入了异物的异物混入检查、检测内容物是否具备规定个数的个数检查、检查内容物是否产生了裂纹等缺陷的缺陷检查等。这些检查是针对食品、医药品、工业零件等各种物品进行的。另外，除了X射线检查装置以外，还实际使用着基于拍摄被检查物而得到的图像来对被检查物进行检查的检查装置。
在这种检查装置中，基于规定的判定基准，将被检查物分类为合格品和不合格品。以往，该判定基准是预先定义的，但是由于近来的机器学习技术的进步而提出了将通过向学习用程序输入教师数据(学习用数据)而生成的学习完成模型用作判定基准的方案(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2011-089920号公报
发明内容
发明要解决的问题
学习完成模型能够通过输入大量的教师数据来重复学习从而改善判定的精度，但是目前为止高效地大量地准备教师数据并不容易。特别是，在将图像作为教师数据的情况下，为了使该图像的条件(尺寸、对比度等)一致并大量地准备伴有是否合格的判定结果的图像，需要极大的劳动力。
本发明是鉴于上述的问题而完成的，其目的在于提供一种能够迅速地大量地生成向学习用程序输入的教师数据的教师数据生成装置。
用于解决问题的方案
本发明的教师数据生成装置生成使用于机器学习的教师数据。使用教师数据生成装置所生成的教师数据通过机器学习生成的学习完成模型被使用于检查装置，该检查装置通过将拍摄被检查物得到的图像输入到该学习完成模型来进行被检查物是否为正常品的检查。教师数据生成装置具备：判定对象图像提取部，其从拍有被检查物的输入图像提取包含满足规定条件的判定对象的一个以上的判定对象图像；分类处理部，其基于将拍进判定对象图像中的被检查物分类为正常品和非正常品中的某一个的分类操作，来将各个判定对象图像与分类的结果进行对应；以及教师数据存储部，其存储将各个判定对象图像与分类的结果进行对应而得到的教师数据。
在本发明中，优选的是，判定对象图像提取部具备：图像处理部，其对输入图像进行图像处理，来输出处理完成图像；判定对象确定部，其基于规定的判定条件，确定处理完成图像中包含的判定对象；以及图像剪切部，其从处理完成图像中剪切出包含判定对象确定部所确定出的判定对象的判定对象图像并输出所述判定对象图像。
在本发明中，优选的是，图像剪切部确定包含判定对象确定部所确定出的判定对象的最小矩形，输出将该最小矩形中包含的图像调整为规定的尺寸而得到的图像来作为判定对象图像。
在本发明中，优选的是，判定对象图像提取部将判定对象图像的亮暗归一化后输出。
在本发明中，优选的是，还具备显示器和显示控制单元，所述显示控制单元对显示器的显示进行控制。而且，优选为，显示控制单元将多个判定对象图像并列显示于显示器的第一区域，并且将输入图像以叠加用于指示与判定对象图像对应的区域的显示的方式显示于显示器的第二区域。
在本发明中，优选的是，当显示器的第一区域内显示的多个判定对象图像中的一个判定对象图像被选择时，显示控制单元进行用于指示显示器的第二区域内显示的输入图像中的与被选择的该判定图像对应的区域的显示。
优选的是，本发明所涉及的计算机程序使计算机作为上述的任一个教师数据生成装置来发挥功能。
附图说明
图1是示出检查装置1的结构的框图。
图2是示出检查部10的结构的一例的图。
图3是示出教师数据生成部12的结构的框图。
图4是示出判定对象确定部中的规定的判定条件的一例的图。
图5是示出判定对象确定部中的规定的判定条件的其它例子的图。
图6是示出判定对象图像的明度的归一化中的输入输出的关系的曲线图。
图7是示出删除判定对象以外的物体被拍出的图像的处理的图。
图8是示出显示判定对象图像的画面的一例的图。
图9是示出表示判定对象图像显示区域中的判定结果的信息的显示例的图。
图10是示出信息显示区域中的分数、判定结果等的显示例的图。
图11是示出学习模式中的检查装置1的动作的过程的流程图。
图12是示出检查模式中的检查装置1的动作的过程的流程图。
具体实施方式
下面，基于附图对本发明的实施方式进行说明。此外，在下面的说明中，对相同的构件标注相同的标记，关于已说明过一次的构件，对其说明适当地进行省略。
[检查装置1的结构]
图1是示出用于检查被检查物2是否为正常品的检查装置1的结构的框图。检查装置1具备检查部10、控制部11、显示器16以及操作接口18。要由检查装置1检查的被检查物2是在正常品2A中混入了应去除的不合格品(例如有缺口、裂纹等的产品、相对质量或形状异常的产品、封口部处存在夹料的产品等)、异物(例如碎石、骨头等)的被检查物。下面，将这些不合格品、异物等应从被检查物2中去除的物体统称为去除对象物2B。去除对象物2B相当于本发明中的非正常品。
检查装置1具备检查模式和学习模式。在检查模式中，对由检查部10拍摄到的被检查物2的图像应用由机器学习执行部14生成的学习完成模型来进行检测混入被检查物2中的去除对象物2B的检查。在检查模式中，检查装置1通过对拍摄被检查物2而得到的图像进行分析，来检测混入被检查物2中的去除对象物2B。另一方面，在学习模式中，通过教师数据生成部12基于由检查部10等拍摄到的被检查物2的图像来生成教师数据，将该教师数据输入到机器学习执行部14来使学习完成模型进行学习。
检查部10用于拍摄进行检查所需要的被检查物2的图像。作为检查部10的例子，列举有拍摄出被检查物2的X射线透射图像的X射线检查装置，但是只要是基于被检查物2的图像进行检查的检查装置即可，并不限定于此。在检查模式中，检查部10对拍摄到的被检查物2的图像应用由机器学习执行部14预先生成的学习完成模型来进行被检查物2的检查。另外，检查部10将拍摄到的被检查物2的图像作为学习模式中向教师数据生成部12输入的输入图像来提供。
图2示出检查部10的结构的一例。在本例中，作为电磁波而照射X射线来获取X射线透射图像作为用于检查的图像。检查部10具备搬送部101、电磁波照射部102、电磁波检测部103、图像构成部104、存储部105以及判定部106。
搬送部101由一个或多个带式输送机构成，将被检查物2搬送到拍摄图像的检查区域，并将被检查物2从检查区域输出。电磁波照射部102向检查区域照射拍摄图像所需要的电磁波(例如X射线、可见光等)。电磁波照射部102例如被配置为与搬送部101的用于载置被检查物2的搬送面垂直地照射电磁波。检查对象区域根据需要而被屏蔽罩覆盖以防止从电磁波照射部102照射的电磁波泄漏到外部。
电磁波检测部103被配置于将搬送部101夹在中间且与电磁波照射部102相向的位置。电磁波检测部103具备能够检测电磁波照射部102照射出的电磁波的多个检测元件，对通过检查区域并到达电磁波检测部103的电磁波的空间分布进行检测。电磁波检测部103例如优选设为线传感器、区域传感器、TDI(Time Delay Integration：时间延迟积分)传感器等。
当在电磁波照射部102与电磁波检测部103之间的检查区域存在被检查物2时，从电磁波照射部102照射出的电磁波与该电磁波在被检查物2的各位置处的透射率相应地衰减地到达电磁波检测部103，被检查物2的内部的状态作为由电磁波检测部103检测出的电磁波强度的对比度的分布而被观测到。
图像构成部104将由电磁波检测部103检测出的电磁波强度的对比度的分布构成为二维的图像，并将该图像的数据保存到存储部105。存储部105由RAM、硬盘等存储装置构成。
判定部106对通过图像构成部104构成的被检查物2的图像应用由机器学习执行部14预先生成的学习完成模型，来进行被检查物2的检查(是否良好的判定)。此外，图像构成部104和判定部106也可以构成为后述的控制部11的一部分。
显示器16是液晶显示器等显示装置，用于显示检查装置1的操作画面、各种图像。操作接口18是开关、鼠标、键盘等输入单元，受理由用户进行的对检查装置的操作输入。
控制部11负责检查装置1的各构成要素的控制。控制部11例如通过包括CPU、存储元件等的计算机构成。控制部11包括教师数据生成部12和机器学习执行部14。教师数据生成部12相当于本发明的教师数据生成装置，机器学习执行部14相当于本发明的学习完成模型生成装置。
在检查装置1的学习模式中，教师数据生成部12生成由机器学习执行部14实施的机器学习中使用的教师数据。图3是示出教师数据生成部12的结构的框图。如图3所示，教师数据生成部12具备判定对象图像提取部120、显示控制部124、分类处理部125以及教师数据存储部126。
判定对象图像提取部120从拍有被检查物2的输入图像中提取一个以上的判定对象图像，该判定对象图像拍有作为去除对象物2B而应检测出的物体的候选。如图3所示，判定对象图像提取部120具备图像处理部121、判定对象确定部122以及图像剪切部123。
图像处理部121对输入图像进行滤波等图像处理，来输出处理完成图像。图像处理部121进行的图像处理例如优选为通过平均化滤波器、高斯滤波器等使图像模糊来减少噪声的处理、通过微分滤波器(Roberts滤波器、Prewitt滤波器、Sobel滤波器等)、拉普拉斯滤波器等特征提取滤波器例如对边缘进行强调的处理等。
判定对象确定部122基于规定的判定条件，来确定处理完成图像中包含的判定对象。作为规定的判定条件，例如列举有设定固定明亮度的基准水平并将比基准水平暗(或亮)的部分作为判定对象的方法(图4)、按照图像内的明亮度的大致的变化(与被检查物2的厚度的变化大致一致)来设定根据位置而变化的基准水平并将比基准水平暗(或亮)的部分作为判定对象的方法(图5)。优选为根据设想的去除对象物2B(异物)的密度或尺寸来设定要使基准水平相对于明亮度的大致的变化偏离何种程度。除了基于这些明亮度的判定以外，还优选为根据希望检测的去除对象物2B来适当地将形状、面积等条件进行组合。
与要从输入图像中提取的去除对象物2B的候选的种类相应地选择由图像处理部121进行的图像处理的种类或条件(下面将它们统称为图像处理条件)以及判定对象确定部122中的判定条件。例如，对于厚度固定的被检查物2，优选使用基于固定明亮度的基准水平的判定条件，对于厚度不固定的被检查物2，优选使用按照明亮度的大致的变化而变化的基准水平。
图像剪切部123从处理完成图像中剪切出包含判定对象确定部122所确定出的判定对象的判定对象图像并输出判定对象图像。作为图像剪切部123进行的处理的具体例，优选的是，图像剪切部123确定包含判定对象确定部122所确定出的判定对象的最小矩形，将该最小矩形中包含的图像调整为规定的尺寸而得到的图像作为判定对象图像来输出。或者，也可以是，使得用户能够从设定画面等设定剪切尺寸(矩形的纵向和横向的像素数)，图像剪切部123以所设定的该剪切尺寸剪切出包含判定对象的图像并且调整为规定的尺寸后作为判定对象图像而输出。在判定对象确定部122所确定出的判定对象中包含所设定的剪切尺寸所容纳不了的大小的物体的情况下，优选的是，图像剪切部123使图像缩小以使这样的判定对象包含到所设定的尺寸的区域内之后，以所设定的剪切尺寸剪切图像。尺寸一致的图像作为机器学习的教师数据是较佳的。
图像剪切部123也可以对判定对象图像进一步实施图像处理。例如，优选的是，图像剪切部123将判定对象图像的亮暗归一化后输出。具体地说，如图6所示，图像剪切部123优选为将明度归一化为使原始的判定对象图像内包含的最暗的像素的明度最大限度地变暗(成为最小明度Imin)并且使最亮的像素的明度最大限度地变亮(成为最大明度Imax)。像这样，能够使各判定对象图像成为明亮度一致的对比度强的图像，能够成为适合于机器学习的图像。此外，归一化的方法并不限定于上述。另外，图像剪切部123也可以进行删除判定对象图像中拍摄到的判定对象以外的物体的处理。具体地说，如图7所示，图像剪切部123优选为进行如下处理：消除原始的判定对象图像内包含的最大的BLOB(明度为规定值以下(在二值化的情况下值为0)的一块像素组)以外的BLOB。像这样，能够防止判定对象以外的物体被拍入而对判定产生影响。
显示控制部124对显示器中的显示进行控制。此外，显示控制部124可以由检查装置1内的除教师数据生成部12以外的结构共享。显示控制部124使显示器16以能够进行选择的方式显示由判定对象图像提取部120提取出的判定对象图像。图8示出了将判定对象图像显示于显示器16时的显示例。判定对象显示画面具备输入图像显示R2、判定对象图像显示区域R1、信息显示区域R3。判定对象图像显示区域R1是将判定对象图像并列显示的区域。在判定对象图像显示区域R1中，除了显示判定对象图像以外，还显示用于对各判定对象图像进行是否合格的分类的用户界面等。输入图像显示R2是显示输入图像的区域。信息显示区域R3是显示与被选择的判定对象图像有关的信息(例如图像文件的名称、保存场所等)的区域。
优选的是，在输入图像显示R2中显示输入图像时，以叠加用于指示与提取出的判定对象图像对应的区域(也就是说，将判定对象包含在内的最小矩形)的显示的方式进行显示。具体地说，优选为在输入图像上叠加将判定对象包含在内的最小矩形的框来进行显示。表示与该判定对象图像对应的区域的显示优选构成为能够由用户来选择显示/不显示。
在判定对象图像显示区域R1内并列显示判定对象图像时，优选为按通过已有的学习完成模型进行各判定对象图像的判定的情况下的分数(意味着该分数越高(或者越低)则为正常品2A的可能性越高这样的判定结果)的顺序进行排序来显示判定对象图像。
另外，对于在判定对象图像显示区域R1内并列显示的各个判定对象图像，也可以如图9所示那样以能够视觉识别表示判定结果的信息的方式进行显示。具体地说，也可以在与各个判定对象图像叠加或相邻的位置显示分数、判定结果(按正常品/去除对象物)等。另外，关于各个判定对象图像，也可以进行表示是正常品还是去除对象物的显示上的表现。例如，优选设为与是正常品还是去除对象物相应地用不同颜色的框包围等。
能够通过点击判定对象图像显示区域R1内显示出的判定对象图像中的一个判定对象图像，来选择该判定对象图像。当选择了判定对象图像显示区域R1内的判定对象图像时，在判定对象图像显示区域R1内被选择的判定对象图像被用框包围地进行显示，在输入图像显示R2内，与被选择的判定对象图像对应的最小矩形被显示为能够区别于其它最小矩形(例如被双层框包围)。
与上述相反地，能够通过点击与输入图像显示R2内显示出的判定对象图像对应的最小矩形中的一个来选择与该最小矩形对应的判定对象图像。当通过这样点击了输入图像显示R2时，在判定对象图像显示区域R1内与被选择的最小矩形对应的判定对象图像被用框包围地进行显示，在输入图像显示R2内，被选择的最小矩形被显示为能够区别于其它最小矩形(例如被双层框包围)。通过进行这种将输入图像与所选择的判定对象图像对应起来的显示，由此能够一目了然地掌握所选择的判定对象图像在输入图像中是如何拍出的。
另外，优选的是，当选择了判定对象图像时，在输入图像显示R2内，将与被选择的判定对象图像对应的部分放大显示。像这样，能够容易地详细确认与所关注的判定对象图像对应的部分。另外，关于被选择的判定对象图像，也可以在信息显示区域R3内如图10所示那样显示分数、判定结果(按正常品/去除对象物)等。
分类处理部125基于用户目视来对被剪切出的判定对象图像进行拍进判定对象图像中的被检查物2是正常品2A还是去除对象物2B的分类。当用户进行了将对于被检查物的判定结果分类的操作时，分类处理部125响应于该操作而将被选择的判定对象图像分类为正常品2A和去除对象物2B中的某一个，将各个判定对象图像与判定结果进行对应而得到的教师数据存储到教师数据存储部126。将对于被检查物的判定结果分类的操作例如是如下的操作：用户一边观看显示器16一边对操作接口18进行操作来选择判定对象图像，用户通过目视判定拍进所选择着的判定对象图像中的被检查物2是正常品2A还是去除对象物2B，在是正常品2A的情况下，点击OK(合格)按钮，在是去除对象物2B的情况下点击NG(不合格)按钮。此外，也可以构成为不是用户进行操作来选择判定对象图像，而是由分类处理部125自动按照所决定的顺序对多个判定对象图像依次进行分类的操作。
教师数据存储部126由RAM、硬盘等存储装置构成。教师数据存储部126可以兼用作检查部10中的存储部105。教师数据存储部126存储教师数据的方法只要是以能够识别拍进判定对象图像中的被检查物2为正常品2A和去除对象物2B中的哪一个的方式进行存储即可，可以是任何的方法。例如，优选的是，教师数据存储部126将被判定为正常品2A的判定对象图像与被判定为去除对象物2B的判定对象图像分开存储到互不相同的文件夹中。或者，也可以是，教师数据存储部126将表示拍进判定对象图像中的被检查物2是正常品2A和去除对象物2B中的哪一个的信息作为判定对象图像的文件名或附加信息嵌入于文件。此外，也可以是，教师数据存储部126以共享的形式使用检查装置1为了存储各种信息而具备的存储介质。
机器学习执行部14执行用于使学习完成模型执行机器学习的学习用程序。机器学习执行部14将如上述那样由教师数据生成部12生成并存储到教师数据存储部126中的教师数据输入到学习用程序来进行机器学习，生成学习完成模型。机器学习执行部14也能够重新进行机器学习来生成新的学习完成模型，还能够对已有的学习完成模型追加进行机器学习来生成新的学习完成模型。在重新生成学习完成模型的情况下，优选为对预先准备的初始的(未学习的)学习完成模型进行机器学习。优选的是，机器学习执行部14对所生成的学习完成模型关联在教师数据生成部12生成教师数据时的图像处理部121中的图像处理条件、判定对象确定部122中的判定条件以及图像剪切部123中的判定对象图像的剪切条件来进行记录。
接着，关于学习模式和检查模式分别说明如以上那样构成的检查装置1的动作。
[学习模式中的动作]
图11是示出学习模式中的检查装置1的动作的过程的流程图。学习模式通过由检查装置1的操作接口18选择学习模式而开始。当学习模式开始时，在显示器16中显示学习模式用的操作画面。用户通过按下面的过程对该学习模式用的操作画面进行操作，能够进行教师数据的生成以及对于学习完成模型的机器学习。
首先，教师数据生成部12接受由用户进行的用于选择输入图像的操作(步骤S100)。输入图像既可以是由检查部10实际拍摄到的被检查物2的图像，也可以是为了进行学习而另外准备的图像。接着，教师数据生成部12接受由用户进行的用于选择学习完成模型的操作(步骤S110)。此处选择的学习完成模型成为在后一部分的机器学习中被进行追加学习的对象。此外，在重新生成学习完成模型的情况下，可以省略步骤S110。
接着，教师数据生成部12接受用于选择图像处理条件的操作，实施与选择相应的图像处理(步骤S120)。具体地说，通过用户选择在操作画面上显示的图像处理条件的选择项目，来选择图像处理条件。此时，教师数据生成部12优选将预览图像显示于显示器16以易于在确定选择之前确认对输入图像实施所选择的图像处理条件下的图像处理而得到的结果。当确定了选择时，图像处理部121实施与选择内容相应的图像处理来输出处理完成图像。
接着，教师数据生成部12接受用于设定判定对象确定部122中的判定条件的操作，实施与设定相应的判定(步骤S130)。具体地说，通过用户选择操作画面上显示的判定条件的选择项目，来设定图像处理条件。此时，教师数据生成部12优选将在输入图像上叠加有提取结果的预览图像显示于显示器16以易于在确定选择之前确认所选择的判定条件下的去除对象物2B的候选的提取结果。当确定了选择时，判定对象确定部122实施与选择内容相应的判定(去除对象物2B的候选的提取)。
接着，教师数据生成部12接受用于由图像剪切部123剪切出判定对象图像的条件的设定，实施与设定相应的判定对象图像的剪切(步骤S140)。具体地说，通过对在操作画面上显示的判定对象图像的尺寸、是否需要归一化等的设定项目输入期望的设定，来设定用于剪切出判定对象图像的条件。当确定了剪切的条件的设定时，图像剪切部123与设定内容相应地实施判定对象图像的剪切处理。此时剪切出的判定对象图像被保存到未被进行是正常品2A还是去除对象物2B的分类的判定对象图像用的文件夹。
此外，在步骤S110中所选择的学习完成模型关联了图像处理条件、判定条件以及剪切条件的情况下，教师数据生成部12省略步骤S120～步骤S140，并设为已选择与学习完成模型相关联的图像处理条件、判定条件以及剪切条件而进行以后的处理。像这样，能够以与过去对学习完成模型进行的机器学习相同的条件进行追加的机器学习，能够期待学习完成模型的高精度化。
接着，教师数据生成部12接受用于选择将步骤S140中剪切出的判定对象图像分别分类为正常品2A和去除对象物2B中的哪一个的操作，与选择相应地记录为将判定对象图像与判定结果进行对应而得到的教师数据(步骤S150)。
继步骤S150之后，机器学习执行部14接受用于基于步骤S150中生成的教师数据执行机器学习的指示，响应于该指示而执行学习用程序，来对学习完成模型实施机器学习(步骤S160)。此时，机器学习执行部14在操作画面上显示用于使用户选择对已有的学习完成模型追加实施机器学习、或者重新生成学习完成模型的界面。在对已有的学习完成模型追加实施机器学习的情况下，优选为呈现用于使用户选择学习完成模型的菜单。此外，也可以构成为省略本阶段中的学习完成模型的选择，对步骤S110中所选择的学习完成模型实施机器学习。然后，当结束步骤S160中的机器学习时，学习模式中的一系列处理完成。
[检查模式中的动作]
图12是示出检查模式中的检查装置1的动作的过程的流程图。检查模式通过在检查装置1的操作接口18中选择检查模式而开始。当检查模式开始时，在显示器16中显示检查模式用的操作画面。用户通过按下面的过程对该检查模式用的操作画面进行操作，能够对被检查物2进行检查。
首先，检查装置1接受由用户进行的用于设定检查条件的操作(步骤S200)。作为检查条件，除了图像拍摄时的X射线或可见光等的照射强度、曝光时间、搬送速度等一般的检查装置的条件以外，还包含去除对象物2B的判定中使用的学习完成模型的选择。
当检查条件的设定完成时，响应于由用户进行的规定的操作，检查部10开始对被检查物2进行检查。即，检查部10将被检查物2搬送到拍摄位置来进行拍摄(步骤S210)，将拍摄到的图像输入到学习完成模型来判定在图像中是否包含去除对象物2B。具体地说，学习完成模型对于拍进图像中的被检查物2分别输出0到1的数值(分数)。该分数例如表示越接近1则为去除对象物2B的可能性越高的判定结果。在检查部10中，对于学习完成模型输出的分数设置规定的阈值，将分数为该阈值以上的被检查物2作为去除对象物2B，对该去除对象物2B进行需要的处理(步骤S220)。在此，需要的处理例如是将表示去除对象物2B的图形(例如框)与拍摄到的图像一起显示于显示器16的处理、将去除对象物2B去除的处理、分类出去除对象物2B和正常品2A的处理等。以上对1个单位的被检查物2的检查完成。此外，在被检查物2被连续地送入检查装置1的情况下，检查装置1通过重复进行上述的一系列的工序来连续地实施被检查物2的检查。
通过以上那样的结构，检查装置1能够迅速地大量地生成在学习模式中向学习用程序输入的教师数据，能够通过输入所生成的教师数据进行机器学习来生成学习完成模型。而且，在检查模式中，能够使用学习模式中所生成的学习完成模型来进行高精度的检查。
[实施方式的变形]
此外，在上述中对本实施方式进行了说明，但是本发明不限定于这些例子。
例如，在上述实施方式中，教师数据生成部12和机器学习执行部14被内置于检查装置1，但是教师数据生成部12和机器学习执行部14也可以不内置于检查装置1而作为独立的教师数据生成装置、或学习完成模型生成装置来提供。例如，也可以通过使计算机执行用于使计算机作为上述的教师数据生成部12和机器学习执行部14而发挥功能的计算机程序来实现教师数据生成部12和机器学习执行部14。
另外，在上述的实施方式中，判定对象图像提取部120具备图像剪切部123，该图像剪切部123从输入图像中剪切出包含判定对象的判定对象图像并进行了输出，但是也可以设为判定对象图像提取部120不剪切出判定对象图像而进行处理的结构。例如，也可以构成为通过判定对象确定部122确定输入图像中包含的判定对象，在输入图像内对所确定出的判定对象进行标注处理(也就是说，无需剪切为其它图像就能够识别输入图像内所确定出的判定对象)。在该情况下，优选构成为对输入图像内包含的各判定对象分别分类为是正常品还是非正常品。
另外，本领域技术人员针对上述的各实施方式适当地进行结构要素的追加、删除、设计变更所得到的方式、将各实施方式的特征适当组合所得到的方式只要具备本发明的宗旨，则也包含在本发明的范围内。
附图标记说明
1：检查装置；10：检查部；12：教师数据生成部；120：判定对象图像提取部；121：图像处理部；122：判定对象确定部；123：图像剪切部；124：显示控制部；125：分类处理部；126：教师数据存储部；14：机器学习执行部；16：显示器；18：操作接口；2：被检查物；2A：正常品；2B：去除对象物。

Claims (7)

1.一种教师数据生成装置，用于生成机器学习中使用的教师数据，所述教师数据生成装置的特征在于，
使用所述教师数据通过所述机器学习生成的学习完成模型被使用于检查装置，该检查装置通过将拍摄被检查物得到的图像输入到该学习完成模型来进行所述被检查物是否为正常品的检查，
所述教师数据生成装置具备：
判定对象图像提取部，其从拍有所述被检查物的输入图像提取包含满足规定条件的判定对象的一个以上的判定对象图像；
分类处理部，其基于将拍进所述判定对象图像中的所述被检查物分类为正常品和非正常品中的某一个的分类操作，来将各个所述判定对象图像与分类的结果进行对应；以及
教师数据存储部，其存储将各个所述判定对象图像与分类的结果进行对应而得到的教师数据。
2.根据权利要求1所述的教师数据生成装置，其特征在于，
所述判定对象图像提取部具备：
图像处理部，其对所述输入图像进行图像处理，输出处理完成图像；
判定对象确定部，其基于规定的判定条件，确定所述处理完成图像中包含的所述判定对象；以及
图像剪切部，其从所述处理完成图像中剪切出包含所述判定对象确定部所确定出的所述判定对象的所述判定对象图像并输出所述判定对象图像。
3.根据权利要求2所述的教师数据生成装置，其特征在于，
所述图像剪切部确定包含所述判定对象确定部所确定出的所述判定对象的最小矩形，输出将该最小矩形中包含的图像调整为规定的尺寸而得到的图像来作为所述判定对象图像。
4.根据权利要求1至3中的任一项所述的教师数据生成装置，其特征在于，
所述判定对象图像提取部将所述判定对象图像的亮暗归一化后输出。
5.根据权利要求1至4中的任一项所述的教师数据生成装置，其特征在于，
还具备显示器和显示控制单元，所述显示控制单元对所述显示器的显示进行控制，
所述显示控制单元将多个所述判定对象图像并列显示于所述显示器的第一区域，并且将所述输入图像以叠加用于指示与所述判定对象图像对应的区域的显示的方式显示于所述显示器的第二区域。
6.根据权利要求5所述的教师数据生成装置，其特征在于，
当所述显示器的第一区域内显示的多个所述判定对象图像中的一个所述判定对象图像被选择时，所述显示控制单元进行用于指示所述显示器的第二区域内显示的所述输入图像中的与被选择的该判定图像对应的区域的显示。
7.一种计算机程序，用于使计算机作为根据权利要求1至权利要求6中的任一项所述的教师数据生成装置来发挥功能。
CN201980065322.5A 2018-10-01 2019-09-20 教师数据生成装置和教师数据生成程序 Pending CN112789499A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-186778 2018-10-01
JP2018186778 2018-10-01
PCT/JP2019/037047 WO2020071162A1 (ja) 2018-10-01 2019-09-20 教師データ生成装置及び教師データ生成プログラム

Publications (1)

Publication Number Publication Date
CN112789499A true CN112789499A (zh) 2021-05-11

Family

ID=70054810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980065322.5A Pending CN112789499A (zh) 2018-10-01 2019-09-20 教师数据生成装置和教师数据生成程序

Country Status (5)

Country Link
US (1) US20220067434A1 (zh)
EP (1) EP3862749A4 (zh)
JP (1) JP6754155B1 (zh)
CN (1) CN112789499A (zh)
WO (1) WO2020071162A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115485742A (zh) * 2021-06-18 2022-12-16 空间转移株式会社 学习模型、信号处理装置、飞行物以及程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
JP7029201B1 (ja) 2021-02-04 2022-03-03 コネクテッドロボティクス株式会社 物体検査装置、検査用プログラム、及びシステム
WO2023276595A1 (ja) * 2021-06-29 2023-01-05 ＬｅａｐＭｉｎｄ株式会社 異常表示装置、異常表示プログラム、異常表示システム及び異常表示方法
JP7240780B1 (ja) 2022-10-04 2023-03-16 株式会社 システムスクエア 検査装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799434A (zh) * 2010-03-15 2010-08-11 深圳市中钞科信金融科技有限公司 一种印刷图像缺陷检测方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
CN104487843A (zh) * 2012-08-23 2015-04-01 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
CN107607562A (zh) * 2017-09-11 2018-01-19 北京匠数科技有限公司 一种违禁物品识别设备及方法、x光行李安检系统
CN107797516A (zh) * 2016-09-06 2018-03-13 发那科株式会社 数值控制装置
CN109155824A (zh) * 2016-06-02 2019-01-04 索尼公司 图像处理设备和图像处理方法以及学习设备和学习方法
CN116645314A (zh) * 2022-02-22 2023-08-25 株式会社斯库林集团 教师数据生成装置、教师数据生成方法和记录有程序的记录介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548847B2 (en) * 2002-05-10 2009-06-16 Microsoft Corporation System for automatically annotating training data for a natural language understanding system
JP2011089920A (ja) * 2009-10-23 2011-05-06 Shimadzu Corp Ｘ線検査方法、及び該ｘ線検査方法を用いたｘ線検査装置
CN105808555B (zh) * 2014-12-30 2019-07-26 清华大学 检查货物的方法和系统
JP2016156647A (ja) * 2015-02-23 2016-09-01 株式会社 システムスクエア 電磁波を使用した検査装置
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10890537B2 (en) * 2017-02-20 2021-01-12 Serendipity Co., Ltd Appearance inspection device, lighting device, and imaging lighting device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799434A (zh) * 2010-03-15 2010-08-11 深圳市中钞科信金融科技有限公司 一种印刷图像缺陷检测方法
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
CN104487843A (zh) * 2012-08-23 2015-04-01 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
CN109155824A (zh) * 2016-06-02 2019-01-04 索尼公司 图像处理设备和图像处理方法以及学习设备和学习方法
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
CN107797516A (zh) * 2016-09-06 2018-03-13 发那科株式会社 数值控制装置
CN107607562A (zh) * 2017-09-11 2018-01-19 北京匠数科技有限公司 一种违禁物品识别设备及方法、x光行李安检系统
CN116645314A (zh) * 2022-02-22 2023-08-25 株式会社斯库林集团 教师数据生成装置、教师数据生成方法和记录有程序的记录介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115485742A (zh) * 2021-06-18 2022-12-16 空间转移株式会社 学习模型、信号处理装置、飞行物以及程序
CN115485742B (zh) * 2021-06-18 2023-06-27 空间转移株式会社 学习模型、信号处理装置、飞行物以及程序

Also Published As

Publication number Publication date
EP3862749A4 (en) 2022-07-13
JP6754155B1 (ja) 2020-09-09
US20220067434A1 (en) 2022-03-03
JPWO2020071162A1 (ja) 2021-02-15
EP3862749A1 (en) 2021-08-11
WO2020071162A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
CN112789499A (zh) 教师数据生成装置和教师数据生成程序
JP4317566B2 (ja) Ｘ線検査装置およびｘ線検査装置の画像処理手順の生成方法
US11010890B2 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
JP2019211288A (ja) 食品検査システムおよびプログラム
KR20200097344A (ko) 검사 장치
JP2016156647A (ja) 電磁波を使用した検査装置
WO2021193733A1 (ja) 教師データ生成装置、検査装置及びプログラム
EP3862748A1 (en) X-ray inspection device for detecting residual bones in chicken breast meat
KR102498829B1 (ko) 검사 장치
KR101321378B1 (ko) 컨베이어를 이용한 모바일 기기 엑스레이검사 방법
Antonello et al. Autonomous robotic system for thermographic detection of defects in upper layers of carbon fiber reinforced polymers
KR102390058B1 (ko) Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법
JP2009080030A (ja) Ｘ線検査装置
JP2004028891A (ja) Ｘ線画像処理フィルタ自動設定方法，ｘ線異物検出方法及びｘ線異物検出装置
CN111458344A (zh) 一种口罩缺陷视觉检测方法、设备、存储介质
JP7393793B2 (ja) Ｘ線検査装置
WO2022181746A1 (ja) 画像表示装置、画像表示方法及びプログラム
KR102668930B1 (ko) 검사 장치
JP2013108879A (ja) 周期性パターンの欠陥検査方法および周期性パターンの欠陥検査装置
EP4040141A1 (en) Inspection device
JP2018151279A (ja) Ｘ線検査装置
Sudheera et al. DWT based automated weld pool detection and defect characterisation from weld radiographs
JP2009080029A (ja) Ｘ線検査装置
JP2024054011A (ja) 検査装置
JP2022156999A (ja) 検査方法、検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination