CN117813492A - 学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序 - Google Patents
学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序 Download PDFInfo
- Publication number
- CN117813492A CN117813492A CN202180101428.3A CN202180101428A CN117813492A CN 117813492 A CN117813492 A CN 117813492A CN 202180101428 A CN202180101428 A CN 202180101428A CN 117813492 A CN117813492 A CN 117813492A
- Authority
- CN
- China
- Prior art keywords
- image
- inspected
- plaque
- abnormality
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004590 computer program Methods 0.000 title claims description 7
- 230000005856 abnormality Effects 0.000 claims abstract description 181
- 238000012545 processing Methods 0.000 claims abstract description 80
- 230000008569 process Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000001678 irradiating effect Effects 0.000 claims abstract description 21
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 96
- 230000010365 information processing Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 239000003550 marker Substances 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 6
- 238000011109 contamination Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 229910052742 iron Inorganic materials 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
能够高精度地检测被检查物的异常。学习模型的生成方法包括如下步骤：对被检查物照射电磁波；根据透过被检查物的电磁波获取图像；基于对图像进行图像处理后的处理图像所具有的像素的像素值，确定被检查物所包括的斑块；获取被与确定的斑块对应的位置及形状掩盖的掩模图像、作为不包括斑块的处理图像的背景图像、及包括与被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有处理图像中的掩盖部分的偏移信息及与斑块相符的目标物的种类即斑块标签；获取包括掩模图像、以及异常信息在内的训练数据；在对被检查物照射电磁波，输入了根据透过被检查物后的电磁波获取到的图像的情况下，基于训练数据，获取在处理图像上作为热图而显示斑块的位置及形状的热图图像；以及合成热图图像与处理图像，由此生成将包括热图图像的检查图像输出的学习模型。
Description
技术领域
本发明涉及物体检测，尤其是，涉及用于将服饰杂货、食品、工业产品等作为被检查物进行检查，检测混入被检查物的异物的学习模型的生成方法、学习模型、检查装置、检查方法、以及计算机程序。
背景技术
一直以来，已知有在服饰杂货、食品、工业产品等的检查、在包装材料中收纳有内容物的包装体的检查中，使用了X射线、太赫兹波、红外线以及可视光等检查波的、能够以非破坏、非接触并且快速地检查、检验、检测异物的装置(例如，参照专利文献1以及专利文献2)。上述那样的装置对被检查物照射电磁波等检查波，测量透过了被检查物的检查波的透过量，作为检查图像而获取被检查物的检查波透过图像。
在利用了检查波、例如X射线的检查中，从X射线透过图像分别测定被检查物的浓度和异物的浓度而预先设定异物提取的浓度阈值，基于存在于获取到的X射线透过图像的浓度分布内的、大于阈值的浓度的特异位置的面积、形状等来判定异物混入的有无。基于检查图像的斑块(块)的面积以及周长而进行被检查物的形状的异常的有无。通过计算构成斑块的像素，计算斑块的面积，基于形成斑块的周围的背景像素的排列，计算斑块的周长。另外，通常，X射线的透过量与照射X射线对象物的密度相关，对象物的密度越低X射线的透过性越高，对象物的密度越高X射线的透过性越低。因此，原理上，被检查物与异物的密度差越大，X射线透过图像中的被检查物与异物的浓度差也变大，能够进行稳定的异物检测。
现有技术文献
专利文献
专利文献1：日本特开2018-138899号公报
专利文献2：日本专利第5876116号公报
发明内容
发明所要解决的问题
这样，现有的异物检查方法通过与阈值进行比较来判定异物的有无，但是存在根据被检查物以及异物的种类，正常的区域与异物的像素值的差异小，无法检查、异物检测的精度的降低的问题。
本发明是鉴于这样的情况而完成的，目的在于提供一种能够以高的精度检测被检查物的异常的学习模型的生成方法、学习模型、检查装置、检查方法、以及计算机程序。
用于解决问题的手段
本发明的一方式所涉及的学习模型的生成方法包括如下步骤：对被检查物照射电磁波；根据透过所述被检查物后的电磁波获取图像；基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
本发明的一方式所涉及的学习模型具备：输入层，其供掩模图像、背景图像、及异常信息输入，所述掩模图像为通过对被检查物照射电磁波，根据透过所述被检查物后的电磁波获取图像，基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块，被与确定的所述斑块对应的位置及形状掩盖而得的掩模图像，所述背景图像为不包括所述斑块的所述处理图像，所述异常信息包括与所述被检查物的异常有关的信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；输出层，其获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像，合成所述热图图像与所述处理图像，由此输出包括所述热图图像的检查图像；以及中间层，其基于所述掩模图像及所述异常信息而学习了参数，在所述掩模图像及所述异常信息输入至输入层的情况下，使计算机以经由基于所述中间层的运算而从所述输出层输出包括所述热图图像的所述检查图像的方式发挥功能，在所述背景图像输入至输入层的情况下，使计算机以经由基于所述中间层的运算而从所述输出层输出不包括所述热图图像的所述检查图像的方式发挥功能。
本发明的一方式所涉及的检查装置具备：照射部，其对被检查物照射电磁波；图像生成部，其根据透过所述被检查物后的电磁波生成图像；图像处理部，其对所述图像实施图像处理，获取处理图像；对象确定部，其基于所述处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；获取部，其作为训练数据而获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；异常信息获取部，在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，所述异常信息获取部向输出与所述被检查物的异常有关的信息的学习模型输入由所述获取部获取到的所述掩模图像及异常信息，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及输出部，其合成所述热图图像与所述处理图像，由此输出包括所述热图图像的检查图像，所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
本发明的一方式所涉及的检查方法使计算机执行包括以下步骤的处理：对被检查物照射电磁波；根据透过所述被检查物后的电磁波获取图像；基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
本发明的一方式所涉及的计算机程序使计算机执行包括以下步骤的处理：对被检查物照射电磁波；根据透过所述被检查物后的电磁波获取图像；基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
发明效果
根据本发明，在被检查物的检查图像中，即使在正常部分与异常部分的像素值的差异小的情况、异物的形状特异的情况、以及异物的尺寸极小的情况下，也能够以高的精度辨别正常部分与异常部分，能够确定异物混入等异常状态。
因此，能够高精度地检测与异物的有无等异常的有无有关的信息。
此外，根据本发明，用户从需要多的集中力的长时间、反复的单纯作业中解放出来，从伴随疲劳的减轻、疲劳的事故等中解放出来，并且还有助于减少异物混入事故导致的健康损害，能够为联合国所主导的可持续发展目标(SDGs)的目标3“对所有人提供健康与福祉”以及目标8“体面工作和经济增长”做出贡献。
附图说明
图1是表示本发明的实施方式1所涉及的异常检查系统的构成的概要图。
图2是表示本发明的实施方式1所涉及的异常检查系统的构成的框图。
图3是表示掩模R-CNN卷积神经网络的已知的实施例的概要图。
图4是表示本发明的实施方式1所涉及的检查图像DB151的记录布局的一个例子的概要图。
图5是关于本发明的实施方式1所涉及的异常检测模型的生成处理的概要图。
图6是关于本发明的实施方式1所涉及的异常检测模型的生成处理的流程图。
图7是基于本发明的实施方式1所涉及的异常检查系统的异常检测处理的处理步骤的流程图。
图8是表示被检查物的处理图像的概要图。
图9是表示被检查物的掩模图像的概要图。
图10是表示未混入异物的被检查物的处理图像的概要图。
图11是表示用于实施背景图像处理的标记图像的概要图。
图12是表示实施背景图像处理后的处理图像的概要图。
图13是表示混入异物的被检查物的处理图像的概要图。
图14是表示在处理图像中存在多个异物时的训练数据制作处理的概要图。
图15是表示实施异物检测处理后的被检查物的检查图像的概要图。
图16是表示作为检查对象的被检查物的概要图。
图17是表示本发明的实施方式2所涉及的异常检查系统的构成的框图。
图18是关于本发明的实施方式2所涉及的再学习处理的产生条件的概要图。
图19是表示本发明的实施方式2所涉及的再学习处理的处理步骤的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
此外，为了便于说明，在没有特别提及的情况下，赋予各附图的相同的附图标记表示相同部分或者相当部分，另外有时意图具有同样的结构和/或功能的要素，省略多余的详细的说明。
进而，对于重复的说明进行适当简化或者省略。
另外，在本实施方式中有时使用符号“～”来表示数值范围，记载于“～”前后的数值包含在该数值范围内。
(实施方式1)
[异常检查系统]
图1是表示本发明的实施方式1所涉及的异常检查系统10的构成的概要图，图2是表示异常检查系统10的构成的框图。
异常检查系统10具备信息处理装置1、以及X射线检查装置2。在本实施方式1中，对异常检查系统10进行说明，在该异常检查系统10中，以分散于X射线检查装置2的搬运部(输送机)6的搬运带60上的状态放置被检查物4，基于使用X射线对被检查物4进行拍摄后的图像检测异常。作为被检查物4的一个例子，可列举为鞋、包、衣服以及食品等。此外，被检查物4不限于事先列举的鞋等对象物，只要是能够通过图像检测到形状的对象物就能够应用。另外，被检查物4不限于事先列举的鞋等对象物本身，能够应用于收纳在包装材料中的对象物，也能够应用于放置在托盘的对象物。信息处理装置1和X射线检查装置2可以分离地构成，也可以一体化地构成。
[X射线检查装置]
X射线检查装置2具备照射部3、搬运带60、发光部24、受光部25、控制器27、显示部22。显示部22具备第一显示部41以及第二显示部42。
另外，X射线检查装置2具备形成为横长的长方体形状的下侧壳体23、和设置于下侧壳体23上，并且比下侧壳体23小的上侧壳体21。
在下侧壳体23内设置有搬运部6。搬运部6具备搬运带60、搬运带驱动部61以及搬运带控制部62。搬运带控制部62从控制部11接受包括搬运被检测物4的距离、速度等的指令，基于该指令控制搬运带驱动部61的动作。
在上侧壳体21中，收纳有照射部3。照射部3具有照射体31以及照射控制部32。照射控制部32从控制部11接受包括照射X射线的X射线照射时间、X射线强度等详细的设定的指令，基于该指令控制从照射体31照射的X射线。另外，照射部3能够控制为从任意的角度(例如，相对于图1记载的坐标轴X、Y、Z，分别为0°、25°以及45°等)对被检查物4照射X射线。通过能够基于改变角度后的照射获取到的X射线照射图像，能够更准确地确认有无异物混入。在上侧壳体21的正面，设置有显示部22。显示部22显示后述的图像生成部111生成的被检查物4的X射线图像等。显示部22例如是LCD(Liquid Crystal Display：液晶显示器)等显示装置，显示部22所具备的第一显示部41以及第二显示部42可以是在同一个显示装置内分割的两个画面，也可以是独立的显示装置。
在上侧壳体21，设置有检测部7。检测部7被称为TDI(Time Delay Integration：时间延迟积分)相机或者TDI传感器，具有根据X射线的强度发出荧光的闪烁体、和检测由闪烁体发出的荧光的多个光电二极管。
在TDI相机中，光电二极管沿着与作为被检查物的移动方向的Y方向正交的X方向直线排列而构成一个检测线，排列设置有多个该检测线。多个检测线配置为朝向作为被检查物的移动方向的Y方向平行地排列。此外，在一个TDI相机的壳体内，多个光电二极管沿着X方向和Y方向规则地排列而配置，由沿着X方向排列的光电二极管构成一行检测线。
首先，在检查时，用户将被检查物4放置于搬运带60上，操作控制器27而搬运被检查物4，直至被检查物4位于照射部3的下方。当被检查物4被搬运至X射线照射部3的下方时，照射部3朝向被检查物4照射X射线。该照射的X射线透过被检查物4，到达位于搬运带60的下方的发光部24。发光部24根据该到达的X射线的量进行发光，受光部25接受该发光后的光。然后，X射线检查装置2根据受光部25接受到的光，通过控制部11内的图像生成部111生成X射线照射图像，显示于显示部22。
用户目视显示于显示部22的X射线照射图像，判断被检查物4内是否混入异物。此外，该X射线检查装置2的基本构成是与一直以来已知的X射线检查装置同样的构成，不限于本实施方式。
接着，图2表示呈现了本发明所涉及的X射线检查装置2的各构成要素的关系的框图的概要。X射线检查装置2被控制部11中央管理，包括在X射线检查装置2的各构成要素基于控制部11的指令而被控制。该控制部11具备图像生成部111、图像处理部112、对象确定部113、获取部114、异常信息获取部115、输出部116、控制显示部117、辨别部118。
此外，该控制部11安装于现有的计算机(配备有CPU、存储装置等的设备)中。另外，控制部11、图像生成部111、图像处理部112、对象确定部113、获取部114、异常信息获取部115、输出部116、控制显示部117、辨别部118通过软件层面实现。
搬运带60具备搬运带驱动部61和搬运带控制部62。搬运带控制部62从控制部11接受包括搬运被检查物4的距离、速度等的指令，基于该指令控制搬运带驱动部61的动作。
发光部24接受从照射体31照射，并且通过被检查物4的X射线而进行发光。然后，受光部25接受该发光后的光，并且传递至图像生成部111。
图像生成部111根据从受光部25传递过来的光生成透视被检查物4的X射线照射图像。此外，根据被传递过来的光量生成黑白图像，根据黑白的浓度值等赋予颜色，由此也能够生成被彩色图像化的X射线照射图像。
在该图像处理中，能够使用现有的处理方法，能够适当变更对图像实施的处理，以使用户容易发现混入被检查物4的异物。能够变更与图像处理相关的所有的各种设定信息，例如能够变更赋予图像的颜色，变更亮度、明度，变更分辨率，变更图像处理软件。
数据文件生成部220(未图示)生成数据文件，该数据文件至少将包括检查时的X射线检查装置2的设备设定信息、图像生成处理信息、被检测物信息、以及用户信息中的任一个的检查信息与由图像生成部111生成的X射线照射图像一起进行保存。
由该数据文件生成部220生成的数据文件以能够通过其他图像显示装置读取的形式、例如JPEG形式、MPEG形式保存。因此，通过搭载有能够读取这些形式的图像软件的现有的图像显示装置(计算机、平板终端等)，能够与以往同样地显示X射线照射图像。
进而，在以下详细描述的辅助存储部15能够保存由数据文件生成部220生成的数据文件。该辅助存储部15除了配置于控制部11的主存储部(RAM等)以外，也可以是外部存储介质(CD、DVD等)等。
数据读取部221(未图示)能够读取保存在辅助存储部15的数据文件。然后，通过数据读取部221读取到的检查信息被传递至控制部11，控制部11向照射部3、搬运带60、或者图像生成部111发送指令。
[信息处理装置]
信息处理装置1是能够进行各种信息处理、能够接收发送信息的信息处理装置，是计算机。根据使用目的、方法、规格、性能等，计算机被分类为个人计算机(PersonalComputer)、工作站、服务器计算机(服务器)、主机、超级计算机(巨型计算机)、超高级计算机(Ultra Computer)、小型计算机(minicomputer)、办公计算机(office computer)、口袋计算机(pocket computer)、微型计算机(Microcomputer)、便携信息终端(PDA)以及定序器(PLC：可编程逻辑控制器)等，但信息处理装置能够应用这些中的全部。X射线检查装置2经由LAN、因特网等网络N与信息处理装置1连接，构成为能够通信。另外，经由因特网等网络N能够通信地连接的云计算机也能够执行信息处理装置1的处理。
在本实施方式中将信息处理装置1作为个人计算机而在以下进行说明。
信息处理装置1获取对被检查物4进行拍摄的图像，基于该图像进行检测有无被检查物4的异常的处理。在本实施方式中信息处理装置1以通过机械学习从图像内检测(识别)被检查物4的异常的方式使用学习结束后的后述的异常检测模型152而进行有无异常的检测。关于异常检测模型152，能够假定作为人工智能软件的一部分即程序模块的利用。
信息处理装置1使用X射线检查装置2将基于对被检查物4进行拍摄的图像而被图像处理后的图像即处理图像50输入至异常检测模型152，作为输出而获取表示被检查物4的异常的有无的识别结果。信息处理装置1的控制部11根据来自异常检测模型152的指令，对输入至输入层的掩模图像51和/或背景图像52等进行运算，以输出表示异常的有无的识别结果的方式动作。异常的有无相当于被检查物4的形状的异常(变形)的有无以及异物的有无等。
以下，在本实施方式中，对以下情况进行说明：被检查物4的异常的种类为异物的有无，信息处理装置1向异常检测模型152输入掩模图像51和/或背景图像52等，在被检查物4中混入异物的情况下，作为热图图像53而获取该异物的位置、形状等。
接着，信息处理装置1输出将热图图像53与处理图像50进行合成的检查图像54。
信息处理装置1根据获取到的热图等异常信息，进行是否将被检查物4退回至制造商等的选择。
在此，异常信息在与处理图像50上被确定为异物的斑块对应的位置及形状中包括热图图像53的检查图像54中，包括热图部分的偏移信息及与斑块相符的目标物的种类即斑块标签等与被检查物的异常有关的信息。
信息处理装置1具备控制部11、主存储部12、通信部13、输入部14以及辅助存储部15。
控制部11具有一个或者多个CPU(Central Processing Unit：中央处理器)、MPU(Micro-Processing Unit：微处理器)、GPU(Graphics Processing Unit：图像处理器)等运算处理装置，控制部11读取存储于辅助存储部15的程序153而执行，由此进行信息处理装置1所涉及的各种信息处理、控制处理等。图2的各功能部通过控制部11基于程序153动作而被执行。
控制部11作为功能部而具备图像生成部111、图像处理部112、对象确定部113、获取部114、异常信息获取部115、输出部116、控制显示部117以及辨别部118。
图像生成部111基于透过被检查物4，并且由检测部7检测到的X射线，生成X射线图像。
图像处理部112基于平滑化滤波器、特征提取滤波器等对X射线图像进行图像处理，生成处理图像50。
对象确定部113基于处理图像50，进行被检查物4的斑块解析，确定斑块。
获取部114具备确定图像获取部124以及确定信息获取部134。确定图像获取部124获取被与通过对象确定部113确定的斑块对应的位置及形状掩盖后的掩模图像51。在此，掩模图像51是指，对想要发现的异物的部分进行掩盖(全部涂抹白色或者黑色，其他全部用相反的颜色涂抹)的图像。另外，确定图像获取部124获取作为不包括斑块的处理图像50的背景图像。关于背景图像的生成方法，在以下进行详细描述。
确定信息获取部134获取异常信息，该异常信息包括具有处理图像50中的掩盖部分的偏移信息及与斑块相符的目标物的种类即斑块标签的与被检查物4的异常有关的信息。另外，掩模图像51、背景图像52以及异常信息作为训练数据而被输入至异常检测模型152。
在对被检查物4照射电磁波，输入了根据透过被检查物4的电磁波而获取到的图像的情况下，异常信息获取部115向输出与被检查物4的异常有关的信息的学习模型输入由获取部114获取到的掩模图像51以及异常信息，获取在处理图像50上作为热图而显示斑块的位置及形状的热图图像53。
输出部116在处理图像50上合成异常信息获取部115获取到的热图图像53，输出包括热图图像53的检查图像54。
控制显示部117显示相对于构成图2所记载的异常检查系统的各种功能部的设定输入信息、设定变更信息以及设定确认信息等。另外，控制显示部117还能够实施对辅助存储部15所具备的检查图像DB151、异常检测模型152以及程序153所具有的数据以及程序的追加、削除以及编辑。
辨别部118基于包括关于被检查物4的热图图像53的检查图像54以及异常信息，进行是否将检查物4退回至制造商的选择，或者使搬运部6停止，或者标记表示是否结束对被检查物4的异常检测的记号。
主存储部12是SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、闪存存储器等临时存储区域，临时存储控制部11为了执行运算处理而必要的数据。通信部13是用于进行与通信有关的处理的通信模块，进行与外部的信息的接收发送。
辅助存储部15是大容量存储器、硬盘等，存储着控制部11用于执行处理而必要的程序153、其他数据。另外，辅助存储部15存储着检查图像DB151以及所述异常检测模型152。检查图像DB151是保存了作为异常检测对象的被检查物4的信息的数据库。
存储于辅助存储部15的程序153也可以由以能够读取程序153的方式记录的记录介质提供。记录介质例如是USB(Universal Serial Bus：通用串行总线)存储器、SD(SecureDigital：安全数码)卡、微型SD卡、致密型闪速存储器(注册商标)等便携式存储器。记录于记录介质的程序153通过未图示的读取装置而从记录介质被读取，保存于辅助存储部15。另外，在信息处理装置1具备能够与外部通信装置通信的通信部的情况下，存储于辅助存储部15的程序153也能够通过经由通信部的通信而提供。
此外，在辅助存储部15中，能够应用与信息处理装置1连接的外部存储装置。另外，在信息处理装置1中，能够应用由多个计算机构成的微型计算机，也能够应用通过软件而假设地构筑的虚拟机。
图3是表示被与对象确定部113确定的斑块对应的位置及形状掩盖的掩模图像51的概要图。控制部11的对象确定部113通过图案匹配、边缘检测、或者R-CNN(Regions withConvolutional Neural Networks：区域卷积神经网络)等进行斑块的检测。掩模图像51将掩盖部分显示为白色，将其他背景显示为黑色。
本发明所涉及的对象确定部113利用掩模R-CNN(Mask Regions withConvolutional Neural Networks：掩膜区域卷积神经网络)的结构。
[掩模R-CNN]
掩模R-CNN网络为已知的，将其结构示于图3。参照图3，掩模R-CNN是被分割为两组的CNN，处理被分为阶段1以及阶段2。
“阶段1”实现输入图像的前处理，本质上包括第一特征金字塔网络(FPN)子网络，关于其动作，在以下进行详细地说明。
“阶段2”结束并完成检测(生成所希望的输出、即被检测的对象要素的分割掩模、和/或一个以上的检测匣和/或等级)。
掩模R-CNN的阶段1还包括也作为检测网络的区域提议网络(RPN)类型的第三子网络、以及裁剪模块(“ROI对齐、ROI是指“对象区域”)。FPN识别FPN输出的特征图(即，包括对象要素的可能性高)的潜在的对象区域，裁剪模块为了使检测网络的动作变得容易，根据这些对象区域的坐标而“再次对齐”特征图。
另外，本CNN至少包括第一FPN类型网络以及第二检测网络类型子网络、以及任意选择性的第三RPN类型子网络以及裁剪模块。
在此，FPN(第一子网络)是掩模R-CNN网络的最重要的部分。
不同点在于，FPN通过上升分支(“自底向上”)、以及下降分支(“自顶向下”)、以及上升分支与下降分支之间的横向连接构成。
作为整体，也作为网络的主干而已知的上升分支是能够作为许多类型的现有的特征提取网络，尤其是现有的CNN(卷积层的直接连续模块CONV、批量标准化层BN、以及非线形层NL)。主干从输入图像提取以不同的规模表示输入图像的多个初期特征图。更准确地，主干由多个连续的卷积模块构成，由此第一模块从输入图像生成第一初期特征图，接着，第二模块相对于第一初期特征图生成第二初期特征图等。
以往，理解为，在卷积神经网络的情况下，通过各自的连续的图而规模变小(即，若分辨率降低，则特征图变得“更小”，因此详细度降低)，但是由于越发捕获高水平的结构的图像，因此语义深度进一步变大。具体地说，初期特征图随着其尺寸减少，使信道的数量增大。
实际上，池化层配置于两个模块之间，使尺寸减少为二分之一，用于一个模块起至其他模块的卷积层的滤波器的数量(一般为3×3卷积)增大(优选为2倍)，例如，在5等级的情况下，例如存在32、64、128、256、以及512的连续的信道编号、以及512×512、256×256、128×128、64×64、以及32×32的(相对于512×512输入图像)连续的图尺寸。
[学习模型的生成处理]
图4是表示检查图像DB151的记录布局的一个例子的概要图。检查图像DB151包括掩模图像ID列、偏移信息列、斑块标签列以及掩模图像列。掩模图像ID表示用于识别掩模图像51的信息。在X射线照射区域中，偏移信息(X、Y、W、H)表示关于放置在搬运带60上的被检查物4的掩模图像51上的掩盖部分的位置的坐标信息。在此，X以及Y表示关于X坐标以及Y坐标的信息，W以及H表示关于掩模图像51的横向以及纵向的信息。斑块标签(异物种类标签)表示与掩盖部分相符的异常状态的种类，符合瑕疵、铁球、针以及污垢等。
进而，检查图像DB151存储作为不包括斑块的处理图像50的背景图像52。另外，进而，检查图像DB151将包括热图图像53的检查图像54作为异物混入图像，另外将不包括热图图像53的检查图像54作为异物非混入图像(背景图像)而进行记录。
图5表示关于异常检测模型152的生成处理的概要图。图5概念性地表示进行机械学习而生成异常检测模型152的处理。
信息处理装置1作为异常检测模型152而对被检查物4的处理图像50内的异常的图像特征量进行学习，输入处理图像50等，构筑(生成)对表示被检查物4的形状的异常、以及异物的有无的信息进行输出的神经网络。神经网络是掩模R-CNN(Mask Regions withConvolutional Neural Network)，具有接受掩模图像51和/或背景图像52等的输入的输入层、输出异常的有无的识别结果的输出层、以及提取掩模图像51和/或背景图像52等的图像特征量的中间层。
输入层具有多个接受包括在检查图像54中的各像素的像素值的输入的神经元，将输入后的像素交接至中间层。中间层具有多个提取检查图像54的图像特征量的神经元，将提取后的图像特征量交接至输出层。在图6中，中间层的层数为3，但不限于此。例如在异常检测模型152为CNN的情况下，中间层具有对从输入层输入的各像素的像素值进行卷积的卷积层、与对在卷积层卷积的像素值进行测绘的池化层交替连结的构成，压缩检查图像54的像素信息，最终提取图像的特征量。在图6中，省略了卷积层、以及池化层的记载。输出层具有输出识别被检查物4的异常后的识别结果的三个神经元，基于从中间层输出的图像特征量识别被检查物4的形状的异常的有无、异物的有无。第一神经元输出被检查物4的正常的概率值，第二神经元输出被检查物4的形状的异常的概率值，第三神经元输出被检查物4具有异物的概率值。此外，异常的种类可以为三个以上。
此外，在本实施方式中，将异常检测模型152作为CNN而进行说明，但异常检测模型152不限于CNN，也可以应用CNN以外的神经网络、SVM(Support Vector Machine：支持向量机)、贝叶斯网络、回归树等由其他学习算法构筑的学习完毕模型。
信息处理装置1使用将多个掩模图像51、和表示各掩模图像51中的被检查物4的异常的信息进行对应的训练数据进行学习。在此，表示以上内容的信息是指，在被检查物4的处理图像50上被判断的异常的有无等，在判断为有异常的情况下，是与被检查物4的形状的异常、以及异物的有无等有关的信息。例如如图5所示，训练数据是相对于被检查物4的掩模图像51，使掩模图像51的ID、偏移信息及斑块标签带标签的数据和/或背景图像52等数据。
信息处理装置1将作为训练数据的掩模图像51和/或背景图像52等输入至输入层，经由中间层的运算处理，从输出层获取表示被检查物4的异常的有无的识别结果。此外，在掩模图像51被输入至输入层的情况下，从输出层输出的识别结果为包括热图图像53的检查图像54，在背景图像被输入至输入层的情况下，从输出层输出的识别结果为不包括热图图像53的检查图像54。
信息处理装置1比较从输出层输出的识别结果与在训练数据中相对于掩模图像51带标签的信息、即正确值，以使来自输出层的输出值接近正确值的方式对在中间层的运算处理中使用的参数进行最优化。该参数例如是神经元之间的重叠(结合系数)、在各神经元中使用的激活函数的系数等。参数的最优化的方法没有特别限定，信息处理装置1例如使用误差逆传播法进行各种参数的最优化。
信息处理装置1针对包括在训练数据中的各检查图像54进行上述的处理，生成异常检测模型152。在获取到被检查物4的处理图像50的情况下，信息处理装置1使用异常检测模型152检测被检查物4的异物的有无。
图6是表示基于控制部11的异常检测模型152的生成处理的处理步骤的一个例子的流程图。
控制部11作为训练数据而获取将被检查物4的多个掩模图像51、表示各处理图像50内的被检查物4的所述异常的信息进行对应的数据、和/或作为没有被检查物4的异常的背景图像52的数据(S11)。
在输入了被检查物4的掩模图像51和/或背景图像52的情况下，控制部11使用训练数据生成输出被检查物4的异常有无信息的异常检测模型152(学习完毕模型)(S12)。
具体地说，控制部11将作为训练数据的掩模图像51和/或背景图像52输入至神经网络的输入层，从输出层获取对处理图像50内的被检查物4的形态的异常的有无、混入被检查物4的异物的有无进行识别的识别结果。控制部11比较获取到的识别结果与训练数据的正确值(相对于掩模图像51带标签的信息、或者相对于背景图像52的无异常的信息)，以使从输出层输出的识别结果接近正确值的方式对在中间层的运算处理使用的参数(加权等)进行最优化。此外，通过增加掩模图像51以及背景图像52的种类、数量而增加学习次数，也能够对异常检测模型152进行最优化，并且提高精度。控制部11将所生成的异常检测模型152存储于辅助存储部15，完成一系列的处理。
此外，本实施方式中的学习模型的生成处理中，可以仅将掩模图像51用于训练数据，针对存在于被检查物4的处理图像50，并且酷似异物但与异物不符的斑块等，提前使异常检测模型152作为背景图像而进行学习，由此异常检测模型152的学习效果提高，基于异常检查系统10的异常检测处理的精度进一步提高。
[异常检测处理]
图7是表示基于异常检查系统10的异常检测处理的处理步骤的一个例子的流程图。
X射线检查装置2的照射部3对被检查物4照射X射线，基于由检测部7检测到的X射线，信息处理装置1中的控制部11的图像生成部111生成X射线照射图像(S21)。
控制部11的图像处理部112通过平滑化滤波器、特征提取滤波器等对X射线图像进行图像处理，生成处理图像50(S22)。
控制部11的对象确定部113基于处理图像50，进行被检查物4的斑块解析，确定斑块(S23)。
控制部11的获取部114基于在S22中生成的处理图像50以及在S23中确定的斑块，获取掩模图像51以及异常信息等(S24)。
控制部11的异常信息获取部115基于在S24中获取到的掩模图像51等，获取热图图像53(S25)。
控制部11的输出部116在处理图像50上合成热图图像53，输出包括热图图像53的检查图像54(S26)，结束处理。
如上所述，根据本实施方式，即使在被检查物4的处理图像50中，正常部分与异常部分的像素值的差异小的情况下，也能够高精度地辨别正常部分与异常部分。
因此，能够高精度地检测被检查物4的形状的异常的有无、混入被检查物4的异物的有无等异常有无信息。
另外，针对存在于被检查物4的处理图像50，并且酷似异物但不属于异物的斑块等，提前使异常检测模型152作为背景图像而进行学习，由此基于异常检查系统10的异常检测处理的精度进一步提高。
因此，当异常检查系统10的精度进一步提高时，基于用户(作业者)的目视的异常的检测的实施变少或者变得不需要，能够实现异常检测作业的效率化。
[图像]
对在本发明的异常检测处理的实施中使用的各种图像进行说明。
图8中的(a)、(b)、(c)是表示被检查物4的处理图像50的概要图。处理图像50通过对X射线照射图像实施图像处理而生成。
接着，图9中的(a)、(b)、(c)是表示对从处理图像50确定的斑块实施遮挡处理而获取到的、被检查物的掩模图像的概要图。在遮挡处理中，对与斑块相符的部分用白色进行处理，对斑块以外的区域用黑色进行处理。
接着，图10是表示未基于异常检测处理或者用户(检查作业者)的目视确定斑块而判断为没有混入异物的被检查物的处理图像50的概要图。该图像中，对掩模图像实施预定的图像处理，作为背景图像52而被异常检测模型152学习。此外，在即使在该图像中确定了斑块，但该斑块未被判断为异物的情况下，与上述同样地，作为背景图像52而被处理并学习。
接着，图11中的(a)、(b)是表示用于实施背景图像处理的标记图像的概要图。在图11中的(a)、(b)的各自的左上方，显示有用于对被检查物4的正常的处理图像50进行背景图像化的标记标志。该标记标志以使不被异物检测处理、用户的目视判断为斑块的方式被制作为与假定的各种斑块完全不同的形状。图11中的(a)对标记标志用白色进行处理，将标记标志以外的区域用黑色进行处理。此外，图11中的(b)是图11中的(a)的正负反转图像，根据处理图像50的二灰度等级适当地使用。异常检测模型152将包括该标记标志的图像全部作为背景图像而进行学习。通过背景图像52的学习，即使在处理图像上确定了斑块的情况下，也能够准确地判断该斑块是否为异物。
接着，图12是表示通过合成图10所示的作为未混入异物的处理图像50的正常图像与图11所示的标记图像而获取到的背景图像52的概要图。
接着，图13是表示混入异物的被检查物4的处理图像50的概要图。异物示于用圆形以及椭圆形的虚线包围的部分。
接着，图14中的(a)、(b)、(c)是表示对混入多个异物的被检查物4的处理图像50实施异物检测处理时，预先被实施的图像处理的概要图。混入多个异物的被检查物4的处理图像50复制各个图像表示不同的异物的、与异物的数量相同的数量的图像。在图14中的(a)中示出了包括两个异物的处理图像。为了提高异物检查处理的精度，图14中的(a)所示的处理图像50被复制到作为分别包括一个异物的处理图像50的图14中的(b)以及图14中的(c)的处理图像50。之后，相对于图14中的(b)以及图14中的(c)的处理图像50生成掩模图像51。
接着，图15中的(a)、(b)是表示实施异物检测处理后的被检查物的检查图像的概要图。图15中的(a)是异物检测处理前的处理图像50，图15中的(b)表示作为异物检测处理前的处理图像50的检查图像54。实施异物检测处理后，在图15中的(b)中，在处理图像50的异物部分显示热图，明确地显示了异物的存在、大致的形状以及位置。详细地，图15中的(b)的检查图像54相对于图15中的(a)的处理图像50，合成基于通过异物检测处理得到的异常信息等生成的热图图像而获取。
接着，图16中的(a)、(b)是表示作为检查对象的被检查物的一个例子的概要图。从图16中的(a)可知，若为铁球形状的异物，则能够检测0.8mm、1.0mm、1.2mm、1.5mm、2.0mm、2.5mm等各种尺寸的异物。另外，图16中的(b)是铁球形状以外的异物的一个例子。从图16中的(b)可知，大头针、订书钉、弯型针、橡皮筋、打火机等为异物检测的对象。此外，只要是能够拍摄的异物，就能够作为异物而登记于异常检测模型152，并且使其进行学习，由此能够进行检测。
(实施方式2)
[再学习]
图17是表示实施方式2所涉及的异常检查系统20的构成的框图。
实施方式2所涉及的异常检查系统20中，控制部11作为功能部而具有再学习部119，除此以外，具有与实施方式1所涉及的异常检查系统10同样的构成，进行与实施方式1同样的处理。对于与图2相同的部分赋予相同的附图标记并省略详细的说明。
在本发明的异物检测处理中，第一显示部41显示处理图像50，用户(作业者)通过目视进行该处理图像50的异物的有无等异物的确认。另外，第二显示部42显示基于异常检查系统20的异物检测处理后的检查图像54，用户通过目视确认检查图像54上的热图的有无。
此时，基于用户的通过目视的异物混入的判断与基于异物检测处理的异常检查系统20的判断不同的情况成为问题。在此，作为前提，假设基于用户的目视的判断正确。图18是整理了用户的判断与异常检查系统20的检测结果不同的情况的概要图。从图18可知，成为问题的点在于，用户通过目视判断为有异物时异常检查系统20检测为无异物的情况、以及用户通过目视判断为无异物时异常检查系统20检测为有异物有的情况。
即，再学习处理图像50的情况为以下的(模式1)、(模式2)。
(模式1)本发明所涉及的异常检查系统20未在被检查物4的检查图像54中显示热图，但用户通过目视判断为混入有异物的情况。
(模式2)本发明所涉及的异常检查系统20在被检查物4的检查图像54中显示了热图，但用户通过目视判断为没有混入异物的情况。
再学习部119在本发明所涉及的学习模型的输出结果与基于用户的目视的判定结果之间产生不一致时，再次通过用户的目视确认处理图像50而实施被检查物4的正常/异常状态判定。
再学习部119使用将检查图像54与由用户输入的异常检测模型152的判断的好坏的判定进行对应的训练数据，使异常检测模型152进行再学习。
在此，第二显示部42具备作为第一操作按钮的确定按钮70(未图示)以及作为第二操作按钮的取消按钮71(未图示)。
在分别显示于第一显示部41以及第二显示部42的图像中，产生了上述(模式1)以及(模式2)的状态的情况下，控制部11检测基于用户的确定按钮70以及取消按钮71的按下的状态，将检查图像54与异常状态的有无、例如异物混入的有无进行关联，作为再学习对象的数据进行确定。
第二显示部42还具备接受被检查物4的异常的种类的输入的选择按钮72。
在上述(模式1)的情况下，用户在按下取消按钮71的基础上，按下选择按钮，由此能够选择以及输入显示于第二显示部42的图像所包括的异常的种类、例如异物的种类。
被选择以及输入的异常的种类在异常状态的有无的基础上进一步与检查图像54进行关联。
在上述(模式1)以及(模式2)中，相对于误判定的图像追加正确的信息，在基于异常检测模型152的再学习后，相对于同样的异常的产生，第二显示部在异常图像上显示基于异物的种类的热图图像。
即，再学习部119也使异常检测模型152再学习通过辨别部118再辨别的检查图像54。基于再学习部119的异常检测模型152的再学习例如在夜间通过自动学习等而实施。关于符合的处理图像50的准确的判定结果，保存、积累于检查图像DB151，应用于新的被检查物4的检查中。
在基于用户的异物混入的判断结果与基于异常检查系统的异物混入的判断结果不同的情况下，为了使异常检查系统将来不进行同样的误认、误检测、误判断，有必要使异常检测模型152对对象的处理图像进行再学习。
图19是表示基于信息处理装置1的控制部11的再学习处理的处理步骤的一个例子的流程图。
控制部11相对于被选择的检查图像54，根据基于用户按下的第二显示部42所具备的确定按钮70或者取消按钮71，接受基于异常检查系统20的异物检测的判断的好坏的判定(S31)。
在基于异常检查系统20的异物检测的结果与用户的目视的判断不同的情况下，用户按下取消按钮71。在上述模式1的情况下，通过该按压从检查图像54获取掩模图像等(S31)，将这些作为训练数据而使异常检测模型152进行学习，生成新的异常检测模型152(S32)，保存于检查图像DB151。
另外，在上述模式2的情况下，通过按下该取消按钮71，合成检查图像54与遮挡图像，获取背景图像52(S31)，将这些作为训练数据而使异常检测模型152进行学习，生成新的异常检测模型152(S32)，保存于检查图像DB151。
在基于用户的目视的异物判断结果与异常检查系统20的异物检测处理结果相同的情况下，用户按下确定按钮70，由此结束异物检测处理。
通过这些再学习处理，异常检测模型152以继续异常检测处理的程度进行再学习，能够进行更准确的、精度高的异常检测。
应认为，本次公开的实施方式在所有方面都是示例，而不是限制性的。本发明的范围不是由上述的意思表示，而是由技术方案表示，意图包括与技术方案等同的意思以及范围内的全部变更。
例如，检查物不限定于服饰产品、食品，也可以是包装体、工业产品等。
对被检查物4进行照射的电磁波不限于X射线，也可以是太赫兹波、红外线以及可见光等。
另外，在以上说明的处理或者动作、一些步骤中，在不产生在该步骤中利用了尚不能够利用的数据等的处理或者动作上的矛盾的情况下，能够自由地变更处理或者动作。另外，以上说明过的各实施例是用于说明本发明的示例，本发明不受这些实施例的限制。本发明在不脱离其主旨的范围内，能够以各种方式实施。
附图标记说明
1：信息处理装置；
2：X射线检查装置；
3：照射部；
4：被检查物；
6：搬运部(输送机)；
7：检测部；
10、20：异常检查系统；
11：控制部；
12：存储部；
13：通信部；
14：输入部；
15：辅助存储部；
21：上侧壳体；
22：显示部；
23：下侧壳体；
24：发光部；
25：受光部；
27：控制器；
31：照射体；
32：照射控制部；
41：第一显示部；
42：第二显示部；
50：处理图像；
51：掩模图像；
52：背景图像；
53：热图图像；
54：检查图像；
60：搬运带；
61：搬运带驱动部；
62：搬运带控制部；
70：确定按钮(第一操作按钮)；
71：取消按钮(第二操作按钮)；
72：选择按钮；
111：图像生成部；
112：图像处理部；
113：对象确定部；
114：获取部；
115：异常信息获取部；
116：输出部；
117：控制显示部；
118：辨别部；
119：学习部；
124：确定图像获取部；
134：确定信息获取部；
152：异常检测模型；
153：程序；
220：数据文件生成部；
221：数据读取部；
DB151：检查图像；
N：网络。
Claims (12)
1.一种学习模型的生成方法，其特征在于，
所述学习模型的生成方法包括如下步骤：
对被检查物照射电磁波；
根据透过所述被检查物后的电磁波获取图像；
基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；
获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；
获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；
在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及
合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，
所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
2.根据权利要求1所述的学习模型的生成方法，其特征在于，
所述电磁波为X射线，
所述学习模型的生成方法包括如下步骤：
在根据该X射线获取到的图像中确定所述斑块，生成被与该斑块对应的位置及形状掩盖的掩模图像；
显示所生成的所述掩模图像；以及
确定包括在所述掩模图像中的所述被检查物的所述异常信息。
3.根据权利要求1或2所述的学习模型的生成方法，其特征在于，
所述学习模型的生成方法包括如下步骤：
获取与所述被检查物有关的所述掩模图像、及所述被检查物的所述异常信息；以及
基于所述掩模图像及所述异常信息，使所述学习模型进行再学习。
4.一种学习模型，其特征在于，
所述学习模型具备：
输入层，其供掩模图像、背景图像、及异常信息输入，所述掩模图像为通过对被检查物照射电磁波，根据透过所述被检查物后的电磁波获取图像，基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块，被与所确定的所述斑块对应的位置及形状掩盖而得的掩模图像，所述背景图像为不包括所述斑块的所述处理图像，所述异常信息包括与所述被检查物的异常有关的信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；
输出层，其获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像，合成所述热图图像与所述处理图像，由此输出包括所述热图图像的检查图像；以及
中间层，其基于所述掩模图像及所述异常信息而学习了参数，
在所述掩模图像及所述异常信息输入至输入层的情况下，使计算机以经由基于所述中间层的运算而从所述输出层输出包括所述热图图像的所述检查图像的方式发挥功能，
在所述背景图像输入至输入层的情况下，使计算机以经由基于所述中间层的运算而从所述输出层输出不包括所述热图图像的所述检查图像的方式发挥功能。
5.一种检查装置，其特征在于，
所述检查装置具备：
照射部，其对被检查物照射电磁波；
图像生成部，其根据透过所述被检查物后的电磁波生成图像；
图像处理部，其对所述图像实施图像处理，获取处理图像；
对象确定部，其基于所述处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；
获取部，其作为训练数据而获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；
异常信息获取部，在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，所述异常信息获取部向输出与所述被检查物的异常有关的信息的学习模型输入由所述获取部获取到的所述掩模图像及异常信息，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及
输出部，其合成所述热图图像与所述处理图像，由此输出包括所述热图图像的检查图像，
所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
6.根据权利要求5所述的检查装置，其特征在于，
所述电磁波为X射线，
图像生成部生成基于所述X射线的图像。
7.根据权利要求6所述的检查装置，其特征在于，
所述检查装置具备显示器，
所述显示部并列地将第一显示部和第二显示部显示于所述显示器，所述第一显示部输出基于照射所述X射线后获取到的图像的图像，所述第二显示部输出不包括所述热图图像的作为表示被检查物为正常的状态的图像的正常图像、或者包括所述热图图像的作为表示被检查物为异常的状态的图像的异常图像，
所述显示部具有从用户接受对所述被检查物进行的正常信息或者异常信息的输入的第一操作按钮以及第二操作按钮。
8.根据权利要求7所述的检查装置，其特征在于，所述检查装置具备再学习部，该再学习部基于显示于所述第二显示部的图像、以及所述第一操作按钮及所述第二操作按钮接受到的所述正常信息或者所述异常信息，使所述学习模型进行再学习。
9.根据权利要求7或8所述的检查装置，其特征在于，
所述第二显示部具备接受所述被检查物的异常的种类的输入的选择按钮，
在所述选择按钮接受了所述输入的情况下，所述第二显示部在所述异常图像上显示基于所述异常的种类的所述热图图像。
10.根据权利要求5至9中任一项所述的检查装置，其特征在于，
所述检查装置具备第二获取部，该第二获取部基于掩模图像而获取与所述被检查物的异常有关的信息，该掩模图像为通过对所述被检查物照射电磁波，根据透过所述被检查物后的电磁波获取图像，通过对所述图像应用图像处理算法而实施图像处理来确定所述斑块，被与确定的所述斑块对应的位置及形状掩盖而得的掩模图像，
所述异常信息获取部根据所述第二获取部获取到的所述信息，输入所述热图图像。
11.一种检查方法，其特征在于，
所述检查方法使计算机执行包括以下步骤的处理：
对被检查物照射电磁波；
根据透过所述被检查物后的电磁波获取图像；
基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；
获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；
获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；
在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及
合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，
所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
12.一种计算机程序，其特征在于，
所述计算机程序使计算机执行包括以下步骤的处理：
对被检查物照射电磁波；
根据透过所述被检查物后的电磁波获取图像；
基于对所述图像进行图像处理后的处理图像所具有的像素的像素值，确定所述被检查物所包括的斑块；
获取被与确定的所述斑块对应的位置及形状掩盖的掩模图像、作为不包括所述斑块的所述处理图像的背景图像、及包括与所述被检查物的异常有关的信息的异常信息，所述与所述被检查物的异常有关的信息具有所述处理图像中的所述掩盖部分的偏移信息及与所述斑块相符的目标物的种类即斑块标签；
获取包括所述掩模图像、所述背景图像及所述异常信息在内的训练数据；
在对所述被检查物照射电磁波，输入了根据透过所述被检查物后的电磁波获取到的图像的情况下，基于所述训练数据，获取在所述处理图像上作为热图而显示所述斑块的位置及形状的热图图像；以及
合成所述热图图像与所述处理图像，由此生成将包括所述热图图像的检查图像输出的学习模型，
所述背景图像中，在所述处理图像的任意的位置合成有与所述斑块的形状不同的图像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/029791 WO2023017611A1 (ja) | 2021-08-13 | 2021-08-13 | 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117813492A true CN117813492A (zh) | 2024-04-02 |
Family
ID=81213486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180101428.3A Pending CN117813492A (zh) | 2021-08-13 | 2021-08-13 | 学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7034529B1 (zh) |
| CN (1) | CN117813492A (zh) |
| WO (1) | WO2023017611A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10672588B1 (en) * | 2018-11-15 | 2020-06-02 | Kla-Tencor Corporation | Using deep learning based defect detection and classification schemes for pixel level image quantification |
| CN111382762A (zh) * | 2018-12-28 | 2020-07-07 | 同方威视技术股份有限公司 | 空箱识别方法及系统 |
| JP6749655B1 (ja) * | 2019-03-19 | 2020-09-02 | 株式会社 システムスクエア | 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル |
| JP6742037B1 (ja) * | 2019-03-19 | 2020-08-19 | 株式会社 システムスクエア | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
| JP7250331B2 (ja) * | 2019-07-05 | 2023-04-03 | 株式会社イシダ | 画像生成装置、検査装置及び学習装置 |
| GB2586858B (en) * | 2019-09-06 | 2023-10-25 | Smiths Heimann Sas | Image retrieval system |
-
2021
- 2021-08-13 JP JP2021572603A patent/JP7034529B1/ja active Active
- 2021-08-13 WO PCT/JP2021/029791 patent/WO2023017611A1/ja active Application Filing
- 2021-08-13 CN CN202180101428.3A patent/CN117813492A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023017611A1 (ja) | 2023-02-16 |
| JPWO2023017611A1 (zh) | 2023-02-16 |
| JP7034529B1 (ja) | 2022-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020189044A1 (ja) | 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル | |
| EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| JP5546317B2 (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| US20180260669A1 (en) | Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program | |
| CN110930347A (zh) | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 | |
| Laibacher et al. | M2U-Net: Effective and efficient retinal vessel segmentation for resource-constrained environments | |
| US9294665B2 (en) | Feature extraction apparatus, feature extraction program, and image processing apparatus | |
| KR102074406B1 (ko) | 영상 랜드마크 분류 장치 및 방법 | |
| US20140037159A1 (en) | Apparatus and method for analyzing lesions in medical image | |
| US20150016679A1 (en) | Feature extraction device, feature extraction method, and feature extraction program | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| CN111563873A (zh) | 损伤检查装置及方法 | |
| KR102569285B1 (ko) | 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법 및 시스템 | |
| CN102331430A (zh) | 不规则形状肉异物检测系统 | |
| CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
| CN117813492A (zh) | 学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序 | |
| CN116051541B (zh) | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 | |
| CN117392112A (zh) | 一种晶圆表面缺陷的检测方法、装置及系统 | |
| CN113767278A (zh) | 特征点识别系统及识别方法 | |
| CN113420579B (zh) | 标识码位置定位模型的训练及定位方法、装置、电子设备 | |
| JP6742037B1 (ja) | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム | |
| BR112021007031A2 (pt) | analisador de leite para classificar leite | |
| Chumuang et al. | Eggs Separation Process by Image Processing | |
| JP7198438B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
| WO2021119946A1 (en) | Food inspection solution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |