CN117083630A - 信息处理装置、控制程序以及控制方法 - Google Patents
信息处理装置、控制程序以及控制方法 Download PDFInfo
- Publication number
- CN117083630A CN117083630A CN202280022813.3A CN202280022813A CN117083630A CN 117083630 A CN117083630 A CN 117083630A CN 202280022813 A CN202280022813 A CN 202280022813A CN 117083630 A CN117083630 A CN 117083630A
- Authority
- CN
- China
- Prior art keywords
- image
- inspection target
- target region
- inspection
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 22
- 238000007689 inspection Methods 0.000 claims abstract description 167
- 230000005856 abnormality Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000002950 deficient Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011109 contamination Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提供即使在检查对象区域以外的区域映入对象物的图像的情况、在对象物的性质上外观可能部分性地变动的情况下也能够抑制异常的误探测的信息处理装置。信息处理装置包括：生成部，取得图像并根据图像生成重构图像；确定部，根据图像确定图像中的检查对象区域；以及计算部，计算图像和重构图像的检查对象区域中的差异。
Description
技术领域
本发明涉及信息处理装置、控制程序以及控制方法。
背景技术
在工业产品等的生产现场等，通过外观检查来检测产品的缺陷，由此挑选不合格品。
作为外观检查技术，已知使用产品的图像通过与基准图像的模式匹配来检测不合格等各种技术。
在下述专利文献1中，公开了使用机器学习的如下外观检查技术。使用用摄像机等拍摄的对象物的正常图像数据，以复原该正常图像数据的方式，进行自编码器等的学习。使用已学习的自编码器等，计算从用摄像机等拍摄的对象物的图像数据生成的复原数据和该图像数据的差分。然后，根据该差分的大小，判定对象物的异常。由此，可不需要成为异常判定的基准的正常图像和对象物的图像的对位。
现有技术文献
专利文献
专利文献1：国际公开第2018/105028号
发明内容
但是，在上述现有技术中，检查对象区域以外的区域被映入对象物的图像的情况下，由于再现图像中的该检查对象区域以外的区域处的异常反应，即便是正常品也被判断为不合格品，而存在发生异常的误探测的可能性。另外，由于如被折叠的状态的信封的封口片(flap)那样一部分未被固定等对象物的性质，有时即便是正常品也会部分性地使外观比较显著地变动。上述现有技术在该情况下也存在发生异常的误探测的可能性。
本发明是为了解决上述问题而完成的。即，其目的在于提供一种信息处理装置、控制程序以及控制方法，即使在检查对象区域以外的区域映入对象物的图像的情况、在对象物的性质上对象物的外观可能部分性地变动的情况下也能够抑制异常的误探测。
本发明的上述课题通过以下的手段得到解决。
(1)一种信息处理装置，具有：生成部，取得图像，根据所述图像生成重构图像；确定部，根据所述图像，确定所述图像中的检查对象区域；以及计算部，计算所述图像和所述重构图像的所述检查对象区域中的差异。
(2)在上述(1)所述的信息处理装置中，所述确定部针对每个所述图像，根据所述图像确定所述检查对象区域。
(3)在上述(1)或者(2)所述的信息处理装置中，所述计算部通过比较从所述图像提取的所述检查对象区域的部分和从所述重构图像提取的与所述检查对象区域对应的部分，计算所述检查对象区域中的所述差异。
(4)在上述(1)或者(2)所述的信息处理装置中，所述计算部从通过比较所述图像整体和所述重构图像整体而计算的所述差异中，提取与所述检查对象区域对应的所述差异，由此计算所述检查对象区域中的所述差异。
(5)在上述(1)～(4)中的任意一项所述的信息处理装置中，所述确定部通过预定的基准图像和所述图像的模式匹配，确定所述图像中的所述检查对象区域。
(6)在上述(1)～(4)中的任意一项所述的信息处理装置中，所述确定部使用以从所述图像推测所述检查对象区域的方式进行了机器学习的已学习模型，从所述图像推测所述检查对象区域，由此确定所述检查对象区域。
(7)在上述(6)所述的信息处理装置中，还具有受理作为合格品的所述图像的合格品图像中的所述检查对象区域的指定的受理部，所述已学习模型以将所述指定的所述检查对象区域作为训练数据从所述图像推测所述检查对象区域的方式进行机器学习。
(8)在上述(1)～(5)中的任意一项所述的信息处理装置中，还具有受理作为合格品的所述图像的合格品图像中的所述检查对象区域的指定的受理部，所述确定部根据所述指定的所述检查对象区域，确定所述图像中的所述检查对象区域。
(9)在上述(1)～(8)中的任意一项所述的信息处理装置中，所述计算部根据所述差异计算所述图像的异常度。
(10)一种控制程序，用于使计算机执行：取得图像，根据所述图像生成重构图像的过程(a)；根据所述图像，确定所述图像中的检查对象区域的过程(b)；以及计算所述图像和所述重构图像的所述检查对象区域中的差异的过程(c)。
(11)一种控制方法，具有：取得图像，根据所述图像生成重构图像的阶段(a)；根据所述图像，确定所述图像中的检查对象区域的阶段(b)；以及计算所述图像和所述重构图像的所述检查对象区域中的差异的阶段(c)。
根据图像确定该图像中的检查对象区域，计算根据该图像生成的重构图像和该图像的检查对象区域中的差异。由此，即使在检查对象区域以外的区域映入对象物的图像的情况、在对象物的性质上对象物的外观部分性地变动的情况下也能够抑制异常的误探测。
附图说明
图1是示出检查系统的结构的图。
图2是检查装置的框图。
图3是控制部的功能框图。
图4是用于说明重构图像的生成的说明图。
图5是用于说明根据图像确定检查对象区域的说明图。
图6是示出用于在正常品的图像中指定检查对象区域的用户接口画面的图。
图7是用于说明计算出图像和重构图像的检查对象区域中的差异的说明图。
图8A是示出从不合格品的图像提取的检查对象区域的例子的图。
图8B是示出从重构图像提取的对应区域的例子的图。
图8C是示出异常评分映射图的例子的图。
图9是示出检查系统的动作的流程图。
(附图标记说明)
10：检查系统；100：检查装置；110：控制部；111：生成部；112：确定部；113：计算部；120：存储部；130：通信部；140：操作显示部；200：拍摄装置；210：图像；212：检查对象区域；213：确定坐标；220：对象；230：重构图像；231：对应区域；240：模板图像。
具体实施方式
以下，参照附图，说明本发明的实施方式所涉及的信息处理装置、控制程序以及控制方法。此外，在附图中，对同一要素附加同一符号，省略重复的说明。另外，附图的尺寸比率为了说明被夸张显示，有时与实际的比率不同。
图1是示出检查系统10的结构的图。图2是包含于检查系统10的检查装置100的框图。检查装置100也可以由多个装置构成。检查装置100构成信息处理装置。
检查系统10可以包括检查装置100以及拍摄装置200。
拍摄装置200拍摄作为对象物的检查的对象220(参照图4)的图像210(以下还简称为“图像210”)。图像210可以是对象220的全部或者一部分的图像。图像210可以是包括对象220以外的部分的图像。拍摄装置200由例如摄像机构成。对象220例如是产品，在产品中不仅包括布、半导体芯片等完成品，而且还包括制造工序的上游的半导体晶片等未完成品、汽车的车门等零件。
图像210例如是黑白图像或者彩色图像，可以是128像素×128像素的图像。拍摄装置200将图像210发送给检查装置100。
检查装置100根据图像210，检测(检查)解析对象的异常。在异常中，例如包括污染、变色、伤、缺损、折叠、弯曲等。如后所述，检查装置100可以通过输出表示异常的程度的异常度来检测对象220的异常。
如图2所示，检查装置100具备控制部110、存储部120、通信部130、以及操作显示部140。这些构成要素经由总线150相互连接。检查装置100由例如计算机终端构成。
控制部110由CPU(Central Processing Unit，中央处理单元)、以及RAM(RandomAccess Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等存储器构成，依照程序进行检查装置100的各部的控制以及运算处理。控制部110的功能的详情将后述。
存储部120由HDD(Hard Disc Drive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)等构成，存储各种程序以及各种数据。
通信部130是用于经由网络与外部的装置通信的接口电路(例如LAN卡等)。
操作显示部140例如可以由触摸面板构成。操作显示部140受理来自用户的各种输入。操作显示部140显示包括对象220的异常的检测结果的各种信息。
说明控制部110的功能。
图3是控制部110的功能框图。控制部110作为生成部111、确定部112、以及计算部113发挥功能。
生成部111取得图像210，根据图像210生成重构图像230。
图4是用于说明重构图像的生成的说明图。
在图4所示的例子中，生成部111根据作为对象220的布的图像210，生成作为对象220的布的重构图像230。生成部111生成再现了正常品的特征的重构图像230。生成部111可以由例如使用神经网络的自动编码器构成。以下，为简化说明，设为生成部111是自动编码器而进行说明。构成生成部111的自动编码器使用比较大量的正常品的图像210的训练数据来预先学习。具体而言，以消除通过将正常品的图像210输入到自动编码器而从该自动编码器输出的输出图像(重构图像)和该正常品的图像210的差(损失)的方式，通过反向传播预先学习。自动编码器使用仅正常品的图像210的训练数据来学习。由此，自动编码器以在输出图像中再现正常品的特征的方式学习。即，通过自动编码器，不论图像210是正常品的图像还是不合格品的图像，都可以根据输入的图像210，生成再现了正常品的特征的重构图像230。
有时如图4所示，在图像210中，在被要求外观检查的检查对象区域212(参照图5)外的检查对象外区域，映入作为对象220以外的部分的在桌子上描绘的尺寸测量用的度量的线图211、作为对象220的布的被弄圆的两端部等。在该情况下，映入图像210的检查对象外区域的部分可能由于利用生成部111的重构图像230的生成中的异常反应，在重构图像230中不被再现或者不完全地再现。在图4所示的例子中，示出了在重构图像230中未再现处于检查对象外区域的尺寸测定用的线图211的情况。认为引起这样的现象的原因在于，例如，在构成生成部111的自动编码器的学习中使用的训练数据的图像210中，未映入检查对象外区域的线图211或者线图211的图像210上的位置有变动。此外，处于检查对象外区域的作为对象220的一部分的布的被弄圆的两端部等也由于未以被弄圆的状态固定而存在外观变动的可能性。因此，这样的对象220的一部分也由于重构图像230的生成中的异常反应，可能在重构图像230中不被再现或者不完全地再现。
生成部111优选根据包括检查对象区域212的比检查对象区域212大的区域的图像210，生成包括检查对象区域212的比检查对象区域212大的区域的重构图像230。这是因为，在利用构成生成部111的自动编码器等的图像210的重构中，在图像210的端部处，深度神经网络的卷积滤波器不会适合地发挥作用的情形较多，可能会使图像210的端部处的重构精度降低。因此，在从图像210提取检查对象区域212并根据仅检查对象区域212的图像生成重构图像230时，可能在检查对象区域212的一部分(端部)中重构精度降低。因此，根据包括检查对象区域212的比检查对象区域212大的区域的图像210，生成包括检查对象区域212的比检查对象区域212大的区域的重构图像230，由此能够防止在检查对象区域212的一部分中重构精度降低。
确定部112根据图像210，确定图像210中的检查对象区域212。检查对象区域212是例如图像210中的矩形内的区域，确定部112例如可以利用矩形的对角的坐标确定检查对象区域212。以下，为简化说明，设为检查对象区域212是矩形而进行说明。另外，将确定部112确定为检查对象区域212的矩形的对角的坐标还称为“确定坐标213”(参照图5)。
图5是用于说明根据图像210确定检查对象区域212的说明图。此外，在图5中，为简化说明，在图像210中利用虚线一并表示检查对象区域212。
确定部112可以使用被输入的正常品的检查对象区域212的模板图像240，通过与图像210的模板匹配来确定图像210中的检查对象区域212。模板图像240构成预定的基准图像。模板匹配是使模板图像240在图像210上以像素单位移位并计算类似度，由此检测与模板图像240最类似的图像210上的部分的方法。此外，虽然在图5等中省略，但是对象220除了形状的特征以外还可以具有花纹等特征。
确定部112可以针对输入的每个图像210，使用模板图像240分别确定图像210中的检查对象区域212。此外，确定部112也可以将根据1个图像210确定的检查对象区域212的坐标共同地用于多个图像210，在该多个图像210中分别确定检查对象区域212。
如上所述，利用模板图像240确定检查对象区域212。因此，模板图像240的指定与检查对象区域212的指定对应。模板图像240例如可以如下所述被指定。控制部110构成受理部，在操作显示部140中显示正常品的图像210，并且受理由用户作出的检查对象区域212的指定来作为模板图像240的指定。此外，可以针对每个产品指定模板图像240。可以将模板图像240与产品(例如确定产品的识别数据)对应起来存储到存储部120。确定部112在被输入(取得)图像210时，从存储部120取得与该图像210内的对象220所属的产品对应起来的模板图像240。
图6是示出用于在正常品的图像210中指定检查对象区域212的用户接口画面141的图。用户接口画面141可以显示于操作显示部140。
在图6的例子中，在用户接口画面141中显示了正常品的图像210。用户通过在显示的图像210上点击矩形的1组对角的位置(在图6中用白圈显示的位置)等来输入检查对象区域212，从而可以将该矩形指定为检查对象区域212。
此外，上述模板图像240的指定(即检查对象区域212的指定)优选在生成部111的学习时进行。在生成部111的学习时用作训练数据的图像210是正常品的图像210，所以通过在生成部111的学习时进行检查对象区域212的指定，能够在短时间内高效地进行检查对象区域212的指定。
确定部112在能够比较大量地准备正常品的图像210的情况下，也可以通过机器学习确定图像210中的检查对象区域212。具体而言，将正常品的图像210上的检查对象区域212作为正例，将不包括检查对象区域212的区域作为反例，使用利用这些训练数据学习的神经网络的模型。而且，也可以通过利用该神经网络的模型，根据图像210对图像210上的检查对象区域212进行分类(Classification)，来确定检查对象区域212。在使用神经网络的检查对象区域212的检测中，可以使用VGG、EfficientNet、以及Vision Transformer等公知的方法。另外，将正常品的图像210作为输入数据，将该图像210上的检查对象区域212(具体而言是该图像210上的检查对象区域212的范围，例如图像210上的作为检查对象区域212的矩形的1组对角的坐标)作为正解标签，使用利用这些训练数据学习的神经网络的模型。而且，也可以通过利用该神经网络的模型从图像210检测(Detection)图像210上的检查对象区域212，来确定检查对象区域212。在使用神经网络的检查对象区域212的检测中，可以使用YOLO、EfficientDet、以及Detection Transformer等公知的方法。
在神经网络的模型的学习中被用作正解标签的检查对象区域212可以如下所述被指定。控制部110在操作显示部140中显示正常品的图像210，并且受理由用户作出的检查对象区域212的指定。具体而言，控制部110受理在操作显示部140中显示的正常品的图像210上由用户通过点击等输入的2个部位的位置来作为图像210上的作为检查对象区域212的矩形的1组对角的坐标。由此，以受理的2个部位的位置为对角的图像210中的矩形内被指定为检查对象区域212。关于在神经网络的模型的学习中被用作正解标签的检查对象区域212的由用户作出的指定，可以使用与上述的用于在正常品的图像210中指定检查对象区域212的用户接口画面141(参照图6)同样的用户接口画面来进行。
此外，确定部112的学习(神经网络的模型的学习)优选在生成部111的学习时进行。在生成部111的学习时用作训练数据的图像210是正常品的图像210。因此，通过在生成部111的学习时指定在确定部112的学习中用作正解标签的检查对象区域212，能够高效地取得在确定部112的学习中使用的训练数据。
确定部112可以将图像210中的检查对象区域212确定为上述确定坐标213。
计算部113计算图像210和重构图像230的检查对象区域212中的差异。具体而言，计算部113可以通过比较从图像210提取的检查对象区域212的部分和从重构图像230提取的与检查对象区域212对应的部分(以下还称为“对应区域231”(参照图7))，计算图像210和重构图像230的检查对象区域212中的差异。
图7是用于说明计算图像210和重构图像230的检查对象区域212中的差异的说明图。此外，为简化说明，在重构图像230中，一并示出了对应区域231。另外，在表示确定坐标213的图中，一并示出了对象220。
计算部113可以将利用确定部112确定的确定坐标213用于提取重构图像230中的对应区域231。即，计算部113在重构图像230中提取将确定坐标213作为1组对角的矩形来作为对应区域231。
计算部113也可以从通过比较图像210的整体和重构图像230的整体而计算的差异中提取与检查对象区域212对应的差异，由此计算图像210和重构图像230的检查对象区域212中的差异。
图像210和重构图像230的检查对象区域212中的差异可以是像素单位的差异。计算部113可以将图像210和重构图像230的检查对象区域212中的差异计算为表示异常度的异常评分映射图。异常评分映射图是用例如像素单位的颜色、明度、浓度等表示与图像210和重构图像230的差分的大小对应的异常度的评分的图。在异常评分映射图中，可以强调对象220的异常度高的部分。异常度的评分既可以是图像210和重构图像230的差分的大小(例如像素值的绝对值差分)自身，也可以是将该差分的最大值设为1时的每个像素的该差分的比值(例如0.3等)。
计算部113输出计算出的异常评分映射图。计算部113可以通过在操作显示部140上显示异常评分映射图来输出异常评分映射图。计算部113也可以通过从通信部130向外部装置等发送异常评分映射图来输出异常评分映射图。
图8A是示出从不合格品的图像210提取的检查对象区域212的例子的图。图8B是示出从重构图像230提取的对应区域231的例子的图。图8C是示出异常评分映射图的例子的图。
在图8A的例子中，示出了包括圆形的污染的不合格部的不合格品的图像210的检查对象区域212。在图8B的例子中，示出了根据不合格品的图像210重构的重构图像230的对应区域231。重构图像230由于是从不合格品的图像210提取合格品的特征而重构的，所以成为无(去掉)作为不合格部的圆形的污染的图像。在图8C的例子中，示出了根据图8A的检查对象区域212和图8B的对应区域231的比较来生成的异常评分映射图。如图8C所示，在异常评分映射图中，可以用与异常评分的大小对应的颜色等来表示每个像素的异常评分。
图9是示出检查系统10的动作的流程图。可以利用检查装置100的控制部110依照程序执行本流程图。
控制部110通过从拍摄装置200接收图像210来取得图像210(S101)。控制部110也可以通过读出存储于存储部120的图像210来取得。
控制部110通过根据图像210使用自动编码器等重构图像210，来生成重构图像230(S102)。
控制部110从存储部120读出与图像210对应的模板图像240(S103)。
控制部110通过图像210和模板图像240的模板匹配等，确定检查对象区域212(S104)。
控制部110从图像210提取检查对象区域212(S105)。
控制部110从重构图像230提取对应区域231(S106)。
控制部110通过比较提取的图像210的检查对象区域212和重构图像230的对应区域231，生成异常评分映射图(S107)。
控制部110输出异常评分映射图(S108)。
实施方式起到以下的效果。
根据图像确定该图像中的检查对象区域，计算根据该图像生成的重构图像和该图像的检查对象区域中的差异。由此，即使在检查对象区域以外的区域映入对象物的图像的情况、在对象物的性质上对象物的外观有部分性的变动的情况下，也能够抑制异常的误探测。
进而，针对每个图像，根据该图像确定检查对象区域。由此，能够提高异常的探测精度。
进而，通过比较从图像提取的检查对象区域的部分和从重构图像提取的与检查对象区域对应的部分，计算检查对象区域中的差异。由此，能够降低用于检测异常的运算量。
进而，从通过比较图像整体和重构图像整体而计算的差异中提取与检查对象区域对应的差异，由此计算检查对象区域中的所述差异。由此，能够更简单地抑制异常的误探测。
进而，通过预定的基准图像和图像的模式匹配，确定该图像中的检查对象区域。由此，能够简单并且高精度地确定检查对象区域。
进而，使用以从图像推测检查对象区域的方式进行了机器学习的已学习模型，从图像推测检查对象区域，由此确定检查对象区域。由此，能够高精度地确定检查对象区域。
进而，受理合格品的图像中的检查对象区域的指定，使上述已学习模型成为以将指定的检查对象区域作为训练数据并从图像推测检查对象区域的方式进行了机器学习的已学习模型。由此，能够高精度地确定检查对象区域。
进而，受理合格品的图像中的检查对象区域的指定，根据指定的检查对象区域，确定图像中的检查对象区域。由此，能够更简单地指定检查对象区域。
进而，根据重构图像和图像的检查对象区域中的差异，计算图像的异常度。由此，能够直接掌握产品的异常。
关于以上说明的信息处理装置、控制程序以及控制方法，在说明上述实施方式的特征时说明了主要结构，不限于上述结构，能够在权利要求的范围内进行各种改变。另外，不排除一般的信息处理装置等具备的结构。
例如，上述流程图既可以省略一部分的步骤，也可以追加其他步骤。另外，各步骤的一部分可以同时执行，也可以将一个步骤分割为多个步骤而执行。
另外，上述系统中的进行各种处理的单元以及方法能够通过专用的硬件电路或者被编程的计算机中的任意一个实现。上述程序例如可以通过USB存储器、DVD(DigitalVersatile Disc)-ROM等计算机可读取的记录介质提供，也可以经由因特网等网络而在线地提供。在该情况下，通常将记录于计算机可读取的记录介质的程序传送并存储到硬盘等存储部。另外，上述程序既可以作为单独的应用软件提供，也可以作为一个功能嵌入到该异常探测装置等装置的软件。
本申请基于在2021年3月26日申请的日本专利申请(日本特愿2021-052771号)，参照并整体引入其公开内容。
Claims (11)
1.一种信息处理装置，具有：
生成部，取得图像，根据所述图像生成重构图像；
确定部，根据所述图像，确定所述图像中的检查对象区域；以及
计算部，计算所述图像和所述重构图像的所述检查对象区域中的差异。
2.根据权利要求1所述的信息处理装置，其中，
所述确定部针对每个所述图像，根据所述图像确定所述检查对象区域。
3.根据权利要求1或者2所述的信息处理装置，其中，
所述计算部通过比较从所述图像提取的所述检查对象区域的部分和从所述重构图像提取的与所述检查对象区域对应的部分，计算所述检查对象区域中的所述差异。
4.根据权利要求1或者2所述的信息处理装置，其中，
所述计算部从通过比较所述图像整体和所述重构图像整体而计算出的所述差异中提取与所述检查对象区域对应的所述差异，由此计算所述检查对象区域中的所述差异。
5.根据权利要求1～4中的任意一项所述的信息处理装置，其中，
所述确定部通过预定的基准图像和所述图像的模式匹配，确定所述图像中的所述检查对象区域。
6.根据权利要求1～4中的任意一项所述的信息处理装置，其中，
所述确定部使用以从所述图像推测所述检查对象区域的方式进行了机器学习的已学习模型，从所述图像推测所述检查对象区域，由此确定所述检查对象区域。
7.根据权利要求6所述的信息处理装置，其中，
还具有受理作为合格品的所述图像的合格品图像中的所述检查对象区域的指定的受理部，
所述已学习模型以将进行了所述指定的所述检查对象区域作为训练数据来从所述图像推测所述检查对象区域的方式进行机器学习。
8.根据权利要求1～5中的任意一项所述的信息处理装置，其中，
还具有受理作为合格品的所述图像的合格品图像中的所述检查对象区域的指定的受理部，
所述确定部根据进行了所述指定的所述检查对象区域，确定所述图像中的所述检查对象区域。
9.根据权利要求1～8中的任意一项所述的信息处理装置，其中，
所述计算部根据所述差异来计算所述图像的异常度。
10.一种控制程序，用于使计算机执行：
取得图像，根据所述图像生成重构图像的过程(a)；
根据所述图像，确定所述图像中的检查对象区域的过程(b)；以及
计算所述图像和所述重构图像的所述检查对象区域中的差异的过程(c)。
11.一种控制方法，具有：
取得图像，根据所述图像生成重构图像的阶段(a)；
根据所述图像，确定所述图像中的检查对象区域的阶段(b)；以及
计算所述图像和所述重构图像的所述检查对象区域中的差异的阶段(c)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-052771 | 2021-03-26 | ||
| JP2021052771 | 2021-03-26 | ||
| PCT/JP2022/005821 WO2022201968A1 (ja) | 2021-03-26 | 2022-02-15 | 情報処理装置、制御プログラム、および制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117083630A true CN117083630A (zh) | 2023-11-17 |
Family
ID=83396923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280022813.3A Pending CN117083630A (zh) | 2021-03-26 | 2022-02-15 | 信息处理装置、控制程序以及控制方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240161271A1 (zh) |
| EP (1) | EP4318391A1 (zh) |
| JP (1) | JPWO2022201968A1 (zh) |
| CN (1) | CN117083630A (zh) |
| WO (1) | WO2022201968A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112015023453A2 (pt) | 2013-03-15 | 2017-12-05 | Modular Genetics Inc | composição de acil aminoácidos, método para sua produção, célula manipulada e método de preparação de um produto |
| US11645744B2 (en) | 2016-12-06 | 2023-05-09 | Mitsubishi Electric Corporation | Inspection device and inspection method |
| WO2020031984A1 (ja) * | 2018-08-08 | 2020-02-13 | Ｂｌｕｅ Ｔａｇ株式会社 | 部品の検査方法及び検査システム |
| JP2020160616A (ja) * | 2019-03-25 | 2020-10-01 | ブラザー工業株式会社 | 生成装置、コンピュータプログラム、生成方法 |
| EP3739513A1 (en) * | 2019-05-13 | 2020-11-18 | Fujitsu Limited | Surface defect identification method and apparatus |
| JP7349816B2 (ja) * | 2019-05-16 | 2023-09-25 | 株式会社キーエンス | 画像検査装置 |
-
2022
- 2022-02-15 US US18/283,974 patent/US20240161271A1/en active Pending
- 2022-02-15 WO PCT/JP2022/005821 patent/WO2022201968A1/ja active Application Filing
- 2022-02-15 JP JP2023508773A patent/JPWO2022201968A1/ja active Pending
- 2022-02-15 EP EP22774768.0A patent/EP4318391A1/en active Pending
- 2022-02-15 CN CN202280022813.3A patent/CN117083630A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240161271A1 (en) | 2024-05-16 |
| WO2022201968A1 (ja) | 2022-09-29 |
| EP4318391A1 (en) | 2024-02-07 |
| JPWO2022201968A1 (zh) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11797886B2 (en) | Image processing device, image processing method, and image processing program | |
| CN111539908B (zh) | 对样本的缺陷检测的方法及其系统 | |
| TWI684000B (zh) | 產生檢查配方的方法及其系統 | |
| JP5010207B2 (ja) | パターン検査装置及び半導体検査システム | |
| JP5956814B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
| JP2000057349A (ja) | 欠陥の分類方法およびその装置並びに教示用データ作成方法 | |
| JP7435303B2 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
| JP2007114843A (ja) | 良否判定装置 | |
| CN111902712A (zh) | 异常检查装置及异常检查方法 | |
| JP7027978B2 (ja) | 検査装置、検査方法、及び検査プログラム | |
| US11769248B2 (en) | Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image | |
| JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
| JP2015087940A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2010133744A (ja) | 欠陥検出方法およびその方法を用いた視覚検査装置 | |
| US7646892B2 (en) | Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium | |
| JP4629086B2 (ja) | 画像欠陥検査方法および画像欠陥検査装置 | |
| US20240005477A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
| JP2023145412A (ja) | 欠陥検出方法及びシステム | |
| CN117083630A (zh) | 信息处理装置、控制程序以及控制方法 | |
| KR20220111214A (ko) | 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램 | |
| US20200167908A1 (en) | Determination device and determining method thereof | |
| US20210004954A1 (en) | Neural network-type image processing device, appearance inspection apparatus and appearance inspection method | |
| JP2021174194A (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
| WO2024095721A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |