CN115587959A - 异常检测系统及异常检测方法 - Google Patents

Abstract

本发明为一种异常检测系统，具有：取得部，其取得检查对象的检查对象图像；复原图像生成部，其向学习模型输入所述检查对象图像，并生成复原图像，所述学习模型是将正常的检查对象的图像作为教师数据使用及学习而成的；检测部，其使用所述复原图像与正常复原图像，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

Description

异常检测系统及异常检测方法

技术领域

本发明涉及一种异常检测系统及异常检测方法。

背景技术

以往，作为通过图像解析对检查对象的异常进行检测的方法，已知一种对没有异常的合格品的图像和包含异常的不合格品的图像进行学习而生成模型，并使用该模型对检查对象的异常进行检测的方法。但是，根据检查对象的不同，有时不合格品的产生的频率低，不能够充分地收集不合格品的图像。

因此，例如在日本特开2020-160997中公开了一种技术，通过使用将合格品的图像作为学习用图像进行学习而成的神经网络，根据检查对象图像而生成复原图像(模拟图像)，根据检查对象图像与复原图像的差分，对在检查对象中存在异常的情况进行检测。

发明内容

在此，发明人发现了在使用这样的检查对象图像与复原图像的差分对异常进行检测的方法中，容易产生将原本是合格品的检查对象检测为异常、即所谓的过度检测这样的问题。

例如，在检查通过焊接形成的焊接痕那样地、在对合格品中在形状等中也存在偏差的检查对象的图像的情况、检查由于检查对象的拍摄环境的问题而在检查对象图像中的检查对象的位置、方向中存在偏离、偏差的检查对象的图像的情况下，由于这些偏差等，存在原本是合格品的检查对象被检测为异常而容易产生过度检测的问题。

本发明是鉴于这样的情况而完成的，提供一种抑制过度检测的产生、使异常的检测精度提高的异常检测系统以及异常检测方法。

本发明的一个方式的异常检测系统，具有：

取得部，其取得检查对象的检查对象图像；

复原图像生成部，其向学习模型输入所述检查对象图像，并生成复原图像，所述学习模型是将正常的检查对象的图像作为教师数据使用及学习而成的；

检测部，其使用所述复原图像与正常复原图像，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

通过这样的结构，在以往的使用检查对象图像与复原图像的差分来检测异常的方法中，即使是由于亮度等的偏差而产生了过度检测的检查对象，由于从检查对象的图像生成的复原图像与从正常的检查对象的图像生成的正常复原图像会成为相近的图像，所以也能够抑制过度检测的产生，使异常的检测精度提高。

在上述方式的异常检测系统中，所述检测部使用所述复原图像与正常复原图像的相似度，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

通过这样的结构，能够以较高的精度判断是否为异常，所以能够抑制过度检测的产生，使异常的检测精度提高。

在上述方式的异常检测系统中，还具有预检测部，所述预检测部使用所述检查对象图像与所述复原图像的差分，对所述检查对象图像中的检查对象是否为异常进行判断，所述检测部对由所述预检测部判断为异常的检查对象是否为异常进行再次判断。

通过这样的结构，通过预检测部实施使用了必要的运算处理少的差分的判断，通过检测部仅对被判断为异常的检查对象进行再次判断，因此能够缩短异常处理所需的时间。

在上述方式的异常检测系统中，所述学习模型为使用了生成式对抗网络的学习模型。

通过这样的结构，能够提高由复原图像生成部生成的复原图像的再现性，能够使异常的检测精度提高。

在上述方式的异常检测系统中，所述检查对象是通过焊接而在部件上形成的焊接痕。

通过这样的结构，特别地，在由于存在形状等的偏差而容易产生过度检测的焊接痕的异常检测中，能够抑制过度检测的产生，使异常的检测精度提高。

在上述方式的异常检测系统中，所述检查对象图像是在生产线中被拍摄的图像。

通过这样的结构，特别地，在使用了由于检查对象的位置、方向存在偏离、偏差而容易产生过度检测的生产线中被拍摄的图像的异常检测中，能够抑制过度检测的产生，使异常的检测精度提高。

本发明的一个方式的异常检测方法，具有：取得步骤，取得检查对象的检查对象图像；复原图像生成步骤，向学习模型输入所述检查对象图像，并生成复原图像，所述学习模型是将正常的检查对象的图像作为教师数据使用及学习而成的；检测步骤，使用所述复原图像与正常复原图像，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

根据本发明，能够提供一种抑制过度检测的产生、使异常的检测精度提高的异常检测系统以及异常检测方法。

附图说明

以下，参考附图，说明本发明的示例性实施例的特征、优点以及技术和工业意义，在附图中，相同的标记表示相同的元件。

图1是表示第一实施方式的异常检测系统的硬件配置的概要的框图。

图2是表示第一实施方式的异常检测系统的功能配置的框图。

图3是表示第一实施方式的异常检测系统的异常检测处理的流程图。

图4是示意地表示对亮度等没有偏差的正常的检查对象进行拍摄的拍摄图像、复原图像、差分图像的说明图。

图5是示意地表示对亮度等存在偏差但为正常的检查对象进行拍摄的拍摄图像、复原图像、差分图像的说明图。

图6是示意地表示对包含不合格部位的、异常的检查对象进行拍摄的拍摄图像、复原图像、差分图像的说明图。

图7是示意地表示检查对象的复原图像的说明图。

具体实施方式

以下，参照附图，详细说明应用了本发明的具体实施方式。但是，本发明并不限定于以下的实施方式。此外，为了明确说明，以下的记载和附图被适当地简化。

<第一实施方式>

首先，说明第一实施方式的异常检测系统。图1是表示本实施方式的异常检测系统的硬件结构的概略的框图。

如图1所示，异常检测系统100具有个人计算机等通常的信息处理装置具有的计算机资源。具体而言，包含CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、通信接口(I/F)105、输入输出接口(I/F)106。此外，这些各部经由数据总线107可相互通信地连接。此外，在此，对异常检测系统100的各部由通常的信息处理装置实现的例子进行说明，但这些的部分或全部的功能也可以在边缘、云等外部装置中实现。

CPU 101是综合控制异常检测系统100的微处理器。具体而言，读取存储在ROM102、HDD 104中在本实施方式中执行的各种控制程序，并执行在RAM 103上加载的这些程序。在此，作为存储装置，也可以代替HDD 104、或者在其基础上，进一步具有SSD(SolidState Drive)。

通信接口105实施异常检测系统100与外部装置的通信。在本实施方式中，从拍摄检查对象的图像的拍摄装置等外部装置，接收检查对象的图像。在此，无论无线有线，通信都可以通过各种通信技术来实现。

输入输出接口106进行异常检测系统100与外部的输入输出。例如，也可以具有显示异常检测的信息的显示器等输出装置、用于操作者使用的输入装置。

接着，说明本实施方式的异常检测系统的功能结构。图2是表示本实施方式的异常检测系统的功能结构的框图。

如图2所示，在异常检测系统100中，作为功能结构，具有取得部201、复原图像生成部202、预检测部203、检测部204。通过CPU 101执行存储在ROM 102等中的各种控制程序来执行这些功能。此外，异常检测系统100的功能的一部分或全部可以通过硬件电路来实现。

取得部201从外部装置取得拍摄图像。具体而言，在检测检查对象的异常的情况下，取得成为检查的对象的检查对象图像与正常的检查对象的正常图像。在此，正常图像指的是，被确认为不具有异常的检查对象的图像。取得的检查对象图像被输出至复原图像生成部202、预检测部203，取得的正常图像被输出至复原图像生成部202。此外，在此，说明从作为外部装置的拍摄装置取得拍摄图像的例子，但也可以通过将拍摄装置包含在异常检测系统中的结构来实现。

复原图像生成部202将从取得部201输出的检查对象图像和正常图像输入到预先利用正常图像作为教师数据进行学习而成的学习模型中，由此生成复原了这些拍摄图像的复原图像。关于本学习模型的学习方法，将在后面详细说明。复原了检查对象图像的复原图像被输出至预检测部，复原了正常图像的正常复原图像被输出至检测部。

预检测部203使用从取得部201输出的检查对象图像与从复原图像生成部202输出的复原图像的差分，判断检查对象是否为异常。具体而言，首先，通过从检查对象图像的像素值中减去复原图像的像素值，生成这些差分图像。接着，判断在生成的差分图像中包含的像素值的合计值是否大于预定的阈值，在大于的情况下判断为异常。然后，被判断为异常的检查对象的复原图像被输出至检测部。此外，在此，通过对检查对象图像的每个像素分别减去与其对应的位置的复原图像的像素，生成差分图像，但差分图像也可以使用包含多个像素的每个组的差分来生成。

检测部204使用由预检测部203判断为异常并输出的检查对象的复原图像、将从复原图像生成部202输出的正常图像复原了的复原图像即正常复原图像，对检查对象是否为异常进行再次判断。具体而言，首先，计算这些图像的相似度。例如，可以通过例如归一化相关法(NCC)、基于边缘特征计算相似度的形状图案匹配等各种相似度计算方法来计算相似度。对计算的相似度是否低于预定的阈值进行判断，在低于的情况下判断为异常。此外，在此，计算检查对象的复原图像与作为复原了正常图像的复原图像的正常复原图像的相似度，判断是否为异常，但也可以与基于预检测部的方法同样地，根据这些图像而生成差分图像，根据在差分图像中包含的像素值判断是否为异常。以此方式，通过检测部再次判断是否为异常，并将异常检测的信息输出至输入输出接口106。

在此，当对本实施方式的预检测部203与检测部204的异常判断方法进行比较时，基于预检测部203的异常判断方法能够仅通过取得比较的图像彼此的差分来进行判断，因此相对于计算检测部204的相似度的方法，判断的精度变低，但需要的运算处理少，处理时间变短。因此，在本实施方式中，通过预检测部203，预先判断检查对象是否为异常，通过检测部204仅对被判断为异常的检查对象进行再次判断，由此能够抑制过度检测，并且缩短作为整体检查所需的时间。

此外，在此，作为异常检测系统100的功能结构，说明了具有预检测部203的例子，但也可以具有不具有预检测部203的功能结构。在这种情况下，由复原图像生成部202生成的检查对象的复原图像、复原了正常图像的正常复原图像被直接输出至检测部204。然后，检测部204使用检查对象的复原图像、复原了正常图像的正常复原图像，判断检查对象是否为异常。

接着，说明本实施方式的学习模型的学习方法。在本实施方式中，作为执行异常检测处理的前阶段，实施作为复原图像生成部202具有的学习模型的神经网络的学习。

在实施神经网络的学习的情况下，取得部201取得正常的检查对象的拍摄图像即正常图像，作为教师数据。在此，取得部201也可以取得相对于作为教师数据而取得的正常图像的数量为预先设定的比例以下的少数包含异常的检查对象的图像。

使用取得的教师数据，实施作为复原图像生成部202具有的学习模型的生成式对抗网络(GAN)的学习。具体而言，复原图像生成部202具有生成器和鉴别器，所述生成器具有根据取得的教师数据生成模拟数据的神经网络，所述鉴别器具有进行模拟数据的真伪的判断的神经网络，复原图像生成部202使用教师数据、由生成器生成的模拟数据，使生成器和鉴别器进行学习。以此方式，通过使用生成式对抗网络，能够提高复原图像的再现性。在本实施方式中，通过向这样学习的学习模型输入检查对象图像，生成复原图像。

接着，说明本实施方式的异常检测系统100的异常检测处理流程。图3是本实施方式的异常检测处理的流程图。本流程在上述学习模型的学习完成了的状态下开始。此外，优选将复原了正常图像的正常复原图像预先存储在异常检测系统100中。

在本说明书中，将图4至图7的图像示意地表示的说明图(以下，称为图像)，作为检查对象，并以通过焊接在部件等各种部件上形成的焊接痕为例进行说明。具体而言，图4(a)是拍摄没有亮度等偏差的正常的焊接痕的图像，图5(a)是拍摄虽然正常但由于亮度等偏差而颜色局部不同的部位5A的焊接痕的图像，图6(a)是拍摄包含不合格部位6A的异常的焊接痕的图像。

首先，在S11中，取得部201取得由外部装置拍摄的图4(a)、图5(a)、图6(a)所示的检查对象图像。

接着，在S12中，复原图像生成部202将从取得部201输出的检查对象图像输入到预先学习完毕的学习模型中，由此生成复原了这些拍摄图像的复原图像。具体而言，图4(b)、图5(b)、图6(b)分别是将图4(a)、图5(a)、图6(a)的图像输入到学习模型中而生成的复原图像。在此，如上所述，本学习模型是将正常图像作为教师数据进行学习而成的学习模型，因此输入的拍摄图像被复原为接近正常图像的图像。因此，在图5(a)、图6(a)的图像中确认的局部颜色不同的部位5A、不合格部位6A在作为复原图像的图5(b)、图6(b)中分别未被复原。另一方面，图5(a)的图像除了包含局部颜色不同的部位5A以外，与图4(a)的图像同样地是正常的焊接痕的图像，因此，复原的图5(b)的复原图像成为与复原了图4(a)的图像的图4(b)的复原图像相比而较为接近的图像，与此相对，图6(a)的图像包含不合格部位6A，因此图像的特征量变化，复原的图6(b)的复原图像成为模糊的图像。

接着，在S13中，预检测部203使用拍摄图像与复原图像的差分，判断检查对象是否为异常。具体而言，首先，通过图4(a)、图5(a)、图6(a)所示的拍摄图像与图4(b)、图5(b)、图6(b)所示的复原图像的差分，生成图4(c)、图5(c)、图6(c)所示的差分图像。在此，作为没有亮度等的偏差的正常的焊接痕的差分图像的图4(c)成为图4(a)和图4(b)接近的图像，因此差分变小。另一方面，图5(c)、图6(c)所示的差分图像如上所述地，在作为复原图像的图5(b)、图6(b)中由于颜色局部不同的部位5A、不合格部位6A分别未被复原，因此差分变大。接着，判断差分是否大于预定的阈值。如图4(c)所示的差分图像那样地，在差分比预定的阈值小的情况下，预检测部203判断为该检查对象没有异常，结束本流程。另一方面，如图5(c)、图6(c)所示的差分图像那样地，在差分比预定的阈值大的情况下，进入S14。

在此，尽管图5(a)所示的拍摄图像是正常的焊接痕的拍摄图像，但在S13、即使用了检查对象图像与复原图像的差分的判断中，检查对象不被判断为无异常。也就是说，在检查对象图像的亮度存在偏差的情况、在形状存在偏差的情况下，在学习模型的学习中使用的正常的图像不能够涵盖全部的正常的图像，因此即使是正常的图像也不能够被适当地复原，其结果为，由于差分，产生检查对象被检测为异常的所谓的过度检测的问题。另一方面，图4(a)所示的拍摄图像在S13中被判断为检查对象没有异常，不需要检测部204的再次判断，能够缩短异常检测处理所需的处理时间。

接着，在S14中，检测部204使用由预检测部203检测了异常的检查对象的复原图像、和由复原图像生成部202生成或者预先存储在异常检测系统100中的、复原了正常图像的正常复原图像，再次判断检查对象是否为异常。具体而言，首先，计算这些图像的相似度。图7(a)表示将拍摄了正常的焊接痕的图像复原了的正常复原图像，图7(b)表示图5(b)所示的检查对象的复原图像，图7(c)表示图6(b)所示的检查对象的复原图像。在此，如前所述地，关于拍摄了包含由于亮度等偏差而局部颜色不同的部位5A的焊接痕的图像即复原图像的图7(b)，是除了包含局部颜色不同的部位5A以外均为正常的焊接痕的图像的复原图像，因此，与作为正常复原图像的图7(a)示出高的相似度。另一方面，拍摄了包含不合格部位6A的、异常的焊接痕的图像的复原图像即图7(c)成为模糊的图像，因此与正常复原图像即图7(a)相比，示出低的相似度。接着，判断计算的相似度是否低于预定的阈值。在如图7(b)所示的检查对象的复原图像那样地相似度高的情况下，检测部204判断为该检查对象没有异常，结束本流程。另一方面，在如图7(c)所示的检查对象的复原图像那样地相似度低的情况下，检测部204判断为该检查对象异常，结束本流程。此外，虽然在本流程中省略，但也可以增加将这些异常检测的信息输出至输入输出接口106的步骤。

此外，在此，作为异常检测系统100的异常检测处理流程，说明了具有S13的例子，但也可以是不具有S13的异常检测处理流程。在这种情况下，在S12中生成了复原图像之后，直接进入S14。然后，在S14中，检测部204使用检查对象的复原图像和复原了正常图像的正常复原图像，判断检查对象是否为异常。在该异常检测处理流程中，同样地，在实施图4(a)、图5(a)、图6(a)所示的拍摄图像中的检查对象的异常检测处理时，由于不具有S13，所以在S14中图4(a)、图5(a)所示的拍摄图像中的检查对象被判断为无异常，图6(a)所示的拍摄图像中的检查对象被判断为异常。

如上所述，本实施方式的异常检测系统100的异常检测处理流程，图4(a)所示的亮度等没有偏差的正常焊接痕、图5(a)所示的虽然正常但是包含由于存在亮度等偏差而局部颜色不同的焊接痕的检查对象被判断为没有异常，另一方面，图6(a)所示的包含不合格部位的异常焊接痕的检查对象被判断为异常。即，即使在基于预检测部203的异常的判断(S13)中，由于亮度的偏差、形状的偏差而产生上述的过度检测的问题的情况下，在基于检测部204的异常判断(S14)中，也能够抑制过度检测的产生，使异常的检测精度提高。在此，本实施方式的异常检测系统100的异常检测处理并不限定于检查对象，特别地，在将形状、亮度容易产生偏差的焊接痕作为检查对象的情况、在由于拍摄环境的问题而容易在检查对象图像中的检查对象的位置、方向上产生偏离、偏差的生产线中对检查对象的图像进行拍摄的情况中是优选的。

<其他的实施方式>

在第一实施方式中，作为复原图像生成部202具有的学习模型，以生成式对抗网络、具体而言是GAN为例进行了说明，但除了GAN以外，还可以使用作为其他的生成式对抗网络的CGAN、DCGAN、SRGAN、CycleGAN、VAEGAN等各种生成式对抗网络。此外，除了GAN以外，也可以使用AE、VAE、CVAE等各种自动编码器。

此外，本发明不限于上述实施方式，能够在不脱离主旨的范围内适当改变。例如，除了异常检测系统以外，还可以通过异常检测装置、异常检测方法、实现该方法的计算机程序等各种方式来实现。

Claims (7)

1.一种异常检测系统，具有：

取得部，其取得检查对象的检查对象图像；

复原图像生成部，其向学习模型输入所述检查对象图像，并生成复原图像，所述学习模型是将正常的检查对象的图像作为教师数据使用及学习而成的；

检测部，其使用所述复原图像与正常复原图像，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

2.根据权利要求1所述的异常检测系统，其中，

所述检测部使用所述复原图像与正常复原图像的相似度，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

3.根据权利要求2所述的异常检测系统，其中，

还具有预检测部，所述预检测部使用所述检查对象图像与所述复原图像的差分，对所述检查对象图像中的检查对象是否为异常进行判断，

所述检测部对由所述预检测部判断为异常的检查对象是否为异常进行再次判断。

4.根据权利要求1至3中任一项所述的异常检测系统，其中，

所述学习模型是使用了生成式对抗网络的学习模型。

5.根据权利要求1至4中任一项所述的异常检测系统，其中，

所述检查对象是通过焊接而在部件上形成的焊接痕。

6.根据权利要求1至5中任一项所述的异常检测系统，其中，

所述检查对象图像是在生产线中被拍摄的图像。

7.一种异常检测方法，具有：

取得步骤，取得检查对象的检查对象图像；

复原图像生成步骤，向学习模型输入所述检查对象图像，并生成复原图像，所述学习模型是将正常的检查对象的图像作为教师数据使用及学习而成的；

检测步骤，使用所述复原图像与正常复原图像，对所述检查对象图像中的检查对象是否为异常进行判断，所述正常复原图像是向所述学习模型输入正常的检查对象的图像而生成的复原图像。

Images