CN110992354A - 基于引入自动记忆机制对抗自编码器的异常区域检测方法 - Google Patents

基于引入自动记忆机制对抗自编码器的异常区域检测方法 Download PDF

Info

Publication number
CN110992354A
CN110992354A CN201911286021.3A CN201911286021A CN110992354A CN 110992354 A CN110992354 A CN 110992354A CN 201911286021 A CN201911286021 A CN 201911286021A CN 110992354 A CN110992354 A CN 110992354A
Authority
CN
China
Prior art keywords
sample
image
loss
training set
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911286021.3A
Other languages
English (en)
Other versions
CN110992354B (zh
Inventor
牛通之
李斌
牛拴龙
邱园红
李言洲
李威风
闫福强
彭亚茹
李贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911286021.3A priority Critical patent/CN110992354B/zh
Publication of CN110992354A publication Critical patent/CN110992354A/zh
Application granted granted Critical
Publication of CN110992354B publication Critical patent/CN110992354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,并具体公开了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法。包括:在工业现场图像划分的训练集和测试集中,训练集仅包含OK样本,测试集包含OK和NG样本;设计具备自动记忆机制的对抗自编码器模型;使用训练集训练,测试集评价,得到最优模型;构建训练集样本异常值的统计模型,得出判别OK/NG的判别阈值。将待检测样本输入已训练网络模型,生成器重构得到重构图,获取异常值,若小于判别阈值判定为OK,否则判定为NG,将输入图与重构图输入比较模块得到异常区域位置。本发明仅使用OK样本作为训练集,能够判别OK/NG,定位异常区域位置,并且NG样本召回率较高,检测速度较快。

Description

基于引入自动记忆机制对抗自编码器的异常区域检测方法
技术领域
本发明属于图像处理技术领域,更具体地,涉及一种基于引入自动记忆机制对抗自编码器的异常区域检测方法。
背景技术
表面异常检测是实现工业生产质量管理的主要方法。近年来,深度学习由于其强大的特征提取能力逐渐成为主流的表面异常检测方法,其通过对大量高质量的已标记数据训练,学习样本数据的内在规律和表示层次,最终实现表面异常检测。
现有异常检测方法针对以上问题,有以下三种方法:1)分割决策网络,先分割后检测,融合特征信息与分割信息实现检测,少量样本可实现检测,但要求像素级标签,耗时耗力。2)人为制造异常,将修复异常作为训练目标,不需要采集异常样本,就可以实现检测和分割,但存在认知局限和系统性偏差,容易导致模型偏置。3)仅使用OK样本作为训练集完成模型构建,可检测未知异常,契合工业数据特征,但方法上还存在诸多问题(如实时性、重构过拟合等)亟待解决。
现有深度学习方法主要为生成对抗网络和深度自编码器,其主要存在以下问题:1)重构过拟合,深度自编码器为重构网络,将重构误差作异常值,使用合格数据训练,合格数据重构误差小于异常数据。但在实际应用中发现,往往异常数据也能够很好地重构,且重构误差小于正常数据,导致判别出现错误。2)实现实时检测困难,现有用于异常检测任务中的对抗生成网络,在测试时迭代计算,浪费大量的计算资源和时间,不符合产线中实时检测的要求。3)判别方法不适用,现有判别方法有两种,在像素层面比较,噪声较大,导致判别误差较大;在整体特征层面比较,但异常特征往往表现为局部特征,判别容易出现错误。4)阈值的确定依赖于已标记数据,且已标记数据数量越多,质量越好,阈值越准确,但工业数据无法提供相当数量的已标记数据。
因此,本领域亟待提出一种仅使用OK样本作为训练集的二分类异常区域检测方法,加快检测速度,一定程度上解决重构过拟合问题,并具有较高的准确率、召回率以及鲁棒性。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,该方法仅使用OK样本作为训练集,能够判别OK/NG并定位异常位置。本发明提出的自动记忆对抗自编码器能够实现实时检测并一定程度上解决了重构过拟合问题,具有较高的准确率、召回率以及鲁棒性。
为实现上述目的,本发明提出了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,包括以下步骤:
S1将采集得到的合格的工业图像和不合格的工业图像进行处理后生成图像数据集,定义合格的工业图像为OK样本,不合格的工业图像为NG样本,将OK样本按照一定的比例划分为训练集和测试集,将NG样本放入测试集中,将训练集中的OK样本随机均分为训练集A和训练集B,其中,所述比例的取值范围为2/3~4/5;
S2设计网络结构,构建自动记忆对抗自编码器模型,包括含自动记忆机制的生成器模块、权值共享的判别器模块、统计模块以及对比模块;
S3将步骤S1中训练集A中的样本输入生成器模块中生成重构图,并将该重构图与训练集B中的样本输入判别器模块,进行图像对比,根据对比结果对自动记忆对抗自编码器模型进行迭代训练,得到参数化模型;
S4将所述测试集中的样本输入自动记忆对抗自编码器模型中,对该自动记忆对抗自编码器模型进行性能测试,在一定的训练轮数内,选择最优的参数化模型;
S5将训练集样本输入最优的参数化模型中,得到训练集样本异常值的集合,统计模块根据训练集样本异常值的集合建立统计学模型,得出判别OK/NG的判别阈值;
S6将采集的待检测样本输入最优的参数化模型中,得到该样本的异常值,若该异常值小于判别阈值,则判定待检测图合格,结束计算,否则,判定待检测图不合格,通过对比模块提取待检测图的异常位置。
作为进一步优选的,所述生成器模块包括编码器、记忆模块、解码器;所述判别器模块包括权值共享的马尔可夫判别器和生成对抗判别器;步骤S3具体包括以下步骤:
第一步,构建局部特征一致性损失,将训练集A中的样本输入生成器模块中生成重构图,将重构图和训练集B中的样本输入判别器模块,分别得到重构图的局部特征矩阵和样本的局部特征矩阵,并以此构建局部特征一致性损失;
第二步,构建重构图真实性损失,将重构图片输入生成对抗判别器,得到判别值,从而得到重构图真实性损失;
第三步,构建对抗损失,将样本输入生成对抗判别器,得到判别值,从而得到对抗损失;
第四步,构建综合损失,根据局部特征一致性损失、重构图真实性损失以及对抗损失确定最终损失,并以此对自动记忆对抗自编码器模型进行迭代训练,得到参数化模型。
作为进一步优选的,所述局部特征一致性损失Lcon为:
Lcon=|f(xb)-f(G(xa)|1
作为进一步优选的,所述重构图真实性损失Lrec为:
Lrec=1-D(G(xa))。
作为进一步优选的,所述对抗损失Ladv为:
Figure BDA0002317999140000041
作为进一步优选的,所述最终损失L为:
L=λadvLadvconLconrecLrec
其中,λadv、λcon、λrec为权重参数。
作为进一步优选的,所述生成器模块包括依次连接的编码器、第一残差块、记忆模块、第二残差块以及解码器;其中,编码器由若干下采样层组成,每个下采样层包括一个卷积层、一个Batch Normalization层以及一个ReLU激活层;记忆模块包含一个卷积层,以及三个门结构,遗忘门、输入门和输出门;解码器由若干个上采样层组成,前面的上采样层每层包含一个上采样卷积层、一个Batch Normalization层和以及一个ReLU激活层,最后一层将激活层函数改为Tanh;
所述马尔可夫判别器包含若干个下采样层,第一个下采样层由卷积层和LeakyReLU激活层组成,后面的下采样层每层包含一个卷积层、一个Batch Normalization层以及一个LeakyReLU激活层;生成对抗判别器包含若干下采样层,前几层与马尔可夫判别器结构相同并共享参数,最后一层为卷积层;
作为进一步优选的,所述统计模块将训练集中所有样本的异常值通过假设检验的方法建模为统计模型,设置置信度为n,估计异常值均值上限,将其作为判别阈值,其中,n的取值范围为90%~99%;
所述位置提取模块包括预处理层、分割层和后处理层,其中,预处理层包括双边滤波器去噪单元和局部方差处理单元,分割层所采用的方法为局部自适应阈值分割,后处理层通过区域生长得到最终的异常位置。
作为进一步优选的,步骤S5中,提取待检测图的异常位置具体包括以下步骤:首先,对待检测样本进行去噪处理,然后采用局部方差计算方法,获得待检测样本中像素值急剧变化的部分;接着,采用局部阈值法,对待检测样本中像素值急剧变化的部分实现自适应阈值的图像二值化,得到带有连通域的二值化图像;最后,确定各连通域的像素点个数,选出像素点个数瞒住要求的连通域,获得待检测图的异常位置图。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
(1)本发明采用的自动记忆的对抗自编码器是一种新的无监督异常检测方法,仅使用OK样本作为训练集,就能够判别OK/NG并定位异常位置,并能够在没有任何人为干预的情况下检测未知异常。
(2)本发明在编码器与解码器中间加入了记忆模块,重新设计了训练策略,在一定程度上解决了重构过拟合的问题,提升了模型的鲁棒性;通过编码器得到特征隐变量,避免了迭代计算,提高了检测速度。
(3)本发明采用的马尔可夫判别器,通过卷积建立图像与特征矩阵的马尔可夫随机场,实现了图像局部特征的提取和表征,提高了判别的准确率和召回率。
(4)本发明采用统计学的方法基于训练集获取判别阈值,并获得了较大的NG数据召回率。
(5)本发明对现有的卷积层、Batch Normalization层以及一个ReLU激活层、ReLU激活层、Tanh激活层函数以及门结构等进行了特定性的组合,重新设计了训练策略,在一定程度上解决了重构过拟合的问题,提升了模型的鲁棒性;通过编码器得到特征隐变量,避免了迭代计算,提高了检测速度。
(6)自动记忆对抗自编码器模型在16GB内存、型号为Tesla P100的单GPU下进行构建的,用本发明提供的方法进行异常检测可达到75.96FPS。
附图说明
图1为本发明实施例涉及的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法的流程图;
图2为本发明实施例涉及的自动记忆的对抗自编码器网络结构示意图;
图3为本发明实施例1中构建的训练集,其中,图3中的(a)至(d)为训练集A中的样本,图3中的(e)至(h)为训练集B中的样本;
图4为本发明实施例1中待检测样本,其中,图4中的(a)至(d)为合格图像样本,图3中的(e)至(h)为不合格图像样本;
图5为本发明实施例1中异常检测后的结果示意图,其中,图5中的(a)为不合格测试图像的原图,图5中的(b)为不合格测试图像的重构图,图5中的(c)为不合格测试图像的异常位置图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提出了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,用于工业制造过程中检测含表观异常的不合格工件,主要解决了工业现场采集数据过程中遇到的样本不平衡、可获取样本多样性不足等问题。其主要思想为:针对工业现场OK样本数量远远大于NG样本的特点,构建OK样本的重构生成器,检测时,OK样本重构误差小于NG样本,从而实现异常检测。其首先采集工业现场图像,进行大小归一化,标记OK/NG样本,生成数据集,将OK样本按照一定的比例(通常取2/3~4/5)划分为训练集和测试集,将NG样本放入测试集中;然后,设计网络结构,构建自动记忆对抗自编码器模型;接着,使用步骤1的训练集训练步骤2构建的网络模型,使用测试集对已训练好模型的性能进行评价,挑选最优参数化模型,将训练集样本输入最优参数化模型得到异常值集合,建立统计模型,得出阈值;接着,将待检测图像进行大小归一化,输入步骤3已训练好的网络模型,得到输出,若其大于阈值,则判定为不合格,小于阈值则判定为合格;最后,若判定为不合格,将输入图与重构图输入比较模块得到异常位置图。本发明提供的表面异常方法,仅使用OK样本作为训练集,能够判别OK/NG,定位异常位置,能够在没有任何人为干预的情况下检测未知异常,并且其NG样本召回率较高,实现了实时检测。
具体包括以下步骤:
步骤一:采集工业现场图像,进行大小归一化,标记OK/NG样本,生成数据集,将OK样本按照一定的比例(通常取2/3~4/5)划分为训练集和测试集,将NG样本放入测试集中,将训练集中的OK样本随机均分为训练集A和训练集B。
具体而言,获取工业图像数据集,由专业人员将图像分为OK样本(不含异常区域)和NG样本(含有异常区域),将OK样本按照一定的比例划分为训练集和测试集,将NG样本放入测试集中,将训练集中的OK样本随机均分为训练集A和训练集B,分别作为两个训练集。其中,训练集用于训练步骤二所构建的自动记忆对抗自编码器模型,得到优化的参数模型;测试集用于对已训练好的模型进行性能评价。
作为本发明的优选方案,训练集和测试集中OK样本的比值为2/3~4/5。
步骤二:根据步骤一获取的测试集、训练集A和训练集B设计网络结构,构建自动记忆对抗自编码器模型。
如图2所示,本发明设计的自动记忆对抗自编码模型由生成器模块、判别器模块、统计模块、对比模块组成。其中生成器模块包含编码器、解码器、残差网络块和记忆模块;判别器模块包括马尔可夫判别器和对抗判别器,两者共享网络参数;统计模块包括假设检验和参数估计两个过程;位置提取模块包括预处理、分割和后处理三个部分。
其中,对于生成器,编码器由若干下采样层组成,每个下采样层包括一个卷积层、一个Batch Normalization层以及一个ReLU激活层;Resnet模块由若干残差块组成;记忆模块包含一个卷积层,以及三个门结构,遗忘门、输入门和输出门;解码器由若干个上采样层组成,前面的上采样层每层包含一个上采样卷积层、一个Batch Normalization层和以及一个ReLU激活层,最后一层将激活层函数改为Tanh。判别器包含马尔可夫判别器和生成对抗判别器两个部分,其中马尔可夫判别器包含若干个下采样层,第一个下采样层由卷积层和LeakyReLU激活层组成,后面的下采样层每层包含一个卷积层、一个Batch Normalization层以及一个LeakyReLU激活层;生成对抗判别器包含若干下采样层,前几层与马尔可夫判别器结构相同并共享参数,最后一层为卷积层。统计模块将训练集所有样本的异常值通过统计的方法建模为统计模型,将置信度设置为n(n的取值为90%~99%),估计异常值均值上限,将其作为判别阈值。位置提取模块包括预处理、分割和后处理。其中预处理层包括双边滤波器去噪和局部方差处理,分割采用的方法为局部自适应阈值分割,后处理通过区域生长得到最终的位置图。
进一步的,设计网络结构并构建自动记忆对抗自编码器模型具体包括以下步骤:
(1)样本训练过程:将训练集A中的样本xa作为输入,进入生成器,经过编码器降维,残差块提取特征得到样本xa的特征编码za,特征编码za输入记忆模块得到对应的记忆编码za′,经过残差块,进入解码器,生成重构图G(xa)。将训练集B中的样本xb与重构图G(xa)同时输入生成对抗判别器,设置对抗生成损失,训练使得生成器获得将训练集A中样本转化为训练集B中样本的能力;将训练集A中的样本xa与重构图G(xa)同时输入马尔可夫判别器,分别提取样本xa的局部特征f(xa)和G(xa)的局部特征f(G(xa)),两者相减得到重构误差,设置局部特征一致性损失,训练使得OK样本的重构损失尽可能小。最后,建立所有训练样本重构误差的统计模型,得到判别阈值。
(2)待检测样本的测试过程:测试集中样本y经过生成器得到重构图G(y),将测试图y与重构图G(y)同时输入马尔可夫判别器,分别提取测试图y的局部特征f(y)与重构图G(y)的局部特征f(G(y)),得到重构误差,若重构误差小于阈值,则判别为OK;若重构损失大于阈值,则判别为NG,将测试图y与重构图G(y)相减输入异常提取器,得到异常位置图。
步骤三,使用步骤一的训练集训练步骤二构建的自动记忆对抗自编码器模型,得到参数优化模型,使用测试集对已训练好模型的性能进行评价,建立训练集样本异常值的统计模型,得到判别阈值。即,将(1)中仅有OK样本的训练集输入步骤(2)设计的网络中,进行迭代训练,得到参数优化模型和判别阈值。根据(1)中测试集对模型的测试结果,选择最优参数化模型。将训练集样本输入最优参数化模型中,得到异常值集合,建立统计模型,取置信度为n(n的取值一般为90%~99%)的均值上限作为判别阈值。
所述步骤(3)中模型训练机制描述如下:
将OK样本均分为A、B两组,输入A组样本xa,通过生成器G得到重构图片G(xa),将重构图片G(xa)和B组样本xb输入马尔可夫判别器,分别得到f(G(xa))和f(xb),局部特征一致性损失Lcon为:
Lcon=|f(xb)-f(G(xa)|1
将重构图片G(xa)输入生成对抗判别器,得到判别值D(G(xa)),重构真实性损失Lrec为:
Lrec=1-D(G(xa))
将样本xb输入生成对抗判别器,得到判别值D(xb),则对抗损失Ladv为:
Figure BDA0002317999140000091
针对三种损失,分别取权重参数λadv、λcon、λrec,则最终损失L为:
L=λadvLadvconLconrecLrec
步骤四,将待检测样本进行大小归一化,输入步骤三已训练好的网络模型,得到输出,若其大于判别阈值,则判定为不合格,小于判别阈值则判定为合格。即,采集待检测样本作为输入,输入步骤三选择的最优模型中,经过生成器,得到重构图,将输入图和重构图分别输入马尔可夫判别器,分别得到的局部特征图求L1范数,得到异常值,大于阈值则判定为NG样本,小于阈值判定为OK样本;若为NG样本,则将输入图和重构图输入比较模块,最终得到位置图。
本发明提供的表面异常方法,仅使用OK样本作为训练集,能够判别OK/NG,定位异常位置,能够在没有任何人为干预的情况下检测未知异常,并且其NG样本召回率较高,实现了较快的检测速度。
实施例1
下面通过实例,并结合附图,对本发明的技术方案做进一步说明。本实施例以电机换向器柱面检测为例对本发明的方法进行说明。
本实施例的一种基于自动记忆的对抗生成网络的异常检测方法包括以下步骤:
(1)生成数据集;
本实施例采集到的柱面图像共389张,组成数据集MCSD-cylinder,包含合格图像323张,不合格图像66张,图像格式为BMP,部分图像训练集如图3所示。每张图像进行大小归一化为同一像素尺寸256×256(单位:像素)。将图像分为训练集和测试集,如表1所示。
表1数据集MCSD-cylinder
类型 训练集 测试集 总计
合格图像(OK) 227 96 323
不合格图像(NG) 0 66 66
(2)构建自动记忆对抗自编码器模型;
在本实施例中在Pytorch0.4深度学习框架上构建自动记忆对抗自编码器模型,模型具体参数如表2所示。
表2网络模型参数
Figure BDA0002317999140000111
(3)数据集训练及模型优化;
(3-1)编写python程序,训练样本随机排序后,进行平均分配,每批图像数量批大小为16(单位:张);
(3-2)训练图像分批依次输入模型,当一批中所有样本梯度下降数值之和计算完毕后,进行一次权值更新,所有批次更新完毕。使用测试集对已训练模型进行评价,得到评价值(本例中采用AUC值),若评价值大于现有最大评价值,储存现有参数化模型,进行下次迭代,若小于最大评价值,直接进行下次迭代。训练样本迭代次数为1000次,迭代完毕得到最优参数化网络模型,命名SDMA-MCSD-cylinder1000model;
(3-3)对训练集图像异常值进行统计学建模,通过假设检验得知,显著性0.171>0.05,该模型OK样本异常值服从正态分布;取99%置信度进行均值区间估计,得到均值上限为0.169,取0.169作为阈值。
(3-4)输入测试集对训练完毕的模型进行测试,得到各类指标,结果列于表2。在SDMA模型上测试整个数据集MCSD-cylinder,总准确率为0.865,NG样本召回率为1.000,实现了非常精确的异常识别。
表3 SDMA模型总体评价指标
网络 准确率 NG召回率 FPS
SDMA 0.865 1.000 75.96
(4)在线检测;
采集待检测图像,本例本实施例8张图像如图4所示,大小归一化为256×256,其图像矩阵直接输入SDMA-MCSD-cylinder1000model中,经过生成器重构得到重构图,将输入图与重构图共同输入马尔可夫判别器,分别得到局部特征矩阵,相减得到异常值,异常值≤0.169在判别为合格(OK),异常值>0.169则判别为不合格(NG),本实施例8张图像判别结果列于表4。
表4本实施例芯片图像识别结果(0,1,2,3类分别表示正常芯片,线性污损、滴状污损和划伤芯片)
芯片编号 a b c d e f g H
异常值 0.163 0.159 0.147 0.153 0.209 0.191 0.271 0.179
判别结果 OK OK OK OK NG NG NG NG
(5)若判定为NG样本,则将输入图和重构图相减输入位置提取模块,最终得到位置图。
(5.1)将输入图像与重构图像像素相减得到相减图;
(5.2)采用双边滤波处理相减图,使得图像平滑以到达去噪的效果;
(5.3)计算图像局部方差,区分背景与异常;
(5.4)采用局部自适应阈值分割进行二值化;
(5.6)区域生长,得到最终位置图。
如图5所示,为异常位置和轮廓。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,包括以下步骤:
S1将采集得到的合格工业图像和不合格工业图像进行处理后生成图像数据集,定义合格的工业图像为OK样本,不合格的工业图像为NG样本,将OK样本按照一定的比例划分为训练集和测试集,将NG样本放入测试集中,将训练集中的OK样本随机均分为训练集A和训练集B;
S2设计网络结构,构建自动记忆对抗自编码器模型,包括含自动记忆机制的生成器模块、权值共享的判别器模块以及统计模块和对比模块;
S3将步骤S1中训练集A中的样本输入生成器模块中生成重构图,并将该重构图与训练集B中的样本输入判别器模块,进行图像对比,根据对比结果对自动记忆对抗自编码器模型进行迭代训练,得到参数化模型;
S4将所述测试集中的样本输入自动记忆对抗自编码器模型中,对该自动记忆对抗自编码器模型进行性能测试,并根据性能测试的结果选择最优的参数化模型;
S5将训练集样本输入最优的参数化模型中,得到训练集样本异常值的集合,统计模块根据训练集样本异常值的集合建立统计学模型,进而得出判别OK/NG的判别阈值;
S6将采集的待检测样本输入最优的参数化模型中,得到该样本的异常值,若该异常值小于判别阈值,则判定待检测图合格,结束计算,否则,判定待检测图不合格,通过对比模块提取待检测图的异常位置。
2.根据权利要求1所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述生成器模块包括编码器、记忆模块、解码器;所述判别器模块包括权值共享的马尔可夫判别器和生成对抗判别器;步骤S3具体包括以下步骤:
第一步,构建局部特征一致性损失,将训练集A中的样本xa输入生成器模块中生成重构图G(xa),将重构图G(xa)和训练集B中的样本xb输入判别器模块,分别得到重构图G(xa)的局部特征矩阵f(G(xa))和样本xb的局部特征矩阵f(xb),并以此构建局部特征一致性损失Lcon
第二步,构建重构图真实性损失,将重构图片G(xa)输入生成对抗判别器,得到判别值D(G(xa)),从而得到重构图真实性损失Lrec
第三步,构建对抗损失,将样本xb输入生成对抗判别器,得到判别值D(xb),从而得到对抗损失Ladv
第四步,构建综合损失,根据局部特征一致性损失Lcon、重构图真实性损失Lrec以及对抗损失Ladv确定最终损失L,并以此对自动记忆对抗自编码器模型进行迭代训练,得到参数化模型。
3.根据权利要求2所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述局部特征一致性损失Lcon为:
Lcon=|f(xb)-f(G(xa)|1
4.根据权利要求2所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述重构图真实性损失Lrec为:
Lrec=1-D(G(xa))。
5.根据权利要求2所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述对抗损失Ladv为:
Figure FDA0002317999130000021
6.根据权利要求2所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述最终损失L为:
L=λadvLadvconLconrecLrec
其中,λadv、λcon、λrec为权重参数。
7.根据权利要求1所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,
所述生成器模块包括依次连接的编码器、第一残差块、记忆模块、第二残差块以及解码器;其中,编码器由若干下采样层组成,每个下采样层包括一个卷积层、一个BatchNormalization层以及一个ReLU激活层;记忆模块包含一个卷积层,以及三个门结构,遗忘门、输入门和输出门;解码器由若干个上采样层组成,前面的上采样层每层包含一个上采样卷积层、一个Batch Normalization层和以及一个ReLU激活层,最后一层将激活层函数改为Tanh激活层函数;
所述马尔可夫判别器包含若干个下采样层,第一个下采样层由卷积层和LeakyReLU激活层组成,后面的下采样层每层包含一个卷积层、一个Batch Normalization层以及一个LeakyReLU激活层;生成对抗判别器包含若干下采样层,前几层与马尔可夫判别器结构相同并共享参数,最后一层为卷积层。
8.根据权利要求1所述的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法,其特征在于,所述统计模块将训练集中所有样本的异常值通过假设检验的方法建模为统计模型,设置置信度为n,估计异常值均值上限,将其作为判别阈值,其中,n的取值范围为90%~99%。
CN201911286021.3A 2019-12-13 2019-12-13 基于引入自动记忆机制对抗自编码器的异常区域检测方法 Active CN110992354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911286021.3A CN110992354B (zh) 2019-12-13 2019-12-13 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911286021.3A CN110992354B (zh) 2019-12-13 2019-12-13 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Publications (2)

Publication Number Publication Date
CN110992354A true CN110992354A (zh) 2020-04-10
CN110992354B CN110992354B (zh) 2022-04-12

Family

ID=70093627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911286021.3A Active CN110992354B (zh) 2019-12-13 2019-12-13 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Country Status (1)

Country Link
CN (1) CN110992354B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652290A (zh) * 2020-05-15 2020-09-11 深圳前海微众银行股份有限公司 一种对抗样本的检测方法及装置
CN111814548A (zh) * 2020-06-03 2020-10-23 中铁第四勘察设计院集团有限公司 一种异常行为检测方法和装置
CN111967571A (zh) * 2020-07-07 2020-11-20 华东交通大学 一种基于mhma的异常检测方法和设备
CN112070712A (zh) * 2020-06-05 2020-12-11 宁波大学 基于自编码器网络的印刷缺陷检测方法
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法
CN112164033A (zh) * 2020-09-14 2021-01-01 华中科技大学 一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法
CN112200244A (zh) * 2020-10-09 2021-01-08 西安交通大学 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112465798A (zh) * 2020-12-11 2021-03-09 上海交通大学 一种基于生成对抗网络和记忆模块的异常检测方法
CN112766459A (zh) * 2021-01-12 2021-05-07 合肥黎曼信息科技有限公司 一种基于生成器的异常检测方法
CN112767331A (zh) * 2021-01-08 2021-05-07 北京航空航天大学 基于零样本学习的图像异常检测方法
CN113077005A (zh) * 2021-04-13 2021-07-06 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113096117A (zh) * 2021-04-29 2021-07-09 中南大学湘雅医院 异位骨化ct图像分割方法、三维重建方法、装置
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN114066811A (zh) * 2021-10-13 2022-02-18 华南理工大学 一种工业产品异常检测方法、系统、装置及存储介质
CN114187292A (zh) * 2022-02-14 2022-03-15 北京阿丘科技有限公司 棉纺纸筒的异常检测方法、装置、设备及存储介质
CN114359779A (zh) * 2021-12-01 2022-04-15 国家能源集团宿迁发电有限公司 一种基于深度学习的皮带撕裂检测方法
TWI764492B (zh) * 2020-12-31 2022-05-11 鴻海精密工業股份有限公司 缺陷檢測分類方法、裝置、電子設備及存儲介質
WO2022264824A1 (ja) * 2021-06-16 2022-12-22 株式会社日立製作所 異常判定用計算機及び異常判定方法
CN116743646A (zh) * 2023-08-15 2023-09-12 云南省交通规划设计研究院有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108431834A (zh) * 2015-12-01 2018-08-21 首选网络株式会社 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法
US20180293736A1 (en) * 2017-04-10 2018-10-11 Hrl Laboratories, Llc System for predicting movements of an object of interest with an autoencoder
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109902880A (zh) * 2019-03-13 2019-06-18 南京航空航天大学 一种基于Seq2Seq生成对抗网络的城市人流预测方法
CN109948117A (zh) * 2019-03-13 2019-06-28 南京航空航天大学 一种对抗网络自编码器的卫星异常检测方法
CN110211114A (zh) * 2019-06-03 2019-09-06 浙江大学 一种基于深度学习的装箱缺条视觉检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108431834A (zh) * 2015-12-01 2018-08-21 首选网络株式会社 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法
US20180293736A1 (en) * 2017-04-10 2018-10-11 Hrl Laboratories, Llc System for predicting movements of an object of interest with an autoencoder
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109902880A (zh) * 2019-03-13 2019-06-18 南京航空航天大学 一种基于Seq2Seq生成对抗网络的城市人流预测方法
CN109948117A (zh) * 2019-03-13 2019-06-28 南京航空航天大学 一种对抗网络自编码器的卫星异常检测方法
CN110211114A (zh) * 2019-06-03 2019-09-06 浙江大学 一种基于深度学习的装箱缺条视觉检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PIJI LI等: "Persona-Aware Tips Generation", 《ARXIV》 *
SHUANLONG NIU等: "DefectGAN: Weakly-Supervised Defect Detection using Generative Adversarial Network", 《IEEE》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652290A (zh) * 2020-05-15 2020-09-11 深圳前海微众银行股份有限公司 一种对抗样本的检测方法及装置
CN111652290B (zh) * 2020-05-15 2024-03-15 深圳前海微众银行股份有限公司 一种对抗样本的检测方法及装置
CN111814548A (zh) * 2020-06-03 2020-10-23 中铁第四勘察设计院集团有限公司 一种异常行为检测方法和装置
CN112070712A (zh) * 2020-06-05 2020-12-11 宁波大学 基于自编码器网络的印刷缺陷检测方法
CN112070712B (zh) * 2020-06-05 2024-05-03 湖北金三峡印务有限公司 基于自编码器网络的印刷缺陷检测方法
CN111967571A (zh) * 2020-07-07 2020-11-20 华东交通大学 一种基于mhma的异常检测方法和设备
CN111967571B (zh) * 2020-07-07 2023-04-21 华东交通大学 一种基于mhma的异常检测方法和设备
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法
CN112164033A (zh) * 2020-09-14 2021-01-01 华中科技大学 一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法
CN112200244B (zh) * 2020-10-09 2022-12-09 西安交通大学 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN112200244A (zh) * 2020-10-09 2021-01-08 西安交通大学 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112435221B (zh) * 2020-11-10 2024-03-26 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112465798A (zh) * 2020-12-11 2021-03-09 上海交通大学 一种基于生成对抗网络和记忆模块的异常检测方法
CN112465798B (zh) * 2020-12-11 2022-10-18 上海交通大学 一种基于生成对抗网络和记忆模块的异常检测方法
TWI764492B (zh) * 2020-12-31 2022-05-11 鴻海精密工業股份有限公司 缺陷檢測分類方法、裝置、電子設備及存儲介質
CN112767331A (zh) * 2021-01-08 2021-05-07 北京航空航天大学 基于零样本学习的图像异常检测方法
CN112766459B (zh) * 2021-01-12 2024-05-03 合肥黎曼信息科技有限公司 一种基于生成器的异常检测方法
CN112766459A (zh) * 2021-01-12 2021-05-07 合肥黎曼信息科技有限公司 一种基于生成器的异常检测方法
CN113077005B (zh) * 2021-04-13 2024-04-05 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113077005A (zh) * 2021-04-13 2021-07-06 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113096117A (zh) * 2021-04-29 2021-07-09 中南大学湘雅医院 异位骨化ct图像分割方法、三维重建方法、装置
WO2022264824A1 (ja) * 2021-06-16 2022-12-22 株式会社日立製作所 異常判定用計算機及び異常判定方法
CN113643235B (zh) * 2021-07-07 2023-12-29 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN114066811B (zh) * 2021-10-13 2024-03-19 华南理工大学 一种工业产品异常检测方法、系统、装置及存储介质
CN114066811A (zh) * 2021-10-13 2022-02-18 华南理工大学 一种工业产品异常检测方法、系统、装置及存储介质
CN114359779A (zh) * 2021-12-01 2022-04-15 国家能源集团宿迁发电有限公司 一种基于深度学习的皮带撕裂检测方法
CN114187292A (zh) * 2022-02-14 2022-03-15 北京阿丘科技有限公司 棉纺纸筒的异常检测方法、装置、设备及存储介质
CN116743646B (zh) * 2023-08-15 2023-12-19 云南省交通规划设计研究院股份有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法
CN116743646A (zh) * 2023-08-15 2023-09-12 云南省交通规划设计研究院有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法

Also Published As

Publication number Publication date
CN110992354B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110992354B (zh) 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN109003240B (zh) 一种基于多尺度并行cnn的图像去噪方法
CN108334936B (zh) 基于迁移卷积神经网络的故障预测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN107833220A (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109583474B (zh) 一种用于工业大数据处理的训练样本生成方法
CN113838054B (zh) 基于人工智能的机械零件表面损伤检测方法
CN112419242B (zh) 基于自注意力机制gan网络的无参考图像质量评价方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN112837295A (zh) 一种基于生成对抗网络的橡胶手套缺陷检测方法
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN115222650A (zh) 一种混合工业零件缺陷检测算法
CN109239073B (zh) 一种用于汽车车身的表面缺陷检测方法
Tian et al. Autoencoder-based fabric defect detection with cross-patch similarity
CN115063409A (zh) 一种机械刀具表面材质检测方法及系统
CN110348459B (zh) 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法
CN112489168A (zh) 一种图像数据集生成制作方法、装置、设备及存储介质
CN114972194A (zh) 一种从不一致标签中检测缺陷的方法
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
CN116664494A (zh) 一种基于模板对比的表面缺陷检测方法
CN116416433A (zh) 晶圆图像在故障模式识别过程中的预处理方法和装置
CN111126455B (zh) 一种基于Lightweight CNN与SVM的磨粒两阶段识别方法
CN114862803A (zh) 一种基于快速傅里叶卷积的工业图像异常检测方法
CN113610794A (zh) 一种基于生成式对抗网络的金属表面瑕疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant