CN111445484B - 一种基于图像级标注的工业图像异常区域像素级分割方法 - Google Patents

一种基于图像级标注的工业图像异常区域像素级分割方法 Download PDF

Info

Publication number
CN111445484B
CN111445484B CN202010247704.4A CN202010247704A CN111445484B CN 111445484 B CN111445484 B CN 111445484B CN 202010247704 A CN202010247704 A CN 202010247704A CN 111445484 B CN111445484 B CN 111445484B
Authority
CN
China
Prior art keywords
image
abnormal
normal
normal image
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010247704.4A
Other languages
English (en)
Other versions
CN111445484A (zh
Inventor
李斌
牛拴龙
唐立新
邱园红
牛通之
李威风
李言洲
彭亚茹
闫福强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010247704.4A priority Critical patent/CN111445484B/zh
Publication of CN111445484A publication Critical patent/CN111445484A/zh
Application granted granted Critical
Publication of CN111445484B publication Critical patent/CN111445484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器视觉与机器学习领域，并具体公开了一种基于图像级标注的工业图像异常区域像素级分割方法，包括如下步骤：S1获取工业图像数据集，并进行图像级标注；S2构建正常图像模板生成网络，其包括正常图像模板生成器、异常图像模板生成器、正常图像鉴别器、异常图像鉴别器；S3根据优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到正常图像模板生成模型；S4将待测工业图像输入正常图像模板生成模型中，得到对应的正常图像模板，进而将其与待测工业图像进行对比，实现对工业图像异常区域的分割。本方法能基于图像级标注数据获取精确的像素级图像分割结果，且相对于其他弱监督分割方法具有更好的实时性与泛化性。

Description

一种基于图像级标注的工业图像异常区域像素级分割方法
技术领域
本发明属于机器视觉与机器学习领域，更具体地，涉及一种基于图像级标注的工业图像异常区域像素级分割方法。
背景技术
机器视觉成为推动工业自动化与智能化的主要动力和必要手段之一。传统的基于数字图像处理的机器视觉技术存在开发难度大，方法不通用，准确率低等问题。随着机器学习的快速发展，尤其是深度学习的快速发展，其在机器视觉领域取得显著成果。但是作为数据驱动的方法，深度学习需要大量精确标注的工业图像。但是由于工业图像数据量大，标注专业性强，标注精度要求高，使得工业图像标注成本过高，尤其是像素级标注。而相对于像素级标注，工业图像级标注相对简单。所以，可以设计弱监督分割方法基于图像级标注获取像素级分割结果，可以避免工业图像像素级标注，减少人工标注成本。
目前现有的弱监督图像分割的主要思路是使用图像级标注预训练图像分类模型，获取分类模型的特征图与权值并将两者加权相加获取的加权激活图，并以此作为分割图。该方法的主要问题如下：1.精度低：该方法只能获取异常区域的大致位置，不能获取异常区域的准确轮廓，精度较低。2.速度慢：该方法不仅需要正向传播，还需要反向获取特征图与权值并进行计算，计算量大，速度慢，实时性差，难以应用于工业现场。因此，现有的弱监督分割方法难以满足工业现场的需求，研究设计一种新的工业图像弱监督分割方法成为本领域中亟待解决的问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图像级标注的工业图像异常区域像素级分割方法，其目的在于，针对像素级标签标记困难的问题，在训练过程中使用图像级标注数据训练正常模板生成器，并对模型进行评价与选择，可以基于图像级标注数据获取精确的像素级图像分割结果，相对于其他弱监督分割方法具有更好的实时性与泛化性。
为实现上述目的，本发明提出了一种基于图像级标注的工业图像异常区域像素级分割方法，包括如下步骤：
S1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；
S2构建正常图像模板生成网络，其包括正常图像模板生成器Gp、异常图像模板生成器Fng、正常图像鉴别器Dp、异常图像鉴别器Dng，其中，所述正常图像模板生成器Gp用于生成异常图像对应的正常图像模板，所述异常图像模板生成器Fng用于生成正常图像对应的异常图像模板，所述正常图像鉴别器Dp用于鉴别正常图像是真实图像还是生成图像，所述异常图像鉴别器Dng用于鉴别异常图像是真实图像还是生成图像；
S3根据预构建的优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到正常图像模板生成模型；
S4将待测工业图像输入正常图像模板生成模型中，得到其对应的正常图像模板，进而将待测工业图像与正常图像模板进行对比，实现对该工业图像异常区域的分割。
作为进一步优选的，所述优化目标包括对抗生成损失、缺陷循环一致损失和身份鉴别损失。
作为进一步优选的，对正常图像模板生成网络进行训练时，包括如下步骤：
(1)训练正常图像模板生成器Gp：
固定异常图像模板生成器Fng、正常图像鉴别器Dp的参数，将异常图像ng输入至Gp，利用反向传播更新Gp参数，并将其生成的正常图像数据Gp(ng)输入至Fng中，使得其输出的异常图像F(Gp(ng))与真实异常图像ng不断接近；
(2)训练异常图像模板生成器Fng：
固定正常图像模板生成器Gp、异常图像鉴别器Dng的参数，将正常图像p输入至Fng，利用反向传播更新Fng参数，并将其生成的异常图像数据Fng(p)输入至Gp中，使得其输出的正常图像G(Fng(p))与真实正常图像p不断接近；
(3)训练正常图像鉴别器Dp：
固定正常图像模板生成器Gp的参数，将Gp生成的正常图像数据Gp(ng)与真实正常图像p输入Dp中，利用反向传播更新Dp参数；
(4)训练异常图像鉴别器Dng：
固定异常图像模板生成器Fng的参数，将Fng生成的异常图像数据Fng(p)与真实异常图像ng输入到Dng中，利用反向传播更新Dng参数；
(5)不断重复上述(1)～(4)，同时采样正常图像模板生成器Gp生成的正常图像模板输入到预训练好的图像分类模型中，当该图像分类模型输出为正常图像的概率达到预设阈值时，完成对正常图像模板生成网络的训练，得到正常图像模板生成模型。
作为进一步优选的，在训练过程中，对异常图像模板鉴别器Dp添加异常区域注意力机制模块，具体包括如下步骤：
(1)获取残差图Res：
Res＝fupsample(fnormalization(ng-Gp(ng)))
其中，fupsample为上采样函数，fnormalization为归一化函数；
(2)根据残差图Res获取注意力标签Tatt，使Tatt中异常区域的标签大于正常部分的标签，进而使异常图像模板鉴别器Dp更加关注异常区域的恢复：
Tatt＝Tnorm+λRes
其中，Tnorm为将真实正常图像p输入正常图像鉴别器Dp输出的全为1的原始标签，λ为超参数调节注意力比重。
作为进一步优选的，超参数调节注意力比重λ取0.3～0.7。
作为进一步优选的，采用工业图像数据集中的正常图像和异常图像数据对VGG分类模型网络进行训练得到图像分类模型。
作为进一步优选的，所述S4中，将待测工业图像输入正常图像模板生成模型中得到其对应的正常图像模板后，将待测工业图像与正常图像模板进行图像相减获取异常区域显著图，然后使用阈值分割与图像二值化获取图像异常区域分割图，实现对该工业图像异常区域的分割。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1.本发明针对工业图像的特点：工业图像在非异常区域特征一致以及工业图像的语义层次较低，提供了一种基于生成对抗网络的弱监督方法，其可以基于图像级标注，快速地获取准确的像素级标注结果，相对于其他弱监督分割方法具有更好的实时性与泛化性，显著减少标注所需的人工与时间成本。
2.本发明对的图像异常区域检测速度更快，实时性更好，更适合在工业现场进行部署。
3.本发明可以获取和监督学习可比较的异常区域分割准确率，并且在可以在少量的异常数据集中获取比监督学习更好的异常区域分割结果。
4.本发明具有很好的泛化性和可迁移性，不同工业图像数据，无需制定不同工业图像方案，只需要对新的工业图像的数据集进行微调训练即可。
附图说明
图1为本发明实施例基于图像级标注的工业图像异常区域像素级分割方法流程图；
图2为本发明实施例构建的正常图像模板生成网络的结构示意图；
图3为本发明实施例构建的异常区域注意力机制模块示意图；
图4a～图4d分别为本发明实施例构建的DAGM 2007数据集的部分工业异常数据缺陷示意图；
图5a～图5c分别为本发明实施例其中一张测试图像的原图、缺陷放大图和标签图，图5d～图5h分别为该测试图像采用H’s、F’s、Q’s、W’s方法和本发明分割方法的检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种基于图像级标注的工业图像异常区域像素级分割方法，如图1所示，包括如下步骤：
S1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；
S2构建正常图像模板生成网络DAGAN，其基于生成对抗网络进行设计，如图2所示，包括正常图像模板生成器Gp、异常图像模板生成器Fng、正常图像鉴别器Dp、异常图像鉴别器Dng，具体的：
所述正常图像模板生成器Gp，其网络结构包括输入层、学习层和输出层，其中学习层包括多个卷积+正则化层+降采样层、若干个残差层、以及若干个卷积+正则化层+上采样层，其输入为异常图像，输出为生成的对应正常图像模板；
所述异常图像模板生成器Fng，其网络结构与正常图像模板生成器Gp相同，其输入为正常图像，输出为生成的对应异常图像模板；
所述正常图像鉴别器Dp用于鉴别输入的正常图像是真实图像还是生成图像，其网络结构包括输入层、学习层和输出层，其中学习层包括若干个卷积+正则化层+降采样层、以及若干个全连接层，当输入为真实的正常图像时，输出为全为1的张量Tnorm，当输入为生成的正常模板时，输出为全为0的张量T0；
所述异常图像鉴别器Dng用于鉴别输入的异常图像是真实图像还是生成图像，其网络结构与正常图像鉴别器Dp相同，当输入为真实的异常图像时，输出为全为1的张量Tnorm，当输入为生成的异常图像模板时，输出为全为0的张量T0。
S3构建异常区域注意力机制模块，如图3所示，以使在后续训练过程中鉴别器更关注图像异常部分的恢复，具体包括以下步骤：
S31将异常图像ng与生成的正常图像Gp(ng)相减，并对其进行归一化和下采样到正常图像鉴别器Dp标签大小获取残差图Res：
Res＝fupsample(fnormalization(ng-Gp(ng)))
其中，fupsample为上采样函数，fnormalization为归一化函数；
S32将残差图Res加入到与全为1的原始标签Tnorm中，获取注意力标签Tatt，使Tatt中异常区域的标签大于正常部分的标签，进而使异常图像模板鉴别器Dp更加关注异常区域的恢复：
Tatt＝Tnorm+λRes
其中，Tnorm为将真实正常图像p输入正常图像鉴别器Dp输出的全为1的原始标签，λ为超参数调节注意力比重，其取值范围为0.3～0.7。
S4构建模型优化目标，包括对抗生成损失、缺陷循环一致损失和身份鉴别损失，包括如下步骤：
S41构建对抗损失，其包括鉴别器部分与生成器两部分，具体的：
对于正常图像鉴别器Dp和正常图像模板生成器Gp，其对抗损失分别为
Figure BDA0002434378090000071
Figure BDA0002434378090000072
Figure BDA0002434378090000073
对于异常图像鉴别器Dng和异常图像模板生成器Fng，其对抗损失分别为
Figure BDA0002434378090000074
Figure BDA0002434378090000075
Figure BDA0002434378090000076
其中，ng为异常图像，p为正常图像，Eng～pdata(ng)为在异常图像数据分布中采样异常图像的数学期望，Ep～pdata(p)为在正常图像数据分布中采样正常图像的数学期望。
S42构建缺陷循环一致损失，其包括灰度部分与结构部分，具体的：
以关于异常图像ng的缺陷循环一致损失Lcycle(ng)为例，其灰度部分Loray(ng)是逐像素进行比较，计算公式如下：
Lgray(ng)＝Eng～pdata(ng)[|Fng(Gp(ng))-ng|1]
结构部分Lstr(ng)使用SSIM(Structural SIMilarity，结构相似性)中的结构部分作为比较依据，计算公式如下：
Lstr(ng)＝Eng～pdata(ng)[1-SSIM(Fng(Gp(ng))，ng)]
进而得到关于异常图像ng的缺陷循环一致损失Lcycle(ng)：
Lcycle(ng)＝Lgray(ng)+Lstr(ng)
同理，可以求得关于正常图像p的缺陷循环一致损失Lcycle(p)。
S43构建身份鉴别损失Lind(p)，模型不仅要为异常图像生成为正常图像模板，还要保持正常图像不变，计算公式如下：
Lind(p)＝Ep～pdata(p)[|Gp(p)-p|1]
S5根据优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，以得到正常图像模板生成模型，具体包括如下步骤：
S51训练正常图像模板生成器Gp：
固定异常图像模板生成器Fng、正常图像鉴别器Dp的参数，将异常图像ng输入至Gp，利用反向传播更新Gp参数，使得Gp的对抗损失
Figure BDA0002434378090000081
趋于Tatt，即使Dp认为生成的正常图像模板Gp(ng)为真实数据，并将其生成的正常图像数据Gp(ng)输入至Fng中，使得关于异常图像ng的缺陷循环一致损失Lcycle(ng)趋于更小，也就是使其输出的异常图像F(Gp(ng))与真实异常图像ng不断接近；
S52训练异常图像模板生成器Fng：
固定正常图像模板生成器Gp、异常图像鉴别器Dng的参数，将正常图像p输入至Fng，利用反向传播更新Fng参数，使得Fng的对抗损失
Figure BDA0002434378090000082
趋于Tatt，即使Dng认为生成的异常图像数据Fng(p)为真实数据，并将其生成的异常图像数据Fng(p)输入至Gp中，使得关于正常图像p的缺陷循环一致损失Lcycle(p)趋于更小，也就是使其输出的正常图像G(Fng(p))与真实正常图像p不断接近；
S53训练正常图像鉴别器Dp：
固定正常图像模板生成器Gp的参数，将Gp生成的正常图像数据Gp(ng)与真实正常图像p输入Dp中，利用反向传播更新Dp参数，使得Dp的对抗损失
Figure BDA0002434378090000091
趋于更大，即使得Dp能更好地区分输入的数据为真实数据或者生成数据，当输入为真实正常图像p，输出趋向于Tnorm，当输入为生成的正常模板G(ng)，输出趋向于T0；
S54训练异常图像鉴别器Dng：
固定异常图像模板生成器Fng的参数，将Fng生成的异常图像数据Fng(p)与真实异常图像ng输入到Dng中，利用反向传播更新Dng参数，使得Dng的对抗损失
Figure BDA0002434378090000092
趋于更大，即使得Dng能更好地区分区分输入的数据为真实数据或者生成数据，当输入为真实异常图像ng，输出趋向于Tnorm，当输入为生成的异常模板F(p)，输出趋向于T0；
S55重复上述步骤S51～S54以不断循环迭代进行训练，并在迭代过程中采样正常图像模板生成器Gp生成的正常图像模板输入到预训练好的图像分类模型中，当该图像分类模型输出为正常图像的概率达到预设阈值(一般设为99％)时，完成对正常图像模板生成网络的训练，得到正常图像模板生成模型；
进一步的，采用工业图像数据集中的正常图像和异常图像数据对VGG分类模型网络进行训练得到图像分类模型。
S6将待测工业图像输入正常图像模板生成模型中得到其对应的正常图像模板，然后将待测工业图像与正常图像模板进行图像相减获取异常区域显著图，然后使用阈值分割与图像二值化获取图像异常区域分割图，实现对该工业图像异常区域的分割。
以下为具体实施例：
以DAGM2007纹理数据集缺陷检测为例，对异常区域弱监督分割包括下步骤：
(1)构建柱面数据集：首先对数据集中的数据分为训练集与测试集，并对所有数据进行大小归一化处理，大小为512x512，并对测试集中缺陷图像进行像素级标签，用于评价缺陷分割的性能，部分缺陷如图4a～图4d所示，缺陷数据分布表见表1；
表1缺陷生成数据集各缺陷数据分布
无缺陷 缺陷
训练集 1000 150
测试集 1000 150
(2)采用训练集中的数据对正常图像模板生成网络DAGAN进行训练，训练过程中，取超参数调节注意力比重λ＝0.5，得到正常图像模板生成模型。
(3)构建弱监督工业异常图像分割模块，将测试集中的图像输入正常图像模板生成模型得到其对应的正常图像模板，并对测试图像和生成正常图像模板进行图像相减获取异常区域显著图，然后使用图像二值化和阈值分割获取图像异常区域分割图。
(4)异常区域分割评价，包括分割效果评价和算法实时性评价：
分割效果评价：评价指标为PA(Pixel Accuracy，像素精度)和IOU(Intersectionover Union，交并比)；本发明与其他方法的分割性能对比见表2，其中，H’s为HyeonjoonChoi等在《Localization of welding defects using a weakly supervised neuralnetwork》中提出的弱监督方法；F’s为Fei Zhou等在《A generic automated surfacedefect detection based on a bilinear model》中提出的弱监督方法；Q’s为LingtengQiu等在《A high-efficiency fully convolutional networks for pixel-wise surfacedefect detection》中提出的有监督方法；W’s为Heying Wang等在《A simple guidancetemplate-based defect detection method for strip steel surfaces》中提出的有监督方法；
表2分割性能比较(％)
Figure BDA0002434378090000101
Figure BDA0002434378090000111
如图5a～图5c所示，为其中一张测试图像的原图、缺陷放大图和标签图，对其采用H’s、F’s、Q’s、W’s和本发明的检测结果如图5d～图5h所示，通过表2中的结果，可以发现本发明的分割效果显著强于其他弱监督方法，并能和监督方法取得相近的检测结果。
算法实时性评价：表3是不同方法的检测时间对比，可以看出本发明的检测时间少于其他所有分割方法，包括监督方法和无监督方法。
表3检测时间比较
方法 H’s F’s Q’s W’s 本发明
时间(ms) 237 210 26 41 20
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，包括如下步骤：
S1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；
S2构建正常图像模板生成网络，其包括正常图像模板生成器Gp、异常图像模板生成器Fng、正常图像鉴别器Dp、异常图像鉴别器Dng，其中，所述正常图像模板生成器Gp用于生成异常图像对应的正常图像模板，所述异常图像模板生成器Fng用于生成正常图像对应的异常图像模板，所述正常图像鉴别器Dp用于鉴别正常图像是真实图像还是生成图像，所述异常图像鉴别器Dng用于鉴别异常图像是真实图像还是生成图像；
S3根据预构建的优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到训练完成的正常图像模板生成模型；
对正常图像模板生成网络进行训练时，包括如下步骤：
(1)训练正常图像模板生成器Gp：
固定异常图像模板生成器Fng、正常图像鉴别器Dp的参数，将异常图像ng输入至Gp，利用反向传播更新Gp参数，并将其生成的正常图像数据Gp(ng)输入至Fng中，使得其输出的异常图像F(Gp(ng))与真实异常图像ng不断接近；
(2)训练异常图像模板生成器Fng：
固定正常图像模板生成器Gp、异常图像鉴别器Dng的参数，将正常图像p输入至Fng，利用反向传播更新Fng参数，并将其生成的异常图像数据Fng(p)输入至Gp中，使得其输出的正常图像G(Fng(p))与真实正常图像p不断接近；
(3)训练正常图像鉴别器Dp：
固定正常图像模板生成器Gp的参数，将Gp生成的正常图像数据Gp(ng)与真实正常图像p输入Dp中，利用反向传播更新Dp参数；
(4)训练异常图像鉴别器Dng：
固定异常图像模板生成器Fng的参数，将Fng生成的异常图像数据Fng(p)与真实异常图像ng输入到Dng中，利用反向传播更新Dng参数；
(5)不断重复上述(1)～(4)，同时采样正常图像模板生成器Gp生成的正常图像模板输入到预训练好的图像分类模型中，当该图像分类模型输出为正常图像的概率达到预设阈值时，完成对正常图像模板生成网络的训练，得到训练完成的正常图像模板生成模型；
在训练过程中，对正常图像鉴别器Dp添加异常区域注意力机制模块，具体包括如下步骤：
(1)获取残差图Res：
Res＝fupsample(fnormalization(ng-Gp(ng)))
其中，fupsample为上采样函数，fnormalization为归一化函数；
(2)根据残差图Res获取注意力标签Tatt，使Tatt中异常区域的标签大于正常部分的标签，进而使正常图像鉴别器Dp更加关注异常区域的恢复：
Tatt＝Tnorm+λRes
其中，Tnorm为将真实正常图像p输入正常图像鉴别器Dp输出的全为1的原始标签，λ为超参数调节注意力比重；
S4将待测工业图像输入训练完成的正常图像模板生成模型中，得到其对应的正常图像模板，进而将待测工业图像与正常图像模板进行对比，实现对该工业图像异常区域的分割。
2.如权利要求1所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，所述优化目标包括对抗生成损失、缺陷循环一致损失和身份鉴别损失。
3.如权利要求1所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，超参数调节注意力比重λ取0.3～0.7。
4.如权利要求1所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，采用工业图像数据集中的正常图像和异常图像数据对VGG分类模型网络进行训练得到图像分类模型。
5.如权利要求1-4任一项所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，所述S4中，将待测工业图像输入正常图像模板生成模型中得到其对应的正常图像模板后，将待测工业图像与正常图像模板进行图像相减获取异常区域显著图，然后使用阈值分割与图像二值化获取图像异常区域分割图，实现对该工业图像异常区域的分割。
CN202010247704.4A 2020-04-01 2020-04-01 一种基于图像级标注的工业图像异常区域像素级分割方法 Active CN111445484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010247704.4A CN111445484B (zh) 2020-04-01 2020-04-01 一种基于图像级标注的工业图像异常区域像素级分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010247704.4A CN111445484B (zh) 2020-04-01 2020-04-01 一种基于图像级标注的工业图像异常区域像素级分割方法

Publications (2)

Publication Number Publication Date
CN111445484A CN111445484A (zh) 2020-07-24
CN111445484B true CN111445484B (zh) 2022-08-02

Family

ID=71649521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010247704.4A Active CN111445484B (zh) 2020-04-01 2020-04-01 一种基于图像级标注的工业图像异常区域像素级分割方法

Country Status (1)

Country Link
CN (1) CN111445484B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669274B (zh) * 2020-12-23 2022-06-17 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN112907589A (zh) * 2021-04-02 2021-06-04 联通(上海)产业互联网有限公司 一种检测异常并且分割图像中异常区域的深度学习算法
CN114005514B (zh) * 2021-11-26 2022-07-29 杭州涿溪脑与智能研究所 医学影像诊断方法、系统及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
KR102020448B1 (ko) * 2018-11-29 2019-09-11 주식회사 파슬리 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN109376582B (zh) * 2018-09-04 2022-07-29 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
CN109583474B (zh) * 2018-11-01 2022-07-05 华中科技大学 一种用于工业大数据处理的训练样本生成方法
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110135567A (zh) * 2019-05-27 2019-08-16 中国石油大学(华东) 基于多注意力生成对抗网络的图像字幕生成方法
CN110675330A (zh) * 2019-08-12 2020-01-10 广东石油化工学院 基于通道级注意力机制的编码-解码网络的图像去雨方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020448B1 (ko) * 2018-11-29 2019-09-11 주식회사 파슬리 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法

Also Published As

Publication number Publication date
CN111445484A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111445484B (zh) 一种基于图像级标注的工业图像异常区域像素级分割方法
Zavrtanik et al. Draem-a discriminatively trained reconstruction embedding for surface anomaly detection
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN110189255B (zh) 基于两级检测的人脸检测方法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
CN108550131B (zh) 基于特征融合稀疏表示模型的sar图像车辆检测方法
Dong et al. Defect classification and detection using a multitask deep one-class CNN
CN105976397A (zh) 基于半非负优化集成学习的目标跟踪方法
CN116342942A (zh) 基于多级域适应弱监督学习的跨域目标检测方法
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
Mostapha et al. Semi-supervised VAE-GAN for out-of-sample detection applied to MRI quality control
Li et al. Fabric defect segmentation system based on a lightweight GAN for industrial Internet of Things
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN116310358B (zh) 铁路货车螺栓丢失检测方法、存储介质及设备
Khamael et al. Using adapted JSEG algorithm with fuzzy C mean for segmentation and counting of white blood cell and nucleus images
CN112348750A (zh) 基于阈值融合和邻域投票的sar图像变化检测方法
CN116309633A (zh) 一种基于核直觉模糊c均值聚类的视网膜血管分割方法
CN115511798A (zh) 一种基于人工智能技术的肺炎分类方法及装置
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN109636834A (zh) 基于tld改进算法的视频车辆目标跟踪算法
Peng et al. Semi-Supervised Bolt Anomaly Detection Based on Local Feature Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant