CN116994044A - 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 - Google Patents

一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 Download PDF

Info

Publication number
CN116994044A
CN116994044A CN202310931310.4A CN202310931310A CN116994044A CN 116994044 A CN116994044 A CN 116994044A CN 202310931310 A CN202310931310 A CN 202310931310A CN 116994044 A CN116994044 A CN 116994044A
Authority
CN
China
Prior art keywords
image
loss function
discriminator
training
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310931310.4A
Other languages
English (en)
Inventor
张凤斌
黄洪海
席亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202310931310.4A priority Critical patent/CN116994044A/zh
Publication of CN116994044A publication Critical patent/CN116994044A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，涉及图像异常检测领域。解决现有的编码器等模型具有较大的容量，缺陷与正常区域的特征差别不明显；图像重建思想的方法大都只考虑了图像的单一模态，不能充分利用图像数据不同模态之间的关联性的问题。本发明提供以下方案，获取数据：将公开图像数据集分为训练数据集和验证数据集；数据处理：将训练数据集的对抗网络分为a、b两个主分支，得到和上述和为生成对抗网络中生成器所需的待重建图像；构建网络模型框架；设计模型损失函数；训练与测试网络，还适用于图像检测技术领域中。

Description

一种基于掩码多模态生成对抗网络的图像异常检测模型的构 建方法
技术领域
本发明涉及图像异常检测领域。
背景技术
异常检测是一项众所周知的计算机视觉任务，用于检测给定图像中的异常特征。传统的异常检测算法中很大一部分方法属于监督学习的范畴，即需要收集足够的目标类别样本并进行精确的标注。然而,在许多应用场景下,很难收集到足够数量的样本，而且缺陷样本的稀缺性、注释成本以及缺陷先验知识的缺乏可能会导致基于监督的方法失效。缺陷的形状不规则、尺寸变化较大，检测框难以精确表示缺陷的位置，而且容易引入较多无关的背景信息,对缺陷检测性能的评估造成麻烦。
无监督的图像异常检测方法,通常只需要正常无缺陷样本进行网络训练。该方法更关注正常样本特征,当缺陷检测过程中发现异常特征时,即认为检测出缺陷，不需要大量的有缺陷的场景图片数据，可以很好解决样本不平衡的问题。
在无监督的图像异常检测中基于图像重构的方法可以达到一个很好的效果。基于图像重构的方法只使用正常样本去训练模型，让模型学到正常样本的特征分布。由于模型的参数仅由正常样本训练得到，所以模型只能很好重构正常样本，对异常样本比较敏感，异常样本的缺陷区域会产生较大的重建误差。基于自编码器(auto-encoder，AE)的方法采用编码器–解码器(encoder-decoder)结构的网络，编码器将输入图像编码为隐空间表示，解码器则利用隐空间表示重建图像。根据输入图像与重建图像的重建误差即可实现缺陷定位。然而自编码器(auto-encoder，AE)在重建时存在模糊的现象，因而在计算重建误差时,容易造成正常像素点的误检。GAN由生成器和判别器组成,生成器和辨别器的对抗过程可以提高重构能力。当训练集中均为正常样本时，模型仅能学习到正常样本的分布，因此隐空间变量经过生成器后只能得到正常图像。同样根据待测图片与重构图片的重构误差去判断是否异常。然而，基于图像重建的方法仍有缺陷，即使仅在正常样本上训练，模型仍然可能将未见过的缺陷完整重建.导致这样现象主要有两点原因；编码器(auto-encoder，AE)等模型具有较大的容量；缺陷与正常区域的特征差别不明显。目前基于图像重建思想的方法大都只考虑了图像的单一模态，不能充分利用图像数据不同模态之间的关联性。
发明内容
为了解决现有的编码器(auto-encoder，AE)等模型具有较大的容量，缺陷与正常区域的特征差别不明显；目前基于图像重建思想的方法大都只考虑了图像的单一模态，不能充分利用图像数据不同模态之间的关联性的问题。本发明提供的技术方案在于：
本发明提供一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，包括以下步骤：
S1：获取数据：获取公开的图像数据集，将所述图像数据集分为训练数据集和验证数据集；所述训练数据集是用于优化对抗网络中的参数；验证集用于评估模型的泛化能力；
S2：数据处理：将S1中的训练数据集的对抗网络分为a、b两个主分支，将位于a分支的训练图像样本I通过频域解耦模块获得不同频域的分量I1、I2，使用相同的掩码率对I1、I2两个频域分支掩码，得到b分支上的训练图像样本I使用不同于a分支上的掩码率进行掩码得到/>所述/>和/>为生成对抗网络中生成器所需的待重建图像；
S3：构建网络模型框架；基于S2所述的数据处理过程，采用判别器用来提高生成器的重构能力；
S4：设计模型损失函数；根据S3构建的网络模型框架，分别设计三部分损失函数：生成器损失函数、判别器损失函数和判别器潜层损失函数；
S5：训练与测试网络；使用训练集对模型训练，根据S4得到损失函数、反向传播算法和随机梯度下降算法优化网络参数，当测试数据集在模型上的表现最佳时停止迭代。
进一步地，提供一种优选实施方式，所述S2具体为：
S2.1在分支a中将训练数据集中的图像缩放到256×256像素，将缩放的图像经过频率解耦模块获得两个频率分量I1和I2；
S2.2将I1、I2缩放到32×32像素并转换至[0，1]的范围，然后进行同掩码率的随机掩码得到
S2.3在分支b中将训练数据集中的图像缩放到32×32像素并转换至[0，1]的范围内、将缩放的图像使用不同于步骤2.2中的掩码率进行随机掩码得到
进一步地，提供一种优选实施方式，所述S2.1获得两个频率分量I1和I2具体为：
对原始图像I进行高斯平滑处理，再通过舍弃偶数行和偶数列进行下采样，将整幅图像I变为原来的四分之一，获得得到图像
公式中：
之后对图像的行和列增加一倍采样，再进行高斯平滑处理得到图像I1：
根据原始图像I与图像的差值得到I2，即：
进一步地，提供一种优选实施方式，S4中所述的生成器损失函数、判别器损失函数和判别器潜层损失函数的获得方法为：
S4.1生成器损失函数：将待重构图像输入到生成器中得到重构图像和重构误差，通过优化重构误差去调整模型参数，使重构后的图像和重构前的图像接近，重构误差即为生成器的损失函数；
S4.2判别器的损失函数，采用判别器的对抗损失函数进行对抗性训练；判别器将a分支的重构图像和b分支的重构图像/>重建区分；
S4.3判别器浅层的损失函数，潜层损失惩罚潜在空间中重构图像和/>之间的相似性；使用鉴别器D的最后一个卷积层的特征作为潜在空间特征。
进一步地，提供一种优选实施方式，所述S4具体为：
S4.1生成器损失函数：将待重构图像输入到生成器中得到重构图像和重构误差，通过优化重构误差去调整模型参数使重构后的图像和重构前的图像接近，重构误差即为生成器的损失函数；
S4.2判别器的损失函数，采用判别器的对抗损失函数进行对抗性训练；
S4.3判别器浅层的损失函数，潜层损失惩罚潜在空间中重构图像和/>之间的相似性；使用鉴别器D的最后一个卷积层的特征作为潜在空间特征；
S4.4设计网络总损失函数，将上述三项损失函数合并在一起构成了模型的总损失函数。
进一步地，提供一种优选实施方式，所述S4.1中损失函数为：
损失函数被定义为重构图像和原始图像I中每个元素间的平均绝对误差，公式如下所示：
其中，为重构损失，/>为I分布的期望值。
进一步地，提供一种优选实施方式，所述S4.2中判别器的损失函数为：
其中，为对抗损失，/>为/>分布的期望值，/>为/>分布的期望值。
进一步地，提供一种优选实施方式，所述S4.3中潜层损失惩罚潜在空间中重构图像和/>之间的相似性为/>其中，/>为判别器潜层损失。
进一步地，提供一种优选实施方式，所述S4.4中设计网络总损失函数为：
其中和/>分别为分支a和分支b的重构损失，/>是对抗损失，/>为判别器潜层损失，为了平衡训练引入权重参数λcon＝50，λadv＝1，λlat＝1。
进一步地，提供一种优选实施方式，所述S5具体为：
S5.1将所述训练数据集在经过S2后的数据处理后，将其送入S3构建的网络模型框架中，根据S4设计的模型损失函数计算重构损失、对抗损失和判别器潜层特征损失，所述对抗损失将通过反向传播算法得到判别器各个网络层的梯度，根据随机梯度下降算法优化判别器各个网络层的参数，所述总损失函数通过反向传播算法得到生成器各个网络层的梯度，再根据随机梯度下降算法优化生成器各个网络层的参数，即为一轮训练模型的操作；
S5.2将待重建图像送入到训练好的模型中，使用异常分数和实际检测场景对比检测异常，异常分数为：
其中和/>分别为分支a和分支b的重构损失，/>是判别器潜层损失，λ是权重参数设置为0.9。
得出测试集中每个测试样本的异常得分；所述异常分数集合为A，将A缩放到[0，1]，待重建图像的最终异常分数为：
本发明的有益之处在于：
本发明为了克服工业图像数据集本身的特点和异常检测技术上的缺点，提出了基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，该方法使用多尺度特征融合解决异常样本的缺陷大小不一，形状不同的问题。从掩码自编码器中得到一种对输入图像进行不同掩码率的设计，给训练的正常图像添加掩码模拟缺陷，训练网络模型将其恢复到对应的原始图像，训练完成过后的模型具有了根据上下文消除缺陷的能力，避免模型将从未见过的缺陷也能很好重构出来。其次考虑到图像不同模态之间的潜在分布关联，使用了图像的频域信息和RGB图像信息进行对抗训练提高检测效果。
本发明构建的模型适用于图像检测技术领域中。
附图说明
图1为实施方式一所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的频率解耦示意图。
图2为实施方式三所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的掩码示意图。
图3为实施方式四所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的模型示意图。
图4为实施方式十所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的流程示意图。
具体实施方式
为使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部实施方式。
实施方式一、本实施方式提供了一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，包括以下步骤：
S1：获取数据：获取公开的图像数据集，将所述图像数据集分为训练数据集和验证数据集；所述训练数据集是用于优化对抗网络中的参数；验证集用于评估模型的泛化能力；
S2：数据处理：将S1中的训练数据集的对抗网络分为a、b两个主分支，将位于a分支的训练图像样本I通过频域解耦模块获得不同频域的分量I1、I2，使用相同的掩码率对I1、I2两个频域分支掩码，得到b分支上的训练图像样本I使用不同于a分支上的掩码率进行掩码得到/>所述/>和/>为生成对抗网络中生成器所需的待重建图像；
S3：构建网络模型框架；基于S2所述的数据处理过程，采用判别器用来提高生成器的重构能力；
S4：设计模型损失函数；根据S3构建的网络模型框架，分别设计三部分损失函数：生成器损失函数、判别器损失函数和判别器潜层损失函数；
S5：训练与测试网络；使用训练集对模型训练，根据S4得到损失函数、反向传播算法和随机梯度下降算法优化网络参数，当测试数据集在模型上的表现最佳时停止迭代。
参见图1说明实施方式，本实施方式中所述的公开的图像数据集是从公共数据库中获得的，S1中获取数据中训练数据集是用于模型拟合的样本数据，用来优化网络中的各个参数；验证数据集用于评估最终模型的泛化能力并不参与模型训练及参数优化。
本实施方式应用基于掩码多模态生成对抗网络的图像异常检测模型的构建方法解决了多尺度特征融合解决异常样本的缺陷大小不一，形状不同的问题，进而采用MVTecAD异常检测数据集实例去阐述MVTec AD异常检测数据集模仿了工业实际生产场景，包含5354张不同目标和纹理类型的高分辨彩色图像。它包含用于训练的正常的图像，正常图像即不包含缺陷的图像，以及用于应用所构建的图像异常检测模型的异常图像。异常图像有70种不同类型的缺陷，例如划痕、凹痕、污染和不同结构变化。
实施方式二、本实施方式是对实施方式一所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S2具体为：
S2.1在分支a中将训练数据集中的图像缩放到256×256像素，将缩放的图像经过频率解耦模块获得两个频率分量I1和I2；
S2.2将I1、I2缩放到32×32像素并转换至[0，1]的范围，然后进行同掩码率的随机掩码得到
S2.3在分支b中将训练数据集中的图像缩放到32×32像素并转换至[0，1]的范围内、将缩放的图像使用不同于步骤2.2中的掩码率进行随机掩码得到
参见图2说明本实施方式，本实施方式进一步的表现了掩码效果，即从掩码自编码器中得到一种应用图像异常检测模型中输入图像进行不同掩码率的设计，给训练的正常图像添加掩码模拟缺陷，训练网络模型将其恢复到对应的原始图像，训练完成后的图像异常检测模型具有了根据上下文消除缺陷的能力，避免模型将从未见过的缺陷也能很好重构出来。其次考虑到图像不同模态之间的潜在分布关联，使用了图像的频域信息和RGB图像信息进行对抗训练提高检测效果。
实施方式三、本实施方式是对实施方式一所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S2.1获得两个频率分量I1和I2具体为：
对原始图像I进行高斯平滑处理，再通过舍弃偶数行和偶数列进行下采样，将整幅图像I变为原来的四分之一，获得得到图像
公式中：
之后对图像的行和列增加一倍采样，再进行高斯平滑处理得到图像I1：
根据原始图像I与图像的差值得到I2，即：
参见图1说明本实施方式，图1表示在分支a中将数据集中的图像缩放到256×256像素大小，将缩放的图像经过频率解耦模块获得两个频率分量I1和I2，即频率解耦前原始图像I和频率解耦后I1、I2的对比图。
实施方式四、本实施方式是对实施方式一所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，S4中所述的生成器损失函数、判别器损失函数和判别器潜层损失函数的获得方法为：
S4.1生成器损失函数：将待重构图像输入到生成器中得到重构图像和重构误差，通过优化重构误差去调整模型参数，使重构后的图像和重构前的图像接近，重构误差即为生成器的损失函数；
S4.2判别器的损失函数，采用判别器的对抗损失函数进行对抗性训练；判别器将a分支的重构图像和b分支的重构图像/>重建区分；
S4.3判别器浅层的损失函数，潜层损失惩罚潜在空间中重构图像和/>之间的相似性；使用鉴别器D的最后一个卷积层的特征作为潜在空间特征。
参见图3说明本实施方式，设计网络总损失函数，将上述三项损失函数合并在一起构成了模型的总损失函数。本实施方式中U-Net的体系结构基于编码器-解码器摸式，其中编码器从输入图像中提取特征，解码器基于这些特征生成分割图。但是，U-Net还集成了编码器和解码器之间的跳跃连接，以保留空间信息并提高分割精度。编码器相当于一个特征提取网络，从高维图像中提取高层的语义信息并保存在一个低维的编码中。生成器的输入是32×32像素大小的待重构图像，经过卷积模块和池化层得到五个不同尺度的特征图分别为16×16、8×8、4×4、2×2和原始输入的32×32，然后我们对2×2的特征图做上采样或者反卷积，得到4×4的特征图，这个4×4的特征图与之前的4×4的特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积和上采样，得到8×8的特征图，再与之前的8×8的特征拼接，卷积，再上采样，经过五次上采样可以得到一个与输入图像尺寸相同的32×32的预测结果。其中卷积模块是由普通卷积层、非线性激活函数层、批量标准化层组成。卷积层用于计算特征映射，批量标准化层会将数据归一化，减少不同批次间的数据抖动从而加速收敛提高训练速度，非线性激活函数层是加入了非线性信息避免模型退化为简单的线性模型。在获得数据低维表示的过程为编码，称此部分为编码器，将低维数据恢复高维数据的过程被为解码，称此部分为解码器。
本实施方式具体详细的介绍判别器的作用，即判别器被用于判断分支a和分支b重构图像的相似度，后面根据判别结果去优化生成器的参数，使两个分支重构后的图像更加接近，提升生成器的重构能力。将生成器a分支重构出来的两张特征图逐像素相加做为判别器的第一个输入，b分支特征图做为判别器的第二个输入。判别器的输入是一张3×32×32的图像，输出的是一个用于指示输入样本类型分布的1×100×100的向量；判别器是由两个基础模块组成，每个基础模块包含卷积层、批量标准化层和非线性激活函数层。
实施方式五、本实施方式是对实施方式四所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S4.1中损失函数为：
损失函数被定义为重构图像和原始图像I中每个元素间的平均绝对误差，公式如下所示：
其中，为重构损失，/>为I分布的期望值。
本实施方式将图像异常检测模型中待重构图像输入到生成器中得到重构图像和重构误差，通过优化重构误差去调整模型参数使重构后的图像和重构前的图像尽可能接近，重构误差即为生成器的损失函数，损失函数被定义为重构图像和原始图像I中每个元素间的平均绝对误差，具体参见实施方式六、实施方式七、实施方式八和实施方式九。
实施方式六、本实施方式是对实施方式五所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S4.2中判别器的损失函数为：
其中，为对抗损失，/>为/>分布的期望值，/>为/>分布的期望值。
实施方式七、本实施方式是对实施方式五所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，述S4.3中潜层损失惩罚潜在空间中重构图像和/>之间的相似性为/>其中，/>为判别器潜层损失。
实施方式八、本实施方式是对实施方式五所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S4.4中设计网络总损失函数为： 其中，/>和/>分别为分支a和分支b的重构损失，/>是对抗损失，/>为判别器潜层损失，为了平衡训练引入权重参数λcon＝50，λadv＝1，λlat＝1。
实施方式九、本实施方式是对实施方式一所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法的进一步限定，所述S5具体为：
S5.1将所述训练数据集在经过S2后的数据处理后，将其送入S3构建的网络模型框架中，根据S4设计的模型损失函数计算重构损失、对抗损失和判别器潜层特征损失，所述对抗损失将通过反向传播算法得到判别器各个网络层的梯度，根据随机梯度下降算法优化判别器各个网络层的参数，所述总损失函数通过反向传播算法得到生成器各个网络层的梯度，再根据随机梯度下降算法优化生成器各个网络层的参数，即为一轮训练模型的操作；
S5.2将待重建图像送入到训练好的模型中，使用异常分数和实际检测场景对比检测异常，异常分数为：
其中和/>分别为分支a和分支b的重构损失，/>是判别器潜层损失，λ是权重参数设置为0.9。
得出测试集中每个测试样本的异常得分；所述异常分数集合为A，将A缩放到[0，1]，待重建图像的最终异常分数为：
本实施方式通过将测试图像数据送入到训练好的图像异常检测模型中，使用异常分数和阈值对比，异常分数的阈值可以根据实际检测场景设置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，包括以下步骤：
S1：获取数据：获取公开的图像数据集，将所述图像数据集分为训练数据集和验证数据集；所述训练数据集是用于优化对抗网络中的参数；验证集用于评估模型的泛化能力；
S2：数据处理：将S1中的训练数据集的对抗网络分为a、b两个主分支，将位于a分支的训练图像样本I通过频域解耦模块获得不同频域的分量I1、I2，使用相同的掩码率对I1、I2两个频域分支掩码，得到b分支上的训练图像样本I使用不同于a分支上的掩码率进行掩码得到/>所述/>和/>为生成对抗网络中生成器所需的待重建图像；
S3：构建网络模型框架；基于S2所述的数据处理过程，采用判别器用来提高生成器的重构能力；
S4：设计模型损失函数；根据S3构建的网络模型框架，分别设计三部分损失函数：生成器损失函数、判别器损失函数和判别器潜层损失函数；
S5：训练与测试网络；使用训练集对模型训练，根据S4得到损失函数、反向传播算法和随机梯度下降算法优化网络参数，当测试数据集在模型上的表现最佳时停止迭代。
2.根据权利要求1所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S2具体为：
S2.1在分支a中将训练数据集中的图像缩放到256×256像素，将缩放的图像经过频率解耦模块获得两个频率分量I1和I2；
S2.2将I1、I2缩放到32×32像素并转换至[0，1]的范围，然后进行同掩码率的随机掩码得到
S2.3在分支b中将训练数据集中的图像缩放到32×32像素并转换至[0，1]的范围内、将缩放的图像使用不同于步骤2.2中的掩码率进行随机掩码得到
3.根据权利要求2所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S2.1获得两个频率分量I1和I2具体为：
对原始图像I进行高斯平滑处理，再通过舍弃偶数行和偶数列进行下采样，将整幅图像I变为原来的四分之一，获得得到图像
公式中：
之后对图像的行和列增加一倍采样，再进行高斯平滑处理得到图像I1：
根据原始图像I与图像的差值得到I2，即：
4.根据权利要求1所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，S4中所述的生成器损失函数、判别器损失函数和判别器潜层损失函数的获得方法为：
S4.1生成器损失函数：将待重构图像输入到生成器中得到重构图像和重构误差，通过优化重构误差去调整模型参数，使重构后的图像和重构前的图像接近，重构误差即为生成器的损失函数；
S4.2判别器的损失函数，采用判别器的对抗损失函数进行对抗性训练；判别器将a分支的重构图像和b分支的重构图像/>重建区分；
S4.3判别器浅层的损失函数，潜层损失惩罚潜在空间中重构图像和/>之间的相似性；使用鉴别器D的最后一个卷积层的特征作为潜在空间特征。
5.根据权利要求4所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S4.1中损失函数为：
损失函数被定义为重构图像和原始图像I中每个元素间的平均绝对误差，公式如下所示:
其中，为重构损失，/>为I分布的期望值。
6.根据权利要求5所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S4.2中判别器的损失函数为：
其中，为对抗损失，/>为/>分布的期望值，/>为/>分布的期望值。
7.根据权利要求5所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S4.3中潜层损失惩罚潜在空间中重构图像和/>之间的相似性为其中，/>为判别器潜层损失。
8.根据权利要求5所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S4.4中设计网络总损失函数为： 其中/>和/>分别为分支a和分支b的重构损失，平衡训练引入权重参数λcon＝50，λadv＝1，λlat＝1。
9.根据权利要求1所述的基于掩码多模态生成对抗网络的图像异常检测模型的构建方法，其特征在于，所述S5具体为：
S5.1将所述训练数据集在经过S2后的数据处理后，将其送入S3构建的网络模型框架中，根据S4设计的模型损失函数计算重构损失、对抗损失和判别器潜层特征损失，所述对抗损失将通过反向传播算法得到判别器各个网络层的梯度，根据随机梯度下降算法优化判别器各个网络层的参数，所述总损失函数通过反向传播算法得到生成器各个网络层的梯度，再根据随机梯度下降算法优化生成器各个网络层的参数，即为一轮训练模型的操作；
S5.2将待重建图像送入到训练好的模型中，使用异常分数和实际检测场景对比检测异常，异常分数为：
其中和/>分别为分支a和分支b的重构损失，/>是判别器潜层损失，λ是权重参数设置为0.9；
得出测试集中每个测试样本的异常得分；所述异常分数集合为A，将A缩放到[0,1]，待重建图像的最终异常分数为：
CN202310931310.4A 2023-07-27 2023-07-27 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 Pending CN116994044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310931310.4A CN116994044A (zh) 2023-07-27 2023-07-27 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310931310.4A CN116994044A (zh) 2023-07-27 2023-07-27 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法

Publications (1)

Publication Number Publication Date
CN116994044A true CN116994044A (zh) 2023-11-03

Family

ID=88527836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310931310.4A Pending CN116994044A (zh) 2023-07-27 2023-07-27 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法

Country Status (1)

Country Link
CN (1) CN116994044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576535A (zh) * 2024-01-15 2024-02-20 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576535A (zh) * 2024-01-15 2024-02-20 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN112036513B (zh) 基于内存增强潜在空间自回归的图像异常检测方法
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN113095402B (zh) 一种基于编码输入的生成对抗网络故障检测方法及系统
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN114549985A (zh) 一种基于自监督对比学习的目标检测方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN115526847A (zh) 一种基于半监督学习的主板表面缺陷检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN116206227B (zh) 5g富媒体信息的图片审查系统、方法、电子设备及介质
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN115546689A (zh) 基于无监督下帧相关性的视频时间序列的异常帧探测方法
CN115375966A (zh) 一种基于联合损失函数的图像对抗样本生成方法及系统
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination