CN112435221A - 一种基于生成式对抗网络模型的图像异常检测方法 - Google Patents

一种基于生成式对抗网络模型的图像异常检测方法 Download PDF

Info

Publication number
CN112435221A
CN112435221A CN202011247570.2A CN202011247570A CN112435221A CN 112435221 A CN112435221 A CN 112435221A CN 202011247570 A CN202011247570 A CN 202011247570A CN 112435221 A CN112435221 A CN 112435221A
Authority
CN
China
Prior art keywords
abnormal
discriminator
samples
image
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011247570.2A
Other languages
English (en)
Other versions
CN112435221B (zh
Inventor
仲林林
胡霞
徐杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011247570.2A priority Critical patent/CN112435221B/zh
Publication of CN112435221A publication Critical patent/CN112435221A/zh
Application granted granted Critical
Publication of CN112435221B publication Critical patent/CN112435221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Abstract

本发明公开一种基于生成式对抗网络模型的图像异常检测方法，所述异常检测方法包括以下步骤：将摄取设备生成的原始图片输入生成式对抗网络模型中；经过判别器倒数第二层后获得原始图片和生成图片的特征，将所述两者特征相减的结果作为二分类器的输入，输出对应异常类别分数；根据异常类别分数与异常分数阈值的关系，判断图像是否正常。本发明图像异常检测方法在编码器中引入SENET模块有效提取原图中的显著性信息，降低背景噪声对模型训练的干扰；结合监督学习和无监督学习，解决了巡检过程中电力塔杆图像数据集中正常样本和异常样本不均衡导致分类效果不佳的问题，并且能有效区分背景复杂的正常样本和异常样本，模型鲁棒性强。

Description

一种基于生成式对抗网络模型的图像异常检测方法
技术领域
本发明涉及电力线路巡检和图像检测技术领域，具体是一种基于生成式对抗网络模型的图像异常检测方法。
背景技术
在电力线路巡检中，由于面临着设施布置复杂，巡线作业强度大、周期长，部分地区自然环境复杂恶劣等问题，提高了工作人员的野外工作强度，降低了巡线效率。为了解决上述问题，近几年电网逐渐引入无人机巡检技术，通过无人机载体上的检测装置对目标物体进行检测。
在数据处理方面，仍然是以人工肉眼观察拍摄的图片并标注缺陷信息为主。这种处理数据方式不仅效率低下，而且判别准确率取决于检查人员的专业水平，同时长时间的视觉观察检测导致误判率上升。
人工智能作为近几年的技术热点，在诸多领域取得了令人瞩目的成果，特别是深度学习技术，在图像特征提取方面所取得的成果要优于使用人工设计特征的较为传统的机器学习方法，利用具备学习能力的深度网络模型自动提取图像特征。
在输电线杆塔倾斜程度检测的数据集中，正常样本远多于异常样本，现有的深度学习模型对均衡的数据集效果显著，而对于类别不平衡的数据集难以适用。近几年提出了基于对抗式生成网络(Generative Adversarial Network,简称GAN)的异常检测模型，基于学习正常样本的数据分布能重构出正常样本而难以重构异常样本这一原理，从而有效区分正常样本和异常样本。现有的方法中还存在如下缺陷：
第一，电力巡检图像场景多变，背景复杂，拍摄视角多样化，背景噪声对图像重构及编码的影响较大，从而干扰了异常检测结果；
第二，现有的异常检测模型适合于区分正常样本和异常样本相差较大的图片，对于两类样本差别不大的图片仍然无法正确判别。
发明内容
本发明的目的在于提供一种基于生成式对抗网络模型的图像异常检测方法，在编码器中引入SENET模块有效提取原图中的显著性信息，降低背景噪声对模型训练的干扰；结合监督学习和无监督学习，解决了巡检过程中电力塔杆图像数据集中正常样本和异常样本不均衡导致分类效果不佳的问题，并且能有效区分背景复杂的正常样本和异常样本，模型鲁棒性强。
本发明的目的可以通过以下技术方案实现：
一种基于生成式对抗网络模型的图像异常检测方法，所述异常检测方法包括以下步骤：
S1：将摄取设备生成的原始图片输入生成式对抗网络模型中,生成式对抗网络模型包括编码器、生成器、判别器和二分类器，编码器、生成器和判别器共同构成了基于SENET模块的特征提取模型，用于学习正常样本的数据分布，二分类器用于计算检测图片的异常分数；
S2：经过判别器倒数第二层后获得原始图片和生成图片的特征，将所述两者特征相减的结果作为二分类器的输入，输出对应异常类别分数；
S3：计算异常类别判别阈值，根据异常类别分数与异常类别判别阈值的关系，判断图像是否正常。
进一步的，所述生成式对抗网络模型的训练包括以下步骤：
S11：制作训练集、分类集和测试集；
S12：设置训练参数；
S13：生成多维随机噪声，训练基于SENET模块的特征提取模型中的WGAN-GP模型，WGAN-GP模型包括生成器和判别器，迭代训练多次判别器后进行一次生成器的训练，采用随机梯度下降法更新权重参数，直至迭代结束；
S14:采用随机采样的方法从正常样本数据集中获取每次训练所需的一批样本，图片经过预处理后，将所述图片输入到编码器中，固定WGAN-GP模型参数，训练改进后的编码网络。
进一步的，所述步骤S11中，训练集中只有正常样本，分类集中包含训练集的正常样本和异常样本，所述分类集中的正常样本和异常样本的比例为(4-7):1；测试集中有正常样本和异常样本，所述测试集中的正常样本数和异常样本数的比例为(45-50)：(8-10)。
进一步的，所述训练参数包括最大迭代次数、批处理数batch-size、判别器和生成器的相对训练频率、学习率、网络每层的输入输出通道数和网络层数。
进一步的，所述S13具体包括以下步骤：
S131：生成m个满足标准正态分布的多维随机噪声{z1，z2，…，zm}，将所述噪声输入生成器后得到m张生成图像
Figure BDA0002770547530000031
从训练集中随机获取m张真实图像{x1,x2,...,xm}，将所述m张生成图像和m张真实图像输入判别器中，通过随机梯度下降法更新判别器的权重参数，使判别器的目标函数达到最大值，判别器的目标函数如下所示：
Figure BDA0002770547530000032
D表示判别器，x'表示满足真实图片和生成图片之间进行加权求和后的图片，λ表示超参数，引入第三项惩罚项使得所述判别器对应的目标函数曲线保持平滑，且曲线的梯度越接近1越好，判别器网络结构由多个全连接层构成，除最后一个全连接层外，剩下的全连接层后均连接一个LeakyReLU激活层；
S132：迭代训练多次判别器后进行一次生成器的训练，将S131中所述随机噪声再次输入生成器后得到m张生成图像
Figure BDA0002770547530000041
将所述m张生成图像输入判别器中，固定判别器的参数，通过随机梯度下降法更新生成器参数，使得生成器的损失值达到最小，生成器的损失函数如下所示：
Figure BDA0002770547530000042
G表示生成器，所述生成器网络结构由多个全连接层构成，除最后一个全连接层外，剩下的全连接层后均连接一个LeakyReLU激活层，除第一个和最后一个全连接层外，中间的全连接层后均连接一个BatchNorm层，最后一个全连接层后连接Tanh激活层。
进一步的，所述S14中，图片经过预处理的具体方法为：调整训练集中的图片大小，采用随机水平翻转方法进行数据增强，每轮迭代前打乱正常样本数据集中图片顺序，随机选取batch-size张图片，对所述图片的三个通道分别进行归一化操作，使原始数据满足正态分布。
进一步的，所述三个通道分别进行归一化的具体方法包括：计算训练集中彩色图片RGB三个通道的均值和方差，采用下述公式计算，使所有通道上的像素值归一化到[-1,1]之间；
xinput＝(xinput-mean(xinput))/std(xinput)
mean(·)表示均值，std(·)表示方差，xinput表示输入图像。
进一步的，所述S14中，编码网络的改进方法包括：在编码网络中的卷积层后添加SENET模块，通过学习的方式自动获取到每个特征通道的重要程度，根据重要程度提升有用特征并抑制噪声特征；
SENET模块算法分为squeeze阶段和excitation阶段，squeeze阶段通过平均池化的方法获取全局感受野中的语义信息，excitation阶段通过将全局语义信息输入全连接层中训练得到每个通道的权重；
将每个通道的权重与对应通道的特征图进行相乘，提取显著信息，具体计算方法如下：
单个通道特征图全局平均池化计算公式：
Figure BDA0002770547530000051
全连接层计算公式：
s＝σ(W2ReLU(W1z))
权重与原始图像的乘积计算公式：
xc＝sc·uc
uc(i,j)表示第c个通道特征图上第(i，j)位置处的像素值，H表示特征图的长，W表示特征图的宽，zc表示第c个通道的全局平均池化结果，Rc表示所有通道特征图实数集，W1和W2分别表示第一层和第二层全连接层的权重参数，z表示所有通道的语义信息值，ReLU(·)表示非线性激活函数，σ(·)表示sigmoid函数，s表示所有通道权重集合，xc表示第c个通道提取到的显著特征图，sc表示第c个通道的权重，uc表示第c个通道的特征图。
进一步的，所述S1中基于SENET模块的特征提取模型，采用随机梯度下降法算法进行优化，基于判别器的对抗网络特征损失LD、生成器的重构图像损失LG、编码器的编码损失LE和分类器的分类损失函数LC，更新各部分网络参数，其中对抗网络特征损失函数LD表示为：
Figure BDA0002770547530000052
重构图像损失LG表示为：
Figure BDA0002770547530000061
编码损失LE表示为：
Figure BDA0002770547530000062
分类损失函数LC表示为：
Figure BDA0002770547530000063
D表示判别网络，G表示生成网络，E表示编码网络，C表示分类网络，x表示原始图像，
Figure BDA0002770547530000064
表示经过编码网络后的特征向量，nd表示经过判别器倒数第二层后的向量长度，函数f表示判别网络第一层至倒数第二层之间的非线性函数，n表示原始图像或生成图像的像素个数，λ表示超参数，y表示样本标签取0或1，a表示经过分类器后输出的预测值，n'表示输入特征向量的个数。
进一步的，所述S3中判断图像是否正常包括：将所有正常样本和异常样本输入到已训练好的经过改进的生成式对抗网络模型中，计算经过分类器后的异常分数，获得所述正常样本中被分为异常类别的最大值和所述异常样本中被分为正常样本的最小值，最后计算上述两者的平均值作为异常类别判别阈值，异常类别分数大于异常类别判别阈值，则为异常图像，异常类别分数小于异常类别判别阈值，则为正常图像。
本发明的有益效果：
1、本发明图像异常检测方法在编码器中引入SENET模块有效提取原图中的显著性信息，降低背景噪声对模型训练的干扰；
2、本发明图像异常检测方法结合监督学习和无监督学习，解决了巡检过程中电力塔杆图像数据集中正常样本和异常样本不均衡导致分类效果不佳的问题，并且能有效区分背景复杂的正常样本和异常样本，模型鲁棒性强。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明图像异常检测方法流程图；
图2是本发明生成式对抗网络模型训练流程示意图；
图3是本发明原始f-AnoGAN测试网络的ROC曲线图；
图4是本发明原始f-AnoGAN测试网络的异常分数统计直方图；
图5是本发明原始f-AnoGAN中加入SENET模块后测试网络的ROC曲线图；
图6是本发明原始f-AnoGAN中加入SENET模块后测试网络的异常分数统计直方图；
图7是本发明原始f-AnoGAN中加入SENET模块和分类器后测试网络的ROC曲线图；
图8是本发明原始f-AnoGAN中加入SENET模块和分类器后测试网络的异常分数统计直方图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于生成式对抗网络模型的图像异常检测方法，异常检测方法包括以下步骤：
S1：将摄取设备生成的原始图片输入已训练好的生成式对抗网络模型中,生成式对抗网络模型包括编码器、生成器、判别器、二分类器，编码器、生成器、判别器共同构成了基于SENET(压缩和激活网络)模块的特征提取模型，用于学习正常样本的数据分布，二分类器用于计算检测图片的异常分数。
S2：经过判别器倒数第二层后获得原始图片和生成图片的特征，将所述两者特征相减的结果作为二分类器的输入，输出对应异常类别分数。
S3：计算异常类别判别阈值，判断异常类别分数是否大于异常类别判别阈值，若是则为异常图像，反之则为正常图像。
如图2所示，生成式对抗网络模型的训练过程如下：
S101：制作训练集、分类集和测试集。
训练集中只有正常样本，分类集中包含训练集的正常样本和异常样本，分类集中的正常样本和异常样本的比例为(4-7):1；测试集中有正常样本和异常样本，测试集中的正常样本数和异常样本数的比例为：(45-50)：(8-10)。初始化基于SENET的特征提取模型中的网络参数，设定最大迭代次数、批处理数batch-size、判别器和生成器的相对训练频率、学习率、网络每层的输入输出通道数和网络层数。batch-size为64，最大迭代次数为29200，判别器和生成器的相对训练频率为5。
S102—S106：为训练所述基于SENET的特征提取模型中的WGAN-GP(基于推土机距离的梯度惩罚生成式对抗网络)模型，WGAN-GP模型包括生成器和判别器。
S102—S103：生成m个100维随机噪声{z1，z2，…，zm}，输入生成器后得到m张生成图像
Figure BDA0002770547530000081
从训练集中随机获取m张真实图像{x1,x2,...,xm}。将m张生成图像和m张真实图像输入判别器中，通过随机梯度下降法更新判别器的权重参数，使得判别器的目标函数达到最大值。判别器的目标函数如下所示：
Figure BDA0002770547530000091
其中，D表示判别器，x'表示满足真实图片和生成图片之间进行加权求和后的图片，λ表示超参数，引入第三项惩罚项使得所述判别器对应的目标函数曲线保持平滑，且曲线的梯度越接近1越好。判别器网络结构由3个全连接层构成，其中前两个全连接层后均连接一个LeakyReLU(带泄露单元的修正线性激活函数)激活层。
S104：判断判别器训练的迭代次数是否达到5次，若是则执行S105，反之则返回S102继续执行。
S105：将所述随机噪声再次输入生成器后得到m张生成图像
Figure BDA0002770547530000092
将所述m张生成图像输入判别器中，固定判别器的参数，通过随机梯度下降法更新生成器参数，使得生成器的损失值达到最小。生成器的损失函数如下所示：
Figure BDA0002770547530000093
其中，G表示生成器。所述生成器网络结构由5个全连接层构成，前4个全连接层后均连接一个LeakyReLU激活层，中间三个全连接层后均连接一个BatchNorm(批标准化层)层，最后一个全连接层后连接Tanh(双曲正切)激活层。
S106：判断生成器训练是否达到最大迭代次数，若是则执行S107，反之则返回S102继续执行。
S107：对每个批次的训练图片进行预处理。调整训练集中的图片大小，将图片均固定为28×28px大小，采用随机水平翻转方法进行数据增强，每轮迭代前打乱正常样本数据集中的图片顺序，随机选取batch-size张图片，对图片的三个通道分别进行归一化操作，使原始数据满足正态分布。计算训练集中彩色图片RGB三个通道的均值和方差，采用下述公式计算，使所有通道上的像素值归一化到[-1,1]之间。其计算公式如下：
xinput＝(xinput-mean(xinput))/std(xinput)
其中mean(·)表示均值，std(·)表示方差，xinput表示输入图像。
把处理好的图像输入到编码器中。
S108：根据生成器的重构图像损失和判别器的对抗网络特征损失，加权求和得到编码损失，采用随机梯度下降法更新编码器参数。其中对抗网络特征损失函数LD表示为：
Figure BDA0002770547530000101
重构图像损失LG表示为：
Figure BDA0002770547530000102
编码损失LE表示为：
Figure BDA0002770547530000103
其中D表示判别网络，G表示生成网络，E表示编码网络，C表示分类网络，x表示原始图像，
Figure BDA0002770547530000104
表示经过编码网络后的特征向量，nd表示经过判别器倒数第二层后的向量长度，函数f表示判别网络第一层至倒数第二层之间的非线性函数，n表示原始图像或生成图像的像素个数，λ表示超参数。
S109：编码器训练是否达到最大迭代次数，若是则执行S110，反之则返回S107继续执行。
S110—S112：将经过处理后的正常样本和少量异常样本输入编码器和生成器中，得到的生成图片和原始图片输入判别器中，提取经过判别器倒数第二层的生成图片特征和原始图片特征，将重构特征输入分类器中，其中分类损失函数LC表示为：
Figure BDA0002770547530000111
其中y表示样本标签，取0或1；a表示经过分类器后输出的预测值，n'表示输入特征向量的个数。
S113：判断分类器训练是否达到最大迭代次数，若是则执行S114，反之则返回执行S110。
S114：保存训练好的经过改进的生成式对抗网络模型。
S115：计算异常类别判别阈值，具体计算如下：
将所有正常样本和异常样本输入到已训练好的生成式对抗网络模型中，计算经过分类器后的异常分数，获得正常样本中被分为异常类别的最大值和异常样本中被分为正常样本的最小值，最后计算上述两者的平均值作为异常类别判别的阈值。
编码器的改进方法如下：
在编码网络中的卷积层后添加SENET模块，通过学习的方式自动获取到每个特征通道的重要程度，根据重要程度提升有用特征并抑制噪声特征。SENET算法分为squeeze(压缩)阶段和excitation(激发)阶段，其中squeeze阶段通过平均池化的方法获取全局感受野中的语义信息，excitation阶段通过将全局语义信息输入全连接层中训练得到每个通道的权重。将每个通道的权重与对应通道的特征图进行相乘，提取显著信息。具体计算方法如下：
单个通道特征图全局平均池化计算公式：
Figure BDA0002770547530000121
全连接层计算公式：
s＝σ(W2ReLU(W1z))
权重与原始图像的乘积计算公式：
xc＝sc·uc
其中，uc(i,j)表示第c个通道特征图上第(i，j)位置处的像素值，H表示特征图的长，W表示特征图的宽，zc表示第c个通道的全局平均池化结果，Rc表示所有通道特征图实数集，W1和W2分别表示第一层和第二层全连接层的权重参数，z表示所有通道的语义信息值，ReLU(·)表示非线性激活函数，σ(·)表示sigmoid(S型生长曲线)函数，s表示所有通道权重集合，xc表示第c个通道提取到的显著特征图，sc表示第c个通道的权重，uc表示第c个通道的特征图。
用无人机拍摄某地输电线杆塔图片进行异常检测，正常样本和异常样本均为从正面视角拍摄的图片。
对比了原始f-AnoGAN(快速生成式对抗异常检测网络)，在原始f-AnoGAN中加入SENET模块(基于SENET模块的特征提取模型)，在原始f-AnoGAN中加入SENET模块和分类器这三种模型。用ROC曲线和异常分数统计直方图对模型进行评估，其实验结果如图3—8所示。
从图中可以看出，用原始f-AnoGAN检测杆塔的异常情况较为困难，正常样本和异常样本中有明显的交集，在f-AnoGAN的编码器中加入SENET模块后，对应的ROC曲线稍稍靠近左上方，对模型有所改善，但仍然无法很好地区分正常样本和异常样本，在判别器后加入二分类器后，模型效果提升显著，几乎可以区分所有样本。其不同模型下的AUC值如表1所示。
表1
实验模型 AUC值
原始f-AnoGAN 0.5537
f-AnoGAN+SENET 0.8123
f-AnoGAN+SENET+二分类器 0.9973
从上表中可以看出，分别加入SENET和二分类器后，AUC值大幅提升，再次验证了模型性能优越。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述异常检测方法包括以下步骤：
S1：将摄取设备生成的原始图片输入生成式对抗网络模型中,生成式对抗网络模型包括编码器、生成器、判别器和二分类器，编码器、生成器和判别器共同构成了基于SENET模块的特征提取模型，用于学习正常样本的数据分布，二分类器用于计算检测图片的异常分数；
S2：经过判别器倒数第二层后获得原始图片和生成图片的特征，将所述两者特征相减的结果作为二分类器的输入，输出对应异常类别分数；
S3：计算异常类别判别阈值，根据异常类别分数与异常类别判别阈值的关系，判断图像是否正常。
2.根据权利要求1所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述生成式对抗网络模型的训练包括以下步骤：
S11：制作训练集、分类集和测试集；
S12：设置训练参数；
S13：生成多维随机噪声，训练基于SENET模块的特征提取模型中的WGAN-GP模型，WGAN-GP模型包括生成器和判别器，迭代训练多次判别器后进行一次生成器的训练，采用随机梯度下降法更新权重参数，直至迭代结束；
S14:采用随机采样的方法从正常样本数据集中获取每次训练所需的一批样本，图片经过预处理后，将所述图片输入到编码器中，固定WGAN-GP模型参数，训练改进后的编码网络。
3.根据权利要求2所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述步骤S11中，训练集中只有正常样本，分类集中包含训练集的正常样本和异常样本，所述分类集中的正常样本和异常样本的比例为(4-7):1；测试集中有正常样本和异常样本，所述测试集中的正常样本数和异常样本数的比例为(45-50)：(8-10)。
4.根据权利要求2所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述训练参数包括最大迭代次数、批处理数batch-size、判别器和生成器的相对训练频率、学习率、网络每层的输入输出通道数和网络层数。
5.根据权利要求2所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述S13具体包括以下步骤：
S131：生成m个满足标准正态分布的多维随机噪声{z1，z2，…，zm}，将所述噪声输入生成器后得到m张生成图像
Figure FDA0002770547520000023
从训练集中随机获取m张真实图像{x1,x2,...,xm}，将所述m张生成图像和m张真实图像输入判别器中，通过随机梯度下降法更新判别器的权重参数，使判别器的目标函数达到最大值，判别器的目标函数如下所示：
Figure FDA0002770547520000021
D表示判别器，x'表示满足真实图片和生成图片之间进行加权求和后的图片，λ表示超参数，引入第三项惩罚项使得所述判别器对应的目标函数曲线保持平滑，且曲线的梯度越接近1越好，判别器网络结构由多个全连接层构成，除最后一个全连接层外，剩下的全连接层后均连接一个LeakyReLU激活层；
S132：迭代训练多次判别器后进行一次生成器的训练，将S131中所述随机噪声再次输入生成器后得到m张生成图像
Figure FDA0002770547520000022
将所述m张生成图像输入判别器中，固定判别器的参数，通过随机梯度下降法更新生成器参数，使得生成器的损失值达到最小，生成器的损失函数如下所示：
Figure FDA0002770547520000031
G表示生成器，所述生成器网络结构由多个全连接层构成，除最后一个全连接层外，剩下的全连接层后均连接一个LeakyReLU激活层，除第一个和最后一个全连接层外，中间的全连接层后均连接一个BatchNorm层，最后一个全连接层后连接Tanh激活层。
6.根据权利要求2所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述S14中，图片经过预处理的具体方法为：调整训练集中的图片大小，采用随机水平翻转方法进行数据增强，每轮迭代前打乱正常样本数据集中图片顺序，随机选取batch-size张图片，对所述图片的三个通道分别进行归一化操作，使原始数据满足正态分布。
7.根据权利要求6所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述三个通道分别进行归一化的具体方法包括：计算训练集中彩色图片RGB三个通道的均值和方差，采用下述公式计算，使所有通道上的像素值归一化到[-1,1]之间；
xinput＝(xinput-mean(xinput))/std(xinput)
mean(·)表示均值，std(·)表示方差，xinput表示输入图像。
8.根据权利要求2所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述S14中，编码网络的改进方法包括：在编码网络中的卷积层后添加SENET模块，通过学习的方式自动获取到每个特征通道的重要程度，根据重要程度提升有用特征并抑制噪声特征；
SENET模块算法分为squeeze阶段和excitation阶段，squeeze阶段通过平均池化的方法获取全局感受野中的语义信息，excitation阶段通过将全局语义信息输入全连接层中训练得到每个通道的权重；
将每个通道的权重与对应通道的特征图进行相乘，提取显著信息，具体计算方法如下：
单个通道特征图全局平均池化计算公式：
Figure FDA0002770547520000041
全连接层计算公式：
s＝σ(W2ReLU(W1z))
权重与原始图像的乘积计算公式：
xc＝sc·uc
uc(i,j)表示第c个通道特征图上第(i，j)位置处的像素值，H表示特征图的长，W表示特征图的宽，zc表示第c个通道的全局平均池化结果，Rc表示所有通道特征图实数集，W1和W2分别表示第一层和第二层全连接层的权重参数，z表示所有通道的语义信息值，ReLU(·)表示非线性激活函数，σ(·)表示sigmoid函数，s表示所有通道权重集合，xc表示第c个通道提取到的显著特征图，sc表示第c个通道的权重，uc表示第c个通道的特征图。
9.根据权利要求1所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述S1中基于SENET模块的特征提取模型，采用随机梯度下降法算法进行优化，基于判别器的对抗网络特征损失LD、生成器的重构图像损失LG、编码器的编码损失LE和分类器的分类损失函数LC，更新各部分网络参数，其中对抗网络特征损失函数LD表示为：
Figure FDA0002770547520000042
重构图像损失LG表示为：
Figure FDA0002770547520000051
编码损失LE表示为：
Figure FDA0002770547520000052
分类损失函数LC表示为：
Figure FDA0002770547520000053
D表示判别网络，G表示生成网络，E表示编码网络，C表示分类网络，x表示原始图像，
Figure FDA0002770547520000054
表示经过编码网络后的特征向量，nd表示经过判别器倒数第二层后的向量长度，函数f表示判别网络第一层至倒数第二层之间的非线性函数，n表示原始图像或生成图像的像素个数，λ表示超参数，y表示样本标签取0或1，a表示经过分类器后输出的预测值，n'表示输入特征向量的个数。
10.根据权利要求1所述的一种基于生成式对抗网络模型的图像异常检测方法，其特征在于，所述S3中判断图像是否正常包括：将所有正常样本和异常样本输入到已训练好的经过改进的生成式对抗网络模型中，计算经过分类器后的异常分数，获得所述正常样本中被分为异常类别的最大值和所述异常样本中被分为正常样本的最小值，最后计算上述两者的平均值作为异常类别判别阈值，异常类别分数大于异常类别判别阈值，则为异常图像，异常类别分数小于异常类别判别阈值，则为正常图像。
CN202011247570.2A 2020-11-10 2020-11-10 一种基于生成式对抗网络模型的图像异常检测方法 Active CN112435221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011247570.2A CN112435221B (zh) 2020-11-10 2020-11-10 一种基于生成式对抗网络模型的图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011247570.2A CN112435221B (zh) 2020-11-10 2020-11-10 一种基于生成式对抗网络模型的图像异常检测方法

Publications (2)

Publication Number Publication Date
CN112435221A true CN112435221A (zh) 2021-03-02
CN112435221B CN112435221B (zh) 2024-03-26

Family

ID=74699625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011247570.2A Active CN112435221B (zh) 2020-11-10 2020-11-10 一种基于生成式对抗网络模型的图像异常检测方法

Country Status (1)

Country Link
CN (1) CN112435221B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819731A (zh) * 2021-03-19 2021-05-18 广东众聚人工智能科技有限公司 灰度图像增强方法、装置、计算机设备及存储介质
CN112991579A (zh) * 2021-01-14 2021-06-18 北京航空航天大学 一种基于生成对抗网络的直升机动部件异常检测方法
CN113011500A (zh) * 2021-03-22 2021-06-22 华南理工大学 虚拟现实场景数据集的分类方法、系统、设备及介质
CN113077005A (zh) * 2021-04-13 2021-07-06 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113077013A (zh) * 2021-04-28 2021-07-06 上海联麓半导体技术有限公司 基于生成对抗网络的高维数据故障异常检测方法及系统
CN113132410A (zh) * 2021-04-29 2021-07-16 深圳信息职业技术学院 一种用于检测钓鱼网址的方法
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
CN113344875A (zh) * 2021-06-07 2021-09-03 武汉象点科技有限公司 一种基于自监督学习的异常图像检测方法
CN113408698A (zh) * 2021-06-15 2021-09-17 西安邮电大学 一种深度神经网络模型鲁棒性优化方法
CN113450313A (zh) * 2021-06-04 2021-09-28 电子科技大学 一种基于区域对比学习的图像显著性可视化方法
CN113468703A (zh) * 2021-07-23 2021-10-01 河南工业大学 一种ads-b报文异常检测器及检测方法
CN113537467A (zh) * 2021-07-15 2021-10-22 南京邮电大学 一种基于wgan-gp的对抗扰动图像生成方法
CN113554605A (zh) * 2021-07-07 2021-10-26 常州大学 一种基于特征匹配的织物异常区域检测方法
CN113554645A (zh) * 2021-09-17 2021-10-26 常州微亿智造科技有限公司 基于wgan的工业异常检测方法和装置
CN113592769A (zh) * 2021-06-23 2021-11-02 腾讯医疗健康(深圳)有限公司 异常图像的检测、模型的训练方法、装置、设备及介质
CN113643292A (zh) * 2021-10-14 2021-11-12 高视科技(苏州)有限公司 基于无监督学习的异常检测方法、装置及存储介质
CN113688857A (zh) * 2021-04-26 2021-11-23 贵州电网有限责任公司 一种基于生成对抗网络的电力巡检图像中异物检测方法
CN113778719A (zh) * 2021-09-16 2021-12-10 北京中科智眼科技有限公司 基于复制粘贴的异常检测算法
CN114092322A (zh) * 2022-01-19 2022-02-25 清华大学 异常检测模型生成方法及装置和异常检测方法及装置
CN114553756A (zh) * 2022-01-27 2022-05-27 烽火通信科技股份有限公司 基于联合生成对抗网络的设备故障检测方法与电子设备
CN115277098A (zh) * 2022-06-27 2022-11-01 深圳铸泰科技有限公司 一种基于智能学习的网络流量异常检测装置及方法
CN115333874A (zh) * 2022-10-18 2022-11-11 北京珞安科技有限责任公司 一种工业终端主机监测方法
CN115470827A (zh) * 2022-09-23 2022-12-13 山东省人工智能研究院 基于自监督学习和孪生网络的对抗性心电信号降噪方法
TWI797857B (zh) * 2021-11-30 2023-04-01 鴻海精密工業股份有限公司 異常圖像檢測方法、系統、終端設備及存儲介質
CN116311023A (zh) * 2022-12-27 2023-06-23 广东长盈科技股份有限公司 一种基于5g通讯和虚拟现实的设备巡检方法及系统
CN116609672A (zh) * 2023-05-16 2023-08-18 国网江苏省电力有限公司淮安供电分公司 一种基于改进的bwoa -fnn算法的储能电池soc估计方法
CN117315354A (zh) * 2023-09-27 2023-12-29 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法
CN116609672B (zh) * 2023-05-16 2024-05-07 国网江苏省电力有限公司淮安供电分公司 一种基于改进的bwoa-fnn算法的储能电池soc估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
CN110211114A (zh) * 2019-06-03 2019-09-06 浙江大学 一种基于深度学习的装箱缺条视觉检测方法
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110211114A (zh) * 2019-06-03 2019-09-06 浙江大学 一种基于深度学习的装箱缺条视觉检测方法
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991579A (zh) * 2021-01-14 2021-06-18 北京航空航天大学 一种基于生成对抗网络的直升机动部件异常检测方法
CN112819731A (zh) * 2021-03-19 2021-05-18 广东众聚人工智能科技有限公司 灰度图像增强方法、装置、计算机设备及存储介质
CN113011500A (zh) * 2021-03-22 2021-06-22 华南理工大学 虚拟现实场景数据集的分类方法、系统、设备及介质
CN113011500B (zh) * 2021-03-22 2023-08-22 华南理工大学 虚拟现实场景数据集的分类方法、系统、设备及介质
CN113077005A (zh) * 2021-04-13 2021-07-06 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113077005B (zh) * 2021-04-13 2024-04-05 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测系统及方法
CN113688857A (zh) * 2021-04-26 2021-11-23 贵州电网有限责任公司 一种基于生成对抗网络的电力巡检图像中异物检测方法
CN113160190A (zh) * 2021-04-27 2021-07-23 西安交通大学 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
CN113077013A (zh) * 2021-04-28 2021-07-06 上海联麓半导体技术有限公司 基于生成对抗网络的高维数据故障异常检测方法及系统
CN113132410A (zh) * 2021-04-29 2021-07-16 深圳信息职业技术学院 一种用于检测钓鱼网址的方法
CN113132410B (zh) * 2021-04-29 2023-12-08 深圳信息职业技术学院 一种用于检测钓鱼网址的方法
CN113450313B (zh) * 2021-06-04 2022-03-15 电子科技大学 一种基于区域对比学习的图像显著性可视化方法
CN113450313A (zh) * 2021-06-04 2021-09-28 电子科技大学 一种基于区域对比学习的图像显著性可视化方法
CN113344875A (zh) * 2021-06-07 2021-09-03 武汉象点科技有限公司 一种基于自监督学习的异常图像检测方法
CN113408698A (zh) * 2021-06-15 2021-09-17 西安邮电大学 一种深度神经网络模型鲁棒性优化方法
CN113592769A (zh) * 2021-06-23 2021-11-02 腾讯医疗健康(深圳)有限公司 异常图像的检测、模型的训练方法、装置、设备及介质
CN113592769B (zh) * 2021-06-23 2024-04-12 腾讯医疗健康(深圳)有限公司 异常图像的检测、模型的训练方法、装置、设备及介质
CN113554605B (zh) * 2021-07-07 2023-09-26 常州大学 一种基于特征匹配的织物异常区域检测方法
CN113554605A (zh) * 2021-07-07 2021-10-26 常州大学 一种基于特征匹配的织物异常区域检测方法
CN113537467B (zh) * 2021-07-15 2023-08-18 南京邮电大学 一种基于wgan-gp的对抗扰动图像生成方法
CN113537467A (zh) * 2021-07-15 2021-10-22 南京邮电大学 一种基于wgan-gp的对抗扰动图像生成方法
CN113468703A (zh) * 2021-07-23 2021-10-01 河南工业大学 一种ads-b报文异常检测器及检测方法
CN113778719B (zh) * 2021-09-16 2024-02-02 北京中科智眼科技有限公司 基于复制粘贴的异常检测算法
CN113778719A (zh) * 2021-09-16 2021-12-10 北京中科智眼科技有限公司 基于复制粘贴的异常检测算法
CN113554645B (zh) * 2021-09-17 2022-01-11 常州微亿智造科技有限公司 基于wgan的工业异常检测方法和装置
CN113554645A (zh) * 2021-09-17 2021-10-26 常州微亿智造科技有限公司 基于wgan的工业异常检测方法和装置
CN113643292A (zh) * 2021-10-14 2021-11-12 高视科技(苏州)有限公司 基于无监督学习的异常检测方法、装置及存储介质
TWI797857B (zh) * 2021-11-30 2023-04-01 鴻海精密工業股份有限公司 異常圖像檢測方法、系統、終端設備及存儲介質
CN114092322A (zh) * 2022-01-19 2022-02-25 清华大学 异常检测模型生成方法及装置和异常检测方法及装置
CN114553756B (zh) * 2022-01-27 2023-06-13 烽火通信科技股份有限公司 基于联合生成对抗网络的设备故障检测方法与电子设备
CN114553756A (zh) * 2022-01-27 2022-05-27 烽火通信科技股份有限公司 基于联合生成对抗网络的设备故障检测方法与电子设备
CN115277098A (zh) * 2022-06-27 2022-11-01 深圳铸泰科技有限公司 一种基于智能学习的网络流量异常检测装置及方法
CN115470827B (zh) * 2022-09-23 2023-06-20 山东省人工智能研究院 基于自监督学习和孪生网络的对抗性心电信号降噪方法
CN115470827A (zh) * 2022-09-23 2022-12-13 山东省人工智能研究院 基于自监督学习和孪生网络的对抗性心电信号降噪方法
CN115333874B (zh) * 2022-10-18 2023-04-28 北京珞安科技有限责任公司 一种工业终端主机监测方法
CN115333874A (zh) * 2022-10-18 2022-11-11 北京珞安科技有限责任公司 一种工业终端主机监测方法
CN116311023A (zh) * 2022-12-27 2023-06-23 广东长盈科技股份有限公司 一种基于5g通讯和虚拟现实的设备巡检方法及系统
CN116609672A (zh) * 2023-05-16 2023-08-18 国网江苏省电力有限公司淮安供电分公司 一种基于改进的bwoa -fnn算法的储能电池soc估计方法
CN116609672B (zh) * 2023-05-16 2024-05-07 国网江苏省电力有限公司淮安供电分公司 一种基于改进的bwoa-fnn算法的储能电池soc估计方法
CN117315354B (zh) * 2023-09-27 2024-04-02 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法
CN117315354A (zh) * 2023-09-27 2023-12-29 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法

Also Published As

Publication number Publication date
CN112435221B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN112435221B (zh) 一种基于生成式对抗网络模型的图像异常检测方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Kuo et al. Application of computer vision in the automatic identification and classification of woven fabric weave patterns
CN109543760B (zh) 基于图像滤镜算法的对抗样本检测方法
CN109002848B (zh) 一种基于特征映射神经网络的弱小目标检测方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN113838054B (zh) 基于人工智能的机械零件表面损伤检测方法
CN110837802A (zh) 一种基于灰度共生矩阵的面部图像特征提取方法
CN109886146B (zh) 基于机器视觉检测的洪灾信息遥感智能采集方法及设备
CN116402825B (zh) 轴承故障红外诊断方法、系统、电子设备及存储介质
CN114169377A (zh) 基于g-mscnn的有噪环境中滚动轴承故障诊断方法
CN112070720A (zh) 一种基于深度学习模型的变电站设备缺陷识别方法
CN108830882A (zh) 视频异常行为实时检测方法
CN110032973B (zh) 一种基于人工智能的无监督寄生虫分类方法及系统
CN111325158A (zh) 一种基于cnn和rfc的集成学习的极化sar图像分类方法
CN113496159B (zh) 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法
CN116029957A (zh) 基于马尔科夫链蒙特卡罗的绝缘子图像污秽识别方法
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
Hu et al. Research on bamboo defect segmentation and classification based on improved U-net network
Huang et al. Bark classification based on textural features using artificial neural networks
CN106803080B (zh) 一种基于形状玻尔兹曼机的补全式行人检测方法
Revathy et al. Applying EM Algorithm for Segmentation of Textured Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant