CN109410179A - 一种基于生成对抗网络的图像异常检测方法 - Google Patents

一种基于生成对抗网络的图像异常检测方法 Download PDF

Info

Publication number
CN109410179A
CN109410179A CN201811141325.6A CN201811141325A CN109410179A CN 109410179 A CN109410179 A CN 109410179A CN 201811141325 A CN201811141325 A CN 201811141325A CN 109410179 A CN109410179 A CN 109410179A
Authority
CN
China
Prior art keywords
network
image
layer
formula
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811141325.6A
Other languages
English (en)
Other versions
CN109410179B (zh
Inventor
吴乐
陈雷
汪萌
洪日昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201811141325.6A priority Critical patent/CN109410179B/zh
Publication of CN109410179A publication Critical patent/CN109410179A/zh
Application granted granted Critical
Publication of CN109410179B publication Critical patent/CN109410179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像异常检测方法，是综合考虑正常图像和异常图像的特征，并通过生成对抗模型生成异常图像和检测异常图像，其步骤包括：获取训练数据集并构造隐含空间；构造生成网络，得到生成图片集合；构造编码网络，得到生成图片集合在隐含空间上的映射；通过判别网络和检测网络并构造共享参数；由所述生成网络、所述编码网络、网络判别网络和检测网络构成生成对抗网络并进行对抗训练。本发明能够充分利用异常数据以及正常数据之间的关系生成对抗网络用于检测异常图像，从而有效的确定正常数据边界，并提高异常检测的精度。

Description

一种基于生成对抗网络的图像异常检测方法
技术领域
本发明涉及异常检测领域，具体地说是一种基于生成对抗网络的图像异常检测方法。
背景技术
图像中的异常检测是指不符合预期正常类的图像的经典问题。其数据特点表现为异常图像样本足，现有数据中正常图像远多于异常样本。随着技术和需求的迅速发展，异常检测出现在不同应用领域，这些应用领域包括安全监控、流量监控、医学图像疾病诊断等众多应用。
图像异常检测的关键是对正常图像和异常图像的分布进行建模，这些图像通常具有高维性和复杂性。近年来，生成对抗模型在图像复杂模式的建模和合成中显示出良好的效果。利用生成对抗模型对正常图像的数据分布进行建模，用于异常检测，已经做了初步的尝试。然而，所有现有的模型集中于发现正常模式。如何利用生成对抗模型来更好地区分正常模式和异常模式之间的边界的问题仍然需要探索，尤其是在异常图像非常有限的情况下。
发明内容
本发明是为了避免上述现有技术所存在的问题，提出了一种基于生成对抗网络的图像异常检测方法，以期能够充分利用异常数据以及正常数据之间的关系生成对抗网络用于检测异常图像，从而有效的确定正常数据边界，并提高异常检测的精度。
本发明为解决技术问题采用如下技术方案：
本发明一种基于生成对抗网络的图像异常检测方法的特点是按如下步骤进行：
步骤1、获取训练图像数据集I并构造隐含空间Z：
步骤1.1、获取训练图像数据集I：
获取真实的异常图像集，记为X＝{x1,x2,...,xi,...,xN}，其中xi表示第i张异常图像，i＝1,2,...,N，N为异常图像的总数；
获取真实的正常图像集，记为Y＝{y1,y2,...,yj,...,yM}，其中yj表示第j张正常图像，j＝1,2,...,M，M为正常图像的总数；且M＞＞N；
令I＝{X,Y}表示训练图像数据集；
步骤1.2、构造隐含空间Z：
在[-0.1,0.1]范围内的均匀分布上构造隐含空间Z，以z表示所述隐含空间Z上的任意一个隐含空间向量；
步骤2、构造生成网络G，得到生成图像集合
步骤2.1、设定所述生成网络G的隐含层总层数为kG；令当前隐含层为第hG层；
步骤2.2、初始化hG＝1；
步骤2.3、根据式(1)计算隐含空间向量z在第hG层隐含层的输出从而得到隐含空间Z上所有隐含空间向量在第hG层隐含层的输出：
式(1)中，BN(·)是批归一化层；表示所述生成网络G的第hG层隐含层的转换矩阵；表示所述生成网络G的第hG层隐含层的偏置矩阵；当hG＝1时，令
步骤2.4、将hG+1赋值给hG，并判断hG>kG是否成立，若成立，则令表示隐含空间向量z在所述生成网络G上的生成图像，从而得到隐含空间Z上所有隐含空间向量在所述生成网络G上生成图像集合否则，返回步骤2.3执行；
步骤3、构造编码网络C，得到生成图像集合在隐含空间Z上的映射
步骤3.1、设定所述编码网络E的隐含层总层数为kC，令当前隐含层为第hC层；
步骤3.2、初始化hC＝1；
步骤3.3、根据式(2)计算隐含空间向量z在所述生成网络G上的生成图像在第hC层的输出从而得到隐含空间Z上所有隐含空间向量在所述生成网络G上的生成图像集合在第hC层隐含层的输出：
式(2)中，表示所述编码网络C的第hC层隐含层的转换矩阵；表示所述编码网络E的第hC层隐含层的偏置矩阵；当hC＝1时，令
步骤3.4、将hC+1赋值给hC，并判断hC>kC是否成立，若成立，则令表示隐含空间向量z在所述生成网络G上的生成图像在隐含空间Z上的映射，从而得到生成图像集合在隐含空间Z上的映射否则，返回步骤3.3执行；
步骤4、通过判别网络D1和检测网络D2并构造共享参数：
步骤4.1、构造判别网络D1：
步骤4.1.1、以所述真实的异常图像集X和生成图像集合构成组合异常图像集Id1，并作为所述判别网络D1的输入数据；
步骤4.1.2、设定判别网络D1的隐含层总层数为令当前隐含层为第层；
步骤4.1.3、初始化
步骤4.1.4、根据式(3)计算所述组合异常图像集Id1中任意一张组合异常图像id1在第层的输出从而得到所述组合异常图像集Id1中所有组合异常图像在第层的输出：
式(3)中，表示所述判别网络D1的第层隐含层的转换矩阵；表示所述判别网络D1的第层隐含层的偏置矩阵；当时，令
步骤4.1.5、将赋值给并判断是否成立，若成立，则表示得到所述组合异常图像集Id1中所有组合异常图像在第层的输出，并执行步骤4.1.6；否则，返回步骤4.1.4执行；
步骤4.1.6、根据式(4)得到所述判别网络D1对任意一张组合异常图像id1属于真实的异常图像集X的概率D1(id1)：
式(4)中，f(×)是sigmoid函数；表示所述判别网络D1的第层隐含层的转换矩阵；表示所述判别网络D1的第层隐含层的偏置矩阵；
步骤4.2、构造检测网络D2：
步骤4.2.1、以所述真实的异常图像集X、生成图像集合和真实的正常图像集Y构成组合图像集Id2，并作为所述检测网络D2的输入数据；
步骤4.2.2、设定检测网络D2的隐含层总层数为令当前隐含层为第层；
步骤4.2.3、初始化
步骤4.2.4、根据式(5)计算所述组合图像集Id2中任意一张组合图像id2在第层的输出从而得到所述组合图像集Id2中所有组合图像在第层的输出：
式(5)中，表所述检测网络D2的第层隐含层的转换矩阵；表示所述检测网络D2的第层隐含层的偏置矩阵；当时，令
步骤4.2.5、将赋值给并判断是否成立，若成立，则表示得到所述组合图像集Id2中所有组合图像在第层的输出，并执行步骤4.2.6；否则，返回步骤4.2.4执行；
步骤4.2.6、根据式(6)得到所述检测网络D2对任意一张组合图像id2属于组合异常图像集Id1的概率D2(id2)：
式(6)中，表示所述检测网络D2的第层隐含层的转换矩阵；表示所述检测网络D2的第层隐含层的偏置矩阵；
步骤4.3、构造共享参数：
利用式(7)和式(8)构造所述判别网络D1和检测网络D2隐含层的共享参数；
步骤5、由所述生成网络G、所述编码网络C、网络判别网络D1和检测网络D2构成生成对抗网络并进行对抗训练：
步骤5.1、建立如式(9)所示的对抗损失函数Lad：
Lad＝Ex～p(X)log(D1(x))+Ez～p(Z)log(1-D1(G(z))) (9)
式(9)中，E表示期望，x～P(X)表示从真实的异常图像集X的分布P(X)中取出任意一张异常图像x，z～P(Z)表示从所述隐含空间Z的分布P(Z)中取出隐含空间向量z；G(z)表示从所述隐含空间Z的分布P(Z)中取出隐含空间向量z在所述生成网络G上生成的图像；D1(G(z))表示所述判别网络D1对所述生成网络G上生成的图像G(z)属于真实的异常图像集X的概率；D1(x)表示所述判别网络D1对任意一张异常图像x属于真实的异常图像集X的概率；
步骤5.2、建立如式(10)所示的隐含空间损失函数Lc：
Lc＝Ez～p(Z)||z-C(G(z))||1 (10)
式(10)中，C(G(z))表示所述编码网络C对所述生成网络G上生成的图像G(z)映射到隐含空间Z上的隐含向量；
步骤5.3、建立如式(11)所示的检测损失函数Lan：
Lan＝Ex～p(X)[log(D2(x))]+Ez～p(Z)[log(D2(G(z)))]+Ey～p(Y)[log(1-D2(y)] (11)
式(11)中，y～P(Y)表示从真实的正常图像集Y的分布P(Y)中取出任意一张正常图像y；D2(x)表示所述判别网络D2对任意一张异常图像x属于真实的正常图像集Y的概率；D2(G(z))表示所述判别网络D2对所述生成网络G上生成的图像G(z)属于真实的正常图像集Y的概率；D2(y)表示所述判别网络D2对任意一张正常图像y属于真实的正常图像集Y的概率；
步骤5.4、建立如式(12)所示的生成目标函数LG：
LG＝||Lad+α1Le-α2Lan||1 (12)
式(12)中，a1和α2表示两个不同的超参数；
步骤5.5、建立如式(13)所示的隐含空间目标函数LC：
LC＝Lc (13)
步骤5.6、建立如式(14)所示的检测目标函数LD：
LD＝-Lad-Lan (14)
步骤5.7、对抗训练优化目标函数LD，LC和LD：
通过随机梯度下降法分别对式(12)、式(13)和式(14)进行优化求解，使得LG值、LC值和LD值在相互对抗中均收敛到最优，当LG值达到最优时，所述生成网络G达到最优，生成更多的异常数据，当LC值达到最优时，所述编码网络C达到最优，当LD值达到最优时，所述判别网络D1和检测网络D2达到最优，其中所述检测网络D2用于对输入图像进行异常检测，并输出为异常图像的概率。
与已有技术相比，本发明有益效果体现在：
1、本发明通过生成对抗网络，学习真实的数据集的特征，并生成更多的生成异常图像；生成的异常图像集不仅解决了真实的异常图像集数据少的问题，而且为检测网络数提供更多的数据，以便更好的检测出异常。
2、本发明借助共享判别网络和检测网络的部分参数，该处理方式不仅可以学习正常数据和异常数据各自的特征，同时还考虑了正常数据和异常数据的共同特征，从而可以实现更加精确的检测。
3、本发明通过编码网络来约束生成网络生成的图像，该处理方式可以使得生成的异常图像和真实的异常图像在隐含空间上接近，提高了生成网络的性能。
4、本发明利用生成网络，编码网络，判别网络和检测网络相互对抗，该方式可以在图像数据集的数量差别特别大的情况下依旧保证很好的异常检测效果，并且训练好的检测网络，可以直接对新的图像数据进行异常检测，提高了检测的效率。
附图说明
图1为本发明一种基于生成对抗网络的图像异常检测方法的流程图。
具体实施方式
本实施例中，参见图1，一种基于深度网络结构和节点属性的网络表示方法是按如下步骤进行：
步骤1、获取训练图像数据集I并构造隐含空间Z：
步骤1.1、获取训练图像数据集I：
获取真实的异常图像集，记为X＝{x1,x2,...,xi,...,xN}，其中xi表示第i张异常图像，i＝1,2,...,N，N为异常图像的总数，该真实的异常图像集为MNIST中数字为0的图片；
获取真实的正常图像集，记为Y＝{y1,y2,...,yj,...,yM}，其中yj表示第j张正常图像，j＝1,2,...,M，M为正常图像的总数，该真实的正常图像集为MNIST中数字为1到9的图片；且M＞＞N，M通常是N的100倍以上；
令I＝{X,Y}表示训练图像数据集；
步骤1.2、构造隐含空间Z：
在[-0.1,0.1]范围内的均匀分布上构造隐含空间Z，以z表示隐含空间Z上的任意一个隐含空间向量；
步骤2、构造生成网络G，得到生成图像集合
步骤2.1、设定生成网络G的隐含层总层数为kG；令当前隐含层为第hG层；
步骤2.2、初始化hG＝1；
步骤2.3、根据式(1)计算隐含空间向量z在第hG层隐含层的输出从而得到隐含空间Z上所有隐含空间向量在第hG层隐含层的输出：
式(1)中，BN(·)是批归一化层；表示生成网络G的第hG层隐含层的转换矩阵；表示生成网络G的第hG层隐含层的偏置矩阵；当hG＝1时，令
步骤2.4、将hG+1赋值给hG，并判断hG>kG是否成立，若成立，则令表示隐含空间向量z在生成网络G上的生成图像，从而得到隐含空间Z上所有隐含空间向量在生成网络G上生成图像集合该生成图像集合是类似数字0的图像集；否则，返回步骤2.3执行；
步骤3、构造编码网络C，得到生成图像集合在隐含空间Z上的映射
步骤3.1、设定编码网络E的隐含层总层数为kC，令当前隐含层为第hC层；
步骤3.2、初始化hC＝1；
步骤3.3、根据式(2)计算隐含空间向量z在生成网络G上的生成图像在第hC层的输出从而得到隐含空间Z上所有隐含空间向量在生成网络G上的生成图像集合在第hC层隐含层的输出：
式(2)中，表示编码网络C的第hC层隐含层的转换矩阵；表示编码网络E的第hC层隐含层的偏置矩阵；当hC＝1时，令
步骤3.4、将hC+1赋值给hC，并判断hC>kC是否成立，若成立，则令表示隐含空间向量z在生成网络G上的生成图像在隐含空间Z上的映射，从而得到生成图像集合在隐含空间Z上的映射否则，返回步骤3.3执行；
步骤4、通过判别网络D1和检测网络D2并构造共享参数：
步骤4.1、构造判别网络D1：
步骤4.1.1、以真实的异常图像集X和生成图像集合构成组合异常图像集Id1，并作为判别网络D1的输入数据，该输入数据为数字0的图像集，包括真实的和生成的；
步骤4.1.2、设定判别网络D1的隐含层总层数为令当前隐含层为第层；
步骤4.1.3、初始化
步骤4.1.4、根据式(3)计算组合异常图像集Id1中任意一张组合异常图像id1在第层的输出从而得到组合异常图像集Id1中所有组合异常图像在第层的输出：
式(3)中，表示判别网络D1的第层隐含层的转换矩阵；表示判别网络D1的第层隐含层的偏置矩阵；当时，令
步骤4.1.5、将赋值给并判断是否成立，若成立，则表示得到组合异常图像集Id1中所有组合异常图像在第层的输出，并执行步骤4.1.6；否则，返回步骤4.1.4执行；
步骤4.1.6、根据式(4)得到判别网络D1对任意一张组合异常图像id1属于真实的异常图像集X的概率D1(id1)：
式(4)中，f(×)是sigmoid函数；表示判别网络D1的第层隐含层的转换矩阵；表示判别网络D1的第层隐含层的偏置矩阵；
步骤4.2、构造检测网络D2：
步骤4.2.1、以真实的异常图像集X、生成图像集合和真实的正常图像集Y构成组合图像集Id2，并作为检测网络D2的输入数据，该输入数据为0到9所有数字的图像集包括真实的数字图像集和生成的数字0的图像集；
步骤4.2.2、设定检测网络D2的隐含层总层数为令当前隐含层为第层；
步骤4.2.3、初始化
步骤4.2.4、根据式(5)计算组合图像集Id2中任意一张组合图像id2在第层的输出从而得到组合图像集Id2中所有组合图像在第层的输出：
式(5)中，表检测网络D2的第层隐含层的转换矩阵；表示检测网络D2的第层隐含层的偏置矩阵；当时，令
步骤4.2.5、将赋值给并判断是否成立，若成立，则表示得到组合图像集Id2中所有组合图像在第层的输出，并执行步骤4.2.6；否则，返回步骤4.2.4执行；
步骤4.2.6、根据式(6)得到检测网络D2对任意一张组合图像id2属于组合异常图像集Id1的概率D2(id2)，：
式(6)中，表示检测网络D2的第层隐含层的转换矩阵；表示检测网络D2的第层隐含层的偏置矩阵；若输入数字0的图像那么期望概率D2(id2)为1，反之其他数字图像，期望概率D2(id2)为0；
步骤4.3、构造共享参数：
利用式(7)和式(8)构造判别网络D1和检测网络D2隐含层的共享参数；
步骤5、由生成网络G、编码网络C、网络判别网络D1和检测网络D2构成生成对抗网络并进行对抗训练：
步骤5.1、建立如式(9)所示的对抗损失函数Lad：
Lad＝Ex～p(X)log(D1(x))+Ez～p(Z)log(1-D1(G(z))) (9)
式(9)中，E表示期望，x～P(X)表示从真实的异常图像集X的分布P(X)中取出任意一张异常图像x，z～P(Z)表示从隐含空间Z的分布P(Z)中取出隐含空间向量z；G(z)表示从隐含空间Z的分布P(Z)中取出隐含空间向量z在生成网络G上生成的图像；D1(G(z))表示判别网络D1对生成网络G上生成的图像G(z)属于真实的异常图像集X的概率；D1(x)表示判别网络D1对任意一张异常图像x属于真实的异常图像集X的概率；
步骤5.2、建立如式(10)所示的隐含空间损失函数Lc：
Lc＝Ez～p(Z)||z-C(G(z))||1 (10)
式(10)中，C(G(z))表示编码网络C对生成网络G上生成的图像G(z)映射到隐含空间Z上的隐含向量；
步骤5.3、建立如式(11)所示的检测损失函数Lan：
Lan＝Ex～p(X)[log(D2(x))]+Ez～p(Z)[log(D2(G(z)))]+Ey～p(Y)[log(1-D2(y)] (11)
式(11)中，y～P(Y)表示从真实的正常图像集Y的分布P(Y)中取出任意一张正常图像y；D2(x)表示判别网络D2对任意一张异常图像x属于真实的正常图像集Y的概率；D2(G(z))表示判别网络D2对生成网络G上生成的图像G(z)属于真实的正常图像集Y的概率；D2(y)表示判别网络D2对任意一张正常图像y属于真实的正常图像集Y的概率；
步骤5.4、建立如式(12)所示的生成目标函数LG：
LG＝||Lad+α1Le-α2Lan||1 (12)
式(12)中，α1和α2表示两个不同的超参数，并根据不同数据集可适当调节；
步骤5.5、建立如式(13)所示的隐含空间目标函数LC：
LC＝Lc (13)
步骤5.6、建立如式(14)所示的检测目标函数LD：
LD＝-Lad-Lan (14)
步骤5.7、对抗训练优化目标函数LD，LC和LD：
通过随机梯度下降法分别对式(12)、式(13)和式(14)进行优化求解，使得LG值、LC值和LD值在相互对抗中均收敛到最优，当LG值达到最优时，生成网络G达到最优，生成更多的异常数据，当LC值达到最优时，编码网络C达到最优，当LD值达到最优时，判别网络D1和检测网络D2达到最优，其中检测网络D2用于对输入图像进行异常检测，并输出为异常图像的概率。
实施例：
为了验证本方法中的有效性，本文选用了常用的MNIST，CIFAR-10数据集和公开的肺部X-ray的数据集。对于这三个数据集而言，保证真实的正常图像集数量是真实的异常图像集数量的100倍。从而得到最终实验使用的数据集。
本文采用AUC作为评价标准。
本实施例中选用五种方法和本发明方法进行效果对比，所选方法分别是OC-SVM、AnoGAN、Zenati et al.、GANomaly和DDGAN_NoMT，DDGAN为发明方法，DDGAN_NoMT为DDGAN去掉参数共享部分的方法；根据实验结果可得出结果如表1、表2和表3所示：
表1 本发明方法与选用的五种对比方法在MNIST数据集上进行异常检测的实验结果
表2 本发明方法与选用的五种对比方法在CIFAR-10数据集上进行异常检测的实验结果
表3 本发明方法与选用的五种对比方法在X-ray数据集上进行异常检测的实验结果
实验结果显示本发明方法与其它五种方法相比效果都要更好,从而证明了本发明提出方法的可行性。

Claims (1)

1.一种基于生成对抗网络的图像异常检测方法，其特征是按如下步骤进行：
步骤1、获取训练图像数据集I并构造隐含空间Z：
步骤1.1、获取训练图像数据集I：
获取真实的异常图像集，记为X＝{x1,x2,...,xi,...,xN}，其中xi表示第i张异常图像，i＝1,2,...,N，N为异常图像的总数；
获取真实的正常图像集，记为Y＝{y1,y2,...,yj,...,yM}，其中yj表示第j张正常图像，j＝1,2,...,M，M为正常图像的总数；且M＞＞N；
令I＝{X,Y}表示训练图像数据集；
步骤1.2、构造隐含空间Z：
在[-0.1,0.1]范围内的均匀分布上构造隐含空间Z，以z表示所述隐含空间Z上的任意一个隐含空间向量；
步骤2、构造生成网络G，得到生成图像集合
步骤2.1、设定所述生成网络G的隐含层总层数为kG；令当前隐含层为第hG层；
步骤2.2、初始化hG＝1；
步骤2.3、根据式(1)计算隐含空间向量z在第hG层隐含层的输出从而得到隐含空间Z上所有隐含空间向量在第hG层隐含层的输出：
式(1)中，BN(·)是批归一化层；表示所述生成网络G的第hG层隐含层的转换矩阵；表示所述生成网络G的第hG层隐含层的偏置矩阵；当hG＝1时，令
步骤2.4、将hG+1赋值给hG，并判断hG>kG是否成立，若成立，则令表示隐含空间向量z在所述生成网络G上的生成图像，从而得到隐含空间Z上所有隐含空间向量在所述生成网络G上生成图像集合否则，返回步骤2.3执行；
步骤3、构造编码网络C，得到生成图像集合在隐含空间Z上的映射
步骤3.1、设定所述编码网络E的隐含层总层数为kC，令当前隐含层为第hC层；
步骤3.2、初始化hC＝1；
步骤3.3、根据式(2)计算隐含空间向量z在所述生成网络G上的生成图像在第hC层的输出从而得到隐含空间Z上所有隐含空间向量在所述生成网络G上的生成图像集合在第hC层隐含层的输出：
式(2)中，表示所述编码网络C的第hC层隐含层的转换矩阵；表示所述编码网络E的第hC层隐含层的偏置矩阵；当hC＝1时，令
步骤3.4、将hC+1赋值给hC，并判断hC>kC是否成立，若成立，则令表示隐含空间向量z在所述生成网络G上的生成图像在隐含空间Z上的映射，从而得到生成图像集合在隐含空间Z上的映射否则，返回步骤3.3执行；
步骤4、通过判别网络D1和检测网络D2并构造共享参数：
步骤4.1、构造判别网络D1：
步骤4.1.1、以所述真实的异常图像集X和生成图像集合构成组合异常图像集Id1，并作为所述判别网络D1的输入数据；
步骤4.1.2、设定判别网络D1的隐含层总层数为令当前隐含层为第层；
步骤4.1.3、初始化
步骤4.1.4、根据式(3)计算所述组合异常图像集Id1中任意一张组合异常图像id1在第层的输出从而得到所述组合异常图像集Id1中所有组合异常图像在第层的输出：
式(3)中，表示所述判别网络D1的第层隐含层的转换矩阵；表示所述判别网络D1的第层隐含层的偏置矩阵；当时，令
步骤4.1.5、将赋值给并判断是否成立，若成立，则表示得到所述组合异常图像集Id1中所有组合异常图像在第层的输出，并执行步骤4.1.6；否则，返回步骤4.1.4执行；
步骤4.1.6、根据式(4)得到所述判别网络D1对任意一张组合异常图像id1属于真实的异常图像集X的概率D1(id1)：
式(4)中，f(·)是sigmoid函数；表示所述判别网络D1的第层隐含层的转换矩阵；表示所述判别网络D1的第层隐含层的偏置矩阵；
步骤4.2、构造检测网络D2：
步骤4.2.1、以所述真实的异常图像集X、生成图像集合和真实的正常图像集Y构成组合图像集Id2，并作为所述检测网络D2的输入数据；
步骤4.2.2、设定检测网络D2的隐含层总层数为令当前隐含层为第层；
步骤4.2.3、初始化
步骤4.2.4、根据式(5)计算所述组合图像集Id2中任意一张组合图像id2在第层的输出从而得到所述组合图像集Id2中所有组合图像在第层的输出：
式(5)中，表所述检测网络D2的第层隐含层的转换矩阵；表示所述检测网络D2的第层隐含层的偏置矩阵；当时，令
步骤4.2.5、将赋值给并判断是否成立，若成立，则表示得到所述组合图像集Id2中所有组合图像在第层的输出，并执行步骤4.2.6；否则，返回步骤4.2.4执行；
步骤4.2.6、根据式(6)得到所述检测网络D2对任意一张组合图像id2属于组合异常图像集Id1的概率D2(id2)：
式(6)中，表示所述检测网络D2的第层隐含层的转换矩阵；表示所述检测网络D2的第层隐含层的偏置矩阵；
步骤4.3、构造共享参数：
利用式(7)和式(8)构造所述判别网络D1和检测网络D2隐含层的共享参数；
步骤5、由所述生成网络G、所述编码网络C、网络判别网络D1和检测网络D2构成生成对抗网络并进行对抗训练：
步骤5.1、建立如式(9)所示的对抗损失函数Lad：
Lad＝Ex～p(X)log(D1(x))+Ez～p(Z)log(1-D1(G(z))) (9)
式(9)中，E表示期望，x～P(X)表示从真实的异常图像集X的分布P(X)中取出任意一张异常图像x，z～P(Z)表示从所述隐含空间Z的分布P(Z)中取出隐含空间向量z；G(z)表示从所述隐含空间Z的分布P(Z)中取出隐含空间向量z在所述生成网络G上生成的图像；D1(G(z))表示所述判别网络D1对所述生成网络G上生成的图像G(z)属于真实的异常图像集X的概率；D1(x)表示所述判别网络D1对任意一张异常图像x属于真实的异常图像集X的概率；
步骤5.2、建立如式(10)所示的隐含空间损失函数Lc：
Lc＝Ez～p(Z)||z-C(G(z))||1 (10)
式(10)中，C(G(z))表示所述编码网络C对所述生成网络G上生成的图像G(z)映射到隐含空间Z上的隐含向量；
步骤5.3、建立如式(11)所示的检测损失函数Lan：
Lan＝Ex～p(X)[log(D2(x))]+Ez～p(Z)[log(D2(G(z)))]+Ey～p(Y)[log(1-D2(y)] (11)
式(11)中，y～P(Y)表示从真实的正常图像集Y的分布P(Y)中取出任意一张正常图像y；D2(x)表示所述判别网络D2对任意一张异常图像x属于真实的正常图像集Y的概率；D2(G(z))表示所述判别网络D2对所述生成网络G上生成的图像G(z)属于真实的正常图像集Y的概率；D2(y)表示所述判别网络D2对任意一张正常图像y属于真实的正常图像集Y的概率；
步骤5.4、建立如式(12)所示的生成目标函数LG：
LG＝||Lad+α1Le-α2Lan||1 (12)
式(12)中，α1和α2表示两个不同的超参数；
步骤5.5、建立如式(13)所示的隐含空间目标函数LC：
LC＝Lc (13)
步骤5.6、建立如式(14)所示的检测目标函数LD：
LD＝-Lad-Lan (14)
步骤5.7、对抗训练优化目标函数LD，LC和LD：
通过随机梯度下降法分别对式(12)、式(13)和式(14)进行优化求解，使得LG值、LC值和LD值在相互对抗中均收敛到最优，当LG值达到最优时，所述生成网络G达到最优，生成更多的异常数据，当LC值达到最优时，所述编码网络C达到最优，当LD值达到最优时，所述判别网络D1和检测网络D2达到最优，其中所述检测网络D2用于对输入图像进行异常检测，并输出为异常图像的概率。
CN201811141325.6A 2018-09-28 2018-09-28 一种基于生成对抗网络的图像异常检测方法 Active CN109410179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811141325.6A CN109410179B (zh) 2018-09-28 2018-09-28 一种基于生成对抗网络的图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811141325.6A CN109410179B (zh) 2018-09-28 2018-09-28 一种基于生成对抗网络的图像异常检测方法

Publications (2)

Publication Number Publication Date
CN109410179A true CN109410179A (zh) 2019-03-01
CN109410179B CN109410179B (zh) 2021-07-23

Family

ID=65465518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141325.6A Active CN109410179B (zh) 2018-09-28 2018-09-28 一种基于生成对抗网络的图像异常检测方法

Country Status (1)

Country Link
CN (1) CN109410179B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN109977905A (zh) * 2019-04-04 2019-07-05 北京百度网讯科技有限公司 用于处理眼底图像的方法和装置
CN111126566A (zh) * 2019-11-29 2020-05-08 江苏艾佳家居用品有限公司 基于gan模型的异常家具布局数据检测方法
CN111260620A (zh) * 2020-01-14 2020-06-09 三峡大学 图像异常检测方法、装置和电子设备
CN111382785A (zh) * 2020-03-04 2020-07-07 武汉精立电子技术有限公司 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN113077013A (zh) * 2021-04-28 2021-07-06 上海联麓半导体技术有限公司 基于生成对抗网络的高维数据故障异常检测方法及系统
CN113205140A (zh) * 2021-05-06 2021-08-03 中国人民解放军海军航空大学航空基础学院 基于生成式对抗网络的半监督式特定辐射源个体识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368475A (zh) * 2017-07-18 2017-11-21 中译语通科技（北京）有限公司 一种基于生成对抗神经网络的机器翻译方法和系统
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
US20180174052A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Using generative adversarial networks in compression
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN108509952A (zh) * 2018-04-10 2018-09-07 深圳市唯特视科技有限公司 一种基于深度注意生成对抗网络的实例级图像翻译技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174052A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Using generative adversarial networks in compression
CN107368475A (zh) * 2017-07-18 2017-11-21 中译语通科技（北京）有限公司 一种基于生成对抗神经网络的机器翻译方法和系统
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN108509952A (zh) * 2018-04-10 2018-09-07 深圳市唯特视科技有限公司 一种基于深度注意生成对抗网络的实例级图像翻译技术

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAN WU ET AL: "A survey of image synthesis and editing with generative adversarial networks", 《TSINGHUA SCIENCE AND TECHNOLOGY》 *
唐贤伦等: "基于条件深度卷积生成对抗网络的图像识别方法", 《自动化学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN109977905B (zh) * 2019-04-04 2021-08-06 北京百度网讯科技有限公司 用于处理眼底图像的方法和装置
CN109977905A (zh) * 2019-04-04 2019-07-05 北京百度网讯科技有限公司 用于处理眼底图像的方法和装置
US11232560B2 (en) 2019-04-04 2022-01-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing fundus image
CN111126566A (zh) * 2019-11-29 2020-05-08 江苏艾佳家居用品有限公司 基于gan模型的异常家具布局数据检测方法
CN111126566B (zh) * 2019-11-29 2022-07-08 江苏艾佳家居用品有限公司 基于gan模型的异常家具布局数据检测方法
CN111260620A (zh) * 2020-01-14 2020-06-09 三峡大学 图像异常检测方法、装置和电子设备
CN111260620B (zh) * 2020-01-14 2023-08-18 三峡大学 图像异常检测方法、装置和电子设备
CN111382785A (zh) * 2020-03-04 2020-07-07 武汉精立电子技术有限公司 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN111382785B (zh) * 2020-03-04 2023-09-01 武汉精立电子技术有限公司 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN113077013A (zh) * 2021-04-28 2021-07-06 上海联麓半导体技术有限公司 基于生成对抗网络的高维数据故障异常检测方法及系统
CN113205140A (zh) * 2021-05-06 2021-08-03 中国人民解放军海军航空大学航空基础学院 基于生成式对抗网络的半监督式特定辐射源个体识别方法
CN113205140B (zh) * 2021-05-06 2022-11-15 中国人民解放军海军航空大学 基于生成式对抗网络的半监督式特定辐射源个体识别方法

Also Published As

Publication number Publication date
CN109410179B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN109410179A (zh) 一种基于生成对抗网络的图像异常检测方法
Zhou et al. DR-GAN: conditional generative adversarial network for fine-grained lesion synthesis on diabetic retinopathy images
Ulmas et al. Segmentation of satellite imagery using u-net models for land cover classification
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN106537422B (zh) 用于捕获信息内的关系的系统和方法
CN111539467A (zh) 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法
CN110070935B (zh) 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN106250914B (zh) 基于结构稀疏多核学习的多模态数据特征筛选和分类方法
CN108830826A (zh) 一种检测肺结节的系统及方法
CN110110754B (zh) 基于代价局部泛化误差的不平衡问题的分类方法
Ye et al. Glioma grading based on 3D multimodal convolutional neural network and privileged learning
Mehta et al. Propagating uncertainty across cascaded medical imaging tasks for improved deep learning inference
Barani et al. Implementation of Artificial Fish Swarm Optimization for Cardiovascular Heart Disease
Liang et al. Enhancing automated COVID-19 chest X-ray diagnosis by image-to-image GAN translation
CN102158486A (zh) 一种网络入侵快速检测方法
CN108491925A (zh) 基于隐变量模型的深度学习特征泛化方法
Wang et al. MedNAS: Multi-Scale Training-Free Neural Architecture Search for Medical Image Analysis
Zhao et al. Removal and selection: Improving rgb-infrared object detection via coarse-to-fine fusion
CN108985385A (zh) 基于生成对抗学习的快速弱监督目标检测方法
Chetoui et al. Automated Detection of COVID-19 Cases using Recent Deep Convolutional Neural Networks and CT images
Wu et al. Asa-coronet: Adaptive self-attention network for covid-19 automated diagnosis using chest x-ray images
CN113486969A (zh) 一种基于改进的Resnet网络的X光图像分类方法
Li COVID-19 classification with CT scan and advanced deep learning technologies
CN104463205B (zh) 基于混沌深度小波网络的数据分类方法
Land et al. Evolution of neural networks for the detection of breast cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant