CN113744265B - 一种基于生成对抗网络的异常检测系统、方法和存储介质 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的异常检测系统、方法和存储介质，网络模型包括特征映射网络部分、生成器网络部分以及判别器网络部分，特征映射网络部分用于将图像样本映射成隐藏空间张量，生成器网络部分用于从隐藏空间张量中学习图像的真实分布，所述判别器网络部分用于区分真实图像与重构图像；所述生成器网络部分包括细节注意力模块，所述细节注意力模块的输入为特征映射网络部分和生成器网络部分中不同层次的特征信息，且输出为融合细节信息的特征信息；本发明通过细节注意力模块将包含丰富细节信息的特征图弥补高层特征图，增加重构图的细腻度，并且进行了部分权重重分配，能在特征层上一定程度的限制生成器网络部分的表达泛化性。

Description

一种基于生成对抗网络的异常检测系统、方法和存储介质

技术领域

本发明属于医学异常检测的技术领域，具体涉及一种基于生成对抗网络的异常检测系统、方法和存储介质。

背景技术

医学影像是一种通过机器视觉技术对医学图像进行自动分析的技术，在医学领域中一直都是不可或缺的角色，用于医学研究和临床疾病诊断，如皮肤癌分类、肿瘤检测、眼底识别等等，为医生的治疗提供强有力的基础，其中医学异常检测是医学影像中一门重要的技术研究。

近几年，基于深度神经网络的深度学习技术已经成为了医学图像分析领域中占比较多的一个研究重点，也是医学异常检测常用的处理手段，这种技术可以从医学图像大数据中获取更深层次的疾病特征，能更好地对病灶进行可视化表达，但是这些技术离不开精准的医学图像注释，需要专业的医生对医学图像进行像素级标注，在医学领域中这种标注过于昂贵且难以满足，所以后期衍生出部分基于无监督学习的人工智能技术。基于无监督学习的医学异常检测方法可以仅利用无病变、无标注的医学图像进行学习，而且正常的医学图像数据可以大量获取，解决了数据量不足的问题。

目前，大多数基于无监督学习的医学异常检测方法都是利用生成式对抗网络搭建的，通过对易采集的健康医学图像进行学习，最后利用网络模型的表达能力对异常医学图像进行重构，最后对比重构图与异常医学图像之间的差异，找到异常区域，但是已有的生成式对抗网络模型因泛化性没有得到约束，会对医学图像的异常区域进行重建，导致无法进行检测，而且生成式对抗网络的训练也存在不稳定性，存在收敛不彻底等等问题。因此，急需一种能更合理对医学图像进行学习、重构的生成式对抗网络方法，能将异常图像映射成同概率分布的正常图像，从而提高医学异常检测的准确性。

发明内容

本发明的目的在于提供一种基于生成对抗网络的异常检测系统、方法和存储介质，利用细节注意力模块从特征映射网络部分获取丢失的细节特征，达到约束特征泛化性的目的。本发明可以应用到医学异常检测，通过对无病变的医学图像的概率分布信息的学习，使生成式对抗网络模型能对有病变的医学图像进行无病变重构，并且在网络模型中引入细节注意力模块，起到保留重构图像的细节信息和约束模型的表达能力的作用，从而提高模型的异常检测性能。

本发明主要通过以下技术方案实现：

一种基于生成对抗网络的异常检测系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集无病变图像和有病变图像，并形成训练集；所述训练模块用于采用训练集训练网络模型得到训练后的网络模型；所述检测模块用于将待测数据输入训练后的网络模型并输出检测结果；

所述网络模型包括特征映射网络部分、生成器网络部分以及判别器网络部分，所述特征映射网络部分用于将图像样本映射成隐藏空间张量，所述生成器网络部分用于从隐藏空间张量中学习图像的真实分布，以生成重构图，所述判别器网络部分用于区分真实图像与重构图像；

所述生成器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、细节注意力模块、特征拼接层、残差块，所述细节注意力模块的输入为特征映射网络部分和生成器网络部分中不同层次的特征信息，且输出为融合细节信息的特征信息；所述细节注意力模块用于将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，以增加重构图的细腻度。

本发明可以应用于医学异常检测，收集无病变和有病变的医学图像，保证无病变图像数据的样本多样性，然后将大多数无病变的图像样本整合成训练集，最后将少数无病变的图像样本和所有有病变的图像样本整理成测试集。本发明中激活函数层采用参数修正线性单元层。

本发明通过交替训练，让生成器网络部分和判别器网络部分产生对抗，从而大大提高生成器网络部分的表达能力，使生成的重构图像逐渐逼近真实图像；所述的生成器部分利用细节注意力模块从特征映射网络部分获取丢失的细节特征，达到约束特征泛化性的目的。所述细节注意力模块用于将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，增加重构图的细腻度，从特征层上能一定程度的限制生成器网络部分的表达泛化性。

为了更好地实现本发明，进一步地，所述细节注意力模块包括从左至右依次设置的特征点乘层、反卷积层、硬注意力模块、特征相加层；所述特征映射网络部分和生成器网络部分中不同层次的特征信息通过特征点乘层处理得到相关性，所述反卷积层用于对相关性矩阵进行变换，使相关性矩阵的维度与用于提取细节信息的特征图的维度保持一致；所述硬注意力模块用于从用于提取细节信息的特征图中提取对应高相关性位置的细节信息并构成细节特征图块，所述细节特征图块与用于提取细节信息的特征图通过特征相加层进行融合。

所述细节注意力模块的核心思路是先计算高层特征图与较为中间的特征图之间的相关性，再通过硬注意力模块从低层特征图中将对应高相关性的细节信息提取出来构成细节特征图，最后与高层特征图拼接成表达能力更强的特征块，为后续生成重构图奠定基础。

为了更好地实现本发明，进一步地，所述细节注意力模块还包括从左至右依次设置在特征相加层后的卷积层、批归一化层、激活函数层；所述卷积层用于提高融合后信息的通道方向上的融合度。

为了更好地实现本发明，进一步地，所述特征映射网络部分采用VGG19网络。所述特征映射网络部分采用VGG19网络，并利用预训练模型进行微调，能够弥补医学图像数据量不足的问题。

为了更好地实现本发明，进一步地，所述判别器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、全连接层。所述判别器网络部分的作用是判断输入的图像是不是真实图像，从而使生成器网络部分能更好地生成出接近真实图像的重构图。

本发明主要通过以下技术方案实现：

一种基于生成对抗网络的异常检测方法，采用上述的异常检测系统进行，包括以下步骤：

步骤S100：收集无病变和有病变的图像，并形成训练集，

步骤S200：搭建网络模型并进行训练，首先选取优化器和衰减方式，并同时初始化网络模型，然后采用交替训练的方式进行学习，先固定特征映射网络部分和生成器网络部分的权重参数，训练判别器网络部分，直到训练次数达到预设值；再固定判别器网络部分的权重参数，训练特征映射网络部分和生成器网络部分；

步骤S300：将待测数据输入训练后的网络模型并输出检测结果。

为了更好地实现本发明，进一步地，所述步骤S200中，所述网络模型使用重构图误差损失函数和对抗损失函数计算损失值，所述重构图误差损失函数用于计算重构图与真实图像之间的误差。

为了更好地实现本发明，进一步地，所述重构图误差损失函数采用L1损失函数。

为了更好地实现本发明，进一步地，所述对抗损失函数包括交叉熵损失函数和回归损失函数，所述交叉熵损失函数对引入与输入数据分布一致的条件进行计算，回归损失函数采用L1损失函数。

一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的异常检测方法。

如图1所示，将不同层次的特征信息输出到生成器网络部分中，在特征映射网络部分中，特征信息的分辨率将倍数下降，在这过程中语义信息逐层增加、细节信息逐层减少，而在生成器网络部分中特征信息的分辨率将倍数增加，如果在增加的过程中没有细节注意力模块的弥补，将会强依赖于模型自身的学习能力拟合出细节信息，但拟合出的细节信息失真的概率较大，所以本发明引入细节注意力模块弥补生成器生成过程中所需的细节信息。

已有的细节补充方法是直接将底层的特征信息通过相加、拼接等等方法直接与深层特征融合，从而增加重构图的细节信息，然而，这种方法对整张特征图“一视同仁”，通过堆叠的方法提升特征信息的表达能力，增强模型的泛化性，但是本发明不需要过分的泛化性，例如模型能对非正常的病变泛化重构，就无法进行异常定位，所以本发明提出的细节注意力模块能将关键位置的细节特征提取出来进行融合，丢弃冗余信息，一定程度抑制模型的泛化性。

本发明的有益效果：

（1）本发明通过细节注意力模块能将包含丰富细节信息的特征图弥补高层特征图，增加重构图的细腻度，并且进行了部分权重重分配，能在特征层上一定程度的限制生成器网络部分的表达泛化性；

（2）本发明通过对无病变的医学图像的概率分布信息的学习，使生成式对抗网络模型能对有病变的医学图像进行无病变重构，并且在网络模型中引入细节注意力模块，起到保留重构图像的细节信息和约束模型的表达能力的作用，从而提高网络模型的异常检测性能。

附图说明

图1为本发明整体网络模型的结构示意图；

图2为生成器网络部分的结构示意图；

图3为判别器网络部分的结构示意图；

图4为细节注意力模块的结构示意图。

具体实施方式

实施例1：

一种基于生成对抗网络的异常检测系统，如图1所示，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集无病变图像和有病变图像，并形成训练集；所述训练模块用于采用训练集训练网络模型得到训练后的网络模型；所述检测模块用于将待测数据输入训练后的网络模型并输出检测结果。

所述网络模型包括特征映射网络部分、生成器网络部分以及判别器网络部分，所述特征映射网络部分用于将图像样本映射成隐藏空间张量，所述生成器网络部分用于从隐藏空间张量中学习图像的真实分布，以生成重构图，所述判别器网络部分用于区分真实图像与重构图像。

如图2所示，所述生成器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、细节注意力模块、特征拼接层、残差块，所述细节注意力模块的输入为特征映射网络部分和生成器网络部分中不同层次的特征信息，且输出为融合细节信息的特征信息；所述细节注意力模块用于将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，以增加重构图的细腻度。

所述的生成器部分利用细节注意力模块从特征映射网络部分获取丢失的细节特征，达到约束特征泛化性的目的。本发明通过细节注意力模块能将包含丰富细节信息的特征图弥补高层特征图，增加重构图的细腻度，并且进行了部分权重重分配，能在特征层上一定程度的限制生成器网络部分的表达泛化性。

实施例2：

本实施例是在实施例1的基础上进行优化，如图4所示，所述细节注意力模块包括从左至右依次设置的特征点乘层、反卷积层、硬注意力模块、特征相加层；所述特征映射网络部分和生成器网络部分中不同层次的特征信息通过特征点乘层处理得到相关性，所述反卷积层用于对相关性矩阵进行变换，使相关性矩阵的维度与用于提取细节信息的特征图的维度保持一致；所述硬注意力模块用于从用于提取细节信息的特征图中提取对应高相关性位置的细节信息并构成细节特征图块，所述细节特征图块与用于提取细节信息的特征图通过特征相加层进行融合。

进一步地，所述细节注意力模块还包括从左至右依次设置在特征相加层后的卷积层、批归一化层、激活函数层；所述卷积层用于提高融合后信息的通道方向上的融合度。

所述细节注意力模块的核心思路是先计算高层特征图与较为中间的特征图之间的相关性，再通过硬注意力模块从低层特征图中将对应高相关性的细节信息提取出来构成细节特征图，最后与高层特征图拼接成表达能力更强的特征块，为后续生成重构图奠定基础。

本发明通过对无病变的图像的概率分布信息的学习，使生成式对抗网络模型能对有病变的图像进行无病变重构，并且在网络模型中引入细节注意力模块，起到保留重构图像的细节信息和约束模型的表达能力的作用，从而提高网络模型的异常检测性能。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例1或2的基础上进行优化，所述特征映射网络部分采用VGG19网络。所述特征映射网络部分采用VGG19网络，并利用预训练模型进行微调，能够弥补图像数据量不足的问题。

进一步地，如图3所示，所述判别器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、全连接层。所述判别器网络部分的作用是判断输入的图像是不是真实图像，从而使生成器网络部分能更好地生成出接近真实图像的重构图。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

一种基于生成对抗网络的异常检测方法，采用上述的异常检测系统进行，包括以下步骤：

步骤S100：收集无病变和有病变的图像，并形成训练集，

步骤S200：搭建网络模型并进行训练，首先选取优化器和衰减方式，并同时初始化网络模型，然后采用交替训练的方式进行学习，先固定特征映射网络部分和生成器网络部分的权重参数，训练判别器网络部分，直到训练次数达到预设值；再固定判别器网络部分的权重参数，训练特征映射网络部分和生成器网络部分；

步骤S300：将待测数据输入训练后的网络模型并输出检测结果。

进一步地，所述步骤S200中，所述网络模型使用重构图误差损失函数和对抗损失函数计算损失值，所述重构图误差损失函数用于计算重构图与真实图像之间的误差。

进一步地，所述重构图误差损失函数采用L1损失函数。

进一步地，所述对抗损失函数包括交叉熵损失函数和回归损失函数，所述交叉熵损失函数对引入与输入数据分布一致的条件进行计算，回归损失函数采用L1损失函数。

本发明通过交替训练，让生成器网络部分和判别器网络部分产生对抗，从而大大提高生成器网络部分的表达能力，使生成的重构图像逐渐逼近真实图像；所述的生成器部分利用细节注意力模块从特征映射网络部分获取丢失的细节特征，达到约束特征泛化性的目的。所述细节注意力模块用于将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，增加重构图的细腻度，从特征层上能一定程度的限制生成器网络部分的表达泛化性。

实施例5：

一种基于生成对抗网络的异常检测方法，如图1所示，网络模型的整体结构由特征映射网络部分、生成器网络部分以及判别器网络部分构成。由特征映射网络部分将图像样本映射成隐藏空间张量，然后利用生成器网络部分从隐藏空间张量中学习医学图像的真实分布，用于生成重构图，最后使用判别器网络部分区分真实图像与重构图像。所述判别器网络部分利用细节注意力模块将浅层的特征信息高频细节信息融合到深层的特征信息中，提高生成器网络部分的特征表达能力，从而使重构图与真实图差距减小，利于找到异常区域，增强模型的检测性能。

进一步地，其中特征映射网络部分采用VGG19网络，并利用预训练模型进行微调，能够弥补医学图像数据量不足的问题。

进一步地，如图2所示，所述生成器网络部分由卷积层、批归一化层、激活函数层、残差块、细节注意力模块、特征拼接层构成，这部分网络用于从隐藏空间张量中学习医学图像的真实分布，用于生成重构图，其中特征拼接层的作用是防止细节注意力模块处理后的特征信息退化。

进一步地，如图3所示，而判别器网络部分完全由卷积层、批归一化层、激活函数层、全连接层搭建形成，这部分网络主要的作用是判断输入的图像是不是真实图像，从而使生成器网络部分能更好地生成出接近真实图像的重构图。

所述细节注意力模块可以将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，增加重构图的细腻度，从特征层上能一定程度的限制生成器网络部分的表达泛化性。该模块的输入是特征映射网络部分和生成器网络部分中不同层次的特征信息，输出是融合细节信息的特征信息，为后续特征拼接做基础。

如图4所示，所述细节注意力模块的核心思路：首先利用特征点乘层计算两部分网络尺度对应的特征信息之间的相关性，可以通过相关性的计算进行细节信息搜索，相关性强表示这处是关键位置，包含更多的细节信息，反之细节信息较弱。为了使相关性矩阵的维度与用于提取细节信息的特征图保持一致，采用反卷积层对相关性矩阵进行变换。然后，使用硬注意力模块提取强相关性位置的信息组成细节特征图块，其处理流程是沿某个特定的方向，选出具有强相关性的位置，参照这个位置信息在对应的特征图上提取出细节信息，映射关系如下：

公式中r表示相关性矩阵，

表示i行j列的相关性矩阵，沿着列的方向选出强相 关性位置，得到位置信息SC，最后在用于提取细节信息的特征图F上选出SC对应的细节信息 组成F′特征。

其次，将细节特征图块与用于提取细节信息的特征图通过特征相加层的操作融合在一起，增强包含细节信息的权重，抑制其余冗余信息的权重，最后，添加一个卷积层提高融合后信息的通道方向上的融合度。

如图4所示，细节注意力模块有3个输入，例如细节注意力模块的输入是f4、f5以及生成器主干网络的特征fc1，其中图4中C1的输入是fc1，C2的输入是f5，C3的输入是f4，需保证f5与fc1的分辨率保持一致，f4的分辨率是f5的两倍，fc1是f5经一系列提升表达能力操作处理得到的，所以fc1与f5是有一定的相似性，利用特征点乘层对fc1、f5进行相关性计算，可以对fc1进行细节信息搜索，如果相关性强，说明这处特征是关键位置，需要包含更多的细节信息，而相关性弱的地方，说明此处在模型学习过程中贡献度不高，细节信息可补可不补。然后通过硬注意力模块在f4中提取出关键位置的细节信息，输出细节特征图块，最后与f4相加融合。

进一步地，利用损失函数指导整个网络模型的训练，损失函数分为重构图误差损失函数和对抗损失函数，其中重构图误差损失函数公式为：

公式中M指批处理样本的大小，x为输入的原图像，G表示生成器网络部分，G(x)表示生成的重构图。而对抗损失函数公式如下：

公式中D表示判别器网络部分，D（x）表示图像样本输入到判别器网络部分之后得到的特征向量，D（G(x)）表示重构图输入到判别器网络部分之后得到的特征向量，所以总损失函数应表示为：

进一步地，将整个网络模型分步骤进行训练，首先选取最优的优化器和衰减方式，并同时初始化模型的各个部分，然后采用交替训练的方式进行学习，即先固定特征映射网络部分和生成器网络部分的权重参数，训练判别器网络部分，直到训练次数达到预设值，再固定判别器网络部分的权重参数，训练特征映射网络部分和生成器网络部分。

在测试过程中，仅使用特征映射网络部分和生成器网络部分模型参数对输入的图像进行重构，如果图像过大，需将图像进行切片分批重构，然后将重构图拼接成完整的图像，最后与输入图像进行差异对比得到缺陷位置分布，从而达到异常检测的目的。

综上所述，本发明只需使用无病变的医学图像样本进行学习，大大减轻样本采集的困难性，以及解决了病变样本的缺失，有益于挖掘更多医学图像潜在的结构信息。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的异常检测系统，其特征在于，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集无病变图像和有病变图像，并形成训练集；所述训练模块用于采用训练集训练网络模型得到训练后的网络模型；所述检测模块用于将待测数据输入训练后的网络模型并输出检测结果；

所述网络模型包括特征映射网络部分、生成器网络部分以及判别器网络部分，所述特征映射网络部分用于将图像样本映射成隐藏空间张量，所述生成器网络部分用于从隐藏空间张量中学习图像的真实分布，以生成重构图，所述判别器网络部分用于区分真实图像与重构图像；

所述生成器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、细节注意力模块、特征拼接层、残差块，所述细节注意力模块的输入为特征映射网络部分和生成器网络部分中不同层次的特征信息，且输出为融合细节信息的特征信息；所述细节注意力模块用于将特征映射网络部分底层包含的细节特征补充到生成器网络部分上，以增加重构图的细腻度；

所述细节注意力模块包括从左至右依次设置的特征点乘层、反卷积层、硬注意力模块、特征相加层；所述特征映射网络部分和生成器网络部分中不同层次的特征信息通过特征点乘层处理得到相关性，所述反卷积层用于对相关性矩阵进行变换，使相关性矩阵的维度与用于提取细节信息的特征图的维度保持一致；所述硬注意力模块用于从用于提取细节信息的特征图中提取对应高相关性位置的细节信息并构成细节特征图块，所述细节特征图块与用于提取细节信息的特征图通过特征相加层进行融合。

2.根据权利要求1所述的一种基于生成对抗网络的异常检测系统，其特征在于，所述细节注意力模块还包括从左至右依次设置在特征相加层后的卷积层、批归一化层、激活函数层；所述卷积层用于提高融合后信息的通道方向上的融合度。

3.根据权利要求1或2所述的一种基于生成对抗网络的异常检测系统，其特征在于，所述特征映射网络部分采用VGG19网络。

4.根据权利要求1或2所述的一种基于生成对抗网络的异常检测系统，其特征在于，所述判别器网络部分包括从左至右依次设置的卷积层、批归一化层、激活函数层、全连接层。

5.一种基于生成对抗网络的异常检测方法，采用权利要求1-4任一项所述的异常检测系统进行，其特征在于，包括以下步骤：

步骤S100：收集无病变和有病变的图像，并形成训练集，

步骤S200：搭建网络模型并进行训练，首先选取优化器和衰减方式，并同时初始化网络模型，然后采用交替训练的方式进行学习，先固定特征映射网络部分和生成器网络部分的权重参数，训练判别器网络部分，直到训练次数达到预设值；再固定判别器网络部分的权重参数，训练特征映射网络部分和生成器网络部分；

步骤S300：将待测数据输入训练后的网络模型并输出检测结果。

6.根据权利要求5所述的一种基于生成对抗网络的异常检测方法，其特征在于，所述步骤S200中，所述网络模型使用重构图误差损失函数和对抗损失函数计算损失值，所述重构图误差损失函数用于计算重构图与真实图像之间的误差。

7.根据权利要求6所述的一种基于生成对抗网络的异常检测方法，其特征在于，所述重构图误差损失函数采用L1损失函数。

8.根据权利要求6所述的一种基于生成对抗网络的异常检测方法，其特征在于，所述对抗损失函数包括交叉熵损失函数和回归损失函数，所述交叉熵损失函数对引入与输入数据分布一致的条件进行计算，回归损失函数采用L1损失函数。

9.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求5-8任一项所述的异常检测方法。

Images