CN111127412A - 一种基于生成对抗网络的病理图像识别装置 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的病理图像识别装置，包括图像样本获取模块用于获取图像样本；病变检测模块用于利用CNN卷积神经网络对病理图像进行二分类，输出有病变的病理图像；病变修补模块用于利用生成对抗网络并对有病变的病理图像进行全局修补；病变区域检测模块用于根据所述病变检测模块和病变修补模块的输出结果生成病变热量图。本发明利用GAN无监督学习的特性，利用基于深度卷积对抗生成网络的图像修补网络对病变位置进行修补，使之成为健康的无病变图像，并与基于CNN卷积神经网络的病变检测网络巧妙结合，通过病变概率的变化间接预测出其存在的位置，免去人工对训练集的标注的工作，减少了检测成本，并提升了检测效率及准确度。

Description

一种基于生成对抗网络的病理图像识别装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的病理图像识别装置。

背景技术

克罗恩病是一种肠道炎症性疾病，在胃肠道的任何部位均可发生。克罗恩病的诊断需要由专家视觉检查消化道并鉴定其特征，目前有多种方法可以从患者肠胃中获取肠壁图像，其中一种较为先进和高效的方法是使用视频胶囊内窥镜(videocapsuleendoscopic)，这是一种携带小型摄像机的胶囊，患者仅需将其服入体内，便可获得在外部设备中获取肠道内壁图像。然而由于该设备在患者体内停留的时间较长，获取的肠道图像数据较大，通过专家人工视觉检查耗时巨大、成本极高。深度神经网络的引入在一定程度缓解了该问题，现有的神经网络可以较为高效和精准的将存在病变的图像分类出来，但专家仍需要人工肉眼去检测病变的位置，且该病变存在形状不规则、面积不确定的问题，也给病变位置的标注增加了不少的难度，是的克罗恩病变的识别效率低、准确度不佳。

发明内容

本发明为解决现有的病变识别方法存在依赖经验、人工标注成本高、识别效率低、准确度不佳的问题，提供了一种基于生成对抗网络的病理图像识别装置。

为实现以上发明目的，而采用的技术手段是：

一种基于生成对抗网络的病理图像识别装置，包括：

图像样本获取模块，用于获取图像样本，所述图像样本包括无病变图像样本和有病变图像样本；

病变检测模块，用于利用CNN卷积神经网络对病理图像进行二分类，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像；

病变修补模块，用于利用生成对抗网络并对所述有病变的病理图像进行全局修补，输出修补图像；

病变区域检测模块，用于根据所述病变检测模块和病变修补模块的输出结果生成病变热量图。

优选的，所述图像样本获取模块还用于对所述图像样本进行中心裁剪为统一大小的正方形图像。

优选的，所述病变检测模块中的CNN卷积神经网络采用VGG16网络框架。

优选的，所述病变检测模块具体包括：

CNN卷积神经网络建立子模块，用于建立CNN卷积神经网络；

CNN卷积神经网络训练子模块，用于利用所述无病变图像样本和有病变图像样本对所述CNN卷积神经网络进行训练；

CNN卷积神经网络识别子模块，用于利用训练好的CNN卷积神经网络对病理图像进行识别，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像。

优选的，所述病变修补模块具体包括：

生成对抗网络建立子模块，用于建立基于深度卷积对抗生成网络的图像修补网络，所述图像修补网络中包括生成器G和判别器D；

生成对抗网络训练子模块，用于利用所述无病变图像样本对所述图像修补网络进行训练；

生成对抗网络修补子模块，用于利用训练好的图像修补网络对CNN卷积神经网络识别子模块输出的有病变的病理图像进行修补，输出修补图像。

优选的，在所述生成对抗网络修补子模块中，所述训练好的图像修补网络用于对CNN卷积神经网络识别子模块输出的有病变的病理图像逐一进行修补，以预设大小的滑动掩码窗口从病理图像左上顶点对其进行滑动遮盖，重建当前掩码窗口内缺失的像素信息。

优选的，构成所述基于深度卷积对抗生成网络的图像修补网络的损失函数包括：

采用交叉熵损失函数的对抗损失函数：

其中x表示真实的无病变图像样本，满足分布Pdata；z表示生成被掩码遮盖的真实的无病变图像样本，满足分布Pdata；判别器D用于最大限度地区分输入该判别器D的图像是真实的无病变图像样本还是由生成器G生成的图像样本；生成器G用于最小化(1-D(G(z)))，令判别器D无法正确判别，以此形成整体网络对抗式训练；

采用L1范数损失函数的重组损失函数：

其中W,H,C分别表示图像的宽、高、通道数量，N为图像像素点总和，x表示真实的无病变图像样本的像素，y表示生成器G生成图像样本的像素点；生成器G最小化重组损失约束。

优选的，所述病变区域检测模块具体包括：

图像识别子模块，用于将病理图像输入所述CNN卷积神经网络识别子模块中，从而得到有病变的病理图像；

图像修补子模块，用于将所述图像识别子模块得到的有病变的病理图像输入所述生成对抗网络修补子模块中，从而得到修补图像；

病变热量图生成子模块，用于将所述图像修补子模块得到的修补图像再次输入所述图像识别子模块得到修补图像为有病变图像的概率，并与该修补图像的原始为有病变图像的概率作差，若结果小于零则表示当前滑动窗口中存在病变且被修复成无病变图像，根据概率变化的程度在病变热量图中与当前滑动窗户对应位置进行加权赋值；其中初始病变热量图为像素点全为0值的灰度图像，大小与病理图像一致；对所述病变热量图进行迭代更新直至滑动掩码窗口完成全局扫描后输出最终病变热量图。

优选的，所述病变热量图进行迭代更新采用的公式为：

其中N表示滑动掩码窗口的总数；M_i表示当前滑动掩码窗口；P_i表示当前滑动窗口修补图像为有病变图像的概率；P₀表示病理图像的原始为有病变图像的概率；W_HM为归一化项。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出的基于生成对抗网络的病理图像识别装置，利用了GAN无监督学习的特性，利用基于深度卷积对抗生成网络的图像修补网络对病变位置进行修补，使之成为健康的无病变图像，并与基于CNN卷积神经网络的病变检测网络巧妙结合，通过病变概率的变化间接预测出其存在的位置，免去了人工对训练集的标注的工作，大大减少了成本且提升了效率，并能显著提高检测的准确度。

附图说明

图1为本发明装置的模块图。

图2为本发明的病变检测模块中CNN卷积神经网络的网络结构图。

图3为本发明的病变修补模块中图像修补网络中的生成器结构图。

图4为本发明的病变修补模块中图像修补网络中的判别器结构图。

图5为本发明的病变区域检测模块的病变热量图的生成示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

一种基于生成对抗网络的病理图像识别装置，如图1所示，包括：

图像样本获取模块，用于获取图像样本，所述图像样本包括无病变图像样本和有病变图像样本，并用于对所述图像样本进行中心裁剪为统一大小的正方形图像；在本实施例的图像样本为由视频胶囊内窥镜(videocapsule endoscopic)获取的肠道图像数据为RGB图像，由于摄像头的特性，有效的图像呈现出圆形。因此经过该模块对肠道图像进行中心裁剪，以正方形的比例最大化裁剪出有效像素点，并寸尺大小修改为256*256；同时图像集分成两类：无病变的肠道图像数据集和有病变的肠道图像数据集。

病变检测模块，用于利用CNN卷积神经网络对病理图像进行二分类，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像；该模块具体包括：

CNN卷积神经网络建立子模块，用于建立CNN卷积神经网络；本实施例的CNN卷积神经网络采用VGG16网络框架；如图2所示，VGG16网络由13个3x3的卷积层、3个全连接层和5个2x2的最大池化层堆叠组成，并以块(block)结构的方式将整个网络划分为5块：第1块由2个卷积层组成且卷积通道(channel)为64；第2块由2个卷积层组成且卷积通道为128；第3块由3个卷积层组成且卷积通道为256；第4块由3个卷积层组成且卷积通道为512；第5块由3个卷积层组成且卷积通道为512。在同一卷积块中的卷积层卷积通道相同，并使用ReLu作为激活函数、批量归一化(batch normalization)对参数进行归一化操作，每个卷积块后与1个最大池化层连接，最后再与2个张量为4096和1个张量为1000的全连接层相连，以soft-max输出预测分类的概率。该网络具有很好泛化能力，能有效提取图像特征完成二分类任务。

CNN卷积神经网络训练子模块，用于利用所述无病变图像样本和有病变图像样本对所述CNN卷积神经网络进行训练；在本实施例中，将上述无病变的肠道图像数据集和有病变的肠道图像数据集以7:2:1的比例分为训练集、验证集、测试集，以交叉熵作为损失训练该网络实现克罗恩病变检测，完成无病变和有病变的肠道图片二分类任务。256*256的RGB肠道图像作为输入，在不同的卷积块中，卷积通道数翻倍，图像的高和宽同时减半，由256-128-64-32-16-8。网络通过卷积层提克罗恩病变的特征，输出存在病变的预测概率。

CNN卷积神经网络识别子模块，用于利用训练好的CNN卷积神经网络对病理图像进行识别，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像。

病变修补模块，用于利用生成对抗网络并对所述有病变的病理图像进行全局修补，输出修补图像；该模块具体包括：具体包括：

生成对抗网络建立子模块，用于建立基于深度卷积对抗生成网络的图像修补网络，所述图像修补网络中包括生成器G和判别器D；生成器捕获真实数据分布，生成图像接近于真实图像，骗过判别器；判别器鉴图像别样本来自于真的样本分布或是生成器。两个网络以二人零和博弈思想进行训练，在不断博弈中提升各自的性能。克罗恩病变修补网络采用基于深度卷积对抗生成网络DCGAN构建思路，CNN与GAN高效结合，从而获得更好的训练稳定性和图像特征的表达能力。

在本实施例的生成对抗网络建立子模块中，生成器G具体如下：

图3所示为生成器的结构，以U-Net网络为基础的卷积神经网络来搭建生成器。整个网络结构分为编码模块和解码模块两部分，分别含有7层正卷积、反卷积，每编码一层，特征图(feature map)长和宽减半，每解码一层，特征图长和宽加倍。此外在对应的编码层和解码层(具有相同数量的特征图)之间加入了跳跃链接，对于n层网络，每一个第i层和第n-i层之间添加跳转连接，把第i层和第n-i层中的所有通道相连接，在生成过程，输入的全色图像和输出的融合图像具有相同的底层结构，共享边缘的位置信息。

该网络中每个卷积层采用部分卷积模块(partial convolution)。在对图像进行修补的生成器中，部分卷积在全卷积的基础上对根据掩码位置对卷积结果进行相应的加权，并在每一层卷积后对掩码进行自动更新，最终掩码会成为全1的矩阵。部分卷积模块可以确保输出值与每一层中缺失像素的值无关，更好捕获上下文信息(contextualinformation)从而能更合理地对缺失像素进行重构。

网络中含有4次卷积通道分别为64、128、256、512下采样和4次卷积通道分别为512、256、128、64上采样，并采用不同的卷积核大小(kernel size)获取的响应。采用部分卷积进行下采用，不仅能够减少操作的冗余度，提取目标的抽象特征，并且能获得更好的像素关联信息，在此后连接的单元能够保持特征图尺度不变，此外，将网络中的池化层代替为特征图尺度不变的卷积层，即卷积通道为512、卷积核为3*3；删除网络中的全连接层，用反卷积层来实现图像的上采样，够将浅层卷积层与深层卷积层输出的特征进行处理，提高特征提取的准确度，从而获得更好的修补效果。整个网络采用批量归一化收敛模型，激活函数最后一层使用tanh函数，其余采用ReLu函数。

在本实施例的生成对抗网络建立子模块中，判别器D具体如下：

图4所示为判别器D的结构，判别器实质为一个二分类网络，用于判别输出的图像样本是否来源于真实样数据，基于CNN搭建生成器，由5个残差卷积模块和1个全连接层堆叠组成，最后连接sigmoid激活函数输出类别0或1(0：真实样本，1：假样本)。每个下采样网络包括1个下采样层、1个卷积层、1个激活函数层，并以残差网络结构(ResNet)构建。采用残差网络结构可实现网络结构的深化以及分类效果的提升，复杂度降低不出出现梯度弥散的问题，更利用提取更好的特征图。5个残差卷积模块的通道分别为64、128、256、512、1028，卷积核大小均为3*3，步长均为1，采用Relu作为激活函数，并采用普归一化(SpectralNormalization)对模型参数进行归一化处理。对模型参数进行谱归一化处理，可使参数满足Lipschitz稳定性约束，解决模式坍塌问题，解决在训练过程中判别器过早进入理想状态而无法给生成器提供梯度信息。

生成对抗网络训练子模块，用于利用所述无病变图像样本对所述图像修补网络进行训练；

上述生成器以局部信息缺失的图像及对应的掩码图像作为输入，网络对缺失像素点进行重构，输出修补后的图像，修补后的图像被输入到鉴别网络中，判断其真伪从而，并将结果传回生成器，对生成器进行训练调整。上述判别器则以修补后的图像和其对应的原始图像作为输入，通过计算预测类别和真实类别的损失对判别器进行训练调整。两个网络以博弈方式进行训练，性能相互促进提升，最终的目的是生成器输出给鉴别器时很难判断是真实的还是伪造的数据，即极大化鉴别器，最小化生成器，其目标函数为：

其中x表示真实的无病变图像样本，满足分布Pdata；z表示生成被掩码遮盖的真实的无病变图像样本，满足分布Pdata。此外，要约束重构的像素尽可能与真实像素相近，从而使修补后的图像整体看起来更合理且连贯，需要构建重组损失(Reconstruction loss)，采用L1范数损失函数的重组损失函数，约束生成器G生成图像的质量，由以下公式表示：

其中W,H,C分别表示图像的宽、高、通道数量，N为图像像素点总和，x表示真实的无病变图像样本的像素，y表示生成器G生成图像样本的像素点；生成器G最小化重组损失约束，使得生成图像的结构性、连贯性、合理性更趋近于真实图像。

训练整个网络实现对克罗恩病变修补，以无病变的肠道图像和遮盖区面积为40*40且位置随机、大小为256*256的掩码图作为训练集。生成器是3通道RGB图像与单通道掩码图像合并，即为4通道大小为256*256的复合图像作为输入。判别器则以3通道RGB图像作为输入。

生成对抗网络修补子模块，用于利用训练好的图像修补网络对CNN卷积神经网络识别子模块输出的有病变的病理图像逐一进行修补，以大小为40*40，步长为20的滑动掩码窗口从病理图像左上顶点对其进行滑动遮盖，重建当前掩码窗口内缺失的像素信息，输出修补图像。

病变区域检测模块，用于根据所述病变检测模块和病变修补模块的输出结果生成病变热量图；该模块具体包括：

图像识别子模块，用于将病理图像输入所述CNN卷积神经网络识别子模块中，从而得到有病变的病理图像；

图像修补子模块，用于将所述图像识别子模块得到的有病变的病理图像输入所述生成对抗网络修补子模块中，从而得到修补图像；

病变热量图生成子模块，用于将所述图像修补子模块得到的修补图像再次输入所述图像识别子模块得到修补图像为有病变图像的概率，并与该修补图像的原始为有病变图像的概率作差，若结果小于零则表示当前滑动窗口中存在病变且被修复成无病变图像，根据概率变化的程度在病变热量图中与当前滑动窗户对应位置进行加权赋值；其中初始病变热量图为大小为256*256、初始像素值为0的灰度图像；对所述病变热量图进行迭代更新直至滑动掩码窗口完成全局扫描后输出最终病变热量图，如图5所示。

其中病变热量图进行迭代更新采用的公式为：

其中N表示滑动掩码窗口的总数；M_i表示当前滑动掩码窗口；P_i表示当前滑动窗口修补图像为有病变图像的概率；P₀表示病理图像的原始为有病变图像的概率；W_HM为归一化项。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的病理图像识别装置，其特征在于，包括：

图像样本获取模块，用于获取图像样本，所述图像样本包括无病变图像样本和有病变图像样本；

病变检测模块，用于利用CNN卷积神经网络对病理图像进行二分类，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像；

病变修补模块，用于利用生成对抗网络并对所述有病变的病理图像进行全局修补，输出修补图像；

病变区域检测模块，用于根据所述病变检测模块和病变修补模块的输出结果生成病变热量图。

2.根据权利要求1所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述图像样本获取模块还用于对所述图像样本进行中心裁剪为统一大小的正方形图像。

3.根据权利要求1所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述病变检测模块中的CNN卷积神经网络采用VGG16网络框架。

4.根据权利要求1所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述病变检测模块具体包括：

CNN卷积神经网络建立子模块，用于建立CNN卷积神经网络；

CNN卷积神经网络训练子模块，用于利用所述无病变图像样本和有病变图像样本对所述CNN卷积神经网络进行训练；

CNN卷积神经网络识别子模块，用于利用训练好的CNN卷积神经网络对病理图像进行识别，得到所述病理图像为无病变图像或有病变图像的概率，并输出有病变的病理图像。

5.根据权利要求4所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述病变修补模块具体包括：

生成对抗网络建立子模块，用于建立基于深度卷积对抗生成网络的图像修补网络，所述图像修补网络中包括生成器G和判别器D；

生成对抗网络训练子模块，用于利用所述无病变图像样本对所述图像修补网络进行训练；

生成对抗网络修补子模块，用于利用训练好的图像修补网络对CNN卷积神经网络识别子模块输出的有病变的病理图像进行修补，输出修补图像。

6.根据权利要求5所述的基于生成对抗网络的病理图像识别装置，其特征在于，在所述生成对抗网络修补子模块中，所述训练好的图像修补网络用于对CNN卷积神经网络识别子模块输出的有病变的病理图像逐一进行修补，以预设大小的滑动掩码窗口从病理图像左上顶点对其进行滑动遮盖，重建当前掩码窗口内缺失的像素信息。

7.根据权利要求6所述的基于生成对抗网络的病理图像识别装置，其特征在于，构成所述基于深度卷积对抗生成网络的图像修补网络的损失函数包括：

采用交叉熵损失函数的对抗损失函数：

其中x表示真实的无病变图像样本，满足分布Pdata；z表示生成被掩码遮盖的真实的无病变图像样本，满足分布Pdata；判别器D用于最大限度地区分输入该判别器D的图像是真实的无病变图像样本还是由生成器G生成的图像样本；生成器G用于最小化(1-D(G(z)))，令判别器D无法正确判别，以此形成整体网络对抗式训练；

采用L1范数损失函数的重组损失函数：

其中W,H,C分别表示图像的宽、高、通道数量，N为图像像素点总和，x表示真实的无病变图像样本的像素，y表示生成器G生成图像样本的像素点；生成器G最小化重组损失约束。

8.根据权利要求7所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述病变区域检测模块具体包括：

图像识别子模块，用于将病理图像输入所述CNN卷积神经网络识别子模块中，从而得到有病变的病理图像；

图像修补子模块，用于将所述图像识别子模块得到的有病变的病理图像输入所述生成对抗网络修补子模块中，从而得到修补图像；

病变热量图生成子模块，用于将所述图像修补子模块得到的修补图像再次输入所述图像识别子模块得到修补图像为有病变图像的概率，并与该修补图像的原始为有病变图像的概率作差，若结果小于零则表示当前滑动窗口中存在病变且被修复成无病变图像，根据概率变化的程度在病变热量图中与当前滑动窗户对应位置进行加权赋值；其中初始病变热量图为像素点全为0值的灰度图像，大小与病理图像一致；对所述病变热量图进行迭代更新直至滑动掩码窗口完成全局扫描后输出最终病变热量图。

9.根据权利要求8所述的基于生成对抗网络的病理图像识别装置，其特征在于，所述病变热量图进行迭代更新采用的公式为：

其中N表示滑动掩码窗口的总数；M_i表示当前滑动掩码窗口；P_i表示当前滑动窗口修补图像为有病变图像的概率；P₀表示病理图像的原始为有病变图像的概率；W_HM为归一化项。

Images