CN114266786A - 基于生成对抗网络的胃病变分割方法及系统 - Google Patents
基于生成对抗网络的胃病变分割方法及系统 Download PDFInfo
- Publication number
- CN114266786A CN114266786A CN202111574420.7A CN202111574420A CN114266786A CN 114266786 A CN114266786 A CN 114266786A CN 202111574420 A CN202111574420 A CN 202111574420A CN 114266786 A CN114266786 A CN 114266786A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- convolution
- groups
- lesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 185
- 230000003902 lesion Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002496 gastric effect Effects 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 66
- 210000002784 stomach Anatomy 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 230000003042 antagnostic effect Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 48
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 5
- 230000010339 dilation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001156 gastric mucosa Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的胃病变分割方法及系统，方法包括：将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，分割网络基于U‑Net包括编码器、扩张卷积模块和解码器；以胃镜病变图片样本与分割预测图像拼接形成的四通道张量以及胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为分割预测图像还是人工标注图片的真假判断作为输出，以博弈方式交替对分割网络和判别网络进行生成对抗网络训练至平衡状态；将所要分割的胃镜图片输入完成训练的分割网络，得到胃病变分割图像。通过本发明的技术方案，避免了随着网络的加深而导致梯度逐渐消失，提高了分割准确率和精度。
Description
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于生成对抗网络的胃病变分割方法以及一种基于生成对抗网络的胃病变分割系统。
背景技术
胃癌是一种严重的致命恶性肿瘤，全球癌症发病率最高的前五位与全球死亡率最高的前五位均有胃癌。目前，常用的胃癌检查方式是胃镜拍摄，医生通过胃镜图片能够直接观察胃的内部情况，从而对早期胃癌进行判断。然而人工标注病变区域是一项费时费力的工作，利用计算机辅助诊断技术来分割胃部病变成为一种有效方式。对胃镜图片中的纹理和颜色等特征进行提取，是病变位置识别和癌变程度识别的一种重要手段，这些方法无法对图像中的高级语义建模，没有自学习能力和自调整能力，特征内容也是固定的，在一定程度上限制了这些特征对早期胃癌病变的鉴别。另外一些研究者通过机器学习方式从大量数据中来发掘出信息来识别胃部病变，虽对实验设备的需求较低、实验耗时较少，但实验检测准确率低、鲁棒性和实用性较差。近年来，深度学习在医学图像处理领域发展迅速，以卷积神经网络为代表的新一代方法在医学图像分割领域吸引了广泛的研究和关注。在早期胃癌检测中，采用基于卷积神经网络的系统观察胃粘膜病变时，使用窄带成像放大内窥镜的实验效果要优于普通白光内窥镜，由于实验的数据量较小，限制了CNN系统的应用范围。以及，基于卷积神经网络(CNN)的自动检测模型，对白光内窥镜图像的纹理信息进行微调，能够显示早期胃癌的大致位置，但由于只选择了有纹理信息的胃镜图像进行处理，影响了实验结果的准确性。此外，还有采用深度神经网络架构GoogLeNet构建的CNN，与传统的CNN相比具有足够的参数和神经网络的有效表达，有效的提高了区分早期胃癌和非癌性病变的能力，由于试验选择了清晰的图像，因此很难使用不清晰的图像来诊断疾病。
在实际操作中，有可能会拍摄到不清晰的胃镜图像，所以对不清晰的胃镜图像处理也有待研究。在对胃镜图像病变区域进行识别中，通过简单的深度卷积神经网络对胃病变进行识别和分割的结果并不理想。
发明内容
针对上述问题，本发明提供了一种基于生成对抗网络的胃病变分割方法，通过在U-Net的基础上改进的分割网络对胃镜病变图片进行分割，并在分割网络的编码和解码部分加入残差机制，将并行分支引入到网络中传播梯度，避免了随着网络的加深而导致梯度逐渐消失，另外，在U-Net底部采用扩张卷积模块代替普通卷积，来获取不同尺度的图片信息，使分割得到的病变区域获得更清晰的边缘细节。在对网络训练过程中，迭代地优化分割网络和判别网络，直至两者同时收敛，采用训练完成的分割网络即可完成对胃镜图片中病变区域的分割，提高了分割准确率和精度。
为实现上述目的，本发明提供了一种基于生成对抗网络的胃病变分割方法，包括：
将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，所述分割网络基于U-Net包括编码器、扩张卷积模块和解码器，所述编码器包括对图像进行下采样的卷积单元，所述扩张卷积模块包括相串联的扩张率不同的扩张卷积，所述扩张卷积模块用于扩大所述编码器下采样后的图像的感受野，所述解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，所述编码器和所述解码器的每个卷积单元中加入残差连接操作；
以所述胃镜病变图片样本与所述分割预测图像拼接形成的四通道张量以及所述胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为所述分割预测图像还是所述人工标注图片的真假判断作为输出，以博弈方式交替对所述分割网络和所述判别网络进行生成对抗网络训练至平衡状态；
将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
在上述技术方案中，优选地，所述编码器包括5组卷积单元，前4组卷积单元包括两组卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组卷积、批处理归一化和ReLU激活函数；
所述解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
所述扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
在上述技术方案中，优选地，所述判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积层、一个批处理归一化层、一个ReLU激活函数以及一个最大池化层，且5组卷积单元后设置全局平均池化。
在上述技术方案中，优选地，所述生成对抗网络训练过程中，对抗损失函数为：
Ladv(G,D)＝EXr，Xs～pdata(Xr,Xs)[logD(Xr,Xs)]
+EXr～pdata(Xr)[log(1-D(Xr,G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr,Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
对抗目标函数为G*＝minGmaxDLadv(G,D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
所述分割网络的损失函数为
所述生成对抗网络训练的损失函数为Ltotal＝G*+γLseg(G)，其中，γ为权重系数。
在上述技术方案中，优选地，所述生成对抗网络训练过程中，对所述判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定所述分割网络的参数，使D(Xr,Xs)最大化、使D(Xr,G(Xr))最小化，以更新所述判别网络的参数；
在训练所述分割网络过程中，固定所述判别网络的参数，使D(Xr,G(Xr))最大化，以更新所述分割网络的参数。
本发明还提出一种基于生成对抗网络的胃病变分割系统，应用如上述技术方案中任一项公开的基于生成对抗网络的胃病变分割方法，包括：
样本分割模块，用于将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，所述分割网络基于U-Net包括编码器、扩张卷积模块和解码器，所述编码器包括对图像进行下采样的卷积单元，所述扩张卷积模块包括相串联的扩张率不同的扩张卷积，所述扩张卷积模块用于扩大所述编码器下采样后的图像的感受野，所述解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，所述编码器和所述解码器的每个卷积单元中加入残差连接操作；
生成对抗训练模块，以所述胃镜病变图片样本与所述分割预测图像拼接形成的四通道张量以及所述胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为所述分割预测图像还是所述人工标注图片的真假判断作为输出，以博弈方式交替对所述分割网络和所述判别网络进行生成对抗网络训练至平衡状态；
病变分割模块，将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
在上述技术方案中，优选地，所述样本分割模块中，所述编码器包括5组卷积单元，前4组卷积单元包括两组卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组卷积、批处理归一化和ReLU激活函数；
所述解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
所述扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
在上述技术方案中，优选地，所述生成对抗训练模块中，所述判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积层、一个批处理归一化层、一个ReLU激活函数以及一个最大池化层，且5组卷积单元后设置全局平均池化。
在上述技术方案中，优选地，所述生成对抗训练模块进行生成对抗网络训练过程中，对抗损失函数为：
Ladv(G,D)＝EXr，Xs～pdata(Xr,Xs)[logD(Xr,Xs)]
+EXr～pdata(Xr)[log(1-D(Xr,G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr,Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
对抗目标函数为G*＝minGmaxDLadv(G,D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
所述分割网络的损失函数为
所述生成对抗网络训练的损失函数为Ltotal＝G*+γLseg(G)，其中，γ为权重系数。
在上述技术方案中，优选地，所述生成对抗训练模块进行生成对抗网络训练过程中，对所述判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定所述分割网络的参数，使D(Xr,Xs)最大化、使D(Xr,G(Xr))最小化，以更新所述判别网络的参数；
在训练所述分割网络过程中，固定所述判别网络的参数，使D(Xr,G(Xr))最大化，以更新所述分割网络的参数。
与现有技术相比，本发明的有益效果为：通过在U-Net的基础上改进的分割网络对胃镜病变图片进行分割，并在分割网络的编码和解码部分加入残差机制，将并行分支引入到网络中传播梯度，避免了随着网络的加深而导致梯度逐渐消失，另外，在U-Net底部采用扩张卷积模块代替普通卷积，来获取不同尺度的图片信息，使分割得到的病变区域获得更清晰的边缘细节。在对网络训练过程中，迭代地优化分割网络和判别网络，直至两者同时收敛，采用训练完成的分割网络即可完成对胃镜图片中病变区域的分割，提高了分割准确率和精度。
附图说明
图1为本发明一种实施例公开的基于生成对抗网络的胃病变分割方法的总体模型示意图；
图2为本发明一种实施例公开的基于生成对抗网络的胃病变分割方法的卷积单元结构示意图；
图3为本发明一种实施例公开的基于生成对抗网络的胃病变分割方法的判别网络示意图；
图4为本发明一种实施例公开的基于生成对抗网络的胃病变分割方法的扩张卷积方式示意图；
图5为本发明一种实施例公开的基于生成对抗网络的胃病变分割方法的整体架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，根据本发明提供的一种基于生成对抗网络的胃病变分割方法，包括：
将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，分割网络基于U-Net包括编码器、扩张卷积模块和解码器，编码器包括对图像进行下采样的卷积单元，扩张卷积模块包括相串联的扩张率不同的扩张卷积，扩张卷积模块用于扩大编码器下采样后的图像的感受野，解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，编码器和解码器的每个卷积单元中加入残差连接操作；
以胃镜病变图片样本与分割预测图像拼接形成的四通道张量以及胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为分割预测图像还是人工标注图片的真假判断作为输出，以博弈方式交替对分割网络和判别网络进行生成对抗网络训练至平衡状态；
将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
在该实施例中，通过在U-Net的基础上改进的分割网络对胃镜病变图片进行分割，并在分割网络的编码和解码部分加入残差机制，将并行分支引入到网络中传播梯度，避免了随着网络的加深而导致梯度逐渐消失，另外，在U-Net底部采用扩张卷积模块代替普通卷积，来获取不同尺度的图片信息，使分割得到的病变区域获得更清晰的边缘细节。在对网络训练过程中，迭代地优化分割网络和判别网络，直至两者同时收敛，采用训练完成的分割网络即可完成对胃镜图片中病变区域的分割，提高了分割准确率和精度。
具体地，生成对抗网络中，生成器是一个经过U-Net改进的分割网络，将胃镜图片输入到分割网络，将会输出病变区域的分割预测图像。判别器接收两组输入：一组是原始胃镜图和生成器的分割结果图按照通道拼接到一起的四通道张量，另一组是人工标注的真实标签和原始胃镜图拼接的四通道张量，判别器的输出是对图片是由人工标注还是由分割网格网络生成的真假判断。判别器通过判断输入图片是分割出来的还是人工标注的来迭代的优化分割网络，通过不断逼近分割图与人工标注图之间的相似度，来提高分割准确率。
如图2和图3所示，在上述实施例中，优选地，编码器包括5组卷积单元，前4组卷积单元包括两组3×3卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组3×3卷积、批处理归一化和ReLU激活函数，去掉了最大池化层，使经过该卷积单元后特征图大小保持不变；
解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
在该实施例中，通过调整扩张卷积的扩张率来获得多尺度信息，在不丢失分辨率的情况下扩大感受野。一方面感受野大了可以检测分割大的病变区域，另一方面分辨率高了可以精确定位病变区域。将胃镜图像输入到网络中先进行卷积操作提取特征再进行池化，降低图像尺寸的同时增大感受野，但是由于图像分割预测是逐像素的输出，所以要将池化后较小的图像尺寸经过反卷积上采样到原始的图像尺寸进行预测，之前的池化操作使得每个像素预测都能看到较大感受野信息，但是也因此有一些图片信息在先减小再增大的过程中丢失了。
因此，在特征提取过程中，在网络中加入了扩张卷积模块，通过学习多尺度特征，以获得更多的全局信息。考虑到扩张卷积本身存在问题，在得到的某一层的结果时，邻近的像素是从相互独立的子集中卷积得到的，相互之间缺少依赖，并且稀疏的采样输入信号，使得远距离卷积得到的信息之间没有相关性，使用不当会影响分类结果。因此选择将多个扩张率不同的扩张卷积进行串联起来，更好地适应胃镜图像中不同大小的病变区域。
如图4所示，具体地，该4组扩张卷积中，第一组使用1的扩张率，第二组使用2的扩张率，第三组是3，第四组是5。四组扩张率没有除1之外的公约数，能够很好的避免“棋盘效应”，并将每组结果进行串联后作为编码路径的输入。
在上述实施例中，优选地，判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积核为3×3、步长为2的卷积层、一个批处理归一化层、一个ReLU激活函数以及一个滤波器大小为2×2的最大池化层，且5组卷积单元后设置全局平均池化，使用全局平均池化来代替全连接层，这样的设计方式，一是为了使特征图与最终的分类判断间转换更加简单自然，二是因为使用全局平均池化可以降低空间参数使模型更加健壮，抗过拟合效果也会更好。
在上述实施例中，优选地，生成对抗网络训练过程中，对抗损失函数为：
Ladv(G,D)＝EXr，Xs～pdata(Xr,Xs)[logD(Xr,Xs)]
+EXr～pdata(Xr)[log(1-D(Xr,G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr,Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
具体地，经过log函数，最终判别网络将{Xr，Xs}映射为{0，1}，当Xs为0时表示判别器判断该输入为生成器生成的病变分割图，当Xs为1时表示判别器判断该输入为人工标注的病变分割图。
对抗目标函数为G*＝minGmaxDLadv(G,D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
分割网络的损失函数为
具体地，对于作为生成器的分割网络来说，仍然是一个二分类任务的损失函数，通过二元交叉熵损失函数来计算二者之间的距离。由于学习速率是能够被输出的误差所控制的，选用交叉熵作为损失函数促使使用sigmoid函数在梯度下降时，有效避免均方误差损失函数学习速率下降的问题。
生成对抗网络训练的最终的损失函数为Ltotal＝G*+γLseg(G)，是由生成对抗损失和分割损失乘以一定的权重系数相加得到的，其中，γ为权重系数，优选为10。
如图5所示，在上述实施例中，优选地，生成对抗网络训练过程中，对判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定分割网络的参数，使D(Xr,Xs)最大化、使D(Xr,G(Xr))最小化，以更新判别网络的参数，应尽可能的将人工标注判定为真，将生成图像判定为假；
在训练分割网络过程中，固定判别网络的参数，使D(Xr,G(Xr))最大化，以更新分割网络的参数，尽量产生与人工标注相近的分割图。
具体地，生成对抗网络的训练是一个交替进行的方式，分割网络和判别网络以一种博弈的方式迭代地进行优化，直到二者到达平衡。
通过上述实施例公开的基于生成对抗网络的胃病变分割方法，经过多次实验验证，分割准确率达到了91.9％左右。从结果也可以看出，分割图片中包含了大部分病变区域，这也表明了该项成果能够在一定程度上对医生临床诊断提供帮助。
本发明还提出一种基于生成对抗网络的胃病变分割系统，应用如上述实施例中任一项公开的基于生成对抗网络的胃病变分割方法，包括：
样本分割模块，用于将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，分割网络基于U-Net包括编码器、扩张卷积模块和解码器，编码器包括对图像进行下采样的卷积单元，扩张卷积模块包括相串联的扩张率不同的扩张卷积，扩张卷积模块用于扩大编码器下采样后的图像的感受野，解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，编码器和解码器的每个卷积单元中加入残差连接操作；
生成对抗训练模块，以胃镜病变图片样本与分割预测图像拼接形成的四通道张量以及胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为分割预测图像还是人工标注图片的真假判断作为输出，以博弈方式交替对分割网络和判别网络进行生成对抗网络训练至平衡状态；
病变分割模块，将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
在该实施例中，通过在U-Net的基础上改进的分割网络对胃镜病变图片进行分割，并在分割网络的编码和解码部分加入残差机制，将并行分支引入到网络中传播梯度，避免了随着网络的加深而导致梯度逐渐消失，另外，在U-Net底部采用扩张卷积模块代替普通卷积，来获取不同尺度的图片信息，使分割得到的病变区域获得更清晰的边缘细节。在对网络训练过程中，迭代地优化分割网络和判别网络，直至两者同时收敛，采用训练完成的分割网络即可完成对胃镜图片中病变区域的分割，提高了分割准确率和精度。
具体地，生成对抗网络中，生成器是一个经过U-Net改进的分割网络，将胃镜图片输入到分割网络，将会输出病变区域的分割预测图像。判别器即判别网络接收两组输入：一组是原始胃镜图和生成器的分割结果图按照通道拼接到一起的四通道张量，另一组是人工标注的真实标签和原始胃镜图拼接的四通道张量，判别器的输出是对图片是由人工标注还是由分割网格网络生成的真假判断。判别器通过判断输入图片是分割出来的还是人工标注的来迭代的优化分割网络，通过不断逼近分割图与人工标注图之间的相似度，来提高分割准确率。
在上述实施例中，优选地，样本分割模块中，编码器包括5组卷积单元，前4组卷积单元包括两组3×3卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组3×3卷积、批处理归一化和ReLU激活函数，去掉了最大池化层，使经过该卷积单元后特征图大小保持不变；
解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
在上述实施例中，优选地，生成对抗训练模块中，判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积核为3×3、步长为2的卷积层、一个批处理归一化层、一个ReLU激活函数以及一个滤波器大小为2×2的最大池化层，且5组卷积单元后设置全局平均池化，使用全局平均池化来代替全连接层，这样的设计方式，一是为了使特征图与最终的分类判断间转换更加简单自然，二是因为使用全局平均池化可以降低空间参数使模型更加健壮，抗过拟合效果也会更好。
在上述实施例中，优选地，生成对抗训练模块进行生成对抗网络训练过程中，对抗损失函数为：
Ladv(G,D)＝EXr，Xs～pdata(Xr,Xs)[logD(Xr,Xs)]
+EXr～pdata(Xr)[log(1-D(Xr,G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr,Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
具体地，经过log函数，最终判别网络将{Xr，Xs}映射为{0，1}，当Xs为0时表示判别器判断该输入为生成器生成的病变分割图，当Xs为1时表示判别器判断该输入为人工标注的病变分割图。
对抗目标函数为G*＝minGmaxDLadv(G,D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
分割网络的损失函数为
(1-Xs)·log(1-G(Xr))；
具体地，对于作为生成器的分割网络来说，仍然是一个二分类任务的损失函数，通过二元交叉熵损失函数来计算二者之间的距离。由于学习速率是能够被输出的误差所控制的，选用交叉熵作为损失函数促使使用sigmoid函数在梯度下降时，有效避免均方误差损失函数学习速率下降的问题。
生成对抗网络训练的损失函数为Ltotal＝G*+γLseg(G)，是由生成对抗损失和分割损失乘以一定的权重系数相加得到的，其中，γ为权重系数，优选为10。
在上述实施例中，优选地，生成对抗训练模块进行生成对抗网络训练过程中，对判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定分割网络的参数，使D(Xr,Xs)最大化、使D(Xr,G(Xr))最小化，以更新判别网络的参数；
在训练分割网络过程中，固定判别网络的参数，使D(Xr,G(Xr))最大化，以更新分割网络的参数。
具体地，生成对抗网络的训练是一个交替进行的方式，分割网络和判别网络以一种博弈的方式迭代地进行优化，直到二者到达平衡。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的胃病变分割方法，其特征在于，包括：
将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，所述分割网络基于U-Net包括编码器、扩张卷积模块和解码器，所述编码器包括对图像进行下采样的卷积单元，所述扩张卷积模块包括相串联的扩张率不同的扩张卷积，所述扩张卷积模块用于扩大所述编码器下采样后的图像的感受野，所述解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，所述编码器和所述解码器的每个卷积单元中加入残差连接操作；
以所述胃镜病变图片样本与所述分割预测图像拼接形成的四通道张量以及所述胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为所述分割预测图像还是所述人工标注图片的真假判断作为输出，以博弈方式交替对所述分割网络和所述判别网络进行生成对抗网络训练至平衡状态；
将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
2.根据权利要求1所述的基于生成对抗网络的胃病变分割方法，其特征在于，所述编码器包括5组卷积单元，前4组卷积单元包括两组卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组卷积、批处理归一化和ReLU激活函数；
所述解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
所述扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
3.根据权利要求1或2所述的基于生成对抗网络的胃病变分割方法，其特征在于，所述判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积层、一个批处理归一化层、一个ReLU激活函数以及一个最大池化层，且5组卷积单元后设置全局平均池化。
4.根据权利要求3所述的基于生成对抗网络的胃病变分割方法，其特征在于，所述生成对抗网络训练过程中，对抗损失函数为：
Ladv(G，D)＝EXr，Xs～pdata(Xr，Xs)[log D(Xr，Xs)]+EXr～pdata(Xr)[log(1-D(Xr，G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr，Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
对抗目标函数为G*＝minGmaxDLadv(G，D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
所述分割网络的损失函数为
所述生成对抗网络训练的损失函数为Ltotal＝G*+γLseg(G)，其中，γ为权重系数。
5.根据权利要求4所述的基于生成对抗网络的胃病变分割方法，其特征在于，所述生成对抗网络训练过程中，对所述判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定所述分割网络的参数，使D(Xr，Xs)最大化、使D(Xr，G(Xr))最小化，以更新所述判别网络的参数；
在训练所述分割网络过程中，固定所述判别网络的参数，使D(Xr，G(Xr))最大化，以更新所述分割网络的参数。
6.一种基于生成对抗网络的胃病变分割系统，其特征在于，应用如权利要求1至5中任一项所述的基于生成对抗网络的胃病变分割方法，包括：
样本分割模块，用于将胃镜病变图片样本输入至分割网络，得出病变区域的分割预测图像；其中，所述分割网络基于U-Net包括编码器、扩张卷积模块和解码器，所述编码器包括对图像进行下采样的卷积单元，所述扩张卷积模块包括相串联的扩张率不同的扩张卷积，所述扩张卷积模块用于扩大所述编码器下采样后的图像的感受野，所述解码器包括对图片进行上采样以恢复输入图像尺寸的卷积单元，所述编码器和所述解码器的每个卷积单元中加入残差连接操作；
生成对抗训练模块，以所述胃镜病变图片样本与所述分割预测图像拼接形成的四通道张量以及所述胃镜图片与人工标注图片拼接形成的四通道张量作为判别网络的两组输入，以对两组输入分别为所述分割预测图像还是所述人工标注图片的真假判断作为输出，以博弈方式交替对所述分割网络和所述判别网络进行生成对抗网络训练至平衡状态；
病变分割模块，将所要进行病变分割的胃镜图片输入完成生成对抗网络训练的分割网络，得到胃病变分割图像。
7.根据权利要求6所述的基于生成对抗网络的胃病变分割系统，其特征在于，所述样本分割模块中，所述编码器包括5组卷积单元，前4组卷积单元包括两组卷积层、批处理归一化层、ReLU激活函数和最大池化层，最后一组卷积单元包括两组卷积、批处理归一化和ReLU激活函数；
所述解码器包括4组卷积单元，前3组卷积单元包括上采样以及两组卷积层、批处理归一化层和ReLU激活函数，最后一组卷积单元包括上采样以及两组1×1卷积层、批处理归一化层和sigmoid激活函数；
每组卷积单元中加入残差连接操作使梯度由一端直接传递至另一端；
所述扩张卷积模块包括4组扩张卷积，该4组扩张卷积的扩张率为互质数，每组扩张卷积包括卷积层和归一化层。
8.根据权利要求6或7所述的基于生成对抗网络的胃病变分割系统，其特征在于，所述生成对抗训练模块中，所述判别网络包括5组卷积单元，每组卷积单元包括两个卷积组，每个卷积组包含一个卷积层、一个批处理归一化层、一个ReLU激活函数以及一个最大池化层，且5组卷积单元后设置全局平均池化。
9.根据权利要求8所述的基于生成对抗网络的胃病变分割系统，其特征在于，所述生成对抗训练模块进行生成对抗网络训练过程中，对抗损失函数为：
Ladv(G，D)＝EXr，Xs～pdata(Xr，Xs)[log D(Xr，Xs)]+EXr～pdata(Xr)[log(1-D(Xr，G(Xr)))]
其中，Xr表示胃镜图片，Xs表示人工标注图片，G(Xr)表示分割网络的分割结果映射，D(Xr，Xs)表示判别网络的输出结果，E[*]表示分布函数期望值，pdata(*)表示真实样本的分布；
对抗目标函数为G*＝minGmaxDLadv(G，D)，其中，minGmaxD表示使分割网络最小化、判别网络最大化；
所述分割网络的损失函数为
所述生成对抗网络训练的损失函数为Ltotal＝G*+γLseg(G)，其中，γ为权重系数。
10.根据权利要求9所述的基于生成对抗网络的胃病变分割系统，其特征在于，所述生成对抗训练模块进行生成对抗网络训练过程中，对所述判别网络和分割网络进行交替迭代训练过程中，在训练判别网络过程中，固定所述分割网络的参数，使D(Xr，Xs)最大化、使D(Xr，G(Xr))最小化，以更新所述判别网络的参数；
在训练所述分割网络过程中，固定所述判别网络的参数，使D(Xr，G(Xr))最大化，以更新所述分割网络的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111574420.7A CN114266786B (zh) | 2021-12-21 | 2021-12-21 | 基于生成对抗网络的胃病变分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111574420.7A CN114266786B (zh) | 2021-12-21 | 2021-12-21 | 基于生成对抗网络的胃病变分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114266786A true CN114266786A (zh) | 2022-04-01 |
| CN114266786B CN114266786B (zh) | 2024-09-13 |
Family
ID=80828328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111574420.7A Active CN114266786B (zh) | 2021-12-21 | 2021-12-21 | 基于生成对抗网络的胃病变分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266786B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897782A (zh) * | 2022-04-13 | 2022-08-12 | 华南理工大学 | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 |
| CN115359066A (zh) * | 2022-10-24 | 2022-11-18 | 岱川医疗(深圳)有限责任公司 | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 |
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
| CN115938546A (zh) * | 2023-02-21 | 2023-04-07 | 四川大学华西医院 | 一种早期胃癌图像合成方法、系统、设备及存储介质 |
| CN117611828A (zh) * | 2024-01-19 | 2024-02-27 | 云南烟叶复烤有限责任公司 | 一种基于高光谱图像分割技术的非烟杂物检测方法 |
| WO2024098379A1 (zh) * | 2022-11-11 | 2024-05-16 | 深圳先进技术研究院 | 一种基于扩张残差网络的全自动心脏磁共振成像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112151153A (zh) * | 2020-10-23 | 2020-12-29 | 脉得智能科技(无锡)有限公司 | 一种基于生成对抗网络的胃镜图像生成方法 |
| CN112396674A (zh) * | 2020-10-21 | 2021-02-23 | 浙江工业大学 | 一种基于轻量生成对抗网络的快速事件图像填补方法及系统 |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113768523A (zh) * | 2021-11-11 | 2021-12-10 | 华南理工大学 | 基于对抗生成网络的二便预警方法与系统 |
-
2021
- 2021-12-21 CN CN202111574420.7A patent/CN114266786B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396674A (zh) * | 2020-10-21 | 2021-02-23 | 浙江工业大学 | 一种基于轻量生成对抗网络的快速事件图像填补方法及系统 |
| CN112151153A (zh) * | 2020-10-23 | 2020-12-29 | 脉得智能科技(无锡)有限公司 | 一种基于生成对抗网络的胃镜图像生成方法 |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113768523A (zh) * | 2021-11-11 | 2021-12-10 | 华南理工大学 | 基于对抗生成网络的二便预警方法与系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897782A (zh) * | 2022-04-13 | 2022-08-12 | 华南理工大学 | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 |
| CN114897782B (zh) * | 2022-04-13 | 2024-04-23 | 华南理工大学 | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 |
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
| CN115359066A (zh) * | 2022-10-24 | 2022-11-18 | 岱川医疗(深圳)有限责任公司 | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 |
| CN115359066B (zh) * | 2022-10-24 | 2022-12-27 | 岱川医疗(深圳)有限责任公司 | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 |
| WO2024098379A1 (zh) * | 2022-11-11 | 2024-05-16 | 深圳先进技术研究院 | 一种基于扩张残差网络的全自动心脏磁共振成像分割方法 |
| CN115938546A (zh) * | 2023-02-21 | 2023-04-07 | 四川大学华西医院 | 一种早期胃癌图像合成方法、系统、设备及存储介质 |
| CN117611828A (zh) * | 2024-01-19 | 2024-02-27 | 云南烟叶复烤有限责任公司 | 一种基于高光谱图像分割技术的非烟杂物检测方法 |
| CN117611828B (zh) * | 2024-01-19 | 2024-05-24 | 云南烟叶复烤有限责任公司 | 一种基于高光谱图像分割技术的非烟杂物检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114266786B (zh) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| Ribeiro et al. | Colonic polyp classification with convolutional neural networks | |
| CN111667489B (zh) | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 | |
| Skourt et al. | Lung CT image segmentation using deep neural networks | |
| CN114266786A (zh) | 基于生成对抗网络的胃病变分割方法及系统 | |
| CN108171232B (zh) | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 | |
| Byra et al. | Early prediction of response to neoadjuvant chemotherapy in breast cancer sonography using Siamese convolutional neural networks | |
| Roth et al. | A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations | |
| CA3067824A1 (en) | System, method, and computer-accessible medium for virtual pancreatography | |
| Li et al. | Automatic lumbar spinal MRI image segmentation with a multi-scale attention network | |
| Ashwin et al. | Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN112700461B (zh) | 一种肺结节检测和表征类别识别的系统 | |
| CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
| Ma et al. | Deep learning for classification and localization of early gastric cancer in endoscopic images | |
| Noor et al. | GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images | |
| CN115223193B (zh) | 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 | |
| Liu et al. | Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning | |
| CN113256561A (zh) | 一种基于无归一化深度残差与注意力机制的肠道病灶辅助诊断方法 | |
| Qayyum et al. | Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging | |
| CN112017208A (zh) | 一种基于深度学习的多细胞球识别与分类方法 | |
| CN115457061A (zh) | 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 | |
| Sowparnika et al. | Innovative method for detecting liver cancer using auto encoder and single feed forward neural network | |
| Yao et al. | PointNu-Net: Keypoint-Assisted Convolutional Neural Network for Simultaneous Multi-Tissue Histology Nuclei Segmentation and Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |