CN114708278A - 一种基于cgan的新冠肺炎ct图像分割方法 - Google Patents

Abstract

本发明公开了一种基于CGAN的新冠肺炎CT图像分割方法，属于深度学习的医学图像处理领域。主要解决现有方法对新冠肺炎CT图像病灶区域分割效率低，分割准确度差的问题。其方案是：获取新冠肺炎患者的CT图像数据进行数据预处理；使用改进后的DeepLabV3+网络作为生成器，降低网络参数量、提升训练速度；构建了一个包含6层全卷积层的马尔可夫判别器，可以聚焦图像局部细节特征。通过生成器与判别器不断对抗训练，使得生成器最终生成的分割图像能够无限接近标准分割图像。本发明能有效避免模型分割过程中出现细节丢失的问题，提高对病灶区域边缘分割效果；并且大大降低网络参数量，提升了模型整体分割效率，可用于新冠肺炎CT图像的病灶识别。

Description

一种基于CGAN的新冠肺炎CT图像分割方法

技术领域

本发明属于深度学习的医学图像处理领域，具体涉及新冠肺炎CT图像分割准确度和 分割性能提升问题，提出了一种基于CGAN的新冠肺炎CT图像分割方法。

背景技术

新型冠状病毒肺炎(COVID-19)可通过人与人之间的直接接触、接触带有病毒的物体和气溶胶的方式进行传播。通过对人体的肺部进行入侵，造成肺部感染。大多数症状为咳嗽、感冒和发烧，少部分可无明显症状或仅表现为轻微腹泻、神经系统症状等。是一种 传播性极强、感染率极高的流行性疾病，自出现后，迅速在局部地区传播并扩散至全世界， 严重威胁人类生命健康，同时给全球带来巨大的经济损失。目前诊断COVID-19的方法通 常采用逆转录聚合酶链反应(RT-PCR)或基因测序。然而，由于样本收集和运输的局限 性以及试剂盒性能的局限性，据统计，初次鼻咽拭子、口咽拭子样本的RT-PCR总阳性率 约为30％—60％，需要重复检测才能准确诊断，从而造成许多COVID-19患者可能未被及 时确诊并接受治疗。鉴于COVID-19的高传染性，此类患者会增加更多人群感染的风险。

计算机断层扫描(CT)技术具有简便、快捷、显示肺部病变敏感和适于动态观察等优 势，因此在COVID-19的诊断以及疾病监测中起着非常重要的作用。医生可通过查看患者的CT图像，诊断患者肺部是否已感染COVID-19。然而感染初期的肺部玻璃结节在CT影 像图中特征不明显，需要经验丰富的医生才能准确识别并标定出感染区域。此外， COVID-19具有传播速度快、影响范围广的特点，根据每位患者一次胸部CT发生400张 影像计算，医生肉眼阅片需要花费5-10分钟，在疫情爆发期间，每天会产生大量的肺部 CT图像，造成短期内医疗资源压力的巨大上升。为了辅助医生进行COVID-19的快速诊 断，进而提高工作效率，减轻医生的工作负担，同时减少人为误诊、漏诊现象的发生，利 用人工智能手段，研究针对COVID-19患者CT图像病变区域自动分割的方法对于疾病识 别和防控有着重要意义。

近年来，学者们针对COVID-19病变区域的自动分割提出了大量方法，如xu等人提出 了深度学习结合影像组学的胸部CT新冠肺炎智能诊断模型，利用基于深度学习的AI模型 实现肺炎病灶的自动分割，从每一帧图像的病灶区域中提取影像组学特征，最终建立影像 组学模型。song等人提出了一种改进U-Net的新冠肺炎图像分割方法，在编码器中运用预 训练好的网络对有效信息进行特征提取，在解码器中将传统的上采样操作换成一种基于数 据依赖的新型上采样结构，以此来充分获取病灶边缘的细节特征信息，提高分割精度。尽 管已经有一些深度学习方法为诊断新冠肺炎和肺部病变区域分割提供帮助，但是总体上效 果仍然不够理想。因为实际新冠肺炎CT切片感染病灶的大小和位置在时刻变化，目标病 灶区具有很多无关特征，磨玻璃区域边界通常对比度低且外观模糊难以识别，从而造成模 型分割效果差，适应能力弱。此外，现有的方法大部分都采用深度卷积神经网络，网络参 数量巨大，总体分割时间较长，导致模型自动分割效率低，鲁棒性较差。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于CGAN的新冠肺炎CT图像分割方法，该方法不仅能解决新冠肺炎病变区域分割适应性差的问题，而且在分割精度和运行速度上能达到理想效果。

为了实现上述目的，本发明的一种基于CGAN的新冠肺炎CT图像分割方法，具体包括如下步骤：

(1)数据集预处理：

(1a)将获取到的新冠肺炎CT图像统一裁剪成512×512×3大小，通过镜像、旋转方式使数据集扩增到一定规模；

(1b)采用中值滤波算法去除CT胸片在设备成像过程中由于肺部各种组织器官的差 异以及量子统计涨落产生的椒盐噪点；

(1c)采用伽马变换的方式对CT胸片进行灰度值校正，增强肺部CT图像对比度，提升图像细节；

(2)将预处理后的数据集按照3：1：1的比例随机划分训练集、测试集和验证集；

(3)构建基于Deeplabv3+网络的生成器：

(3a)采用mobilenetv2网络代替原始xception网络作为Deeplabv3+模型的backbone；

(3b)采用基于神经架构搜索的密集预测单元代替原始空间金字塔池化(ASPP)结构； 通过搜索370个GPU上的2.8×10⁴个密集预测单元，得到了一种最优的DPC架构，它在多个数据集的特征提取表现上均优于ASPP模型；

(3c)在mobilenetv2网络和DPC架构之间加入由通道注意力机制和空间注意力机制 串联后所构成的CBAM模块；

(4)构建基于PatchGAN的判别器：

(4a)设计6层全卷积层的卷积神经网络，除最后一层卷积层外，其余卷积层每层包括批标准化以及LeakyReLU激活函数，每个卷积核大小为3×3，中间各层卷积步长为2， 最后一层步长为1，中间层的特征通道数分别为6，64，128，256，512；

(4b)对于最后的输出层，利用Sigmoid激活函数确保生成的数据值均约束于(0,1)；

(5)目标函数设置：

(5a)CGAN网络的优化过程是找到生成器和判别器之间的纳什均衡，目标函数可以表示为：L_cGAN(D,G)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]

其中x为输入的新冠肺炎CT原始图像，y为人工分割的标注图像，函数D(x，y)表示判别器中输入图像来自人工标注的概率，D(x，G(x))表示判别器中输入图像来自生成器的概率；

(5b)整个模型的优化方向是最大化判别器能够正确鉴定出图像是来源于生成器生成 的图像还是人工标注的图像的概率，同时最小化生成器生成出来的样本数据被判别器鉴别 出来的概率。目标函数可以表示为：

(5c)为了使生成器生成的分割图像能够更加接近人工标注的标准分割图像，在损失 函数中加入L1距离，公式为：L_L1(G)＝E_x,y[y-G(x,y)]

(5d)将CGAN的目标函数和L1距离损失函数结合起来，设置λ＝100，用来平衡两个函数的值，新的目标函数可以表示为：L^*＝G^*+λL_L1(G)

(6)对基于CGAN的新冠肺炎CT图像分割网络进行训练：

(6a)设置训练最大迭代次数为100，网络在反向传播过程中的参数学习使用Adam优 化器(β1＝0.5，β2＝0.99，ε＝1e-7)，学习率lr＝0.001，mini-batch＝1；

(6b)固定生成器，保持分割网络的模型参数不变，训练判别器；

(6c)固定判别器，保持判别网络的模型参数不变，训练生成器；

(6d)对训练集样本中的所有样本都重复(6b)和(6c)的步骤，完成一次训练。通 过多次训练，反复优化，当生成器生成的样本图像被判别器鉴别为人工标注的图像时结束 训练；

(7)将测试集输入到(6d)训练好的网络中，得到测试集的分割结果和模型分割性能 评价指标。

附图说明

附图仅为更加充分的说明本发明的流程，并不构成对本发明范围的限制。

图1为本发明方法的实现流程图；

图2为本发明对新冠肺炎CT图像进行扩增、去噪和增强的效果图；

图3为本发明提出的基于Deeplabv3+生成器网络结构图；

图4为本发明提出的基于PatchGAN判别器网络结构图；

图5为本发明提出的基于CGAN的新冠肺炎CT图像分割模型总体网络结构图；

图6为本发明方法和现有医学图像分割方法对新冠肺炎CT图像病灶区域分割效果对 比图；

具体实施方案

下面结合附图对本发明的实施例和效果作进一步详细描述。

参见图1，本发明的具体实现步骤包括如下：

步骤1，数据集预处理。

1.1)由于获取到的新冠肺炎CT图像来自不同的医院和渠道，图像尺寸大小不一且数 据量稀缺，不足以支撑后续模型的训练，因此先将原始图像统一裁剪成512×512×3大小， 再通过镜像、旋转的方式使数据集扩增到一定规模，从而提升模型的适应能力，避免训练 过程中发生过拟合现象，图片扩增效果如图2(a)所示；

1.2)由于肺部存在着肺泡、肺泡壁、血管、支气管、结缔组织和空气，这些组织对于X射线的衰减系数不同，因此成像后在CT图像上会出现点型或者颗粒型的孔洞，类似于 椒盐噪声，本发明采用中值滤波方法对肺部CT图像中的椒盐噪声进行去噪处理：

g(x,y)＝Median_W{f(i,j)}

其中W表示滤波窗口，f(i，j)是像素的灰度值，g(x，y)是中值滤波后肺部CT影像的像素灰度值，Median_W{.}表示取窗口W内的值，本方法使用的窗口大小为3×3，去噪处 理后的效果如图2(b)所示；

1.3)由于肺部CT胸片存在与其他组织对比度不高，暗部与亮部两部分细节不突出的 问题，因此采用伽马变换的方式对CT胸片进行灰度值校正，将灰度值不符的图片进行变换，变换原理是对原图像上每一个像素值做乘积运算，变换函数为：

其中A为灰度缩放系数，用于拉伸图像灰度通常取值为1，V_in为输入灰度级，V_out为输出灰度级，γ为灰度变换系数，当γ＞1时，对图像灰度直方图具有拉伸效果，使得灰 度向高灰度值延伸；当γ＜1时，对图像灰度直方图具有收缩作用，使得图像灰度向低灰 度值方向靠拢，经过多次试验后，当γ取1.5效果最好，增强对比度后的效果如图2(c) 所示；

步骤2，将预处理后的数据集按照3：1：1的比例随机划分训练集、测试集和验证集。

步骤3，构建基于Deeplabv3+网络的生成器，网络结构图如图3所示。

3.1)原始的Deeplabv3+模型中使用的骨干网络是改进后的xception网络，但该网络参 数量多，计算量大，训练速度慢。本发明采用mobilenetv2轻量级骨干网络进行网络压缩， 减少网络参数量，提升训练速度，无需较高的硬件资源要求。

3.2)由于本发明采用了mobilenetv2网络作为Deeplabv3+模型的backbone，在降低网 络参数量的同时，会造成模型对于图像特征处理性能的下降。因此本发明在mobilenetv2 网络输出端加入由通道注意力机制和空间注意力机制串联后所构成的CBAM模块，在提 升模型稳定性的同时，使得肺部CT图像特征的提取更关注于目标物体本身。

3.3)采用基于神经架构搜索的密集预测单元代替原始的ASPP结构。通过搜索370个 GPU上的2.8×10⁴个密集预测单元，得到了一种最优的DPC架构，它在多个数据集的特征提取表现上均优于ASPP模型。该架构包括5个大小为3×3的卷积，采样率分别为6× 3、18×15、6×21、1×1、1×6。

步骤4，构建基于PatchGAN网络的判别器，网络结构图如图4所示。

4.1)设计6层全卷积层的卷积神经网络，除最后一层卷积层外，其余卷积层每层包括 批归一化层以及LeakyReLU激活函数，每个卷积核大小为3×3，中间各层卷积步长为2，最后一层步长为1，中间层的特征通道数分别为6，64，128，256，512；

4.2)对于最后的输出层，利用Sigmoid激活函数确保生成的数据值均约束于(0,1)。 假设输入尺寸为512×512×3，数据经过第一层卷积后进行批标准化和激活函数处理，得 到尺寸为256×256×6的特征图，然后经过剩下的卷积操作，最终的分类输出是一个16×16×1的特征图。

步骤5，目标函数设置。

5.1)CGAN网络的优化过程是找到生成器和判别器之间的纳什均衡，目标函数可以表 示为：L_cGAN(D,G)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]

其中x为输入的新冠肺炎CT原始图像，y为人工分割的标注图像，函数D(x，y)表示判别器中输入图像来自人工标注的概率，D(x，G(x))表示判别器中输入图像来自生成器的概率；

5.2)整个模型的优化方向是最大化判别器能够正确鉴定出图像是来源于生成器生成的 图像还是人工标注的图像的概率，同时最小化生成器生成出来的样本数据被判别器鉴别出 来的概率。目标函数可以表示为：

5.3)为了使生成器生成的分割图像能够更加接近人工标注的标准分割图像，在损失函 数中加入L1距离，公式为：L_L1(G)＝E_x,y[y-G(x,y)]

5.4)将CGAN的目标函数和L1距离损失函数结合起来，设置λ＝100，用来平衡两个函数的值，新的目标函数可以表示为：L^*＝G^*+λL_L1(G)

步骤6，参见图5，对基于CGAN的新冠肺炎CT图像分割网络进行训练。

(6a)设训练最大迭代次数为100，网络在反向传播过程中的参数学习使用Adam优化 器(β1＝0.5，β2＝0.99，ε＝1e-7)，学习率lr＝0.001，mini-batch＝1；

(6b)固定生成器，保持分割网络的模型参数不变，训练判别器。之所以进行单独训练，主要目的是使判别模型具备分辨真假图像的能力，训练过程具体如下：

将原始图像x和真实标签图像y同步输入到判别网络D中，因为已确定输入为真实样 本标签，因此计算其损失函数时标签应该为真，即判别网络D理论上输出的结果为“1”。通过比较判别网络D实际输出结果与理论输出结果“1”之间的差值，再采用反向传播算 法对判别网络进行更新。

将原始图像x输入到生成网络G中，并得到生成网络G输出的生成图像G(x)，将图像x和图像G(x)同时输入到判别网络D中，因为已确定输入为假样本标签，因此计算其 损失函数时标签应该为假，即判别网络D理论上输出的结果应该为“0”。通过比较判别 网络D实际输出结果与理论输出结果“0”之间的差值，再采用反向传播算法对判别网络 进行更新。

(6c)固定判别器，保持判别网络的模型参数不变，训练生成器。训练的目的地让生成器对于输入的原始图像，通过分割网络，能够生成一张分割准确精细的分割图像，这张分割图像看起来足够以假乱真，使判别器不能将它和标记图像区分出来，训练过程具体如下：

将原始图像输入到生成网络G中，生成分割图像G(x)，之后计算G(x)与真实标签图像y的L1距离损失函数值。

将分割图像G(x)与原始图像x输入到判别器网络D中，判别器网络经过训练后具备一 定的辨别真假的能力，所以它的损失函数值能反应分割图像G(x)与标记图像的相似程度。

结合分割图像与标记图像的空间距离和判别器网络输出的相似程度，然后反向传播更 新生成器G的参数。

(6d)对训练集样本中的所有样本都重复(6b)和(6c)的步骤，完成一次训练。通 过多次训练，反复优化权重，当生成器生成的样本图像被判别器鉴别为人工标注的图像时 结束训练。

步骤7，将步骤2中划分的测试集输入到步骤6中训练完成的基于CGAN的新冠肺炎CT图像分割模型，得到测试集的分割结果和模型分割性能评价指标。

下面通过实验结果分析，来说明本发明的优势和可行性。

本发明的实验环境是Ubuntu18.04操作系统，配置为Intel i7-9700k，睿频4.9GCPU， 以及NVIDIA RTX A6000 GPU，使用Pytorch深度学习框架，开发语言为Python。

如图6所示，分别用本发明方法和现有的医学图像分割方法对新冠肺炎患者的CT图 像进行分割，选取3个不同的CT图像分割效果图进行对比。图(a)是输入模型的肺部原始CT图像，图(b)是医生标注的肺部磨玻璃轮廓金标准，图(c)是使用本发明方法对 肺部磨玻璃分割的结果，图(d)是使用U-net网络分割的结果，图(e)是使用Deeplabv3+ 网络分割的结果。由图6可以看出，几种方法对于磨玻璃的细节均有漏分和过多分割的现 象，当病灶区域简单清晰时，三种方法均能得到较为准确的分割结果，其中本发明方法最 接近肺部磨玻璃轮廓金标准；当病灶区域较复杂时，本方法能得到准确的分割结果，但其 余两种方法对于病灶边缘区域分割较为模糊，出现过多分割的现象，其中Deeplabv3+网络 分割效果最差；当病灶区域较大且含有小目标病灶时，本发明方法仍能得到准确的分割结 果，但其余两种方法均有不同程度的细节丢失以及漏分的现象。

为了进一步验证本发明方法的有效性，分别计算本发明方法和现有医学图像分割方法 对新冠肺炎患者的CT图像分割的定量指标，结果如表1。

表1

表1中MIoU表示平均交并比，MPA表示平均像素精度。由表1可以看出，本发明方 法对于新冠肺炎患者CT图像病灶区域分割的平均交并比和平均像素精度指标均高于现有 方法，说明本发明方法具有较好的分割效果；同时，本发明方法对于单张图片处理时间约 为0.116s，低于现有方法的处理时间，说明本发明方法运行效率较高。

综上，通过实验对比证明了本发明方法能够有效避免模型分割过程中出现细节丢失的 问题，提高对病灶区域边缘分割效果；同时大大降低了网络参数量，提升模型整体分割效 率，可用于新冠肺炎CT图像的病灶识别。

Claims (1)

1.一种基于CGAN的新冠肺炎CT图像分割方法，其特征包括：

(1)数据集预处理：

(1a)将获取到的新冠肺炎CT图像统一裁剪成512×512×3大小，通过镜像、旋转方式使数据集扩增到一定规模；

(1b)采用中值滤波算法去除CT胸片在设备成像过程中由于肺部各种组织器官的差异以及量子统计涨落产生的椒盐噪点；

(1c)采用伽马变换的方式对CT胸片进行灰度值校正，增强肺部CT图像对比度，提升图像细节；

(2)将预处理后的数据集按照3：1：1的比例随机划分训练集、测试集和验证集；

(3)构建基于Deeplabv3+网络的生成器：

(3a)采用mobilenetv2网络代替原始xception网络作为Deeplabv3+模型的backbone；

(3b)采用基于神经架构搜索的密集预测单元代替原始空间金字塔池化(ASPP)结构；通过搜索370个GPU上的2.8×10⁴个密集预测单元，得到了一种最优的DPC架构，它在多个数据集的特征提取表现上均优于ASPP模型；

(3c)在mobilenetv2网络和DPC架构之间加入由通道注意力机制和空间注意力机制串联后所构成的CBAM模块。

(4)构建基于PatchGAN的判别器：

(4a)设计6层全卷积层的卷积神经网络，除最后一层卷积层外，其余卷积层每层包括批标准化以及LeakyReLU激活函数，每个卷积核大小为3×3，中间各层卷积步长为2，最后一层步长为1，中间层的特征通道数分别为6，64，128，256，512；

(4b)对于最后的输出层，利用Sigmoid激活函数确保生成的数据值均约束于(0,1)。

(5)目标函数设置：

(5a)CGAN网络的优化过程是找到生成器和判别器之间的纳什均衡，目标函数可以表示为：L_cGAN(D,G)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]

其中x为输入的新冠肺炎CT原始图像，y为人工分割的标注图像，函数D(x，y)表示判别器中输入图像来自人工标注的概率，D(x，G(x))表示判别器中输入图像来自生成器的概率；

(5b)整个模型的优化方向是最大化判别器能够正确鉴定出图像是来源于生成器生成的图像还是人工标注的图像的概率，同时最小化生成器生成出来的样本数据被判别器鉴别出来的概率，目标函数可以表示为：

(5c)在损失函数中加入L1距离，公式为：L_L1(G)＝E_x,y[y-G(x,y)]

(5d)将CGAN的目标函数和L1距离损失函数结合起来，设置λ＝100，用来平衡两个函数的值，新的目标函数可以表示为：L^*＝G^*+λL_L1(G)

(6)对基于CGAN的新冠肺炎CT图像分割网络进行训练：

(6a)设置训练最大迭代次数为100，网络在反向传播过程中的参数学习使用Adam优化器(β1＝0.5，β2＝0.99，ε＝1e-7)，学习率lr＝0.001，mini-batch＝1；

(6b)固定生成器，保持分割网络的模型参数不变，训练判别器；

(6c)将原始图像x和真实标签图像y同步输入到判别网络D中，因为已确定输入为真实样本标签，因此计算其损失函数时标签应该为真，即判别网络D理论上输出的结果为“1”，通过比较判别网络D实际输出结果与理论输出结果“1”之间的差值，再采用反向传播算法对判别网络进行更新；

(6d)将原始图像x输入到生成网络G中，并得到生成网络G输出的生成图像G(x)，将图像x和图像G(x)同时输入到判别网络D中，因为已确定输入为假样本标签，因此计算其损失函数时标签应该为假，即判别网络D理论上输出的结果应该为“0”，通过比较判别网络D实际输出结果与理论输出结果“0”之间的差值，再采用反向传播算法对判别网络进行更新；

(6e)固定判别器，保持判别网络的模型参数不变，训练生成器；

(6f)将原始图像输入到生成网络G中，生成分割图像G(x)，之后计算G(x)与真实标签图像y的L1距离损失函数值；

(6g)将分割图像G(x)与原始图像x输入到判别器网络D中，判别器网络经过训练后具备一定的辨别真假的能力，所以它的损失函数值能反应分割图像G(x)与标记图像的相似程度；

(6h)结合分割图像与标记图像的空间距离和判别器网络输出的相似程度，然后反向传播更新生成器G的参数；

(6i)对训练集样本中的所有样本都重复(6b)和(6c)的步骤，完成一次训练。通过多次训练，反复优化，当生成器生成的样本图像被判别器鉴别为人工标注的图像时结束训练。

(7)将测试集输入到(6)训练好的网络中，得到测试集关于新冠肺炎病灶区域的分割结果以及分割性能评价指标MIoU和MPA。

Images