CN111932559B - 基于深度学习的新冠肺炎肺部病灶区域分割系统 - Google Patents

Abstract

本发明提供了基于深度学习的新冠肺炎肺部病灶区域分割系统，其特征在于，包括：数据获取部用于获取CT断层影像；数据预处理部根据HU值对CT断层影像进行预处理，得到待分割肺部影像；图像分割模型部利用预先训练好的图像分割模型直接对待分割肺部影像进行分割得到肺部病灶区域并输出；画面存储部用于存储肺部病灶区域画面；显示部用于显示肺部病灶区域画面以及肺部病灶区域。本系统可以精准地将肺部病灶区域从肺部区域中分割出来，完成COVID‑19感染区域轮廓的快速自动勾画，便于在现场应用中定性评估疾病，节省了大量人力与时间，同时提高了对COVID‑19疑似病患的诊断准确率，降低假阴性概率较高。

Description

基于深度学习的新冠肺炎肺部病灶区域分割系统

技术领域

本发明属于计算机视觉分析技术领域，具体涉及一种基于深度学习的新冠肺炎肺部病灶区域分割系统。

背景技术

目前，新冠肺炎疫情(简称COVID-19)正日益严重，而每个COVID-19疑似病例都需要通过痰液的实时聚合酶链反应(RT-PCR)分析来确认。尽管这是诊断的金标准，但在许多国家/地区使用RT-PCR确认每个疑似COVID-19病例非常耗时，而且其假阴性概率较高。

另外，从收集到的COVID-19患者胸部计算机断层扫描影像(CT)中可以明显看出肺部双侧多灶性斑块状合并或玻璃样混浊(GGO)等特征，因此，将上述特征作为COVID-19筛查中的重要补充指标。

虽然，CT提供了丰富的胸部成像信息，但是由于缺乏精确量化肺部病灶区域及其纵向变化的计算机化工具，CT仅在放射学报告中提供了定性评估。所以在定性评估前先勾画出胸部CT中的感染区域轮廓是十分必要的。但是在实际应用中，手动绘制感染区域轮廓是一项繁琐且耗时的工作，并且手动绘制的感染区域轮廓与实际感染区域不一致时会导致随后的定性评估存在较大差异。因此，在定性评估COVID-19疑似病例的实际应用中，迫切需要一种用于将感染区域轮廓快速自动勾画出来的工具来为COVID-19疑似病例的定性评估提供有效的基础。

近年来，深度学习因其高精确度而在视觉领域中得到广泛应用。深度学习为了得到精确的目标结果，一般需要大量的数据及目标标签进行训练。而对于深度学习中图像分割这类像素级别的任务，训练过程中对于像素级别的目标标签的标注需要耗费大量的人力以及时间，造成图像分割任务进程缓慢。

目前，文献[1]提出了基于弱监督的图像分割方法为先利用图片在经过分类器过程中产生的特征图与全连接层相乘后相加得到一张类别感应的注意力图CAM(ClassActivation Mapping)，然后利用CAM获取目标类别所在的区域。但是由于CAM产生的分割图较粗糙，文献[2]提出了三个弱监督的基本原则，即1)先对分割物体进行定位2)根据正负样本对区域进行扩张3)限制分割的物体的边界，使其不会越界。但是该方法在实际应用中，定位到的位置十分小，该位置信息不能直接作为监督信息。

[1]B.Zhou,A.Khosla,L.A.,A.Oliva,and A.Torralba.Learning Deep Featuresfor Discriminative Localization.In CVPR,2016.2,3,4,5

[2]A.Kolesnikov and C.H.Lampert,"Seed expand and constrain:Threeprinciples forweakly-supervised image segmentation",Proc.14thEur.Conf.Comput.Vis.,pp.695-711,2016.

发明内容

为解决上述问题，本发明提供了一种能够将新冠肺炎肺部病灶区域从肺部区域精准分割出来的图像分割弱监督方法，本发明采用了如下技术方案：

本发明提供了一种基于深度学习的新冠肺炎肺部病灶区域分割系统，用于将CT断层影像中的肺部病灶区域从肺部区域中分割出来，其特征在于，包括：数据获取部，用于获取CT断层影像；数据预处理部，根据HU值对CT断层影像进行预处理，得到待分割肺部影像；图像分割模型部，利用预先训练好的图像分割模型直接对待分割肺部影像进行分割得到肺部病灶区域并输出；画面存储部，用于存储肺部病灶区域画面；以及显示部，用于显示肺部病灶区域画面以及肺部病灶区域，其中，图像分割模型的训练过程包括如下步骤：步骤S1，收集不同患者与健康人员的待训练CT断层影像；步骤S2，根据HU值对待训练CT断层影像进行预处理，得到待训练肺部影像；步骤S3，搭建原始二分类器以及分割网络；步骤S4，将待训练肺部影像输入原始二分类器进行训练与优化，直到原始二分类器收敛得到二分类器；步骤S5，在原始二分类器中获取待训练肺部影像通过原始二分类器的第3个模块的卷积层时产生的二维梯度特征图；步骤S6，对二维梯度特征图中的每个点进行升序排列，得到排序表；步骤S7，在排序表中按照预定比例将前面的点对应的肺部影像的像素点作为背景像素点，按照预定比例将倒数的点对应的肺部影像的像素点作为前景像素点；步骤S8，将待训练肺部影像输入分割网络并基于作为正负样本的前景像素点以及背景像素点对分割网络进行优化，直到分割网络收敛得到图像分割模型。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，步骤S4还包含二分类器的优化过程，该优化过程用于学习一个稀疏化的网络参数W，从而获取对输入感应强的参数，最终达到特征选择的作用，优化过程具体如下：首先，优化网络整体的损失函数：

式中，Γ为一个与W大小相同且用于约束W的参数，

为包含W和Γ的损失函数，

为只包含W的原始损失函数(即交叉熵)，n为训练样本数量，v>0,用来权衡W和Γ的距离，其次：

式中，t为优化过程中的第t步(t>0且t<总优化次数)，W_t为第t步时的网络参数，V是

的次微分，其中λ为超参数，

用来约束Γ的稀疏性，к为大于0的衰减参数，

是对

求偏导，上述求偏导和次微分使用了LBI来对网络进行梯度下降优化，具体LBI算法如下：

式中，V₀＝Γ₀＝0，W₀高斯随机初始化，k为优化过程中的第k步，α_k为第k步优化过程的学习率，Ω₁(Γ)＝Σ_g||Γ_g||₂，而

|Γ^g|表示当前层第g组Γ^g的参数数量，g在卷积层中表示为卷积层组个数，g在全连接层中表示为所有连接点的个数。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，步骤S8中分割网络优化是指对正负样本的像素点根据公式(4)进行损失函数计算：

式中，T为二分类器，S_c为对应类别像素点集合，X为待训练肺部影像，f(X)为分割网络，c为T中选择的0或1分类，u为对应类别像素点，并对每个包含正负样本的像素点计算交叉熵，然后根据交叉熵进行反向传播更新分割网络。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，分割网络为U-Net分割网络。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，二分类器为LeNet、VGG、ResNet中的任意一种。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，预处理根据HU值对CT断层影像进行预处理是指仅保留肺部HU值，将非肺部HU值全部置0。

本发明提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，还可以具有这样的技术特征，其中，预定比例是百分之八。

发明作用与效果

根据本发明的基于深度学习的新冠肺炎肺部病灶区域分割系统，由于将使用了图像级别弱标签的肺部影像作为图像分割模型部的输入，因此相较于传统的使用像素级别标签作为图像分割任务的输入而言，可以节省大量的人力物力，不需要对肺部影像中的每个像素点进行标注。

还由于利用二分类器产生的梯度图选出适合分割网络的正负样本，从而提高了图像分割模型的精度。

又由于对二分类器进行特征稀疏化，从而约束了特征选择，使得二分类器对肺部病灶区域定位更加精准。

再由于对特征稀疏化后的二分类器进行特征选择优化，选出最能表示背景信息的背景像素点以及最能表示前景信息的前景像素点，从而提高图像分割模型的精准性，使得分割出来的肺部病灶区域更加清晰。

本发明的基于深度学习的新冠肺炎肺部病灶区域分割系统可以精准地将肺部病灶区域从肺部区域中分割出来，完成COVID-19感染区域轮廓的快速自动勾画，便于在现场应用中定性评估疾病，提高对COVID-19疑似病患的诊断准确率，降低假阴性概率较高。

附图说明

图1为本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的结构框图；

图2为本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的训练流程的示意图；以及

图3为本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的流程图。

具体实施方式

为了使本发明实现的技术手段、创造特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于深度学习的新冠肺炎肺部病灶区域分割系统作具体阐述。

<实施例>

图1是本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的结构框图。

如图1所示，基于深度学习的新冠肺炎肺部病灶区域分割系统100包括数据获取部101、数据预处理部102、图像分割模型部103、画面存储部104以及显示部105。

数据获取部101用来获取CT断层影像。

其中，CT断层影像可以是同一个病患的连续CT断层影像，也可以是同一个病患的任意一张CT断层影像。数据获取部101可以从存储有CT断层影像的设备中获取CT断层影像，也可以从CT断层影像扫描设备中直接获取CT断层影像。

本实施例中，数据获取部101直接从存储有CT断层影像的设备中获取CT断层影像。

本实施例中，CT断层影像为胸部CT断层影像。

数据预处理部102可以根据HU值对CT断层影像进行预处理，得到待分割肺部影像。

其中，HU值是一种表示人体某一局部组织或器官密度大小的计量单位，不同人体组织或器官拥有不同的HU值。并且由于CT断层影像中肺部区域HU值较背景边缘处差异较大，且背景区域会影响到肺部病灶区域的判断，所以数据预处理部102可以根据肺部区域HU值对CT断层影像进行预处理直接得到肺部影像。

本实施例中，仅保留肺部HU值，将非肺部HU值都置0，最后得到待分割肺部影像。

图像分割模型部103利用预先训练好的图像分割模型直接对待分割肺部影像进行分割得到肺部病灶区域并输出。

图2为本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的训练流程的示意图。

如图2所示，图像分割模型的训练过程包括如下步骤：

步骤S1，收集不同患者与健康人员的待训练CT断层影像(即图2中的收集CT数据)。

其中，待训练CT断层影像包括图像分割模型的训练集和测试集。

本实施例中，训练集经过专家判断是否包含肺部病灶区域并人工标注出是否包含肺部病灶区域，测试集中的肺部病灶区域经过专家手动分割，标注出像素级别的肺部病灶区域标签从而保证验证方法的有效性。

为了训练图像分割模型，共收集220个不同时期不同患者的胸部CT断层影像以及20个健康人员的胸部CT断层影像作为待训练CT断层影像。其中，随机抽选190个不同时期不同患者的胸部CT断层影像以及16个健康人员的胸部CT断层影像作为图像分割模型的训练集；余下的30个不同时期不同患者的胸部CT断层影像以及4个健康人员的胸部CT断层影像作为图像分割模型的测试集。

本实施例中，收集的待训练CT断层影像来自相同仪器，从而避免仪器差异带来的额外噪声。

步骤S2，根据HU值对待训练CT断层影像进行预处理，得到待训练肺部影像。

本实施例中，对待训练CT断层影像预处理主要包括：

1)将非肺部HU值置0，得到待训练肺部影像(如图2中的切片图片影像)；

2)计算每张待训练肺部影像在对应的整张待训练CT断层影像中的占比；

3)判断每个占比是否小于预定阈值，并在判断为小于时舍弃该占比对应的待训练肺部影像，判断为不小于时保留该占比对应的待训练肺部影像。

其中，预定阈值为0.0125。占比小于0.0125的待训练肺部影像对于图像分割模型的预测贡献度不大，因此选择直接舍弃。

本实施例中，待训练CT断层影像经过上述预处理后最后保留有12212张待训练肺部影像，其中，9912张待训练肺部影像属于训练集，2300张待训练肺部影像属于测试集。

本实施例中，考虑到分割网络U-Net在训练过程中会随机切割待训练肺部影像从而导致肺部病灶区域也会随机切割，因此对输入分割网络U-Net的待训练肺部影像进行更进一步的图像预处理——图像翻转。

步骤S3，搭建原始二分类器以及分割网络。

其中，二分类器可以是LeNet、VGG、ResNet等通用的分类深度学习框架中的任意一种。分割网络使用的是U-Net分割网络。

本实施例中，二分类器网络使用的是ResNet18，并因为一般肺部病灶区域较小，所以将ResNet18最后面的两个pooling层去除，使得修改后的ResNet18二分类器网络最后卷积层输出的特征图为原始图片的八分之一，从而避免失去过多局部特征。

步骤S4，将待训练肺部影像输入原始二分类器进行训练与优化，直到原始二分类器收敛得到二分类器。

其中，步骤S4还包含二分类器的优化过程，该优化过程用于学习一个稀疏化的网络参数W，从而获取对输入感应强的参数，最终达到特征选择的作用，优化过程具体如下：

首先，优化网络整体的损失函数：

式中，Γ为一个与W大小相同且用于约束W的参数，

为包含W和Γ的损失函数，

为只包含W的原始损失函数(即交叉熵)，n为训练样本数量，v>0,用来权衡W和Γ的距离。

其次：

式中，t为优化过程中的第t步(t>0且t<总优化次数)，W_t为第t步时的网络参数，V是

的次微分，其中λ为超参数，

用来约束Γ的稀疏性，к为大于0的衰减参数，

是对

求偏导。

上述求偏导和次微分使用了LBI来对网络进行梯度下降优化，具体LBI算法如下：

式中，V₀＝Γ₀＝0，W₀高斯随机初始化，k为优化过程中的第k步，α_k为第k步优化过程的学习率，Ω₁(Γ)＝Σ_g||Γ_g||₂，而

|Γ^g|表示当前层第g组Γ^g的参数数量，g在卷积层中表示为卷积层组个数，g在全连接层中表示为所有连接点的个数。

本实施例中，在ResNet18二分类器网络训练过程中引入LBI可以约束该网络参数W的稀疏化，使该网络在训练过程中保留对结果最关键的参数从而达到特征选择的作用。

本实施例中，二分类器最后输出含病灶的病灶区域像素点(即标签1)以及不含病灶的背景像素点(即标签0)。

本实施例中，ResNet18二分类器网络的学习率设置为0.01。

步骤S5，在原始二分类器中获取待训练肺部影像通过原始二分类器的第3个模块的卷积层时产生的二维梯度特征图(即图2中的CAM)。

本实施例中，每一个二维梯度特征图与每一张待训练肺部影像相互对应。

步骤S6，对二维梯度特征图中的每个点进行升序排列，得到排序表。

其中，每一个二维梯度图对应一张排序表，相应地每张待训练肺部影像对应一张排序表。

步骤S7，在排序表中按照预定比例将前面的点对应的肺部影像的像素点作为背景像素点，按照预定比例将倒数的点对应的肺部影像的像素点作为前景像素点。

其中，每一张排序表选取预定比例的像素点分别作为背景像素点以及前景像素点，相应地每张待训练肺部影像对应有背景像素以及前景像素点。

其中，步骤S6以及步骤S7即为图2中的正负样本采集。

其中，预定比例是指百分之八。

本实施例中，前景像素点是指肺部病灶区域的像素点，背景像素点是指肺部非病灶区域的像素点。

步骤S8，将待训练肺部影像输入分割网络并基于作为正负样本的前景像素点以及背景像素点对分割网络进行优化，直到分割网络收敛得到图像分割模型。

本实施例中，分割网络的学习率设置为0.01。

其中，步骤S8中分割网络优化是指对正负样本的像素点根据公式(4)进行损失函数计算：

式中，T为二分类器(0:背景像素；1:病灶区域像素)，S_c为对应类别像素点集合，X为待训练肺部影像，f(X)为分割网络，c为T中选择的0或1分类，u为对应类别像素点。并对每个包含正负样本的像素点计算交叉熵，然后根据交叉熵进行反向传播更新分割网络。

其中，待训练肺部影像与作为正负样本的前景像素点以及背景像素点相互对应。

本实施例中，利用图像分割模型对测试集进行测试得到测试结果，并通过医学图像分割评估系统Dice对测试结果进行评估，得到最终评分为55.65。

为了验证本发明的于深度学习的新冠肺炎肺部病灶区域分割系统的效果，本实施例基于相同训练集通过使用原始SGD优化器训练二分类器然后再训练分割网络U-Net直至模型收敛最后得到常用图像分割模型，并对相同测试集进行测试得到常用模型测试结果，最后通过医学图像分割评估系统Dice对常用测试结果进行评估，得到常用模型评分为51.66。

综上，本发明的图像分割模型的分割效果相较于常用模型的分割效果更好。

画面存储部104用于存储肺部病灶区域画面。

显示部105用于显示肺部病灶区域画面以及肺部病灶区域。

一旦图像分割模型输出肺部病灶区域，显示部105就显示肺部病灶区域画面以及肺部病灶区域，使得医生能够根据自动分割出来的肺部病灶区域快速精确地诊断。

图3为本发明实施例的基于深度学习的新冠肺炎肺部病灶区域分割系统的流程图。

如图3，基于深度学习的新冠肺炎肺部病灶区域分割系统包括如下步骤：

步骤T1，获取CT断层影像，然后进入步骤T2；

步骤T2，根据HU值对CT进行预处理，得到待分割肺部影像，然后进入步骤T3，

步骤T3，利用图像分割模型对待分割肺部影像进行分割得到肺部病灶区域，然后进入步骤T4；

步骤T4，显示肺部病灶区域，然后进入结束状态。

实施例作用与效果

根据上述实施例提供的基于深度学习的新冠肺炎肺部病灶区域分割系统，由于将使用了图像级别弱标签的肺部影像作为图像分割模型部的输入，因此相较于传统的使用像素级别标签作为图像分割任务的输入而言，节省大量的人力物力，不需要对肺部影像中的每个像素点进行标注。还由于利用二分类器产生的梯度图选出适合分割网络的正负样本，从而提高了图像分割模型的精度。又由于对二分类器进行特征稀疏化，从而约束了特征选择，使得分割系统对肺部病灶区域定位更加精准。还由于对特征稀疏化后的二分类器进行特征选择优化，选出最能表示背景信息的背景像素点以及最能表示前景信息的前景像素点，从而提高图像分割模型的精准性，使得分割出来的肺部病灶区域更加清晰。通过本发明的基于深度学习的新冠肺炎肺部病灶区域分割系统可以精准地将肺部病灶区域从肺部区域中分割出来，完成COVID-19感染区域轮廓的快速自动勾画，便于在现场应用中定性评估疾病，提高对COVID-19疑似病患的诊断准确率，降低假阴性概率较高。

另外，实施例中，由于训练分割网络时仅对正负样本的像素点进行损失函数计算并对每个包含正负样本的像素点计算交叉熵，从而减小了计算量，加快了初始图像分割模型的收敛速度。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

在上述实施例中，分割网络使用的是U-Net分割网络，本发明也可以使用其他分割网络进行替代。

Claims (5)

1.一种基于深度学习的新冠肺炎肺部病灶区域分割系统，用于将CT断层影像中的肺部病灶区域从肺部区域中分割出来，其特征在于，包括：

数据获取部，用于获取所述CT断层影像；

数据预处理部，根据HU值对所述CT断层影像进行预处理，得到待分割肺部影像；

图像分割模型部，利用预先训练好的图像分割模型直接对所述待分割肺部影像进行分割得到所述肺部病灶区域并输出；

画面存储部，用于存储肺部病灶区域画面；以及

显示部，用于显示所述肺部病灶区域画面以及所述肺部病灶区域，

其中，所述图像分割模型的训练过程包括如下步骤：

步骤S1，收集不同患者与健康人员的待训练CT断层影像；

步骤S2，根据HU值对所述待训练CT断层影像进行预处理，得到待训练肺部影像；

步骤S3，搭建原始二分类器以及分割网络；

步骤S4，将所述待训练肺部影像输入所述原始二分类器进行训练与优化，直到所述原始二分类器收敛得到二分类器；

步骤S5，在所述原始二分类器中获取所述待训练肺部影像通过所述原始二分类器的第3个模块的卷积层时产生的二维梯度特征图；

步骤S6，对所述二维梯度特征图中的每个点进行升序排列，得到排序表；

步骤S7，在所述排序表中按照预定比例将前面的点对应的所述肺部影像的像素点作为背景像素点，按照预定比例将倒数的点对应的所述肺部影像的像素点作为前景像素点；

步骤S8，将所述待训练肺部影像输入所述分割网络并基于作为正负样本的所述前景像素点以及背景像素点对所述分割网络进行优化，直到所述分割网络收敛得到所述图像分割模型，

其中，所述步骤S4还包含所述二分类器的优化过程，该优化过程用于学习一个稀疏化的网络参数W，从而获取对输入感应强的参数，最终达到特征选择的作用，所述优化过程具体如下：

首先，优化网络整体的损失函数：

式中，Γ为一个与W大小相同且用于约束W的参数，

为包含W和Γ的损失函数，

为只包含W的原始损失函数即交叉熵，n为训练样本数量，v>0,用来权衡W和Γ的距离，

其次：

式中，t为所述优化过程中的第t步，t>0且t<总优化次数，W_t为第t步时的网络参数，V是

的次微分，其中λ为超参数，

用来约束Γ的稀疏性，к为大于0的衰减参数，

是对

求偏导，

上述求偏导和次微分使用了LBI来对网络进行梯度下降优化，具体LBI算法如下：

式中，V₀＝Γ₀＝0，W₀高斯随机初始化，k为所述优化过程中的第k步，α_k为第k步优化过程的学习率，Ω₁(Γ)＝∑_g||Γ^g||₂，而

|Γ^g|表示当前层第g组Γ^g的参数数量，g在卷积层中表示为卷积层组个数，g在全连接层中表示为所有连接点的个数，

其中，所述步骤S8中所述分割网络优化是指对所述正负样本的像素点根据公式(4)进行损失函数计算：

式中，T为二分类器，S_c为对应类别像素点集合，X为所述待训练肺部影像，f(X)为分割网络，c为T中选择的0或1分类，u为对应类别像素点，

并对每个包含所述正负样本的像素点计算交叉熵，然后根据所述交叉熵进行反向传播更新所述分割网络。

2.根据权利要求1所述的基于深度学习的新冠肺炎肺部病灶区域分割系统，其特征在于：

其中，所述分割网络为U-Net分割网络。

3.根据权利要求1所述的基于深度学习的新冠肺炎肺部病灶区域分割系统，其特征在于：

其中，所述二分类器为LeNet、VGG、ResNet中的任意一种。

4.根据权利要求1所述的基于深度学习的新冠肺炎肺部病灶区域分割系统，其特征在于：

其中，所述预处理根据所述HU值对CT断层影像进行预处理是指仅保留肺部HU值，将非肺部HU值全部置0。

5.根据权利要求1所述的基于深度学习的新冠肺炎肺部病灶区域分割系统，其特征在于：

其中，所述预定比例是百分之八。

Images