CN109523521B - 基于多切片ct图像的肺结节分类和病灶定位方法和系统 - Google Patents

Abstract

本发明属于计算机视觉和机器学习领域，具体为一种基于2D深度神经网络和多切片CT图像的肺结节良恶性分类和病灶定位方法。本发明通过多切片的CT图像作为神经网络的输入来使得网络学习到同一结节的不同尺度和不同形态的特征，从而增强模型的鲁棒性和泛化能力。其次，解决了类激活映射不能对图像中感兴趣的细粒度区域进行准确定位的问题，本发明通过对网络最后一层的所有特征图分别加全链接层来实现细粒度的定位，即使得最终的特征之间的相互影响减弱，再将全链接层得到的特征向量与类似于U‑Net结构中的低维特征结合，实现更精确的恶性病灶的定位，提高分类的准确率。

Description

基于多切片CT图像的肺结节分类和病灶定位方法和系统

技术领域

本发明属于计算机视觉及生物医学技术领域，具体涉及基于CT图像的肺结节分类和病灶定位方法和系统。

背景技术

基于CT图像和深度神经网络的肺结节良恶性分类是近年来深度学习兴起后迅速发展的一个研究方向。在临床得到病人的腹部CT扫描图像后，要求计算机通过机器学习、计算机视觉的算法以较高的准确率分辨出结节的良恶性。目前该领域已经有不少前人工作，其主要方法都是基于对图像做多尺度变换、多角度特征提取等方法。U-Net对于医学图像的分隔有着良好的性能，基于2D/3D的U-Net结构被广泛应用，该结构中的高层低维语义特征却鲜被关注。对图像中感兴趣区域的定位，或者对图像中具有区分性的区域的定位也有一些相关研究，但恶性肺结节的病灶定位需要更细粒度的定位方法。以下是相关方法的一些参考文献：

[1]Shan,H.；Zhang,Y.；Yang,Q.；Kruger,U.；Kalra,M.；Sun,L.；Cong,W.；andWang,G.2018.3-d convolu-tional encoder-decoder network for low-dose ct viatransfer learning from a 2-d trained network.IEEE Transactions on MedicalImaging(TMI)37(6):1522.

[2]Setio,A.A.A.；Ciompi,F.；Litjens,G.；et al.2016.Pulmonary noduledetection in CT images:false positive reduction using multi-viewconvolutional networks.IEEE Transactions on Medical Imaging(TMI)35(5):1160–1169.

[3]Hussein,S.；Gillies,R.；Cao,K.；Song,Q.；and Bagci,U.2017.Tumornet:Lung nodule characterization using multi-view convolutional neural networkwith Gaussian process.In 2017 IEEE 14th International Symposium on BiomedicalImaging(ISBI),1007–1010.

[4]Shen,W.；Zhou,M.；Yang,F.；Yang,C.；and Tian,J.2015.Multi-scaleconvolutional neural networks for lung nodule classification.In InternationalConference on Information Processing in Medical Imaging(IPMI),588–599.

[5]Ronneberger,O.；Fischer,P.；and Brox,T.2015.U-net:Convolutionalnetworks for biomedical image segmentation.In International Conference onMedical Image Computing and Computer-Assisted Intervention,234–241.

[6]

Abdulkadir,A.；Lienkamp,S.S.；Brox,T.；and Ronneberger,O.2016.3D U-Net:learning dense volumetric segmentation from sparseannotation.In International Conference on Medical Image Computing andComputer-Assisted Intervention(MICCAI),424–432.

[7]Wu,B.；Zhou,Z.；Wang,J.；and Wang,Y.2018.Joint learning for pulmonarynodule segmentation,attributes and malignancy prediction.In 2018 IEEE 15thInternational Symposium on Biomedical Imaging(ISBI),1109–1113.

[8]Zhou,B.；Khosla,A.；Lapedriza,A.；Oliva,A.；and Torralba,A.2016.Learning deep features for discriminative local-ization.In 2016 IEEEConference on Computer Vision and Pattern Recognition(CVPR),2921–2929.。

基于CT图像和深度神经网络的肺结节诊断面临的一个典型的问题就是缺少大量有标注的数据，从而导致模型训练不收敛或过拟合。文献[1]采用了增加随机噪声、随机移动和随机缩放等5种传统的数据增强方法，使得模型的性能有一定程度的提高。文献[2，3]基于原始的CT扫描切片，提取了同一结节的多个角度的切片作为训练数据，但其每个切片有相同的中心点，得到的切片弱化了尺度因素的影响。文献[4]通过对同一中心切片做多尺度变换，但每一尺度包含的结节边缘信息形态相同，不利于提取更具区分性的特征。目前的肺结节诊断的研究有相当的工作量是关注于如何丰富训练数据，但都有各自的局限性。

文献[5]提出U-Net结构，实现了对医学图像分割的卓越性能，通过跳链接，将上采样和下采样的同分辨率图像在通道维度拼接，得到了更好的上采样结果，即分割或重构图像。文献[6，7]提出3D U-Net结构实现了3D医学图像的分割，并通过增加分类任务来同时完成了肺结节的良恶性分类问题。

文献[8]通过在卷积网络的最后一个卷积层后添加全局均值池化(GAP)，将较大尺寸的特征图直接映射为一个激活值，代表该特征在最终分类任务上的重要性，该方法在粗粒度物体定位上表现出了优越的性能且复杂度较低。然而，在恶性肺结节的病灶定位问题上，类激活值映射[8]难以定位到微小的、边缘的甚至空洞形变，而这些是典型的恶性病变区域且紧密关系到分类的准确率。

本发明提出一种基于CT多切片的肺结节分类方法，直接利用同一结节的多个相邻切片组成该结节的样本，同时具有不同的尺度特征和不同的形变信息。相比于传统的多尺度变换、数据增强等方法，本发明的方法可以使得网络每一层都考虑到更丰富的样本信息，较好地解决了样本不足导致的训练过拟合问题。在病灶点定位方面，本发明提出的软激活值映射将最后一个卷积层的特征图先经过均值池化，再做GAP，这样使得原特征图的各部分区域(细粒度病变区域)有较好的保持，且每个微特征后的全链接层使得微特征之间权重更新不相互影响，从而保持最后一层特征图的细粒度信息。再结合U-Net结构中的高层低维语义信息，模型的分类准确率有进一步提高且对恶性病灶有更准确的定位。

发明内容

本发明的目的在于提出一种分类准确且能对病灶点进行精确定位的基于CT图像的肺结节分类和病灶定位方法和系统。

本发明中，采用2D深度神经网络，将肺结节的多切片的CT图像作为神经网络的输入，使得神经网络学习到同一结节的不同尺度和不同形态的特征；通过对神经网络最后一层的所有特征图分别加全链接层，实现细粒度的定位，即使得最终的特征之间的相互影响减弱，再将全链接层得到的特征向量与类似于U-Net结构中的低维特征结合，实现更精确的恶性病灶的定位，同时提高分类的准确率。

肺结节分类方面，本发明直接利用同一结节的多个相邻切片组成该结节的样本，同时具有不同的尺度特征和不同的形变信息。相比于传统的多尺度变换、数据增强等方法，本发明方法可以使得网络每一层都考虑到更丰富的样本信息，较好地解决了样本不足导致的训练过拟合问题。在病灶点定位方面，本发明提出软激活值映射将最后一个卷积层的特征图先经过均值池化，再做GAP，这样使得原特征图的各部分区域(细粒度病变区域)有较好的保持，且每个微特征后的全链接层使得微特征之间权重更新不相互影响，从而保持最后一层特征图的细粒度信息。再结合U-Net结构中的高层低维语义信息，模型的分类准确率有进一步提高且对恶性病灶有更准确的定位。

本发明提出的基于CT图像的肺结节分类和病灶定位方法，具体步骤为：

(1)样本预处理；该样本取自于512×512的临床CT图像；结节中心(x,y)及半径(r)已由临床医生标注，其中，则(a)对每个结节的中心切片提取大小为(2r×2r)的正方形区域为该切片的样本；(b)对同一结节的其他2n个切片(中心切片向上、向下分别取n个切片)做(a)处理；(c)得到该结节的样本；训练/测试集表示如下：

V_train/test＝{x₁,x₂,x₃,…,x_n}

x_i为一个大小为(2n+1)×2r×2r的结节样本，训练/测试集样本个数为n；

(2)搭建基于U-Net的网络模型，包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为2n+1，不同于常用的1通道(n＝0)和3通道(n＝1)；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层(双线性插值)和两个3×3卷积层；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接；“Residual Blocks”包含两个残差模块，每个残差模块由两个3×3卷积层(后接Batch Normalization和ReLU激活函数)组成；“FC”为全链接层；

(3)提取高层语义特征(第3降采样层特征图)，将其通过全局最大池化(GlobalMaxPooling，GMP)转化为1维向量；

(4)计算软激活值，将上采样的输出特征图作为一个残差网络的输入，残差网络的倒数第2层为均值池化层(Average Pooling,AvgPool)，后接256个子全链接层(每个均值池化后的特征图接一个全链接)，各子全链接层相互独立；

(5)高层语义特征增强特征向量，GMP得到的1维向量与AvgPool得到的1维向量相加，作为最终全链接层的输入；

(6)软激活值映射，得到训练好的模型后，将任一结节样本输入到网络，将其softmax层的参数与最后一层特征图加权求和，得到软激活映射图；

(7)高层语义特征增强的软激活值映射，将高层语义特征增强特征向量作为模型最终的全链接层的输入。

本发明中，所述的样本预处理的具体步骤为：

(a)使用双线性插值将原始CT图像重采样使其像素间距(Pixel Spacing)为1毫米(mm)；

(b)对要提取样本的切片以结节中心为中心，截取2r(r为数据集中标出的结节半径大小，单位：毫米)大小的区域为该切片的样本；

(c)训练集与测试集样本数量比例为5:1(训练集:测试集)。

本发明中，所述的搭建基于U-Net的网络模型的具体步骤为：

(a)网络开始为两个3×3卷积层；

(b)每个降采样层包括：1个MaxPooling层和两个3×3卷积层；

(c)每个上采样层包括：1个上采样层(双线性插值)和两个3×3卷积层；

(d)跳链接用于将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接。

本发明中，所述的提取高层语义特征的具体方法为：

(a)将第3个降采样层最后的256个特征图(4×4)输入到GMP层；

(b)由GMP层得到的一个256维向量，即256个高层语义特征对应的最大激活值。

本发明中，所述的计算软激活值的具体方法为：

(a)上采样结果输入到一个包含两个残差模块的网络进行特征提取；

(b)残差网络后接一个AvgPool层，kernel_size＝5,stride＝2,padding＝0，经AvgPool后，得到256个大小为6×6的特征图(微特征)；

(c)每个微特征后接一个只包含1个神经元的全链接层，即每个微特征被映射为一个值。

本发明中，所述的获取高层语义特征增强特征向量的具体方法为：

将GMP得到的256维向量与256维的软激活值向量逐元素相加。

本发明中，所述的软激活值映射的具体方法为：

(a)模型通过梯度反向传播求解，目标函数为交叉熵损失函数，表示如下：

其中，y为样本的真实标签，

为模型预测标签；

(b)测试图像通过训练好的网络进行前向传播，最终全链接层的输出经过softmax层，softmax层的参数与残差网络输出的特征图加权求和：

SAM＝ω₁m₁+ω₂m₂+…+ω₂₅₆m₂₅₆

ω_i为软激活值，m_i为残差网络最后一个卷积层的特征图，SAM表示得到的软激活值映射图。

本发明中，所述的高层语义特征增强的软激活值映射的具体方法为：

测试图像通过训练好的网络(最后全链接层的输入微高层语义特征增强特征向量)进行前向传播，

HESAM＝ω′₁m₁+ω′₂m₂+…+ω′₂₅₆m₂₅₆

ω′_i为高层语义特征增强特征向量，m_i为残差网络最后一个卷积层的特征图，HESAM表示高层语义特征增强的软激活值映射图。

对应于上述方法，本发明还提供基于CT图像的肺结节分类和病灶定位系统；该系统包括7个模块，即：(1)样本预处理模块，(2)基于U-Net的网络模型模块，(3)提取高层语义特征模块，(4)软激活值计算模块，(5)高层语义特征增强特征向量模块，(6)软激活值映射模块，(7)高层语义特征增强的软激活值映射模块；对应上述方法的7个步骤的工作内容。

附图说明

图1：本发明模型结构。

图2：软激活映射与类激活映射的对比。其中，左：恶性结节；右：良性结节；第二行为类激活映射，第三行为高层特征增强的软激活映射。

图3：软激活映射示意图。

图4：不同网络的软激活映射。

图5：高层特征增强的软激活映射在各类典型病灶的对比。

图6：不同模型在1通道数的数据集上的训练和测试曲线。

图7：不同模型在3通道数的数据集上的训练和测试曲线。

图8：不同模型在11通道数的数据集上的训练和测试曲线。

图9：不同模型在21通道数的数据集上的训练和测试曲线。

具体实施方式

介绍了本发明的算法原理和具体步骤和之后，下面展示该发明在目前最大的肺结节公开数据集(LIDC-IDRI)上的测试情况和效果。

实验构造了4个数据集，分别具有不同的通道数，但具有相同的训练/测试样本数(表1)。

LIDC-IDRI是一个公开的有标注的肺结节数据集，包含1010个病人的CT图像数据。每个结节的恶性程度被4名专业医生用1～5标注为5个等级。实验中肺结节区域的获取是根据标注的结节中心和结节半径来截取，以结节中心为样本图像中心，2倍直径为边长的正方形区域。样本的标签为4名医生给定的恶性程度的均值，试验中剔除只有1或2名医生标记的样本和恶性程度均值为3的样本，最终，该均值小于3，则标记为良性，大于3，则标记为恶性。图像中的像素间距已在预处理阶段通过双线性插值方法重采样为1mm。最后，得到良性结节635个，恶性结节510个。

实验使用如下3个性能指标：

其中，TP为True Positive，TN为True Negative，FP为False Positive，TN为TrueNegative。

试验中，所有实验都做了5折交叉验证。所有模型的使用的超参数如下：

batch_size＝32,weight_decay＝0.0001，learning_rate＝0.0005，优化器为随机梯度下降。

实验例1：模型预测性能以及减轻过拟合现象

这部分试验使用了多种深度学习模型，分别对表1中的所有数据集做了实验。由表2可以看出，在准确率上，随着样本通道数的增加，准确率有明显的提升；但21通道数据的结果比11通道的结果稍低，一个可能的原因是随着通道数的增加，两类样本会包含更多的“背景”信息，这使得模型提取的特征混淆分类器，导致性能有所下降。由图6～图9可以看出，随着通道数增加，过拟合现象有了明显的缓解。本发明的模型通过细粒度的病灶点保持使得准确率有一定的提高，与高层语义特征结合后，得到了更高的准确率。

实验例2：不同模型的软激活映射对比

利用图3的软激活映射结构，本部分试验对相关网络模型做了修改，使得最后的卷积层得到较大尺寸的特征图(16×16)，在通过软激活映射，得到更细粒度的病灶点定位(图4)。相比于类激活映射，“细粒度”在恶性病变中体现的更为明显，但同样会导致一些假阳性、假阴性问题。

实验例3：高层特征增强的软激活映射

这部分试验将本发明的模型中U-Net结构的高层低维语义特征，通过全局最大池化，与软激活映射得到的向量逐元素相加，进一步将类别信息融入病灶点定位中。所以，高层语义特征增强的软激活映射不仅实现了更细粒度的定位，而且定位更准，即提高了分类的准确率。由图5可以看出，对于典型的实性结节、空洞结节、磨玻璃结节以及微结节等典型病变，本发明的方法都定位的更准确，且大大减少了假阳性和假阴性现象。

表1：包含不同通道数样本的数据集({样本数，通道数，高，宽})

数据集	训练	测试
			1通道	{916,1,32,32}	{229,1,32,32}
3通道	{916,3,32,32}	{229,3,32,32}
			11通道	{916,11,32,32}	{229,11,32,32}
21通道	{916,21,32,32}	{229,21,32,32}

表2：使用无标签样本及不同相似度量对模型的影响

Claims (5)

1.一种基于CT图像的肺结节分类和病灶定位方法，其特征在于，采用2D深度神经网络，将肺结节的多切片的CT图像作为神经网络的输入，使得神经网络学习到同一结节的不同尺度和不同形态的特征；通过对神经网络最后一层的所有特征图分别加全链接层，实现细粒度的定位，再将全链接层得到的特征向量与U-Net结构中的低维特征结合，实现更精确的恶性病灶的定位；具体步骤为：

(1)样本预处理

样本取自于512×512的临床CT图像；结节中心(x,y)及半径(r)由临床医生标注，其中，(a)对每个结节的中心切片提取大小为(2r×2r)的正方形区域为该切片的样本；(b)对同一结节的中心切片向上、向下分别取n个切片得到其他2n个切片，对其他2n个切片做(a)处理；(c)得到该结节的样本；训练/测试集表示如下：

V_train/test＝{x₁，x₂，x₃，...，x_n}

x_i为一个大小为(2n+1)×2r×2r的结节样本，训练/测试集样本个数为n；

(2)搭建基于U-Net的网络模型

网络模型包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为2n+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接；“ResidualBlocks”包含两个残差模块，每个残差模块由两个3×3卷积层组成，3×3卷积层后接BatchNormalization和ReLU激活函数；“FC”为全链接层；

(3)提取高层语义特征

将第3降采样层特征图通过全局最大池化GMP转化为1维向量；

(4)计算软激活值

将上采样的输出特征图作为一个残差网络的输入，残差网络的倒数第2层为均值池化层，即AvgPool层，后接256个子全链接层，每个均值池化后的特征图接一个全链接，各子全链接层相互独立；

所述的计算软激活值的具体方法为：

(a)上采样结果输入到一个包含两个残差模块的网络进行特征提取；

(b)残差网络后接一个AvgPool层，kernel_size＝5,stride＝2,padding＝0，经AvgPool后，得到256个大小为6×6的特征图即微特征；

(c)每个微特征后接一个只包含1个神经元的全链接层，即每个微特征被映射为一个值；

(5)高层语义特征增强特征向量

GMP得到的1维向量与AvgPool得到的1维向量相加，作为最终全链接层的输入；

(6)软激活值映射

得到训练好的模型后，将任一结节样本输入到神经网络，将其softmax层的参数与最后一层特征图加权求和，得到软激活映射图；

所述的软激活值映射的具体方法为：

(a)模型通过梯度反向传播求解，目标函数为交叉熵损失函数，表示如下：

其中，y为样本的真实标签，

为模型预测标签；

(b)测试图像通过训练好的神经网络进行前向传播，最终全链接层的输出经过softmax层，softmax层的参数与残差网络输出的特征图加权求和：

SAM＝ω₁m₁+ω₂m₂+…+ω₂₅₆m₂₅₆

ω_i为软激活值，m_i为残差网络最后一个卷积层的特征图，SAM表示得到的软激活值映射图；

(7)高层语义特征增强的软激活值映射

将高层语义特征增强特征向量作为模型最终的全链接层的输入；

所述的高层语义特征增强的软激活值映射的具体方法为：

测试图像通过训练好的神经网络进行前向传播，

HESAM＝ω′₁m₁+ω′₂m₂+…+ω′₂₅₆m₂₅₆

ω′_i为高层语义特征增强特征向量，m_i为残差网络最后一个卷积层的特征图，HESAM表示高层语义特征增强的软激活值映射图。

2.根据权利要求1所述的基于CT图像的肺结节分类和病灶定位方法，其特征在于，所述的样本预处理的具体步骤为：

(a)使用双线性插值将原始CT图像重采样使其像素间距为1毫米；

(b)对要提取样本的切片以结节中心为中心，截取2r大小的区域为该切片的样本；

(c)训练集与测试集样本数量比例为5:1。

3.根据权利要求1所述的基于CT图像的肺结节分类和病灶定位方法，其特征在于，所述的提取高层语义特征的具体方法为：

(a)将第3个降采样层最后的256个特征图(4×4)输入到GMP层；

(b)由GMP层得到的一个256维向量，即256个高层语义特征对应的最大激活值。

4.根据权利要求1所述的基于CT图像的肺结节分类和病灶定位方法，其特征在于，所述的获取高层语义特征增强特征向量的具体方法为：将GMP得到的256维向量与256维的软激活值向量逐元素相加。

5.如权利要求1-4所述方法的基于CT图像的肺结节分类和病灶定位系统，其特征在于，包括7个模块，即：(1)样本预处理模块，(2)基于U-Net的网络模型模块，(3)提取高层语义特征模块，(4)软激活值计算模块，(5)高层语义特征增强特征向量模块，(6)软激活值映射模块，(7)高层语义特征增强的软激活值映射模块；对应于所述方法的7个步骤执行的工作内容。

Images