CN108389201A - 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 - Google Patents

Abstract

本发明提供了一种基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，具体步骤为：S1：获取用户的肺部CT序列影像，提取出肺结节所在感兴趣区域的3D影像；S2：对3D影像进行标准化，得到多个大小相同的3D正方体样本块；S3：对训练样本集按比例进行复制，并且进行增强处理；S4：将增强后的训练样本集输入预设的深度神经网络模型，利用BCE损失函数进行深度训练，得到训练好的新深度神经网络模型；S5：根据测试样本集的结果绘制ROC曲线，由ROC曲线特性和AUC值确定最佳阈值，用于训练好的新神经网络模型对于肺结节良恶性的分类。本发明可以实现对肺结节的准确分类，帮助医生快速识别肺结节种类，节约时间并保证医生长时间工作依然有极高的准确率。

Description

基于3D卷积神经网络与深度学习的肺结节良恶性分类方法

技术领域

本发明涉及医学影像和人工智能领域，是一种基于3D卷积神经网络和深度学习的肺结节良恶性分类方法。

背景技术

肺癌是中国发病率和死亡率最高的疾病，近30年肺癌死亡率增长465％。其中很大的原因是75％的癌症患者都是在中晚期才确诊，即便在发达国家里，肺癌是所有恶性肿瘤中最常见最致命的一种。肿瘤的早期诊断及检测对于患者的治疗和愈后具有非常重要的临床意义。所有的早期干预措施都必须在明确病变性质和程度的基础上进行，而影像学检查是发现病变、对病变进行定性定量分析、预测疾病的关键。一组1.25毫米层厚的CT会有200-300张层面图像，面对产生的大量CT图像，如果能够运用人工智能技术帮助医生给出一定的辅助诊断，在节约人力的同时，还能够减少因为过度疲劳造成的漏诊。因此，利用深度学习技术对医学图像进行处理和研究，能为医生提供有用的参考信息，辅助医院及时地对肺部疾病做出准确地诊断，使得漏诊情况得以改善，进一步提高CT在肺部疾病筛查中的价值。

卷积神经网络是深度学习技术中极具代表的网络结构之一，在图像处理领域取得了很大的成功，在国际标准的ImageNet数据集上，许多成功的模型都是基于CNN(Constitutional Neural Networks，卷积神经网络)的。CNN相较于传统的图像处理算法的优点之一在于，避免了对图像复杂的前期预处理过程(提取人工特征等)，可以直接输入原始图像。

发明内容

本发明提供了一种基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其可以准确地对肺结节3D区域图像块进行分类并提高肺结节良恶性判断的准确度。

一种基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于包括以下步骤：

S1：获取用户的肺部CT序列影像，利用医生标记的肺结节位置信息提取出肺结节所在感兴趣区域的3D影像；

S2：对不同大小的肺结节3D影像进行标准化，得到多个大小相同的3D正方体样本块；

S3：对训练样本集进行复制，并且对复制后的训练样本集进行增强处理；

S4：将增强后的训练样本集输入预设的深度神经网络模型，利用BCE损失函数对预设的深度神经网络模型进行深度训练，得到训练好的新深度神经网络模型；

S5：将测试样本集输入训练好的深度神经网络模型中，并且根据测试样本集的结果，绘制ROC曲线，由ROC曲线特性和AUC值确定最佳阈值，用于训练好的深度神经网络模型对于肺结节良恶性的分类。

优选地，S2步骤还包括：按照预定的比例随机提取测试样本集和训练样本集。

优选地，S3步骤还包括：统计训练样本集中良恶性的比例情况，对训练样本集中的良恶性样本进行反比例的复制，从而保证训练样本集中良恶性样本在输入预设的深度神经网络模型之前达到大致上相同的数量。

优选地，S3步骤还包括：对复制后的训练样本集进行增强处理包括随机选取旋转、翻折、放大、缩小和交换变化中的二至五种，并对复制后的训练样本集进行变换，从而得到更多更加随机的样本以供使用。

优选地，在S4步骤：预定的深度神经网络模型是基于深度残差网络和U型结构网络两者的组合，利用了3D卷积和3D逆卷积两者结合，提取不同层次上的3D特征，对提取的3D特征进行全连接的分类网络操作。

优选地，在S4步骤：利用如下的BCE损失函数作为损失函数：

Ln＝-Wn×[Yn×logXn+(1-Yn)×log(1-Xn)]

其中，Wn为权重，Xn为预测类别，Yn为真实类别，Ln为损失值大小；

利用SGD优化方法来优化预定的深度神经网络。

优选地，在S5步骤：利用绘制的ROC曲线，得到一系列FPR值和TPR值，当得到TPR-FPR最大时，选取当前阈值为最佳阈值来评定测试样本。

本发明提供的技术方案带来的有益效果体现在：

第一，本发明针对现有的含肺结节医学图像数据量较少的情况，对含有肺结节的数据进行了数据扩充，同时结合了ResNet(残差网络)结构和Unet(U型网络)两者优点，建立了3D网络结构，以此提取更多更细节的特征信息。

第二，本发明利用全连接层，将特征信息用于分类，利用ROC(Receiver OperatingCharacteristic，受试者工作特征)曲线特性寻找最佳阈值，提升了分类器性能。

第三，本发明将提取、检测与识别集成于同一网络结构，实现了端到端的图像级别的医学图像检测。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的示意图。

图2是根据本发明的对于训练样本进行增强处理的流程图。

图3是根据本发明的3D卷积神经网络结构图。

图4是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的不同参数实际分类结果示意图。

图5是根据本发明的ROC曲线图。

图6是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的流程图。

图7是根据本发明提取的3D肺结节图像块的示意图。

图8是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的相同参数不同阈值实际分类结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式做进一步地详细描述。

本发明的总体构思为，利用自主构建的卷积神经网络模型，将输入的增强后的样本进行网络的训练，使网络能够提取出最好的特征向量，并使用此特征向量，通过全连接神经网络层做出分类。

图1为根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的示意图。

参照图1，本发明的方法主要分为三个主体部分：数据集制作、分类网络构建和分类器阈值选取。三个部分以串联形式链接，本发明提供了三部分的自动运行过程，可以实现端到端的操作，即给定标记好的医疗影像图像，可以自动完成数据集制作，将训练集投入网络训练，绘制ROC(Receiver Operating Characteristic，受试者工作特征)曲线进行阈值选择的过程，直接得到测试集结果。

第一部分为数据集的制作。参照图1，数据集的制作主要分为四个子部分：数据的标定、数据的预处理、数据的集划分和数据的增强处理。

数据的标定由资深医生根据病理分析完成。其中CT图片存储为DICOM(DigitalImaging and Communications in Medicine，医学数字成像和通信)文件，标记的位置和良恶性等信息存储为XML(eXtensible Markup Language，可扩展标记语言)文件。

数据的预处理过程分为两步，转换XML文件和提取目标样本块。先提取标记的位置和良恶性等信息的XML文件内容，并将其存储为更好处理的npy或者csv格式。然后利用位置信息，在DICOM文件中找到肺结节位置，以肺结节为中心，提取64×64×64大小的正方体样本块。64个像素点对应了实际4mm大小的区域，可以包含所有样本中的各个尺度的肺结节。最后将样本块和标记文件各自存储为npy文件。

数据集划分过程为，按照2:8的比例随机提取测试样本集和训练样本集。测试样本集不进行数据的增强，直接用于最后的测试步骤。

数据的增强是针对训练样本集中，样本不平衡和训练样本数量不足采取的措施。参照图2，为本发明提供的训练样本进行增强处理的流程图。首先将输入的64×64×64的样本块按照其类别的比例进行反比例扩增，复制样本以备后续使用。同时可以选择更大比例以获取更多训练数据。在本发明所使用的数据集中，选择了良性样本扩增5倍，恶性样本扩增2倍。

参照图2，随机选择2～5种增强方式，增强方式有旋转、放大、缩小、交换和翻折。这样随机选取的方式可以产生26种不同的增强效果，在选择多倍数扩增时，有助于产生不同的增强样本，增加随机和多样性，对深度神经网络的训练有明显提升。

第二部分是对分类网络的构建，参考图1，分类网络的构建主要分为，网络结构设计，训练网络，调整参数和测试网络。

参考图3，为网络结构的设计。该网络结构是将残差网络结构和U型网络结构相结合，设计出如图所示的网络层。其中第一个网络块为预处理网络块，用于将输入的样本块处理成容易被后续网络处理的格式；然后接下来的四个网络块为标准的残差网络-18结构，该结构不仅利用卷积神经网络提取样本块信息，同时将本层没有拟合到的残差输入到下一层进行下一步的训练。接下来的两层为U型网络结构，该结构的特点为反卷积网络结构，将已经压缩的特征信息重新增大，同时也加入对应层的特征信息。U型网络结构可以极好的增强细节信息，提升对小型肺结节的分类准确率。最后，全连接层将卷积神经网络的特征信息进行分类操作。

参考图1，在训练网络时，使用的损失函数为BCE损失函数：

Ln＝-Wn×[Yn×logXn+(1-Yn)×log(1-Xn)]

其中，Wn为权重，Xn为预测类别，Yn为真实类别，Ln为损失值大小。

本发明在训练时使用目前最常使用的SGD(Stochastic Gradient Descent，随机梯度下降)优化方法，具体优化步骤在此不再赘述。

参考图1，调整参数和测试网络应同时进行。在不断测试和调整参数的过程中寻找最好的参数以实现更好的分类效果。同时由于训练集的不同，每次的最佳参数也有一定出入。参考图4，其为根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的不同参数实际分类结果示意图。

第三部分是分类器阈值选取。参考图1，分类器阈值的选取分为四部分：绘制ROC曲线、计算AUC(Area Under Curve，曲线所覆盖的区域面积)值、确定最佳阈值和良恶性分类。

参照图5，将测试样本输入至训练好的模型，绘制ROC曲线，横坐标为FPR(FalsePositive Rate，假正类率)，纵坐标为TPR(True Positive Rate，真正类率)，两者的运算方式如下：

FPR＝FP/N，TPR＝TP/N

其中，FP为假正类数量，TP为真正类数量，N为假正类和真正类的总数量，即N＝FP+TP。

参照图5，计算AUC面积。在ROC曲线与横轴正方向相夹的区域面积即为AUC值，AUC值代表了一个分类器的好坏程度，AUC值越大，分类效果越好。其中当AUC＝1时，该分类器一定能找到一个阈值，使正负样本完美区分，当AUC＝0.5时，该分类器相当于随机分类器。

参照图5，确定最佳阈值。以斜率为1的曲线在ROC曲线上平移，与ROC曲线相切的位置即为最佳阈值的位置。其物理意义为使TPR-FPR达到最大值。取得最佳阈值的分类器，其分类效果会有明显提升。

图6是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的流程图。本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法包括以下步骤：

S1：获取用户的肺部CT序列影像，利用医生标记的肺结节位置信息提取出肺结节所在感兴趣区域的3D影像；

S2：对不同大小的肺结节3D影像进行标准化，得到多个大小相同的3D正方体样本块；

S3：对训练样本集进行复制，并且对复制后的训练样本集进行增强处理；

S4：将增强后的训练样本集输入预设的深度神经网络模型，利用BCE损失函数对预设的深度神经网络模型进行深度训练，得到训练好的新深度神经网络模型；

S5：将测试样本集输入训练好的深度神经网络模型中，并且根据测试样本集的结果，绘制ROC曲线，由ROC曲线特性和AUC值确定最佳阈值，用于训练好的深度神经网络模型对于肺结节良恶性的分类。

在S2步骤，按照预定的比例随机提取测试样本集和训练样本集。

在S3步骤，统计训练样本集中良恶性的比例情况，对训练样本集中的良恶性样本进行反比例的复制，从而保证训练样本集中良恶性样本在输入预设的深度神经网络模型之前达到大致上相同的数量。对复制后的训练样本集进行增强处理包括随机选取旋转、翻折、放大、缩小和交换变化中的二至五种，并对复制后的训练样本集进行变换，从而得到更多更加随机的样本以供使用。

在S4步骤，预定的深度神经网络模型是基于深度残差网络和U型结构网络两者的组合，利用了3D卷积和3D逆卷积两者结合，提取不同层次上的3D特征，对提取的3D特征进行全连接的分类网络操作。

在S5步骤，利用绘制的ROC曲线，得到一系列FPR值和TPR值，当得到TPR-FPR最大时，选取当前阈值为最佳阈值来评定测试样本。

图7是根据本发明提取的3D肺结节图像块的示意图，图8是根据本发明的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法的相同参数不同阈值实际分类结果示意图。

参照图8，利用不同阈值进行良恶性分类，可以看到最佳阈值可以使本发明的分类器达到极好的分类效果。本发明提出了一种结合残差网络和U型网络的3D卷积神经网络用于自动提取医疗影像中肺结节的特征信息，该方法中的数据增强，网络结构构造和最佳阈值的选取方式都极大地提高了肺结节良恶性分类的准确度和灵敏度。

以上详细描述了本发明的具体实施例，但可以理解，在不脱离本发明的精神下可以对其做出修改。本发明的权利要求旨在覆盖这些修改，以保证其落入本发明的真实范围和精神内。

Claims (7)

1.一种基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于包括以下步骤：

S1：获取用户的肺部CT序列影像，利用医生标记的肺结节位置信息提取出肺结节所在感兴趣区域的3D影像；

S2：对不同大小的肺结节3D影像进行标准化，得到多个大小相同的3D正方体样本块；

S3：对训练样本集进行复制，并且对复制后的训练样本集进行增强处理；

S4：将增强后的训练样本集输入预设的深度神经网络模型，利用BCE损失函数对预设的深度神经网络模型进行深度训练，得到训练好的新深度神经网络模型；

S5：将测试样本集输入训练好的深度神经网络模型中，并且根据测试样本集的结果，绘制受试者工作特征曲线，由受试者工作特征曲线特性和曲线所覆盖的区域面积值确定最佳阈值，用于训练好的深度神经网络模型对于肺结节良恶性的分类。

2.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，S2步骤还包括：

按照预定的比例随机提取测试样本集和训练样本集。

3.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，S3步骤还包括：

统计训练样本集中良恶性的比例情况，对训练样本集中的良恶性样本进行反比例的复制，从而保证训练样本集中良恶性样本在输入预设的深度神经网络模型之前达到大致上相同的数量。

4.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，S3步骤还包括：

对复制后的训练样本集进行增强处理包括随机选取旋转、翻折、放大、缩小和交换变化中的二至五种，并对复制后的训练样本集进行变换，从而得到更多更加随机的样本以供使用。

5.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，在S4步骤：

预定的深度神经网络模型是基于深度残差网络和U型结构网络两者的组合，利用了3D卷积和3D逆卷积两者结合，提取不同层次上的3D特征，对提取的3D特征进行全连接的分类网络操作。

6.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，在S4步骤：

利用如下的BCE损失函数作为损失函数：

Ln＝-Wn×[Yn×logXn+(1-Yn)×log(1-Xn)]

其中，Wn为权重，Xn为预测类别，Yn为真实类别，Ln为损失值大小；

利用随机梯度下降优化方法来优化预定的深度神经网络。

7.根据权利要求1所述的基于3D卷积神经网络与深度学习的肺结节良恶性分类方法，其特征在于，在S5步骤：

利用绘制的受试者工作特征曲线，得到一系列假正类率值和真正类率值，当得到真正类率与假正类率之差最大时，选取当前阈值为最佳阈值来评定测试样本。