CN112668592A - 基于神经网络的肺结节筛选方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的肺结节筛选方法，属于神经网络及胸部肺肺结节筛查领域。本发明能够解决现有的技术由于提取X光中特征时存在有效性差，以及未能有效解决类别不平衡带来的训练问题，并且能够解决由于上述原因导致的所构建出的模型依旧难以真正用于临床的问题。为此，本发明包括：胸部图像数据的准备；主特征提取网络的构建与训练；交叉带权交叉熵函数的构建AUC性能指标的近似；在线的训练以及特殊情况下的处理；基于弱监督学习的胸部肺结节的定位。

Description

基于神经网络的肺结节筛选方法

技术领域

本发明涉及神经网络及胸部肺结节筛查领域，尤其涉及一种基于神经网络的肺结节筛选方法。

背景技术

胸片(胸部X-射线成像技术)是一种快速且伤害较小且可以生成胸部内部图像的技术，该技术被广泛用于各种胸部肺结节的筛查，包括心肌肥大、肺炎、肺癌等。临床中，即使是非常有经验的专家依旧需要认真的分析片中的成像，但是由于病患的巨大以及专业医生的稀缺以及地域分布的不均衡，这给广大的病患带来了困扰。通过深度神经网络的方法自动从X光图像中诊断胸部肺结节是一个非常有意义的辅助医疗方式，缓解医疗不均衡，提高临床诊断效率与准确性具有重要意义。

近年来，由于深度神经网络取得的巨大的成就，并成功应用于各个领域中，包括语音识别，图像识别，人脸检测，自然语言处理以及计算机辅助医疗等领域。在计算机辅助医疗领域，基于人工智的肺结节筛查以及乳腺癌的早筛技术已经日益走进临床实践。如今自动识别胸片中的肺结节也开始慢慢收到大家的关注。使用胸片对肺结节的筛查，相比较于CT，由于胸片的设备简单，出片快，辐射少等优势，一般广泛应用于肺部肺结节的初级诊断筛查中。

自2017年以来，美国国立卫生研究院(National Institutes of Health，NIH)在CVPR会议上公开了一个目前最大规模的胸片数据集，该数据集包含11212张X光片，涵盖了14中胸部肺结节，包括肺炎，肺癌，心肌肺大等肺结节。该数据集的发布吸引了很多学者的眼光，研究者与开发者慢慢的将注意力放到这一领域。但是由于X光片中肺结节特征的不明显以及14个类别样本不平衡的问题，给这一研究造成了一定的困扰。

目前大部分的方法都是通过改进训练与优化模型提升模型自动提取特征的能力。X.Wang，Y.Peng，L.Lu，M.Bagheri，和R.M.Summers在他们构建胸片的自动诊断算法中，使用一个通过ImageNet数据集与训练的50层残差卷积神经网络，训练并提取X光片中肺部肺结节的特征，取得了一定的效果。而后，X.Wang等人有发布了他们第二步的成果，在该项成果里面，他们介绍了一种基于多模态数据特征的方法，通过构建语言模型，建立图像到图像描述的文本生成模型，通过融合该语言模型根据图像生成的特征以及直接通过卷积神经网络提取的特征，一同对最终的诊断做出预测。P.Rajpurkar等人构建ChexNet模型来诊断胸片中的14种肺部肺结节，该方法通过建立121层稠密链接的卷积神经网络有效提取X光中暴露的肺结节特征，在14种病中的肺炎诊断取得了放射科医生的水平。因为公开的数据集，每一张X光片可能拥有不止一个肺结节，Y.Li，E.Poblenz，D.Dagunts，D.Bernard，和K.Lyman从这个角度出发，先通过一个161层的稠密链接的卷积神经网络构建编码器，在训练一个基于LSTM的解码网络推理不同标签之间的内在联系。QingjiGuan，Yaping Huang，Zhun Zhong，Zhedong Zheng，LiangZheng和YiYang基于注意力机制构建AG-CNN通过不同深度的卷积神经网络提取特征，并取得了有效的效果。

因此，现有的技术由于提取X光中特征的有效性问题，以及未能有效解决类别不平衡带来的训练问题，因此，所构建出的模型依旧难以真正用于临床。

发明内容

本发明的目的是提供一种基于神经网络的肺结节筛选方法，解决现有的技术由于提取X光中特征时存在有效性差，以及未能有效解决类别不平衡带来的训练问题，并且能够解决由于上述原因导致的所构建出的模型依旧难以真正用于临床的问题。

本发明解决其技术问题，采用的技术方案是：基于神经网络的肺结节筛选方法，包括如下步骤：

步骤1、胸部图像数据的准备；

步骤2、主特征提取网络的构建与训练；

步骤3、交叉带权交叉熵函数的构建；

步骤4、AUC性能指标的近似；

步骤5、在线的训练以及特殊情况下的处理；

步骤6、基于弱监督学习的胸部肺结节的定位。

进一步的是，步骤1中，所述胸部图像数据为NIH公开的112120张胸部X光影像数据，包含14种肺结节，其中，每张胸部X光影像数据的原始图像大小为1024*1024。

进一步的是，步骤2中，使用InceptionV3模型，将InceptionV3模型中最后一层1000个神经元的全连接层替换为包含14个神经元的全连接层，并将其作为构建的主特征提取网络。

进一步的是，在训练主特征提取网络之前：

将原始图像修改为299*299的大小；以及，

将原始图像转换成三通道的灰度图，且三个通道的灰度图对应的灰度值相同；以及，

对原始图像进行增广处理。

进一步的是，主特征提取网络每一次的预测，网络输出一个14维度向量，向量中为1的位置，表示对应的肺结节是存在的。

进一步的是，步骤3中，主特征提取网络在训练过程中，通过构建一种交叉带权交叉熵函数来平衡正负样本所产生的误差，具体方法如下：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，在多类别分类任务中，T表示训练batch中样本的数目，c是一个正整数，表示样本x所属类别，K表示包含疾病的类别总数为14。|P|和|N|分别代表训练batch中的正样本与负样本的数目；α_N和α_P分别代表负样本与正样本在一个训练batch中所占有的比例，α_N和α_P分别加到交叉熵函数的两项中，α_N代表正样本产生的误差，α_P代表负样本产生的误差，通过样本分布比率的不同来平衡该性能函数中正负样本产生的误差，且α_N+α_P＝1。

进一步的是，步骤4具体是指：通过构建一种替代函数来等价于AUC性能指标，该等价函数作为一个训练惩罚项和所述构建的交叉带权交叉熵函数一起平衡训练过程产生的误差，具体过程如下：

构建φ(t)、

具体如下：

φ(t)＝(1-t)^λ，t∈[0，1]，λ＞0

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，T₊表示训练批次中正样本的数量，T_-表示训练批次中负样本的数量，x⁺表示训练批次中的正样本，x^-表示训练批次中的负样本，

即为所构造的AUC性能指标替代函数，此函数仅仅只能用于二分类模型中，如果要推广到多类别分类的任务中，则作如下的变形：

其中，K代表分类的类别数目，这里，K＝14，代表所要预测的14个类别的分类；

并且，将此构造的替代函数和所述交叉带权交叉熵函数联合在一起，得到最终函数L，具体为：

进一步的是，步骤5中，

训练模型时是基于梯度下降算法，基于函数计算其梯度，使用随机梯度下降算法进行迭代更新，AUC指标近似项的梯度计算如下：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，

这里，

因为f(·)∈(0，1)，所以

存在倾向于∞风险，所以构建的函数应当使得λ＞1，因此在训练模型的过程中取λ＝1；

另外，在使用mini-batch进行训练的过程中，由于一个batch中，训练的数目是有限的，当存在有些batch没有正样本或者负样本的情况时，作如下近似处理：

本发明的有益效果是，通过上述基于神经网络的肺结节筛选方法，使用构建并训练的主特征提取网络，训练端到端的X光诊断模型，构建交叉带权交叉熵函数解决类别非平衡问题，指导训练有效进行，防止训练集中训练多数样本，同时由于交叉带权交叉熵函数的两项权值和为一，可以使得整个代价函数的值控制在相对较小的范围内，不会出现训练不稳定的状况，同时构建了AUC指标近似等价函数作为惩罚项，进一步减弱类别不平衡所带来的影响。

附图说明

图1为本发明实施例的基于神经网络的肺结节筛选方法的流程图；

图2为本发明实施例中X光胸部肺结节诊断模型的示意图；

图2所示，首先输入胸部X光图片到所构建的卷积神经网络模型中，该卷积神经网络模型所采用的卷积模块可以采用resnet、inception、densenet或Alexnet(分别如虚线框中①、②、③、④)所示，在经过多层的特征提取后，最终经过一个全局池化得到最终的特征向量。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

实施例

本发明实施例提出了一种基于神经网络的肺结节筛选方法，其流程图见图1，其中，该方法包括如下步骤：首先，胸部图像数据的准备；其次，主特征提取网络的构建与训练；然后，交叉带权交叉熵函数的构建；然后，AUC性能指标的近似；然后，在线的训练以及特殊情况下的处理；最后，基于弱监督学习的胸部肺结节的定位。

本实施例中，使用通过ImageNet数据集与训练的InceptionV3模型作为主特征提取网络，训练端到端的X光诊断模型，构建交叉带权交叉熵函数解决类别非平衡问题，指导训练有效进行，防止训练集中训练多数样本，同时由于交叉带权交叉熵函数的两项权值和为一，可以使得整个代价函数的值控制在相对较小的范围内，不会出现训练不稳定的状况，同时构建了AUC指标近似等价函数作为惩罚项，进一步减弱类别不平衡所带来的影响。

上述方法在应用时，其具体步骤如下：

步骤S1、数据准备

深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练。本实施例所用数据为NIH公开的112120张胸部X光影像数据，包含14种肺结节，其中的原始的图像大小为1024*1024，但是由于考虑到训练的速度以及输入尺寸对显存的影像，输入到神经网络之前修改为299*299的大小，同时InceptionV3接受的是3通道的图像，而获得的图像是灰度图并且是单通道的，所以在输入到网络之前，将图像转成三通道的灰度图，并且，且三个通道的灰度图对应的灰度值相同。并且，为了防止过拟合，对图像进行增广处理，在输入到网络训练之前，先进行旋转、平移等操作，而后训练。

步骤S2、主特征提取网络的构建与训练

本实施例所采用的主要特征提取器是InceptionV3，由于医疗影像数据集一般达不到自然图像的那种规模，较少的数据难以充分训练像InceptionV3这样规模大，深度深的网络。同时，研究表明在自然图像上预训练的模型可以迁移到其他领域，并且可以发挥出原始模型的强大表达能力，原始的InceptionV3模型拥有1000个输出，但是本实施例所需要诊断的肺结节只有14种，为了适应本实施例，这里将最后一层1000个神经元的全连接层替换为包含14哥神经元的全连接层，每一次的预测，神经网络输出一个14维度向量，向量中为1的位置，表示对应的肺结节是存在的。

步骤S3、交叉带权交叉熵函数的构建

训练的过程需要有一个损失函数来衡量模型的预测结果和数据标签的差异性，训练过程中一般最小化损失函数，来尽可能的降低训练的误差。传统的性能函数“平等”地对待每一个样本数据，但是在类别分布不平衡的中，多数的样本可能会产生更多的误差，迫使模型会倾向于预测多数的样本类别。为了使模型在训练的过程中同时较多的关注少量样本，一般可以通过多数样本的降采样以及少量样本的过采样，或者是带权值的交叉熵函数来平衡训练过程中，不同类别样本所产生的误差不平衡的问题。本实施例构建了一种交叉带权交叉熵函数，来平衡正负样本所产生的误差，具体方法如下所示：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，在多类别分类任务中，T表示训练batch中样本的数目，c是一个正整数，表示样本x所属类别，K表示包含疾病的类别总数为14。|P|和|N|分别代表训练batch中的正样本与负样本的数目，α_N和α_P分别代表负样本与正样本在一个训练batch中所占有的比例，α_N和α_P分别加到交叉熵函数的两项中，α_N代表正样本产生的误差，α_P代表负样本产生的误差，通过样本分布比率的不同来平衡该性能函数中正负样本产生的误差，且α_N+α_P＝1。

如上面公式所示，本实施例所采用的交叉带权交叉熵函数，通过在传统的交叉熵函数中两个误差项前分别添加一个权值，来达到平衡误差的目的，这两个权值皆产生于一个训练batch中的正负样本的分布数目，其中|P|和|N|分别代表训练batch中的正样本与负样本的数目，α_N和α_P分别代表负样本与正样本在一个训练batch中所占有的比例。由于正负样本的分布不同，两个比例也不相同。

并且，α_N和α_P分别加到交叉熵函数的两项中，α_N代表正样本产生的误差，α_P代表负样本产生的误差，通过样本分布比率的不同来平衡该性能函数中正负样本产生的误差，同时根据上面的公式，显然可以得到α_N+N_P＝1，同时α_N和α_P值控制在相对较小的范围了，这给模型稳定的训练提供一定的保证。

步骤S4、AUC性能指标的近似

一般直接优化对类别不平衡不敏感的指标也是解决类别不平衡问题的另一个有效途径，但是这一类指标都是不能直接优化的，因为直接优化会导致NP难问题，本实施例采用了一种近似方式，构建一种替代函数来等价于AUC指标，这一构建的AUC等价函数可以作为一个训练惩罚项和上面构建的交叉带权交叉熵函数一起平衡训练过程产生的误差。具体的实现过程如下所示：

构建φ(t)、

具体如下：

φ(t)＝(1-t)^λ，t∈[0，1]，λ＞0

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，T₊表示训练批次中正样本的数量，T_-表示训练批次中负样本的数量，x⁺表示训练批次中的正样本，x^-表示训练批次中的负样本，

即为所构造的AUC性能指标替代函数，此函数仅仅只能用于二分类模型中，如果要推广到多类别分类的任务中，则作如下的变形：

其中，K代表分类的类别数目，这里，K＝14，代表所要预测的14个类别的分类；

并且，将此构造的替代函数和所述交叉带权交叉熵函数联合在一起，得到最终函数L，具体为：

步骤S5、在线的训练以及特殊情况下的处理

一般训练模型是基于梯度下降算法，可以基于上面提出的损失函数，计算其梯度，使用随机梯度下降算法进行迭代更新，AUC指标近似项的梯度计算如下所示：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，

这里，

因为f(·)∈(0，1)，所以

存在倾向于∞风险，所以构建的函数应当使得λ＞1，因此在训练模型的过程中取λ＝1

另外，在使用mini-batch进行训练的过程中，由于一个batch中，训练的数目是有限的，当存在有些batch没有正样本或者负样本的情况时，作如下近似处理：

步骤S6、基于弱监督学习的胸部肺结节的定位。

最终，根据上述基于神经网络的肺结节筛选方法实现胸部肺结节的快速、准确地定位。其X光胸部肺结节诊断模型的示意图见图2，由此可知，通过上述方法，可以更容易向底层推广，解决基层医院专业医疗资源不足的问题，提升基层医院诊断水平，减少偏远地区误诊与漏诊的机率。

Claims (8)

1.基于神经网络的肺结节筛选方法，其特征在于，包括如下步骤：

步骤1、胸部图像数据的准备；

步骤2、主特征提取网络的构建与训练；

步骤3、交叉带权交叉熵函数的构建；

步骤4、AUC性能指标的近似；

步骤5、在线的训练以及特殊情况下的处理；

步骤6、基于弱监督学习的胸部肺结节的定位。

2.根据权利要求1所述的基于神经网络的肺结节筛选方法，其特征在于，步骤1中，所述胸部图像数据为NIH公开的112120张胸部X光影像数据，包含14种肺结节，其中，每张胸部X光影像数据的原始图像大小为1024*1024。

3.根据权利要求1所述的基于神经网络的肺结节筛选方法，其特征在于，步骤2中，使用InceptionV3模型，将InceptionV3模型中最后一层1000个神经元的全连接层替换为包含14个神经元的全连接层，并将其作为构建的主特征提取网络。

4.根据权利要求2或3所述的基于神经网络的肺结节筛选方法，其特征在于，在训练主特征提取网络之前：

将原始图像修改为299*299的大小；以及，

将原始图像转换成三通道的灰度图，且三个通道的灰度图对应的灰度值相同；以及，

对原始图像进行增广处理。

5.根据权利要求3所述的基于神经网络的肺结节筛选方法，其特征在于，主特征提取网络每一次的预测，网络输出一个14维度向量，向量中为1的位置，表示对应的肺结节是存在的。

6.根据权利要求3所述的基于神经网络的肺结节筛选方法，其特征在于，步骤3中，主特征提取网络在训练过程中，通过构建一种交叉带权交叉熵函数来平衡正负样本所产生的误差，具体方法如下：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，在多类别分类任务中，T表示训练batch中样本的数目，c是一个正整数，表示样本x所属类别，K表示包含疾病的类别总数为14；|P|和|N|分别代表训练batch中的正样本与负样本的数目，α_N和α_P分别代表负样本与正样本在一个训练batch中所占有的比例，α_N和α_P分别加到交叉熵函数的两项中，α_N代表正样本产生的误差，α_P代表负样本产生的误差，通过样本分布比率的不同来平衡该性能函数中正负样本产生的误差，且α_N+α_P＝1。

7.根据权利要求1或6所述的基于神经网络的肺结节筛选方法，其特征在于，步骤4具体是指：通过构建一种替代函数来等价于AUC性能指标，该等价函数作为一个训练惩罚项和所述构建的交叉带权交叉熵函数一起平衡训练过程产生的误差，具体过程如下：

构建φ(t)、

具体如下：

φ(t)＝(1-t)^λ，t∈[0，1]，λ＞0

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，T₊表示训练批次中正样本的数量，T_-表示训练批次中负样本的数量，x⁺表示训练批次中的正样本，x^-表示训练批次中的负样本，

即为所构造的AUC性能指标替代函数，此函数仅仅只能用于二分类模型中，如果要推广到多类别分类的任务中，则作如下的变形：

其中，K代表分类的类别数目，这里，K＝14，代表所要预测的14个类别的分类；

并且，将此构造的替代函数和所述交叉带权交叉熵函数联合在一起，得到最终函数L，具体为：

8.根据权利要求7所述的基于神经网络的肺结节筛选方法，其特征在于，步骤5中，

训练模型时是基于梯度下降算法，基于函数计算其梯度，使用随机梯度下降算法进行迭代更新，AUC指标近似项的梯度计算如下：

其中，x代表输入样本，f(x)为输入样本x通过现有模型resnet、inception、densenet或Alexnet的输出，

这里，

因为f(·)∈(0，1)，所以

存在倾向于∞风险，所以构建的函数应当使得λ＞1，因此在训练模型的过程中取λ＝1；

另外，在使用mini-batch进行训练的过程中，由于一个batch中，训练的数目是有限的，当存在有些batch没有正样本或者负样本的情况时，作如下近似处理：

Images