CN111584073B - 构建肺结节良恶性的多种病理类型诊断模型的方法 - Google Patents

Abstract

本发明基于人工智能融合多模态信息构建肺结节良恶性的多种病理类型诊断模型的方法，包括构建多分辨率3D多分类深度学习网络模型；构建机器学习多分类模型；利用CT影像训练构建的多分辨率3D深度学习模型并得出权值；利用肺部肿瘤标志物信息训练构建的机器学习多分类模型并得出权值；利用迁移学习迁移深度学习网路和机器学习网络模型的权值，在模型的尾端采用权值融合实现肺部CT影像学信息和肺部肿瘤标志物信息的融合。本发明采用深度学习网络模型和机器学习模型分别在肺部CT图像中和肺部肿瘤标志物中挖掘与病理类型分类相关的深层次特征，并通过融合两种网络模型实现CT影像和肺部肿瘤标志物多模态信息的融合，迅速对肺结节的具体病理类型做出诊断。

Description

构建肺结节良恶性的多种病理类型诊断模型的方法

技术领域

本发明属于医学图像处理领域，具体涉及基于融合肺部CT影像和肿瘤标志物多模态信息构建肺结节良恶性的多种病理类型诊断模型的方法。

背景技术

对肺部疾病患者进行及早的肺结节检测和治疗是降低肺癌死亡率的关键措施。传统方式的肺结节良恶性的诊断大多是临床医学工作者结合肺部CT影像学检查以及肺部肿瘤标志物的检查，共同对肺结节进行良恶性诊断。这需要依赖医学工作者个人临床经验，增加其工作压力，且由于医生的个人经验水平参差不齐，传统的诊断方法容易受到医生个人经验水平的影响，诊断误差较大。临床中肺结节的诊断只能通过肉眼辨别肺结节的良恶性，而不能识别肺结节的具体病理类型做分类诊断。

发明内容

本发明的目的在于针对上述现有肺结节的良恶性诊断实际工作效率低、个人临床经验依赖性高，不能同时对肺结节的具体病理类型做分类诊断的问题，提供一种基于人工智能融合多模态信息构建肺结节良恶性的多种病理类型诊断模型的方法。

本发明基于人工智能融合多模态信息构建肺结节良恶性的多种病理类型诊断模型的方法包括以下步骤：

S1：构建多分辨率3D多分类深度学习网络的模型；

S2：采用随机梯度下降法，利用多种分辨率的CT影像数据训练S1中的多分类深度学习网络模型并保存最优模型的权值；

S3：构建多层感知Softmax机器学习的多分类模型；

S4：采用肺部肿瘤标志物信息训练S3中构建的多层感知Softmax机器学习的多分类模型并保存最优模型的权值；

S5：在S1中构建多分辨率3D多分类深度学习网络的模型和S3中构建多层感知Softmax机器学习的多分类模型尾端Softmax层进行权值融合，构建基于人工智能的融合肺部CT影像和肿瘤标志物两种模态信息的融合网络模型；

S6：通过迁移学习迁移S2中最优深度学习网络模型的权值和S4中保存的最优机器学习网络模型的权值，并加载到在S5中构建的融合网络模型中；

S7：对S6中构建的模型进行分类准确率以及受试者工作特性曲线验证。

上述方案中，步骤S1中利用双通路网络(Dual Path Network,DPN)结构为主网络，分别构建三个网络结构相同的单分辨率网络，三个单分辨率网络的输入的分辨率分别为20×20×20、30×30×30、45×45×45。

上述方案中，步骤S2中将三种分辨率的CT影像数据集划分为训练集、验证集和测试集三部分，将训练集中对应的分辨率数据输入到多分辨率3D多分类深度学习网络模型中去，并采用随机梯度下降法对模型进行训练。深度学习网络参数初始化采用He初始化，初始化学习率设置为0.003并每过100轮迭代降低30％，网络批量(batch-size)大小采用16，损失函数选取交叉熵损失函数。根据验证集的准确率收敛趋势和迭代轮数判断算法是否收敛，若未收敛直至收敛后保存最优网络的模型参数。

上述方案中，步骤S3中利用机器学习中的多层感知(Multi-layer Perception,MLP)算法，构建包含输入层、三层隐藏层、输出层的多层感知分类器，在输出层采用Softmax分类算法。

上述方案中，步骤S4中，将包含癌胚抗原(CEA)、糖类抗原50(CA50)、糖类抗原125(CA125)、糖类抗原242(CA242)、糖类抗原72-4(CA72-4)、非小细胞癌相关抗原(Cyfra21-1)、神经元特异性烯醇化酶(NSE)、血清胃泌素释放肽前体(ProGRP)以及鳞状细胞癌抗原(SCCA)九种肺部肿瘤标志物特征的数据集，按一定比例划分为训练集、验证集和测试集。将训练集数据输入到构建的多层感知Softmax多分类模型中，采用随机梯度下降法进行模型训练，初始化学习率为0.001，每100次迭代衰减一次，网络批量(batch-size)大小为16。根据验证集的准确率收敛趋势判断算法是否收敛，并将收敛模型的最优权值进行保存。

上述方案中，步骤S5中将多分辨率3D多分类深度学习网络模型和多层感知Softmax的机器学习网络模型的尾端按照比例系数λ₁、λ₂进行融合从而得到融合网络模型的输出概率值p_f，具体计算公式如(1)所示：

其中，d_i代表第i个样本的输入，

代表网络模型的预测结果，k代表模型分类器所分类的类别数，λ_n代表在尾端的模型融合过程中的权值参数。

本发明的有益效果在于：能够利用人工智能的方法融合实际临床中肺结节早期良恶性检测的两种模态信息，放射科医师只需要输入肺部CT影像以及肺部肿瘤标志物的检测结果，就能得出肺结节具体的病理类型。相比传统的人工诊断肺结节良恶性的方式，本发明不仅能提高诊断效率，并且能综合各种模态信息，迅速对肺结节的具体病理类型做出诊断。

附图说明

图1是20×20×20低分辨率3D双通路网络示意图。

图2是30×30×30中分辨率3D双通路网络示意图。

图3是45×45×45高分辨率3D双通路网络示意图。

图4是多分辨率3D多分类深度学习网络模型示意图。

图5是多分辨3D数据处理示意图。

图6是双通路单元(DPN unit)结构示意图。

图7多层感知Softmax多分类机器学习模型示意图。

图8是融合肺部CT影像和肿瘤标志物两种模态信息的融合网络模型示意图。

具体实施方式

下面结合附图及具体实施对本发明作进一步详细的说明。本发明实现基于人工智能融合多种模态信息构建肺结节良恶性的多种病理类型诊断模型的方法主要包括以下步骤：

S1构建多分辨率3D多分类深度学习网络模型。

S1.1收集具备明确病理类型的CT影像数据，层厚为1mm。

收集炎症、鳞癌、腺癌和良性其他等四种病理类型的CT影像数据，要求均具备明确病理类型，并且层厚均为1mm，结节直径D大小在3mm≤D≤30mm。将其按照类别比例划分为训练集、验证集和测试集。

S1.2按肺结节区域的中心点O和直径D提取将3D肺结节数据体并存储。

人工确定所收集CT影像数据中肺结节的中心点O、直径大小D，并根据D将其分为三个分辨率，若3mm≤D≤14mm为低分辨率，对应的像素提取窗口为20×20×20；14mm＜D≤21mm为中分辨率，对应的像素提取窗口为30x30x30；21mm＜D≤30mm为高分辨率，对应的像素提取窗口为45×45×45。

S1.3通过B样条插值算法生成对应的三个分辨率的数据体。

将训练集、验证集和测试集中的肺结节，以其中心O点为中心按相应的像素窗口大小提取3D图像，并通过B样条插值生成其余两个分辨率的3D图像，如图5所示，并对应保存。

S1.4将步骤S3中数据进行线下样本扩充，并在线上进行标准化和错切处理后作为训练网络的输入。

首先将训练集和验证集中的炎症、鳞癌和良性其他类等，根据各类的样本数量情况进行线下数据扩充。炎症、鳞癌和良性其他类分别在X轴、Y轴和Z轴旋转[90°,270°]，即每类扩展了6倍，另外又单独对鳞癌采取在Y轴和Z轴分别翻转[90°,270°]的操作，最终炎症和良性其他类扩展了6倍，鳞癌扩展了10倍，腺癌不作数据扩展。线上输入数据会先对输入数据进行0-1标准化，将训练样本数据采用2像素点随机平移和错切的方式进行线上数据扩充，以保证样本分类的均衡性。

S1.5构建多分辨3D双通路压缩激励网络。

利用图6中双通路(DPN)网络单元的架构构建图1、图2、图3和图4中多分辨率3D多分类深度学习网络模型。图6中，BN为批量归一化，ReLU为ReLU激活函数，Conv表示卷积操作，X1_l和X2_l分别表示第l层残差连接通路和密集连接通路的网络输入，其中密集连接通路基本通道为32，递增为16。整体网络共采用三个分辨率的网络，网络输入像素维度分别为低分辨网络:20×20×20、中分辨网络:30×30×30以及高分辨网络:45×45×45，每个分辨率网络的主体框架都由图6中双通路网络(DPN)单元堆叠而成。以图1中的3D低分辨率多分类双通路网络模型为例，在图1中，从左至右，图中的3*3*3@64表示当前层采用64个维度为3*3*3卷积核进行卷积。MP代表Maxpooling3D，表示对数据进行最大池化操作。特征立方体下方的4*4*4@(128+64)表示当前层输出的大小为4*4*4，且残差连接通路的特征通道数为128，密集连接通路的通道数为64，其余类似。GAP/GMP代表Global AveragePooling3D和Global MaxPooling3D，表示对上一层的输出特征分别进行全局平均池化以及全局最大池化操作，取两个输出的平均值作为下一层的输入，最后经由Softmax分类器得出分类结果。整体网络构建参数由表1给出。

图4中尾端分类比例系数分别为λ₁＝0.3,λ₂＝0.3,λ₃＝0.4。尾端分类各自的概率P₁、P₂、P₃由下式给出：

式中，表示N个输入样本和真实标签值一一对应的集合为{(D₁,y₁),...,(D_N,y_N)}，D_j为第j个输入样本，y_j为D_j对应的真实标签，

则为网络预测的结果，k为分类的类别数，在这里k值为4，η_i为第i个分辨率网络的参数。计算完P_i后，在尾端按比例系数λ₁、λ₂、λ₃进行概率融合得到融合概率P_f，如下所示：

表1 3D多分辨率双通路深度学习网络模型详细结构

表1中，C代表卷积层，DPN-C代表双通路压缩激励模块中的卷积层，FC代表全连接层，通道数中相加项前者为残差连接通路通道数，后者为密集连接通路通道数。

S2采用随机梯度下降法，利用多种分辨率的CT影像数据训练S1中的多分类深度学习网络模型并保存最优模型的权值。

将三种分辨率的CT影像数据集(其中包含炎症、鳞癌、腺癌和良性其他类的四种类型)划分为训练集、验证集和测试集三部分。将训练集中对应的分辨率输入到S1中构建的多分辨率3D多分类深度学习网络模型中，并采用随机梯度下降法对模型进行训练，深度学习网络参数初始化采用He初始化，学习率设置为0.003并每过100轮迭代降低30％，网络批量(batch-size)大小采用16，损失函数选取交叉熵损失函数。根据验证集的准确率收敛趋势和迭代轮数判断算法是否收敛，若未收敛直至收敛后保存网络参数。

S3构建多层感知Softmax机器学习的多分类模型。

利用机器学习中多层感知(Multi-layer Perception,MLP)算法，构建了一个包含输入层，三层隐藏层，输出层的多层感知分类器，在输出层采用Softmax分类算法。其中，隐藏层的第一层包含128个神经元，第二层包含64个神经元，第三层包含64个神经元，如图7所示。

S4采用肺部肿瘤标志物信息训练S3中构建的多层感知Softmax机器学习的多分类模型并保存最优模型的权值。

肺部肿瘤标志物数据集中包含癌胚抗原(CEA)、糖类抗原50(CA50)、糖类抗原125(CA125)、糖类抗原242(CA242)、糖类抗原72-4(CA72-4)、非小细胞癌相关抗原(Cyfra21-1)、神经元特异性烯醇化酶(NSE)、血清胃泌素释放肽前体(ProGRP)以及鳞状细胞癌抗原(SCCA)九种特征信息，按一定比例将该数据集划分为训练集、验证集和测试集，将训练集数据输入到构建的多层感知Softmax机器学习多分类模型中，采用随机梯度下降法进行模型训练，初始化学习率为0.001，每100次迭代衰减一次，网络批量(batch-size)批次大小为16。根据验证集的准确率收敛趋势判断算法是否收敛，并将收敛模型的最优权值进行保存。

S5在S1中构建多分辨率3D多分类深度学习网络的模型和S3中构建多层感知Softmax机器学习的多分类模型尾端Softmax层进行权值融合，构建基于人工智能的融合肺部CT影像和肿瘤标志物两种模态信息的融合网络模型。

将多分辨率3D多分类深度学习网络的模型和多层感知Softmax机器学习网络的模型的尾端按照比例系数λ₁＝0.2、λ₂＝0.8进行融合从而得到融合网络模型的输出概率值p_f，具体计算公式如(3)所示：

其中，d_i代表第i个样本的输入，

代表网络模型的预测结果，k代表模型分类器所分类的类别数，λ_n代表在尾端的模型融合过程中的权值参数，如图8所示。

S6通过迁移学习迁移S2中最优深度学习网络模型的权值和S4中保存的最优机器学习网络模型的权值，并加载到在S5构建的融合网络模型中。

利用迁移学习的权值迁移方法，将S2中保存的最优深度学习网络模型的权值以及S4中保存的最优机器学习模型的权值迁移到S5中构建的融合网络模型中。

S7对S6中构建的模型进行分类准确率以及受试者工作特性曲线验证。

将CT影像和肺部肿瘤标志物两种模态信息的测试集数据输入到S6中已经迁移结束的融合网络模型中进行分类准确率和受试者工作特性曲线验证。

最后应说明的是，以上实施实例仅用以说明本发明的技术方案而非限制，尽管参照较佳的实施实例对本发明进行了详细的说明，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的修改或等同替换，而不脱离本发明技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是包括以下步骤：

S1：构建多分辨率3D多分类深度学习网络模型；

S2：采用随机梯度下降法，利用多种分辨率的CT影像数据训练S1中的多分类深度学习网络模型并保存最优模型的权值；

S3：构建多层感知Softmax机器学习的多分类模型；

S4：采用肺部肿瘤标志物信息训练S3中构建的多层感知Softmax机器学习的多分类模型并保存最优模型的权值；

S5：在S1中构建多分辨率3D多分类深度学习网络模型和S3中构建多层感知Softmax机器学习的多分类模型尾端Softmax层进行权值融合，构建基于人工智能的融合肺部CT影像和肿瘤标志物两种模态信息的融合网络模型；

S6：通过迁移学习迁移S2中最优深度学习网络模型的权值和S4中保存的最优机器学习网络模型的权值，并加载到在S5中构建的融合网络模型中；

S7：对S6中构建的模型进行分类准确率以及受试者工作特性曲线验证。

2.根据权利要求1所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是，所述步骤S1包括：

S1.1收集具备明确病理类型的CT影像数据；收集炎症、鳞癌、腺癌和良性其他四种病理类型的CT影像数据，层厚均为1mm，结节直径D大小在3mm≤D≤30mm，将其按照类别比例划分为训练集、验证集和测试集；

S1.2按肺结节区域的中心点O和直径D提取将3D肺结节数据体并存储；人工确定所收集CT影像数据中肺结节的中心点O、直径大小D，并根据D将其分为三个分辨率，若3mm≤D≤14mm为低分辨率，对应的像素提取窗口为20×20×20；14mm＜D≤21mm为中分辨率，对应的像素提取窗口为30×30×30；21mm＜D≤30mm为高分辨率，对应的像素提取窗口为45×45×45；

S1.3通过B样条插值算法生成对应的三个分辨率的数据体；

将训练集、验证集和测试集中的肺结节，以其中心O点为中心按相应的像素窗口大小提取3D图像，并通过B样条插值生成其余两个分辨率的3D图像，并对应保存；

S1.4将步骤S3中数据进行线下样本扩充，并在线上进行标准化和错切处理后作为训练网络的输入；

炎症、鳞癌和良性其他类分别在X轴、Y轴和Z轴旋转[90°,270°]，另外又单独对鳞癌采取在Y轴和Z轴分别翻转[90°,270°]的操作，最终炎症和良性其他类扩展了6倍，鳞癌扩展了10倍，腺癌不作数据扩展，线上输入数据会先对输入数据进行0-1标准化，将训练样本数据采用2像素点随机平移和错切的方式进行线上数据扩充，以保证样本分类的均衡性；

S1.5构建多分辨3D双通路压缩激励网络。

3.根据权利要求1或2所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是，所述3D多分类深度学习网络模型由双通路网络单元模块堆叠而成，其结构与参数见表1，其中密集连接通路基本通道为32，递增为16，尾端分类比例系数为λ₁＝0.3,λ₂＝0.3,λ₃＝0.4，尾端分类各自的概率P₁、P₂、P₃由下式给出：

式中，给定N对输入样本和真实标签值的对应{(D₁,y₁),...,(D_N,y_N)}，D_j为第j个输入样本，y_j为D_j对应的真实标签，

则为网络预测的结果，k为分类的类别数，在这里k值为4，η_i为第i个分辨率网络的参数，计算完三个分辨率网络各自的预测概率P_i后，在尾端按比例系数λ₁、λ₂、λ₃进行概率融合得到融合概率P_f，如下所示：

表1 3D多分辨率双通路深度学习网络模型详细结构

表1中，C代表卷积层，DPN-C代表双通路压缩激励模块中的卷积层，FC代表全连接层，通道数中相加项前者为残差连接通路通道数，后者为密集连接通路通道数。

4.根据权利要求2所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是步骤S2中将三种分辨率的CT影像数据集划分为训练集、验证集和测试集三部分，将训练集中对应的分辨率数据输入到多分辨率3D多分类深度学习网络模型中去，并采用随机梯度下降法对模型进行训练。

5.根据权利要求4所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是深度学习网络参数初始化采用He初始化，初始化学习率设置为0.003并每过100轮迭代降低30％，网络批量(batch-size)大小采用16，损失函数选取交叉熵损失函数；根据验证集的准确率收敛趋势和迭代轮数判断算法是否收敛，若未收敛直至收敛后保存最优网络的模型参数。

6.根据权利要求1所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是步骤S3中利用机器学习中的多层感知MLP算法，构建包含输入层、三层隐藏层、输出层的多层感知分类器，在输出层采用Softmax分类算法。

7.根据权利要求6所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是隐藏层的第一层包含128个神经元，第二层包含64个神经元，第三层包含64个神经元。

8.根据权利要求1所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是步骤S4中，将包含癌胚抗原CEA、糖类抗原50、糖类抗原125、糖类抗原242、糖类抗原72-4、非小细胞癌相关抗原、神经元特异性烯醇化酶、血清胃泌素释放肽前体以及鳞状细胞癌抗原9种肺部肿瘤标志物特征的数据集，按一定比例划分为训练集、验证集和测试集。

9.根据权利要求8所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是将训练集数据输入到构建的多层感知Softmax多分类模型中，采用随机梯度下降法进行模型训练，初始化学习率为0.001，每100次迭代衰减一次，网络批量(batch-size)大小为16，根据验证集的准确率收敛趋势判断算法是否收敛，并将收敛模型的最优权值进行保存。

10.根据权利要求1所述的构建肺结节良恶性的多种病理类型诊断模型的方法，其特征是，步骤S5中将多分辨率3D多分类深度学习网络模型和多层感知Softmax的机器学习网络模型的尾端按照比例系数λ₁、λ₂进行融合从而得到融合网络模型的输出概率值p_f，具体计算公式如(3)所示：

其中，d_i代表第i个样本的输入，

代表网络模型的预测结果，k代表模型分类器所分类的类别数，λ_n代表在尾端的模型融合过程中的权值参数。

Images