CN116030325A

CN116030325A - 基于深度混合学习框架的肺结节ct图像识别方法

Info

Publication number: CN116030325A
Application number: CN202310055528.8A
Authority: CN
Inventors: 黄鸿; 吴若愚
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2023-01-16
Filing date: 2023-01-16
Publication date: 2023-04-28

Abstract

本发明提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案利用CNN模型和ViT模型分别对肺结节CT图像的局部结构特征和长距离上下文关系进行学习并输出相应的表示信息和第二特征映射，然后设计基于注意力机制的特征聚合模块，以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，从而避免过渡的参数设置以及增强识别过程的自动化水平；本发明的有益技术效果是：提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案能利用CNN和视觉Transformer（Vision transformer,ViT）联合驱动的深度混合学习框架对胸部CT肺结节的良恶性进行识别，识别准确性较好。

Description

基于深度混合学习框架的肺结节CT图像识别方法

技术领域

本发明涉及一种医学图像识别技术，尤其涉及一种基于深度混合学习框架的肺结节CT图像识别方法。

背景技术

肺癌在全世界范围内具有高的发病率和死亡率，基于CT(Computed tomography,CT)的肺癌早期无创筛查已被证实能显著降低高风险人群的死亡率，肺结节的良、恶性鉴别诊断是该筛查任务中的一个关键环节。

在临床诊断中，放射科医生通常需要为一个结节患者逐层阅读数张甚至数十张CT切片以达到准确的判别，显然，该诊断过程费时费力，且易发生操作者偏见，因此，为了帮助放射科医生提升诊断效率和诊断准确度，开发肺结节计算机辅助诊断系统(Computer-aided diagnosis,CAD)成为了医学图像分析领域中一个活跃的研究课题。肺结节形状大小变化不一，并且通常被复杂的背景组织包围，这导致结节样本之间高的类内多样性和类间相似性的特性，因此，同时提取局部特征和全局特征对准确的肺结节鉴别诊断至关重要。

近年来，大量CAD方法被开发用于肺结节良恶性鉴别诊断任务，它们大致可以被归纳为两大类：基于手工特征的方法和基于深度学习的方法。先前的方法主要倾向于利用领域知识开发各种各样的手工特征(例如，外观，强度，球形度，毛刺和纹理等)，然后这些特征被一些传统的机器学习技术(例如，随机森林，支持向量机和多层感知器等)进一步处理以获取肺结节诊断结果。通常，会同时从结节体和结节瘤周组织提取手工特征以生成对结节的全局描述。另外，开发新颖的特征描述子和设计有效的特征筛选方法也是提升鉴别诊断性能的实用方式。基于手工特征的方法虽然对具有显著外观差异的肺结节能实现好的分类性能，但由于过度依赖领域知识，他们对复杂的结节样本难以获取判别的表示。

深度学习通过模仿人脑的运行机制，能很好的揭示目标数据的内在结构，因此被广泛应用在医学图像分析领域中。得益于逐层抽象的结构，卷积神经网络(Convolutionalneural network,CNN)擅长提取图像的特征信息，是最具影响力的深度学习范式之一，并被成功的应用于肺结节的计算机辅助诊断任务中。由于对肺结节CT图像的注释需要高阶的专业知识和大量的精力，因此很难获取充足的标记肺结节样本。这一明显弱点与由数据驱动的深度学习模型通常含有大量参数需要被大量标记样本充分训练的事实相违背，这可能会由于不充分的训练过程导致模型过拟合。

深度迁移学习能够利用在源域学到的知识促进目标域的完成。在医学图像分析领域中，从拥有大量标记样本的自然图像集迁移视觉表示能力到含有限标注数据的医学图像集已经被确立为最实用的学习范式之一。尽管基于深度学习的方法已经获得了显著的性能改善，但它们对良恶性结节鉴别诊断至关重要的长距离依赖关系的学习能力却有限。

在过去的数年间，Transformer对长距离的上下文信息展示出强大的学习能力，并已被应用于医学CT图像分析任务中。然而，存在的基于Transformer结构的方法在构建一个混合学习框架时，没有充分考虑肺结节CT图像复杂的空间异质性和不同类型模型之间有效的协作运行模式，这将限制鉴别性能的提升。

发明内容

针对背景技术中的问题，本发明提出了一种基于深度混合学习框架的肺结节CT图像识别方法，其创新在于：所述肺结节CT图像识别方法包括：

1)获取肺部CT图像；采用三次样条插值算法对肺部CT图像进行重采样处理，将肺部CT图像标准化到统一的尺度；然后对重采样处理后的肺部CT图像进行归一化处理，得到归一化图像；

2)从归一化图像中提取出肺结节图像；所述肺结节图像是以肺结节组织为中心的立方体区域的图像；从肺结节图像中提取出9个单视野图像；9个单视野图像分别对应立方体区域的冠状面、矢状面、横截面和6个对称面；单个对称面在立方体区域的对角线上切割立方体区域的两个相对面，并包含立方体区域的四个顶点和两个相对边；

3)对9个单视野图像进行拼接处理，得到二维的第一拼接图像，对第一拼接图像进行尺度调节和通道扩展处理，得到与预训练的ViT模型的输入尺度匹配的第一3通道图像；将第一3通道图像输入ViT模型，由ViT模型对第一3通道图像所包含的长距离的上下文信息进行学习，并输出相应的第一特征映射；将第一特征映射中的第一个序列作为表示信息，所述表示信息用于预测临床语义类别；

同步地，对9个单视野图像进行拼接处理，得到二维的第二拼接图像，对第二拼接图像进行尺度调节和通道扩展处理，得到与预训练的CNN模型的输入尺度匹配的第二3通道图像；将第二3通道图像输入CNN模型，由CNN模型对第二3通道图像所包含的局部结构特征进行学习，并输出相应的第二特征映射；

所述ViT模型为K层具有相同网络结构的视觉Transformer，ViT模型已在自然图像集上完成预训练；

所述CNN模型采用ResNet-50网络结构，CNN模型已在自然图像集上完成预训练；

4)基于注意力机制以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，得到聚合特征映射；

5)将聚合特征映射输入一基于全连接层的分类器，由分类器输出相应肺结节组织属于良性或恶性的临床语义标签。

前述方案的原理是：利用预训练好的CNN模型和ViT模型分别对肺结节CT图像的局部结构特征和长距离上下文关系进行学习并输出相应的表示信息和第二特征映射，然后设计基于注意力机制的特征聚合模块，以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，从而避免过渡的参数设置以及增强识别过程的自动化水平；在公开的基准数据集LIDC-IDRI和一个具有挑战性的竞赛数据集LUNGx上的实验结果表明，相比现有技术，本发明具有更具竞争力的良恶性肺结节鉴别性能和良好的泛化能力。

CNN模型和ViT模型均是现有技术，其基本性能和作用为本领域技术人员所熟知，具体实施时，本领域技术人员可根据具体情况合理实施。

在前述方案的基础上，本发明对步骤4)进行了优化，步骤4)包括：

a)采用全局平均池化操作

将第二特征映射FM_cb转换为一池化特征向量

该过程表示为：

其中H_cb，W_cb和C_cb分别表示FM_cb的高度、宽度和通道数；

b)采用两个具有相同神经元数量的全连接层将所述池化特征向量

和所述表示信息

映射到相同的尺度，分别得到

和

对应

对应

1×1×C_cv为相应特征向量的尺度；

c)采用基于元素求和的挤压操作将

和

整合为一个集成特征向量F_en，该过程表示为：

其中，

表示元素求和操作；

d)按下式计算出聚合特征映射F_agg：

其中，

表示元素乘积操作；

和

由α和β作Softmax计算得到；α和β按下式计算：

其中，

分别表示3个全连接层操作

和

的权重，γ表示减少率。

本发明的有益技术效果是：提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案能利用CNN和视觉Transformer(Vision transformer,ViT)联合驱动的深度混合学习框架对胸部CT肺结节的良恶性进行识别，识别准确性较好。

附图说明

图1、本发明的框图，h×w×s表示裁剪的肺结节体积的尺度，C_emb表示类嵌入，P_emb表示位置嵌入；

图2、9个单视野图像的分布位置示意图；

图3、V-分支中第k层的网络结构示意图；

图4、C-分支中残差模块的网络结构示意图，ReLU表示修正线性单元；

图5、基于注意力机制的特征聚合模块的网络结构示意图；

图6、本发明在单个单视野图像输入和多个单视野图像输入条件下的良恶性分类性能对比图；

图7、本发明在单个单视野图像输入和多个单视野图像输入条件下生成的ROC曲线；

图8、本发明方法和对比方法在10个具有代表性的样本上产生的恶性预测结果，#1-#5为良性结节，#6-#10为恶性结节；

图9、本发明方法和几种基于不同融合方式的对比方法产生的ROC曲线；

图10、本发明方法和几种基于不同组件的方法产生的ROC曲线。

具体实施方式

实施例：

1、数据集介绍

LIDC-IDRI是一个用于肺癌计算机辅助诊断研究的公开数据集。该数据集由7家学术中心和8家医学成像公司共同搜集，共包含有1,018份胸部CT扫描(这些扫描从1,010名病人中采集，其中有8名病人各提供了2份不同的扫描)。统计表明，在每份扫描中的切片数量为65到764不等，所有切片为512×512像素的统一尺度，切片厚度大小范围为[0.45mm,5.0mm],像素空间大小范围为[0.46mm,0.98mm]。另外，在每一份扫描中附带有一份对应的XML文件，该文件记录有4名放射可医生给出的注释信息。该数据集中，每个可疑的病变被按照大小标记为3种类型，包括结节≥3mm，非-结节≥3mm，结节<3mm。

本实施例仅采样结节≥3mm用于研究，因为结节<3mm在目前的肺癌筛查协议中被认为与临床不相关。每个肺结节的恶性程度被最多4名医生用一种5分制(分值越高表示恶性程度越高)进行注释。为了确保对结节存在性的一致评估，本实施例仅考虑被至少有3名医生注释过的结节用于实验。另外，参考一些先前的研究，对一个结节恶性评定分值的中位数作为良恶性标记规则，以权衡所有医生给出的评估分值。以上述标记方法，我们共采样到832个肺结节样本，其中419个良性结节样本，413个恶性结节样本。

2、本发明方法概述

肺结节CT图像被复杂的解剖结构和空间层级所表征，因此同时探索局部结构表示和长距离依赖关系是提升肺结节良恶性鉴别诊断性能的一种卓有成效的方式。对此，本发明提出一种由CNN和ViT联合驱动的深度混合学习框架(Deep hybrid learning frameworkjointly driven by CNN and ViT，后文一些内容将本发明简述为DHLF-CV)以充分探索基于不同类型网络的判别特征学习能力。图1展示了本发明的总体框图。如图1所示，本发明嵌入了2个平行的特征提取分支，该方法主要包括以下5个步骤：

为了方便阅读，表1总结了本文中使用的一些数学符号。

表1符号和定义。

下面按照前述的步骤顺序，对各个步骤进行详细介绍：

3、数据标准化和多视野结节图像裁剪(对应步骤1)、2))

一个数据集中的CT扫描通常从不同的病人获取，CT扫描仪亦或不一致，这导致成像质量(例如空间分辨率和强度分布)变化不一。标准化原始的CT数据对数据驱动型方法获取好的性能至关重要。

对于空间分辨率，我们根据放缩因子

使用三次样条插值算法重采样每份CT扫描到一个统一的尺度

该过程可以表示为：

其中，

表示原始的空间分辨率，

表示元素相乘操作；

此外，一个图像强度窗[ζ_min,ζ_max]被用于裁剪重采样后的扫描，然后CT值被进一步映射到[0,1]，该过程可以表达为：

其中，V_raw和V_map分别表示原始的CT值和映射后的CT值。另外，在我们的实验中，

被设置为(0.5,0.5,0.5)mm，[ζ_min,ζ_max]被设置为[-1000,400]。

考虑到肺结节CT图像显著的空间异质性和受一些先前相关研究的启发，我们提取一个肺结节体积的多个视野平面作为输入以促使深度模型学习判别表示。具体地，首先根据放射科医生给出的肺结节位置信息的注释，从包含每个结节样本的CT扫描中裁剪一个以肺结节为中心、大小为h×w×s的立方体。然后从该结节立方的横截面、冠状面、矢状面和6个对称面中提取9个单视野图像(二维图像)，其中每个对称面在对角线上切割立方体的两个相对面，并包含立方体的四个顶点和两个相对边，9个单视野图像的具体位置如图2所示。

4、应用预训练的ViT提取长距离上下文信息(对应步骤3)中与ViT模型相关的处理)

ViT模型通过嵌入多头注意力能提取序列间的长距离上下文关系，并且它已被证实在图像分析任务中拥有卓越的能力。因此，在本发明中，ViT模型被引入作为一个学习分支(V-分支)以挖掘蕴含在结节CT数据中的长距离上下文信息。

因为对肺结节CT图像的注释需要高阶的专业知识和大量的精力，这导致标记的样本通常难以获取，样本数量有限。为了克服因样本不足导致的过拟合问题和促进模型优化学习，我们迁移在自然图像集上经过预训练的ViT模型作为V-分支。

对于每个采样的肺结节的9个单视野图像

我们首先将其拼接为一幅大的2维图像

(即第一拼接图像)，显然，H×W＝h×w×9。然后运用放缩操作和通道方面的扩展操作将I_iv变换到图像I_i′_v(即第一3通道图像)，

使其匹配ViT模型的输入尺度H_iv×W_iv×C_iv。进一步，将I_i′_v重构为N个小的图像块，并将所有图像块拉伸为序列

其中(P_mini,P_mini)表示图像块的分辨率，

表示图像块的数量。随后，用一个嵌入矩阵为

的线性投影操作将图像块序列S_e映射到一个D维空间。另外，一个可训练的类嵌入C_emb被拼接在图像块嵌入中以作为V-分支的最终图像表示。考虑到记录每个图像块位置信息的必要性，位置嵌入

被添加到图像块嵌入中以生成V-分支的输入X_v。X_v可被定义为

如图1所示，当生成V-分支的输入表示X_v后，K层具有相同网络结构的Transformer编码器被使用来探索肺结节CT图像的长距离上下文信息，其中每一层主要包含多头注意力(Multiheaded self-attention,MSA)和多层感知器(Multilayer perception,MLP)两个组件。对于第k层的输出X_k和中间变量X_k′可以被表示为

X_k′＝MSA(LN(X_k-1))+X_k-1,(k＝1,...,K) (4)

X_k＝MLP(LN(X_k′))+X_k′, (k＝1,...,K) (5)

值得说明的是，两个组件之前均使用了层规范化操作(Layer norm,LN)，每一层中的残差连接被用来传输结节CT图像信息。在分类过程中，使用最后一层输出的第一个序列

作为表示信息来预测临床语义类别，因此V-分支输出的分类表示信息

可以被定义为：

图3展示了第k层的详细网络结构，Q、K和V表示特征向量。

5、应用预训练基于残差学习的CNN提取局部结构特征(对应步骤3)中与CNN模型相关的处理)

经过构建的V-分支能有效提取长距离依赖关系，但它对结节CT图像的局部结构表示的学习能力有限。此外，考虑到CNN模型通过逐层卷积的方式能较好的提取图像局部结构特征。对此，我们设计了一个基于CNN结构的C-分支嵌入到本发明框架中，该分支能和V-分支形成互补以提升鉴别诊断性能。

近年来，多种多样的CNN模型已被开发，其中残差网络通过残差连接能增强特征重用和缓解梯度消失，是最常用的CNN模型之一。此外，权衡模型的学习能力和模型的复杂度，以及考虑到有限的肺结节标记样本，我们选用在自然图像集中预训练的ResNet-50作为C-分支的Backbone。当然，其它轻量级预训练的CNN模型也有潜力被嵌入在DHLF-CV框架中作为C-分支的Backbone。

如图1所示，为了匹配预训练的ResNet-50模型的输入尺度H_ic×W_ic×C_ic，分别使用拼接、尺度放缩和通道扩展操作将每个结节样本的9个单视野图像

映射为

(即第二3通道图像)，该过程与V-分支的输入尺度匹配过程类似。随后，一个单一卷积层(包含64个大小为7×7的卷积核)，一个最大池化层，和一组残差模块被连续地应用在形成的输入I_ic上，以生成肺结节CT图像的局部结构描述。

图4展示了ResNet-50中残差模块的详细解构(ReLU表示修正线性单元)。如图4所示，一个残差模块包含3个连续的卷积层(卷积核尺寸分别为1×1、3×3和1×1)，一个修正线性单元(Rectified linear unit,ReLU)和一个残差连接。在第一个残差模块中，三个连续卷积层的卷积核个数分别为64、64和256。此外，在随后的残差模块中，三个连续卷积层的卷积核个数分别是前一个残差模块中相应位置卷积层的卷积核个数的2倍。每一个残差模块的输出y_bl可以表示为：

其中，x_bl表示该模块的输入，

表示可学习的卷积映射。值得说明的是，在本实施例中，原始ResNet-50模型中的最后一个池化层和所有全连接层(Fullyconnected,FC)被移除以实现后续特征级的融合。

6、深度特征聚合和分类(对应步骤4)、5))

在本实施例中，不同的特征提取分支聚焦于提取不同属性的肺结节特征，因此合理的特征聚合方法有助于获取更具判别力的肺结节描述。不同于传统决策级的特征聚合方式，我们设计了一种基于注意力机制的特征级聚合网络以增强捕获的特征的表示能力，该聚合网络的详细结构如图5所示。在设计的聚合模块中，融合权重在误差反向传播过程中被更新，因此不同的特征分量通过端到端可训练的方式能被自适应的分配最优的权重。

如图5所示，为了将局部结构信息和长距离依赖信息有效映射到一个相同的特征空间，采用全局平均池化操作

将第二特征映射FM_cb转换为一池化特征向量

该过程表示为：

其中H_cb，W_cb和C_cb分别表示FM_cb的高度、宽度和通道数；

采用两个具有相同神经元数量的全连接层将所述池化特征向量

和V-分支提取的表示信息

映射到相同的尺度，分别得到

和

对应

对应

1×1×C_cv为相应特征向量的尺度；

随后，采用基于元素求和的挤压操作将

和

整合为一个集成特征向量F_en，该过程表示为：

其中，

表示元素求和操作。

最后，按下式计算出聚合特征映射F_agg：

其中，

表示元素乘积操作；

和

由α和β作Softmax计算得到；α和β按下式计算：

其中，

分别表示3个全连接层操作

和

的权重，γ表示减少率。

在获取到聚合特征映射F_agg后，构建一个由全连接层和Sigmoid单元组成的分类器用于肺结节样本的良恶性分类。

7、实验结果和分析

7.1实验设置

在本文中，使用用于肺结节计算机辅助诊断的基准公开数据集LIDC-IDRI来验证本发明方法的有效性。此外，使用一个具有挑战性的竞赛数据集LUNGx来评估本发明方法的泛化能力。在训练阶段，选择Adam作为优化器来训练DHLF-CV网络到收敛，选择交叉熵损失作为优化函数，设置Batch size为16。因为，训练集较小，我们执行一种动态的学习率机制，即当模型性能在5个Epoch内没有被改善时，学习率被减少一半，其中初始学习率设置为0.0001。使用早停策略获取最优的训练模型。另外，使用五折交叉验证方法划分训练集和测试集，重复所有分类实验5次，以产生的均值和相应的标准差作为定量分析结果。

所有实验在一台服务器上执行。该服务器拥有如下配置：2块Intel Xeon 3.6GHzCPU，6块NVIDIA RTX TITAN GPU，256GB内存和Ubuntu 18.04.1系统。另外，提出的DHLF-CV方法在Python 3.7开源框架Keras上实现。

7.2评估指标

本文使用6项常用的评估指标来定量评估提出方法的良恶性分类性能，包括Accuracy，Sensitivity，Specificity，Area Under the Receiver OperatingCharacteristic Curve(AUC)，Precision和F1-score。这些指标的计算过程如下：

其中TN_ben和TP_mal分别表示良性结节和恶性结节被正确识别的数量，FP_ben和FN_mal分别表示良性结节和恶性结节被错误识别的数量。

7.3与一些先进方法的比较

我们选择一些在基准数据集LIDC-IDRI上表现先进的方法作为对比方法以评估提出的DHLF-CV方法的良性判别能力。参照一些先前的相关研究，使用已发表在相应论文的实验结果用作对比，表2展示了对比细节。该表格中所有的实验结果均通过交叉验证实验获取以进行公平的对比。此外，为了直观展示分类性能，所有方法被划分为基于手工特征的方法(用符号△表示)和基于深度学习的方法(用符号◇表示)两种类型，每项评估指标中粗体的数值表示最优的性能。

如表2所示，在这些常用的评估指标中，基于深度学习的方法的表现明显优于基于手工特征的方法，这是因为手工特征依赖领域知识仅能表征结节CT图像单一或部分特性，而基于深度学习的方法能捕获更抽象和更全面的描述。

表2一些先进的方法在基准数据集LIDC-IDRI上的分类性能。

在表2中，VGGNet、ResNet和DenseNet是基于深度学习网络的Backbone。Multi-crop CNN和MLSA-SECL是基于单基线结果的算法，DPN model、DenseBTNet、MMEL-network和SEN-MSAN是基于多路径结构的算法。在MV-KBC framework、SSAC model和Multi-task CNN这些方法中，多视野的结节图像被提取作为深度神经网络的输入。VD-deep feature、Fuse-TSD network和SS-OLHF-AlexNet是基于多特征融合的方法。另外还选择了一些基于深度迁移学习的方法用于对比，包括MTL network、TL-based CNN、DC-GAN network和SSTL-DA。相比于上述方法，提出的DHLF-CV方法获得了更好的良恶性鉴别性能。尽管DHLF-CV方法的Specificity低于MK-SSAC model和VD-deep feature，但是其Sensitivity远高于它们，分别高出7.65％和32.33％。事实上，拥有更高Sensitivity的模型在临床应用中具有更大的优势，因为在肺癌筛查时假阴性诊断通常会比假阳性诊断导致更大的代价。获得更具竞争力性能的原因主要归因于提出的方法同时探索结节CT图像的局部结构特征和长距离上下文信息，以及基于注意力机制的特征聚合模块自适应地融合不同类型的特征映射。

7.4多个单视野图像输入分析

在本发明中，我们从每个采样的结节体积中提取9个不同视野的单视野图像作为输入以捕获结节全面的表示。为了评估该多视野输入策略的有效性，我们基于本发明框架构建了一个以横截面单视野图像作为输入的对照模型。从图6中展示的实验结果可看出，单个单视野图像输入模型获得了相对低的Accuracy，这是因为仅仅通过一个单视野的图像难以准确表征具有复杂空间结构的肺结节。得益于更丰富的输入，本发明获得了明显更优的分类结果。图7所示的ROC曲线可视化地展示了本发明方法和对比方法的分类性能。

图8是本发明方法(View1～9)和对比方法(View1)在10个具有代表性的样本中生成的恶性预测结果。#1-#5为良性结节，#6-#10为恶性结节。第一行和第二行分别表示单视野的输入图像和多视野的输入图像，每个样本图像下方的数值表示分类置信度CV_cla，其值越高表示性能越好，斜体数值表示误分类的情况。

在图8中，每个样本下方提供有一个分类置信度值CV_cla，CV_cla可以被表示为

其中，p_mal表示学习模型输出的恶性预测概率。显然，p_mal大小变化为0到1。如图8所示，对于具有显著视觉差异的良性和恶性肺结节，本发明方法和对比的方法都能生成高的CV_cla。当一些良性结节和恶性结节存在许多视觉相似性时，相比于对比方法，本发明方法能产生明显更高的CV_cla。这些结果充分说明了多视野输入的有效性。

7.5基于注意力机制的特征聚合模块的有效性分析

在本发明框架中，设计了一种基于注意力机制的特征聚合模块以自适应地融合由V-分支和C-分支生成的两种不同类型的特征映射。为了验证该模块的有效性，我们选择3种常用的特征融合方式作为对比方法，包括元素的相加、元素的相乘和拼接操作。具体地，使用上述三种融合方法分别替代DHLF-CV框架中的基于注意力机制的特征聚合模块，以生成三个对比模型Add-Net、Multiply-Net和Concatenate-Net。为了实现公平的对比，所有上述模型均在相同的实验环境下进行训练，表3展示了对比实验结果。从表3可以看出，相比于对比的模型，本发明的DHLF-CV方法在所有6项评估指标中均获得了最高的分数，其中Accuracy分别比Add-Net、Multiply-Net和Concatenate-Net高出1.56％、1.71％和0.94％。这些结果表明设计的基于注意力机制的特征聚合方法通过以端到端可训练的方式自适应地融合不同类型的特征映射，能有效提升良恶性分类性能。图9展示的ROC曲线也直观表明了提出的DHLF-CV方法更优的分类性能。

表3DHLF-CV和几种基于不同融合方式的对比方法产生的良恶性鉴别结果。

7.6消融研究

表4DHLF-CV方法和基于不同组件方法的良恶性分类结果。

在本发明框架中，双分支的网络结构以及从自然图像到结节CT图像间的迁移学习起着重要的作用。我们通过构建两个单路径的模型ResNet-Model和ViT-Model，以及一个基于全训练的模型Scratch-Model，在LIDI-IDRI数据集上执行一组消融研究，以验证DHLF-CV方法中不同组件的有效性。在ResNet-Model模型中，仅使用DHLF-CV框架中的C-分支进行良恶性分类。类似地，在ViT-Model中，仅使用DHLF-CV框架中的V-分支进行良恶性分类。在Scratch-Model模型中，DHLF-CV以随机初始化学习权重的方式进行训练(即提出方法中的迁移学习过程被移除)。表4展示了本发明方法和上述基于不同组件方法的良恶性分类结果。

如表4所示，ViT-Model表现优于ResNet-Model，这是因为ViT通过运用多头注意力机制能较好的提取结节CT图像的上下文特征。通过合理地设计双分支的学习结构，提出的DHLF-CV方法能同时捕获局部结构特征和长距离依赖关系，因此比ResNet-Model和ViT-Model这两种基于单分支的模型获得了更优的分类结果。具体地，从C-分支(ResNet-Modelvs DHLF-CV)和V-分支(ViT-Model vs DHLF-CV)获取的Accuracy增益分别为2.23％和1.75％，Sensitivity增益分别为2.41％和1.47％，Specificity增益分别为2.05％和2.06％，AUC增益分别为1.47％和0.86％，Precision增益分别为2.12％和1.94％，F1-score增益分别为2.31％和1.78％。此外，DHLF-CV的鉴别性能也显著优于Scratch-Model模型，这因为迁移学习能为DHLF-CV提供更好的参数初始值用于训练，这有利于提升标记样本不充足的肺结节分类任务的性能。图10展示的ROC曲线也直观表明了本发明方法相比基于不同组件方法拥有更优的分类性能。

7.7泛化性分析

我们使用一个具有挑战性的竞赛数据集LUNGx评估提出的方法在不同数据集上的泛化能力。

LUNGx数据集由美国芝加哥大学创建，该数据包含70份胸部CT扫描(DICOM格式)。所有扫描的层厚均为1.00mm，像素空间变化范围为0.54mm到0.94mm，每份扫描中的切片数量变化范围为202到469。在LUNGx数据集中，有10份扫描被划分为训练集，其中有5份扫描中每份含有一个良性结节，另5份扫描中每份含有一个恶性结节。其它60份扫描被划分为测试集。这60份扫描共包含73个结节(37个良性结节和36个恶性结节)，其中有13份扫描中每份包含2个结节，其余的每份扫描包含一个结节。

表5本发明方法和一些先进的方法在LUNGx数据集上的肺结节良恶性鉴别结果。方法1到方法11中的实验结果来自文献[19]

参照先前的研究，我们在LUNGx数据集上执行两种类型的实验：(1)使用73个测试结节样本直接测试在LIDC-IDRI数据上已经训练好的DHLF-CV模型；(2)先用10个训练结节样本精调在LIDC-IDRI数据上已经训练好的DHLF-CV模型，然后用73个测试结节样本进行测试。两种实验均重复5次以获取可靠的实验结果，产生AUC值的均值和标准差用于定量评估。表5展示了提出的方法和一些在LUNGx测试集上表现最先进的方法的实验结果。如表5所示，相比于直接测试实验，精调操作可以提升分类性能。本发明方法和对比方法MK-SSAC的AUC通过精调操作分别从78.36％和77.59％提升到79.13％和78.83％。此外，无论在直接测试实验和精调实验中，相比于报道的一些先进的方法，本发明方法均获得了最优的性能，这充分说明了提出的方法拥有卓越的泛化能力。

8.结论

本发明提出一种由CNN和ViT联合驱动的深度混合学习框架(Deep hybridlearning framework jointly driven by CNN and ViT,DHLF-CV)，该方案能根据肺结节CT图像输出相应肺结节组织属于良性或恶性的临床语义标签，辅助医生对肺结节的良恶性进行鉴别诊断。在本发明方法中，从每个采样的肺结节体积中提取9个不同视野的平面图像，并进一步将这些多视野平面映射为一幅三通道的图像，以有效驱动采用的预训练模型编码结节的空间信息。此外，构建一种双分支的学习结构，以联合地使用CNN模型和ViT模型同时提取局部结构特征和长距离上下文信息，这两种不同类型的特征可以相互补充以提升鉴别性能。为了减少人为参数设置，设计了一种基于注意力机制的特征聚合模块，以端到端可训练的方式自适应地融合双分支的网络生成的特征映射，这有助于提升特征整合效率。在基准公开数据集LIDC-IDRI上的实验结果表明，相比于一些先进的方法，本发明方法获得了更具竞争力的良恶性肺结节鉴别性能。在具有挑战性的竞赛数据集LUNGx上的实验结果表明，本发明方法拥有卓越的泛化能力。

参考文献

[1]A.K.Dhara,S.Mukhopadhyay,A.Dutta,M.Garg,and N.Khandelwal,“Acombination of shape and texturefeatures for classification of pulmonarynodules in lung ct images,”J.digital imaging 29,466–475(2016).

[2]J.L.L.Calheiros,L.B.V.de Amorim,L.L.de Lima,A.F.de Lima Filho,J.R.Ferreira Júnior,and M.C.deOliveira,“The effects of perinodular featureson solid lung nodule classification,”J.Digit.Imaging 34,

798–810(2021).

[3]Y.Xie,J.Zhang,S.Liu,W.Cai,and Y.Xia,“Lung nodule classification byjointly using visual descriptors anddeep features,”in Medical Computer Visionand Bayesian and Graphical Models for Biomedical Imaging,

(Springer,656 2016),pp.116–125

[4]W.Shen,M.Zhou,F.Yang,D.Yu,D.Dong,C.Yang,Y.Zang,and J.Tian,“Multi-crop convolutional neuralnetworks for lung nodule malignancy suspiciousnessclassification,”Pattern Recognit.61,663–673(2017).[5]S.Hussein,K.Cao,Q.Song,and U.Bagci,“Risk stratification of lung nodules using 3d cnn-based multi-tasklearning,”in International conference on information processing inmedical imaging,(Springer,2017),pp.

249–260.

[6]W.Zhu,C.Liu,W.Fan,and X.Xie,“Deeplung:Deep 3d dual path nets forautomated pulmonary noduledetection and classification,”in 2018IEEE winterconference on applications of computer vision(WACV),

(IEEE,2018),pp.673–681.

[7]Y.Liu,P.Hao,P.Zhang,X.Xu,J.Wu,and W.Chen,“Dense convolutionalbinary-tree networks for lungnodule classification,”IEEE Access 6,49080–49088(2018).

[8]Y.Xie,J.Zhang,Y.Xia,M.Fulham,and Y.Zhang,“Fusing texture,shape anddeep model-learnedinformation at decision level for automated classificationof lung nodules on chest ct,”Inf.Fusion 42,

102–110(2018).

[9]S.Li,P.Xu,B.Li,L.Chen,Z.Zhou,H.Hao,Y.Duan,M.Folkert,J.Ma,S.Huanget al.,“Predicting lungnodule malignancies by combining deep convolutionalneural network and handcrafted features,”Phys.Med.

&Biol.64,175012(2019).

[10]Y.Xie,Y.Xia,J.Zhang,Y.Song,D.Feng,M.Fulham,and W.Cai,“Knowledge-based collaborative deeplearning for benign-malignant lung noduleclassification on chest ct,”IEEE transactions on medical imaging

38,991–1004(2018).

[11]Y.Xie,J.Zhang,and Y.Xia,“Semi-supervised adversarial model forbenign–malignant lung noduleclassification on chest ct,”Med.image analysis57,237–248(2019).

[12]R.V.M.da Nóbrega,P.P.

Filho,M.B.Rodrigues,S.P.da Silva,C.M.Dourado Júnior,and V.H.

C.de Albuquerque,“Lung nodule malignancy classification in chestcomputed tomography images usingtransfer learning and convolutional neuralnetworks,”Neural Comput.Appl.32,11065–11082(2020).

[13]H.Liu,H.Cao,E.Song,G.Ma,X.Xu,R.Jin,C.Liu,and C.-C.Hung,“Multi-model ensemble learningarchitecture based on 3d cnn for lung nodulemalignancy suspiciousness classification,”J.Digit.Imaging 33,

1242–1256(2020).

[14]P.Zhai,Y.Tao,H.Chen,T.Cai,and J.Li,“Multi-task learning for lungnodule classification on chest ct,”

IEEE access 8,180317–180327(2020).

[15]I.D.Apostolopoulos,N.D.Papathanasiou,and G.S.Panayiotakis,“Classification of lung nodulemalignancy in computed tomography imagingutilising generative adversarial networks and semi-supervisedtransferlearning,”Biocybern.Biomed.Eng.41,1243–1257(2021).

[16]K.Xia,J.Chi,Y.Gao,Y.Jiang,and C.Wu,“Adaptive aggregated attentionnetwork for pulmonary noduleclassification,”Appl.Sci.11,610(2021).

[17]J.Sahaya Jeniba and A.Milton,“A m ultilevel self-attention basedsegmentation and classification techniqueusing directional hexagonal mixedpattern algorithm for lung nodule detection in thoracic ct image,”Int.J.

Imaging Syst.Technol.32,1496–1510(2022).

[18]H.Huang,R.Wu,Y.Li,and C.Peng,“Self-supervised transfer learningbased on domain adaptation forbenign-malignant lung nodule classification onthoracic ct,”IEEE J.Biomed.Health Informatics 26,

3860–3871(2022).

[19]S.G.Armato III,K.Drukker,F.Li,L.Hadjiiski,G.D.Tourassi,R.M.Engelmann,M.L.Giger,G.Redmond,K.Farahani,J.S.Kirby,and L.P.Clarke,“Lungxchallenge for computerized lung nodule classification,”J.Med.Imaging 3,044506(2016)。