CN111539491B - 基于深度学习与注意力机制的多发性结节分类系统和方法 - Google Patents

基于深度学习与注意力机制的多发性结节分类系统和方法 Download PDF

Info

Publication number
CN111539491B
CN111539491B CN202010643184.9A CN202010643184A CN111539491B CN 111539491 B CN111539491 B CN 111539491B CN 202010643184 A CN202010643184 A CN 202010643184A CN 111539491 B CN111539491 B CN 111539491B
Authority
CN
China
Prior art keywords
nodule
classification
module
feature
nodules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010643184.9A
Other languages
English (en)
Other versions
CN111539491A (zh
Inventor
杨健程
黄晓阳
葛亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diannei Shanghai Biotechnology Co ltd
Original Assignee
Diannei Shanghai Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diannei Shanghai Biotechnology Co ltd filed Critical Diannei Shanghai Biotechnology Co ltd
Priority to CN202010643184.9A priority Critical patent/CN111539491B/zh
Publication of CN111539491A publication Critical patent/CN111539491A/zh
Application granted granted Critical
Publication of CN111539491B publication Critical patent/CN111539491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习与注意力机制的多发性结节分类系统和方法，属于医学图像分类技术领域。本发明针对现有结节分类系统只考虑孤立结节，忽略结节上下文信息导致分类精度不够高的问题，以深度卷积神经网络为主干，提出结节集合注意力操作提取医学图像上同一患者多个结节的关系，对同一患者多个结节的相互关系进行建模，得到分类结果。本发明通过对同一患者多个结节的相互关系进行建模，加强结节的本质表征，使模型训练的分类结果具有更高的分类精度，相比传统的卷积神经网络，可获得更高的分类精度。

Description

基于深度学习与注意力机制的多发性结节分类系统和方法
技术领域
本发明涉及病灶CT图像的分类技术，具体涉及基于深度学习与注意力机制的多发性结节分类系统和方法，属于医学图像分类技术领域。
背景技术
目前中国各类癌症的发病率和死亡率居各种疾病之首，其中又以肺癌的发病率和死亡率均居各种恶性肿瘤之首，对人们的健康构成了巨大的威胁。肺癌的早期诊断是减少肺癌相关死亡的有效方法之一。随着低剂量计算机断层扫描（low-dose computedtomography，LDCT）的普遍应用，越来越多的早期肺结节成为了临床实践中的一个重要挑战。除了某些“易于诊断”的疾病，例如明显的肺转移和肺结核外，在临床情况下偶发的多发性肺结节也被认为是一个难题，多发性肺结节的诊断比单发更复杂，除了多发性肺结节存在这样的问题外，甲状腺多发性结节也存在相同的问题。除了分析生物学行为（例如良性，惰性，侵入性），放射线医师还需要分析各种情况。
最近的基于数据驱动的方法，例如影像组学分析和深度学习，主导了计算机辅助诊断（CADx）这一领域的研究。其中，很少有关于结节检测和表征的研究可用于了解多个结节之间的相互作用。换句话说，先前的研究对多结节患者仍使用单结节的分析方法。在临床实践中，放射科医生使用结节级和患者级的信息来诊断同一受试者的结节。从算法的角度来看，孤立结节方法无需考虑关系/上下文信息即可对结节进行分类。然而，我们认为同一患者内多个结节间的关系是很重要的，但目前还未发现有针对多个肺结节之间相互作用的研究。如中国专利文献CN110175979A（一种基于协同注意力机制的肺结节分类方法）公开了一种基于协同注意力机制的肺结节分类方法，该方法使用了简单的注意力机制提取同一个肺结节里不同空间位置之间的关系，从而增强对单个肺结节的特征提取，然而该方法缺乏关注多个结节的相互关系，且其较原始的注意力机制导致了系统参数量与计算量繁重冗余。
发明内容
为了克服现有结节分类技术未考虑同一患者内多个结节间的关系的不足，本发明提出了一种基于深度学习与注意力机制的多发性结节分类系统和方法，以深度卷积神经网络为骨干框架，提出结节集合注意力模块（Multi-Nodule Attention Module，M-NAM）来提取同一患者内多个结节之间的关系，通过这种相互关系加强单个结节的本质表征，使系统可以充分提取医学图像中包含的信息，可获得更高的分类精度。
为了实现上述目的，本发明采用以下技术方案：
一种基于深度学习与注意力机制的多发性结节分类系统，包括以下模块：
数据搜集模块：搜集多个包含若干结节的CT图像上所有结节的分类结果；同一CT图像内可存在任意数目的结节，不同CT图像之间结节的数目可不同；
预处理模块：对包含结节的CT图像进行预处理，即将CT图像重采样为统一规格，并进行数据增广，得到增广后的数据集，所述数据增广包括裁剪感兴趣的区域、旋转、平移等常用的数据增广方式，构成该数据集的每一个样本称为CT三维数据，所述样本即结节；
数据表征模块：使用深度卷积神经网络作为数据表征模块的主干，对预处理过的CT三维数据进行特征变换，得到对应结节的良恶性分类特征和对应的结节特征向量G∈R c ；
结节集合注意力模块：拼接同一个患者的N个结节特征向量得到该患者的结节集合特征H∈R N×c ；把结节集合特征H在特征维度上等分成g个组；对每个组的结节集合特征H i 通过权重W i ∈R c×c 进行组内线性特征变换后再通过点积注意力机制处理，得到注意力结节集合特征，对注意力结节集合特征在特征维度上进行特征交换操作，使得不同点积注意力机制得到的特征充分融合，再进行批次正则化操作，对结节集合特征H经过多次结节集合注意力操作（FEA），即FEA(FEA(FEA(…)))，得到包含多结节相互关系的结节集合特征F clf ，具体公式为：
Figure 603207DEST_PATH_IMAGE001
Figure 130134DEST_PATH_IMAGE002
其中BN为批次正则化操作；Φ为特征交换操作，即把组内特征在组间进行互换；concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R c×c 为输入特征投影矩阵，R为实数集，c为输入特征投影矩阵的特征数目；Atten(H)为点积注意力机制，σ为激活函数，如ReLU，ELU，tanh等函数；H T 表示H的转置；此模块可以提取出同一病人所有结节的相互关系，包括有专家标注以及缺乏专家标注的结节，缺乏专家标注的结节仍可以起到提供结节上下文语境的作用；
结节分类输出模块：将转换后的结节集合特征F clf ∈R c 经过全连接层和softmax激活函数，得到结节分类结果
Figure 972188DEST_PATH_IMAGE004
，其中ccls表示结节分类的类别数；
训练模块：以一部分包含或不包含专家标注的分类结果的结节CT图像作为训练集，将专家标注的分类结果称为真值；在训练集上，按照所述预处理模块、数据表征模块、结节集合注意力模块、结节分类输出模块处理，得到预测的结节分类结果Oclf，预测的结节分类结果Oclf对应的真值为专家标注的分类结果，若该结节缺乏专家标注，则对该结节不进行损失函数计算，利用分类损失函数训练数据表征模块、结节集合注意力模块和结节分类输出模块；
验证模块：以另一部分包含有专家标注的分类结果的结节CT图像作为验证集，在验证集上，分别按照所述预处理模块，训练后的数据表征模块、结节集合注意力模块和结节分类输出模块处理，得到验证集的分类结果，以在验证集上分类结果最优的模型作为结节分类模型；本领域中，通常在验证集上AUC分数最高表示分类结果最优；
分类模块：对待分类结节的CT图像按照前述预处理模块处理后，输入结节分类模型得到分类结果。
为了使结节分类模型更准确，在所述验证模块之后、分类模块之前还包括测试模块，所述测试模块以与验证模块不同的另一部分包含有专家标注的分类结果的结节CT图像作为测试集，在测试集上，分别按照所述预处理模块处理后，输入验证模块得到的结节分类模型处理，得到测试集的结节分类结果，采用与验证集分类结果可比的模型作为结节分类模型。在应用于真实世界的结节分类时，对待分类结节的CT图像按照前述预处理模块处理后，输入通过测试模块得到的结节分类模型得到分类结果。如果测试集的分类结果与验证集的分类结果不可比，则需要重新对模型进行训练，直到测试集的分类结果与验证集的分类结果可比后，再将该可比的模型用于对真实世界的待分类结节进行分类；本领域中，可以测试集上的AUC和验证集上的AUC分数相差小于0.2认为分类结果可比。
进一步地，所述数据表征模块为：使用多层三维卷积层和池化层对预处理过的CT三维数据I∈R D×H×W×1 进行下采样，其中R表示实数集，D×H×W表示输入大小：深度×高度×宽度，数字1表示CT三维数据的特征通道数为1，得到特征图F∈R D'×H'×W'×c ，其中R表示实数集，D'×H'×W'代表得到的特征图的大小：深度×高度×宽度，c表示该特征图的通道数；在特征图F上通过全局平均池化层得到特征向量G∈R c 。
进一步地，所述深度卷积神经网络可以为DenseNet，ResNet，VGG或Inception等。
进一步地，在训练模块中，所属分类损失函数为交叉熵损失函数。
本发明还提供了一种基于深度学习与注意力机制的多发性结节分类方法，包括以下步骤：
数据搜集步骤：搜集多个包含若干结节的CT图像；
预处理步骤：对收集到的CT图像进行预处理，得到增强后的数据集，构成该数据集的每一个样本为CT三维数据；
数据表征步骤：使用深度卷积神经网络对预处理过的CT三维数据进行特征变换，输出结节特征向量G；
结节集合注意力操作步骤：对结节特征向量G通过拼接得到对于同一个患者的N个结节的结节集合特征H，把结节集合特征H在特征维度上等分成g个组，采用堆叠的结节集合注意力操作FEA(FEA(FEA(…)))对结节集合特征H进行处理，得到包含多结节相互关系的结节集合特征F clf ，所述结节集合注意力操作FEA的公式为：
Figure 180447DEST_PATH_IMAGE005
Figure 57136DEST_PATH_IMAGE002
其中BN为批次正则化操作，Φ为特征交换操作，concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R c×c 为输入特征投影矩阵，R为实数集，c为输入特征投影矩阵的特征数目；Atten(H)为点积注意力机制，σ为激活函数，如ReLU，ELU，tanh等函数；H T 表示H的转置；
结节分类输出步骤：将F clf ∈R c 经过全连接层和softmax激活函数，得到结节分类结果：
Figure 686788DEST_PATH_IMAGE007
，其中ccls表示结节分类的类别数；
训练步骤：以一部分包含或不包含专家标注的分类结果的结节CT图像作为训练集运行前述步骤，得到预测的分类结果，预测的分类结果对应的真值为专家标注的分类结果，若该结节缺乏专家标注，则对该结节不进行损失函数计算，利用分类损失函数训练分类模型；
验证步骤：以另一部分包含有专家标注的分类结果的结节CT图像作为验证集，输入训练后的分类模型进行处理，得到验证集的分类结果，以在验证集上分类结果最优的模型作为结节分类模型；
分类步骤：对待分类结节的CT图像进行预处理后，输入结节分类模型得到分类结果。
进一步地，所述分类方法还包括测试步骤，所述测试步骤在验证步骤之后、分类步骤之前：以另一部分包含有专家标注的分类结果的结节CT图像作为测试集，在测试集上，分别按照所述预处理步骤处理后、输入验证步骤得到的结节分类模型处理，得到测试集的分类结果，采用与验证集分类结果可比的模型作为结节分类模型。
进一步地，所述数据表征步骤为：使用多层三维卷积层和池化层对预处理过的CT三维数据I∈R D×H×W×1 进行下采样，其中R表示实数集，D×H×W表示输入大小：深度×高度×宽度，数字1表示CT三维数据的特征通道数为1，得到特征图F∈R D'×H'×W'×c ，其中R表示实数集，D'×H'×W'代表得到的特征图的大小：深度×高度×宽度，c表示该特征图的通道数；在特征图F上通过全局平均池化层得到特征向量G。
进一步地，所述深度卷积神经网络为DenseNet，ResNet，VGG或Inception等。
进一步地，在训练步骤中，所述分类损失函数为交叉熵损失函数。
本发明以已有的深度卷积神经网络为基础，通过加入结节集合注意力模块，优化了传统的深度卷积神经网络，实现了比传统深度卷积神经网络分类更优的分类系统。本分类系统通过结节集合注意力模块对CT图像进行处理，学习来自同一患者的多个结节之间的相互作用，对同一患者多个结节的相互关系进行建模，加强结节的本质表征，使模型训练的分类结果具有更高的分类精度。整个网络可以进行端到端的培训。在肺结节假阳性减少和恶性肿瘤分类任务中，我们提出的多结节分类方法始终优于基于单结节的基线方法。因此，本发明提出的基于深度学习与注意力机制的多发性结节分类系统和方法作为一种计算机辅助分类手段，具有较高的分类准确率，可为医生开展各类多发性结节的临床诊断提供有价值的参考信息。
附图说明
图1为本发明实施例1所述肺结节分类系统框图；
图2为DenseNet神经网络特征提取算法模型示意图；
图3为本发明实施例1所述DenseNet+网络算法模型示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本实施例中，本发明提出一种对肺结节的肺部CT图像进行分类的分类系统。
本发明提出的基于深度学习与注意力机制的多发性结节分类系统整体框架如图1所示，包括：
数据搜集模块：采用肺结节公开数据集LIDC-IDRI（Armato SG III, et al.: TheLung Image Database Consortium (LIDC) and Image Database Resource Initiative(IDRI): A completed reference database of lung nodules on CT scans. MedicalPhysics, 38: 915--931, 2011），该公开数据集包含2635个结节，每个病人包含1-23个结节，其中有74.0%的病人包含多结节。本发明选用了其中被至少3位放射科专家标注，且CT厚度小于或等于3mm的结节样本，共选出2175个合格的结节样本。每个专家的标注为1~5分的良恶性判定，对于每个结节样本，本发明根据多位专家标注的平均值分成两个类别，若平均值大于3则为恶性，若平均值小于3则为良性，若平均值为3则视为未标注（标注模糊）。
预处理模块：对数据集中包含肺结节的CT图像进行预处理，将包含肺结节的CT图像间隔重采样为1mm×1mm×1mm的统一规格，利用下式对图像进行归一化操作：
Figure 16139DEST_PATH_IMAGE008
其中，I是CT三维数据，IHU是CT值，即亨氏单位；围绕以肺结节质心为中心的感兴趣区域将图像裁剪为32mm×32mm×32mm大小，对数据进行翻转、镜像处理，并对感兴趣区域中心在六个方向上随机平移1个像素，得到增强后的数据集，构成该数据集的每一个样本为CT三维数据。
把增强后的2175个结节样本，根据患者分成5份（保证属于同一个患者的结节在同一份），并使每一份的结节数目大致相等。分别以每一份为测试集，其余的四份为训练集，训练集上随机采样五分之一的患者作为验证集，最终可得到五种分法上的测试结果。
数据表征模块：对预处理模块中得到的增强后的数据集进行进一步处理。如图2所示，以3D-DenseNet神经网络为主干，使用三个基于密集连接的 Dense Block （关于DenseBlock的结构，参见文献：Huang, Gao, et al. Densely connected convolutionalnetworks. CVPR, 2017）对预处理过的CT三维数据（其大小是32×32×32×1）进行下采样，得到特征图F∈R 4×4×4×256 ，其中R表示实数集，在特征图F上通过全局平均池化层得到结节特征向量G∈R 256 。
结节集合注意力模块：拼接同一个患者的N个结节样本{G j ∈R 256 |j=0,1,…,N} 得到该患者的结节集合特征H∈R N×256 ；对同一病人对应N个结节的特征向量H∈R N×256 ，经由三个FEA操作堆叠处理，即FEA(FEA(FEA(…)))，其中FEA的分组数目为八组，FEA的具体公式如下所示；由此得到包含多结节相互关系的结节集合特征F clf ∈R 256 ；
Figure 11776DEST_PATH_IMAGE009
Figure 24863DEST_PATH_IMAGE010
其中，BN为批次正则化操作；Φ为特征交换操作；concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R 256×256为输入特征投影矩阵，R为实数集，c=256；Atten(H)为点积注意力机制，σ为ReLU函数；H T 表示H的转置；
结节分类输出模块：将结节集合注意力模块得到的经3次转换后的结节集合特征F clf ∈R 256 ，经过全连接层和softmax激活函数，得到肺结节分类结果
Figure 18227DEST_PATH_IMAGE011
，其中c cls 代表肺结节分类的类别数，在本实施例中c cls =2，指结节的良性、恶性2类分类。
训练模块：根据预处理中训练集测试集的分法，以每一份肺结节CT图像训练集作为训练集，在训练集上，按照所述预处理模块、数据表征模块、结节集合注意力模块、结节分类输出模块处理，得到预测的肺结节分类结果Oclf，预测的肺结节分类结果Oclf对应的真值来自专家标注的分类结果，若该肺结节缺乏专家标注，则对该肺结节不进行损失函数计算，利用分类损失函数训练数据表征模块、结节集合注意力模块和结节分类输出模块。
验证/测试模块：根据预处理中验证集测试集的分法，在验证集上，按照上述训练过的数据表征模块、结节集合注意力模块和结节分类输出模块进行处理，得到验证集的分类结果；采用验证集上分类结果最优的结节分类模型对测试集做测试，在结节分类输出模块得到测试集的结节分类结果，针对该结节分类结果，在验证/测试集上进行ROC（Receiveroperating characteristic）分析来分析本分类系统性能；取五份测试集上的平均AUC作为最终AUC，得到结节分类模型。
本实施例中，ROC曲线下面积（AUC）达到0.9317，各系统的AUC见表1所示。
表1 3D DenseNet，3D DenseNet+结节集合注意力模块和3D DenseNet+结节集合注意力模块+未标注（标注模糊）数据在本实施例上的AUC和可利用样本数目
方法 AUC 可利用样本数目
3D DenseNet 0.9162 1183
3D DenseNet+结节集合注意力模块（未利用未标注数据） 0.9248 1183
3D DenseNet+结节集合注意力模块+未标注（标注模糊）数据 0.9317 2175
基于相似的数据处理流程、训练流程和验证/测试流程，本发明实施了3DDenseNet和3D DenseNet+结节集合注意力模块（未利用未标注数据）作为对比参考，其中，3D DenseNet预测的分类结果是本领域的常规分类方法，该方法只能单独地处理每个结节，缺乏对同一患者多个结节的相互关系的建模，且无法利用未标注数据，其AUC仅为91.62%；3D DenseNet+结节集合注意力模块（未利用未标注数据）预测的分类结果是指未加入未标注（标注模糊）数据的情况下得到的，该方法可提取出同一患者多个结节的相互关系，其准确率达到92.26%。本实施例中采用的3D DenseNet+结节集合注意力模块+未标注（标注模糊）数据，如图3所示，即在DenseNet神经网络的基础上，增加了本发明所述的结节集合注意力模块和未标注数据后，在对结节的分类上较已有的常规方法具有更高的准确性，可以达到93.17%的AUC；其中加入的未标注数据本身虽然无法进行损失函数计算与梯度反传，但却可以参与到多结节注意力模块的计算中，进一步加强系统对同一患者多个结节的关系建模，其提升的性能证明了提取多结节相互关系这一思想的有效性。
将本系统继续应用于其他搜集到的肺结节CT图像的分类时，将待分类肺结节CT图像运行前述预处理模块处理后，输入通过测试模块得到的结节分类模型得到分类结果。
实施例2
本实施例中，本发明提出一种对肺结节的肺部CT图像进行假阳性降低（FalsePositiveReduction，FPR）的FPR方法。
本发明提出的深度学习与注意力机制的多发性结节FPR方法，包括：
数据搜集步骤：采用两个数据集，分别为肺结节公开数据集LUNA16和TianchiLungNodule Detection dataset（https://tianchi.aliyun.com/competition/entrance/231601/introduction）。LUNA16FPR肺结节数据集包含754975个候选结节；TianchiLungNoduleDetection数据集共包含800个病人，1224个肺结节。
预处理步骤：对数据集中包含肺结节的CT图像进行预处理，将包含肺结节的CT图像间隔重采样为1mm×1mm×1mm的统一规格，利用下式对图像进行归一化操作：
Figure 585605DEST_PATH_IMAGE012
其中，I是CT三维数据，IHU是CT值，即亨氏单位；围绕以肺结节质心为中心的感兴趣区域将图像裁剪为48mm×48mm×48mm大小，对数据进行翻转、镜像处理，并对感兴趣区域中心在六个方向上随机平移1个像素，得到增强后的数据集，构成该数据集的每一个样本为CT三维数据。
对LUNA16FPR数据集，使用3DDenseNet过滤掉置信度低于0.1 的候选结节，剩余32405个候选结节，用本系统作进一步假阳性筛选中，按4：1的比例随机分成训练集和测试集，在训练集中随机采样五分之一作为验证集；在TianchiLungNoduleDetection数据集，按照该数据集官方发布的训练集测试集，把600名患者（975个候选结节）与200名患者（269个候选结节）分别作为训练集和测试集，使用3DUNet过滤掉部分候选结节，剩余训练集包含5531个候选结节，测试集包含1515个候选结节，在训练集中随机采样五分之一作为验证集。
数据表征步骤：对预处理步骤中得到的增强后的数据集进行进一步处理。以3D-DenseNet神经网络为主干，使用四个基于密集连接的 Dense Block （关于Dense Block的结构，参见文献：Huang, Gao, et al. Densely connected convolutional networks.CVPR, 2017）对预处理过的CT三维数据（其大小是48×48×48×1）进行特征变换，最后输出对应结节特征向量G∈R 256 。
结节集合注意力操作步骤：拼接同一个患者的N个结节样本{G j ∈R 256 |j=0,1,…, N} 得到该患者的结节集合特征H∈R N×256 ；对同一病人对应N个结节的特征向量H∈R N×256 ，经由三个FEA操作堆叠处理，即FEA(FEA(FEA(…)))，其中FEA的分组数目为4组，FEA的具体公式如下所示；由此得到包含多结节相互关系的结节集合特征F clf ∈R 256 ；
Figure 384934DEST_PATH_IMAGE013
Figure 721369DEST_PATH_IMAGE014
其中，BN为批次正则化操作；Φ为特征交换操作；concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R 256×256为输入特征投影矩阵，R为实数集，c=256；Atten(H)为点积注意力机制，σ为ELU函数；H T 表示H的转置；
结节分类输出步骤：将结节集合注意力操作步骤得到的经3次转换后的结节集合特征F clf ∈R 256 ，经过全连接层和softmax激活函数，得到肺结节分类结果
Figure 213530DEST_PATH_IMAGE011
，其中c cls 代表结节分类的类别数，在本实施例中c cls =2，指结节真阳性、假阳性2类分类。
训练步骤：根据预处理中训练集测试集的分法，以肺结节CT图像训练集作为训练集，在训练集上，按照所述预处理步骤、数据表征步骤、结节集合注意力操作步骤、结节分类输出步骤处理，得到预测的分类结果Oclf，预测的分类结果Oclf对应的真值来自专家标注的分类结果，利用分类损失函数训练数据表征步骤、结节集合注意力操作步骤和结节分类输出步骤。
验证/测试步骤：根据预处理中验证集测试集的分法，在验证集上，按照上述训练过的数据表征步骤、结节集合注意力步骤和结节分类输出步骤进行处理，得到验证集的分类结果；采用验证集上分类结果最优的结节分类模型对测试集做测试，在结节分类输出步骤得到测试集的结节分类结果，并针对该分类结果，在验证集/测试集上进行FROC（Free-Response Operating Characteristic）分析来分析本分类系统性能。取测试集上的平均召回率（CPM，即FROC曲线上假阳率为0.125，0.25，0.5，1.0，2.0，4.0，8.0时召回率的平均值）作为最终评测标准，得到结节分类模型。
将待分类肺结节CT图像运行前述预处理模块处理后，输入通过测试模块得到的结节分类模型得到分类结果。
本实施例中，LUNA16FPR数据集上CPM达到0.916，TianchiLungNodule数据集上CPM达到0.716，各系统的CPM见表2所示。
表2 3D DenseNet，3D DenseNet+结节集合注意力模块在本实施例上的CPM
Figure 455155DEST_PATH_IMAGE015
基于相似的数据处理流程、训练流程和验证/测试流程，本发明实施了3DDenseNet作为对比参考，其中，3D DenseNet预测的分类结果是本领域的常规分类方法，其CPM在LUNA16FPR和TianchiLungNodule上仅为0.884和0.677。本实施例中提出的3DDenseNet+结节集合注意力模块，即在DenseNet神经网络的基础上，增加了本发明所述的结节集合注意力操作步骤后，在对结节的分类上较已有的常规方法具有更高的准确性，可以在LUNA16FPR和TianchiLungNodule上达到0.916和0.716的CPM。

Claims (10)

1.一种基于深度学习与注意力机制的多发性结节分类系统，其特征在于，包括以下模块：
数据搜集模块：搜集多个包含若干结节的CT图像；
预处理模块：对收集到的CT图像进行预处理，得到增强后的数据集，构成该数据集的每一个样本为CT三维数据；
数据表征模块：使用深度卷积神经网络对预处理过的CT三维数据进行特征变换，得到对应结节特征向量G；
结节集合注意力模块：对结节特征向量G通过拼接得到对于同一个患者的N个结节的结节集合特征H，把结节集合特征H在特征维度上等分成g个组，采用堆叠的结节集合注意力操作FEA(FEA(FEA(…)))对结节集合特征H进行处理，得到包含多结节相互关系的结节集合特征F clf ，所述结节集合注意力操作FEA的公式为：
Figure DEST_PATH_IMAGE001
Figure 262783DEST_PATH_IMAGE002
其中BN为批次正则化操作，Φ为特征交换操作，concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R c×c 为输入特征投影矩阵，R为实数集，c为输入特征投影矩阵的特征数目；Atten(H)为点积注意力机制，σ为激活函数；H T 表示H的转置；
结节分类输出模块：将F clf ∈R c 经过全连接层和softmax激活函数，得到结节分类结果
Figure 242241DEST_PATH_IMAGE004
，其中ccls表示结节分类的类别数；
训练模块：以一部分包含或不包含专家标注的分类结果的结节CT图像作为训练集，在训练集上，按照所述预处理模块、数据表征模块、结节集合注意力模块、结节分类输出模块处理，得到预测的分类结果，预测的分类结果对应的真值为专家标注的分类结果，若该结节缺乏专家标注，则对该结节不进行损失函数计算，利用分类损失函数训练数据表征模块、结节集合注意力模块和结节分类输出模块；
验证模块：以另一部分包含有专家标注的分类结果的结节CT图像作为验证集，在验证集上，分别按照所述预处理模块、训练后的数据表征模块模块、结节集合注意力模块和结节分类输出模块处理，得到验证集的分类结果，以在验证集上分类结果最优的模型作为结节分类模型；
分类模块：对待分类结节的CT图像按照前述预处理模块处理后，输入结节分类模型得到分类结果。
2.如权利要求1所述的基于深度学习与注意力机制的多发性结节分类系统，其特征在于，还包括测试模块，所述测试模块在验证模块之后、分类模块之前：以另一部分包含有专家标注的分类结果的结节CT图像作为测试集，在测试集上，分别按照所述预处理模块处理后、输入验证模块得到的结节分类模型处理，得到测试集的分类结果，采用与验证集分类结果可比的模型作为结节分类模型。
3.如权利要求1或2所述的基于深度学习与注意力机制的多发性结节分类系统，其特征在于，所述数据表征模块为：使用多层三维卷积层和池化层对预处理过的CT三维数据I∈R D ×H×W×1 进行下采样，其中R表示实数集，D×H×W表示输入大小：深度×高度×宽度，数字1表示CT三维数据的特征通道数为1，得到特征图F∈R D'×H'×W'×c ，其中R表示实数集，D'×H'×W'代表得到的特征图的大小：深度×高度×宽度，c表示该特征图的通道数；在特征图F上通过全局平均池化层得到特征向量G。
4.如权利要求1或2所述的基于深度学习与注意力机制的多发性结节分类系统，其特征在于，所述深度卷积神经网络为DenseNet，ResNet，VGG或Inception。
5.如权利要求1或2所述的基于深度学习与注意力机制的多发性结节分类系统，其特征在于，在训练模块中，所述分类损失函数为交叉熵损失函数。
6.一种基于深度学习与注意力机制的多发性结节分类方法，其特征在于，包括以下步骤：
数据搜集步骤：搜集多个包含若干结节的CT图像；
预处理步骤：对收集到的CT图像进行预处理，得到增强后的数据集，构成该数据集的每一个样本为CT三维数据；
数据表征步骤：使用深度卷积神经网络对预处理过的CT三维数据进行特征变换，输出结节特征向量G；
结节集合注意力操作步骤：对结节特征向量G通过拼接得到对于同一个患者的N个结节的结节集合特征H，把结节集合特征H在特征维度上等分成g个组，采用堆叠的结节集合注意力操作FEA(FEA(FEA(…)))对结节集合特征H进行处理，得到包含多结节相互关系的结节集合特征F clf ，所述结节集合注意力操作FEA的公式为：
Figure 835027DEST_PATH_IMAGE001
Figure 292553DEST_PATH_IMAGE002
其中BN为批次正则化操作，Φ为特征交换操作，concat为拼接操作；H i 表示患者的分组结节集合特征；W i ∈R c×c 为输入特征投影矩阵，R为实数集，c为输入特征投影矩阵的特征数目；Atten(H)为点积注意力机制，σ为激活函数；H T 表示H的转置；
结节分类输出步骤：将F clf ∈R c 经过全连接层和softmax激活函数，得到结节分类结果：
Figure 654396DEST_PATH_IMAGE004
，其中ccls表示结节分类的类别数；
训练步骤：以一部分包含或不包含专家标注的分类结果的结节CT图像作为训练集运行前述步骤，得到预测的分类结果，预测的分类结果对应的真值为专家标注的分类结果，若该结节缺乏专家标注，则对该结节不进行损失函数计算，利用分类损失函数训练分类模型；
验证步骤：以另一部分包含有专家标注的分类结果的结节CT图像作为验证集，输入训练后的分类模型进行处理，得到验证集的分类结果，以在验证集上分类结果最优的模型作为结节分类模型；
分类步骤：对待分类结节的CT图像进行预处理后，输入结节分类模型得到分类结果。
7.如权利要求6所述的基于深度学习与注意力机制的多发性结节分类方法，其特征在于，还包括测试步骤，所述测试步骤在验证步骤之后、分类步骤之前：以另一部分包含有专家标注的分类结果的结节CT图像作为测试集，在测试集上，分别按照所述预处理步骤处理后、输入验证步骤得到的结节分类模型处理，得到测试集的分类结果，采用与验证集分类结果可比的模型作为结节分类模型。
8.如权利要求6或7所述的基于深度学习与注意力机制的多发性结节分类方法，其特征在于，所述数据表征步骤为：使用多层三维卷积层和池化层对预处理过的CT三维数据I∈R D ×H×W×1 进行下采样，其中R表示实数集，D×H×W表示输入大小：深度×高度×宽度，数字1表示CT三维数据的特征通道数为1，得到特征图F∈R D'×H'×W'×c ，其中R表示实数集，D'×H'×W'代表得到的特征图的大小：深度×高度×宽度，c表示该特征图的通道数；在特征图F上通过全局平均池化层得到特征向量G。
9.如权利要求6或7所述的基于深度学习与注意力机制的多发性结节分类方法，其特征在于，所述深度卷积神经网络为DenseNet，ResNet，VGG或Inception。
10.如权利要求6或7所述的基于深度学习与注意力机制的多发性结节分类方法，其特征在于，在训练步骤中，所述分类损失函数为交叉熵损失函数。
CN202010643184.9A 2020-07-07 2020-07-07 基于深度学习与注意力机制的多发性结节分类系统和方法 Active CN111539491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010643184.9A CN111539491B (zh) 2020-07-07 2020-07-07 基于深度学习与注意力机制的多发性结节分类系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010643184.9A CN111539491B (zh) 2020-07-07 2020-07-07 基于深度学习与注意力机制的多发性结节分类系统和方法

Publications (2)

Publication Number Publication Date
CN111539491A CN111539491A (zh) 2020-08-14
CN111539491B true CN111539491B (zh) 2020-11-06

Family

ID=71968553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010643184.9A Active CN111539491B (zh) 2020-07-07 2020-07-07 基于深度学习与注意力机制的多发性结节分类系统和方法

Country Status (1)

Country Link
CN (1) CN111539491B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862837B (zh) * 2021-01-27 2023-06-23 南京信息工程大学 一种基于卷积神经网络的图像处理方法和系统
CN112598083B (zh) * 2021-02-26 2021-06-01 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN113570573A (zh) * 2021-07-28 2021-10-29 中山仰视科技有限公司 混合注意力机制的肺结节假阳性排除方法、系统、设备
CN113762251B (zh) * 2021-08-17 2024-05-10 慧影医疗科技(北京)股份有限公司 一种基于注意力机制的目标分类方法及系统
CN114758032B (zh) * 2022-06-15 2022-09-16 之江实验室 基于时空注意力模型的多相期ct图像分类系统及构建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345740B (zh) * 2013-06-13 2016-04-13 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
CN104219275B (zh) * 2014-01-21 2017-06-20 南通大学 癌症患者社区短信延续护理系统
CN109308495B (zh) * 2018-07-05 2021-07-02 科亚医疗科技股份有限公司 从患者的医学图像自动预测生理状况的装置和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的肺癌检测模型;邢召龙;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20180115(第1期);第26-28页 *

Also Published As

Publication number Publication date
CN111539491A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539491B (zh) 基于深度学习与注意力机制的多发性结节分类系统和方法
Hirra et al. Breast cancer classification from histopathological images using patch-based deep learning modeling
CN110458249B (zh) 一种基于深度学习与概率影像组学的病灶分类系统
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN113693563B (zh) 一种基于超图注意力网络的脑功能网络分类方法
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
Mienye et al. Improved predictive sparse decomposition method with densenet for prediction of lung cancer
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
Maleki et al. Breast cancer diagnosis from histopathology images using deep neural network and XGBoost
CN112348800A (zh) 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法
Taher et al. An overview of lung cancer classification algorithms and their performances
Sun et al. Two‐view attention‐guided convolutional neural network for mammographic image classification
Kumar et al. A methodical exploration of imaging modalities from dataset to detection through machine learning paradigms in prominent lung disease diagnosis: a review
CN117238489A (zh) 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统
Kordnoori et al. Analysis of lung scan imaging using deep multi‐task learning structure for Covid‐19 disease
CN116452865B (zh) 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
CN112085742A (zh) 一种基于上下文注意力的nafld超声视频诊断方法
Meng et al. Clinical applications of graph neural networks in computational histopathology: A review
Abdrakhmanov et al. Few-shot learning based on residual neural networks for X-ray image classification
Heidarian et al. Cae-transformer: Transformer-based model to predict invasiveness of lung adenocarcinoma subsolid nodules from non-thin section 3d ct scans
CN113889235A (zh) 一种三维医学影像无监督特征抽取系统
Pradhan An early diagnosis of lung nodule using CT images based on hybrid machine learning techniques
CN111904470A (zh) 医学超声诊查过程的动态可解释推理辅助诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant