CN115206497A - 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法 - Google Patents

一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法 Download PDF

Info

Publication number
CN115206497A
CN115206497A CN202210889172.3A CN202210889172A CN115206497A CN 115206497 A CN115206497 A CN 115206497A CN 202210889172 A CN202210889172 A CN 202210889172A CN 115206497 A CN115206497 A CN 115206497A
Authority
CN
China
Prior art keywords
data
model
deep learning
test
nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210889172.3A
Other languages
English (en)
Inventor
郭丽
骆源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Medical University
Original Assignee
Tianjin Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Medical University filed Critical Tianjin Medical University
Priority to CN202210889172.3A priority Critical patent/CN115206497A/zh
Publication of CN115206497A publication Critical patent/CN115206497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法，属于医学影像数据的分析领域。本发明以自动化的方式对于CT的影像数据进行分析。该方法是一种深度学习的影像数据分析方法，并对深度学习模型进行影像学解释。本发明提供了深度学习方法同样能对不同类型的影像数据进行较好的分类，模型解释方法也有助于获得提升模型性能的启示。该发明可以有效提高影像学分析的可靠性和效率，给出的解释图像可以了解深度学习提供的依据，能够更有效的提供医师分析数据和参考资料。

Description

一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释 方法
技术领域
本发明属于医学影像数据的分析领域，涉及非诊断目的的无创的深度学习方法肺腺癌的分类，具体地说，涉及微浸润腺癌、原位癌与浸润性腺癌的自动区分识别方法。
背景技术
本发明应用一种深度学习模型对肺腺癌数据进行分析，输出相应的分析结果，并给出深度学习的解释图像，分析深度学习做出决策的真实原因。
人们开始寻求一种新的图像分析方法，而非仅仅局限于视觉水平的语义特征，希望从图像中解码出更多的信息来进行量化的分析。AlexNet卷积神经网络在ImageNet图像分类竞赛中以绝对的优势获胜，神经网络又重新回到人们视野中。特别是基于卷积的神经网络也越来越多的被用于医学影像数据的分析中。在以往的这些研究中，深度学习模型在肺癌的分类方面已经有了一定的成果。
但随之而来的问题是我们往往只能在模型性能和透明度之间权衡：有更强数据拟合能力的模型大多都是复杂的，如神经网络。而较高的复杂度也就意味着模型的透明度低，即可解释性较差。可解释的深度学习在诸多领域都是十分必要的，尤其在医疗领域，因为其决策的代价是十分高昂的。
我们需要了解我们的深度学习模型因何种因素做出决策，多大程度上依赖于该因素等等。知悉这些能帮助我们发现模型的潜在问题并改善模型。另外，我们往往知道目标是什么但是不知道如何完成这个目标，深度学习则能使用现有数据自动的寻找其中的规律，将模型本身视作是一种知识的来源，而解释手段可作为一种发现知识的工具，帮助我们提取模型捕获的这些知识。例如标记物的提取，可能使影像评估更加快速更加高效，自然而然的加速它们与个性化医疗方法的结合。
发明内容
本发明的目的是针对现有技术的上述不足，提供一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法。该发明基于深度学习算法，通过输入影像数据，提出图像相关特征，对深度学习模型进行优化提高深度学习的训练效率和精度。并给出该模型在学习过程中使用的特征进行可视化操作，找到模型的学习知识点，将深度学习黑匣子可视化，解开深度学习的面纱，找到相关信息，为临床服务。
本发明的目的是通过以下技术方案来实现的：
一种基于深度学习方法的非诊断目的分析肺腺癌亚型及其解释方法，具体步骤包括：
(1)影像信息数据预处理：本发明回顾性分析了某医院2014年2月-2020年3月和2020年4月-2020年11月期间两个批次的经病理送检证实为肺腺癌患者的CT影像资料作为医疗影像数据，亦即原始图像；从第1批医疗影像数据中分层抽样出70％的数据作为训练集，剩余30％的医疗影像数据作为测试集1，将第2批医疗影像数据作为测试集2，用测试集1和测试集2对构建的模型的准确性和泛化性进行测试。
在有监督的机器学习任务里，我们需要事先对样本进行标注，以便让模型预测在训练和测试中有所参考。根据病理结果将IA结节数据标记为1，non-IA结节数据标记为0，即以下所述的两类结节。为使研究的对象信息更加突出明确，在数据处理阶段也需对结节进行分割，用以确定结节的空间像素位置。获取对应的影像图像和肺腺癌诊断结果数据，并对数据进行预处理，使用3Dslicer软件对数据进行感兴趣区域的划分，得到输入数据的归一化图像信息。
为提高训练深度学习模型的预测结果，对数据进行增广操作；基于结节的中心坐标位置，在3个维度上都加上-4，0或4个像素点的移动量来获得新的采样中心点；基于新的采样中心，仍然以相同的大小获取3维数据块，通过这种方法将训练集数据增广为原来的27倍，构成增广数据训练集；根据病人的信息筛选对应的医疗影像数据，采用计算机预处理模式，对医疗影像数据进行预处理，使用样本标注，对医疗影像数据进行感兴趣区域分割，得到感兴趣区域的图像信息，通过得到的感兴趣区域得到预处理的3D数据掩膜；对数据进行预处理后得到的数据为下一步骤做好准备；
(2)深度学习算法模型的确定：该步骤是使用的ResNet的卷积神经网络，训练得到10层的ResNet10，网络的结构包含一组64个7×7×7卷积核的3D卷积层以及4个基础模块，4个基础模块中卷积核的个数分别为64、128、256、512，在全连接层(fully connectedlayer)将卷积得到的特征映射到输出之后使用sigmoid函数输出网络的预测概率，网络中使用的激活函数都为整流线性单元；对医疗影像数据进行重采样，为测试深度学习模型是否对不稳定人工标注敏感，对两个测试集数据，将计算得到的结节中心随机在各维度上增加一个偏移量，并根据此结节中心提取用于测试的数据块，比较模型对增加随机偏移量前后的数据的预测效能，各维度的可移动量为4个像素单位，通过步骤(1)获取的3D数据掩膜在从原始图像数据中按照固定的尺寸提取数据块时，部分数据块会纳入结节周围肺组织的信息，训练的模型较少的受到结节外周信息的干扰，更多的关注于两类结节本身，同时也为了探究瘤周信息的作用，对每个测试集数据使用3D数据掩膜将三维数据块内结节周围的信息剔除，并设置为-1000Hu的CT值，不重新训练模型，使用处理后的两组测试集对在增广训练集中完成训练的模型进行测试，进一步验证模型对于人工标注不稳定的容受能力以及周围组织信息在模型决策时所起到的作用；
(3)深度学习模块优化和验证：该步骤使用网格搜索搜寻验证损失最小的批量大小以及学习率组合。在训练过程中使用早停(early stopping)技术来避免过拟合，将距上一次验证损失减小的等待长度设置为20个epoch，若超过20个epoch还未有进一步的损失减少，则停止训练。使用交叉熵损失函数来衡量模型预测和真实标签的分布差异，在模型的优化方面，将AdamW优化器作为核心，改进优化器以自适应调整学习率来提高计算效率和最终的计算结果，优化学习路径来进一步提升优化器的优化效果，选择对应验证损失最小的参数分别对测试集1以及测试集2进行预测，并使用准确率(accuracy)、敏感度(sensitivity)、特异度(specificity)、受试者工作特性曲线下面积(AUC)对模型性能进行评估，用混淆矩阵展示模型在各测试集中的具体分类情况；
(4)深度学习模型解释：采用一种特定于卷积神经网络的可视化方法，平滑的基于置信分数的类激活图(smoothed score class activation maps，SS-CAM)。该方法通过将最后卷积层的激活映射进行加权组合来标识出判别区域的技术，其动机是最后层卷积的激活映射包含了关于输入的不同空间信息。深度学习模型的解释可以帮助人们揭示卷积神经网络的机制，了解模型为何做出特定的决策，对某些模型感兴趣区域进行量化，最为直接的方法就是输入特征的重要性或权重，设有图像X0和基线图像Xb，将神经网络f(X)可视化层的第k通道上的激活图Ak上采样至输入图像大小得到Mk，将不同通道上采样之后的激活图都与图像X0进行矩阵点乘，与激活图相对应的原始图像区域对模型输出的贡献Sk是其相对于基线图像的模型输出的提升量，并将其作为对应通道激活图的权重：
Figure BDA0003766881570000031
对权重进行归一化：
Figure BDA0003766881570000032
得到归一化后的权重ak。
最后得到激活图：LScore-CAM←ReLU(∑kαkAk)
在激活映射上添加均值为0，标准差为σ的高斯噪声后再与原始图像进行点乘，并计算多次操作的平均值，旨在得到一个更锐化的局部输入；
(5)统计分析验证：最后对各组数据基本信息进行统计检验，若两组测试集数据均满足正态分布，采用双侧独立样本t检验，否则采用Mann-Whitney U检验；分类变量采用Fisher检验或χ2检验。正态分布计量数据使用
Figure BDA0003766881570000033
表示，非正态分布计量数据使用M(P25，P75)表示。使用Delong检验来比较AUC的差异。
(6)结果分析：通过上述(3)、(4)、(5)步骤进行数据结果分析，将所有结果进一步说明。
本发明的优点和有益效果：
本发明使用深度学习模型对肺腺癌的影像数据进行分类。相对于影像组学特征由专家设计得到，深度学习方法以一种更为自动化的方式，即通过反向传播损失函数所得误差来优化模型参数，从原始高维数据中找到低维的结构用于分类。最后使用可视化的模型解释方法来揭示模型的决策机制。
附图说明
图1为深度学习模型结构图。
图2为使用增广数据训练模型，在不同测试集中深度学习模型的分类的混淆矩阵。(a)、(b)、(c)分别为模型在测试集1原数据、测试集1随机中心点移动处理后的数据，测试集1掩膜处理后数据上分类的混淆矩阵；(d)、(e)、(f)分别为模型在测试集2原数据、测试集2随机中心点移动处理后的数据，测试集2掩膜处理后数据上分类的混淆矩阵。矩阵横轴表示模型预测的正类和负类，纵轴表示真实的正类和负类。矩阵内数值为模型的预测对应于真实的两种类别的统计频数。
图3为使用增广数据训练的模型在测试集1和测试集2中ResNet10模型分类表现的ROC图。横轴代表各分类阈值下的假正例率，纵轴为真正例率。45度黑色虚线表示模型性能与随机水平相同，ROC曲线越靠近左上角模型性能越好。(a)为测试集1的ROC图，(b)为测试集2的ROC图像。
图4为对在原始采样数据中进行训练的模型掩膜测试为假阳性但在数据增广后模型的掩膜测试中正确分类的四个non-IA类样本进行展示。每一列代表一个样本，(a)行代表结节的原始图像；(b)代表原始采样数据训练的模型对于样本的激活图，第一行是在原始图像上的激活，第二行基于掩膜处理之后的图像对于真实类别的激活图，第三行则是基于掩膜处理之后的图像对于模型预测类别的激活图；(c)代表增广后数据训练的模型对于样本的激活图。第一行是在原始图像上的激活，第二行是基于掩膜处理之后的图像对于真实类别的激活图，且与模型预测相同。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
实施例1：
一种基于深度学习方法的非诊断目的分析肺腺癌亚型及其解释方法，具体步骤包括：
(1)影像信息数据预处理：
经病理证实为肺腺癌；本发明回顾性分析了某医院2014年2月-2020年3月和2020年4月-2020年11月期间两个批次的经病理送检证实为肺腺癌患者的CT影像资料(称为原始图像)作为医疗影像数据。从第1批医疗影像数据中分层抽样出70％的数据作为训练集，剩余30％的医疗影像数据作为测试集1，将第2批医疗影像数据作为测试集2，用测试集1和测试集2对模型的准确性和泛化性进行测试。有完整的DICOM(medical digital imaging andcommunication)格式的CT影像资料；CT薄层影像上表现为孤立的结节。这里没有处理过的图像称为原始图像，根据预后以及治疗方式的不同将数据分为两大组，一组为浸润性结节(IA)，一组为包括原位腺癌和微浸润性结节的“非”浸润性结节(non-IA)。参见发明内容部分步骤(1)中CT影像资料用来验证模型的泛化性。
对数据进行统一体素大小的重采样，同时，为了让重采样之后的图像数据更接近原始图像，统计了所有图像体素在各维度上的大小，并取中位数0.7mm。最终将所有图像和掩膜的体素使用3次样条插值算法重采样至0.7mm×0.7mm×0.7mm。依据结节的中心，提取体素个数为24×24×24(所有结节大小的70％分位数)的三维数据块。数据块通过公式
Figure BDA0003766881570000051
进行z-score标准化，其中xi为数据块各像素值，
Figure BDA0003766881570000052
和σx分别为数据块均值和标准差，其中i表示图像中的所有像素。
使用另外一种方式从原始图像中采集神经网络的输入数据以达到数据增广的目的。基于结节的中心坐标位置，在3个维度上都加上-4，0或4个像素点的移动量来获得新的采样中心点。基于新的采样中心，仍然以24×24×24的大小获取3维数据块，通过这种方法将训练集数据增广为原来的27倍。
(2)深度学习算法模型的确定：
基于ResNet的3D卷积神经网络，见图1。为避免过拟合，不对原结构的基础模块进行过多堆叠，最后得到一个10层的网络(ResNet10)。网络包含一组64个7×7×7卷积核的3D卷积层以及4个基础模块，每个基础模块中都有两个卷积核大小为3×3×3的卷积层，并在两次卷积之后添加捷径链接(shortcut connection)，4个基础模块中卷积核的个数分别为64、128、256、512。一个核大小为3×3×3的最大汇聚层(max pooling layer)在第1个基础模块之前，另外一个平均汇聚层(average pooling layer)在第4个基础模块之后，输出大小为1×1×1。在全连接层(fully connected layer)将卷积得到的特征映射到输出之后使用sigmoid函数输出网络的预测概率。网络中使用的激活函数都为整流线性单元(rectified linear units，ReLUs)。为使损失平面更平滑，每层卷积层之后都会使用批量规范化(batch normalization)。
随机地将20％的训练集数据作为验证数据集，通过在验证集中的结果对神经网络的学习率和批量大小两个参数进行调整。由于参数空间并不庞大，且得益于性能优异的硬件设备，网络的训练和推理耗时在可接受的范围内。在本发明深度学习部分，使用网格搜索搜寻验证损失最小的批量大小以及学习率组合。
(3)深度学习模型优化和验证：
在训练过程中使用早停(early stopping)技术来避免过拟合，将距上一次验证损失减小的等待长度设置为20个epoch，若超过20个epoch还未有进一步的损失减少，则停止训练。在训练过程中对数据进行概率为50％的随机镜像翻转和随机90°的旋转来进行在线的数据增广。
除此之外还使用了自适应梯度裁剪(adaptive gradient clipping)、梯度中心化(gradient centralization)、正负动量(positive-negative momentum)、权重软正则化(norm loss)、稳定权重衰减(stable weight decay)、线性学习率预热(Linear learningrate warm-up)、搜索性的学习率规划器(Explore-exploit learning rate schedule)的优化技术来保证学习效果，本发明使用Ranger21程序包实现上述功能。
对于各种学习率和批量大小的参数组合，选择对应验证损失最小的模型分别对测试集1以及测试集2进行预测，并使用准确率(accuracy)、敏感度(sensitivity)、特异度(specificity)、受试者工作特性曲线下面积(AUC)对模型性能进行评估，结果详见表1，用混淆矩阵展示模型在各测试集中的具体分类情况。
本内容基于Pytorch深度学习框架，使用的设备硬件配置为Intel i9-10900X中央处理器、64GB内存、Nvidia GeForce RTX3080图形处理器，系统版本为Ubuntu 18.04.6LTS。
(4)深度学习模型解释
深度学习模型的解释可以帮助人们揭示卷积神经网络的机制，了解模型为何做出特定的决策。对某些模型感兴趣区域进行量化，最为直接的方法就是输入特征的重要性或权重。本小结使用一种特定于卷积神经网络的可视化方法：平滑的基于置信分数的类激活图(smoothed score class activation maps，SS-CAM)。
在卷积神经网络的编码部分中，随着特征层次的加深，它们会学习具有一定不变性、也最具辨别度的特征。类激活映射(Class Activation Mapping,CAM)是一种通过将最后卷积层的激活映射进行加权组合来标识出判别区域的技术，其动机是最后层卷积的激活映射包含了关于输入的不同空间信息。至于如何对激活映射进行加权，便产生了诸多CAM的变体。Score-CAM是将激活图对应原图像区域所产生的置信度作为权重，对不同通道的激活映射进行加权得到激活图。
(5)统计分析验证
对各组数据基本信息进行统计检验，若两组数据均满足正态分布，采用双侧独立样本t检验，否则采用Mann-Whitney U检验；分类变量采用Fisher检验或χ2检验。使用Delong检验来比较AUC的差异。
我们使用LightGBM模型分别在原始数据和删除不稳定特征之后的数据中进行了100次5折交叉验证，得到了两组长度为100的准确率向量，并使用Mann-Whitney U检验计算两组准确率差值的统计显著性。
使用基于python语言的SciPy、Statsmodels软件包。统计的显著水平设为0.05。
(6)结果分析
表1列出了训练完成的ResNet10模型在测试集1和测试集2以及相应的用于模型稳定性测试的数据集中的分类表现。在原始的测试集1以及测试集2中AUC值分别为0.984 2[95％CI:0.966 6～1.000 0]和0.992 6[95％CI:0.979 8～1.000 0]。分类的混淆矩阵见图2在各种测试情景下，模型均能较好的对各类结节进行分类，体现在混淆矩阵较高的主对角线值。测试集1和测试集2中模型分类的ROC曲线见图3。
表1使用增广数据训练模型，在不同测试集中深度学习模型的分类性能。
Figure BDA0003766881570000071
注：P值由同一测试集中模型在各处理后(随机中心移动和掩膜测试)数据上测得的AUC和以模型在原数据测得AUC为参考的Delong检验得到。
从表1中的结果表明本发明的方法可以有效的分析肺腺癌亚型，AUC的值达到了0.984 2和0.992 6的高值。
在随机结节中心移动的模型稳定性测试中，模型在测试集1和测试集2的分类混淆矩阵和其在原数据中的混淆矩阵相近，模型AUC值与在原数据测得的相比均无统计学差异(P值分别为0.475 7和0.698 0)。
在使用掩膜处理原数据的模型稳定性测试中，混淆矩阵右上角值同样也有一定幅度的增大，模型分类的假阳性样本增多。相应的，模型特异度在测试集1和测试集2中与在原数据测试得的结果(分别为100.00％和97.06％)相比都有不同程度的下降，分别为84.21％和76.47％，统计比较的P值分别为0.005 4和0.003 1，具有统计学差异。但在两测试集中模型AUC值与在原数据测得的相比均无统计学差异(P值分别为0.385 7和0.196 8)。
由分类结果来看，模型在增广数据上具有更优的性能。无论是在原始的两个测试集数据中还是在随机中心移动和掩膜测试的测试集上模型效能均比未进行数据增广训练的模型效能要高，大多数的假阳性样本得到了正确的分类。同样使用SS-CAM方法进行可视化，对于在上一小节中的掩膜测试中为假阳性但在使用增广后的数据训练模型后被正确判断为non-IA的结节进行展示。在图4(b)中，未进行增广的数据训练的模型对于non-IA类的关注区域在结节内部和边界，其对噪声是相对敏感的(样本2894227和样本3142329)，第二行经过掩膜处理的数据对于真实类别的激活图也证实了这点，但模型将掩膜处理之后的数据预测为IA类，且在结节周围的区域激活。
模型的决策依据在使用增广数据进行训练之后有所变更。如图4(c)所示，模型决策聚焦于non-IA结节的周围。但是在经过掩膜处理之后，这些位置像素值的改变并未在类别层面改变模型的决策，且实际的模型输出的概率值变化也十分的小。
经过数据增广，模型习得的用于分类的特征似乎变得多样：对于IA类结节数据，能习得该类数据强的边界信息。而对于non-IA类样本，在一定的输入范围内，能根据结节周围的区域进行判断。而且通过掩膜处理将结节周围的区域进行剔除，模型并未在类别水平改变决策甚至概率值的改变都是很小的。统一的-1 000HU并无纹理可言，模型对结节周围区域的关注点可能并非某些纹理特征而是面积的大小，这也是结节尺寸特征的另外一种表现形式。
通过图4的结果可以得到模型在决策中的权重图，给出了模型在对分析肺腺癌亚型及其解释，给出了解释的分析，达到了预期的效果。
综上，基于卷积神经网络的深度学习模型展示了其强大的数据处理能力。随着深度学习方法的不断更新迭代，其应用范围也必定会越来越广泛。而在某些特定的领域，模型的可解释行就显得尤为重要。在本发明中，我们使用了对应的解释方法对深度学习模型进行了解释，一定程度上探知了模型的决策规则，这有助于医生理解模型并做出改善。因此，深度学习模型在肺腺癌的分类任务中是有应用前景的，能辅助临床进行精确分类并做出治疗决策。

Claims (1)

1.一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法，其特征在于，该方法包括一下几个步骤：
(1)影像信息数据预处理：使用收集的两批次的CT图像为原始图像，从中选取病理送检证实为肺腺癌患者的原始图像作为医疗影像数据，将第一批次医疗影像数据的70％作为训练集、第一批次医疗影像数据的30％作为测试集1和第二批批次医疗影像数据作为测试集2，测试集1和测试集2用于对准确性和泛化性进行测试；根据病理结果将IA结节数据标记为1，non-IA结节数据标记为0，以下称之为两类结节；为提高训练深度学习模型的预测结果，对数据进行增广操作；基于结节的中心坐标位置，在3个维度上都加上-4，0或4个像素点的移动量来获得新的采样中心点；基于新的采样中心，仍然以相同的大小获取3维数据块，通过这种方法将训练集数据增广为原来的27倍，构成增广数据训练集；根据病人的信息筛选对应的医疗影像数据，采用计算机预处理模式，对医疗影像数据进行预处理，使用样本标注，对医疗影像数据进行感兴趣区域分割，得到感兴趣区域的图像信息，通过得到的感兴趣区域得到预处理的3D数据掩膜；对数据进行预处理后得到的数据为下一步骤做好准备；
(2)深度学习算法模型的确定：该步骤是使用的ResNet的卷积神经网络，训练得到10层的ResNet10，网络的结构包含一组64个7×7×7卷积核的3D卷积层以及4个基础模块，4个基础模块中卷积核的个数分别为64、128、256、512，在全连接层(fully connected layer)将卷积得到的特征映射到输出之后使用sigmoid函数输出网络的预测概率，网络中使用的激活函数都为整流线性单元；对医疗影像数据进行重采样，为测试深度学习模型是否对不稳定人工标注敏感，对两个测试集数据，将计算得到的结节中心随机在各维度上增加一个偏移量，并根据此结节中心提取用于测试的数据块，比较模型对增加随机偏移量前后的数据的预测效能，各维度的偏移量为4个像素单位，通过步骤(1)获取的3D数据掩膜在从原始肺图像数据中按照固定的尺寸提取数据块时，部分数据块会纳入结节周围肺组织的信息，训练的模型较少的受到结节外周信息的干扰，更多的关注于两类结节本身，同时也为了探究瘤周信息的作用，对每个测试集数据使用3D数据掩膜将三维数据块内结节周围的信息剔除，并设置为-1000Hu的CT值，不重新训练模型，使用处理后的两组测试集对增广训练集中完成训练的模型进行测试，进一步验证模型对于人工标注不稳定的容受能力以及周围组织信息在模型决策时所起到的作用；
(3)深度学习模型优化和验证：该步骤使用网格搜索搜寻验证损失最小的批量大小以及学习率组合，训练过程中使用早停技术来避免过拟合，使用交叉熵损失函数来衡量模型预测和真实标签的分布差异，在模型的优化方面，将AdamW优化器作为核心，改进优化器以自适应调整学习率来提高计算效率和最终的计算结果，可以优化学习路径来进一步提升优化器的优化效果，选择对应验证损失最小的参数分别对测试集1以及测试集2进行预测，并使用准确率(accuracy)、敏感度(sensitivity)、特异度(specificity)、受试者工作特性曲线下面积(AUC)对模型性能进行评估，用混淆矩阵展示模型在各测试集中的具体分类情况；
(4)深度学习模型解释：深度学习模型的解释能够帮助人们揭示卷积神经网络的机制，了解模型为何做出特定的决策，对某些模型感兴趣区域进行量化，最为直接的方法就是输入特征的重要性或权重，模型的解释采用一种特定于卷积神经网络的可视化方法：平滑的基于置信分数的类激活图(smoothed score class activation maps，SS-CAM)，设有图像X0和基线图像Xb，将神经网络f(X)可视化层的第k通道上的激活图Ak上采样至输入图像大小得到Mk，将不同通道上采样之后的激活图都与图像X0进行矩阵点乘，与激活图相对应的原始图像区域对模型输出的贡献Sk是相对于基线图像的模型输出的提升量，并将输出的结果作为对应通道激活图的权重：
Figure FDA0003766881560000021
对权重进行归一化：
Figure FDA0003766881560000022
得到归一化后的权重ak；
最后得到激活图：LScore-CAM←ReLU(∑kαkAk)
在激活映射上添加均值为0，标准差为σ的高斯噪声后再与原始图像进行点乘，并计算多次操作的平均值，旨在得到一个更锐化的局部输入；
(5)统计分析验证：对各组数据基本信息进行统计检验，若两组测试集数据均满足正态分布，采用双侧独立样本t检验，否则采用Mann-Whitney U检验；分类变量采用Fisher检验或χ2检验；正态分布计量数据使用
Figure FDA0003766881560000023
表示，非正态分布计量数据使用M(P25，P75)表示，使用Delong检验来比较AUC的差异；
(6)结果分析：通过上述(3)、(4)、(5)步骤进行数据结果分析，将所有结果进一步说明。
CN202210889172.3A 2022-07-27 2022-07-27 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法 Pending CN115206497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889172.3A CN115206497A (zh) 2022-07-27 2022-07-27 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889172.3A CN115206497A (zh) 2022-07-27 2022-07-27 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法

Publications (1)

Publication Number Publication Date
CN115206497A true CN115206497A (zh) 2022-10-18

Family

ID=83585009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889172.3A Pending CN115206497A (zh) 2022-07-27 2022-07-27 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法

Country Status (1)

Country Link
CN (1) CN115206497A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206756A (zh) * 2023-05-06 2023-06-02 中国医学科学院北京协和医院 肺腺癌数据处理方法、系统、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206756A (zh) * 2023-05-06 2023-06-02 中国医学科学院北京协和医院 肺腺癌数据处理方法、系统、设备及计算机可读存储介质
CN116206756B (zh) * 2023-05-06 2023-10-27 中国医学科学院北京协和医院 肺腺癌数据处理方法、系统、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107886514B (zh) 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
Santos et al. Artificial intelligence, machine learning, computer-aided diagnosis, and radiomics: advances in imaging towards to precision medicine
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
US20200320685A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
Froz et al. Lung nodule classification using artificial crawlers, directional texture and support vector machine
US20170249739A1 (en) Computer analysis of mammograms
Taşcı et al. Shape and texture based novel features for automated juxtapleural nodule detection in lung CTs
Sogancioglu et al. Cardiomegaly detection on chest radiographs: segmentation versus classification
CN111862079B (zh) 基于影像组学的高级别浆液性卵巢癌复发风险预测系统
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
JP2023543044A (ja) 組織の画像を処理する方法および組織の画像を処理するためのシステム
CN110570419A (zh) 特征信息的获取方法、装置和存储介质
AR A deep learning-based lung cancer classification of CT images using augmented convolutional neural networks
Zhu et al. Improving segmentation and classification of renal tumors in small sample 3D CT images using transfer learning with convolutional neural networks
Chak et al. Neural network and svm based kidney stone based medical image classification
CN115206497A (zh) 一种基于深度学习方法非诊断目的分析肺腺癌亚型及其解释方法
US20240087122A1 (en) Detecting tertiary lymphoid structures in digital pathology images
Zhi et al. Deep neural network pulmonary nodule segmentation methods for CT images: Literature review and experimental comparisons
JP2023516651A (ja) 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Costa et al. A deep learning-based radiomics approach for COVID-19 detection from CXR images using ensemble learning model
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images
Chandra et al. A Novel Framework For Brain Disease Classification Using Quantum Convolutional Neural Network
Kavitha Omparative Analysis of Pre-Trained Classifier in Augumented Approach for Ovarian Image
Hareesh et al. Deep Learning-Based Classification of Lung Cancer Lesions in CT Scans: Comparative Analysis of CNN, VGG-16, and MobileNet Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination