CN115358966A - 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质 - Google Patents

基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质 Download PDF

Info

Publication number
CN115358966A
CN115358966A CN202210809340.3A CN202210809340A CN115358966A CN 115358966 A CN115358966 A CN 115358966A CN 202210809340 A CN202210809340 A CN 202210809340A CN 115358966 A CN115358966 A CN 115358966A
Authority
CN
China
Prior art keywords
classification
training
grad
layer
cam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210809340.3A
Other languages
English (en)
Inventor
李康顺
周威驰
陈灿
陈伟林
黄旭灵
王健聪
李绍韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210809340.3A priority Critical patent/CN115358966A/zh
Publication of CN115358966A publication Critical patent/CN115358966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D Grad‑CAM的直肠癌等级分类的可解释方法、系统、设备及介质，方法包括：对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用迁移学习得到的MedicalNet预训练模型3D‑ResNet50网络中进行训练，并加入注意力机制提升性能，得到训练好的3D‑ResNet50网络；将测试集输入到训练好的3D‑ResNet50网络中进行分类，得到分类结果；利用改进的Grad‑CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；通过导向反向传播和3D Grad‑CAM方法结合起来的Guided Grad‑CAM方法对肿瘤位置进行定位。本发明可有效提高直肠癌T分期的可解释性，同时不会改变分类网络的结构，具有非常好的可泛化能力。

Description

基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设 备及介质
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质。
背景技术
随着近年来深度卷积神经网络的发展，基于卷积神经网络的深度学习在图像模式识别等领域上发挥着越来越重要的作用，在医学图像方面，对于疾病分类和预测的也有着惊人的准确率。直肠癌是消化道最常见的恶性肿瘤之一，通过盆腔磁共振检查得到的MRI图像可以有效的了解肿瘤位置，以及周围邻近结构的关系，有助于术前临床准确的分期，制定合理的综合治疗的策略。使用基于CNN的深度学习不仅可以区分直肠癌的等级，还能对其后续发展进行预测，但由于缺乏解释CNN模型的能力以及对于MRI图像比较难处理成当前热门网络的输入形状，所以目前绝大部分还是由医生来进行判断，该技术很难有效转化为临床护理。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质，本发明可有效提高直肠癌T分期的可解释性，同时不会改变分类网络的结构，具有非常好的可泛化能力。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供了一种基于3D Grad-CAM的直肠癌等级分类的可解释方法，包括下述步骤：
对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化并加入注意力机制修改后的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度和肿瘤大小对直肠癌进行T分期，直肠壁分不同层次，从内到外有黏膜下层、肌层、浆膜层等分层，浸润深度不同，分为T1、T2、T3，T1指肿瘤侵犯黏膜下层，T2是指肿瘤侵犯肌层，T3是指肿瘤侵犯浆膜层，最后得到分类结果；
利用3D Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
通过导向反向传播和3D Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
作为优选的技术方案，所述训练前的预处理，具体为：
读取MRI图像，将MRI图像转化为像素空间的值；
获得所有MRI图像的切片数量的最大值，对所有MRI图像进行归一化处理，将少于这个最大值的MRI图像进行填充，全部设为灰度值为0的图像；
取中间的M个切片作为数据集；
对所取的数据集进行水平翻转、旋转、剪切和缩放处理，以增加样本数量并加入噪声。
作为优选的技术方案，所述将MRI图像转化为像素空间的值，具体为：
最初获取的直肠癌患者的磁共振MRI图像格式为DICOM格式，首先用医学图像处理SimpleITK库将DICOM格式转化为神经网络比较好训练的Nifti格式，Nifti格式包含两个仿射坐标，能够将每个体素的索引值和它的空间位置关联起来，之后再通过python中的nibabel库将MRI图像转化为像素空间的值。
作为优选的技术方案，所述将训练集放入使用MedicalNet预训练模型参数初始化的3D-ResNet50网络中进行训练，具体步骤为：
加载预训练网络，使用迁移学习训练出预训练模型和加入注意力机制来提升性能，MedicalNet是一个3D医学图像开源数据集，从MedicalNet上获取3D-ResNet50网络的预训练模型；
迁移学习，将获取的预训练模型进行微调，微调的部分为：改变网络最后的池化层和分类结构、添加一个全连接层、最后的全连接层网络数量设置为3、以及数据集中的类数相同；
为预训练模型加入注意力机制，首先对预训练模型的特征层进行全局平均池化，再加入两个全连接层，第二个全连接层个数与特征层个数一致，便于运算，之后再使用softmax获得每一个特征层的权重，最后再将这个权重与原来的特征层相乘，得到最后的特征层，得到最终的3D-ResNet50网络结构；
训练3D-ResNet50网络，将3D-ResNet50网络的输入维度和训练集维度保持一致，将处理好的训练集和验证集放入修改后的3D-ResNet50网络进行训练，训练集数据经过网络的正向传播得到特征层，Dropout一些参数后再通过全连接层得到分类的结果，比较正确结果得到精度，计算损失，如果模型的精度最高，则保存当前模型，然后通过损失函数和加入的注意力机制反向传播优化网络参数，反向传播完成后就相当于训练了一个epoch。
作为优选的技术方案，在训练3D-ResNet50网络的过程中，网络优化器选择Adam，初始学习率设置为0.0002，损失函数采用分类交叉熵，批量大小设为8，训练100个epoch，通过5折交叉验证调整超参数，并使用回调策略，使得实验保存效果最好的3D-ResNet50网络。
作为优选的技术方案，所述使用Grad-CAM方法生成热力图，具体为：
对于分类后的其中一个类别，最后卷积层产生的第k个特征层对应类c的权重
Figure BDA0003739940250000031
可通过下面的公式计算：
Figure BDA0003739940250000032
上述公式表示对softmax层的输入yc，对最后一层卷积层的第k个神经元的第(i,j,r)个点的激活值求偏导，然后进行全局平均池化，得到
Figure BDA0003739940250000033
其中c表示某一测试集的分类结果(T1,T2,T3)，yc表示该测试集最后softmax层的输入，i表示特征层的长度，j表示特征层的宽度，r表示特征层的维度，Z为像素点总数，
Figure BDA0003739940250000034
表示最后一层卷积层的第k个神经元的第(i,j,r)个元素的激活值，
Figure BDA0003739940250000035
表示最后卷积层产生的第k个特征层对应类c的权重，该权重表示特征层k对于该测试集分类结果类别c的重要性；
然后对最后一层卷积层每个神经元的输入乘上该神经元对应某一类的权重α，然后对所有神经元的特征图进行求和再进行ReLU，其中ReLU函数起到保留对分类具有积极作用的像素值，抑制对分类具有消极作用的像素值，然后就可以得到热力图，即分类定位图
Figure BDA0003739940250000036
通过公式如下：
Figure BDA0003739940250000037
作为优选的技术方案，所述对肿瘤位置进行定位，具体为：
将Guided Backpropagation的结果和Grad-CAM的结果进行点乘即可获得GuidedGrad-CAM的输出，
导向反向传播首先对特征图进行ReLU激活，然后对小于0的梯度的回传进行限制，对于某一类c的特征图的更新的具体公式如下：
Figure BDA0003739940250000038
上述公式中
Figure BDA0003739940250000039
表示分类结果为类别c时第t层特征图的激活值，
Figure BDA00037399402500000310
表示后一层反向传播得到的值，最终得到
Figure BDA00037399402500000311
是更新后的权重；
通过上述公式得到结果在和Grad-CAM的结果进行点乘，公式如下：
Figure BDA00037399402500000312
最后得到具有高分辨率且带类区分的定位图，可以清晰的定位分类依据，还可以帮助医疗行业研究者发现肿瘤位置。
本发明另一方面提供了一种基于Grad-CAM的直肠癌等级分类的可解释系统，包括预处理模块、模型训练模块、分类模块、解释模块以及定位模块；
所述预处理模块，用于对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
所述模型训练模块，用于将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化并加入注意力机制修改后的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
所述分类模块，用于将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度和肿瘤大小对直肠癌进行T分期，直肠壁分不同层次，从内到外有黏膜下层、肌层、浆膜层等分层，浸润深度不同，分为T1、T2、T3，T1指肿瘤侵犯黏膜下层，T2是指肿瘤侵犯肌层，T3是指肿瘤侵犯浆膜层最后得到分类结果3D-ResNet50；
所述解释模块，用于利用3D Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
所述定位模块，用于通过导向反向传播和Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
本发明又一方面提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于3DGrad-CAM的直肠癌等级分类的可解释方法。
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于3D Grad-CAM的直肠癌等级分类的可解释方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明在处理不平衡且小的医学图像数据集上，使用迁移学习及注意力机制来提升学习准确率和学习性能，并将其应用在真实直肠癌数据集上，由于ImageNet上没有较大的医学图像数据集，本发明采用了MedicalNet上的3D-ResNet50预训练模型，能够很好的识别人体复杂的腹部空间特征，大大减少了模型提取空间信息的时间和算力，然后加入注意力机制来减少识别不随意特征的信息，让网络更加关注肿瘤信息，对于准确率和效率有较大的提升。
本发明使用3D卷积神经网络对MRI图像进行分类，目前3D卷积神经网络已经开始应用于许多医学图像领域，在肺结节分类、阿尔茨海默症分类等疾病分类上得到了大量应用并取得了非常好的效果，在对直肠癌T分期这一问题上，直肠癌患者的MRI图像有着非常显著的诊断依据，卷积神经网络能够非常好的提取这些特征，如果把MRI图像切片用2D卷积神经网络训练，会丢失许多空间信息，效果并不理想，我们使用3D-ResNet50在经过我们的方法改进后效果远远大于2D-ResNet。
本发明将目前表现最好的解释卷积网络的热力图生成技术Grad-CAM改进并应用于直肠癌T分期上，使它能够用于3D的医学图像。此外，本发明还将Grad-CAM和导向反向传播结合来可视化以及生成高分辨率且带类别区分的定位图，在提高可解释性的同时，还能帮助医学工作者标注MRI图像和判断病理特征，减少医学研究者的误判率，且不会改变分类网络的结构，具有非常好的可泛化能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于3D Grad-CAM的直肠癌等级分类的可解释方法的流程图；
图2为本发明实施例对MRI图像进行分类的网络示意图；
图3为本发明实施例生成热力图及带定位的高分辨率图的示意图；
图4为本发明实施例基于3D Grad-CAM的直肠癌等级分类的可解释系统的方框图；
图5为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
深度卷积神经网络在目前许多人工智能领域发挥了十分重要的作用，在医学图像方面，对于疾病分类和预测的也有着惊人的准确率。直肠癌是消化道最常见的恶性肿瘤之一，使用基于CNN的深度学习不仅可以区分直肠癌的等级，还能对其进行预测，但由于缺乏解释CNN模型的能力，所以该技术很难转化为临床护理。
本发明将目前表现最好的解释卷积网络的热力图生成技术3D Grad-CAM应用于直肠癌T分期上，将直肠癌等级分为T1，T2，T3。此外，本发明还设计了新的方法来可视化以及量化热力图，以提高可解释性，同时不会改变分类网络的结构，具有非常好的可泛化能力。
如图1所示，本实施例、基于3D Grad-CAM的直肠癌等级分类的可解释方法，包括下述步骤：
S1、对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
进一步的，训练前的预处理，具体步骤为：
S11、进行相关预处理，读取真实患者的MRI文件，并将其转化为像素空间的值获得所有患者的腹部MRI图像的切片数量的最大值，对所有数据集进行归一化处理，将少于这个最大值的其余患者的MRI图像进行填充，全部设为灰度值为0的图像。这是由于每个人的腹部厚度不一样，需要调整为同样维度才能放入神经网络，方便训练。
S22、为提高计算效率，取中间的64个切片作为数据集(如：最大值为72，则取中间的4到68张切片图像)，因为肿瘤位置一般在中间部分的切片，这样在保证不丢失特征的同时，增加了计算效率。
S23、数据集进行水平翻转、旋转(不超过30°)、剪切(不超过0.2)、缩放(不超过0.2)，以增加样本数量并加入噪声。将最终数据集按65％、15％、20％的比例划分为训练集，验证集，测试集。
S2、将预处理后的MRI图像划分为训练集、验证集和测试集，具体包括下述内容：
S21、加载预训练网络，医学图像有标记且能够训练的数据集并不多，且人体腹部器官比较复杂，神经网络比较难学习到关键特征，我们便使用迁移学习训练出预训练模型和加入注意力机制来提升性能，MedicalNet是一个较大3D医学图像开源数据集，首先我们从MedicalNet上获取3D-ResNet50网络的预训练模型。
S22、迁移学习，将获取的预训练模型进行微调，改变网络最后的池化层和分类结构，以及添加一个全连接层，最后的全连接层网络数量设置为3，和数据集中的类数相同。
S23、为模型加入注意力机制，为了能够更好的识别以及定位肿瘤，我们通过在网络输出的特征层上加入注意力机制，让模型自适应注意重要信息，首先对预训练模型的特征层进行全局平均池化，再加入两个全连接层，第二个全连接层个数与特征层个数一致，便于运算，之后再softmax获得每一个特征层的权重，最后再将这个权重与原来的特征层相乘，得到最后的特征层，完成最终的网络结构。
S24、训练网络，将网络的输入维度和训练集维度保持一致，将处理好的训练集和验证集放入修改后的3D-ResNet50网络进行训练，训练集数据经过网络的正向传播得到特征层，Dropout一些参数后再通过全连接层得到分类的结果，比较正确结果得到精度，计算损失，如果模型的精度最高，则保存当前模型，然后通过损失函数和加入的注意力机制反向传播优化网络参数，反向传播完成后就相当于训练了一个epoch。
经过上述步骤S21-24的训练之后，得到的3D-ResNet50网络结构如图2所示。
进一步的，本实施例中，网络优化器选择Adam，初始学习率设置为0.0002，损失函数采用分类交叉熵，批量大小设为8，训练100个epoch，通过5折交叉验证调整超参数，并使用回调策略，使得实验保存效果最好的模型。
网络结构示意图如图2所示。
S3、将测试集输入到训练好的3D-ResNet50网络中进行分类，得到分类结果；
根据训练集图像中肿瘤在直肠壁的侵犯深度将直肠癌等级划分为T1、T2、T3，T1表示侵犯直肠肠壁的第一层，。
S4、利用Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据。
进一步的，当网络精确度比较理想时，将测试集数据放入网络进行分类，然后对测试集结果使用3D Grad-CAM生成热力图，通过最后一层卷积层产生的各个特征图的梯度信息来给每个类分配一个分数来表示该类的重要性，而对于权重的计算，不需要像CAM方法那样用GAP(全局池化层)来替换全连接层，重新训练。
对于类别c，最后卷积层产生的第k个特征图对应类c的权重
Figure BDA0003739940250000071
可通过下面的公式计算：
Figure BDA0003739940250000072
上述公式表示对softmax层的输入yc，对最后一层卷积层的第k个神经元的第(i,j,r)个像素值求偏导，然后进行全局平均池化，得到
Figure BDA0003739940250000073
然后对最后一层卷积层每个神经元的输入乘上该神经元对应某一类的权重α，然后对所有神经元的特征图进行求和再进行ReLU，其中ReLU函数起到保留对分类具有积极作用的像素值，抑制对分类具有消极作用的像素值，然后就可以得到热力图，即分类定位图
Figure BDA0003739940250000074
通过公式如下：
Figure BDA0003739940250000075
S4、通过导向反向传播和Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
进一步的，通过导向反向传播和Grad-CAM结合生成高分辨率的且带类区分性的定位图，导向反向传播能够捕获并突出像素空间细粒度细节，但无法给出区分不同等级类别的依据，无法分辨肿瘤位置是由哪一块区域所决定，所以将Grad-CAM和导向反向传播结合起来，将Guided Backpropagation的结果和Grad-CAM的结果进行点乘即可获得GuidedGrad-CAM的输出，这样的结果在保证了能区分直肠癌等级的同时，还可以保证MRI图像的细粒度细节。
导向反向传播首先对特征图进行ReLU激活，然后对小于0的梯度的回传进行限制，对于某一类c的特征图的更新的具体公式如下：
Figure BDA0003739940250000081
通过上述公式得到结果在和Grad-CAM的结果进行点乘，公式如下：
Figure BDA0003739940250000082
如图3所示，最后得到具有高分辨率且带类区分的定位图，可以清晰的定位分类依据，还可以帮助医疗行业研究者发现肿瘤位置。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于3D Grad-CAM的直肠癌等级分类的可解释方法相同的思想，本发明还提供了基于3D Grad-CAM的直肠癌等级分类的可解释系统，该系统可用于执行上述基于3D Grad-CAM的直肠癌等级分类的可解释方法。为了便于说明，基于3D Grad-CAM的直肠癌等级分类的可解释系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图4，在本申请的另一个实施例中，提供了一种基于3D Grad-CAM的直肠癌等级分类的可解释系统100，该系统包括预预处理模块101、模型训练模块102、分类模块103、解释模块104以及定位模块105；
所述预处理模块101，用于对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
所述模型训练模块102，用于将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
所述分类模块103，用于用于将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度和肿瘤大小对直肠癌进行T分期，直肠壁分不同层次，从内到外有黏膜下层、肌层、浆膜层等分层，浸润深度不同，分为T1、T2、T3，T1指肿瘤侵犯黏膜下层，T2是指肿瘤侵犯肌层，T3是指肿瘤侵犯浆膜层，最后得到分类结果3D-ResNet50；
所述解释模块104，用于利用3D Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
所述定位模块105，用于通过导向反向传播和Grad-CAM方法结合起来的GuidedGrad-CAM方法对肿瘤位置进行定位。
需要说明的是，本发明的基于3D Grad-CAM的直肠癌等级分类的可解释系统与本发明的基于3D Grad-CAM的直肠癌等级分类的可解释方法一一对应，在上述基于Grad-CAM的直肠癌等级分类的可解释方法的实施例阐述的技术特征及其有益效果均适用于基于3DGrad-CAM的直肠癌等级分类的可解释的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于3D Grad-CAM的直肠癌等级分类的可解释系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于3DGrad-CAM的直肠癌等级分类的可解释系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图5，在一个实施例中，提供了一种实现基于3D Grad-CAM的直肠癌等级分类的可解释方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如基于3D Grad-CAM的直肠癌等级分类的可解释程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如基于Grad-CAM的直肠癌等级分类的可解释程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的基于Grad-CAM的直肠癌等级分类的可解释程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化并加入注意力机制修改后的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度将直肠癌等级划分为T1、T2、T3，T1表示侵犯直肠肠壁的第一层，最后得到分类结果；
利用Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
通过导向反向传播和Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于3D Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，包括下述步骤：
对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化并加入注意力机制修改后的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度和肿瘤大小对直肠癌进行T分期，直肠壁分不同层次，从内到外有黏膜下层、肌层、浆膜层等分层，浸润深度不同，分为T1、T2、T3，T1指肿瘤侵犯黏膜下层，T2是指肿瘤侵犯肌层，T3是指肿瘤侵犯浆膜层，最后得到分类结果；
利用3D Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
通过导向反向传播和3D Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
2.根据权利要求1所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，所述训练前的预处理，具体为：
读取MRI图像，将MRI图像转化为像素空间的值；
获得所有MRI图像的切片数量的最大值，对所有MRI图像进行归一化处理，将少于这个最大值的MRI图像进行填充，全部设为灰度值为0的图像；
取中间的M个切片作为数据集；
对所取的数据集进行水平翻转、旋转、剪切和缩放处理，以增加样本数量并加入噪声。
3.根据权利要求2所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，所述将MRI图像转化为像素空间的值，具体为：
最初获取的直肠癌患者的磁共振MRI图像格式为DICOM格式，首先用医学图像处理SimpleITK库将DICOM格式转化为神经网络比较好训练的Nifti格式，Nifti格式包含两个仿射坐标，能够将每个体素的索引值和它的空间位置关联起来，之后再通过python中的nibabel库将MRI图像转化为像素空间的值。
4.根据权利要求1所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，所述将训练集放入使用MedicalNet预训练模型参数初始化的3D-ResNet50网络中进行训练，具体步骤为：
加载预训练网络，使用迁移学习训练出预训练模型和加入注意力机制来提升性能，MedicalNet是一个3D医学图像开源数据集，从MedicalNet上获取3D-ResNet50网络的预训练模型；
迁移学习，将获取的预训练模型进行微调，微调的部分为：改变网络最后的池化层和分类结构、添加一个全连接层、最后的全连接层网络数量设置为3、以及数据集中的类数相同；
为预训练模型加入注意力机制，首先对预训练模型的特征层进行全局平均池化，再加入两个全连接层，第二个全连接层个数与特征层个数一致，便于运算，之后再使用softmax获得每一个特征层的权重，最后再将这个权重与原来的特征层相乘，得到最后的特征层，得到最终的3D-ResNet50网络结构；
训练3D-ResNet50网络，将3D-ResNet50网络的输入维度和训练集维度保持一致，将处理好的训练集和验证集放入修改后的3D-ResNet50网络进行训练，训练集数据经过网络的正向传播得到特征层，Dropout一些参数后再通过全连接层得到分类的结果，比较正确结果得到精度，计算损失，如果模型的精度最高，则保存当前模型，然后通过损失函数和加入的注意力机制反向传播优化网络参数，反向传播完成后就相当于训练了一个epoch。
5.根据权利要求4所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，在训练3D-ResNet50网络的过程中，网络优化器选择Adam，初始学习率设置为0.0002，损失函数采用分类交叉熵，批量大小设为8，训练100个epoch，通过5折交叉验证调整超参数，并使用回调策略，使得实验保存效果最好的3D-ResNet50网络。
6.根据权利要求1所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，所述使用Grad-CAM方法生成热力图，具体为：
对于分类后的其中一个类别c，最后卷积层产生的第k个特征层对应类c的权重
Figure FDA0003739940240000026
可通过下面的公式计算：
Figure FDA0003739940240000021
上述公式表示对softmax层的输入yc，对最后一层卷积层的第k个神经元的第(i,j,r)个点的激活值求偏导，然后进行全局平均池化，得到
Figure FDA0003739940240000022
其中c表示某一测试集的分类结果(T1,T2,T3)，yc表示该测试集最后softmax层的输入，i表示特征层的长度，j表示特征层的宽度，r表示特征层的维度，Z为像素点总数，
Figure FDA0003739940240000023
表示最后一层卷积层的第k个神经元的第(i,j,r)个元素的激活值，
Figure FDA0003739940240000024
表示最后卷积层产生的第k个特征层对应类c的权重，该权重表示特征层k对于该测试集分类结果类别c的重要性；
然后对最后一层卷积层每个神经元的输入乘上该神经元对应某一类的权重α，然后对所有神经元的特征图进行求和再进行ReLU，其中ReLU函数起到保留对分类具有积极作用的像素值，抑制对分类具有消极作用的像素值，然后就可以得到热力图，即分类定位图
Figure FDA0003739940240000025
通过公式如下：
Figure FDA0003739940240000031
7.根据权利要求1所述基于Grad-CAM的直肠癌等级分类的可解释方法，其特征在于，所述对肿瘤位置进行定位，具体为：
将Guided Backpropagation的结果和Grad-CAM的结果进行点乘即可获得GuidedGrad-CAM的输出，
导向反向传播首先对特征图进行ReLU激活，然后对小于0的梯度的回传进行限制，对于某一类c的特征图的更新的具体公式如下：
Figure FDA0003739940240000032
上述公式中
Figure FDA0003739940240000033
表示分类结果为类别c时第t层特征图的激活值，
Figure FDA0003739940240000034
表示后一层反向传播得到的值，最终得到
Figure FDA0003739940240000035
是更新后的权重；
通过上述公式得到结果在和Grad-CAM的结果进行点乘，公式如下：
Figure FDA0003739940240000036
最后得到具有高分辨率且带类区分的定位图，可以清晰的定位分类依据，还可以帮助医疗行业研究者发现肿瘤位置。
8.基于Grad-CAM的直肠癌等级分类的可解释系统，其特征在于，包括预处理模块、模型训练模块、分类模块、解释模块以及定位模块；
所述预处理模块，用于对获取的直肠癌患者的磁共振MRI图像进行训练前的预处理；
所述模型训练模块，用于将预处理后的MRI图像划分为训练集、验证集和测试集，并将训练集放入使用MedicalNet预训练模型参数初始化并加入注意力机制修改后的3D-ResNet50网络中进行训练，得到训练好的3D-ResNet50网络；
所述分类模块，用于将测试集输入到训练好的3D-ResNet50网络中进行分类，根据训练集图像中肿瘤在直肠壁的侵犯深度和肿瘤大小对直肠癌进行T分期，直肠壁分不同层次，从内到外有黏膜下层、肌层、浆膜层等分层，浸润深度不同，分为T1、T2、T3，T1指肿瘤侵犯黏膜下层，T2是指肿瘤侵犯肌层，T3是指肿瘤侵犯浆膜层，最后得到分类结果3D-ResNet50；
所述解释模块，用于利用3D Grad-CAM方法生成热力图，基于热力图对分类结果进行解释，并且定位分类依据；
所述定位模块，用于通过导向反向传播和Grad-CAM方法结合起来的Guided Grad-CAM方法对肿瘤位置进行定位。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于3D Grad-CAM的直肠癌等级分类的可解释方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于3D Grad-CAM的直肠癌等级分类的可解释方法。
CN202210809340.3A 2022-07-11 2022-07-11 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质 Pending CN115358966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809340.3A CN115358966A (zh) 2022-07-11 2022-07-11 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809340.3A CN115358966A (zh) 2022-07-11 2022-07-11 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115358966A true CN115358966A (zh) 2022-11-18

Family

ID=84031873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809340.3A Pending CN115358966A (zh) 2022-07-11 2022-07-11 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115358966A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846688A (zh) * 2023-08-30 2023-10-03 南京理工大学 基于cnn的可解释流量入侵检测方法
CN117036830A (zh) * 2023-10-07 2023-11-10 之江实验室 一种肿瘤分类模型训练方法、装置、存储介质及电子设备
CN117058467A (zh) * 2023-10-10 2023-11-14 湖北大学 一种胃肠道病变类型识别方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116846688A (zh) * 2023-08-30 2023-10-03 南京理工大学 基于cnn的可解释流量入侵检测方法
CN116846688B (zh) * 2023-08-30 2023-11-21 南京理工大学 基于cnn的可解释流量入侵检测方法
CN117036830A (zh) * 2023-10-07 2023-11-10 之江实验室 一种肿瘤分类模型训练方法、装置、存储介质及电子设备
CN117036830B (zh) * 2023-10-07 2024-01-09 之江实验室 一种肿瘤分类模型训练方法、装置、存储介质及电子设备
CN117058467A (zh) * 2023-10-10 2023-11-14 湖北大学 一种胃肠道病变类型识别方法及系统
CN117058467B (zh) * 2023-10-10 2023-12-22 湖北大学 一种胃肠道病变类型识别方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. Dermoscopy image classification based on StyleGAN and DenseNet201
Solanki et al. Brain tumor detection and classification using intelligence techniques: an overview
CN115358966A (zh) 基于3D Grad-CAM的直肠癌等级分类的可解释方法、系统、设备及介质
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
CN113706486B (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
Li et al. Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及系统
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
Du et al. Segmentation and visualization of left atrium through a unified deep learning framework
Agarwal et al. Weakly supervised lesion co-segmentation on ct scans
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
Baldeon-Calisto et al. Resu-net: Residual convolutional neural network for prostate mri segmentation
Wu et al. Human identification with dental panoramic images based on deep learning
Yu et al. Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net
Alzate-Grisales et al. SAM-UNETR: Clinically Significant Prostate Cancer Segmentation Using Transfer Learning From Large Model
YAPICI et al. Improving brain tumor classification with deep learning using synthetic data
CN113936006A (zh) 一种处理高噪低质医学图像的分割方法及装置
Raina et al. Slim u-net: Efficient anatomical feature preserving u-net architecture for ultrasound image segmentation
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
Abou Arkoub et al. Survey on deep learning techniques for medical imaging application area
Tyagi et al. A novel approach of lung tumor segmentation using a 3D deep convolutional neural network
Li et al. CAGAN: Classifier‐augmented generative adversarial networks for weakly‐supervised COVID‐19 lung lesion localisation
Zhang et al. Pneumothorax segmentation of chest X-rays using improved UNet++
Ekong et al. Bayesian depthwise convolutional neural network design for brain tumor MRI classification. Diagnostics. 2022; 12: 1657

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination