CN116778250A - 基于迁移学习和cbam的冠脉病变分类方法 - Google Patents
基于迁移学习和cbam的冠脉病变分类方法 Download PDFInfo
- Publication number
- CN116778250A CN116778250A CN202310788789.0A CN202310788789A CN116778250A CN 116778250 A CN116778250 A CN 116778250A CN 202310788789 A CN202310788789 A CN 202310788789A CN 116778250 A CN116778250 A CN 116778250A
- Authority
- CN
- China
- Prior art keywords
- image
- coronary artery
- cbam
- model
- transfer learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013526 transfer learning Methods 0.000 title claims abstract description 46
- 230000003902 lesion Effects 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims abstract 2
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 34
- 208000037804 stenosis Diseases 0.000 claims description 34
- 230000036262 stenosis Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 26
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 238000010200 validation analysis Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 4
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 208000029078 coronary artery disease Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于迁移学习和CBAM的冠脉病变分类方法，具体按照以下步骤实施：步骤1、构建冠脉CTA图像数据集；步骤2、对步骤1的数据集进行图像去噪、图像增强、图像裁剪预处理；步骤3、对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型；步骤5、将步骤3的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。本发明解决了冠脉CTA图像分类研究较少且分类准确率低的问题。
Description
技术领域
本发明属于生物工程技术领域，具体涉及一种基于迁移学习和CBAM的冠脉病变分类方法。
背景技术
根据医学临床鉴定，如果狭窄率大于百分之五十，则被诊断为患有冠心病。CTA图像作为诊断冠心病的检测技术之一，医生容易受主观因素的影响出现错判、误判等现象的发生。因此，合理地应用人工智能设计出一种便于识别冠心病的分类模型极为重要。
因此，本发明基于人工智能和深度学习，首先对冠脉CTA数据集统一进行预处理和分割二值化，然后搭建基于迁移学习和卷积注意力模块(Convolutional Block AttentionModule,CBAM)的ResNet18分类模型，最后将经过预处理的冠脉数据集送入到模型中，输出分类结果。
发明内容
本发明的目的是提供一种基于迁移学习和CBAM的冠脉病变分类方法，解决了冠脉CTA图像分类研究较少且分类准确率低的问题。
本发明所采用的技术方案是，基于迁移学习和CBAM的冠脉病变分类方法，具体按照以下步骤实施：
步骤1、构建冠脉CTA图像数据集；
步骤2、对步骤1的数据集进行图像去噪、图像增强、图像裁剪预处理；
步骤3、对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；
步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型；
步骤5、将步骤3的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。
本发明的特点还在于，
步骤1具体按照以下步骤实施：
共收集冠脉CTA图像624张，作为步骤3中特征提取模型的输入样本，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。
步骤2具体按照以下步骤实施：
步骤2.1、对于均值为0，方差为σ2的二维高斯滤波函数f(x,y)表示为：
其中，x和y表示像素点的空间坐标，σ2表示方差；
通过高斯模板，实现将上述连续的二维高斯滤波离散化，得到(2v+1)×(2v+1)阶的权值矩阵，矩阵表示为：
其中，f(i,j)表示权值矩阵，i和j为像素中心点的空间坐标，v表示阶数；
自适应高斯滤波算法通过判断平滑区域和边缘区域，计算某一区域内方差D的大小，最终自适应地选取高斯模板参数σ2和高斯模板n的大小，高效地实现对图像的去噪；
其中方差D的计算公式为：
其中，Si,j表示中心点(i,j)附近的(2v+1)×(2v+1)大小的领域；
在实际计算过程中，根据区域内像素点的方差D的大小按如下方式分段确定参数σ2的值：
模板采用3×3和5×5两种类型，在滤波过程中，根据每个区域内的方差D，使得像素点在移动的过程中，高斯模板参数σ2和高斯模板n不断被改变，实现自适应的高斯滤波去噪，得到去噪后的医学图像；
步骤2.2、对于去噪后的图像，通过采用直方图均衡化，直方图均衡化具体如下：
其中，pr(rk)表示归一化灰度级rk出现的概率，rk∈[0,1]，k表示灰度级，nk表示此灰度级下的像素数，N表示像素总数。
灰度转化函数为：
其中，sk为灰度转化函数，(L-1)为总灰度级数，pr(rj)表示归一化灰度级rj出现的概率，nj表示此灰度级下的像素数。
通过上式的计算，将原灰度级为rk的像素点转化为新的灰度级为sk的像素点；
步骤2.3、在对冠脉图像进行去噪和增强后，统一裁剪图像尺寸为256×256，并将裁剪后的图像作为步骤3中图像分割算法的输入。
步骤3具体按照以下步骤实施：
步骤3.1、首先根据Otsu分割算法，自动选取能够区分目标域和背景域的最优阈值，其中，目标域即冠脉区域，背景域即CTA图像中其他人体组织及一些噪点，获得经过Otsu算法分割好的图像；
步骤3.2、在经过步骤3.1处理后的图像后，采用区域生长算法对图像做进一步处理，首先选取种子点单独生长，然后根据灰度将冠脉区域从图像中单独地分割出来。
步骤3.1中最优阈值的确定过程如下：
首先，图像中灰度等级的个数用L表示，某一点的灰度值表示为i，Ni表示为灰度值为i时的像素点的个数，全部像素点的个数用N表示，公式如下：
N＝N0+N1+...+NL-1 (7)
那么灰度值为i时，像素点的概率pi表示为：
图像的灰度值uT表示为：
根据图像的灰度分布情况，假设T为区分目标和背景的阈值，c0代表目标域，c1代表背景域，则w0(T)和w1(T)分别表示阈值为T时，c0和c1发生的概率，即：
w1(T)＝1-w0(T) (11)
c0和c1的均值为：
其中，u0(T)和u1(T)分别表示目标域和背景域的均值。
σ2(T)表示直方图中阈值为T的类间方差，定义为：
σ2(T)＝w0(T)[u0(T)-uT]2+w1(T)[u1(T)-uT]2 (14)
那么当方差最大时，最优阈值的计算公式如下式所示：
其中，σ2(T*)表示最大类间方差，T*表示能够使类间方差最大的最优阈值。
步骤4具体按照以下步骤实施：
步骤4.1、搭建基于ResNet18的预训练模块，使用公开数据集—ImageNet大型数据集作为预训练模块的输入，输出层利用Softmax激活函数，从而输出1000个类别的概率分布，并保留预训练后的权重，加载到下一步搭建的分类模型中；
步骤4.2、搭建基于ResNet18的深度卷积神经网络模型，模型共有18层，是由一个卷积层，四个ResBlock，以及一个全连接层构成，每个ResBlock中含有2个Basic Block，而每个Basic Block又含有两个卷积层，在不改变网络模型的结构上，在卷积层的第一层和最后一层分别加入通道注意力机制和空间注意力机制，即混合注意力机制—CBAM模块；
步骤4.3、将步骤4.1搭建的基于ResNet18的预训练模块与步骤4.2中搭建的基于CBAM的ResNet18网络模型联合，从而使模型在ImageNet数据集上学习的图像特征被很好地迁移到目标网络中，即引入CBAM的ResNet18网络模型中，完成对基于迁移学习和CBAM的ResNet18模型的搭建；优化器选用Sgd，激活函数选用Relu，损失函数选定为交叉熵损失函数，Batch_size设置为16，Learning rate设置为0.001，Epoch设置为100。
步骤4.2中残差F(x)的计算公式如下：
F(x)＝H(x)-x (16)
其中，H(x)是输入后学习到的对应的特征，x为模型的输入。
步骤5具体按照以下步骤实施：
步骤5.1、首先定义狭窄率大于50％的图像标签定义为1，狭窄率小于50％的图像标签定义为0，然后将步骤3处理后的所有冠脉分割二值图进行划分，训练集划分为399张，验证集划分为99张，测试集划分为126张，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。并输入到所述步骤4搭建的模型中，输出二分类的概率分布，对分类结果可视化，以混淆矩阵的形式展示，如图X所示，主对角线表示分类预测正确的标签为0和1的数据集数量，副对角线表示分类预测错误的标签为0和1的数据集数量；
步骤5.2、模型最终输出结果，本模型的性能评估选用精确率(Precision)、准确率(Accuracy，Acc)、召回率(Recall)、特异性(Specificity)、F1-score(F1)作为分类结果的评价指标。
式中，Acc为模型正确分类样本数占总样本数的比例；Precision为模型预测的所有正常样本中，预测正确的比例；Recall为所有真实正常样本中，模型预测正确的正常样本比例；F1为精确率和召回率的调和平均数；TP为预测为正常，真值为正常的样本数量；FP为预测是正常，真值是异常的样本数量；FN为预测是异常，真值为正常的样本数量；TN为预测是异常，真值是异常的样本数量。
本发明的有益效果是，基于迁移学习和CBAM的冠脉病变分类方法，能够直接对患者真实的CTA图像进行处理，并利用设计出的深度学习分类器，实现了对冠心病的全自动诊断。此发明思路采用体外预测模式，合理的对狭窄冠脉特征进行学习，预测速度、预测精度均具有良好的分类性能，并提高了人工智能在医疗方面的利用率以及临床医生的诊断效率。
附图说明
图1为本发明基于迁移学习和CBAM的冠脉病变分类方法总体流程图；
图2(a)为本发明基于迁移学习和CBAM的冠脉病变分类方法的ResNet18分类模型的验证集准确率结果图；
图2(b)为本发明基于迁移学习和CBAM的冠脉病变分类方法的ResNet18分类模型的训练集准确率结果图；
图3(a)为本发明基于迁移学习和CBAM的冠脉病变分类方法中将CBAM改为CAM后的验证集准确率结果图；
图3(b)为本发明基于迁移学习和CBAM的冠脉病变分类方法中将CBAM改为CAM后的训练集准确率结果图；
图4(a)为本发明基于迁移学习和CBAM的冠脉病变分类方法中将CBAM改为SAM后的验证集准确率结果图；
图4(b)为本发明基于迁移学习和CBAM的冠脉病变分类方法中将CBAM改为SAM后的训练集准确率结果图；
图5为本发明基于迁移学习和CBAM的冠脉病变分类方法中混淆矩阵结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于人工智能理念，在深度学习和迁移学习的基础上，针对医学冠脉CT图像的特点，进行深度学习分类模型的搭建。具体做法为：对经过预处理的冠脉CTA图像进行分割二值化处理后，将数据集划分为训练集、验证集和测试集，然后将所有数据集输入到搭建好的基于迁移学习和ResNet18的分类模型中，输出二分类的分类结果，并采用五种分类指标实现对模型的性能评估。实验结果也表明本模型具有较高的分类结果。
本发明基于迁移学习和CBAM的冠脉病变分类方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、构建冠脉CTA图像数据集；
步骤1具体按照以下步骤实施：
本发明所使用的内部数据集，均来源于杭州师范大学附属医院，共收集冠脉CTA图像624张，作为步骤3中特征提取模型的输入样本，为保护患者隐私，隐去图像中患者的基本信息，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。
步骤2、对步骤1中的冠脉CTA图像数据集进行图像去噪、图像增强、图像裁剪预处理；
步骤2具体按照以下步骤实施：
医学图像处理任务中，选用合适的去噪算法，是预处理中极为重要的一步。
步骤2.1、为消除CTA图像中的高斯噪声，本发明在高斯滤波器的基础上，应用自适应高斯滤波算法，去除图像中的高斯噪声，以保留图像更多的重要细节，便于步骤3的图像分割。
高斯滤波也是各像素点加权的过程，每个像素点都是由自身与其周围的像素点相护加权而产生的。对于均值为0，方差为σ2的二维高斯滤波函数f(x,y)表示为：
其中，x和y表示像素点的空间坐标，σ2表示方差；
通过高斯模板，实现将上述连续的二维高斯滤波离散化，得到(2v+1)×(2v+1)阶的权值矩阵，矩阵表示为：
其中，f(i,j)表示权值矩阵，i和j为像素中心点的空间坐标，v表示阶数；
自适应高斯滤波算法通过判断平滑区域和边缘区域，计算某一区域内方差D的大小，最终自适应地选取高斯模板参数σ2和高斯模板n的大小，高效地实现对图像的去噪；
其中方差D的计算公式为：
其中，Si,j表示中心点(i,j)附近的(2v+1)×(2v+1)大小的领域；
在实际计算过程中，根据区域内像素点的方差D的大小按如下方式分段确定参数σ2的值：
模板采用3×3和5×5两种类型，并规定：
表1模块大小的自适应选择
| σ2 | m4 | m3 | m2 | m1 |
| 模块大小 | 5×5 | 5×5 | 3×3 | 3×3 |
因此，在滤波过程中，根据每个区域内的方差D，使得像素点在移动的过程中，高斯模板参数σ2和高斯模板n不断被改变，实现自适应的高斯滤波去噪，得到去噪后的医学图像；
步骤2.2、对于去噪后的图像，图像增强算法是必不可少的一个步骤，通过采用直方图均衡化，提高原始CTA图像的对比度，更加突出图像目标区域和细节特征。直方图均衡化具体如下：
直方图均衡化的基本原理就是将图像直方图中的灰度值通过灰度转化函数后，均匀分布在适当的区间范围内，实现过程如下：
其中，pr(rk)表示归一化灰度级rk出现的概率，rk∈[0,1]，k表示灰度级，nk表示此灰度级下的像素数，N表示像素总数。
灰度转化函数为：
其中，sk为灰度转化函数，(L-1)为总灰度级数，pr(rj)表示归一化灰度级rj出现的概率，nj表示此灰度级下的像素数。
通过上式的计算，将原灰度级为rk的像素点转化为新的灰度级为sk的像素点；
步骤2.3、在对冠脉图像进行去噪和增强后，统一裁剪图像尺寸为256×256，并将裁剪后的图像作为步骤3中图像分割算法的输入。
步骤3、在步骤2的基础上，对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；
步骤3具体按照以下步骤实施：
便于步骤4中的冠脉狭窄等级分类，本发明采用区域生长和Otsu的联合分割算法，实现对所有冠脉CTA图像的二值化处理。
步骤3.1、首先根据Otsu分割算法，自动选取能够区分目标域和背景域的最优阈值，其中，目标域即冠脉区域，背景域即CTA图像中其他人体组织及一些噪点，获得经过Otsu算法分割好的图像；
步骤3.2、在经过步骤3.1处理后的图像后，采用区域生长算法对图像做进一步处理，首先选取种子点单独生长，然后根据灰度将冠脉区域从图像中单独地分割出来。
步骤3.1中最优阈值的确定过程如下：
首先，图像中灰度等级的个数用L表示，某一点的灰度值表示为i，Ni表示为灰度值为i时的像素点的个数，全部像素点的个数用N表示，公式如下：
N＝N0+N1+...+NL-1 (7)
那么灰度值为i时，像素点的概率pi表示为：
图像的灰度值uT表示为：
根据图像的灰度分布情况，假设T为区分目标和背景的阈值，c0代表目标域，c1代表背景域，则w0(T)和w1(T)分别表示阈值为T时，c0和c1发生的概率，即：
w1(T)＝1-w0(T) (11)
c0和c1的均值为：
其中，u0(T)和u1(T)分别表示目标域和背景域的均值。
σ2(T)表示直方图中阈值为T的类间方差，定义为：
σ2(T)＝w0(T)[u0(T)-uT]2+w1(T)[u1(T)-uT]2 (14)
那么当方差最大时，最优阈值的计算公式如下式所示：
其中，σ2(T*)表示最大类间方差，T*表示能够使类间方差最大的最优阈值。
步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型，便于接下来的冠脉等级分类；
步骤4具体按照以下步骤实施：
在对所有冠脉数据集进行了图像预处理以及分割二值化的准备工作后，接下来，搭建基于迁移学习和CBAM的冠脉狭窄分类器。此分类器以ResNet18网络为基模型，引入迁移学习；在此基础上，引入一种轻量级模块—CBAM，进一步实现对冠脉区域的自动定位。
步骤4.1、搭建基于ResNet18的预训练模块，使用公开数据集—ImageNet大型数据集作为预训练模块的输入，输出层利用Softmax激活函数，从而输出1000个类别的概率分布，并保留预训练后的权重，加载到下一步搭建的分类模型中；
步骤4.2、搭建基于ResNet18的深度卷积神经网络模型，模型共有18层，是由一个卷积层，四个ResBlock，以及一个全连接层构成，每个ResBlock中含有2个Basic Block，而每个Basic Block又含有两个卷积层，在不改变网络模型的结构上，在卷积层的第一层和最后一层分别加入通道注意力机制和空间注意力机制，即混合注意力机制—CBAM模块；
步骤4.3、将步骤4.1搭建的基于ResNet18的预训练模块与步骤4.2中搭建的基于CBAM的ResNet18网络模型联合，从而使模型在ImageNet数据集上学习的图像特征被很好地迁移到目标网络中，即引入CBAM的ResNet18网络模型中，完成对基于迁移学习和CBAM的ResNet18模型的搭建；优化器选用Sgd，激活函数选用Relu，损失函数选定为交叉熵损失函数，Batch_size设置为16，Learning rate设置为0.001，Epoch设置为100。
步骤4.2中残差F(x)的计算公式如下：
F(x)＝H(x)-x (16)
其中，H(x)是输入后学习到的对应的特征，x为模型的输入。
步骤5、将经过步骤3处理后的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到步骤4构建的基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。并以准确率、精确率、召回率、F1-score为指标，证明所提出的分类预测模型的优越性。
结合图5，步骤5具体按照以下步骤实施：
步骤5.1、首先定义狭窄率大于50％的图像标签定义为1，狭窄率小于50％的图像标签定义为0，然后将步骤3处理后的所有冠脉分割二值图进行划分，训练集划分为399张，验证集划分为99张，测试集划分为126张，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。并输入到所述步骤4搭建的模型中，输出二分类的概率分布，对分类结果可视化，以混淆矩阵的形式展示，如图X所示，主对角线表示分类预测正确的标签为0和1的数据集数量，副对角线表示分类预测错误的标签为0和1的数据集数量；
步骤5.2、模型最终输出结果，本模型的性能评估选用精确率(Precision)、准确率(Accuracy，Acc)、召回率(Recall)、特异性(Specificity)、F1-score(F1)作为分类结果的评价指标。
式中，Acc为模型正确分类样本数占总样本数的比例；Precision为模型预测的所有正常样本中，预测正确的比例；Recall为所有真实正常样本中，模型预测正确的正常样本比例；F1为精确率和召回率的调和平均数；TP为预测为正常，真值为正常的样本数量；FP为预测是正常，真值是异常的样本数量；FN为预测是异常，真值为正常的样本数量；TN为预测是异常，真值是异常的样本数量。
实施例1
本发明基于迁移学习和CBAM的冠脉病变分类方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、构建冠脉CTA图像数据集；
步骤2、对步骤1中的冠脉CTA图像数据集进行图像去噪、图像增强、图像裁剪预处理；
步骤3、在步骤2的基础上，对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；
步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型，便于接下来的冠脉等级分类；
步骤5、将经过步骤3处理后的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到步骤4构建的基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。并以准确率、精确率、召回率、F1-score为指标，证明所提出的分类预测模型的优越性。
实施例2
本发明基于迁移学习和CBAM的冠脉病变分类方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、构建冠脉CTA图像数据集；
步骤1具体按照以下步骤实施：
本发明所使用的内部数据集，均来源于杭州师范大学附属医院，共收集冠脉CTA图像624张，作为步骤3中特征提取模型的输入样本，为保护患者隐私，隐去图像中患者的基本信息，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。
步骤2、对步骤1中的冠脉CTA图像数据集进行图像去噪、图像增强、图像裁剪预处理；
步骤2具体按照以下步骤实施：
医学图像处理任务中，选用合适的去噪算法，是预处理中极为重要的一步。
步骤2.1、为消除CTA图像中的高斯噪声，本发明在高斯滤波器的基础上，应用自适应高斯滤波算法，去除图像中的高斯噪声，以保留图像更多的重要细节，便于步骤3的图像分割。
高斯滤波也是各像素点加权的过程，每个像素点都是由自身与其周围的像素点相护加权而产生的。对于均值为0，方差为σ2的二维高斯滤波函数f(x,y)表示为：
其中，x和y表示像素点的空间坐标，σ2表示方差；
通过高斯模板，实现将上述连续的二维高斯滤波离散化，得到(2v+1)×(2v+1)阶的权值矩阵，矩阵表示为：
其中，f(i,j)表示权值矩阵，i和j为像素中心点的空间坐标，v表示阶数；
自适应高斯滤波算法通过判断平滑区域和边缘区域，计算某一区域内方差D的大小，最终自适应地选取高斯模板参数σ2和高斯模板n的大小，高效地实现对图像的去噪；
其中方差D的计算公式为：
其中，Si,j表示中心点(i,j)附近的(2v+1)×(2v+1)大小的领域；
在实际计算过程中，根据区域内像素点的方差D的大小按如下方式分段确定参数σ2的值：
模板采用3×3和5×5两种类型，并规定：
表1模块大小的自适应选择
| σ2 | m4 | m3 | m2 | m1 |
| 模块大小 | 5×5 | 5×5 | 3×3 | 3×3 |
因此，在滤波过程中，根据每个区域内的方差D，使得像素点在移动的过程中，高斯模板参数σ2和高斯模板n不断被改变，实现自适应的高斯滤波去噪，得到去噪后的医学图像；
步骤2.2、对于去噪后的图像，图像增强算法是必不可少的一个步骤，通过采用直方图均衡化，提高原始CTA图像的对比度，更加突出图像目标区域和细节特征。直方图均衡化具体如下：
直方图均衡化的基本原理就是将图像直方图中的灰度值通过灰度转化函数后，均匀分布在适当的区间范围内，实现过程如下：
其中，pr(rk)表示归一化灰度级rk出现的概率，rk∈[0,1]，k表示灰度级，nk表示此灰度级下的像素数，N表示像素总数。
灰度转化函数为：
其中，sk为灰度转化函数，(L-1)为总灰度级数，pr(rj)表示归一化灰度级rj出现的概率，nj表示此灰度级下的像素数。
通过上式的计算，将原灰度级为rk的像素点转化为新的灰度级为sk的像素点；
步骤2.3、在对冠脉图像进行去噪和增强后，统一裁剪图像尺寸为256×256，并将裁剪后的图像作为步骤3中图像分割算法的输入。
步骤3、在步骤2的基础上，对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；
步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型，便于接下来的冠脉等级分类；
步骤5、将经过步骤3处理后的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到步骤4构建的基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。并以准确率、精确率、召回率、F1-score为指标，证明所提出的分类预测模型的优越性。
步骤5具体按照以下步骤实施：
步骤5.1、首先定义狭窄率大于50％的图像标签定义为1，狭窄率小于50％的图像标签定义为0，然后将步骤3处理后的所有冠脉分割二值图进行划分，训练集划分为399张，验证集划分为99张，测试集划分为126张，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。并输入到所述步骤4搭建的模型中，输出二分类的概率分布，对分类结果可视化，以混淆矩阵的形式展示，如图X所示，主对角线表示分类预测正确的标签为0和1的数据集数量，副对角线表示分类预测错误的标签为0和1的数据集数量；
步骤5.2、模型最终输出结果，本模型的性能评估选用精确率(Precision)、准确率(Accuracy，Acc)、召回率(Recall)、特异性(Specificity)、F1-score(F1)作为分类结果的评价指标。
式中，Acc为模型正确分类样本数占总样本数的比例；Precision为模型预测的所有正常样本中，预测正确的比例；Recall为所有真实正常样本中，模型预测正确的正常样本比例；F1为精确率和召回率的调和平均数；TP为预测为正常，真值为正常的样本数量；FP为预测是正常，真值是异常的样本数量；FN为预测是异常，真值为正常的样本数量；TN为预测是异常，真值是异常的样本数量。
实施例3
本次实验采用杭州师范大学附属医院内部数据集，入组的CTA图像共624张，按照实验要求划分为狭窄率大于50％和小于50％两种类别，并分别手动定义标签。将399张训练集、99张验证集以及126张测试集全部输入到分类器中，测试本发明中分类器的优越性能。
实验采用的计算机环境是Windows 10系统，Intel(R)Core(TM)i5-7500CPU处理器，Python版本为3.6.0，numpy版本为1.19.5，pytorch版本为1.4.0，torchvision版本为0.5.0。
本发明分别进行三个实施例，首先将本发明所提方法进行仿真实验，同时将所选方法中的混合注意力机制(CBAM)分别替换为空间注意力机制(Spatial AttentionModule,SAM)和通道注意力机制(Channel Attention Module,CAM)，以此证明所提方法的优越性能。验证集和准确率结果图如图2(a)～图2(b)、图3(a)～图3(b)和图4(a)～图4(b)所示，各评价指标汇总见表2。
表2不同分类模型评价指标数值
实验结果表明，本发明所提方法的准确率高达98.99％，不同的注意力机制模块的引入，对基于迁移学习的ResNet18模型起到的作用不同，而本文引入的CBAM模块，呈现出最好的分类效果，准确率、精确度、召回率和F1值均取得了最好的结果，验证了本文所提方法的有效性，也证明了所选的注意力机制模块的可行性与合理性。
Claims (8)
1.基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，具体按照以下步骤实施：
步骤1、构建冠脉CTA图像数据集；
步骤2、对步骤1的数据集进行图像去噪、图像增强、图像裁剪预处理；
步骤3、对所有预处理过的CTA图像采用区域生长和Otsu的联合分割算法进行分割二值化操作，获取冠状动脉二值图；
步骤4、构建基于迁移学习和CBAM的ResNet18冠脉分类模型；
步骤5、将步骤3的所有冠状动脉二值图划分为训练集、验证集和测试集，并将所有冠状动脉二值图作为输入，加载到基于迁移学习和CBAM的ResNet18冠脉分类模型中，输出二分类结果。
2.根据权利要求1所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤1具体按照以下步骤实施：
共收集冠脉CTA图像624张，作为步骤3中特征提取模型的输入样本，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0。
3.根据权利要求2所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、对于均值为0，方差为σ2的二维高斯滤波函数f(x,y)表示为：
其中，x和y表示像素点的空间坐标，σ2表示方差；
通过高斯模板，实现将上述连续的二维高斯滤波离散化，得到(2v+1)×(2v+1)阶的权值矩阵，矩阵表示为：
其中，f(i,j)表示权值矩阵，i和j为像素中心点的空间坐标，v表示阶数；
自适应高斯滤波算法通过判断平滑区域和边缘区域，计算某一区域内方差D的大小，最终自适应地选取高斯模板参数σ2和高斯模板n的大小，高效地实现对图像的去噪；
其中方差D的计算公式为：
其中，Si,j表示中心点(i,j)附近的(2v+1)×(2v+1)大小的领域；
在实际计算过程中，根据区域内像素点的方差D的大小按如下方式分段确定参数σ2的值：
模板采用3×3和5×5两种类型，在滤波过程中，根据每个区域内的方差D，使得像素点在移动的过程中，高斯模板参数σ2和高斯模板n不断被改变，实现自适应的高斯滤波去噪，得到去噪后的医学图像；
步骤2.2、对于去噪后的图像，通过采用直方图均衡化，直方图均衡化具体如下：
其中，pr(rk)表示归一化灰度级rk出现的概率，rk∈[0,1]，k表示灰度级，nk表示此灰度级下的像素数，N表示像素总数；
灰度转化函数为：
其中，sk为灰度转化函数，(L-1)为总灰度级数，pr(rj)表示归一化灰度级rj出现的概率，nj表示此灰度级下的像素数；
通过上式的计算，将原灰度级为rk的像素点转化为新的灰度级为sk的像素点；
步骤2.3、在对冠脉图像进行去噪和增强后，统一裁剪图像尺寸为256×256，并将裁剪后的图像作为步骤3中图像分割算法的输入。
4.根据权利要求3所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、首先根据Otsu分割算法，自动选取能够区分目标域和背景域的最优阈值，其中，目标域即冠脉区域，背景域即CTA图像中其他人体组织及一些噪点，获得经过Otsu算法分割好的图像；
步骤3.2、在经过步骤3.1处理后的图像后，采用区域生长算法对图像做进一步处理，首先选取种子点单独生长，然后根据灰度将冠脉区域从图像中单独地分割出来。
5.根据权利要求4所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤3.1中最优阈值的确定过程如下：
首先，图像中灰度等级的个数用L表示，某一点的灰度值表示为i，Ni表示为灰度值为i时的像素点的个数，全部像素点的个数用N表示，公式如下：
N＝N0+N1+...+NL-1 (7)
那么灰度值为i时，像素点的概率pi表示为：
图像的灰度值uT表示为：
根据图像的灰度分布情况，假设T为区分目标和背景的阈值，c0代表目标域，c1代表背景域，则w0(T)和w1(T)分别表示阈值为T时，c0和c1发生的概率，即：
w1(T)＝1-w0(T) (11)
c0和c1的均值为：
其中，u0(T)和u1(T)分别表示目标域和背景域的均值；
σ2(T)表示直方图中阈值为T的类间方差，定义为：
σ2(T)＝w0(T)[u0(T)-uT]2+w1(T)[u1(T)-uT]2 (14)
那么当方差最大时，最优阈值的计算公式如下式所示：
其中，σ2(T*)表示最大类间方差，T*表示能够使类间方差最大的最优阈值。
6.根据权利要求5所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1、搭建基于ResNet18的预训练模块，使用公开数据集—ImageNet大型数据集作为预训练模块的输入，输出层利用Softmax激活函数，从而输出1000个类别的概率分布，并保留预训练后的权重，加载到下一步搭建的分类模型中；
步骤4.2、搭建基于ResNet18的深度卷积神经网络模型，模型共有18层，是由一个卷积层，四个ResBlock，以及一个全连接层构成，每个ResBlock中含有2个Basic Block，而每个Basic Block又含有两个卷积层，在不改变网络模型的结构上，在卷积层的第一层和最后一层分别加入通道注意力机制和空间注意力机制，即混合注意力机制—CBAM模块；
步骤4.3、将步骤4.1搭建的基于ResNet18的预训练模块与步骤4.2中搭建的基于CBAM的ResNet18网络模型联合，从而使模型在ImageNet数据集上学习的图像特征被很好地迁移到目标网络中，即引入CBAM的ResNet18网络模型中，完成对基于迁移学习和CBAM的ResNet18模型的搭建；优化器选用Sgd，激活函数选用Relu，损失函数选定为交叉熵损失函数，Batch_size设置为16，Learning rate设置为0.001，Epoch设置为100。
7.根据权利要求6所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤4.2中残差F(x)的计算公式如下：
F(x)＝H(x)-x (16)
其中，H(x)是输入后学习到的对应的特征，x为模型的输入。
8.根据权利要求7所述的基于迁移学习和CBAM的冠脉病变分类方法，其特征在于，所述步骤5具体按照以下步骤实施：
步骤5.1、首先定义狭窄率大于50％的图像标签定义为1，狭窄率小于50％的图像标签定义为0，然后将步骤3处理后的所有冠脉分割二值图进行划分，训练集划分为399张，验证集划分为99张，测试集划分为126张，并以狭窄率50％为界线，进行标签类别标注，即狭窄率小于50％的标记为正常，标签定义为1，狭窄率大于50％的标记为异常，标签定义为0；并输入到所述步骤4搭建的模型中，输出二分类的概率分布，对分类结果可视化，以混淆矩阵的形式展示，如图X所示，主对角线表示分类预测正确的标签为0和1的数据集数量，副对角线表示分类预测错误的标签为0和1的数据集数量；
步骤5.2、模型最终输出结果，本模型的性能评估选用精确率(Precision)、准确率(Accuracy，Acc)、召回率(Recall)、特异性(Specificity)、F1-score(F1)作为分类结果的评价指标；
式中，Acc为模型正确分类样本数占总样本数的比例；Precision为模型预测的所有正常样本中，预测正确的比例；Recall为所有真实正常样本中，模型预测正确的正常样本比例；F1为精确率和召回率的调和平均数；TP为预测为正常，真值为正常的样本数量；FP为预测是正常，真值是异常的样本数量；FN为预测是异常，真值为正常的样本数量；TN为预测是异常，真值是异常的样本数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788789.0A CN116778250A (zh) | 2023-06-30 | 2023-06-30 | 基于迁移学习和cbam的冠脉病变分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788789.0A CN116778250A (zh) | 2023-06-30 | 2023-06-30 | 基于迁移学习和cbam的冠脉病变分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778250A true CN116778250A (zh) | 2023-09-19 |
Family
ID=88007834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310788789.0A Pending CN116778250A (zh) | 2023-06-30 | 2023-06-30 | 基于迁移学习和cbam的冠脉病变分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778250A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118334356A (zh) * | 2024-06-14 | 2024-07-12 | 华中科技大学同济医学院附属同济医院 | 基于迁移学习的mri成像中脂肪和肌肉区域自动分割方法 |
-
2023
- 2023-06-30 CN CN202310788789.0A patent/CN116778250A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118334356A (zh) * | 2024-06-14 | 2024-07-12 | 华中科技大学同济医学院附属同济医院 | 基于迁移学习的mri成像中脂肪和肌肉区域自动分割方法 |
| CN118334356B (zh) * | 2024-06-14 | 2024-08-20 | 华中科技大学同济医学院附属同济医院 | 基于迁移学习的mri成像中脂肪和肌肉区域自动分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| Soudani et al. | An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction | |
| Deng et al. | A retinal blood vessel segmentation based on improved D-MNet and pulse-coupled neural network | |
| Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
| CN107909566A (zh) | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| Saranyaraj et al. | A deep convolutional neural network for the early detection of breast carcinoma with respect to hyper-parameter tuning | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
| CN113408603B (zh) | 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法 | |
| CN110459303B (zh) | 基于深度迁移的医疗影像异常检测装置 | |
| CN110444294B (zh) | 一种基于感知神经网络的前列腺癌辅助分析方法及设备 | |
| CN113129310B (zh) | 一种基于注意力路由的医学图像分割系统 | |
| CN113421228A (zh) | 一种基于参数迁移的甲状腺结节识别模型训练方法及系统 | |
| Wisaeng | U-Net++ DSM: improved U-Net++ for brain tumor segmentation with deep supervision mechanism | |
| Alam et al. | Benchmarking deep learning frameworks for automated diagnosis of ocular toxoplasmosis: A comprehensive approach to classification and segmentation | |
| CN116778250A (zh) | 基于迁移学习和cbam的冠脉病变分类方法 | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| Wang et al. | RFPNet: Reorganizing feature pyramid networks for medical image segmentation | |
| Oladimeji et al. | Brain tumor classification using ResNet50-convolutional block attention module | |
| Wang et al. | E-DU: Deep neural network for multimodal medical image segmentation based on semantic gap compensation | |
| Azizy et al. | Medical image-based prediction of brain tumor by using convolutional neural network optimized by Cuckoo search algorithm | |
| Priyanka et al. | Optimizing Breast Cancer Detection: Machine Learning for Pectoral Muscle Segmentation in Mammograms | |
| Kumar et al. | Prostate cancer classification with MRI using Taylor-bird squirrel optimization based deep recurrent neural network | |
| Wu et al. | Deep learning to estimate the physical proportion of infected region of lung for covid-19 pneumonia with ct image set |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |