CN115170885A - 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统 - Google Patents

基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统 Download PDF

Info

Publication number
CN115170885A
CN115170885A CN202210861479.2A CN202210861479A CN115170885A CN 115170885 A CN115170885 A CN 115170885A CN 202210861479 A CN202210861479 A CN 202210861479A CN 115170885 A CN115170885 A CN 115170885A
Authority
CN
China
Prior art keywords
layer
attention mechanism
brain tumor
channel attention
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210861479.2A
Other languages
English (en)
Inventor
华昕宇
祁云嵩
姜元昊
杨志祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202210861479.2A priority Critical patent/CN115170885A/zh
Publication of CN115170885A publication Critical patent/CN115170885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征金字塔网络结构和高效通道注意力机制的脑肿瘤分类检测方法及系统，包括以下步骤：使用平滑处理方法实现脑肿瘤图像质量的增强，减少噪声的干扰和失真；改进通道注意力机制，使用特征金字塔网络结构替代平均池化和最大池化并与残差块组成第一阶段网络模型；优化神经网络结构，使用高效通道注意力模块替换SE模块并添加全局平均池化层和具有PFLU激活函数的全连接层序列形成第二阶段网络模型；使用K折交叉验证训练模型并通过F1分数评价方法进行最优模型的选择。本发明通过优化通道注意力机制显著的提高脑肿瘤分类检测的准确率，为医学专家准确判断脑肿瘤种类提供了新的参考。

Description

基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检 测方法及系统
技术领域
本发明涉及计算机视觉图像处理技术领域，尤其涉及一种基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统。
背景技术
脑肿瘤是当今世界最致命的癌症之一。据数据显示，脑肿瘤患者的5年平均生存率几乎为36%，10年平均存活率接近31%，存活率随年龄增长而下降。15岁以下人群的5年生存率超过74%，15 - 39岁人群的5年生存率约为71%。40岁及以上人群的5年生存率约为21%。由此可见，脑肿瘤存活率差异很大，这取决于多种因素，包括脑肿瘤的类型和诊断结果，因此能够更加精确地诊断出脑肿瘤的类型是为患者提供更好的治疗的必要前提。
考虑到患者疾病的演变，脑肿瘤的诊断是一项具有挑战性的任务，它的分类和检测在很大程度上依赖于放射科医生的经验，诊断大量数据可能非常耗时，甚至可能会出现较大的失误，如何提高诊断的真实性和效率成了亟待解决的问题。现如今对于脑肿瘤的诊断需要借助到计算机处理技术，采用视觉图像处理技术进行分类检测，其中现有技术专利CN113903022A公开了一种基于特征金字塔与注意力融合的文本检测方法及系统，首先获取待检测图像；然后将待检测图像输入文本检测模型，得到图像中的文本位置；其中，文本检测模型包括特征提取网络和特征融合网络；所述特征提取网络的骨干网为多层依次连接的不同结构的卷积网络，且第二层卷积网络的输出上引入了位置注意力网络；所述特征融合网络用于融合卷积网络和位置注意力网络的输出特征，得到最终特征。但是脑肿瘤的检测与普通的文本检测方法不同，脑肿瘤需要使用神经网络，使用特征金字塔网络结构与改进的注意力机制模块来构成神经网络模型，来进行分类选择。因此需要一种方法来实现脑肿瘤的分类检测。
发明内容
为解决上述问题，本发明提供一种基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，包括以下步骤：
首先使用平滑处理方法实现脑肿瘤图像质量的增强，减少噪声的干扰和失真；再进行改进通道注意力机制，使用特征金字塔网络结构替代平均池化和最大池化并与残差块组成第一阶段神经网络模型；之后进行优化神经网络结构，使用高效通道注意力模块替换SE模块并添加全局平均池化层和具有PFLU激活函数的全连接层序列形成第二阶段神经网络模型；最后使用K折交叉验证训练模型并通过F1分数评价方法进行最优模型的选择。
进一步改进在于，包括以下步骤：
步骤1，首先进行图像预处理：采用高斯滤波对原图像进行平滑处理，以实现抑制功能像的噪声、提高信噪比、减少各图像噪声干扰和失真的目的；采用裁剪、翻转的数字图像变换方法，对所处理的图像进行空间转换，以使得感受野能更好的获取特征；
步骤2，构建改进的注意力机制（CBAM）模块，采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，所采用的不同大小的卷积核被用于获取不同尺寸感受野的数字图像特征；
步骤3，融合步骤2中改进的注意力机制模块和残差块形成第一阶段的神经网络模型，通过模型训练来提取脑肿瘤影像的数据特征，采用超列方法将提取的特征像素位置往后的所有对应位置的卷积网络单元激活值组成一列向量进行特征融合得到的组合特征；
步骤4，使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换EfficientNet神经网络结构的SE通道注意力模块；优化模型的权重层，添加全局平均池化层、2个具有PFLU激活函数的全连接层和丢弃层序列形成第二阶段的神经网络模型；
步骤5，将步骤3中得到的组合特征作为步骤4神经网络模型的输入，通过K折交叉验证进行模型的训练和验证，使用F1分数评价方法进行最优模型权重参数的选择。
进一步改进在于，所述步骤2中，根据以下步骤构建改进的注意力机制模块：
步骤2.1：空间注意力模块是将通道注意力特征图在空间维度上进行压缩，得到一个一维矢量后再进行平均值池化或者最大值池化操作；平均池化和最大池化可用来聚合特征映射的空间信息，其计算公式如下所述：
Figure 738522DEST_PATH_IMAGE002
，
其中
Figure 983558DEST_PATH_IMAGE004
是
Figure 497716DEST_PATH_IMAGE006
激活函数，
Figure 486401DEST_PATH_IMAGE008
是两层神经网络，
Figure 769615DEST_PATH_IMAGE010
是输入，
Figure 698736DEST_PATH_IMAGE012
是平均池化，
Figure 434611DEST_PATH_IMAGE014
是最大池化；
步骤2.2：采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，通过不同大小的卷积核获取到不同尺寸感受野的特征，卷积核越大，提取的全局特征越多，卷积核越小，提取的局部特征越多，特征金字塔空间注意力模块计算公式如下述所示：
Figure 23724DEST_PATH_IMAGE016
，
其中
Figure 20499DEST_PATH_IMAGE018
是
Figure 482704DEST_PATH_IMAGE020
激活函数，
Figure 66395DEST_PATH_IMAGE022
是
Figure 272248DEST_PATH_IMAGE024
卷积神经网络，F是输入。
进一步改进在于，所述步骤S3中，根据以下方法使用超列方法进行特征组合：
由于特征会逐渐弱化，导致不同阶段的特征图呈现出较大的特征差异，采用超列技术将各特征图关联起来，针对输入的某一像素点i，将特征提取过程中此像素在各特征图中对应的位置串联起来，组合成一个特征向量f，该特征向量为输入的某一像素点位置i对应的超列特征，其形成公式如下：
Figure 389109DEST_PATH_IMAGE026
，
其中：
Figure 287794DEST_PATH_IMAGE028
表示对k个特征图进行累加运算；
Figure 857316DEST_PATH_IMAGE030
为基于像素点和特征图位置的因子；
Figure 460336DEST_PATH_IMAGE032
表示第k个特征图。
进一步改进在于，所述步骤S4中，根据以下步骤使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换SE通道注意力模块：
步骤4.1：不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制由两部分组成，第一部分是不降低通道维数来进行跨通道信息交互，其计算公式如下：
Figure 667588DEST_PATH_IMAGE034
，
其中
Figure 471596DEST_PATH_IMAGE036
是
Figure 528414DEST_PATH_IMAGE038
激活函数，
Figure 200704DEST_PATH_IMAGE040
是权重，
Figure 229840DEST_PATH_IMAGE042
是权重
Figure 96427DEST_PATH_IMAGE044
的k个相邻频道的集合；该公式避免了不同组的完全独立，还可以让所有的通道共享权重信息；
步骤4.2：高效通道注意力机制的第二部分内容是使得该模块可以通过自适应选择卷积核大小为K的一维卷积来实现通道之间的信息交互，其实现公式如下所述：
Figure 171699DEST_PATH_IMAGE046
，
其中
Figure 273778DEST_PATH_IMAGE048
是
Figure 219738DEST_PATH_IMAGE050
激活函数，C1D代表一维卷积，K为卷积核大小。由于ECA模块只涉及K个参数信息并且当k=3时，可以实现与SE-Var3同样的效果却有更低的模型复杂度；因此，使用ECA替代原本的SE提高了模型效率。
进一步改进在于，所述步骤S4中优化形成的第二阶段的神经网络模型包括全局平均池化层C1，全连接层序列D2，全连接层序列D3，全连接层序列D4，全连接层序列D5和输出层；
全局平均池化层C1，结构参数2048，替代全连接层并降低特征图维数，减少参数数量、计算量，防止过拟合；
全连接层序列D2，结构参数由2048降低到1000，连接C1层特征，包含归一化层和丢弃层，设置丢弃层丢弃率为0.3；
全连接层序列D3，结构参数由1000降低到512，连接D2层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3；
全连接层序列D4，结构参数由512降低到128，连接D3层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3；
全连接层序列D5，结构参数由128降低到4，连接D4层神经元；
输出层，设置4个神经元，与全连接层D5连接，对结果进行四分类。
一种基于特征金字塔网络结构和高效通道注意力机制的脑肿瘤分类检测系统，包括终端设备，所述终端设备采用互联网终端设备，包括处理器和计算机可读存储介质，所述处理器用于实现各指令；所述计算机可读存储介质用于存储多条指令。
进一步改进在于，所述计算机可读存储介质，用于存储多条指令，所述指令适于由终端设备的处理器加载并执行如前所述基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法。
本发明的有益效果：本发明是一种数据特征全面，分类结果准确的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统。
本发明通过融合特征金字塔网络结构，采用不同大小的卷积核获取不同尺寸感受野的数字图像特征，使得全局特征和局部特征在超列方法的组合下更真实的体现脑肿瘤影像之间的差异。
本发明通过优化通道注意力机制和改进EfficientNet神经网络，有效地对脑肿瘤影像进行分类检测，进一步提高了脑肿瘤影像分类检测数据的真实性和准确性。同时采用F1分数评价方法进行最优模型权重参数的选择，进一步优化了模型，提高了资源利用率，降低风险，为医学专家准确判断脑肿瘤种类提供了新的参考。
本发明首先对图像预处理，可以更好的获取特征；再进行改进注意力机制模块与残差块形成第一阶段神经网络模型，再改进EfficientNet神经网络，形成第二阶段的神经网络模型，适应脑肿瘤影响分类检测。
附图说明
图1为本发明实施例的流程图。
图2为实施例提供的空间注意力机制结构图。
图3 为实施例仿真测试的K折混淆矩阵图。
图4 为实施例仿真测试的ACC曲线图。
图5为实施例仿真测试的Loss曲线图。
图6为实施例仿真测试的分类检测的混淆矩阵图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
如图1所示，本实施例提供一种基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，步骤如下：
S1：图像预处理：采用高斯滤波对原图像进行平滑处理，以实现抑制功能像的噪声，提高信噪比，减少各图像噪声干扰和失真；采用裁剪、翻转等方法对变换的图像进行空间转换，以使得感受野能更好的获取特征。
S2：构建改进的注意力机制（CBAM）模块，采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，所采用的不同大小的卷积核被用于获取不同尺寸感受野的数字图像特征。
改进的注意力机制模块如下：
S2.1：空间注意力模块是将通道注意力特征图在空间维度上进行压缩，得到一个一维矢量后再进行平均值池化或者最大值池化操作；平均池化和最大池化可用来聚合特征映射的空间信息，其计算公式如下所述：
Figure 211221DEST_PATH_IMAGE052
其中
Figure 977052DEST_PATH_IMAGE054
是
Figure 600931DEST_PATH_IMAGE056
激活函数，
Figure 401397DEST_PATH_IMAGE058
是两层神经网络，
Figure 108322DEST_PATH_IMAGE060
是输入，
Figure 236815DEST_PATH_IMAGE062
是平均池化，
Figure 477434DEST_PATH_IMAGE064
是最大池化；
S2.2：如图2所示，为空间注意力机制结构图：采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，通过不同大小的卷积核获取到不同尺寸感受野的特征，卷积核越大，提取的全局特征越多，卷积核越小，提取的局部特征越多，特征金字塔空间注意力模块计算公式如下述所示：
Figure 356573DEST_PATH_IMAGE066
其中
Figure 968820DEST_PATH_IMAGE068
是
Figure 850189DEST_PATH_IMAGE070
激活函数，
Figure 471663DEST_PATH_IMAGE072
是
Figure 856508DEST_PATH_IMAGE074
卷积神经网络，F是输入。
S3：融合S2中改进的注意力模块和残差块形成第一阶段的神经网络模型，通过模型训练来提取脑肿瘤影像的数据特征，采用超列方法将提取的特征像素位置往后的所有对应位置的卷积网络单元激活值组成一列向量进行特征融合；
根据以下方法使用超列方法进行特征组合：
由于特征会逐渐弱化，导致不同阶段的特征图呈现出较大的特征差异，采用超列技术将各特征图关联起来，针对输入的某一像素点i，将特征提取过程中此像素在各特征图中对应的位置串联起来，组合成一个特征向量f，这个特征向量就是输入的某一像素点位置i对应的超列特征，其形成公式如下：
Figure 374077DEST_PATH_IMAGE076
；
其中：
Figure 103261DEST_PATH_IMAGE078
表示对k个特征图进行累加运算；
Figure 997267DEST_PATH_IMAGE080
为基于像素点和特征图位置的因子；
Figure 502198DEST_PATH_IMAGE082
表示第k个特征图；
S4：使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换EfficientNet神经网络结构的SE通道注意力模块。优化模型的权重层，添加全局平均池化层、2个具有PFLU激活函数的全连接层和丢弃层序列形成第二阶段的神经网络模型；
根据以下步骤使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换SE通道注意力模块：
S4.1：不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制由两部分组成，第一部分是不降低通道维数来进行跨通道信息交互，其计算公式如下：
Figure 190668DEST_PATH_IMAGE084
其中
Figure 171263DEST_PATH_IMAGE086
是
Figure 744326DEST_PATH_IMAGE088
激活函数，
Figure 464283DEST_PATH_IMAGE090
是权重，
Figure 854813DEST_PATH_IMAGE092
是权重
Figure 932490DEST_PATH_IMAGE094
的k个相邻频道的集合；该公式避免了不同组的完全独立，还可以让所有的通道共享权重信息。
S4.2：高效通道注意力机制的第二部分内容是使得该模块可以通过自适应选择卷积核大小为K的一维卷积来实现通道之间的信息交互，其实现公式如下所述：
Figure 699458DEST_PATH_IMAGE096
，
其中
Figure 178981DEST_PATH_IMAGE098
是
Figure 474833DEST_PATH_IMAGE100
激活函数，C1D代表一维卷积，K为卷积核大小。由于ECA模块只涉及K个参数信息并且当k=3时，可以实现与SE-Var3同样的效果却有更低的模型复杂度。因此，使用ECA替代原本的SE提高了模型效率。
同时，本步骤中，优化形成的第二阶段的神经网络模型包括全局平均池化层C1，全连接层序列D2，全连接层序列D3，全连接层序列D4，全连接层序列D5和输出层：
全局平均池化层C1，结构参数2048，替代全连接层并降低特征图维数，减少参数数量、计算量，防止过拟合。
全连接层序列D2，结构参数由2048降低到1000，连接C1层特征，包含归一化层和丢弃层，设置丢弃层丢弃率为0.3。
全连接层序列D3，结构参数由1000降低到512，连接D2层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3。
全连接层序列D4，结构参数由512降低到128，连接D3层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3。
全连接层序列D5，结构参数由128降低到4，连接D4层神经元。
输出层，设置4个神经元，与全连接层D5连接，对结果进行四分类。
S5：将步骤S3中得到的组合特征作为步骤S4神经网络模型的输入，通过K折交叉验证进行模型的训练和验证，使用F1分数评价方法进行最优模型权重参数的选择；
一种基于特征金字塔网络结构和高效通道注意力机制的脑肿瘤分类检测系统，包括终端设备，所述终端设备采用互联网终端设备，包括处理器和计算机可读存储介质，所述处理器用于实现各指令；所述计算机可读存储介质用于存储多条指令，所述指令适于由终端设备的处理器加载并执行一种基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法。
本实施例利用平滑处理方法实现脑肿瘤图像质量的增强，减少噪声的干扰和失真；对通道注意力机制进行改进，使用特征金字塔网络结构替代平均池化和最大池化，并与残差块形成第一阶段神经网络模型；优化EfficientNet神经网络结构，使用高效通道注意力模块替换SE模块，权重层添加全局平均池化层和具有PFLU激活函数的全连接层序列形成第二阶段神经网络模型；使用K折交叉验证进行模型训练并通过F1分数评价方法进行最优模型参数的选择。本发明提高了脑肿瘤分类检测的准确率，降低医疗诊断的风险，为医学专家准确判断脑肿瘤种类提供了新的参考。
仿真测试
为了衡量本实施例提出的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法的有效性，本文在一种混合脑肿瘤数据集上进行训练。混合脑肿瘤数据集由Figshare数据集和kaggle的Brain Tumor Classification(KBT)数据集组成。混合脑肿瘤数据集中包含1321张神经胶质瘤图像，1339张脑膜瘤图像，1595张正常人的图像，1475张脑垂体瘤的图像。所有的仿真实验都是在安装有AMD Ryzen 7 5800H with RadeonGraphics@3.20 GHz的处理器的相同设备上进行的。仿真实验的运行环境还包括大小为16G的运行内存及型号为NVIDIA GeForce RTX 3050 Ti Laptop GPU的显卡。算法运行的软件平台为PyCharm。
本实施例将会使用相同的数据在训练和测试时对该模型进行10折交叉验证；同时通过混淆矩阵计算了分离类的精度(accuarcy)、召回率(recall)、精确性(precision)和F1 分数( F1 score)。所有评估指标的范围从0到100%，其中指标值越高，模型的性能越好。
Figure 39807DEST_PATH_IMAGE102
Figure 846351DEST_PATH_IMAGE104
Figure 180380DEST_PATH_IMAGE106
Figure 647134DEST_PATH_IMAGE108
其中TP表示真实值是正确，模型认为是正确的数量，FN表示真实值是正确，模型认为是错误的数量，FP表示真实值是错误，模型认为是正确的数量，TN表示真实值是错误，模型认为是错误的数量，P代表精确率(Precision)，R代表召回率(Recall)。
在步骤S4中，第一阶段由通道注意力模块、融合特征金字塔的空间注意力模块和残差块组成的模型提取特征并通过超列技术组合后作为第二阶段模型的输入，第二阶段模型建立在EfficientNet-B4基础上，将B4的SE块替换成ECA块，同时更改权重层及分类层，以此降低训练参数数量，提高训练速度，抑制过拟合。同时，本实验还采用其他网络模型在该数据样本下与改进的模型进行了对比实验。表1展示了本实施例提议的模型的实验结果以及采用其他网络模型在该数据样本下的实验结果。
表1 改进的模型和其他网络模型在该数据样本下的实验结果
Figure 824037DEST_PATH_IMAGE110
由表格中数据可知，在实验采取的单个模型中，性能最好的是Resnet50，其F1分数为 99.1%。其次是本实验提议的模型，其F1分数为 97.2%。与这些单模型相比，本研究提出的模型的精度更高，其F1分数为99.3%，准确率为99%。该评价结果对应的K折混淆矩阵如图3所示。
其对应的ACC曲线和Loss曲线如图4、5所示,从图中可以看出模型的训练效果很好，分类结果准确率高。
在步骤S5中，本实施例还采用了另一数据样本，数据由脑肿瘤MRI图像共计1311张组成，根据步骤F1分数评价方法得出的最好的模型参数来进行分类检测，最终的结果显示，在该数据样本下上，对脑肿瘤分类检测的准确率为99.24%，分类检测结果表明本实验采用的模型在该数据样本上的分类和检测效果显著。分类检测的混淆矩阵如图6所示。
此外，考虑到所用数据集的差异和深度学习方法参数方面的不同导致实验结果的差异很大，本实施例将提出的模型和相关文献中的模型和结论进行了对比，对比结果显示该模型的分类平均准确率比相关方法提高了约0.5%~2%，对比结果如表2所示。
表2 对比结果示例
Figure 542594DEST_PATH_IMAGE112
综上所述，在本实施例所使用的两个数据集上，基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法在脑肿瘤分类方面的结果很优秀，模型训练阶段多分类的最优准确率为99.3%，分类检测阶段的准确率为99.24%，根据实验结果可知，四种类别分类准确率都超过了0.99，也证明了本实验提议的方法分类效果显著。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。

Claims (8)

1.一种基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，包括以下步骤：
首先使用平滑处理方法实现脑肿瘤图像质量的增强，减少噪声的干扰和失真；再进行改进通道注意力机制，使用特征金字塔网络结构替代平均池化和最大池化并与残差块组成第一阶段神经网络模型；之后进行优化神经网络结构，使用高效通道注意力模块替换SE模块并添加全局平均池化层和具有PFLU激活函数的全连接层序列形成第二阶段神经网络模型；最后使用K折交叉验证训练模型并通过F1分数评价方法进行最优模型的选择。
2.根据权利要求1所述的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，包括以下步骤：
步骤1，首先进行图像预处理：采用高斯滤波对原图像进行平滑处理，以实现抑制功能像的噪声、提高信噪比、减少各图像噪声干扰和失真的目的；采用裁剪、翻转的数字图像变换方法，对所处理的图像进行空间转换，以使得感受野能更好的获取特征；
步骤2，构建改进的注意力机制（CBAM）模块，采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，所采用的不同大小的卷积核被用于获取不同尺寸感受野的数字图像特征；
步骤3，融合步骤2中改进的注意力机制模块和残差块形成第一阶段的神经网络模型，通过模型训练来提取脑肿瘤影像的数据特征，采用超列方法将提取的特征像素位置往后的所有对应位置的卷积网络单元激活值组成一列向量进行特征融合得到的组合特征；
步骤4，使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换EfficientNet神经网络结构的SE通道注意力模块；优化模型的权重层，添加全局平均池化层、2个具有PFLU激活函数的全连接层和丢弃层序列形成第二阶段的神经网络模型；
步骤5，将步骤3中得到的组合特征作为步骤4神经网络模型的输入，通过K折交叉验证进行模型的训练和验证，使用F1分数评价方法进行最优模型权重参数的选择。
3.根据权利要求2所述的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，所述步骤2中，根据以下步骤构建改进的注意力机制模块：
步骤2.1：空间注意力模块是将通道注意力特征图在空间维度上进行压缩，得到一个一维矢量后再进行平均值池化或者最大值池化操作；平均池化和最大池化可用来聚合特征映射的空间信息，其计算公式如下所述：
Figure 236685DEST_PATH_IMAGE002
，
其中
Figure 15285DEST_PATH_IMAGE004
是
Figure 413905DEST_PATH_IMAGE006
激活函数，
Figure 60787DEST_PATH_IMAGE008
是两层神经网络，
Figure 369409DEST_PATH_IMAGE010
是输入，
Figure 443544DEST_PATH_IMAGE012
是平均池化，
Figure 204826DEST_PATH_IMAGE014
是最大池化；
步骤2.2：采用特征金字塔结构的卷积层替换空间注意力模块的最大池化层和平均池化层，通过不同大小的卷积核获取到不同尺寸感受野的特征，卷积核越大，提取的全局特征越多，卷积核越小，提取的局部特征越多，特征金字塔空间注意力模块计算公式如下述所示：
Figure 891285DEST_PATH_IMAGE016
，
其中
Figure 54413DEST_PATH_IMAGE018
是
Figure 33870DEST_PATH_IMAGE020
激活函数，
Figure 672662DEST_PATH_IMAGE022
是
Figure 536713DEST_PATH_IMAGE024
卷积神经网络，F是输入。
4.根据权利要求2所述的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，所述步骤S3中，根据以下方法使用超列方法进行特征组合：
由于特征会逐渐弱化，导致不同阶段的特征图呈现出较大的特征差异，采用超列技术将各特征图关联起来，针对输入的某一像素点i，将特征提取过程中此像素在各特征图中对应的位置串联起来，组合成一个特征向量f，该特征向量为输入的某一像素点位置i对应的超列特征，其形成公式如下：
Figure 678981DEST_PATH_IMAGE026
，
其中：
Figure 970285DEST_PATH_IMAGE028
表示对k个特征图进行累加运算；
Figure 597838DEST_PATH_IMAGE030
为基于像素点和特征图位置的因子；
Figure 265580DEST_PATH_IMAGE032
表示第k个特征图。
5.根据权利要求2所述的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，所述步骤S4中，根据以下步骤使用不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制替换SE通道注意力模块：
步骤4.1：不降维的局部跨信道交互策略和自适应选择一维卷积核大小的高效通道注意力机制由两部分组成，第一部分是不降低通道维数来进行跨通道信息交互，其计算公式如下：
Figure 996775DEST_PATH_IMAGE034
，
其中
Figure 724560DEST_PATH_IMAGE036
是
Figure 72365DEST_PATH_IMAGE038
激活函数，
Figure 278218DEST_PATH_IMAGE040
是权重，
Figure 395079DEST_PATH_IMAGE042
是权重
Figure 293764DEST_PATH_IMAGE044
的k个相邻频道的集合；该公式避免了不同组的完全独立，还可以让所有的通道共享权重信息；
步骤4.2：高效通道注意力机制的第二部分内容是使得该模块可以通过自适应选择卷积核大小为K的一维卷积来实现通道之间的信息交互，其实现公式如下所述：
Figure 376470DEST_PATH_IMAGE046
，
其中
Figure 386014DEST_PATH_IMAGE048
是
Figure 685277DEST_PATH_IMAGE050
激活函数，C1D代表一维卷积，K为卷积核大小。由于ECA模块只涉及K个参数信息并且当k=3时，可以实现与SE-Var3同样的效果却有更低的模型复杂度；因此，使用ECA替代原本的SE提高了模型效率。
6.根据权利要求2或5所述的基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法，其特征在于，所述步骤S4中优化形成的第二阶段的神经网络模型包括全局平均池化层C1，全连接层序列D2，全连接层序列D3，全连接层序列D4，全连接层序列D5和输出层；
全局平均池化层C1，结构参数2048，替代全连接层并降低特征图维数，减少参数数量、计算量，防止过拟合；
全连接层序列D2，结构参数由2048降低到1000，连接C1层特征，包含归一化层和丢弃层，设置丢弃层丢弃率为0.3；
全连接层序列D3，结构参数由1000降低到512，连接D2层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3；
全连接层序列D4，结构参数由512降低到128，连接D3层神经元，包含归一化层、丢弃层和PFLU激活函数，设置丢弃层丢弃率为0.3；
全连接层序列D5，结构参数由128降低到4，连接D4层神经元；
输出层，设置4个神经元，与全连接层D5连接，对结果进行四分类。
7.一种基于特征金字塔网络结构和高效通道注意力机制的脑肿瘤分类检测系统，其特征在于，包括终端设备，所述终端设备采用互联网终端设备，包括处理器和计算机可读存储介质，所述处理器用于实现各指令；所述计算机可读存储介质用于存储多条指令。
8.根据权利要求7所述的基于特征金字塔网络结构和高效通道注意力机制的脑肿瘤分类检测系统，其特征在于，所述计算机可读存储介质，用于存储多条指令，所述指令适于由终端设备的处理器加载并执行如权利要求1-6中任一项基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法。
CN202210861479.2A 2022-07-22 2022-07-22 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统 Pending CN115170885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210861479.2A CN115170885A (zh) 2022-07-22 2022-07-22 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210861479.2A CN115170885A (zh) 2022-07-22 2022-07-22 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统

Publications (1)

Publication Number Publication Date
CN115170885A true CN115170885A (zh) 2022-10-11

Family

ID=83496022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210861479.2A Pending CN115170885A (zh) 2022-07-22 2022-07-22 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统

Country Status (1)

Country Link
CN (1) CN115170885A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206765A (zh) * 2023-05-04 2023-06-02 首都医科大学附属北京友谊医院 一种用于评估帕金森病的风险等级的装置和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206765A (zh) * 2023-05-04 2023-06-02 首都医科大学附属北京友谊医院 一种用于评估帕金森病的风险等级的装置和存储介质
CN116206765B (zh) * 2023-05-04 2024-05-24 首都医科大学附属北京友谊医院 一种用于评估帕金森病的风险等级的装置和存储介质

Similar Documents

Publication Publication Date Title
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN112560968B (zh) 一种基于卷积和残差网络的her2图像分类方法及系统
CN111915490A (zh) 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN112418329A (zh) 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN108648179A (zh) 一种分析肺结节的方法及装置
CN111127490A (zh) 一种基于循环残差U-Net网络的医学图像分割方法
CN113378813A (zh) 基于注意力平衡特征金字塔的建模、目标检测方法及装置
CN115424104A (zh) 一种基于特征融合与注意力机制的目标检测方法
CN112116009A (zh) 基于卷积神经网络的新冠肺炎x射线图像识别方法及系统
CN112767406A (zh) 一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN115409846A (zh) 一种基于深度学习的结直肠癌病灶区域轻量级分割方法
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及系统
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN115170885A (zh) 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
CN116703880A (zh) 一种免疫状态预测模型构建方法、预测方法及构建装置
CN116778158B (zh) 基于改进u形网络的多组织成分图像分割方法及系统
CN108985302A (zh) 一种皮肤镜图像处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination