CN113706544A - 一种基于完备注意力卷积神经网络的医学图像分割方法 - Google Patents

一种基于完备注意力卷积神经网络的医学图像分割方法 Download PDF

Info

Publication number
CN113706544A
CN113706544A CN202110955798.5A CN202110955798A CN113706544A CN 113706544 A CN113706544 A CN 113706544A CN 202110955798 A CN202110955798 A CN 202110955798A CN 113706544 A CN113706544 A CN 113706544A
Authority
CN
China
Prior art keywords
medical image
channel
attention
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110955798.5A
Other languages
English (en)
Other versions
CN113706544B (zh
Inventor
张重
吕仕杰
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202110955798.5A priority Critical patent/CN113706544B/zh
Publication of CN113706544A publication Critical patent/CN113706544A/zh
Application granted granted Critical
Publication of CN113706544B publication Critical patent/CN113706544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于完备注意力卷积神经网络的医学图像分割方法，该方法包括：将训练医学图像输入利用深度学习框架构建的特征编码器模块，得到不同通道数和尺寸的卷积激活图；将不同通道数和尺寸的卷积激活图分别输入至多个通道注意力模块，得到经通道加权后不同通道数和尺寸的卷积激活图，输入至像素注意力模块，学习得到像素注意力系数，为卷积激活图分配不同的像素注意力系数，得到训练医学图像最终的分割图；基于交叉熵损失函数进行训练，得到最优的医学图像分割模型；确定测试医学图像，输入至所述最优的医学图像分割模型中，得到测试医学图像的最终分割图。

Description

一种基于完备注意力卷积神经网络的医学图像分割方法
技术领域
本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基于完备注意力卷积神经网络的医学图像分割方法。
背景技术
核磁共振成像是检测多种疾病的一种重要技术，这种技术依据所释放的能量物质在内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。例如脑瘤、心血管病变、脊柱畸形等疾病都需要核磁共振图像进行诊断。这种技术由于其非入侵和多模态特性而被广泛使用。核磁共振图像分割作为医学图像技术的基础，具有丰富的研究价值和实际应用，可以在临床诊断、外科指导等方面协助医生做出诊断。
随着深度学习的发展，卷积神经网络在核磁共振图像分割领域大展拳脚。Ben-Cohen等人使用全卷积网络对肝脏图像进行分割，这种网络将最后的全连接层改为卷积层，融合池化层和最后一层卷积层的特征得到最终对每个像素的分类。然而，这种全卷积网络没有充分利用学习到的等级信息。因此Ronneberger等人设计了U型结构的网络(U-Net)用于生物图像分割，这种网络利用对称的收缩和放大路径，并使用跳跃连接得到最终的分割图。由于U-Net的突出表现，很多U-Net的变体：3D-UNet、Mdu-net、DRU-Net等被设计出来用于医学图像分割领域。
最近，注意力机制开始被引入到医学图像分割领域，这种机制更加关注一张图像的部分区域而不是整张图像。注意力机制和卷积神经网络的结合在核磁共振医学图像领域实现了很好的分割效果。Pei等人在单一尺度提出了位置注意力模块和通道注意力模块，使得网络能够注意到大肠肿瘤的位置。Lei等人提出了CS2-Net，他们使用自注意力机制去学习等级特征，在医学图像分割上取得了较好的效果。然而，这些方法只从单一的尺度学习注意力系数，从而导致不完备的注意力学习。
发明内容
本发明的目的是利用完备的注意力机制来提高医学图像分割的准确率，为此，本发明提供一种基于完备注意力卷积神经网络的医学图像分割方法。
为了实现上述目的，本发明提出一种基于完备注意力卷积神经网络的医学图像分割方法，所述方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
可选地，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
步骤S12，对所述训练医学图像进行预处理；
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
可选地，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。
可选地，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
可选地，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
可选地，第一通道注意力模块的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；第二至第四通道注意力模块的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。
可选地，学习得到的通道注意力系数矩阵表示为：
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，softmax函数为归一化函数。
可选地，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
Figure BDA0003220429530000041
其中，
Figure BDA0003220429530000042
表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
可选地，所述步骤S3包括以下步骤：
步骤S31，将所述特征编码器模块中附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
步骤S32，对具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
可选地，所述训练医学图像最终的分割图表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
本发明的有益效果为：本发明通过完备注意力卷积神经网络学习完备的注意力系数，从而提高了医学图像分割的准确率。
需要说明的是，本发明得到了国家自然科学基金项目No.62171321，天津市自然科学基金重点项目No.20JCZDJC00180和No.19JCZDJC31500和模式识别国家重点实验室开放课题基金No.202000002的资助。
附图说明
图1是根据本发明一实施例的一种基于完备注意力卷积神经网络的医学图像分割方法的流程图；
图2是根据本发明一实施例构建的基于完备注意力卷积神经网络的结构框图；
图3是根据本发明一实施例的通道注意力模块结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于完备注意力卷积神经网络的医学图像分割方法的流程图，图2是根据本发明一实施例的基于完备注意力卷积神经网络的结构框图，下面以图1和图2为例来说明本发明的一些具体实现流程，如图1和图2所示，所述基于完备注意力卷积神经网络的医学图像分割方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
进一步地，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
在本发明一实施例中，利用深度学习框架构建得到的特征编码器模块为U-Net，整个特征编码器模块包括四个级联特征编码块和一个附加特征编码块，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。其中，所述卷积层卷积核的大小为3×3，步长为1；所述池化层的步长为2。
步骤S12，对所述训练医学图像进行预处理；
在本发明一实施例中，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
在本发明一实施例中，基于上述包括五个特征编码块的特征编码器模块能够得到所述训练医学图像的五个不同通道数和尺寸的卷积激活图。如图2所示，位于图2左上角的为第一级联特征编码块，右下依次为第二级联特征编码块、第三级联特征编码块、第四级联特征编码块和附加特征编码块。假设输入至第一级联特征编码块的训练医学图像的大小为3×240×240，经过两个卷积层后得到的图像大小为16×240×240，对于该图像进行最大值池化，得到的图像大小为16×120×120，该图像作为第二级联特征编码块的输入，经过两个卷积层后得到的图像大小为32×120×120，对于该图像进行最大值池化，得到的图像大小为32×60×60，该图像作为第三级联特征编码块的输入，经过两个卷积层后得到的图像大小为64×60×60，对于该图像进行最大值池化，得到的图像大小为64×30×30，该图像作为第四级联特征编码块的输入，经过两个卷积层后得到的图像大小为128×30×30，对于该图像进行最大值池化，得到的图像大小为128×15×15，该图像作为附加特征编码块的输入，经过两个卷积层后得到的图像大小为256×15×15，因此，所述特征编码器模块中四个级联特征编码块输出图像的大小分别为：16×240×240、32×120×120、64×60×60和128×30×30，附加特征编码块输出图像的大小为256×15×15，其中，第一个位置的数字代表卷积激活图的通道数，第二个位置的数字代表卷积激活图的高度，第三个位置的数字代表卷积激活图的宽度。
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
进一步地，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
在本发明一实施例中，如图2所示，本发明设计了四个通道注意力模块对应所述四个级联特征编码块。其中，第一个通道注意力模块，即第一通道注意力模块，的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；其余通道注意力模块，即第二至第四通道注意力模块，的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。具体地，第一通道注意力模块，即图2中通道注意力模块1的两个输入分别为附加特征编码块输出图像(大小为256×15×15)经上采样后得到的图像，大小为128×30×30，以及与该上采样图像具有相同大小的第四级联特征编码块的输出图像；第二通道注意力模块，即图2中通道注意力模块2的两个输入分别为通道注意力模块1输出图像(大小为128×30×30)经上采样后得到的图像，大小为64×60×60，以及与该上采样图像具有相同大小的第三级联特征编码块的输出图像；第三通道注意力模块，即图2中通道注意力模块3的两个输入分别为通道注意力模块2输出图像(大小为64×60×60)经上采样后得到的图像，大小为32×120×120，以及与该上采样图像具有相同大小的第二级联特征编码块的输出图像；第四通道注意力模块，即图2中通道注意力模块4的两个输入分别为通道注意力模块2输出图像(大小为32×120×120)经上采样后得到的图像，大小为16×240×240，以及与该上采样图像具有相同大小的第一级联特征编码块的输出图像。
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
在本发明一实施例中，学习得到的通道注意力系数矩阵可表示为：
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，比如可以为LeakReLU激活函数，softmax函数为归一化函数。
图3是根据本发明一实施例的通道注意力模块结构框图，如图3所示，以通道注意力模块1为例，所述通道注意力模块1的两个输入分别为附加特征编码块输出图像(大小为256×15×15)经上采样后得到的图像T，大小为128×30×30，以及与该上采样图像具有相同大小的第四级联特征编码块的输出图像I，大小亦为128×30×30；然后对于输入图像I和T分别进行池化后得到大小为128×1×1的矩阵H和Q；对矩阵H和Q进行级联后与变换矩阵A相乘，之后进行θ非线性变换和softmax函数处理，得到与输入图像的通道数对应的、大小为128×1×1的通道注意力系数矩阵W。
类似地，所述通道注意力模块2对应得到的通道注意力系数矩阵W的大小为64×1×1，所述通道注意力模块3对应得到的通道注意力系数矩阵W的大小为32×1×1，所述通道注意力模块4对应得到的通道注意力系数矩阵W的大小为16×1×1。
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
在本发明一实施例中，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
Figure BDA0003220429530000091
其中，
Figure BDA0003220429530000092
表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为所述步骤S22学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
进一步地，所述步骤S3包括以下步骤：
步骤S31，将附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
在本发明一实施例中，所述目标通道数和尺寸可设置为与所述训练医学图像相同，即目标通道数可设为4，这样，对所述附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作后，得到的卷积激活图的大小均为4×240×240。
步骤S32，对步骤S31得到的具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
在本发明一实施例中，卷积融合后的卷积激活图可表示为：
Figure BDA0003220429530000093
其中，
Figure BDA0003220429530000101
表示卷积操作，d1、d2、d3、d4分别表示所述附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的卷积激活图经上采样操作得到的具有相同目标通道数和尺寸的卷积激活图，4、3、2、1分别表示卷积激活图d1、d2、d3、d4对应的权重。
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
如图2所示，所述第四通道注意力模块输出的卷积激活图d5的大小为16×240×240，经过一次卷积操作后得到的卷积激活图的大小为4×240×240，再经过一次卷积操作后得到卷积激活图ds，其大小亦为4×240×240。
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
在本发明一实施例中，所述像素注意力系数矩阵C可表示为：
Figure BDA0003220429530000102
其中，Ψ表示Sigmoid函数，
Figure BDA0003220429530000103
表示卷积操作，ReLU是一种非线性变换。
如图2所示，当卷积激活图df和卷积激活图ds的大小均为4×240×240时，所述像素注意力系数矩阵C的大小亦为4×240×240。
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
在本发明一实施例中，所述训练医学图像最终的分割图可表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
在本发明一实施例中，所述交叉熵损失函数L可表示为：
Figure BDA0003220429530000111
其中，pi表示预测每个像素属于第i类的概率值；yi是该像素真实属于第i类的概率，当某一像素真实属于第i类别时yi＝1，否则yi＝0；N是分割类别的总数量。在实际操作中，可借助随机梯度下降法进行迭代计算，来优化所述医学图像分割模型的参数，以使得所述总损失函数L最小，最终得到最优的医学图像分割模型。
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
后续可通过计算最终分割图与真实分割图之间的像素准确率和DICE得分，来得到医学图像分割评价结果。
在本发明一实施例中，所述像素准确率表示正确分类的像素数与像素总数之间的比率；DICE得分反映了预测结果和事实结果之间的重叠。其中，像素准确率和DICE得分可分别表示为：
ACC＝(TN+TP)/(TP+TN+FP+FN)，
Dice＝2×TP/(FP+2×TP+FN)，
其中，TP表示真的正样本，TN表示真的负样本，FP表示假的正样本，FN表示假的负样本。
以网上公开的大规模医学图像分割数据库作为测试对象，比如在HVSMR数据库上测试时，本发明图像分割的像素正确率和DICE得分分别达到94.76％和88.83％。因此，本发明医学图像分割的方法有效地利用完备注意力卷积神经网络，学习完备的注意力系数，利用多个等级融合的卷积激活图，可以学习到具有显著区分力的分割图，很大程度上提高了核磁共振医学图像分割的准确率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于完备注意力卷积神经网络的医学图像分割方法，其特征在于，所述方法包括以下步骤：
步骤S1，利用深度学习框架构建特征编码器模块，将训练医学图像输入所述特征编码器模块，得到所述训练医学图像不同通道数和尺寸的卷积激活图；
步骤S2，确定多个通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述多个通道注意力模块，得到所述训练医学图像经通道加权后不同通道数和尺寸的卷积激活图；
步骤S3，确定像素注意力模块，以经通道加权后不同通道数和尺寸的卷积激活图作为输入，利用所述像素注意力模块对输入卷积激活图进行融合并学习得到每个像素的注意力系数，为融合后的卷积激活图分配不同的像素注意力系数，得到所述训练医学图像最终的分割图；
步骤S4，基于交叉熵损失函数进行训练，得到最优的医学图像分割模型，其中，所述医学图像分割模型包括所述特征编码器模块、通道注意力模块和像素注意力模块；
步骤S5，确定测试医学图像，将所述测试医学图像输入至所述最优的医学图像分割模型中，得到所述测试医学图像的最终分割图。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，利用深度学习框架构建得到特征编码器模块，其中，所述特征编码器模块包括四个级联特征编码块和一个附加特征编码块；
步骤S12，对所述训练医学图像进行预处理；
步骤S13，将预处理后得到的训练医学图像输入至所述特征编码器模块中，得到所述训练医学图像不同通道数和尺寸的卷积激活图。
3.根据权利要求2所述的方法，其特征在于，四个级联特征编码块中的每个均包含两个卷积层和一个池化层，附加特征编码块中仅包含两个卷积层。
4.根据权利要求2或3所述的方法，其特征在于，对所述训练医学图像进行的预处理包括：将所述训练医学图像中的每个像素值减去所述训练医学图像的像素平均值，再除以所述训练医学图像的像素方差。
5.根据权利要求2或3所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，确定与所述特征编码器模块中级联特征编码块数量一致的通道注意力模块，将所述训练医学图像不同通道数和尺寸的卷积激活图分别输入至所述通道注意力模块中；
步骤S22，利用所述通道注意力模块学习得到与所述特征编码器模块中每个级联特征编码块每个通道对应的通道注意力系数；
步骤S23，利用学习到的通道注意力系数，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权，得到所述训练医学图像通道加权后不同通道数和尺寸的卷积激活图。
6.根据权利要求5所述的方法，其特征在于，第一通道注意力模块的输入为附加特征编码块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像；第二至第四通道注意力模块的输入为上一通道注意力模块输出图像的上采样图像，以及与该上采样图像具有相同大小的级联特征编码块的输出图像。
7.根据权利要求5或6所述的方法，其特征在于，学习得到的通道注意力系数矩阵表示
W＝softmax(θ(A×[H‖Q])),
其中，‖表示级联操作，A是一个可学习的变换矩阵，×表示矩阵相乘，H和Q表示对于输入卷积激活图I和T进行池化后得到的矩阵，θ表示非线性变换，softmax函数为归一化函数。
8.根据权利要求5-7任一所述的方法，其特征在于，对于所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图进行通道加权后得到的不同通道数和尺寸的卷积激活图可表示为：
Figure FDA0003220429520000031
其中，
Figure FDA0003220429520000032
表示每通道相乘操作，I表示所述特征编码器模块中级联特征编码块输出的不同通道数和尺寸的卷积激活图，W为学习得到的包括每个通道的注意力系数的通道注意力系数矩阵。
9.根据权利要求6-8任一所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，将所述特征编码器模块中附加特征编码块输出的卷积激活图和第一通道注意力模块至第三通道注意力模块输出的通道加权卷积激活图分别进行上采样操作，得到对应的、具有相同目标通道数和尺寸的卷积激活图；
步骤S32，对具有目标通道数和尺寸的卷积激活图以不同的权重进行卷积融合，得到卷积融合后的卷积激活图df；
步骤S33，对第四通道注意力模块输出的卷积激活图进行两次卷积操作，得到卷积激活图ds；
步骤S34，对卷积激活图df与卷积激活图ds进行融合学习得到对应每个像素的像素注意力系数矩阵C；
步骤S35，利用学习到的每个像素的注意力系数，为卷积激活图df分配不同的注意力系数，得到所述训练医学图像最终的分割图F。
10.根据权利要求9所述的方法，其特征在于，所述训练医学图像最终的分割图表示为：
F＝C⊙df，
其中，⊙表示对应像素相乘，F∈RN×240×240，N表示最终分割的类别数量，即最终分割得到的图像数量。
CN202110955798.5A 2021-08-19 2021-08-19 一种基于完备注意力卷积神经网络的医学图像分割方法 Active CN113706544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110955798.5A CN113706544B (zh) 2021-08-19 2021-08-19 一种基于完备注意力卷积神经网络的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110955798.5A CN113706544B (zh) 2021-08-19 2021-08-19 一种基于完备注意力卷积神经网络的医学图像分割方法

Publications (2)

Publication Number Publication Date
CN113706544A true CN113706544A (zh) 2021-11-26
CN113706544B CN113706544B (zh) 2023-08-29

Family

ID=78653654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110955798.5A Active CN113706544B (zh) 2021-08-19 2021-08-19 一种基于完备注意力卷积神经网络的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN113706544B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及系统
CN114092477A (zh) * 2022-01-21 2022-02-25 浪潮云信息技术股份公司 一种图像篡改检测方法、装置及设备
CN114494482A (zh) * 2021-12-24 2022-05-13 中国人民解放军总医院第一医学中心 一种基于平扫ct生成ct血管成像的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘爽;仝晶晶;郭冬月;柯余锋;孟佳圆;陈龙;许敏鹏;綦宏志;明东;: "脑电时间效应对情绪识别模型的影响及解决措施研究", 中国生物医学工程学报, no. 01 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494482A (zh) * 2021-12-24 2022-05-13 中国人民解放军总医院第一医学中心 一种基于平扫ct生成ct血管成像的方法
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及系统
CN114066913B (zh) * 2022-01-12 2022-04-22 广东工业大学 一种心脏图像分割方法及系统
CN114092477A (zh) * 2022-01-21 2022-02-25 浪潮云信息技术股份公司 一种图像篡改检测方法、装置及设备

Also Published As

Publication number Publication date
CN113706544B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Zhang et al. Uncertainty-aware blind image quality assessment in the laboratory and wild
CN113706544B (zh) 一种基于完备注意力卷积神经网络的医学图像分割方法
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110222717B (zh) 图像处理方法和装置
CN115018824B (zh) 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法
CN113705769A (zh) 一种神经网络训练方法以及装置
CN112308200A (zh) 神经网络的搜索方法及装置
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
Seo et al. Progressive attention networks for visual attribute prediction
CN110222718B (zh) 图像处理的方法及装置
CN113191390B (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN111782840A (zh) 图像问答方法、装置、计算机设备和介质
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN112070044A (zh) 一种视频物体分类方法及装置
CN113592060A (zh) 一种神经网络优化方法以及装置
CN111932529A (zh) 一种图像分割方法、装置及系统
CN114445670A (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN112052877A (zh) 一种基于级联增强网络的图片细粒度分类方法
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN117197632A (zh) 一种基于Transformer的电镜花粉图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant