CN116309648A - 一种基于多注意力融合的医学图像分割模型构建方法 - Google Patents

一种基于多注意力融合的医学图像分割模型构建方法 Download PDF

Info

Publication number
CN116309648A
CN116309648A CN202310540679.2A CN202310540679A CN116309648A CN 116309648 A CN116309648 A CN 116309648A CN 202310540679 A CN202310540679 A CN 202310540679A CN 116309648 A CN116309648 A CN 116309648A
Authority
CN
China
Prior art keywords
attention
encoder
network
model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310540679.2A
Other languages
English (en)
Inventor
王莉莉
赵嘉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202310540679.2A priority Critical patent/CN116309648A/zh
Publication of CN116309648A publication Critical patent/CN116309648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量化的ECA‑Residual模块用来构建医学图像分割模型编码器，目前已经提出的医学图像分割模型集中在关注模型性能的提升，忽略模型可训练参数的数量，该模块在降低模型参数量的同时可以有效的进行特征的提取；设计空间注意力门控模块集成在编码器‑解码器模型的跳跃连接处，避免编码器和解码器特征融合时产生语义差异，该模块抑制图像不相关区域，在保证计算效率的同时提高模型的性能；使用级联上采样器接收来自编码器和不同阶段空间注意力门控模块的输出，通过多次上采样解码隐藏特征，逐像素输出分割掩码，最终获得医学图像分割模型。

Description

一种基于多注意力融合的医学图像分割模型构建方法
技术领域
本发明属于医学图像分割技术领域，特别涉及一种基于多注意力融合的医学图像分割模型构建方法。
背景技术
医学图像中目标对象的分割和随后的定量评估为病理学分析提供有价值的信息，并且对于治疗策略的规划、疾病进展的检测和患者结果的预测非常重要。医学图像的成像方式包括MR和CT等，与自然场景下的成像方式不同，医学图像纹理更加复杂。医学影像成像过程中容易受到外界因素干扰或成像设备的限制产生噪声和伪影。人体器官大多数是由特征相似的软组织组成，因此不同器官的边界很难进行区分。以上因素导致医学图像标注困难，即使是具有丰富临床经验的医生也难以保证标注的质量，因为这不仅仅取决专家的专业能力，大量的标注对于专家的耐心程度也是极大的考验。所以，基于传统的医学图像分割算法和医生手动标注难以满足临床应用的要求，卷积神经网络(CNN)相较于传统的图像处理算法避免了对图像复杂的前期预处理过程，尤其是人工参与图像预处理过程，卷积神经网络可以直接对原始图像进行特征学习，在医学图像分割领域得到了广泛的应用。
U-Net网络在医学图像分割中具有里程碑的意义，具有跳跃连接的编码器-解码器结构进行模型训练时仅需要少量的训练数据便可以获得很高的分割准确率。随后基于该网络衍生出不同的网络形式，例如U-Net++和U-Net3+等。这些网络使用跳跃连接融合来自不同尺度的特征图，但是由于编码器和解码器阶段的低级细节和高级语义并不能完全的兼容，简单的跳跃连接有时对于分割性能会产生负面的影响。在神经网络中一般模型的参数越多则模型表达能力越强，存储信息量越大，但是会导致信息过载，通过引入注意力机制可以利用有限的注意力资源从大量的信息中筛选出高价值的信息。目前主流的注意力机制有通道注意力、空间注意力和自注意力。虽然最初是为自然语言处理任务而设计的，但自注意力机制最近已经席卷了各种计算机视觉领域，分层Transformer，如Swin Transformer重新引入了几个ConvNet，使Transformer作为通用视觉骨干在各种视觉任务上表现出卓越的性能。目前大多数先进的医学图像分割模型都是基于Transformer，但是这种基于Transformer的架构往往具有很大的开销，并且要获得很好的性能需要更大的数据集进行训练。同时在医学图像分割上Transformer将图像展开成1D的序列，虽然很好地捕获了长距离依赖，但是却破坏了图像固有的2D结构。
轻量化模型的实现在于设计更高效的网络计算方式，在保持网络性能的同时减少网络的参数。SqueezeNet与传统的卷积方式不同，其主要的核心就是由squeeze和expand两层组成的Fire module模块，Squeeze层是一个1×1卷积核的卷积层，expand层是1×1和3×3卷积核的卷积层，expand层中，把1×1和3×3得到的特征图进行拼接。MobileNet提出深度可分离卷积代替传统的卷积，首先使用逐通道卷积，然后使用点卷积将特征图关联起来。ShuffeNet使用pointwise group convolution和channel shuffle两个新的操作，降低了计算的成本，同时提出了一种新颖的channel shuffle操作来帮助信息在特征通道之间流动。但是这些方法在减少模型参数量的同时会损失一部分准确率，所以本发明在使用深度可分离卷积降低模型参数量的同时将融合通道注意力机制进行特征的提取，以便提高模型的准确率。
发明内容
本发明解决的技术问题是：针对目前已经提出的模型集中在关注模型性能的提升，忽略模型可训练参数的数量，提出一种轻量化的ECA-Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取。针对编码器阶段和解码器阶段特征集不兼容的问题，提出一种空间注意力门控模块(Spatial Attention GatingModule)集成在跳跃连接，通过分析粗尺度门控信号来选择空间区域，网络自动进行学习如何突出有利于提高分割性能的特征，进一步促进特征的融合。
本发明的技术解决方案是：一种基于多注意力融合的医学图像分割模型构建方法，步骤如下：
步骤1，图像在输入模型训练前进行数据预处理，为了将构建的网络随机初始化在医学数据集上进行训练，所以对数据集进行在线数据增强；
步骤2，使用轻量化的ECA-Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取；
步骤3，将提出的空间注意力门控模块集成在跳跃连接处，接收来自跳跃连接特征和解码器上采样的特征，计算注意力系数，通过注意力系数将跳跃连接特征进行缩放后输出与解码器进行拼接；
步骤4，使用级联上采样器(CUP)接收编码器和空间注意力门控模块的输出，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。
进一步地，所述步骤1中数据预处理的具体方法如下：
迁移学习让我们可以将在源任务上学习到的知识很好地复用到目标任务上。基于迁移学习的思想，计算机视觉领域的研究者已在使用ImageNet等大规模有标注数据集来训练大型CNN模型，但是在大规模数据集上进行预训练导致模型结构灵活性差，难以改变网络结构，计算量也会增大。为了避免使用迁移学习在大规模数据集上进行预训练，将构建的网络随机初始化在医学数据集上进行训练，采用对数据集进行在线数据增强代替迁移学习，使用的数据集增强方式包括，上下水平镜像、高斯噪声、高斯模糊、改变对比度、尺寸缩放等。
进一步地，所述步骤2中使用轻量化的ECA-Residual模块构建模型编码器的具体方法如下：
医学图像分割需要完成像素级别的分类，从而导致网络设计更加复杂，参数量和计算量也不断增加，在实际应用中在保证准确率的同时减少网络的参数量和计算量是必不可少的。
步骤2-1，为了提高模型精度该结构首先使用两个3×3的深度可分离卷积，其中每个深度可分离卷积后面有一个批归一化(Batch Normalization)和一个非线性激活函数(ReLU)。深度可分离卷积的参数量和计算量是普通卷积的约三分之一，可以有效地减少网络的计算量和参数量。
步骤2-2，本发明网络的编码器由ECA-Residual模块分层构建而成，但是随着网络的不断加深可能导致梯度消失或梯度爆炸的问题，所以ECA-Residual模块采用了残差学习中的层之间的快捷连接来解决这个问题。
步骤2-3，在残差网络中加入了ECA通道注意力机制对每个通道进行重新加权，使网络对目标特征更加敏感。
步骤2-4，参数量和计算量的大小和每个卷积层输入通道数和输出通道数的大小相关，所以为了减少网络的参数量和计算量同时加强通道间的信息交互，在使用ECA-Residual模块搭建网络编码器时，在每个ECA-Residual模块中会将通道数缩小为目标输出通道的四分之一，最后通过1×1的卷积在融合特征的同时将通道数恢复为输出的目标通道数。
进一步地，所述步骤3中空间注意力门控模块实现的具体方法如下：
步骤3-1，首先对来自跳跃连接的特征F沿通道轴进行平均池化和最大池化，产生两个代表不同信息的特征图。沿着通道轴应用池化操作可以有效地突出信息区域。最后将两个特征图连接后通过一个感受野较大的7×7卷积生成空间注意力图。用公式(1)表示：
Figure BDA0004227813570000031
其中f7×7表示卷积核大小为7×7的卷积运算，
Figure BDA0004227813570000032
和/>
Figure BDA0004227813570000033
代表跳跃连接经过全局平均池化和全局最大池化的输出特征
步骤3-2，同理，对来自上采样的特征G进行同样的操作。用公式(2)表示：
Figure BDA0004227813570000034
(2)
其中
Figure BDA0004227813570000035
和/>
Figure BDA0004227813570000036
代表上采样特征经过全局平均池化和全局最大池化的输出特征。
步骤3-3，将融合后的特征Ms(F)和Ms(G)相加，经过非线性激活函数(ReLU)后经过1×1的卷积，批归一化后通过Sigmoid操作生成注意力系数。
步骤3-4，对来自编码器的特征即跳跃连接的特征使用计算的注意力系数进行缩放，将缩放后的特征与解码器上采样特征进行拼接。通过分析粗尺度门控信号，自动学习聚焦不同形状和大小的目标结构，突出有利于分割目标的显著特征。用公式(3)和公式(4)表示：
Z＝f1×1(ReLU(BN(Ms(F))+BN(Ms(G)))) (3)
Figure BDA0004227813570000039
其中f1×1表示卷积核大小为1×1的卷积运算，BN代表批归一化，
Figure BDA00042278135700000310
代表Sigmoid函数，FSAM代表F经过空间注意力门控的最终输出。
进一步地，所述步骤4中使用级联上采样进行特征重组具体方法如下：
通过步骤2编码器四次下采样特征图的分辨率从H×W逐渐降低到
Figure BDA00042278135700000311
这样可以通过逐渐增加的感受野来学习更多的语义信息。将图像下采样到原图的/>
Figure BDA00042278135700000312
分辨率时，通过跳跃连接将编码器的特征连接到解码器进行特征融合，同时步骤3在跳跃连接部分引入了轻量的空间注意力门控模块(SAG)来增强分割区域的空间恢复。对于分割结果的预测，解码器将编码器最后一层的输出和来自不同阶段跳跃连接上的空间注意力门控的输出特征作为输入。网络的解码器使用级联上采样器(CUP)，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。其中每个上采样块由一个2倍的上采样算子、一个3×3卷积层和一个ReLU层组成。
与现有技术相比，本发明的有益效果是：与目前先进的网络TransUNet、Swin-Unet和MISSFormer都是基于Transformer的网络不同，本发明是基于纯卷积的网络，可以在一些小规模数据集上取得更好的性能。本发明的模型在平均Dice系数和平均Hausdorff_95都取得了先进的结果。通过与其他先进网络分割效果的对比分析，本发明的模型在较小的器官上获得了更加准确的分割结果，这是由于网络中添加了SAG空间注意力门控模块，该模块可以自动学习抑制图像中的不相关区域，突出对目标任务有效的显著特征，尤其是对容易受到其他区域信息干扰的小器官。同时相比于其他的高性能网络拥有更少的可训练参数量以及相似的计算量，说明网络保证准确率的同时可以占据更少的内存。
附图说明
图1为本发明方法的流程图。
图2为本发明的基于多注意力融合的医学图像分割模型整体结构图。
图3为本发明的轻量化ECA-Residual模块结构图。
图4为本发明的空间注意力门控模块结构图。
图5分割模型训练及评估的流程图。
具体实施方式
下面将更加深刻完整的阐述本发明实施案例中的技术方案。所述实施案例为部分实施案例。使用者可根据本发明不需付出创造性劳动获得其他实施案例。该“其他实施案例”均属于本发明保护的范围。
如图1所示为本实施案例的一种基于多注意力融合的医学图像分割模型构建方法，对于分割对象为主动脉、胆囊、左肾、右肾、肝脏、胰腺、脾脏、胃的八种腹部器官CT图像分割任务，分割模型的构建包括但不限于如下步骤：
步骤1，图像在输入模型训练前进行数据预处理，为了将构建的网络随机初始化在医学数据集上进行训练，所以对数据集进行在线数据增强，该步骤的具体实施方式如下：
为了避免使用迁移学习在大规模数据集上进行预训练，将构建的网络随机初始化在医学数据集上进行训练，采用对数据集进行在线数据增强代替迁移学习，使用的数据集增强方式包括，上下水平镜像、高斯噪声、高斯模糊、改变对比度、尺寸缩放等。
步骤2，使用轻量化的ECA-Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取。
在本实例中，步骤2的具体实现方式如下：
步骤2-1，为了提高模型精度该结构首先使用两个3×3的深度可分离卷积，其中每个深度可分离卷积后面有一个批归一化(Batch Normalization)和一个非线性激活函数(ReLU)。深度可分离卷积的参数量和计算量是普通卷积的约三分之一，可以有效地减少网络的计算量和参数量。
步骤2-2，本发明网络的编码器由ECA-Residual模块分层构建而成，但是随着网络的不断加深可能导致梯度消失或梯度爆炸的问题，所以ECA-Residual模块采用了残差学习中的层之间的快捷连接来解决这个问题。
步骤2-3，在残差网络中加入了ECA通道注意力机制对每个通道进行重新加权，使网络对目标特征更加敏感。
步骤2-4，参数量和计算量的大小和每个卷积层输入通道数和输出通道数的大小相关，所以为了减少网络的参数量和计算量同时加强通道间的信息交互，在使用ECA-Residual模块搭建网络编码器时，在每个ECA-Residual模块中会将通道数缩小为目标输出通道的四分之一，最后通过1×1的卷积在融合特征的同时将通道数恢复为输出的目标通道数。
步骤3，将提出的空间注意力门控模块集成在跳跃连接处，接收来自跳跃连接特征和解码器上采样的特征，计算注意力系数，通过注意力系数将跳跃连接特征进行缩放后输出与解码器进行拼接；
在本实例中，步骤3的具体实现方式如下：
步骤3-1，首先对来自跳跃连接的特征F沿通道轴进行平均池化和最大池化，产生两个代表不同信息的特征图。沿着通道轴应用池化操作可以有效地突出信息区域。最后将两个特征图连接后通过一个感受野较大的7×7卷积生成空间注意力图。用公式(1)表示：
Figure BDA0004227813570000051
其中f7×7表示卷积核大小为7×7的卷积运算，
Figure BDA0004227813570000052
和/>
Figure BDA0004227813570000053
代表跳跃连接经过全局平均池化和全局最大池化的输出特征
步骤3-2，同理，对来自上采样的特征G进行同样的操作。用公式(2)表示：
Figure BDA0004227813570000054
(2)
其中
Figure BDA0004227813570000055
和/>
Figure BDA0004227813570000056
代表上采样特征经过全局平均池化和全局最大池化的输出特征。
步骤3-3，将融合后的特征Ms(F)和Ms(G)相加，经过非线性激活函数(ReLU)后经过1×1的卷积，批归一化后通过Sigmoid操作生成注意力系数。
步骤3-4，对来自编码器的特征即跳跃连接的特征使用计算的注意力系数进行缩放，将缩放后的特征与解码器上采样特征进行拼接。通过分析粗尺度门控信号，自动学习聚焦不同形状和大小的目标结构，突出有利于分割目标的显著特征。用公式(3)和公式(4)表示：
Z＝f1×1(ReLU(BN(Ms(F))+BN(Ms(G)))) (3)
Figure BDA0004227813570000057
其中f1×1表示卷积核大小为1×1的卷积运算，BN代表批归一化，
Figure BDA0004227813570000058
代表Sigmoid函数，FSAM代表F经过空间注意力门控的最终输出。
步骤4，使用级联上采样器(CUP)接收编码器和空间注意力门控模块的输出，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。
在本实例中，步骤4的具体实现方式如下：
通过步骤2编码器四次下采样特征图的分辨率从H×W逐渐降低到
Figure BDA0004227813570000059
这样可以通过逐渐增加的感受野来学习更多的语义信息。将图像下采样到原图的/>
Figure BDA00042278135700000510
分辨率时，通过跳跃连接将编码器的特征连接到解码器进行特征融合，同时步骤3在跳跃连接部分引入了轻量的空间注意力门控模块(SAG)来增强分割区域的空间恢复。对于分割结果的预测，解码器将编码器最后一层的输出和来自不同阶段跳跃连接上的空间注意力门控的输出特征作为输入。网络的解码器使用级联上采样器(CUP)，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。其中每个上采样块由一个2倍的上采样算子、一个3×3卷积层和一个ReLU层组成。
分割模型构建完成后，可构建相应的医学图像数据集和优化损失函数以实现对分割模型的训练和分割效果评估，具体训练和使用流程如图5所示。
Synapse数据集包含30个腹部CT扫描和3779个轴向腹部临床CT图像，将数据集进行随机的划分，将18个CT扫描用于训练，12个CT扫描用于测试。同样选取数据集中包含的8个腹部器官(主动脉、胆囊、左肾、右肾、肝脏、胰腺、脾脏、胃)作为分割目标。
本发明使用分割目标器官的平均Dice系数平均Hausdorff_95(HD95)作为评价指标评估分割模型的分割效果，评估性能符合需求的模型可用于后续实际应用。
通过实验结果对比分析，本发明的网络在较小的器官例如胆囊和胰腺上获得了相对其他模型更加准确的分割结果，这是由于网络中添加了SAG空间注意力门控模块，该模块可以自动学习抑制图像中的不相关区域，突出对目标任务有效的显著特征，尤其是对容易受到其他区域信息干扰的小器官。
经过计算相比于其他的高性能网络本发明拥有更少的可训练参数量以及相似的计算量，说明网络保证准确率的同时可以占据更少的内存。
通过分割结果可视化可以直观的看出本发明相对其他模型有更好的分割结果，尤其是在一些较小的器官上，同时对于边缘的预测也更加清晰。
综上所述，本发明上述实施案例基于多注意力融合的医学图像分割模型构建方法，包括：提出一种轻量化的ECA-Residual模块构建模型编码器进行特征提取；提出空间注意力门控模块解决使用普通跳跃连接时特征不匹配的问题，突出分割目标更显著的特征，有利于信息融合；使用级联上采样器接收来自编码器和不同阶段空间注意力门控模块的输出进行特征重组。将数据集进行在线增强输入网络后经过训练，最终获得医学图像分割模型。
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，包括以下步骤：
步骤1，图像在输入模型训练前进行数据预处理，为了将构建的网络随机初始化在医学数据集上进行训练，所以对数据集进行在线数据增强；
步骤2，使用轻量化的ECA-Residual模块构建模型编码器，该模块在降低模型参数量的同时可以有效的进行特征的提取；
步骤3，将提出的空间注意力门控模块集成在跳跃连接处，接收来自跳跃连接特征和解码器上采样的特征，计算注意力系数，通过注意力系数将跳跃连接特征进行缩放后输出与解码器进行拼接；
步骤4，使用级联上采样器(CUP)接收编码器和空间注意力门控模块的输出，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。
2.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤1具体方法如下：
迁移学习让我们可以将在源任务上学习到的知识很好地复用到目标任务上。基于迁移学习的思想，计算机视觉领域的研究者已在使用ImageNet等大规模有标注数据集来训练大型CNN模型，但是在大规模数据集上进行预训练导致模型结构灵活性差，难以改变网络结构，计算量也会增大。为了避免使用迁移学习在大规模数据集上进行预训练，将构建的网络随机初始化在医学数据集上进行训练，采用对数据集进行在线数据增强代替迁移学习，使用的数据集增强方式包括，上下水平镜像、高斯噪声、高斯模糊、改变对比度、尺寸缩放等。
3.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤2具体方法如下：
步骤2-1，为了提高模型精度该模块首先使用两个3×3的深度可分离卷积，其中每个深度可分离卷积后面有一个批归一化(Batch Normalization)和一个非线性激活函数(ReLU)。深度可分离卷积的参数量和计算量是普通卷积的约三分之一，可以有效地减少网络的计算量和参数量。
步骤2-2，图像分割网络的编码器由ECA-Residual模块分层构建而成，但是随着网络的不断加深可能导致梯度消失或梯度爆炸的问题，所以ECA-Residual模块采用了残差学习中的层之间的快捷连接来解决这个问题。
步骤2-3，在残差网络中加入了ECA通道注意力机制对每个通道进行重新加权，使网络对目标特征更加敏感。
步骤2-4，参数量和计算量的大小和每个卷积层输入通道数和输出通道数的大小相关，所以为了减少网络的参数量和计算量同时加强通道间的信息交互，在使用ECA-Residual模块搭建网络编码器时，在每个ECA-Residual模块中会将通道数缩小为目标输出通道的四分之一，最后通过1×1的卷积在融合特征的同时将通道数恢复为输出的目标通道数。
4.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤3具体方法如下：
步骤3-1，首先对来自跳跃连接的特征F沿通道轴进行平均池化和最大池化，产生两个代表不同信息的特征图。沿着通道轴应用池化操作可以有效地突出信息区域。最后将两个特征图连接后通过一个感受野较大的7×7卷积生成空间注意力图。用公式(1)表示：
Figure FDA0004227813560000021
其中f7×7表示卷积核大小为7×7的卷积运算，
Figure FDA0004227813560000022
和/>
Figure FDA0004227813560000023
代表跳跃连接经过全局平均池化和全局最大池化的输出特征。
步骤3-2，同理，对来自上采样的特征G进行步骤3-1同样的操作。用公式(2)表示：
Figure FDA0004227813560000024
其中
Figure FDA0004227813560000025
和/>
Figure FDA0004227813560000026
代表上采样特征经过全局平均池化和全局最大池化的输出特征。
步骤3-3，将特征F和特征G生成的空间注意力图相加，经过非线性激活函数(ReLU)后经过1×1的卷积，批归一化后通过Sigmoid操作生成注意力系数。
步骤3-4，对来自编码器的特征即跳跃连接的特征使用计算的注意力系数进行缩放，将缩放后的特征与解码器上采样特征拼接后进行特征重建。通过分析粗尺度门控信号，自动学习聚焦不同形状和大小的目标结构，突出有利于分割目标的显著特征。用公式(3)和公式(4)表示：
Z＝f1×1(ReLU(BN(Ms(F))+BN(Ms(G)))) (3)
Figure FDA0004227813560000027
其中f1×1表示卷积核大小为1×1的卷积运算，BN代表批归一化，
Figure FDA0004227813560000028
代表Sigmoid函数，FSAM代表F经过空间注意力门控的最终输出。
5.根据权利要求1所述的一种基于多注意力融合的医学图像分割模型构建方法，其特征在于，所述步骤4具体方法如下：
通过步骤2编码器四次下采样特征图的分辨率从H×W逐渐降低到
Figure FDA0004227813560000029
这样可以通过逐渐增加的感受野来学习更多的语义信息。将图像下采样到原图的/>
Figure FDA00042278135600000210
分辨率时，通过跳跃连接将编码器的特征连接到解码器进行特征融合，同时步骤3在跳跃连接部分引入了轻量的空间注意力门控模块(SAG)来增强分割区域的空间恢复。对于分割结果的预测，解码器将编码器最后一层的输出和来自不同阶段跳跃连接上的空间注意力门控的输出特征作为输入。网络的解码器使用级联上采样器(CUP)，通过多个上采样步骤解码隐藏特征，最终逐像素预测输出分割掩码。其中每个上采样块由一个2倍的上采样算子、一个3×3卷积层和一个ReLU层组成。
CN202310540679.2A 2023-05-14 2023-05-14 一种基于多注意力融合的医学图像分割模型构建方法 Pending CN116309648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310540679.2A CN116309648A (zh) 2023-05-14 2023-05-14 一种基于多注意力融合的医学图像分割模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310540679.2A CN116309648A (zh) 2023-05-14 2023-05-14 一种基于多注意力融合的医学图像分割模型构建方法

Publications (1)

Publication Number Publication Date
CN116309648A true CN116309648A (zh) 2023-06-23

Family

ID=86796217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310540679.2A Pending CN116309648A (zh) 2023-05-14 2023-05-14 一种基于多注意力融合的医学图像分割模型构建方法

Country Status (1)

Country Link
CN (1) CN116309648A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117274607A (zh) * 2023-11-23 2023-12-22 吉林大学 基于多路金字塔轻量级医学图像分割网络、方法和设备
CN117372437A (zh) * 2023-12-08 2024-01-09 安徽农业大学 用于面神经麻痹智能化检测与量化方法及其系统
CN117409016A (zh) * 2023-12-15 2024-01-16 华中科技大学同济医学院附属同济医院 一种磁共振图像自动分割方法
CN117474044A (zh) * 2023-12-28 2024-01-30 感跃医疗科技(成都)有限公司 一种基于Flowformer和门控注意力的牙齿CBCT图像分割网络
CN117974648A (zh) * 2024-03-29 2024-05-03 中国机械总院集团江苏分院有限公司 一种织物瑕疵检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN116703786B (zh) * 2023-08-09 2023-10-20 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117058160B (zh) * 2023-10-11 2024-01-16 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117274607A (zh) * 2023-11-23 2023-12-22 吉林大学 基于多路金字塔轻量级医学图像分割网络、方法和设备
CN117274607B (zh) * 2023-11-23 2024-02-02 吉林大学 基于多路金字塔轻量级医学图像分割网络、方法和设备
CN117372437A (zh) * 2023-12-08 2024-01-09 安徽农业大学 用于面神经麻痹智能化检测与量化方法及其系统
CN117372437B (zh) * 2023-12-08 2024-02-23 安徽农业大学 用于面神经麻痹智能化检测与量化方法及其系统
CN117409016A (zh) * 2023-12-15 2024-01-16 华中科技大学同济医学院附属同济医院 一种磁共振图像自动分割方法
CN117474044A (zh) * 2023-12-28 2024-01-30 感跃医疗科技(成都)有限公司 一种基于Flowformer和门控注意力的牙齿CBCT图像分割网络
CN117974648A (zh) * 2024-03-29 2024-05-03 中国机械总院集团江苏分院有限公司 一种织物瑕疵检测方法
CN117974648B (zh) * 2024-03-29 2024-06-04 中国机械总院集团江苏分院有限公司 一种织物瑕疵检测方法

Similar Documents

Publication Publication Date Title
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN113012172B (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN110175986B (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN113159236A (zh) 基于多尺度变换的多聚焦图像融合方法及装置
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN104123707B (zh) 一种基于局部秩先验的单幅图像超分辨率重建方法
CN116542924A (zh) 一种前列腺病灶区域检测方法、装置及存储介质
CN112529949A (zh) 一种基于t2图像生成dwi图像的方法及系统
CN117746045B (zh) 一种Transformer和卷积融合的医学图像分割方法及系统
CN115937526B (zh) 基于搜索识别网络的双壳贝类性腺区域分割方法
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination