CN116433914A - 一种二维医学图像分割方法及系统 - Google Patents

一种二维医学图像分割方法及系统 Download PDF

Info

Publication number
CN116433914A
CN116433914A CN202310501187.2A CN202310501187A CN116433914A CN 116433914 A CN116433914 A CN 116433914A CN 202310501187 A CN202310501187 A CN 202310501187A CN 116433914 A CN116433914 A CN 116433914A
Authority
CN
China
Prior art keywords
medical image
dimensional medical
feature
image segmentation
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310501187.2A
Other languages
English (en)
Inventor
赵晶
邹庆志
胡玉帅
张荣环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310501187.2A priority Critical patent/CN116433914A/zh
Publication of CN116433914A publication Critical patent/CN116433914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分割领域，提供了一种二维医学图像分割方法及系统，包括获取待分割的二维医学图像并进行预处理；基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；本发明为了可以有效的使用卷积神经网络提取图片中局部特征，并将深层低分辨率层的语义信息和浅层高分辨率层的局部信息融合起来，该二维医学图像分割模型使用卷积注意力增强模块和带有注意力门控单元的跳跃连接融合和细化多级特征；可以同时抑制无关区域并突出显著特征，进而从图片中提取有效的局部特征。融合来自编码器的不同尺度的高分辨率特征，进而捕获像素之间的全局和局部关系，以减轻降采样导致的空间信息丢失。

Description

一种二维医学图像分割方法及系统
技术领域
本发明属于图像分割技术领域，具体涉及一种二维医学图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
医学图像分割能够从特定组织图像中提取关键信息，是实现医学图像可视化、辅助医生诊断与制定治疗计划的关键步骤。医学图像分割任务是进行逐像素分类并将图像中不同器官或病灶区域划分出来。
纯卷积神经网络(CNN)具有多尺度表示、捕捉局部语义和纹理信息的突出能力，被广泛运用到医学图像分割任务。受FCNs结构和编码器-解码器模型的启发，Ronneberger等人开发了用于生物医学图像分割的U-Net模型。由于U-Net模型具有多个卷积组成的上采样模块和下采样模块以及在网络中传播高分辨率上下文信息的跳跃连接，这使得其在医学分割领域得到了广泛应用。有一些对骨干网络或者跳跃连接进行改进的U-Net已经被证明在一些医学图像分割数据集上有良好的表现，例如：Residual U-Net、U-Net++、U-Net 3+。对于基于纯卷积神经网络的医学图像分割方法来说：基于CNN的方法具有令人满意的表现，但由于卷积操作在学习像素之间的长距离依赖关系方面存在局限性，从而导致其不足以捕获医学图像数据中存在的几何和结构信息。为了克服这一局限性，一些工作在其架构中加入了注意力模块来增强局部特征的提取能力，这些基于注意力机制的方法虽然取得了较好的性能，但仍需要一种学习像素之间长距离依赖关系的机制来扩展现有基于CNN的U-Net变体在卷积操作感受野受限的情况下的性能。
最近在Vision Transformers方面的进展一定程度上克服了分割模型在捕捉长距离依赖方面的局限性。Transformer使用自注意力学习所有输入令牌之间的相关性，使它们能够捕获长程依赖关系。更具体地说，Dosovitskiy等引入了Vision Transformer模型来缓解卷积神经网络在捕捉长程语义依赖方面的不足，它将图像在被扁平化成向量之前被转换成固定大小的块，并通过位置编码嵌入Transformer模块。对于基于Version Transformers方法的医学图像分割方法来说：Transformer一定程度上克服了在捕捉长距离依赖方面的局限性，但因为其使用的自注意力限制了它们学习像素之间的局部(上下文)关系的能力。
将Transformer与U-Net模型相结合成为新的研究方向。例如TransUNet和MedT都是一种利用U-Net和Transformer优点的图像分割模型。Transformer能够通过自注意力捕获长程依赖关系，但缺乏学习像素之间局部(上下文)关系能力。以往的工作试图通过在编码器或解码器模块中嵌入卷积层来克服这个问题，但有时会出现特征不一致的情况。对于基于Transformer和CNN混合架构的医学图像分割方法来说：尽管TransUNet和MedT这些模型可以一定程度上学习像素之间的局部(上下文)信息，但它们不能很好地结合学习全局-局部上下文来加强特征表征，而且其解码器不能正确聚合编码器生成的多级特征。
发明内容
为了解决上述问题，本发明提出了一种二维医学图像分割方法及系统，本发明能够通过我们的卷积注意力增强模块抑制无关区域并突出显著特征，相比纯卷积网络更能从图片中提取有效的局部特征；提出的带有注意力门控单元的跳跃连接可以融合来自编码器不同尺度的高分辨率特征，成功捕获像素之间的全局和局部关系，以减轻降采样导致的空间信息丢失。
根据一些实施例，本发明的第一方案提供了一种二维医学图像分割系统，采用如下技术方案：
一种二维医学图像分割系统，包括：
图像采集处理模块，被配置为获取待分割的二维医学图像并进行预处理；
图像分割模块，被配置为基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
进一步地，所述获取待分割的二维医学图像并进行预处理，具体为：
获取待分割的二维医学图像；
对待分割的二维医学图像进行随机缩放并裁剪；
对裁剪后的二维医学图像进行随机翻转和随机旋转操作；
得到预处理后的二维医学图像。
进一步地，所述利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，具体为：
利用通道注意力的方式分别对图像最大池化和平均池化后的下采样特征图进行通道降维和通道恢复操作，得到的结果拼接后与原下采样特征图像做哈达玛内积；
利用空间注意力的方式捕获经过通道注意力处理后的特征图像中的最大信息和平均信息；
利用卷积操作对利用空间注意力捕获的最大信息和平均信息依次进行不同尺度的卷积操作、归一化、激活函数操作，得到下采样特征图像中的局部信息。
进一步地，所述卷积注意力增强操作，具体为：
CAA(x)＝ConvBlock(SA(CA(x))；
式中，x为输入张量，CAA(x)表示对x进行卷积注意力增强操作，CA(x)为通道注意力处理，SA(x)为空间注意力处理；
ConvBlock(x)＝σ(BN(C1(σ(BN(C2(σ(BN(C1(x))))))))；
式中，σ(x)为ReLU激活层，BN(x)表示批量归一化操作，C1(x)为1×1卷积层，C2(x)为3×3卷积层。
进一步地，所述通道注意力处理，具体为：
Figure BDA0004213895720000051
式中，σ2(x)为Sigmoid激活函数，Pmax(x)和Pavg(x)分别表示自适应最大池化和自适应平均池化，C1(x)是一个将通道维度降低16倍的1×1核大小的卷积层，σ1是一个ReLU激活层，C2(x)是一个将通道恢复到原始通道维度的1×1大小的卷积层，
Figure BDA0004213895720000052
为哈达玛内积；
空间注意力处理，具体为：
Figure BDA0004213895720000053
式中，σ(x)是Sigmoid激活函数，Cmax(x)和Cavg(x)分别表示沿通道维度获得的最大值和平均值，C(x)是一个Padding为1的3×3的卷积层。
进一步地，所述利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果，包括：
利用卷积注意力增强的方式对第一解码特征图进行处理并二倍上采样后与第一次下采样后的编码特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第二解码特征图；
利用卷积注意力增强的方式对第二解码特征图进行处理并二倍上采样后与卷积特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第三解码特征图，将第三解码特征图二倍上采样后得到第四解码特征图；
将第一解码特征图八倍上采样的结果、第二解码特征图四倍上采样的结果、第三解码特征图二倍上采样的结果和第四解码特征图进行矩阵相加操作，得到图像分割结果。
进一步地，所述解码器利用跳跃连接与注意力门控单元融合的方式对拼接后的特征进行解码，具体为：
AG(g,x)＝x*σ2(BN(C(σ1(BN(Cg(g)+BN(Cx(x))))))))；
式中，σ1(x)和σ2(x)分别对应ReLU激活函数和Sigmoid激活函数；Cg(x)、Cx(x)和C(x)表示通道1×1卷积操作；BN(x)为批归一化操作，g和x分别为解码器中上采样后的特征图和跳跃连接中来自编码器的特征图。
根据一些实施例，本发明的第二方案提供了一种二维医学图像分割方法，采用如下技术方案：
一种二维医学图像分割方法，包括：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
与现有技术相比，本发明的有益效果为：
本发明为了可以有效的使用卷积神经网络提取图片中的局部特征，并将深层低分辨率层的语义信息和浅层高分辨率层的局部信息融合起来，使用卷积注意力增强模块和带有注意力门控单元的跳跃连接融合和细化多级特征。使用Transformer和CNN的混合架构作为主干网络，并使用基于注意力的卷积模块聚合多级特征，同时抑制无关区域并突出显著特征，进而从图片中提取有效的局部特征；将跳跃连接与注意力门控单元相结合，该模块可以融合来自编码器不同尺度的高分辨率特征，进而捕获像素之间的全局和局部关系，以减轻降采样导致的空间信息丢失。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中一种二维医学图像分割方法的流程图；
图2是本发明实施例中二维医学图像分割模型训练的流程图；
图3是本发明实施例中二维医学图像分割模型框架图；
图4是本发明实施例中二维医学图像分割模型与其他模型的可视化比较图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了一种二维医学图像分割系统，包括：
图像采集处理模块，被配置为获取待分割的二维医学图像并进行预处理；
图像分割模块，被配置为基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例二
如图1所示，本实施例提供了一种二维医学图像分割方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
步骤S01：获取待分割的二维医学图像并进行预处理；
步骤S02：基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，步骤S02中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
步骤S021：基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
步骤S022：将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
步骤S023：利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
具体地，步骤S01中，所述获取待分割的二维医学图像并进行预处理，具体为：
获取待分割的二维医学图像；
对待分割的二维医学图像进行随机缩放并裁剪；
对裁剪后的二维医学图像进行随机翻转和随机旋转操作；
得到预处理后的二维医学图像。
在步骤S021中，所述利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，具体为：
利用通道注意力的方式分别对图像最大池化和平均池化后的特征图进行通道降维和通道恢复操作，得到的结果拼接后与原下采样特征图像做哈达玛内积，从而确定图像中哪些特征是重要的；
利用空间注意力的方式捕获经过通道注意力处理后的特征图像中的最大信息和平均信息，从而确定特征图中哪里是有意义的；
利用卷积操作对利用空间注意力捕获的最大信息和平均信息依次进行不同尺度的卷积操作、归一化、激活函数操作，得到下采样特征图像中的局部信息。
所述卷积注意力增强操作，具体为：
CAA(x)＝ConvBlock(SA(CA(x))；
式中，x为输入张量，CAA(x)表示对x进行卷积注意力增强操作，CA(x)为通道注意力处理，SA(x)为空间注意力处理；
ConvBlock(x)＝σ(BN(C1(σ(BN(C2(σ(BN(C1(x))))))))；
式中，σ(x)为ReLU激活层，BN(x)表示批量归一化操作，C1(x)为1×1卷积层，C2(x)为3×3卷积层。
所述通道注意力处理，具体为：
Figure BDA0004213895720000131
式中，σ2(x)为Sigmoid激活函数，Pmax(x)和Pavg(x)分别表示自适应最大池化和自适应平均池化，C1(x)是一个将通道维度降低16倍的1×1核大小的卷积层，σ1是一个ReLU激活层，C2(x)是一个将通道恢复到原始通道维度的1×1大小的卷积层，
Figure BDA0004213895720000132
为哈达玛内积；
空间注意力处理，具体为：
Figure BDA0004213895720000133
式中，σ(x)是Sigmoid激活函数，Cmax(x)和Cavg(x)分别表示沿通道维度获得的最大值和平均值，C(x)是一个Padding为1的3×3的卷积层。
具体地实施例中，步骤S023中，所述利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果，包括：
利用卷积注意力增强的方式对第一解码特征图进行处理并二倍上采样后与第一次下采样后的编码特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第二解码特征图；
利用卷积注意力增强的方式对第二解码特征图进行处理并二倍上采样后与卷积特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第三解码特征图，将第三解码特征图二倍上采样后得到第四解码特征图；
将第一解码特征图八倍上采样的结果、第二解码特征图四倍上采样的结果、第三解码特征图二倍上采样的结果和第四解码特征图进行矩阵相加操作，得到图像分割结果。
所述解码器利用跳跃连接与注意力门控单元融合的方式对拼接后的特征进行解码，具体为：
AG(g,x)＝x*σ2(BN(C(σ1(BN(Cg(g)+BN(Cx(x))))))))；
式中，σ1(x)和σ2(x)分别对应ReLU激活函数和Sigmoid激活函数；Cg(x)、Cx(x)和C(x)表示通道1×1卷积操作；BN(x)为批归一化操作，g和x分别为解码器中上采样后的特征图和跳跃连接中来自编码器的特征图。
本实施例为了可以有效的使用卷积神经网络提取图片中的局部特征，并将深层低分辨率层的语义信息和浅层高分辨率层的局部信息融合起来，提出ConvolutionalAttention Augmented TransUNet(CAA-TransUNet)模型，即二维医学图像分割模型。该模型使用卷积注意力增强模块和带有注意力门控单元的跳跃连接融合和细化多级特征。由于使用Transformer和CNN的混合架构作为主干网络，并使用基于注意力的卷积模块聚合多级特征，CAA-TransUNet可以捕获像素之间的全局和局部(上下文)关系。
(1)提出了一个新颖的卷积注意力增强模块，用于加强全局和局部特征，该模块可以同时抑制无关区域并突出显著特征，进而从图片中提取有效的局部特征。(2)一个具有注意力门控单元的跳跃连接，将跳跃连接与注意力门控单元相结合，该模块可以融合来自编码器不同尺度的高分辨率特征，进而捕获像素之间的全局和局部关系，以减轻降采样导致的空间信息丢失，以便聚合编码器和解码器中对应阶段的特征信息。(3)搭配多阶段特征损失聚合的方法以便具有更快的收敛速度和更好的性能。在三个公共数据集上评估本实施例的模型：ACDC、MoNuSeg和GlaS。实验结果表明，本实施例提出的模型性能明显优于基线方法。
如图2所示，二维医学图像分割模型的训练流程，具体为：
步骤1.训练数据获取，选择了ACDC、MoNuSeg和GlaS三个公开的医学图像分割数据集作为训练数据。其中，将自动心脏诊断挑战数据集(ACDC)拆分为70个训练样本、10个验证样本和20个测试样本。腺体分割数据集GlaS包含85张训练图像和80张测试图像。细胞核分割数据集MoNuSeg包含30幅图像，约2000个核边界标注。
步骤2.数据预处理和增强，首先，把数据集中的原始图像与真实分割图像随机缩放并裁剪成224×224尺寸大小。其次，对裁剪后的训练图像与对应的真实分割图像进行50％概率的随机翻转、随机旋转操作，不仅可以有效弥补医学数据集中训练图像较少的不足，提升模型鲁棒性，还可以增强模型抗过拟合的能力。
步骤3.如图3所示，为基于Transformer和CNN混合架构的二维医学图像分割模型框架图，由两部分组成，第一部分为具有卷积注意力增强的CNN-Transformer混合架构编码器，第二部分是由具有注意力门控单元的跳跃连接组成的解码器。这两部分的具体实现如下：
具有卷积注意力增强的CNN-Transformer混合架构编码器：
输入原始图像的大小为3×224×224，其中3为特征图像的通道数，224×224代表特征图像的高度与宽度。对输入图像x1使用步长为2，Padding为3的7×7卷积核进行处理，再经过BatchNorm层、ReLU激活函数映射和卷积注意力增强模块得到128×112×112大小的特征图x2。
将特征图x2使用步长为2，Padding为1的3×3卷积核进行下采样处理，再经过BatchNorm层和ReLU激活函数映射，把输出送入我们自己设计的卷积注意力增强模块得到256×56×56大小的特征图x3，这样做能更好的捕获图像中的局部信息。
将特征图x3使用步长为2，Padding为1的3×3卷积核进行下采样处理，再经过BatchNorm层、ReLU层、卷积注意力增强模块得到512×28×28大小的特征图x4。
将特征图x4使用步长为2，Padding为1的3×3卷积核进行下采样处理，再经过BatchNorm层、ReLU层、卷积注意力增强模块得到1024×14×14大小的特征图x5。
将1024×14×14大小的特征图x5经过位置编码后送入vit_transformer_dim为1024，patch_size为2的Transformer中，得到的结果变换成1024×14×14大小的特征图x6。
上述操作中的卷积注意力增强模块由通道注意力Channel Attention、空间注意力Spatial Attention和卷积块ConvBlock组成，如式(1)：
CAA(x)＝ConvBlock(SA(CA(x)) (1)
(1)式中，x为输入张量，CAA(x)表示对x进行卷积注意力增强操作，CA(x)为通道注意力处理，SA(x)为空间注意力处理。
公式(2)定义了通道注意力CA(x)：
Figure BDA0004213895720000171
(2)式中，σ2(x)为Sigmoid激活函数，Pmax(x)和Pavg(x)分别表示自适应最大池化和自适应平均池化，C1(x)是一个将通道维度降低16倍的1×1核大小的卷积层，σ1是一个ReLU激活层，C2(x)是一个将通道恢复到原始通道维度的1×1大小的卷积层，
Figure BDA0004213895720000172
为哈达玛内积。
公式(3)定义了空间注意力SA(x)：
Figure BDA0004213895720000173
(3)式中，σ(x)是Sigmoid激活函数，Cmax(x)和Cavg(x)分别表示沿通道维度获得的最大值和平均值，C(x)是一个Padding为1的3×3的卷积层。
公式(4)定义了ConvBloc(x)：
CoonvBlock(x)＝σ(BN(C1(σ(BN(C2(σ(BN(C1(x)))))))) (4)
(4)式中，σ(x)为ReLU激活层，BN(x)表示批量归一化操作，C1(x)为1×1卷积层，C2(x)为3×3卷积层。
由具有注意力门控单元的跳跃连接组成的解码器：
编码器得到的特征图x6经过卷积注意力增强模块，将结果进行通道数不变的二倍升采样后与编码器中的特征图x4拼接后送入注意力门控单元中，得到结果经过卷积注意力增强模块得到256×28×28大小的特征图x7。
将特征图x7进行通道数不变的二倍升采样后与编码器中的特征图x3拼接后送入注意力门控单元中，得到的结果经过卷积注意力增强模块得到128×56×56大小的特征图x8。
将特征图x8进行通道数不变的二倍升采样后与编码器中的特征图x2拼接后送入注意力门控单元中，得到的结果经过卷积注意力增强模块得到64×112×112大小的特征图x9，特征图x9经过线性层得到64×224×224大小的特征图x10。
将特征图x7八倍上采样的结果、特征图x8四倍上采样的结果、特征图x9二倍升采样的结果和特征图x10进行矩阵相加操作。最终经过线性层得到预测图x11。
其中，公式(5)定义了注意力门控单元：
AG(g,x)＝x*σ2(BN(C(σ1(BN(Cg(g)+BN(Cx(x)))))))) (5)
(5)式中，σ1(x)和σ2(x)分别对应ReLU激活函数和Sigmoid激活函数，Cg(x)、Cx(x)和C(x)表示通道1×1卷积操作；BN(x)为批归一化操作，g和x分别为解码器中上采样后的特征图和跳跃连接中来自编码器的特征图。
步骤4.多阶段特征损失聚合方法，损失函数是用来计算模型的预测值与真实分割图像之间的误差。我们采用交叉熵损失函数和Dice损失函数的组合作为模型的损失函数，四个预测头的输出分别计算损失后乘以相应权重加和得到最终的损失。
lossx＝0.5×CE_Loss(x)+0.5×DICE_Loss(x) (6)
Loss＝α×lossx7+β×lossx8+γ×lossx9+ζ×lossx10 (7)
(6)式定义了对于每个阶段的特征图x，我们使用0.5倍的CE_Loss和0.5倍的Dice_Loss作为该特征图的损失。(7)式表示分别对四个阶段的特征图x7、x8、x9、x10升采样后的预测图计算损失，然后各自乘以一个权重相加得到模型的最终损失，这里取α＝β＝γ＝ζ＝1。
步骤5.使用AdamW优化器，并设置初始学习速率为0.001，权重衰减设置为1e-4，设置权重衰减系数可以防止模型出现过拟合现象，自适应学习率调整可以加快模型的收敛速度。
步骤6.模型训练和测试，按步骤2中的描述对训练图像进行数据预处理和增强操作，得到的训练图像送入具有卷积注意力增强的CNN-Transformer混合架构编码器，再经过具有注意力门控单元的跳跃连接组成的解码器得到模型最终预测图。根据步骤4中设计的损失函数计算预测图与真实分割图的损失，最后利用步骤5中的AdamW优化器进行梯度更新，一次训练包含8个样本数，总共训练200轮。对于GlaS数据集和MoNoSeg数据集使用平均IoU和Dice分数作为评价指标，ACDC数据集只使用Dice分数作为评价指标。
实验采用的对比模型是当前主流的医学图像分割模型TransUNet和Swin-Unet，与其他模型的实验数据对比如表1，与其他模型的可视化比较见图4。
表1本方法与其他模型的实验对比结果
Figure BDA0004213895720000191
Figure BDA0004213895720000201
本实施例基于Transformer和CNN混合架构对医学图像进行分割，该方法提出了一个新颖的卷积注意力增强模块，能够抑制无关区域并突出显著特征，相比纯卷积网络更能从图片中提取有效的局部特征；提出的带有注意力门控单元的跳跃连接可以融合来自编码器不同尺度的高分辨率特征，成功捕获像素之间的全局和局部关系，以减轻降采样导致的空间信息丢失。搭配多阶段特征损失聚合方法并选择较好的网络参数、优化算法、学习率使得模型具有更快的收敛速度和更好的性能。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积操特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种二维医学图像分割系统，其特征在于，包括：
图像采集处理模块，被配置为获取待分割的二维医学图像并进行预处理；
图像分割模块，被配置为基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
2.如权利要求1所述的一种二维医学图像分割系统，其特征在于，所述获取待分割的二维医学图像并进行预处理，具体为：
获取待分割的二维医学图像；
对待分割的二维医学图像进行随机缩放并裁剪；
对裁剪后的二维医学图像进行随机翻转和随机旋转操作；
得到预处理后的二维医学图像。
3.如权利要求1所述的一种二维医学图像分割系统，其特征在于，所述利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，具体为：
利用通道注意力的方式分别对图像最大池化和平均池化后的下采样特征图进行通道降维和通道恢复操作，得到的结果拼接后与原下采样特征图像做哈达玛内积；
利用空间注意力的方式捕获经过通道注意力处理后的特征图像中的最大信息和平均信息；
利用卷积操作对利用空间注意力捕获的最大信息和平均信息依次进行不同尺度的卷积操作、归一化、激活函数操作，得到下采样特征图像中的局部信息。
4.如权利要求3所述的一种二维医学图像分割系统，其特征在于，所述卷积注意力增强操作，具体为：
CAA(x)＝ConvBlock(SA(CA(x))；
式中，x为输入张量，CAA(x)表示对x进行卷积注意力增强操作，CA(x)为通道注意力处理，SA(x)为空间注意力处理；
ConvBlock(x)＝σ(BN(C1(σ(BN(C2(σ(BN(C1(x))))))))；
式中，σ(x)为ReLU激活层，BN(x)表示批量归一化操作，C1(x)为1×1卷积层，C2(x)为3×3卷积层。
5.如权利要求4所述的一种二维医学图像分割系统，其特征在于，所述通道注意力处理，具体为：
Figure FDA0004213895700000021
式中，σ2(x)为Sigmoid激活函数，Pmax(x)和Pavg(x)分别表示自适应最大池化和自适应平均池化，C1(x)是一个将通道维度降低16倍的1×1核大小的卷积层，σ1是一个ReLU激活层，C2(x)是一个将通道恢复到原始通道维度的1×1大小的卷积层，
Figure FDA0004213895700000031
为哈达玛内积；
空间注意力处理，具体为：
Figure FDA0004213895700000032
式中，σ(x)是Sigmoid激活函数，Cmax(x)和Cavg(x)分别表示沿通道维度获得的最大值和平均值，C(x)是一个Padding为1的3×3的卷积层。
6.如权利要求1所述的一种二维医学图像分割系统，其特征在于，所述利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果，包括：
利用卷积注意力增强的方式对第一解码特征图进行处理并二倍上采样后与第一次下采样后的编码特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第二解码特征图；
利用卷积注意力增强的方式对第二解码特征图进行处理并二倍上采样后与卷积特征图拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第三解码特征图，将第三解码特征图二倍上采样后得到第四解码特征图；
将第一解码特征图八倍上采样的结果、第二解码特征图四倍上采样的结果、第三解码特征图二倍上采样的结果和第四解码特征图进行矩阵相加操作，得到图像分割结果。
7.如权利要求6所述的一种二维医学图像分割系统，其特征在于，所述解码器利用跳跃连接与注意力门控单元融合的方式对拼接后的特征进行解码，具体为：
AG(g,x)＝x*σ2(BN(C(σ1(BN(Cg(g)+BN(Cx(x))))))))；
式中，σ1(x)和σ2(x)分别对应ReLU激活函数和Sigmoid激活函数；Cg(x)、Cx(x)和C(x)表示通道1×1卷积操作；BN(x)为批归一化操作，g和x分别为解码器中上采样后的特征图和跳跃连接中来自编码器的特征图。
8.一种二维医学图像分割方法，其特征在于，包括：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行如下步骤：
获取待分割的二维医学图像并进行预处理；
基于预处理后的二维医学图像，利用预先训练好的二维医学图像分割模型进行图像分割；
其中，所述利用预先训练好的二维医学图像分割模型进行图像分割，包括：
基于预处理后的二维医学图像进行卷积操作和卷积注意力增强操作得到卷积特征图，并对卷积特征图进行三次下采样处理，并利用卷积注意力增强的方式捕获下采样特征图像中的局部信息，得到不同尺度的编码特征图；再将第三次下采样后的编码特征图进行Transformer处理得到编码特征表示图；
将编码特征表示图上采样后与第二次下采样后的编码特征图进行拼接，并利用跳跃连接与注意力门控单元融合的方式对拼接的结果进行解码，得到第一解码特征图；
利用同样的方式分别对解码后的特征图与不同尺度的编码特征图拼接后进行两次解码，得到不同尺度的解码特征图并进行矩阵相加，得到图像分割结果。
CN202310501187.2A 2023-04-28 2023-04-28 一种二维医学图像分割方法及系统 Pending CN116433914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310501187.2A CN116433914A (zh) 2023-04-28 2023-04-28 一种二维医学图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310501187.2A CN116433914A (zh) 2023-04-28 2023-04-28 一种二维医学图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN116433914A true CN116433914A (zh) 2023-07-14

Family

ID=87083332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310501187.2A Pending CN116433914A (zh) 2023-04-28 2023-04-28 一种二维医学图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN116433914A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934759A (zh) * 2023-09-18 2023-10-24 南京信息工程大学 一种局部矫正交互式医学图像分割方法及系统
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117115444A (zh) * 2023-09-08 2023-11-24 北京卓视智通科技有限责任公司 一种多任务图像分割方法、系统、计算机设备和存储介质
CN117111696A (zh) * 2023-09-07 2023-11-24 脉得智能科技(无锡)有限公司 一种医疗图像分割方法及医疗图像分割模型的训练方法
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117876241A (zh) * 2024-03-12 2024-04-12 英瑞云医疗科技(烟台)有限公司 一种ct图像合成flair图像的方法、系统和设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111696A (zh) * 2023-09-07 2023-11-24 脉得智能科技(无锡)有限公司 一种医疗图像分割方法及医疗图像分割模型的训练方法
CN117115444A (zh) * 2023-09-08 2023-11-24 北京卓视智通科技有限责任公司 一种多任务图像分割方法、系统、计算机设备和存储介质
CN117115444B (zh) * 2023-09-08 2024-04-16 北京卓视智通科技有限责任公司 一种多任务图像分割方法、系统、计算机设备和存储介质
CN116934759A (zh) * 2023-09-18 2023-10-24 南京信息工程大学 一种局部矫正交互式医学图像分割方法及系统
CN117058160A (zh) * 2023-10-11 2023-11-14 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117058160B (zh) * 2023-10-11 2024-01-16 湖南大学 基于自适应特征融合网络的三维医学图像分割方法及系统
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117495884B (zh) * 2024-01-02 2024-03-22 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117876241A (zh) * 2024-03-12 2024-04-12 英瑞云医疗科技(烟台)有限公司 一种ct图像合成flair图像的方法、系统和设备
CN117876241B (zh) * 2024-03-12 2024-05-10 英瑞云医疗科技(烟台)有限公司 一种ct图像合成flair图像的方法、系统和设备

Similar Documents

Publication Publication Date Title
CN116433914A (zh) 一种二维医学图像分割方法及系统
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN115482241A (zh) 一种跨模态双分支互补融合的图像分割方法及装置
CN110246084B (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
JP7357176B1 (ja) 周波数領域における自己注意機構に基づく夜間オブジェクト検出、訓練方法及び装置
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN115471470A (zh) 一种食管癌ct图像分割方法
CN116433898A (zh) 一种基于语义约束的Transformer多模态影像分割方法
CN114511798B (zh) 基于transformer的驾驶员分心检测方法及装置
CN117635771A (zh) 一种基于半监督对比学习的场景文本编辑方法和装置
CN115249382A (zh) 一种基于Transformer与CNN的静默活体检测方法
CN117557689B (zh) 图像处理方法、装置、电子设备及存储介质
Gao A method for face image inpainting based on generative adversarial networks
CN112712468A (zh) 虹膜图像超分辨率重建方法及计算设备
CN115731243B (zh) 基于人工智能及注意力机制的脊柱图像分割方法及装置
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN116912268A (zh) 一种皮肤病变图像分割方法、装置、设备及存储介质
CN116758092A (zh) 图像分割方法、装置、电子设备及存储介质
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN113382244B (zh) 编解码网络结构、图像压缩方法、装置及存储介质
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination